JP2006080580A

JP2006080580A - 広視野角映像撮影装置

Info

Publication number: JP2006080580A
Application number: JP2004259131A
Authority: JP
Inventors: Fumiko Kureyama; 史子紅山; Toshio Moriya; 俊夫守屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-09-07
Filing date: 2004-09-07
Publication date: 2006-03-23
Anticipated expiration: 2024-09-07
Also published as: JP4254667B2

Abstract

【課題】
複数のカメラを用いた広視野角画像撮影において、撮影視野角に応じたカメラパラメータの変更を自動的に行う。
【解決手段】
上記課題を解決するために、以下の手段を用いる。複数のカメラによって構成される広視野角映像撮影装置において、前記各カメラは焦点距離制御装置を備え、前記各カメラは回転移動装置に搭載され、撮影範囲を示す総画角パラメータと、隣接する撮影画像のオーバーラップ割合を入力とし、前記入力された総画角パラメータと、前記入力されたオーバーラップ割合より、前記各カメラの画角及び姿勢パラメータを算出する手段と、前記算出されたカメラの画角よりカメラの焦点距離を算出する焦点距離算出手段と、前記算出された焦点距離とカメラ姿勢初期値より前記各カメラの回転量を算出するカメラ回転量算出手段と、前記算出されたカメラ回転量とカメラ初期位置より前記各カメラの移動量を算出するカメラ移動量算出手段を備えることにより、カメラの位置や姿勢を制御することが可能な、広視野角映像撮影装置を提供する。
【選択図】図１

Description

本発明は、広視野角の撮影を行う装置に関するものである。その中でも特に、撮影を行う範囲に応じてカメラの位置や姿勢を自動的に変更する、広視野角映像撮影装置に関する。

広視野角画像を撮影する方法として、凸面鏡と1台のカメラを組み合わせて撮影する方法、複数の平面鏡と複数のカメラを組み合わせて撮影する方法、複数のカメラを並べて同期させて撮影する方法、等がある。

凸面鏡と1台のカメラを組み合わせて撮影する方法は、同じ光学中心から広視野角、全方位の映像を得ることが可能であるが、1台のカメラでの撮影となるため高解像度画像の取得は困難であり、大画面スクリーンへの表示等の高臨場感コンテンツとしての使用は難しい。

複数の平面鏡と複数のカメラを組み合わせて撮影する方法は、鏡の角度やカメラの位置角度を調整することにより、同じ光学中心から広視野角、全方位の映像を高解像度で一度に得ることが可能であり、高臨場感コンテンツへの使用に適しているが、装置工作の必要があること、装置の工作精度が得られる画像に大きく影響してくるため精巧さが求められること、カメラ位置の細かい調整が必要となってくることにより、撮影までの準備が大変である。

複数のカメラを並べて同期させて撮影する方法は、カメラの物理的制約により各カメラの光学中心が異なるため、広視野角画像作成のための画像つなぎあわせにおいて、継ぎ目部分に不整合が生じる。複数のカメラを並べた広視野角画像撮影において、カメラのレンズを外に向けて撮影する方法が一般的に多く使われているが、各カメラの光学中心が大きく異なるため、つなぎ目部分の不整合が目立ってしまう欠点がある。特に、カメラから近い位置に存在する被写体に関して、死角部分が生じる問題や、隣接する画像のオーバーラップが少なくなる問題が生じるため、比較的被写体との距離が近い撮影には不向きである。

複数のカメラで広視野角画像を撮影する装置として、以下の装置が挙げられる。

特開２００４−６１８０８号公報（特許文献１）は、円筒状にレンズを外に向けてカメラを並べ、全方位画像を撮影する装置が開示されている。

複数のカメラによる撮影装置においてカメラ調整機構を備える装置として、以下の装置が挙げられる。

特開２００２−５７９３８号公報（特許文献２）は、レンズを外に向けて複数のカメラを並べた構成において、撮影倍率の変化に応じて、カメラ姿勢を自動的に変化させる装置が開示されている。本装置では、複数のカメラの構成においても撮影倍率に変化があっても、撮影範囲を自動的に変化することによって、繋ぎ目を意識することなく一台のカメラで撮影したような効果を得ることが可能である。

特開２００４−６１８０８号公報特開２００２−５７９３８号公報

特許文献１に開示されている技術では、レンズが外に向いているため、各カメラの光学中心が大きくずれてしまい、パノラマ画像作成時につなぎ目部分に不整合が生じる。また、カメラ位置姿勢及びカメラパラメータが一意に定まっているため、要求される視野角に変更が生じた場合、対応が困難である。

特許文献２に開示されている装置では、複数のカメラの構成においても撮影倍率に変化があっても、撮影範囲を自動的に変化することによって、繋ぎ目を意識することなく一台のカメラで撮影したような効果を得ることが可能である。しかし、各カメラの光学中心が大きく離れているため、背景画像が遠景にある場合や、撮影する被写体のカメラからの距離が一定である場合は、繋ぎ目のないパノラマ画像の作成が可能であるが、映像の繋ぎ目部分に奥行きの違う複数の被写体が存在する場合、繋ぎ目部分に大きく不整合が生じるため、シームレスな画像接続は困難である。

上述したように、従来の複数カメラを用いた広視野角画像カメラにおいて、全てのカメラの光学中心が近く、要求される撮影範囲の変更に応じてカメラ構成が自動的に変更するものはなかった。

本発明は、上記問題点を考慮して発案されたものであり、その目的は、任意の撮影範囲を入力した時に、自動的にカメラ構成を決定し、カメラの位置や姿勢を調整することにある。

そこで、本発明では、焦点距離制御装置を備えた複数カメラと、各カメラを搭載した複数の回転移動装置によって構成される広視野角映像撮影装置において、撮影範囲を示す総画角パラメータと、隣接する撮影画像のオーバーラップ割合を入力とし、前記入力された総画角パラメータと、前記入力されたオーバーラップ割合より、各カメラの画角及び角度を算出するカメラ画角算出手段と、前記算出されたカメラの画角よりカメラの焦点距離を算出する焦点距離算出手段と、前記算出された焦点距離とカメラ姿勢初期値より各カメラの回転量を算出するカメラ回転量算出手段と、前記算出されたカメラ回転量とカメラ初期位置より各カメラの光学中心を近づけるカメラ移動量算出手段を備えることにより、撮影範囲の変化に応じてカメラ位置姿勢を自動的に制御することが可能な、広視野角映像撮影装置を提供する。

本発明の効果として、撮影範囲に応じてカメラ姿勢を調整することにより、要求する撮影範囲やオーバーラップ割合を満たし且つ隣接するカメラ画像のつなぎ合わせをより容易にする。

以下に、本発明における実施の形態について、図面を参照しながら詳述する。

図１は、本実施例の装置の構成を示した図である。カメラ5台の構成を例に説明する。

広視野角画像の撮影において、まず、カメラ5台(10-a,10-b,10-c,10-d,10-e)をレンズが内向きになるように扇形に並べる。全てのカメラは、焦点距離調整装置(20-a,20-b,20-c,20-d,20-e)を備えるものとする。各カメラは、回転移動装置(30-a,30-b,30-c,30-d,30-e)の上に設置するものとし、回転移動装置はカメラの水平方向の回転と光軸方向への移動を制御する。

カメラを並べて設置する際、各カメラの水平軸が同じになるように、カメラ(10-a,10-b,10-c,10-d,10-e)を搭載した回転移動装置(30-a,30-b,30-c,30-d,30-e)は、ベースプレート(40)上に設置するとよい。

図２は、本実施形態における内部構成を示した図である。

撮影を行う範囲を示す総画角パラメータ(220)、隣接するカメラ(10)にて撮影された画像の重複部分を示すオーバーラップ割合(230)を、手入力またはデータからの読み込みにより、入力パラメータとし、カメラ画角算出部(110)にて、各カメラ(10)の撮影範囲を最大限に有効にする最も撮影に効率のよいカメラ(10)の姿勢パラメータ及びカメラ画角を算出する。

前記算出のカメラ画角より、焦点距離算出部(120)にて各カメラの焦点距離の算出を行い、前記算出焦点距離をもとに、焦点距離制御装置(20)にて、各カメラ(10)の焦点距離の調整を自動的に行う。

前記算出のカメラ画角及び各カメラ(10)のオーバーラップ割合(230)をもとに、各カメラの設置角度が決定する。そこで、カメラ回転量算出部(130)では、各カメラ姿勢初期値(210)と前記決定カメラ設置角度より、各カメラをどのくらい回転するか、算出する。また、カメラ移動量算出部(140)では、各カメラ姿勢初期値(210)と前記算出カメラ回転量より、各カメラの光学中心が最も近づくように、各カメラをどのくらい移動するか、算出する。ここで算出したカメラ回転量とカメラ移動量をもとに、回転移動装置(30)にて、各カメラ(10)の水平方向の角度の調整や各カメラ(10)の光軸方向の位置の調整を自動的に行う。

図３は、本実施形態のシステム構成を示した図である。

本システムは、サーバPC（50）に含まれる、プログラムに基づいた計算や制御を行うＣＰＵ（60）、データやプログラムを記憶するメモリ等の主記憶装置(100)、およびハードディスク等の補助記憶装置(200)を含む。

また、各種データを入力するキーボード等の入力装置(70)、カメラ(10)の回転制御や移動制御を行う回転移動装置(30)、それらを相互に結合するバス(80)からなる。回転移動装置(30)にはカメラ(10)が搭載され、各カメラ(10)は焦点距離制御装置(20)を備えるものとする。

補助記憶装置(200)には、各カメラ(10)の位置や角度、相対関係等の情報を記したカメラ姿勢初期値(210)、撮影の範囲を指定する総画角パラメータ(220)、隣接するカメラから得られる画像の重複割合を指定するオーバーラップ割合(230)、前記総画角パラメータ(220)、前記オーバーラップ割合(230)より計算して得られる焦点距離データ(240)、各カメラをどのくらい回転させるかを示したカメラ回転量データ(250)、全てのカメラ(10)の光学中心が最も近くするためのカメラ移動量を示したカメラ移動量データ(260)が含まれる。

主記憶装置(100)には、総画角パラメータ(220)、オーバーラップ割合(230)をもとに、各カメラ(10)の画角を算出するカメラ画角算出部(110)、前記算出カメラ画角より焦点距離(240)を算出する焦点距離算出部(120)、前記算出焦点距離データ(240)とカメラ姿勢初期値(210)より、各カメラ(10)の回転量を算出するカメラ回転量算出部(130)、前記算出カメラ回転量データ(250)とカメラ姿勢初期値(210)より、各カメラ(10)の移動量を算出するカメラ移動量算出部(140)が含まれる。

カメラ画角の算出において、総画角パラメータ(220)をθ、オーバーラップ割合(230)をα、カメラ(10)の個数をnとし、且つ、各カメラ(10)の光学中心がほぼ同一位置であると仮定した場合、各カメラの画角φは数１で近似される。算出されたカメラ画角に応じて、隣接するカメラとのなす角度も決定するが、カメラ画角と同値φとなる。

図4は、本実施形態における処理の流れを示したフローチャートである。

カメラ姿勢を決定するための入力パラメータとして、総画角パラメータ(220)と、オーバーラップ割合(230)がある。カメラの台数、及び、カメラ自身の持つ視野角限度により、両パラメータを満たしたカメラ構成が不可能な場合もある。このため、どちらかのパラメータを優先させる必要がある。そこで、まず、ステップ1000にて、優先パラメータを選択する。総画角を優先するか、オーバーラップ割合を優先するか、選択を行う。

総画角を優先した場合、ステップ1100にて、撮影範囲総画角の入力を行う。ステップ1110では、その値が有効かどうかの判定を行う。入力した値が、カメラ台数及びカメラ自身の持つ視野角より算出される最大総視野角を超えている場合、又は、一台あたりのカメラ視野角未満である場合は、値は無効であるとみなし、ステップ1100に戻る。ステップ1100では、有効範囲内に収まる値を再度入力する。

有効な値が入力されると、ステップ1120にて、ステップ1100にて入力された総画角及びカメラ自身の持つ焦点距離調整範囲を基に有効となるオーバーラップ割合を算出し、ステップ1130にて、有効となるオーバーラップ割合の範囲内の数値入力を行う。

ステップ1000にて、優先パラメータをオーバーラップ割合とした場合、ステップ1200にて、オーバーラップ割合の入力を行う。ステップ1210では、入力されたオーバーラップ割合の値と、カメラ台数及び焦点距離調整範囲を基に、最大総画角の算出を行い、ステップ1220では、有効となる総画角の範囲内の数値入力を行う。

ステップ1300では、入力された総画角パラメータ及びオーバーラップ割合を基に、カメラ一台あたりの画角を算出し、ステップ1400でカメラ画角を基に焦点距離の算出を行う。

ステップ1500では、要求された総画角パラメータとオーバーラップ割合を満たすためのカメラ回転量をカメラごとに算出する。

最後に、ステップ1600にて、全てのカメラの視点位置を極力近づけるための移動距離の算出を行う。

図５は、本実施形態における基本構成における撮影範囲を示した図である。

本実施形態における基本構成例を示す。総画角を100度、オーバーラップ割合を20％とし、各カメラの光学中心がほぼ同一位置となるよう設置した構成を、基本構成とする。本構成における、カメラの光学中心や隣接するカメラとのなす角度をカメラ姿勢初期値(210)として保管する。

ここで、基本構成は、上記総画角、及び上記オーバーラップ割合に限定されない。基本構成におけるカメラの焦点距離が稼動領域の中間値であることが好ましい。焦点距離が最大である時、最小である時の調整が容易なためである。また、各カメラの光学中心が極力近くなるように設置するのは、撮影画像つなぎ合わせ時の不整合を減少させるためである。この基本構成を元に、カメラを右方向に回転させたり、左方向に回転させたり、回転角度を保持したまま各カメラの視点距離を近づけるための移動を行うことによって、自由な視野角の画像の撮影を行う。カメラ構成変更例を、図６、図７、図８、図９に示す。図６は、総画角を45度、オーバーラップ割合を20％とした時の回転調整後の各カメラの視野角及び総撮影範囲、図７は、総画角を45度、オーバーラップ割合を20％とした時の回転及び移動調整後の各カメラの視野角及び総撮影範囲、図８は、総画角を150度、オーバーラップ割合を20％とした時の回転調整後の各カメラの視野角及び総撮影範囲、図９は、総画角を150度、オーバーラップ割合を20％とした時の回転及び移動調整後の各カメラの視野角及び総撮影範囲を示している。総画角やオーバーラップ割合に応じてカメラの焦点距離を変更することにより、総画角が減少した時にも、無駄なオーバーラップ部分が生じることもなく、撮影画素数を最大に有効に使用することが可能となる。

図１０は、第２の実施形態における内部構成を示した図である。

第２の実施形態は、第1の実施形態の広視野角画像撮影に加え、撮影画像の加工表示機能を追加したものである。図２の構成に加え、カメラ(10-a,10-b,10-c,10,d,10-e)にて撮影画像を受け取り、各画像を繋ぎ合わせるための変形を行う撮影画像変形部(150)、変形後の画像をつなぎ合わせることにより、パノラマ画像を作成する、パノラマ画像作成部(160)、作成されたパノラマ画像をディスプレイ(90)に表示する、パノラマ画像表示部(170)が含まれる。

図１１は、第２の実施形態におけるシステム構成を示した図である。

図３の構成の、主記憶装置(100)に、撮影画像変形部(150)、パノラマ画像作成部(160)、パノラマ画像表示部(170)が加わり、補助記憶装置(200)に、各カメラ(10-a,10-b,10-c,10-d,10-e)にて撮影された画像を保管する撮影画像データ(270)、前記撮影画像データ(270)を撮影画像変形部(150)にて変形を行い、前記変形画像データをパノラマ画像作成部(160)にて繋ぎ合わせることにより作成されたパノラマ画像データ(280)が加わる。

第1実施形態の装置構成図である。第1実施形態の内部構成図である。第1実施形態のシステム構成図である。第1実施形態の主記憶装置における処理の流れを示すフローチャートである。第1実施形態の基本構成における撮影範囲図である。第1実施形態のカメラ姿勢変更図１(回転) である。第1実施形態のカメラ姿勢変更図１(回転・移動) である。第1実施形態のカメラ姿勢変更図２(回転) である。第1実施形態のカメラ姿勢変更図２(回転・移動) である。第２実施形態の内部構成図である。第２実施形態のシステム構成図である。

符号の説明

10・・・カメラ、20・・・焦点距離制御装置、30・・・回転移動装置、40・・・ベースプレート、50・・・サーバPC、60・・・CPU、70・・・入力装置、80・・・バス、90・・・ディスプレイ、100・・・主記憶装置、110・・・カメラ画角算出部、120・・・焦点距離算出部、130・・・回転量算出部、140・・・移動量算出部、150・・・撮影画像変形部、160・・・パノラマ画像作成部、170・・・パノラマ画像表示部、200・・・補助記憶装置、210・・・カメラ姿勢初期値、220・・・総画角パラメータ、230・・・オーバーラップ割合、240・・・焦点距離データ、250・・・カメラ回転量データ、260・・・カメラ移動量データ、270・・・撮影画像データ、280・・・パノラマ画像データ

Claims

複数のカメラによって構成される広視野角映像撮影装置において、
前記各カメラは焦点距離制御装置を備え、
前記各カメラは回転移動装置に搭載され、
撮影範囲を示す総画角パラメータと、隣接する撮影画像のオーバーラップ割合を入力とし、
前記入力された総画角パラメータと、前記入力されたオーバーラップ割合より、前記各カメラの画角及び姿勢パラメータを算出する手段と、
前記算出されたカメラの画角よりカメラの焦点距離を算出する焦点距離算出手段と、
前記算出された焦点距離とカメラ姿勢初期値より前記各カメラの回転量を算出するカメラ回転量算出手段と、
前記算出されたカメラ回転量とカメラ初期位置より前記各カメラの移動量を算出するカメラ移動量算出手段を備えることにより、
カメラの位置や姿勢を制御することが可能な、広視野角映像撮影装置。