JP2004135209A

JP2004135209A - 広視野高解像度映像の生成装置及び方法

Info

Publication number: JP2004135209A
Application number: JP2002299789A
Authority: JP
Inventors: Michio Oikawa; 及川　道雄; Takeshi Minagawa; 皆川　剛
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-10-15
Filing date: 2002-10-15
Publication date: 2004-04-30

Abstract

【課題】広視野映像を撮影するための従来の方法では、１台で撮影する場合には解像度の限界があり、複数のカメラで撮影する場合には、カメラ毎の視点の違いから発生する不自然さが存在するという課題があった。
【解決手段】広視野撮影カメラとマルチカメラの校正パラメータを求める手段と、広視野カメラの映像とマルチカメラの映像のマッチングをとる手段と、マルチカメラの映像を該マッチング情報に基づき広視野映像として合成する手段を有するものである。
【選択図】　図７

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラ（マルチカメラ）により広視野映像を撮影する際に、カメラ毎に視点が異なることから発生するずれを補正した映像を撮影する方法及び装置に関する。
【０００２】
【従来の技術】
大画面ディスプレイの発展により、大画面の映像コンテンツが必要とされてきている。そのようなコンテンツを撮影するために、マルチカメラを利用した手法が提案されている。従来のマルチカメラを用いた広視野の映像を撮影する方法としては、米国特許第６１４１０３４号や特開２００１−９４８５７号に記載のように、広視野をカバーするように、立体的にかつ放射状に配置して撮影し、各カメラで撮影された映像をつなぎあわせることにより、広視野の映像を生成するものである。全周映像を撮影するためのカメラ配置方法や撮影した映像から一部を切り出した映像を生成する方法などについて開示されている。
【０００３】
また、１台のカメラにより広視野の映像を撮影する方法としては、米国特許第５７６０８２６号に記載のような、半球状の反射体を利用して、該反射体をカメラで撮影することにより、球状に歪んだ広視野の映像を撮影する方法が知られている。
【０００４】
【特許文献１】
米国特許第６１４１０３４号明細書、要約
【特許文献２】
特開２００１−９４８５７号公報
【特許文献３】
米国特許第５７６０８２６号明細書、要約
【０００５】
【発明が解決しようとする課題】
前記のマルチカメラに関する従来技術では広視野映像を撮影可能ではあるが、各カメラの視点位置は当然異なるため、マルチカメラにより撮影された各画像をつなぎあわせて広視野映像を生成する際に、１台のカメラで撮影された広視野映像とは異なり、視点位置のずれから不自然な映像となってしまう。
【０００６】
また、前記の１台のカメラにより広視野を撮影する従来技術では、視点は１ヶ所となるが、カメラ１台で撮影することから、解像度の限界があった。
本発明は、カメラ１台で撮影したような１視点からの自然な広視野の映像を生成することを目的としており、さらに、マルチカメラを用いることにより高解像度の映像を生成することを目的とする。
【０００７】
さらに、本発明の他の目的は、１視点を中心とした全周の自然な広視野で高解像度の映像を生成することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、広視野撮影カメラとマルチカメラの校正パラメータを求める手段と、広視野カメラの映像とマルチカメラの映像のマッチングをとる手段と、マルチカメラの映像を該マッチング情報に基づき広視野映像として合成する手段を有するものである。また、１視点を中心とした全周の映像を生成するために、反射体を用いた複数の広視野撮影手段を用いるものである。
【０００９】
【発明の実施の形態】
以下、本発明の実施例について、図１、図６を用いて説明する。
魚眼レンズなどを用いた広視野カメラ１と、通常の透視射影レンズを用いたカメラ２〜４からなるマルチカメラを用いて広視野で、かつ、高精細な映像を生成する。まず、各カメラを校正するためのパラメータを算出しておく（ステップ１００）。即ち、各カメラで撮影された映像を理想的な透視射影による映像へ変換するためのパラメータを、各カメラについて算出する。もともと理想的な透視映像を撮影できるカメラであればこのステップは不要であるが、広視野カメラの場合は魚眼レンズなどを用いるため、変換が必要である。
【００１０】
例えば等距離射影モデルに基づいた魚眼レンズを用いる場合には、半画角ωでレンズに入射する主光線と投影面に射影される像高Ｙの関係は、焦点距離ｆを用いて、数１の式により射影モデルが表現できる。
【００１１】
【数１】
Ｙ＝ｆ・ω
一方、透視射影モデルの場合には数２の式で表現される。
【００１２】
【数２】
Ｙ＝ｆ・ｔａｎω
前記の焦点距離ｆはカメラ毎に異なるため、等距離射影モデルの焦点距離をｆ１、透視射影モデルの焦点距離をｆ２とすると、半画角ωで入射する光線上に存在する物体について、等距離射影モデル映像上の点であるＹ１の値を用いて、数１、数２から、数３により、透視射影モデル映像上の点Ｙ２に変換できることになる。
【００１３】
【数３】
Ｙ２＝ｆ２・ｔａｎ（Ｙ１／ｆ１）
実際には、前記の計算を投影面中心に回転させて適用することにより２次元で計算すればよく、この計算により広視野カメラの映像を透視映像に変換するための校正パラメータを求めることが可能である。
【００１４】
また、一般的な収差などの校正方法については、Ｃ．　Ｚｈａｎｇ他，｀｀Ｎｏｎｌｉｎｅａｒ　ｄｉｓｔｏｒｔｉｏｎ　ｃｏｒｒｅｃｔｉｏｎ　ｉｎ　ｅｎｄｏｓｃｏｐｉｃ　ｖｉｄｅｏ　ｉｍａｇｅｓ，’’　Ｐｒｏｃ．　ＩＥＥＥ　ＩＣＩＰ２０００，　ｐｐ．ＩＩ−４３９−−ＩＩ−４４２　（２０００）や、Ｙ．　Ｘｉｏｎｇ他，　｀｀Ｃｒｅａｔｉｎｇ　ｉｍａｇｅ−ｂａｓｅｄ　ＶＲ　ｕｓｉｎｇ　ａ　ｓｅｌｆ−ｃａｌｉｂｒａｔｉｎｇ　ｆｉｓｈｅｙｅ　ｌｅｎｓ，’’　Ｐｒｏｃ．　ｏｆ　ＣＶＰＲ’９７，　ｐｐ．２３７−−２４３（１９９７）などの公知技術を利用すれば良い。
【００１５】
図６のフローに戻って説明を続ける。次に、広視野カメラ１で撮影を行う（ステップ１０２）。この際、図１のマルチカメラ２〜４は取り除いた状態とする。すると、広視野カメラ１の光軸６に対し、画角内の視野８の領域を撮影することができる。次にマルチカメラ２〜４を図１の位置へ設置し、各カメラの撮影を行う（ステップ１０４）。マルチカメラ２〜４の光軸が各５〜７、視野が各９〜１１とすると、視野９〜１１を合わせることにより広視野を実現することが可能となる。しかし、単純につなぎあわせるだけでは、各カメラの視点位置が異なるため、違和感が発生する。そこで、マルチカメラ２〜４の画像と、広視野カメラ１の画像とのマッチングを行う（ステップ１０６）。
マッチングの方法について図３を用いて説明する。広視野カメラ１で撮影した画像が２４であり、これを前記ステップ１００で求めた歪み補正パラメータを用い、理想的な透視画像に変換した画像が３１であるとする。同様にマルチカメラ２〜４を理想的な透視画像に変換した画像が各２８〜３０であるとする。このとき、広視野カメラ１で撮影したときと、マルチカメラ２〜４で撮影したときの被写体の状態に大きな変化がなければ、画像３１のある一部が画像２８〜３０に映っていることになり、画像間のマッチングをとることが可能となる。この際、画像３１と画像２８〜３０の分解能の違いを考慮する必要がある。すなわち、広視野カメラ１の解像度（映像の画素数）とマルチカメラ２〜４の解像度が同じであれば、画像３１の分解能は画像２８〜３０の分解能より低くなっているため、画像２８〜３０の分解能を画像３１に合わせてマッチングを行う。
【００１６】
マッチングは公知のパターンマッチング手法を利用し、２つの画像の相関値を利用し、例えば次の２段階の方法により行う。まず、校正パラメータにより透視射影モデルに変換したマルチカメラの画像２８〜３０と広視野画像を透視射影モデルに変換した画像３１の最もマッチングする位置を求め、基準マッチング位置とする。次に、基準マッチング位置でマルチカメラ画像２８〜３０と広視野画像３１の各対応画素について、マルチカメラ画像２８〜３０における対応画素の周囲の画素と相関値を調べ、よりマッチングする画素があれば、その画素を広視野画像３１の画素と対応するようにパラメータを求めることにより、マルチカメラの画像を変形させる。本実施例によれば、広視野カメラとマルチカメラの視点位置の違いによるずれを補正することが可能である。なお、相関値としては例えば輝度値や色成分の差などを利用すればよい。
【００１７】
マッチングを行い、画像２８〜３０と画像３１と対応する位置関係が決まったら、その情報をマッチングパラメータとして記憶する。マッチングパラメータは前記のように分解能を落とした状態で記憶しても良いし、補間することにより、画像２８〜３０の元の分解能に対応したパラメータとして記憶しても良い。分解能を落とした状態で記憶した場合には、以下で説明するステップ１０８において、補間処理を行えば良い。
【００１８】
以上をマルチカメラの初期補正として最初に行うものとする。一度補正のためのマッチングパラメータを算出してしまえば、マルチカメラの配置を変更しない限り計算し直す必要はない。
【００１９】
次にマルチカメラにより映像を撮影する際に、マルチカメラ２〜４で撮影された映像を前記のマッチングパラメータにより変形を行い、１枚の映像を生成する（ステップ１０８）。なお、マルチカメラ２〜４の映像で重なりのある部分については、ブレンディング処理を行う。
【００２０】
以上の実施例により、マルチカメラを用いることにより、高解像度の広視野映像を撮影することができると同時に、視点位置の違いを補正し、理想視点からの映像を得ることができる。また、生成された映像は透視射影モデルに基づく映像であるため、平面ディスプレイであれば、そのまま表示することで歪みのない映像を提示することが可能である。
【００２１】
前記の方法を実現する装置について図６、図７を用いて説明する。
広視野カメラ５０とマルチカメラ５１を用意する。マルチカメラの台数は任意であり、カメラ１からカメラＮ（５２〜５４）があるものとする。広視野カメラ５０とマルチカメラ５１の映像は各カメラの校正パラメータ算出部５７、マッチングパラメータ算出部６０、映像合成演算手段６１に入力される。カメラの校正パラメータ算出部５７はカメラ校正パラメータ演算手段５５と校正パラメータ記憶メモリ５６からなり、ステップ１００において、前記の方法をカメラ校正パラメータ演算手段６１で実施し、求められた校正パラメータを校正パラメータ記憶メモリ５６へ記憶する。マッチングパラメータ算出部６０はマルチカメラマッチングパラメータ演算手段５８とマッチングパラメータ記憶メモリ５９からなり、ステップ１０６において、校正パラメータ記憶メモリ５６の情報を利用して前記の方法をマルチカメラマッチングパラメータ演算手段５８で実施し、求められたマッチングパラメータをマッチングパラメータ記憶メモリ５９へ記憶する。映像合成演算手段６１はステップ１０８において、マッチングパラメータ記憶メモリ５９の情報を利用し、前記の方法を実施し、広視野高解像度の映像を生成する。生成された広視野高解像度の映像は映像出力手段６２に入力され、映像として出力される。
【００２２】
ここで図６のステップ１００、ステップ１０６の別の実施例について、図２を用いて説明する。
【００２３】
まず、ステップ１００においてカメラの校正パラメータとして、広視野カメラ１の射影モデルを基準として、図１のマルチカメラ２〜４の射影モデルを広視野カメラ１の射影モデルに変換するためのパラメータを求めておく。すると、ステップ１０６において、マルチカメラ２〜５で撮影した画像２１〜２３と、広視野カメラ１で撮影した画像２４とのマッチングをとる際に、画像２１〜２３をそれぞれ画像２５〜２７のように変換し、マッチングをとるようにする。
【００２４】
この実施例によれば、広視野カメラで撮影した映像を表示する装置がもともと存在した場合に、同じ投影条件のままで、高精細の映像を表示することが可能となる。また、広視野映像を作成する際に、広視野カメラで撮影した映像を変換する処理を省くことが可能となる。
【００２５】
また、別の実施例について図４、６を用いて説明する。
【００２６】
広視野カメラとして、凸面の反射体３５に映る映像をカメラ３６により撮影する装置を利用しても良い。このとき、マルチカメラ３７〜４０を図４のように配置することにより、広視野カメラ３６はマルチカメラ３７〜４０の視野４６〜４９の視野外とする。逆に広視野カメラ３６の視野４５の領域内にはマルチカメラ３７〜４０が存在することになる。被写体がほとんど動かないものであれば、ステップ１０２の広視野カメラの画像撮影とステップ１０４のマルチカメラの画像撮影は別の時刻に行ってもよいが、動きがある場合には、ステップ１０２とステップ１０４を同時に実施する。すると広視野カメラ３６の画像にはマルチカメラ３７〜４０が映り込むため、ステップ１０６におけるマッチングのステップにおいて、マルチカメラ３７〜４０が映り込んだ領域については、マッチングの判定から外す処理を追加する。そしてマルチカメラ３７〜４０が映り込んだ領域のマッチングパラメータをその周囲から補間するものとする。
【００２７】
さらに、ステップ１０８で広視野映像を生成する際には、マルチカメラの視野外の部分については広視野カメラ３６の映像を利用することにより、マルチカメラの視野以外の映像も合成したマルチ解像度の映像を生成する。
【００２８】
以上の実施例によれば、被写体が動く場合にも広視野カメラとマルチカメラの映像のマッチングをとることが可能となる。また、注目領域をマルチカメラで撮影し、高解像度の映像を得ると同時に、広範囲の注目領域の周辺映像も取得することが可能となり、さらに広視野の映像を得ることができる。この際、マルチカメラが映り込んだ広視野カメラの映像は、マルチカメラの高解像度映像に置き換えられるため、生成された広視野映像にカメラの映り込みは存在しない。
【００２９】
なお、マルチカメラで撮影する領域は注目領域とすればよく、マルチカメラの視野は互いに重なったり、連続している必要はない。また、高解像度で情報を得たい注目領域が狭い場合には、マルチカメラの台数を１台としてもよい。
【００３０】
ここで、さらに図４を用いて、カメラを配置する際の実施例について説明する。マルチカメラとしてレンズとＣＣＤなどの撮像部のみを３７〜４０の位置に配置する。また、撮像部からの信号線を内部に通した管状の支持部材４１〜４４を反射体３５に接続し、マルチカメラ３７〜４０を固定する。なお、広視野カメラ３６と反射体３５は透明な部材により一体化されているものとする。本実施例によれば、広視野カメラに映り込む領域を小さくすることが可能である。また、マルチカメラを固定する部分はマルチカメラと同じ光軸上にあるため、広視野カメラの映像に新たな映り込みを発生させない。
【００３１】
また、別のカメラ構造の実施例について図５を用いて説明する。
透明な材料で作成された支持部材４７により、広視野カメラ３６、マルチカメラ３７〜４０を固定する。本実施例によれば、より安定的に位置を固定できる。また、別のカメラ配置の実施例について図８を用いて説明する。
【００３２】
広視野カメラ３６と反対側にもう一つの広視野カメラ４５を設置する。中心には両側が凸面の反射体４６を設置する。また、マルチカメラ３７〜４４を全周に設置する。各カメラと反射体は透明な支持部材４８により固定する。本実施例により、広視野カメラ３６、４５により、３６０度全周の映像を撮影することが可能となり、かつ、高解像度の全周映像を撮影することが可能となる。
【００３３】
なお、マルチカメラを３次元的に配置することで、３次元的な全周映像を撮影することも可能である。また、広視野カメラは２台である必要はなく、複数台用いることにより、全周を撮影してもよい。
【００３４】
【発明の効果】
本発明によれば、複数のカメラによる映像を利用して高解像度の映像を取得できるだけでなく、広視野カメラ映像とのマッチングを利用することにより、理想的な１点を中心としたカメラによる自然な広視野高解像度の映像を生成することが可能となる。さらに、該広視野映像として、１点を中心とした全周映像を生成することも可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例の広視野カメラとマルチカメラの配置例である。
【図２】広視野カメラ画像にマルチカメラ画像を合わせて変形し、マッチングをとる例である。
【図３】広視野カメラ画像をマルチカメラ画像に合わせて変形し、マッチングをとる例である。
【図４】広視野カメラとマルチカメラの別の構成例である。
【図５】広視野カメラとマルチカメラの別の構成例である。
【図６】本発明の一実施例を示すフローチャートである。
【図７】本発明の一実施例を示す装置構成図である。
【図８】全周撮影するための広視野カメラとマルチカメラの構成例である。
【符号の説明】
１．広視野カメラ、２〜４．マルチカメラ、２１〜２３．マルチカメラで撮影した画像、２４．広視野カメラで撮影した画像、３５．広視野撮影のための反射体、３６、４５．反射体を利用した広視野カメラ、４６．全周撮影のための反射体、５７．カメラ校正パラメータ算出部、６０．マルチカメラマッチングパラメータ算出部

Claims

複数の撮影手段を有する映像生成装置であって、
前記撮影手段には、
より広い視野を撮影可能な広視野撮影手段と、
前記広視野撮影手段の視野の一部を含む範囲を撮影する視野撮影手段とを含み、
前記各撮影手段で撮影した画像をある基準により校正するためのパラメータを求める演算手段と該演算手段により求められた校正パラメータを記憶する手段と、
前記広視野撮影手段で撮影された画像と、前記視野撮影手段により撮影された画像をマッチングさせるためのパラメータを求める演算手段と、
該演算手段により求められたマッチングパラメータを記憶する手段と、
前記マッチングパラメータを利用し、広視野撮影手段により撮影された映像と視野撮影手段により撮影された映像を、あるいは、視野撮影手段が複数存在する場合に、視野撮影手段により撮影された複数の映像同士を、合成した映像を求める演算手段とを有することを特徴とする映像生成装置。
請求項１記載の映像生成装置であって、
前記広視野撮影手段は、反射体部と撮像部とを有し、前記視野撮影手段の視野外に設置されることを特徴とする映像生成装置。
請求項２記載の映像生成装置であって、
前記広視野撮影手段は複数存在し、反射体を中心とした全周の映像を撮影することが可能であることを特徴とする映像生成装置。
複数の撮影手段により撮影された画像から映像を生成する映像生成方法であって、
少なくとも１台の撮影手段により広視野画像を撮影するステップと、
他の撮影手段により、広視野画像の視野の一部を含む範囲を含む視野画像を撮影するステップと、
各撮影手段により撮影された画像をある基準により校正するパラメータを求めるステップと、
前記校正パラメータを用い、前記広視野画像と前記視野画像を校正し、前記広視野画像と最もマッチングするように前記視野画像を変形させるためのマッチングパラメータを求めるステップと、
前記マッチングパラメータを用い、前記広視野画像を撮影する撮影手段により撮影された映像と前記視野画像を撮影する撮影手段により撮影された映像を、あるいは、前記視野画像を撮影する撮影手段が複数存在する場合に、前記視野画像を撮影する撮影手段により撮影された複数の映像同士を、合成した映像を生成するステップを有することを特徴とする映像生成方法。
請求項４記載の映像生成方法において、
前記マッチングパラメータを求めるステップにおいて、
前記校正パラメータを用いて前記広視野画像と、前記視野画像を校正する方法は、該各画像を透視射影モデルの画像に変換する方法であることを特徴とする映像生成方法。
請求項４記載の映像生成方法において、
前記マッチングパラメータを求めるステップにおいて、
前記校正パラメータを用いて前記広視野画像と、前記視野画像を校正する方法は、前記視野画像を前記広視野画像の射影モデルに合わせて変形する方法であることを特徴とする映像生成方法。