JP2010273261A - 画像処理装置、撮像装置 - Google Patents

Abstract

【課題】特徴点が抽出しづらい画像間であっても良好に合成を行うことが可能な撮像装置を提供する。
【解決手段】それぞれ異なる方向を撮像する６個の撮像ユニット１〜６を有する撮像装置１００であって、撮像ユニット１〜６は、それぞれ、その撮像範囲が、隣り合う撮像ユニットの撮像範囲の一部と重なるように画角が設定されており、隣り合う２つの撮像ユニットでの撮像により得られる２つの画像データを画像データ組とし、各画像データ組から特徴点を抽出するデジタル信号処理部１７と、画像データ組から抽出された特徴点の情報に基づいて、該画像データ組の２つの画像データのオーバーラップ部分を重ね合わせて２つの画像データを合成する画像合成部１９とを備え、画像合成部１９は、特徴点が抽出されなかった画像データ組については、デジタル信号処理部１７で抽出された別の画像データ組の特徴点の情報に基づいて合成を行う。
【選択図】図５

Description

本発明は、複数視点での撮像によって得られる画像を合成することが可能な画像処理装置及び撮像装置に関する。

近年、複数のカメラを用いて撮影地点の周囲３６０度の範囲（全方位）を撮影できる装置が提案されている。このような装置は、全方位を一度に撮影できることから、広域且つ高解像度な映像を得ることができる。

また、こうした複数のカメラによる撮像画像を合成して１つのパノラマ画像を生成することも提案されている。複数の画像を合成する場合、画像間のオーバーラップ量を算出する必要がある。このオーバーラップ量を算出する方法としては、特許文献１，２に記載されたように、画像の特徴点を抽出し、この特徴点からオーバーラップ量を算出する方法が知られている。

特開平７−１５６７４号公報 特開２００４−８８６７８号公報

しかし、いずれの方法も、背景に被写体がない場合や、壁等のエッジのない一様な画像からでは特徴点を抽出することができず、画像合成を行うことが困難となる。また、各画像間のオーバーラップ量をパラメータとして予め装置に持っておく方法も考えられるが、撮像された画像に含まれる被写体の距離に応じて隣接画像間のオーバーラップ量は異なってくるため、パラメータとしてオーバーラップ量を予め持っておくことは難しい。

本発明は、上記事情に鑑みてなされたものであり、特徴点が抽出しづらい画像間であっても良好に合成を行うことが可能な画像処理装置及び撮像装置を提供することを目的とする。

本発明の画像処理装置は、３回以上の撮像により得られる３つ以上の画像データを合成して１つの画像データを生成する画像処理装置であって、前記３つ以上の画像データは、撮像範囲の一部が重なるようにそれぞれ異なる方向を撮像して得られたものであり、撮像範囲が重なる２つの前記画像データを画像データ組とし、各画像データ組から特徴点を抽出する特徴点抽出手段と、前記画像データ組から抽出された特徴点の情報に基づいて、前記画像データ組の２つの画像データのオーバーラップ部分を重ね合わせて前記２つの画像データを合成する合成手段とを備え、前記合成手段は、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の前記画像データ組の特徴点の情報に基づいて合成を行う。

本発明によれば、特徴点が抽出しづらい画像間であっても良好に合成を行うことが可能な画像処理装置及び撮像装置を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示す撮像装置の内部ブロック図 図１に示す撮像装置の撮像ユニットで撮像して得られた画像データの例を示した図 図３に示す画像データに設定される特徴点抽出対象となる領域Ｈの設定例を示した図 特徴点を抽出できない画像データ組に対して特徴点情報を補間することを説明するための図 特徴点情報の補間例を説明するための図 図３に示す画像データのパノラマ合成例を示した図 図１に示す撮像装置の撮像モード時の動作を説明するためのフローチャート 図１に示す撮像装置の第一の変形例の撮像モード時の動作を説明するためのフローチャート 図１に示す撮像装置の第二の変形例の撮像モード時の動作を説明するためのフローチャート 複数の画像データ組の特徴点情報を使って特徴点情報の補間を行う方法を説明するための図 図１に示す撮像装置の第三の変形例の撮像モード時の動作を説明するためのフローチャート 図１に示す撮像装置の第四の変形例の撮像モード時の動作を説明するためのフローチャート 第四の変形例の特徴点補間の方法を説明するための図 第四の変形例の特徴点補間の方法を説明するための図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図であり、撮像装置を真上から見た図である。図１に示す撮像装置１００は、Ｎ個（Ｎは３以上の自然数、図１の例ではＮ＝６とする）の撮像ユニット１，２，３，４，５，６と、これらを支持する支持体Ｓとを備える。

支持体Ｓは、例えば正Ｎ角柱（正六角柱）状となっており、金属、樹脂等の材料で構成されている。

撮像装置１００の撮像ユニット１〜６の各々には、光学レンズ、絞り、及びメカニカルシャッタ等を含む光学系ユニットと、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子とが含まれる。撮像ユニット１〜６は、支持体Ｓの６つの側面の各々に１つずつ設けられ、支持体Ｓの周方向に沿って配置されている。換言すると、６つの撮像ユニットは、支持体Ｓの中心点Ｃを中心とした円を既定したときの該円の円周方向に沿って並べて配置されている。

また、撮像ユニット１〜６は、支持体Ｓの周方向に等間隔に配置され、それぞれ異なる方向を撮像するようにレンズ開口面が向けられている。撮像ユニットによる撮像方向とは、例えば、その撮像ユニットに含まれる光学レンズのうち、最も外側にあるレンズの光軸の延びる方向で定義することができる。各撮像ユニット１〜６では、支持体Ｓを中心とする３６０度の範囲を撮像可能にそれぞれの画角が設定されている。具体的に、各撮像ユニット１〜６の撮像範囲は、隣り合う撮像ユニット１〜６の撮像範囲の端部分と重なるように配置されている。例えば、各撮像ユニット１〜６の画角は１２０度に設定されている。このような構成により、撮像ユニット１〜６によって、中心点Ｃの周囲３６０度の範囲の被写体が同時に撮像できるようになっている。

図２は、図１に示す撮像装置の内部ブロック図である。撮像装置１００は、撮像ユニット１〜６内の光学系ユニットのレンズの位置を制御したり、絞りの絞り量を制御したり、メカニカルシャッタの開閉を制御したり、撮像素子を駆動するためのタイミング信号を発生し、これを撮像素子に供給したりする駆動部１０を備え、駆動部１０は撮像装置１００全体を統括制御するシステム制御部１１（中央演算処理装置：ＣＰＵ）によって制御される。

撮像装置１００は、更に、各撮像ユニット１〜６から出力された６個の撮像信号に対してそれぞれ独立に相関二重サンプリングや自動利得制御等を行うアナログ信号処理部７と、アナログ信号処理部７で処理後のアナログ信号をデジタル変換するＡ／Ｄ変換部８とを備え、Ａ／Ｄ変換部８の出力はデータバス２５に接続されている。アナログ信号処理部７及びＡ／Ｄ変換部８はシステム制御部１１からの指令によって制御される。

撮像装置１００は、更に、ＲＡＭ等のメインメモリ１６に対するデータの書き込みや読み出しを制御するメモリ制御部１５と、１回の撮像によってＡ／Ｄ変換部８からから出力された６個の撮像信号に対してデジタル信号処理（γ補正やＲＧＢ−ＹＣ変換等）を施して６個の画像データ（１画素に輝度成分と色差成分を持たせたデータ）を生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された６個の画像データをパノラマ合成してパノラマ画像データを生成する画像合成部１９と、パノラマ画像データを圧縮したり圧縮されたパノラマ画像データを伸張したりする圧縮伸張処理１８と、撮像装置１００の外部からデータを読み出すことが可能な記録媒体２１へのデータ記録制御を行う外部メモリ制御部２０とを備え、これらはシステムバス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

システム制御部１１には、撮像装置１００の各種操作を行うための操作部１４が接続されている。操作部１４は、例えば支持体Ｓの上面等に配置された不図示の十字キーやボタン等で構成されている。

以下では、撮像ユニット１での撮像によって得られた画像データをＡとし、撮像ユニット２での撮像によって得られた画像データをＢとし、撮像ユニット３での撮像によって得られた画像データをＣとし、撮像ユニット４での撮像によって得られた画像データをＤとし、撮像ユニット５での撮像によって得られた画像データをＥとし、撮像ユニット６での撮像によって得られた画像データをＦとする。また、支持体Ｓの周方向に隣り合う２つの撮像ユニットから得られた２つの画像データを画像データ組とも言う。

デジタル信号処理部１７は、各画像データ組に対して特徴点を抽出する処理を行い、特徴点を抽出できた場合には、該画像データ組を構成する２つの画像データの各々の特徴点の数及び位置等を示す特徴点情報を、該画像データ組に対応付けてメインメモリ１６に記憶する。

図１の例では、Ｎ＝６であるため、画像データＡと画像データＢ、画像データＢと画像データＣ、画像データＣと画像データＤ、画像データＤと画像データＥ、画像データＥと画像データＦ、画像データＦと画像データＡのそれぞれの画像データ組に対応して特徴点情報が６個生成される。

以下、特徴点情報の生成処理の具体的方法について説明する。

まず、図１に示すように、撮像ユニット１の撮像範囲と撮像ユニット２の撮像範囲の重なる範囲に人物等の一様でない被写体Ｈが存在し、撮像ユニット２の撮像範囲と撮像ユニット３の撮像範囲の重なる範囲に壁等の一様な被写体Ｋが存在するものとする。

この状態で撮像を実施した場合、撮像ユニット１での撮像により得られる画像データＡと、撮像ユニット２での撮像により得られる画像データＢと、撮像ユニット３での撮像により得られる画像データＣは、図３に示したようになる。図３に示したように、画像データＡにはその右端に被写体Ｈが存在する。また、画像データＢには、その左端に被写体Ｈが存在し、その右端に被写体Ｋが存在する。また、画像データＣには、左端に被写体Ｋが存在する。

デジタル信号処理部１７は、各画像データ組を構成する２つの画像データの各々に対し、該画像データ組に対応する２つの撮像ユニットの撮像範囲同士の重なる範囲の大きさで決まる所定範囲に特徴点抽出対象領域を設定する。上記重なる範囲が撮像範囲の右側に存在する撮像ユニットから得られた画像データに対しては右端に特徴点抽出対象領域を設定し、上記重なる範囲が撮像範囲の左側に存在する撮像ユニットから得られた画像データに対しては左端に特徴点抽出対象領域を設定する。

例えば、撮像ユニット１，２から得られた画像データ組（２つの画像データＡ，Ｂ）に対応する特徴点情報を生成する場合には、図４に示すように、画像データＡの右端に特徴点抽出対象領域Ｘを設定し、画像データＢの左端に特徴点抽出対象領域Ｘを設定する。また、撮像ユニット２，３から得られた画像データ組（２つの画像データＢ，Ｃ）に対応する特徴点情報を生成する場合には、図４に示すように、画像データＢの右端に特徴点抽出対象領域Ｘを設定し、画像データＣの左端に特徴点抽出対象領域Ｘを設定する。

デジタル信号処理部１７は、設定した特徴点抽出対象領域Ｘから特徴点の抽出を行う。例えば、画像データの各画素間の輝度値の変化量を微分等により検出して、該変化量の大きい被写体のエッジ部分等を特徴点として抽出する。

デジタル信号処理部１７は、画像データ組に設定した特徴点抽出対象領域Ｘから特徴点を抽出できた場合には、その画像データ組を構成する２つの画像データの各々における特徴点の数及び位置を示す特徴点情報を生成し、これを該画像データ組に対応付けてメインメモリ１６に記憶する。デジタル信号処理部１７は、画像データ組に設定した特徴点抽出対象領域Ｘから特徴点が抽出できなかった場合には、生成できた別の画像データ組に対応する特徴点情報を補間し、これを、特徴点が抽出できなかった画像データ組に対応付けてメインメモリ１６に記憶する。

図３に示した画像データの例では、画像データＡと画像データＢの画像データ組に設定した特徴点抽出対象領域Ｘには人物の被写体Ｈが存在するため、特徴点を抽出することができ、画像データＡ，Ｂに対応する特徴点情報を生成することが可能である。一方、画像データＢと画像データＣの画像データ組に設定した特徴点抽出対象領域Ｘには一様な壁の被写体Ｋが存在するため、特徴点を抽出することができず、画像データＢ，Ｃに対応する特徴点情報を生成することができない。この場合には、画像データＡ，Ｂの画像データ組に対する特徴点情報を、画像データＢ，Ｃの画像データ組に対応する特徴点情報として補間する（図５参照）ことで、全ての画像データ組に対して特徴点情報を生成することができる。

画像データＡ，Ｂの画像データ組に設定した特徴点抽出対象領域から抽出される特徴点は、例えば、Ｘ座標、Ｙ座標の２次元の座標で表わされるため、画像データＡ，Ｂに対応する特徴点情報は、図６に示した表Ｈ１のような形で表すことができる。画像データＢ，Ｃの画像データ組に設定した特徴点抽出対象領域には特徴点がないため、画像データＢ，Ｃに対応する特徴点情報は、表Ｈ２のような形で表すことができる。このため、表Ｈ１をコピーしたデータから表Ｈ１と同じ内容の表Ｈ３を作成して、この表Ｈ３を、画像データＢ，Ｃに対応する特徴点情報とする。このようにすることで、画像データＡ，Ｂの画像データ組に対する特徴点情報を、画像データＢ，Ｃの画像データ組に対応する特徴点情報として補間することができる。

画像合成部１９は、メインメモリ１６に記憶されている特徴点情報に基づいて、該特徴点情報に対応する画像データ組を構成する２つの画像データのオーバーラップ量を算出し、そのオーバーラップ部分を重ね合わせて該２つの画像データを合成する。

図３に示した画像データの例で説明すると、画像合成部１９は、画像データＡ，Ｂに対応する特徴点情報に基づいて、画像データＡと画像データＢのオーバーラップ量を算出し、そのオーバーラップ部分を重ね合わせて画像データＡと画像データＢを合成し、画像データＢ，Ｃに対応する特徴点情報（画像データＡ，Ｂに対応する特徴点情報と同じ情報）に基づいて、画像データＢと画像データＣのオーバーラップ量を算出し、そのオーバーラップ部分を重ね合わせて画像データＢと画像データＣを合成して図７に示したパノラマ画像を生成する。

次に、撮像装置１００の動作について説明する。

図８は、図１に示す撮像装置の撮像モード時の動作を説明するためのフローチャートである。撮像モードに設定されると、システム制御部１１から撮像指示がなされ、駆動部１０の駆動により撮像ユニット１〜６で同時に撮像が行われる（ステップＳ１）。各撮像ユニット１〜６の撮像素子から出力された撮像信号は、アナログ信号処理が施された後、デジタル変換されてメインメモリ１６に一時記憶される。そして、一時記憶された撮像信号にデジタル信号処理が施されて６個の画像データが生成される。

次に、デジタル信号処理部１７が、６個の画像データに画像データ組を設定し、各画像データ組から特徴点を抽出する処理を行って、各画像データ組に対応する特徴点情報を生成する（ステップＳ２）。特徴点を抽出できず、特徴点情報を生成できなかった画像データ組があった場合（ステップＳ３：ＹＥＳ）、デジタル信号処理部１７は、生成した他の画像データ組に対応する特徴点情報のいずれかを、上記特徴点情報を生成できなかった画像データ組に対する特徴点情報として補間する（ステップＳ４）。

次に、全ての画像データ組について生成された６つの特徴点情報に基づいて、各画像データ組を構成する２つの画像データが合成されてパノラマ画像データが生成され（ステップＳ５）、これが記録媒体２１に記録される。システム制御部１１は、撮像を繰り返す場合（ステップＳ６：ＹＥＳ）にはステップＳ１に処理を戻し、撮像を繰り返さない場合（撮像モードを終了する指示がなされた場合、ステップＳ６：ＮＯ）には撮像モードを終了する。

以上のように、撮像装置１００によれば、壁等の一様な被写体が写っている画像データ同士のように特徴点が抽出できず、オーバーラップ量が正確に判断できなくて合成することが難しい２つの画像データがあった場合でも、別の画像データ組に対応する特徴点情報にしたがって、この２つの画像データを合成することができる。このため、特徴点が抽出しづらい画像間であっても良好に合成を行うことが可能となる。

なお、特徴点が抽出できなかった画像データ組は、別の画像データ組から抽出された特徴点情報に基づいてオーバーラップ量が算出されるため、オーバーラップ量が正確とはならない可能性もある。しかし、特徴点が抽出できなかった画像データ組は、元々、特徴点が存在しない一様な画像データであるため、オーバーラップ量が正確でなくても画質への影響は少ない。また、他の画像データ組に対応する特徴点情報に基づいてオーバーラップ量を算出することで、該特徴点情報に基づく特徴点で表される被写体の距離と同じ距離に焦点を合わせた画像データを生成することができ、パノラマ画像を全体として自然なものにすることができる。

以下、撮像装置１００の変形例を説明する。

（第一の変形例）
この変形例では、撮像装置１００のデジタル信号処理部１７が、特徴点情報を生成できなかった画像データ組があった場合、その画像データ組に対して補間する特徴点情報として、ユーザによって予め指定された隣り合う２つの撮像ユニットから得られた画像データ組に対応する特徴点情報を選択するものとしている。

図９は、図１に示す撮像装置の第一の変形例における動作を説明するためのフローチャートである。図９において図８と同じ処理には同一符号を付して説明を省略する。この撮像装置では、操作部１４を操作することにより、任意の隣り合う２つの撮像ユニットを予め選択して登録しておくことができるようになっている。

ステップＳ３でＹＥＳの判定となると、デジタル信号処理部１７は、ユーザによって予め指定された隣り合う２つの撮像ユニットから得られた画像データ組に対応する特徴点情報を、特徴点情報を生成できなかった画像データ組に対応する特徴点情報として補間する（ステップＳ１４）。ステップＳ１４の次はステップＳ５に以降する。

この構成により、外部操作によって指定された任意の撮像ユニットに対応する特徴点情報を用いて、特徴点の抽出できなかった２つの画像データの合成を行うことができ、ユーザの意図に合った画像を生成することができる。

（第二の変形例）
この変形例では、撮像装置１００のデジタル信号処理部１７が、特徴点情報を生成できなかった画像データ組があった場合、その画像データ組に対して補間する特徴点情報として、他の画像データ組に対応する特徴点情報のうちの２つ以上の特徴点情報を選択するものとしている。

図１０は、図１に示す撮像装置の第二の変形例における動作を説明するためのフローチャートである。図１０において図８と同じ処理には同一符号を付して説明を省略する。ステップＳ３でＹＥＳの判定となると、デジタル信号処理部１７は、特徴点情報を生成できなかった画像データ組に対する特徴点情報として、生成できた他の画像データ組に対応する特徴点情報のうち２つ以上を補間し、この２つ以上の特徴点情報を該画像データ組に対応付けて記憶する（ステップＳ２１）。例えば、図１１に示すように、画像データＡ、Ｂ，Ｃ，Ｄの４つがあり、画像データＢ，Ｃの画像データ組の特徴点情報が生成できなかった場合は、画像データＡ，Ｂの画像データ組の特徴点情報（図６の表Ｈ１に示すような情報）をコピーして図６の表Ｈ３のような情報を生成し、更に、表Ｈ３に含まれる特徴点情報と重複しない情報を、画像データＣ，Ｄの画像データ組の特徴点情報からコピーして、画像データＢ，Ｃの画像データ組の特徴点情報を生成する。

次に、画像合成部１９が、メインメモリ１６に記憶されている各画像データ組に対応する特徴点情報に基づいて、各画像データ組を構成する２つの画像データ同士のオーバーラップ量を算出し、算出したオーバーラップ量に基づいて、該各画像データ組の２つの画像データ同士のオーバーラップ部分を重ね合わせる合成処理を行ってパノラマ画像データを生成する（ステップＳ２２）。なお、画像合成部１９は、２つ以上の特徴点情報が対応付けられている画像データ組があった場合には、その２つ以上の特徴点情報の各々を用いて該画像データ組を構成する２つの画像データ同士のオーバーラップ量を算出する。例えば、その２つ以上の特徴点情報の各々に基づいてオーバーラップ量を算出した後、算出した２つ以上のオーバーラップ量を単純平均して、１つのオーバーラップ量を求め、このオーバーラップ量にしたがって２つの画像データを合成すれば良い。ステップＳ２２の後は、ステップＳ６に移行する。

この構成により、複数の画像データ組に対応する特徴点情報を用いて、特徴点の抽出できなかった画像データ組の画像データ同士の合成を行うことができ、合成の精度を向上させてより自然なパノラマ画像を得ることができる。

なお、特徴点情報を生成できなかった画像データ組に対する特徴点情報として、他の画像データ組に対応する特徴点情報のうち２つ以上を補間する方法としては、次のようなものも考えられる。例えば、図１１に示すように、画像データＡ、Ｂ，Ｃ，Ｄの４つがあり、画像データＢ，Ｃの画像データ組の特徴点情報が生成できなかった場合は、画像データＡ，Ｂの画像データ組の特徴点情報と、画像データＣ，Ｄの画像データ組の特徴点情報とのうち、遠景の特徴点の情報又は近景の特徴点の情報だけコピーして、画像データＢ，Ｃの画像データ組の特徴点情報を生成する。

（第三の変形例）
この変形例では、撮像装置１００のデジタル信号処理部１７が、特徴点情報を生成できなかった画像データ組があった場合、その画像データ組に対して補間する特徴点情報として、他の画像データ組に対応する特徴点情報のうち、特徴点の数が最も多い特徴点情報を選択するものとしている。

図１２は、図１に示す撮像装置の第三の変形例における動作を説明するためのフローチャートである。図１２において図８と同じ処理には同一符号を付して説明を省略する。ステップＳ３でＹＥＳの判定となると、デジタル信号処理部１７は、生成できた他の画像データ組に対応する特徴点情報のうち、特徴点の数が最も多い特徴点情報を検索する（ステップＳ３１）。次に、デジタル信号処理部１７は、検索した特徴点情報を、特徴点情報を生成できなかった画像データ組に対する特徴点情報として補間し、この特徴点情報を該画像データ組に対応付けて記憶する（ステップＳ３２）。ステップＳ３２の次は、ステップＳ５に移行する。

この構成により、特徴点が最も多い特徴点情報を用いて、特徴点の抽出できなかった画像データ組の画像データ同士の合成を行うことができ、合成の精度をより向上させて自然なパノラマ画像を得ることができる。

（第四の変形例）
この変形例では、撮像装置１００のデジタル信号処理部１７が、特徴点情報を生成できなかった画像データ組があった場合、その画像データ組に対し、他の画像データ組に対応する特徴点情報のいずれかに含まれる情報のうち、近景にある被写体の特徴点を示す情報を削除し、遠景にある被写体の特徴点を示す情報だけを残した情報を補間するものとしている。

図１３は、図１に示す撮像装置の第四の変形例における動作を説明するためのフローチャートである。図１３において図８と同じ処理には同一符号を付して説明を省略する。ステップＳ３でＹＥＳの判定となると、デジタル信号処理部１７は、生成できた他の画像データ組に対応する特徴点情報のうちのいずれかを選択し、選択した特徴点情報から、遠景の被写体の特徴点の情報のみを抽出して、これを、特徴点情報を生成できなかった画像データ組に対応する特徴点情報として補間し、該画像データ組に対応付けてメインメモリ１６に記憶する（ステップＳ４１）。ステップＳ４１の後はステップＳ５に移行する。

ここで、特徴点情報から遠景成分又は近景成分を抽出する方法の具体例について説明する。
例えば、図１４に示したように、撮像ユニット１と撮像ユニット２の撮像範囲のオーバーラップしている範囲に、撮像装置１００からの距離が近い被写体Ｘと、距離が遠い被写体Ｙとがあったとする。この場合、撮像ユニット１で撮像して得られる画像データと撮像ユニット２で撮像して得られる画像データは、それぞれ図１５に示したようになり、いずれの画像データにおいても、遠景の被写体Ｙが近景の被写体Ｘよりも内側に撮像される。

図１５に示した画像データ組では、特徴点として、被写体Ｘのエッジの座標と、被写体Ｙのエッジの座標とが抽出されることになる。ここで、撮像ユニット１で撮像して得られる画像データから抽出される被写体Ｘの特徴点情報と、撮像ユニット２で撮像して得られる画像データから抽出される被写体Ｘの特徴点情報から求めた２つの画像データのオーバーラップ量をＸ１とし、撮像ユニット１で撮像して得られる画像データから抽出される被写体Ｙの特徴点情報と、撮像ユニット２で撮像して得られる画像データから抽出される被写体Ｙの特徴点情報から求めた２つの画像データのオーバーラップ量をＹ１とすると、Ｘ１＜Ｙ１となる。

このため、Ｘ１とＹ１の大小関係を確認することで、被写体Ｙと被写体Ｘのどちらが遠景成分なのか近景成分なのかを判断することができる。Ｘ１＞Ｙ１であれば、被写体Ｘが遠景、被写体Ｙが近景となり、Ｘ１＜Ｙ１であれば、被写体Ｘが近景、被写体Ｙが遠景となり、Ｘ１＝Ｙ１であれば、被写体Ｘと被写体Ｙは同じ距離となる。デジタル信号処理部１７は、特徴点情報に被写体が複数含まれていた場合には、各被写体の特徴点からオーバーラップ量（上記Ｘ１，Ｙ１）を求め、全てのオーバーラップ量が同じときは、いずれかの被写体の特徴点情報を、オーバーラップ量に差があるときは、オーバーラップ量の最も大きい被写体の特徴点情報を、それぞれ、特徴点情報を生成できなかった画像データ組に対応する特徴点情報として補間すれば良い。

特徴点を抽出できないような画像データ組は、その重なり部分が一様に同じ背景であることが多く、その背景の距離は一定である。このため、特徴点情報を補間する際に、遠景と近景の距離がばらばらの被写体の特徴点を含む特徴点情報をそのまま補間するよりは、上記構成のように、遠景の被写体の特徴点のみを含む特徴点情報を補間することで、パノラマ合成の精度をより向上させることができる。

なお、他の画像データ組に対応する特徴点情報のいずれかに含まれる情報のうち、遠景にある被写体の特徴点を示す情報を削除し、近景にある被写体の特徴点を示す情報だけを残した情報を補間するものとしても同様の効果を得ることができる。

また、第四の変形例で説明した内容（他の特徴点情報のうちのいずれかを選択し、選択した特徴点情報から、遠景又は近景の被写体の特徴点の情報のみを抽出して補間する内容）は、第一、第二、第三の変形例と組み合わせることもできる。

第一の変形例と組み合わせた場合には、デジタル信号処理部１７が、ユーザから指定された画像データ組に対応する特徴点情報から、遠景又は近景の被写体の特徴点の情報のみを抽出し、抽出した情報を、特徴点が抽出できなかった画像データ組に対応付けてメインメモリ１６に記憶すれば良い。

第二の変形例と組み合わせた場合には、画像合成部１９が、補間された複数の特徴点情報の各々から遠景又は近景の被写体の特徴点の情報のみを抽出し、抽出した情報にしたがって２つ以上のオーバーラップ量を算出し、これを平均して得たオーバーラップ量にしたがって、特徴点情報が補間された組の２つの画像データの合成を行えば良い。

第三の変形例と組み合わせた場合には、画像合成部１９が、特徴点の最も多い特徴点情報から遠景又は近景の被写体の特徴点の情報のみを抽出して、抽出した情報にしたがってオーバーラップ量を算出して合成を行えば良い。

なお、これまでの説明では、撮像装置１００がＮ個の撮像ユニットを有するものとしたが、撮像ユニットを１つだけとしても良い。この場合には、撮像装置に、例えばパノラマ撮像モードを設けておく。パノラマ撮像モードに設定すると、１つの撮像ユニットにより、Ｎ回の撮像をユーザに実施させる。このＮ回の撮像は、各撮像時の撮像範囲の一部が他の撮像範囲の一部と重なるように、それぞれ異なる方向を撮像するように行う必要がある。

つまり、図１に示す撮像ユニット１〜６の各々で撮像したときと同じ状態を再現すれば良い。ユーザは、支持体Ｓの中心Ｃに立ち、撮像ユニット１が撮像する範囲と同じ範囲を撮像する。次に、ユーザは、体を回転させて、撮像ユニット２が撮像する範囲と同じ範囲を撮像する。同様に、撮像ユニット３が撮像する範囲と同じ範囲、撮像ユニット４が撮像する範囲と同じ範囲、撮像ユニット５が撮像する範囲と同じ範囲、撮像ユニット６が撮像する範囲と同じ範囲を、順次撮像する。これにより、撮像装置のメインメモリ１６には、撮像ユニット１〜６で撮像して得られた６つの画像データと同じ画像データが記憶されることになる。

デジタル信号処理部１７では、撮像範囲が重なる２つの画像データを画像データ組として、上述した方法で各画像データ組から特徴点を抽出すれば良い。そして、画像合成部１９により、上述した方法で合成処理を行えば良い。

なお、パノラマ撮像モードでは、１回の撮像毎に撮像範囲をずらしながら且つ直前の撮像範囲と一部が重なるようにＮ回の撮像を行うことが前提となる。このため、１回目の撮像と２回目の撮像では、撮像範囲に重なりが生じるが、１回目の撮像と３回目の撮像では撮像範囲に重なりが生じない。そこで、メインメモリ１６に記憶する画像データに対し、パノラマ撮像モード設定後の何回目の撮像により得られたものなのかを示す情報を付加しておく。このようにすることで、撮像範囲が重なる２つの画像データをデジタル信号処理部１７で認識することができる。

このように、撮像ユニットを１つにした場合でもパノラマ撮像が可能となる。撮像ユニットを１つにできるため、コスト削減が可能になると共に、一般的なデジタルカメラ等にも適用することができ、汎用性を高めることができる。

なお、撮像ユニットを１つだけ持つ撮像装置において、第一の変形例で説明した方法で特徴点情報の補間を行う場合には、パノラマ撮像モードで撮像して得られたＮ個の画像データのうちの２つをユーザによって選択できるようにしておけば良い。

以上説明したように、本明細書には次の事項が開示されている。

開示された画像処理装置は、３回以上の撮像により得られる３つ以上の画像データを合成して１つの画像データを生成する画像処理装置であって、前記３つ以上の画像データは、撮像範囲の一部が重なるようにそれぞれ異なる方向を撮像して得られたものであり、撮像範囲が重なる２つの前記画像データを画像データ組とし、各画像データ組から特徴点を抽出する特徴点抽出手段と、前記画像データ組から抽出された特徴点の情報に基づいて、前記画像データ組の２つの画像データのオーバーラップ部分を重ね合わせて前記２つの画像データを合成する合成手段とを備え、前記合成手段は、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の前記画像データ組の特徴点の情報に基づいて合成を行う。

この構成により、壁等の一様な被写体が写っている画像データ同士のように特徴点が抽出できず、合成することができない２つの画像データがあった場合でも、別の２つの画像データから抽出された特徴点にしたがって、この２つの画像データを合成することができる。このため、特徴点が抽出しづらい画像間であっても良好に合成を行うことが可能となる。

開示された画像処理装置は、前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の２つ以上の前記画像データ組の特徴点の情報に基づいて合成を行う。

この構成により、特徴点が抽出できなかった２つの画像データの合成をより精度良く行うことができる。

開示された画像処理装置は、前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、外部操作によって指定された２つの画像データの各々から抽出された特徴点の情報に基づいて合成を行う。

この構成により、任意の画像データ間の情報を用いて合成を行うことができる。

開示された画像処理装置は、前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の前記画像データ組の特徴点の情報のうち、特徴点の数が最も多い情報に基づいて合成を行う。

この構成により、２つの画像データの合成の精度を高めることができる。

開示された画像処理装置は、前記合成手段が、前記別の画像データ組の特徴点の情報に含まれる近景又は遠景の被写体の特徴点の情報のみに基づいて合成を行う。

この構成により、距離が同一となる特徴点の情報に基づいて合成が行われるため、特徴点が抽出されなかった２つの画像データの合成をより自然に行うことができる。

開示された撮像装置は、前記画像処理装置と、それぞれ異なる方向を撮像する３個以上の撮像部とを備え、前記３個以上の撮像部は、それぞれ、その撮像範囲が、隣り合う前記撮像部の撮像範囲の一部と重なるように画角が設定されており、前記３つ以上の画像データが、前記３個以上の撮像部でそれぞれ撮像して得られる画像データである。

開示された撮像装置は、前記画像処理装置と、１つの撮像部とを備え、前記３つ以上の画像データが、前記撮像部により撮像範囲を変えて行われた３回以上の撮像によって得られる画像データである。

１００ 撮像装置
１〜６ 撮像ユニット
１７ デジタル信号処理部
１９ 画像合成部

Claims (7)

1. ３回以上の撮像により得られる３つ以上の画像データを合成して１つの画像データを生成する画像処理装置であって、
   前記３つ以上の画像データは、撮像範囲の一部が重なるようにそれぞれ異なる方向を撮像して得られたものであり、
   撮像範囲が重なる２つの前記画像データを画像データ組とし、各画像データ組から特徴点を抽出する特徴点抽出手段と、
   前記画像データ組から抽出された特徴点の情報に基づいて、前記画像データ組の２つの画像データのオーバーラップ部分を重ね合わせて前記２つの画像データを合成する合成手段とを備え、
   前記合成手段は、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の前記画像データ組の特徴点の情報に基づいて合成を行う画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の２つ以上の前記画像データ組の特徴点の情報に基づいて合成を行う画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、外部操作によって指定された２つの画像データの各々から抽出された特徴点の情報に基づいて合成を行う画像処理装置。
4. 請求項１記載の画像処理装置であって、
   前記合成手段が、前記特徴点が抽出されなかった前記画像データ組については、前記特徴点抽出手段で抽出された別の前記画像データ組の特徴点の情報のうち、特徴点の数が最も多い情報に基づいて合成を行う画像処理装置。
5. 請求項１〜４のいずれか１項記載の画像処理装置であって、
   前記合成手段が、前記別の画像データ組の特徴点の情報に含まれる近景又は遠景の被写体の特徴点の情報のみに基づいて合成を行う画像処理装置。
6. 請求項１〜５のいずれか１項記載の画像処理装置と、
   それぞれ異なる方向を撮像する３個以上の撮像部とを備え、
   前記３個以上の撮像部は、それぞれ、その撮像範囲が、隣り合う前記撮像部の撮像範囲の一部と重なるように画角が設定されており、
   前記３つ以上の画像データが、前記３個以上の撮像部でそれぞれ撮像して得られる画像データである撮像装置。
7. 請求項１〜５のいずれか１項記載の画像処理装置と、
   １つの撮像部とを備え、
   前記３つ以上の画像データが、前記撮像部により撮像範囲を変えて行われた３回以上の撮像によって得られる画像データである撮像装置。

Images