JP2018152771A - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Abstract

【課題】２以上の部分画像を圧縮するとともに、重複部分のつなぎ合わせ処理をする画像処理を簡易に実行する。【解決手段】第１の魚眼カメラ１６Ａ、第２の魚眼カメラ１６Ｂにより撮像され、その一部に重複部分を有する２以上の画像Ａ，Ｂを合成して１の画像を生成する画像処理装置２０において、それぞれの魚眼カメラ１６Ａ，１６Ｂから入力された画像Ａ，Ｂについて、所定の画素数からなるブロック単位で、少なくとも該ブロックがエッジ部であるか否かを示すエッジ情報を含む符号Ａ，Ｂに変換する圧縮器２２Ａ，２２Ｂと、重複部分について、エッジ情報を画素情報として有する画像として、該画像に基づいてテンプレートマッチングをするテンプレートマッチング部２５と、を備える。【選択図】図１０

Description

本発明は、画像処理装置、画像処理方法および撮像装置に関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（全天球）を一度に撮像する撮像装置である全天球撮像システムが知られている。全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理によって結合することで、平面に展開された全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。

全天球画像を生成する画像処理では、各レンズ光学系により撮影された部分画像に対して、所定の射影モデルに基づいて、また理想的なモデルからの歪みを考慮して、歪曲補正および射影変換を施す。そして、複数の部分画像に含まれる重複部分に対してテンプレートマッチング処理を利用し、つなぎ合わせ処理を行う技術が既に知られている。例えば、特許文献１には、つなぎ合わせ処理の精度向上を目的として、画像の特徴量を抽出して、マッチング処理に適用する画像処理装置が開示されている。

全天球撮像システムを、高解像度（例えば４Ｋ）、ハイフレームレートの動画処理などに適用する場合、画像処理装置の外部メモリへ画像を格納するために必要なデータ帯域量が指数関数的に増えてしまう。これに対し、部分画像を圧縮器により圧縮して外部メモリへ格納し、つなぎ合わせ処理および平面展開処理を開始する前に、伸張器で復号する手段を適用することが考えられる。

しかしながら、つなぎ合わせ処理と平面展開処理は、パイプライン処理されるため、伸張器は、部分画像につきそれぞれ必要となる。すなわち、外部メモリのデータ帯域を削減するために、つなぎ合わせ処理、平面展開処理それぞれに回路の追加が必要となっていた。また、解像度が大きなるに従って、一時的に画像データを格納するラインバッファなどの内部メモリのサイズが大きくなっていた。

そこで本発明は、２以上の部分画像を圧縮するとともに、重複部分のつなぎ合わせ処理をする画像処理を簡易に実行することができる画像処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る画像処理装置は、２以上の撮像光学系により撮像され、その一部に重複部分を有する２以上の画像を合成して１の画像を生成する画像処理装置において、それぞれの前記撮像光学系から入力された画像について、所定の画素数からなるブロック単位で、少なくとも該ブロックがエッジ部であるか否かを示すエッジ情報を含む符号に変換する圧縮手段と、前記重複部分について、前記エッジ情報を画素情報として有する画像として、該画像に基づいてテンプレートマッチングをするテンプレートマッチング手段と、を備えるものである。

本発明によれば、２以上の部分画像を圧縮するとともに、重複部分のつなぎ合わせ処理をする画像処理を簡易に実行することができる。

全天球撮像システムの一例を示す断面図である。 全天球撮像システムにおける射影関係の説明図である。 全天球画像フォーマットの画像データのデータ構造の一例を示す説明図である。 ２つの魚眼カメラで撮像された２つの魚眼画像を全天球画像フォーマットに展開する処理の説明図である。 画像処理装置における画像処理全体の流れを示す図である。 テンプレートマッチング部によるテンプレート画像の生成の説明図である。 圧縮器の機能構成を示すブロック図である。 圧縮器で生成される符号とエッジ情報の説明図の一例である。 （Ａ）はカラー画像、（Ｂ）は（Ａ）を２値化した画像の例である。 第１の実施形態に係る画像処理装置のブロック図の一例である。 圧縮器で生成される符号とエッジ情報の説明図の他の例である。 第３の実施形態に係る画像処理装置のブロック図の一例である。

以下、本発明に係る構成を図１から図１２に示す実施の形態に基づいて詳細に説明する。

［第１の実施形態］
（撮像装置構成）
図１は、本発明に係る撮像装置の一実施形態である全天球撮像システム１０を示す断面図である。

全天球撮像システム１０は、撮像体１１と、撮像体１１およびコントローラやバッテリなどの部品を保持する筐体１２と、筐体１２に設けられたシャッターボタン１３と、を備える。撮像体１１は、２つの結像光学系１４Ａ，１４Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子１５Ａ，１５Ｂとを含む。以下、結像光学系１４と固体撮像素子１５とを１個ずつ組み合わせたものを撮像光学系と称する。また、２つの撮像光学系を、第１の魚眼カメラ１６Ａ、第２の魚眼カメラ１６Ｂとも称する。

結像光学系１４は、それぞれ、例えば、６群７枚の魚眼レンズとして構成することができる。魚眼レンズは、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有する。好適には、１８５度以上、さらに好適には、１９０度以上の画角を有するものである。

２つの結像光学系１４Ａ，１４Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、固体撮像素子１５Ａ，１５Ｂに対して位置関係が定められる。位置決めは、結像光学系１４Ａ，１４Ｂの光学素子の光軸が、対応する固体撮像素子１５の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように行われる。固体撮像素子１５各々は、受光領域が面積エリアを成す２次元の固体撮像素子であり、組み合わせられる結像光学系１４により集光された光を画像信号に変換する。

結像光学系１４Ａ，１４Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。固体撮像素子１５Ａ，１５Ｂは、受光した光分布を画像信号に変換して、全天球撮像システム１０が備えるコントローラにある画像処理手段としての画像処理装置に出力する。画像処理装置では、固体撮像素子１５Ａ，１５Ｂからそれぞれ入力される魚眼画像（部分画像の一例である）をつなぎ合わせて合成し、立体角４πラジアンの画像（全天球画像）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、全天球撮像システム１０が生成する画像は、全天球画像に限られるものではなく、例えば、水平面のみ３６０度を撮影したパノラマ画像であってもよい。

また、固体撮像素子１５Ａ，１５Ｂの走査方向を、互いに一致させることで、各々の撮像画像をつなぎ合わせやすくすることができる。つまり、それぞれの固体撮像素子１５の走査方向と順序を、互いにつなぎ合わせる部分で一致させることで、互いのカメラの境界にある物体、特に、移動物体のつなぎ合わせに効果が得られる。例えば、固体撮像素子１５Ａで撮影された撮像画像の左上の部分と、固体撮像素子１５Ｂで撮影された撮像画像の左下の部分が、画像のつなぎ合わせる部分として一致する場合は、固体撮像素子１５Ａの走査は、固体撮像素子の上から下に向かって、右から左に走査する。一方、固体撮像素子１５Ｂの走査は、固体撮像素子の下から上に向かって、右から左に走査する。このように、画像のつなぎ合わせる部分に基づいて、各固体撮像素子１５の走査方向を一致させるように制御することで、つなぎ合わせ易いという効果が得られる。

上述したように、結像光学系１４が１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系による撮影画像において、重複する画像部分が、同一像を表す基準データとして画像つなぎ合わせの参考とされる。生成された全天球画像は、撮像体１１に備えられる、または撮像体１１に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

また、全天球撮像システム１０は、３軸加速度センサを有し、傾き情報を画像処理装置に出力することも好ましい。

（全天球画像）
図２は、全天球撮像システム１０における射影関係の説明図である。全天球撮像システム１０において、一方の魚眼カメラ１６で撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。このとき、魚眼レンズは、図２（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、例えば、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、ｈ＝ｆ×φで表される。

投影モデルとしては、他に、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））、正射影方式（ｈ＝ｆ・ｓｉｎφ）等を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。

また、全天球撮像システム１０は、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用しており、得られる魚眼画像は、図２（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図３は、全天球撮像システム１０により生成される全天球画像フォーマット（平面画像）の画像データのデータ構造の説明図である。図３に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０〜３６０度の範囲となり、垂直角度φは、０〜１８０度の範囲となる。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮影された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図２で説明したような射影関数を用いることによって対応付けることができる。

図４は、第１の魚眼カメラ１６Ａおよび第２の魚眼カメラ１６Ｂで、それぞれ撮像された２つの魚眼画像Ａ，Ｂを全天球画像フォーマットに展開する処理の説明図である。

魚眼カメラ１６Ａ，Ｂで撮像された魚眼画像Ａ，Ｂは、歪曲補正処理がなされて、図４に示すように、全天球画像フォーマット上に展開される。例えば、魚眼カメラ１６Ａにより撮影された魚眼画像Ａは、全天球のうちの概ね上半球にマッピングされ、魚眼カメラ１６Ｂにより撮影された魚眼画像Ｂは、全天球のうちの概ね下半球にマッピングされる。

このとき、全天球フォーマットで表現された魚眼画像Ａおよび魚眼画像Ｂは、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出し、その結果、魚眼画像Ａおよび魚眼画像Ｂを重ね合わせると、画像間で撮影範囲が重複する重複部分（重複領域Ｃ）が発生する。

（画像処理装置構成）
本実施形態に係る画像処理装置は、２以上の撮像光学系（第１の魚眼カメラ１６Ａ、第２の魚眼カメラ１６Ｂ）により撮像され、その一部に重複部分（重複領域Ｃ）を有する２以上の画像（魚眼画像Ａ，Ｂ）を合成して１の画像を生成する画像処理装置（画像処理装置２０）において、それぞれの撮像光学系から入力された画像について、所定の画素数からなるブロック単位で、少なくとも該ブロックがエッジ部であるか否かを示すエッジ情報を含む符号に変換する圧縮手段（圧縮器２２Ａ，２２Ｂ）と、重複部分について、エッジ情報を画素情報として有する画像として、該画像に基づいてテンプレートマッチングをするテンプレートマッチング手段（テンプレートマッチング部２５）と、を備えるものである。なお、括弧内は実施形態での符号、適用例を示す。

図５は、本発明に係る画像処理装置の前提となる画像処理装置２０のブロック図の一例を示す図である。図５を参照して、画像処理装置２０における画像処理全体の流れを説明する。

第１の魚眼カメラ１６Ａと第２の魚眼カメラ１６Ｂで撮像された画像は、それぞれの固体撮像素子１５Ａ，１５Ｂにおける信号処理を経て入力された画像データ（ＲＡＷ（Raw Image Format）データ）として出力され、それぞれＩＳＰ（Image Signal Processor）２１Ａ，２１Ｂに入力される。

ＩＳＰ２１Ａ，２１Ｂでは、入力された画像データに対し、ＡＥ（Auto Exposure）処理、ＡＷＢ（Auto White Balance）処理、デモザイク処理などの各種の画像処理が施された後、それぞれ、圧縮器２２Ａ，２２Ｂにより符号化されて外部メモリ３０へ格納される。

外部メモリ３０に格納された符号のうち、各魚眼カメラ１６Ａ，Ｂで撮像された２つの画像のつなぎ合わせ処理に必要な重複領域Ｃを、第１の伸張器２３Ａで、画像に復号する。

第１の伸張器２３Ａにおいて復号された重複領域Ｃの画像データは、歪曲補正手段である第１の歪曲補正部２４Ａにおいて歪曲補正処理が実行される。次いで、テンプレートマッチング部２５において、テンプレートマッチング処理が実行される。テンプレートマッチング部２５では、２つの画像のズレ量を算出するとともに、歪曲補正処理におけるパラメータ（歪曲補正パラメータ）を補正し、その結果を外部メモリ３０に格納する。

一方、第２の伸張器２３Ｂは、外部メモリ３０に格納された魚眼画像Ａ，Ｂについての符号を画像へ復号する。第２の伸張器２３Ｂにおいて復号された画像データは、歪曲補正手段である第２の歪曲補正部２４Ｂにおいて歪曲補正処理が実行される。この歪曲補正処理では、補正された歪曲補正パラメータに基づいて実行され、歪曲補正とともに２つの画像を合成する合成処理により、平面展開された全天球画像が作成され、後段（内蔵メモリや外部ストレージ）へ出力され保存される。

なお、全天球撮像システム１０が３軸加速度センサを備える場合は、第２の歪曲補正部２４において、傾き情報に基づいて、傾き天地補正処理が実行される。

ここで、第２の歪曲補正部２４Ｂにおける、魚眼画像Ａ，Ｂの歪曲補正処理および２つの画像の合成処理は、テンプレートマッチング部２５で補正された歪曲補正パラメータに基づいて、公知または新規の方法によればよく、特に限られるものではないが、例えば、特許文献１に記載の歪曲補正および合成処理を適用することができる。

（テンプレートマッチング部）
テンプレートマッチング部２５での処理の詳細を説明する。図６は、テンプレートマッチング部２５でのテンプレート画像の生成の説明図である。

テンプレート用画像３００は、歪曲補正がされた魚眼画像Ｂの重複領域Ｃの画像であり、探索用画像３１０は、魚眼画像Ａの重複領域Ｃの画像である。ブロックサイズは、テンプレート画像を構成する画素サイズであり、生成間隔は、隣接するテンプレート画像が生成される間隔である。生成開始座標は、最初のテンプレート画像を切り出す座標である。なお、ブロックサイズおよび生成間隔は、つなぎ合わせ処理の所望の精度および処理量に基づいて決定される値である。

ブロックサイズをＷ画素×Ｈ画素とし、生成開始座標を（ｓｘ，ｓｙ）とし、生成間隔をｓｔｅｐ画素とすると、図６に示すように、複数のテンプレート画像３０２−１〜３０２−ｎが生成される。生成されるテンプレートのブロック数ｎは、テンプレート用画像３００の水平方向サイズ（例えば、全天球フォーマットの幅サイズ：３６００画素）を生成間隔（ｓｔｅｐ）で割った値の整数値となる。また、例えば、入力画像の種類によりブロックサイズを変更することでテンプレートマッチング処理の精度を向上させることができる。

生成された複数のテンプレート画像３０２−１〜３０２−ｎに対し、探索用画像３１０上での対応部分３１４が所定の探索範囲３１２−１〜３１２−ｎ内で探索されることになる。なお、全天球画像フォーマットのθ座標の両端（０度および３６０度）はつながっているため、テンプレート画像の生成やテンプレートマッチングの際は、右端の隣は左端として、左端の隣は右端として取り扱うことができる。

（圧縮器）
次に、圧縮器２２（２２Ａ，２２Ｂ）の詳細を説明する。図７は、圧縮器２２の機能構成を示すブロック図である。

圧縮器２２は、ウェーブレット変換部２２１、エッジ解析部２２２、量子化部２２３、量子化テーブル２２４、および符号生成部２２５を備え、特定ブロックサイズ（例えば、２×２画素）の画像から１つの符号を出力する。このブロックサイズは、入力画像の種類等に応じて適宜変更可能であることが好適である。

ＩＳＰ２１で所定の画像処理が施され、圧縮器２２に入力された画像は、先ず、ウェーブレット変換部２２１において、ウェーブレット変換処理を施し、輝度信号ＹをＹＨＨ，ＹＨＬ，ＹＬＨ，ＹＬＬの４つの周波数成分に変換する。なお、ＨＨ（画像の行と列方向の高周波成分）、ＬＬ（画像の行と列方向の低周波成分）、ＨＬ（画像の行方向の高周波成分と列方向の低周波成分）、ＬＨ（画像の行方向の低周波成分と列方向の高周波成分）を意味している。

次いで、ウェーブレット変換部２２１で変換された周波数成分に対してエッジ解析部２２２にてエッジ解析処理を実行し、入力された画像の各ブロック（２×２画素）がエッジ部であるか非エッジ部であるかを判定する。

エッジ解析部２２２の判定方法としては、例えば、ＹＨＨ，ＹＨＬ，ＹＬＨのいずれか１つが、所定の閾値を超えたらエッジ部と判断し、いずれも該閾値を超えない場合は、非エッジ部と判定することができる。

エッジ解析部２２２での判定後、ＹＨＨ，ＹＨＬ，ＹＬＨの３成分は、エッジ部用、非エッジ部用にそれぞれに用意された量子化テーブル２２４を適用し、ウェーブレット変換処理後のＹＬＬ、および色差信号Ｕ，Ｖは、量子化部２２３にてビットシフトにより量子化された後に、符号生成部２２５に入力される。符号生成部２２５にて符号が生成された後、後段（外部メモリ３０）へ出力される。なお、エッジ部用の量子化テーブル２２４を量子化テーブル２２４Ａ、非エッジ部用の量子化テーブル２２４を量子化テーブル２２４Ｂとする。量子化テーブル２２４は、例えば、ＳＲＡＭ（Static Random Access Memory）で構成される。

以上説明した圧縮器２２の構成により、例えば、入力画像の１／３サイズの符号が生成される。なお、伸張器２３（２３Ａ，２３Ｂ）の機能構成は、圧縮器２２の逆順に処理をするものであり、詳細な説明は省略する。伸張器２３により、符号から特定ブロックサイズの画像を生成することができる。上記の例では、ブロックサイズ２×２の画像に逆変換される。

図８は、図７に示した圧縮器２２で生成される符号とエッジ情報の説明図である。図８は、一例として、１画素１６ビットの画像の１ブロック（２×２画素）から、１つの３２ビット符号を生成する例を示している。１画素が１６ビットとなる方式としては、例えば、ＹＵＶ４２２がある。ＹＵＶ４２２は、輝度情報Ｙは各ピクセル独立に８ビットが与えられ、色差情報Ｕ，Ｖについては、それぞれ８ビットのデータを隣り合う画素で共有することで、各要素８ビットの階調を維持しながら、１画素あたり１６ビットで色を表現するものである。

ウェーブレット変換後、エッジ解析部２２２において、ＹＨＨ，ＹＨＬ，ＹＬＨのいずれか１つが、所定の閾値を超えたらエッジ部と判断し、量子化テーブル２２４Ａを適用して符号化し、いずれも該閾値を超えない場合は、非エッジ部と判断し、量子化テーブル２２４Ｂを適用して符号化する。このとき、圧縮符号の最上位ビットをエッジ部であるか否かを示すビット（エッジ情報）を割り当てる。図８の例では、エッジ情報「０」が非エッジ部、「１」がエッジ部を示している。

（画像処理装置構成（第１の実施形態））
図９（Ａ）はカラー画像、図９（Ｂ）は（Ａ）を２値化した画像の例である。図９（Ｂ）に示す画像は、（Ａ）に示す画像を圧縮器２２において、符号化処理を施し、エッジ解析部２２２において、エッジ部と判定された画素を白、非エッジ部と判定された画素を黒で表した２値画像である。圧縮器２２において、ウェーブレット変換を利用して、エッジ成分を抽出することで、多値のカラー画像を２値化することが可能となる。

図１０は、本実施形態に係る画像処理装置２０のブロック図の一例である。図１０は、本実施形態に係る画像処理装置２０による画像処理全体の流れを説明する。

第１の魚眼カメラ１６Ａと第２の魚眼カメラ１６Ｂで撮像された画像Ａ，Ｂは、それぞれの固体撮像素子１５Ａ，１５Ｂにおける信号処理を経て入力された画像データ（ＲＡＷデータ）として出力され、それぞれＩＳＰ２１Ａ，２１Ｂに入力される。また、ＩＳＰ２１Ａ，２１Ｂでは、入力された画像データに対し、各種の画像処理が施された後、それぞれ、圧縮器２２Ａ，２２Ｂにより符号化され、外部メモリ３０へ格納される。

ここで、圧縮器２２Ａ，２２Ｂに入力される画像Ａ，Ｂは多値画像（例えば、８ビット／色）であり、圧縮器２２Ａ，２２Ｂからの出力である符号Ａ，Ｂは、符号のエッジ情報（符号の最上位ビット）に注目するとエッジ成分で２値化された２値化画像とみなすことができる。すなわち、エッジ情報は「０」（非エッジ部），「１」（エッジ部）であるので、各ブロックについてのエッジ情報を画素情報として扱い、これを画像とみなすことで、２値の画像とみなすことができる。

ここで、第１の歪曲補正部２４Ａでの歪曲補正処理、およびテンプレートマッチング部２５でのテンプレートマッチング処理は、エッジ情報を有する２値化画像であれば、実行することが可能である。このため、重複領域Ｃに相当する部分の符号を元の多値画像に復元することなく、実行することができる。

このため、本実施形態に係る画像処理装置２０では、外部メモリ３０に格納された符号のうち、重複領域Ｃに相当する部分の符号（すなわち、２値化画像）に対して、第１の歪曲補正部２４Ａにおいて歪曲補正処理が実行されるとともに、テンプレートマッチング部２５において、テンプレートマッチング処理を実行する。テンプレートマッチング部２５では、２つの画像のズレ量を算出するとともに、歪曲補正処理におけるパラメータ（歪曲補正パラメータ）を補正し、その結果を外部メモリ３０に格納する。

一方、外部メモリ３０に格納された魚眼画像Ａ，Ｂについての符号は、伸張器２３Ｂにより画像へ復号され、第２の歪曲補正部２４Ｂにおいて歪曲補正処理が実行される。この歪曲補正処理では、補正された歪曲補正パラメータに基づいて実行され、歪曲補正とともに２つの画像を合成する合成処理により、平面展開された全天球画像が作成され、後段（内蔵メモリや外部ストレージ）へ出力され保存される。

すなわち、図５に示した画像処理装置２０の構成と比較すると、伸張器は、第２の伸張器２３Ｂに相当する伸張器２３Ｂのみとして、第１の歪曲補正部２４Ａの前段にあった第１の伸張器２３Ａを削除することが可能となる。また、２値化画像に対して、歪曲補正処理およびテンプレートマッチング処理を実施することで、多値画像の処理に比べて、第１の歪曲補正部２４およびテンプレートマッチング部２５の内部メモリのメモリサイズを削減することが可能となる。

以上説明したように、本実施形態に係る画像処理装置によれば、２以上の部分画像を圧縮するとともに、重複部分のつなぎ合わせ処理を実行する画像処理を簡易に実行することができる。例えば、１８０°以上の画角を持つ２つの魚眼画像を合成し、平面に展開された全天球画像を生成する画像処理装置において、２つの魚眼画像に対するつなぎ合わせ処理に関し、画像からウェーブレット変換と量子化によりエッジ情報を持つ圧縮符号を生成し、圧縮符号のまま２つの魚眼画像の重複部の平面展開を行い、圧縮符号に含まれるエッジ情報を利用してテンプレートマッチング処理を行うことで、伸張器を削除することができるとともに、内部メモリのサイズを削減することができ、画像処理装置の回路規模を削減することができる。

このとき、エッジ情報を１ビットで表すことにより、歪曲補正処理およびテンプレートマッチング処理において、２値画像として扱うことが可能となり、回路規模を効果的に削減することができる。

［第２の実施形態］
以下、本発明に係る画像処理装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。

図１１は、第２の実施形態に係る画像処理装置２０の圧縮器２２で生成される符号とエッジ情報の説明図である。図１１は、図８と同様に、１画素１６ビットの画像４画素から、１つの３２ビット符号を生成する例を示している。

第１の実施形態では、圧縮器２２のエッジ解析部２２２において、所定の閾値との比較によりエッジ部または非エッジ部を判定したが、第２の実施形態では、図１１に示すように、３つの閾値１〜３との比較により、４種類のエッジ情報（符号の上位２ビット）を有する符号に分類している。

第１の実施形態では、エッジ情報は、エッジ部または非エッジ部の２値の情報であったが、第２の実施形態では、エッジ情報を、エッジ強度に応じた４値の情報（例えば、非エッジ部、エッジ（弱）、エッジ（中）、エッジ（強））のように扱うことができる。

第２の実施形態にのように、エッジ情報を２ビットとすることで、４値画像となり、第１の実施形態に比べて回路規模の縮小度は減少することとなるが、テンプレートマッチング処理の精度を向上させることができる。

なお、エッジ情報のビット数は、これに限られるものではなく、３ビット以上とすることもできる。また、エッジ情報のビット数（例えば、１ビット、または２ビットとするか）を、レジスタ設定などにより選択可能とするビット数選択部を備えることも好ましい。これにより、入力画像の種類に応じて、最適なエッジ情報量とすることができ最適化を図ることができる。

［第３の実施形態］
図１２は、第３の実施形態に係る画像処理装置２０のブロック図の一例である。この画像処理装置２０は、テンプレートマッチング部２５は、複数のテンプレートマッチング方式（すなわち、アルゴリズム）によるテンプレートマッチング処理を可能としており、アルゴリズム選択部３１（方式選択部）からの選択指示に基づいて、テンプレートマッチング処理に用いるアルゴリズムを変更する。

ここでは、例として、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero Sum of Absolute Difference）の２つのアルゴリズムを選択可能とした例を示しているが、公知または新規のテンプレートマッチング処理のアルゴリズムを２以上選択的に実行可能であればよい。

このように、入力画像の種類に応じて、テンプレートマッチングのアルゴリズムを選択可能とすることで、テンプレートマッチング精度を向上させることができる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、上記実施形態では、画像処理装置および全天球撮像システムの一例として、２つの撮像光学系を備え、２つの撮像光学系で撮像した２つの魚眼画像について、画像つなぎ合わせ処理を行って、全天球画像を生成する場合を例に説明したが、本発明は、３以上の撮像光学系を備え、３以上の撮像光学系で撮像した３以上の魚眼画像について、画像つなぎ合わせ処理を行って、全天球画像を生成する画像処理装置および全天球撮像システムにも適用することができる。

また、上記実施形態では、２つの撮像光学系で撮像した２つの魚眼画像について、画像つなぎ合わせ処理を行って、全天球画像を生成する場合を例に説明したが、２以上の撮像光学系で撮影された重複部分を有する部分画像（魚眼画像に限られない）を、つなぎ合わせ処理を行って、１の画像（全天球画像に限られない）を生成する場合にも本発明を適用することができる。

１０ 全天球撮像システム
１１ 撮像体
１２ 筐体
１３ シャッターボタン
１４Ａ，１４Ｂ 結像光学系
１５Ａ，１５Ｂ 固体撮像素子
１６Ａ 第１の魚眼カメラ
１６Ｂ 第２の魚眼カメラ
２０ 画像処理装置
２１Ａ，２１Ｂ ＩＳＰ
２２Ａ，２２Ｂ 圧縮器
２３Ａ 第１の伸張器
２３Ｂ 第２の伸張器
２４Ａ 第１の歪曲補正部
２４Ｂ 第２の歪曲補正部
２５ テンプレートマッチング部
３０ 外部メモリ
３１ アルゴリズム選択部
２２１ ウェーブレット変換部
２２２ エッジ解析部
２２３ 量子化部
２２４Ａ，２２４Ｂ 量子化テーブル
２２５ 符号生成部
３００ テンプレート用画像
３１０ 探索用画像
３０２−１〜３０２−ｎ テンプレート画像
３１２−１〜３１２−ｎ 探索範囲
３１４ 対応部分

特開２０１６− ６６７４号公報

Claims (10)

1. ２以上の撮像光学系により撮像され、その一部に重複部分を有する２以上の画像を合成して１の画像を生成する画像処理装置において、
   それぞれの前記撮像光学系から入力された画像について、所定の画素数からなるブロック単位で、少なくとも該ブロックがエッジ部であるか否かを示すエッジ情報を含む符号に変換する圧縮手段と、
   前記重複部分について、前記エッジ情報を画素情報として有する画像として、該画像に基づいてテンプレートマッチングをするテンプレートマッチング手段と、を備えることを特徴とする画像処理装置。
2. 前記２以上の画像は、それぞれ１８０°以上の画角を持つ魚眼画像であるとともに、前記１の画像は、前記魚眼画像が合成されて、平面に展開された立体角４πラジアンの画像であって、
   前記重複部分について、前記エッジ情報を画素情報として有する画像として、平面画像に展開する歪曲補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記ブロックを構成する前記所定の画素数を変更可能としたことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記エッジ情報は、前記ブロックがエッジ部であるか否かを示す１ビットの情報であることを特徴とする請求項１から３までのいずれかに記載の画像処理装置。
5. 前記エッジ情報は、前記ブロックがエッジ部であるか否か、およびエッジ強度を示す２ビット以上の情報であることを特徴とする請求項１から３までのいずれかに記載の画像処理装置。
6. 前記エッジ情報を構成するビット数を選択するビット数選択部を備えることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記テンプレートマッチング手段は、テンプレートマッチングを実行するテンプレート画像のサイズを選択可能とすることを特徴とする請求項１から６までのいずれかに記載の画像処理装置。
8. 前記テンプレートマッチング手段でのテンプレートマッチング方式を複数の方式から選択する方式選択部を備えることを特徴とする請求項１から７までのいずれかに記載の画像処理装置。
9. ２以上の撮像光学系により撮像され、その一部に重複部分を有する２以上の画像を合成して１の画像を生成する画像処理方法において、
   それぞれの前記撮像光学系から入力された画像について、所定の画素数からなるブロック単位で、少なくとも該ブロックがエッジ部であるか否かを示すエッジ情報を含む符号に変換する圧縮処理と、
   前記重複部分について、前記エッジ情報を画素情報として有する画像として、該画像に基づいてテンプレートマッチングをするテンプレートマッチング処理と、を行うことを特徴とする画像処理方法。
10. 請求項１から８までのいずれかに記載の画像処理装置と、
    前記２以上の撮像光学系と、を備えることを特徴とする撮像装置。