JP2015177510A - カメラシステム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】２つのカメラで撮影された画像を繋ぎ合わせて高画質な合成画像を生成する。【解決手段】第１画像処理を行うことにより第１画像データを生成する第１画像生成部と、第２画像処理を行うことにより第２画像データを生成する第２画像生成部と、第３画像処理を行うことにより第１検出画像データを生成する第１検出画像生成部と、第４画像処理を行うことにより第２検出画像データを生成する第２検出画像生成部と、第１検出画像データの一部を切り出すことによりテンプレート画像を生成する切出部と、テンプレートマッチング処理によりテンプレート画像と、第２検出画像データとを比較し、テンプレート画像に一致する第２検出画像データの画像領域の位置を示す位置データを取得する比較部と、位置データに基づいて第１画像データと第２画像データとを繋ぎ合わせることにより合成画像データを生成する合成部と、を備える。【選択図】図１

Description

本発明はカメラシステム、画像処理方法及びプログラムに関する。

２つの画像を１つに繋ぎ合わせて合成するにあたり、繋ぎ目を補正（繋ぎ補正処理）することにより画像を合成する技術が知られている。例えば繋ぎ補正処理は、画角１８０度の２つの魚眼レンズで撮影された画像を１つに合成して全方位画像を得る場合等に使用されている。

繋ぎ補正処理には静的繋ぎ処理及び動的繋ぎ処理がある。静的繋ぎ処理は、入力画像の特徴によらず、予め決められた座標同士の画素値をアルファブレンドする補正を行う。一方、動的繋ぎ処理は、入力画像の特徴に応じて判定された座標同士の画素値をアルファブレンドする補正を行う。動的繋ぎ処理を行う理由は、被写体までの距離によって画像のずれ方が異なるためである。例えば被写体までの距離が遠い場合はずれ量が小さく、近い場合はずれ量が大きくなるという現象が発生する。また、その他の動的繋ぎ処理を行う理由として、２つのカメラ装置の組み付けによるずれ量の誤差や温度変動によるずれ量の誤差を改善することも挙げられる。

入力画像の特徴を検出し、２つの画像を繋ぐ画素の座標を決定する技術としてテンプレートマッチング処理が知られている。テンプレートマッチング処理では、テンプレート画像をサーチ画像の中で順番に移動させながら、テンプレート画像とテンプレート画像に重なるサーチ画像の画像領域の類似度を計算する。そして類似度の最も高い画像領域の座標が２つの画像を繋ぐ画素の座標として決定される。

特許文献１には、マルチカメラシステムにおけるカメラの配置やカメラ光軸の向きが動的に変化した場合に精度よく対象物を認識するために、少なくとも２台の撮像機器から得られる画像の重なり程度に応じて画像認識処理を切り替えるマルチカメラシステムの発明が開示されている。

しかしながら従来の動的繋ぎ処理（テンプレートマッチング処理）は、特徴の少ない領域において繋ぎ精度が落ち画質が劣化するため、２つの画像が滑らかに繋がらないという問題があった。この理由は特徴の少ない領域に対してテンプレートマッチングを行うと、複数個所で画像が一致する可能性があり、正しい位置を判断することが難しいためである。また、従来の動的繋ぎ処理（テンプレートマッチング処理）を、２つのカメラ装置で撮影された画像に使用する場合、繋ぎ精度が落ち、２つの画像が滑らかに繋がらず画質が劣化するという問題があった。この理由は各カメラでＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露出）処理やＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：オートホワイトバランス）処理を行うためである。特に一方の画像が日向で撮影され、もう一方の画像が日陰で撮影された場合等は、一方の画像が明るめで、もう一方の画像が暗めになり、画像全体の輝度が異なる領域に対してテンプレートマッチングを行うことになるので、想定外の個所で画像が一致する可能性が高くなる。

本発明は、上記に鑑みてなされたものであって、２つのカメラで撮影された画像を繋ぎ合わせて高画質な合成画像を生成することができるカメラシステム、画像処理方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１カメラにより撮影された第１撮影画像データ、及び第２カメラにより撮影された第２撮影画像データを、テンプレートマッチング処理を使用して繋ぎ合わせることにより合成画像データを生成するカメラシステムであって、前記第１撮影画像データに、前記合成画像データの画質を調整するための第１画像処理を行うことにより第１画像データを生成する第１画像生成部と、前記第２撮影画像データに、前記合成画像データの画質を調整するための第２画像処理を行うことにより第２画像データを生成する第２画像生成部と、前記第１撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第３画像処理を行うことにより第１検出画像データを生成する第１検出画像生成部と、前記第２撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第４画像処理を行うことにより第２検出画像データを生成する第２検出画像生成部と、前記第１検出画像データの一部を切り出すことによりテンプレート画像を生成する切出部と、前記テンプレートマッチング処理により前記テンプレート画像と、前記第２検出画像データとを比較し、前記テンプレート画像に一致する前記第２検出画像データの画像領域の位置を示す位置データを取得する比較部と、前記位置データに基づいて前記第１画像データと前記第２画像データとを繋ぎ合わせることにより前記合成画像データを生成する合成部と、を備える。

本発明によれば、２つのカメラで撮影された画像を繋ぎ合わせて高画質な合成画像を生成することができるという効果を奏する。

図１は実施形態のカメラシステムのシステム構成の例を示す図である。 図２は実施形態のカメラシステムの画像処理のフローを示す図である。 図３は実施形態の第１画像生成部の構成の例を示す図である。 図４は実施形態の第２画像生成部の構成の例を示す図である。 図５は実施形態の第１検出画像生成部の構成の例を示す図である。 図６は実施形態の第２検出画像生成部の構成の例を示す図である。 図７は実施形態のヒストグラム拡大処理について説明するための図である。 図８は実施形態のガンマ処理について説明するための図である。 図９は実施形態のフィルタ処理による強調処理を説明するための図である。 図１０は実施形態のフィルタ処理による平滑処理を説明するための図である。 図１１は実施形態の色補正処理を説明するための図である。 図１２は実施形態の少値化処理を説明するための図である。 図１３は特徴の少ない画像端部の領域の画素値の分布の例を示す図である。 図１４は図１３（ａ），（ｂ）の領域にヒストグラム拡大処理を行った場合の例を示す図である。 図１５は輝度が極度に低い画像端部の領域の画素値の分布の例を示す図である。 図１６は図１５の領域にガンマ処理を行った場合の例を示す図である。 図１７は所定の色相角内の画素値に色相回転を行うことにより色補正処理をする場合の例を示す図である。 図１８は図１５の領域に少値化処理を行った場合の例を示す図である。

以下に添付図面を参照して、カメラシステム、画像処理方法及びプログラムの実施形態を詳細に説明する。

図１は実施形態のカメラシステム１００のシステム構成の例を示す図である。カメラシステム１００は、第１カメラ４０ａ、第２カメラ４０ｂ、信号処理部５０、操作部１８、ＲＯＭ１９、メモリ２０及び表示部２１を備える。

まず第１カメラ４０ａについて説明する。第１カメラ４０ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）部１ａ及び第１ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部３０ａを備える。

ＣＣＤ部１ａは図１では図示されていない鏡胴ユニットに設置した撮影レンズ系を通して入射される被写体画像を取得する固体撮像素子である。鏡胴ユニットはズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備える。撮影レンズ系、絞りユニット及びメカシャッタユニットの各駆動ユニットは、モータドライバによって駆動される。モータドライバは信号処理部５０の制御部（ＣＰＵ１５）からの駆動信号により駆動制御される。ＣＣＤ部１ａは、ＣＣＤ部１ａを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されている。ＣＣＤ部１ａはＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）を第１ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部３０ａに入力する。

第１ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部３０ａはＣＣＤ部１ａから受け付けた電気信号（アナログＲＧＢ画像信号）をデジタル信号（１２ビットの第１ＲＡＷ−ＲＧＢデータ）に変換する。第１ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部３０ａは、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）部２ａ、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）部３ａ、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）部４ａ及びＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）部５ａを備える。

ＣＤＳ部２ａはＣＣＤ部１ａからアナログＲＧＢ画像信号を受け付け、アナログＲＧＢ画像信号をサンプリング（相関２重サンプリング）する。ＣＤＳ部２ａはサンプリングされたアナログＲＧＢ画像信号をＡＧＣ部３ａに入力する。ＡＧＣ部３ａは入力されたアナログＲＧＢ画像信号が弱い場合には感度を上げ、逆に入力されたアナログＲＧＢ画像信号が強い場合には感度を下げてＡＤＣ部４ａに出力する。ＡＤＣ部４ａはＡＧＣ部３ａでゲイン調整されたアナログＲＧＢ画像信号を、第１ＲＡＷ−ＲＧＢデータ（第１撮影画像データ）としてデジタル信号に変換する。ＡＤＣ部４ａは第１ＲＡＷ−ＲＧＢデータを信号処理部５０に入力する。ＴＧ部５ａはＣＣＤ部１ａ部、ＣＤＳ部２ａ、ＡＧＣ部３ａ及びＡＤＣ部４ａに駆動タイミング信号を入力する。ＴＧ部５ａは、ＣＣＤ部１ａ部には駆動タイミング信号として画面水平同期信号（ＨＤ）及び画面垂直同期信号（ＶＤ）を入力する。

第２カメラ４０ｂは、ＣＣＤ部１ｂ及び第２ＡＦＥ部３０ｂを備える。第２ＡＦＥ部３０ｂは、ＣＤＳ部２ｂ、ＡＧＣ部３ｂ、ＡＤＣ部４ｂ及びＴＧ部５ｂを備える。第２カメラ４０ｂの構成の説明は第１ＡＦＥ部３０ａと同じなので省略する。

信号処理部５０は、ＣＣＤＩ／Ｆ６ａ、ＣＣＤＩ／Ｆ６ｂ、第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ、第２検出画像生成部８ｂ、切出部９、比較部１０、合成部１１、変倍部１２、圧縮部１３、メモリコントローラ１４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５、出力制御部１６及びメディアＩ／Ｆ１７を備える。

ＣＣＤＩ／Ｆ６ａはＴＧ部５ａに駆動タイミング信号を入力し、この駆動タイミング信号に合わせてＡＤＣ部４ａから出力される第１ＲＡＷ−ＲＧＢデータを受け付ける。またＣＣＤＩ／Ｆ６ａは、第１ＲＡＷ−ＲＧＢデータから、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値及びＡＷＢ（オートホワイトバランス）評価値を算出する。

ＣＣＤＩ／Ｆ６ａは高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によってＡＦ評価値を算出する。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、第１ＲＡＷ−ＲＧＢデータの高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、ＣＣＤＩ／Ｆ６ａは撮影レンズ系内の各フォーカスレンズ位置でＡＦ評価値を算出し、ＡＦ評価値が極大になる点を合焦位置として検出する。

またＣＣＤＩ／Ｆ６ａはＲＡＷ−ＲＧＢデータにおけるＲＧＢ値の積分値からＡＷＢ評価値を算出する。ＣＣＤＩ／Ｆ６ａは、例えばＣＣＤ部１ａの全画素の受光面に対応した撮像画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）した後、それぞれのエリア（ブロック）のＲＧＢ積算値を算出する。そしてＣＰＵ１５は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスとなるゲインを算出する。ＣＰＵ１５はＲＧＢ積算値の分布から被写体の光源の色温度に合わせたＡＷＢの制御値を決定する。第１画像生成部７ａは、第１画像データをＹＵＶデータに変換処理するときに、このＡＷＢの制御値を使用してホワイトバランスを合わせる。

またＣＣＤＩ／Ｆ６ａはＲＡＷ−ＲＧＢデータにおけるＲＧＢ値の積分値からＡＥ評価値を算出する。ＣＣＤＩ／Ｆ６ａは画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。ＣＰＵ１５は決定された露光量に基づいて、露光条件（ＣＣＤ部１ａの電子シャッタ回数、絞りユニットの絞り値及びＮＤフィルタの出し入れ等）を設定する。

ＣＣＤＩ／Ｆ６ａは第１ＲＡＷ−ＲＧＢデータを、メモリコントローラ１４を介してメモリ２０に記憶する。

同様に、ＣＣＤＩ／Ｆ６ｂはＴＧ部５ｂに駆動タイミング信号を入力し、この駆動タイミング信号に合わせてＡＤＣ部５ｂから出力される第２ＲＡＷ−ＲＧＢデータ（第２撮影画像データ）を受け付ける。またＣＣＤＩ／Ｆ６ａは、第２ＲＡＷ−ＲＧＢデータから、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値及びＡＷＢ（オートホワイトバランス）評価値を算出する。ＣＣＤＩ／Ｆ６ｂは第２ＲＡＷ−ＲＧＢデータを、メモリコントローラ１４を介してメモリ２０に入力する。

第１画像生成部７ａはメモリコントローラ１４を介してメモリ２０から第１ＲＡＷ−ＲＧＢデータを読み出す。第１画像生成部７ａは第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第１画像処理（第１画像信号処理）を行うことにより第１画像データを生成する。ヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理については後述する。また第１画像生成部７ａは第１画像データをＲＧＢ形式又はＹＵＶ形式に変換する。第１画像生成部７ａは第１画像データと、ＲＧＢ形式又はＹＵＶ形式の第１画像データとを、メモリコントローラ１４を介してメモリ２０に記憶する。

なおＹＵＶデータは、輝度データ（Ｙ）及び色差データで色を表現する形式である。色差データは輝度データと青色（Ｂ）成分データの差分（Ｕ）、及び輝度データと赤色（Ｒ）成分データの差分により表現される。

同様に、第２画像生成部７ｂはメモリコントローラ１４を介してメモリ２０から第２ＲＡＷ−ＲＧＢデータを読み出す。第２画像生成部７ｂは第２ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第２画像処理を行うことにより第２画像データを生成する。また第２画像生成部７ｂは第２画像データを、ＲＧＢ形式又はＹＵＶ形式に変換する。第２画像生成部７ｂは第２画像データと、ＲＧＢ形式又はＹＵＶ形式の第２画像データとを、メモリコントローラ１４を介してメモリ２０に記憶する。

第１検出画像生成部８ａは、メモリコントローラ１４を介してメモリ２０から第１ＲＡＷ−ＲＧＢデータを読み出す。第１検出画像生成部８ａは、第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第３画像処理を行うことにより第１検出画像データを生成する。また第１検出画像生成部８ａは第１検出画像データを、ＲＧＢ形式又はＹＵＶ形式に変換する。第１検出画像生成部８ａは第１検出画像データと、ＲＧＢ形式又はＹＵＶ形式の第１検出画像データとを、メモリコントローラ１４を介してメモリ２０に記憶する。第１検出画像データは、画像比較処理（テンプレートマッチング処理）で使用されるテンプレート画像データに利用される。画像比較処理（テンプレートマッチング処理）については後述する。

第２検出画像生成部８ｂは、メモリコントローラ１４を介してメモリ２０から第２ＲＡＷ−ＲＧＢデータを読み出す。第２検出画像生成部８ｂは、第２ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第４画像処理を行うことにより第２検出画像データを生成する。また第２検出画像生成部８ｂは第２検出画像データを、ＲＧＢ形式又はＹＵＶ形式に変換する。第２検出画像生成部８ｂは第２検出画像データと、ＲＧＢ形式又はＹＵＶ形式の第２検出画像データとを、メモリコントローラ１４を介してメモリ２０に記憶する。第２検出画像データは、画像比較処理（テンプレートマッチング処理）で使用されるサーチ画像データとして利用される。画像比較処理（テンプレートマッチング処理）については後述する。

切出部９はメモリコントローラ１４を介してメモリ２０から第１検出画像データを読み出す。切出部９は第１検出画像データに切出処理（トリミング処理）を行うことにより、第１検出画像データの一部を切り出してテンプレート画像データを生成する。切出部９はテンプレート画像データを、メモリコントローラ１４を介してメモリ２０に記憶する。

比較部１０はメモリコントローラ１４を介してメモリ２０からサーチ画像データ（第２検出画像データ）及びテンプレート画像データを読み出す。比較部１０はサーチ画像データの画像領域と、テンプレート画像データとを比較する画像比較処理（テンプレートマッチング処理）を行う。比較部１０はテンプレート画像データと一致したサーチ画像データの画像領域の位置を示す位置データを、メモリコントローラ１４を介してメモリ２０に記憶する。

合成部１１はメモリコントローラ１４を介してメモリ２０から第１画像データ、第２画像データ及び位置データを読み出す。合成部１１は、位置データに基づいて第１画像データと第２画像データとを繋ぎ合わせることにより合成画像データを生成する。

変倍部１２は画像データのサイズを、表示出力する画像のサイズ又はメモリカード２３等に記憶する画像のサイズに合わせて変更する。圧縮部１３は画像データを圧縮する。圧縮部１３は画像データをメモリカード２３等にＪＰＥＧ形式などで記憶する場合に、当該画像データを受け付けて圧縮する。メモリコントローラ１４はメモリ２０のデータの読み出し及び書き込みを制御する。

ＣＰＵ１５は操作部１８からの操作入力情報に基づき、ＲＯＭ１９に記憶された制御プログラムに基づいてカメラシステム１００のシステムを制御する。出力制御部１６は画像データを表示部２１又は外部出力装置２２に出力（表示）する制御を行う。メディアＩ／Ｆ１７はメモリカード２３のデータの読み込み又は書き込みを行うためのインタフェースである。

操作部１８はレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン及び確定ボタン等であり、撮影者の操作によって所定の動作指示信号をＣＰＵ１５に入力する。ＲＯＭ１９はカメラシステム１００のシステムを制御する制御プログラム等を記憶する。メモリ２０はデータを一時的に記憶する。メモリ２０は、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。表示部２１は出力制御部１６から受け付けたデータを表示する。表示部２１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。外部出力装置２２は出力制御部１６から受け付けたデータを表示する。外部出力装置２２は、例えばＴＶである。メモリカード２３はカメラシステム１００から取り外し可能な記憶媒体である。

図２は実施形態のカメラシステムにおける画像データのフローを示す図である。まず第１画像生成部７ａは、第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第１画像処理を行うことにより第１画像データを生成する。

同様に、第２画像生成部７ｂは第２ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第２画像処理を行うことにより第２画像データを生成する。

次に、第１検出画像生成部８ａは、第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第３画像処理を行うことにより第１検出画像データを生成する。

同様に、第２検出画像生成部８ｂは、第２ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第４画像処理を行うことにより第２検出画像データ（サーチ画像データ）を生成する。

次に、切出部９は第１検出画像に切出処理（トリミング処理）を行うことにより、テンプレート画像データを生成する。次に、比較部１０はサーチ画像データの画像領域と、テンプレート画像データとを比較する画像比較処理（テンプレートマッチング処理）を行う。比較部１０はテンプレート画像データと一致したサーチ画像データの画像領域の位置を示す位置データを取得する。

ここで比較部１０のテンプレートマッチング処理について説明する。テンプレートマッチング処理では、テンプレート画像データを第２検出画像データ（サーチ画像データ）の中で順番に移動させながら、テンプレート画像データと、テンプレート画像データに重なる第２検出画像データ（サーチ画像データ）の画像領域の類似度を計算する。類似度計算には大きくは２種類あり、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）方式とＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）方式がある。

ＳＳＤは下記式（１）により所定領域内の各画素値の差の２乗和を計算する方式である。

ＳＳＤ＝ΣΣ（Ｉ（ｘ，ｙ）−Ｔ（ｘ，ｙ））^２・・・（１）

一方、ＳＡＤは下記式（２）により所定領域内の各画素値の差の絶対値の和を計算する方式である。

ＳＡＤ＝ΣΣ｜Ｉ（ｘ，ｙ）−Ｔ（ｘ，ｙ）｜・・・（２）

ここで、Ｉ（ｘ，ｙ）は第２検出画像データ（サーチ画像データ）の画素値である。またＴ（ｘ，ｙ）はテンプレート画像データの画素値である。ＳＳＤ方式の場合は画素値の差の２乗を計算し、ＳＡＤ方式の場合は画素値の差の絶対値を計算する。その後、所定領域の水平方向及び垂直方向の演算結果の和を計算する。これによりテンプレート画像データと、第２検出画像データ（サーチ画像データ）内のテンプレート画像に重なる画像領域の類似度がわかる。値が小さいほど類似しており、完全一致している場合には値が０となる。

比較部１０は、２つの入力画像の画像合成を行うため、テンプレート画像データとして第１検出画像データの端部領域を使い、第２検出画像データ（サーチ画像データ）内の端部との類似度を計算する。また、本処理はＲＧＢ形式の３版それぞれの画像に対して行ってもよいし、ＹＵＶ形式の３版それぞれの画像に対して行ってもよい。また前処理（ヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等）に応じて使用する形式や版数を切り替えてもよい。

次に、合成部１１は比較部１０で取得された位置データ（最も類似度が高い画素位置の座標）に基づいて、第１画像データと第２画像データとを繋ぎ合わせることにより合成画像データを生成する。合成部１１は合成画像を生成する際に、類似度が最も高い２つの画素の平均値を採用してもよいし、第１画像データ及び第２画像データの注目画素周辺の画素の情報を加味し重み付けにより計算された類似度を採用してもよい。

次に、第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ及び第２検出画像生成部８ｂの構成について説明する。

図３は実施形態の第１画像生成部７ａの構成の例を示す図である。第１画像生成部７ａは、ヒストグラム拡大処理部７１ａ、ガンマ処理部７２ａ、フィルタ処理部７３ａ、色補正処理部７４ａ及び少値化処理部７５ａを備える。第１画像生成部７ａは、ヒストグラム拡大処理部７１ａ、ガンマ処理部７２ａ、フィルタ処理部７３ａ、色補正処理部７４ａ及び少値化処理部７５ａのうち少なくとも１つを動作させ、合成画像データの画質を調整するための第１画像処理を行うことにより第１画像データを生成する。

図４は実施形態の第２画像生成部７ｂの構成の例を示す図である。第２画像生成部７ｂは、ヒストグラム拡大処理部７１ｂ、ガンマ処理部７２ｂ、フィルタ処理部７３ｂ、色補正処理部７４ｂ及び少値化処理部７５ｂを備える。第２画像生成部７ｂは、ヒストグラム拡大処理部７１ｂ、ガンマ処理部７２ｂ、フィルタ処理部７３ｂ、色補正処理部７４ｂ及び少値化処理部７５ｂのうち少なくとも１つを動作させ、合成画像データの画質を調整するための第２画像処理を行うことにより第２画像データを生成する。

図５は実施形態の第１検出画像生成部８ａの構成の例を示す図である。第１検出画像生成部８ａは、ヒストグラム拡大処理部８１ａ、ガンマ処理部８２ａ、フィルタ処理部８３ａ、色補正処理部８４ａ及び少値化処理部８５ａを備える。第１検出画像生成部８ａは、ヒストグラム拡大処理部８１ａ、ガンマ処理部８２ａ、フィルタ処理部８３ａ、色補正処理部８４ａ及び少値化処理部８５ａのうち少なくとも１つを動作させ、テンプレートマッチング処理の精度を向上させるための第３画像処理を行うことにより第１検出画像データを生成する。

図６は実施形態の第２検出画像生成部８ｂの構成の例を示す図である。第２検出画像生成部８ｂは、ヒストグラム拡大処理部８１ｂ、ガンマ処理部８２ｂ、フィルタ処理部８３ｂ、色補正処理部８４ｂ及び少値化処理部８５ｂを備える。第２検出画像生成部８ｂは、ヒストグラム拡大処理部８１ｂ、ガンマ処理部８２ｂ、フィルタ処理部８３ｂ、色補正処理部８４ｂ及び少値化処理部８５ｂのうち少なくとも１つを動作させ、テンプレートマッチング処理の精度を向上させるための第４画像処理を行うことにより第２検出画像データを生成する。

図３乃至図６に示すように、第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ及び第２検出画像生成部８ｂの構成は同じである。そのため図３を参照して第１画像生成部７ａの構成について説明し、第２画像生成部７ｂ、第１検出画像生成部８ａ及び第２検出画像生成部８ｂの構成の説明は省略する。

ヒストグラム拡大処理部７１ａは第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理を行う。ヒストグラム拡大処理は、画素値がある範囲に偏って分布している画像（例えば全体として明るい画像）の画素値の範囲を、より広い範囲の画素値の分布に広げるように画素値の変換処理を行う。ヒストグラム拡大処理により画像のコントラストを上げることが可能となる。

図７は実施形態のヒストグラム拡大処理について説明するための図である。図７（ａ）はヒストグラム拡大処理前の画素値（８ｂｉｔ）の分布の例を示す。図７（ｂ）はヒストグラム拡大処理後の画素値（８ｂｉｔ）の分布の例を示す。ヒストグラム拡大処理部７１ａは下記式（３）によりヒストグラム拡大処理を行う。

出力画素値＝入力画素値＊２５５／（最大値−最小値）
−最小値＊２５５／（最大値−最小値）・・・（３）

ここで最大値はヒストグラム拡大したい所定範囲内にある最大の値を持つ画素値である。また最小値はヒストグラム拡大したい所定範囲内にある最小の値を持つ画素値である。

図３に戻り、ガンマ処理部７２ａは第１ＲＡＷ−ＲＧＢデータにガンマ処理を行う。ガンマ処理は、入力画素値に応じて出力画素値が一意に決定される１：１のテーブル変換を行うことで画素値の変換処理を行う。非線形処理であるため変換テーブルの形状により地肌除去の処理等を行うことも可能である。

図８は実施形態のガンマ処理について説明するための図である。図８（ａ）はガンマ処理を行わない場合を示す。図８（ｂ）はガンマ処理を行う場合の入力画素値（８ｂｉｔ）と出力画素値（８ｂｉｔ）との対応の例を示す。ガンマ処理部７２ａは入力画素値に応じて出力画素値を一意に決定する１：１のテーブル変換を行うことにより、図８（ｂ）のように画素値の変換処理を行う。図８（ｂ）のように画素値の変換する場合、ある程度の明るめの画素値を持つ画素が全て２５５に変換されることにより地肌除去され、画像全体が明るくなる。

図３に戻り、フィルタ処理部７３ａは第１ＲＡＷ−ＲＧＢデータにフィルタ処理を行う。フィルタ処理は、画像の特徴に応じて、エッジ部分をくっきりさせるためのエッジ強調（強調処理）や、画像の非エッジ部分を滑らかにするための平滑化（平滑処理）を行う。

図９は実施形態のフィルタ処理による強調処理を説明するための図である。図９の横軸は画像の位置と、当該位置の画素値（８ｂｉｔ）とを示す。図９の縦軸は読値データを示す。白丸が入力画素値を示し、黒丸が出力画素値を示す。なお入力画素値と出力画素値とが等しい場合は、出力画素値も白丸で示されている。フィルタ処理部７３ａは図９に示す係数を使用して下記式（４）によりフィルタ処理を行うことにより、第１ＲＡＷ−ＲＧＢデータに強調処理を行う。

出力画素値＝Σ（入力画素値＊係数）・・・（４）

図１０は実施形態のフィルタ処理による平滑処理を説明するための図である。図１０の横軸は画像の位置と、当該位置の画素値（８ｂｉｔ）とを示す。図１０の縦軸は読値データを示す。白丸が入力画素値を示し、黒丸が出力画素値を示す。なお入力画素値と出力画素値とが等しい場合は、出力画素値も白丸で示されている。フィルタ処理部７３ａは図１０に示す係数を使用して下記式（５）によりフィルタ処理を行うことにより、第１ＲＡＷ−ＲＧＢデータに平滑処理を行う。

出力画素値＝｛Σ（入力画素値＊係数）｝／（係数の合計値）・・・（５）

フィルタ処理部７３ａは、図９（図１０）で示す処理を水平方向及び垂直方向に行い、各注目画素に対して繰り返すことにより第１ＲＡＷ−ＲＧＢデータの強調処理（平滑処理）を行う。

図３に戻り、色補正処理部７４ａは第１ＲＡＷ−ＲＧＢデータに色補正処理を行う。色補正処理は、ゲインや色相回転を行い画素値情報の変換を行う。モノクロ出力にする場合は所定の処理により１つの信号のみに変換すること等も可能である。

図１１は実施形態の色補正処理を説明するための図である。色補正処理部７４ａは第１ＲＡＷ−ＲＧＢデータをＹＵＶ形式に変換し、ＹＵＶ形式の第１ＲＡＷ−ＲＧＢデータの色差ＵＶの色相を補正対象にする。具体的には、色補正処理部７４ａは次式（６）によるマトリクス演算で色相角の補正を行う。

また色補正処理部７４ａはＹＵＶ形式の第１ＲＡＷ−ＲＧＢデータの色差ＵＶの彩度を補正対象にする。具体的には、色補正処理部７４ａは次式（７）及び（８）による演算で色差ＵＶのゲインの補正を行う。

出力画素値＿Ｕ＝Ｕ＿Ｇａｉｎ×入力画素値＿Ｕ・・・（７）
出力画素値＿Ｖ＝Ｖ＿Ｇａｉｎ×入力画素値＿Ｖ・・・（８）

図３に戻り、少値化処理部７５ａは第１ＲＡＷ−ＲＧＢデータに少値化処理を行う。少値化処理は、データ量を減らすため単純２値化処理、又は単純４値化処理等により出力階調数を落とす処理を行う。

図１２は実施形態の少値化処理を説明するための図である。図１２（ａ）は少値化処理を行わない場合を示す。図１２（ｂ）は少値化処理を行う場合の入力画素値（８ｂｉｔ）と出力画素値（８ｂｉｔ）との対応の例を示す。図１２（ｂ）は０〜２５５の範囲のデータを持つ入力画素値を、単純４値化閾値等により出力階調数を落として０〜３の範囲のデータを持つ出力画素値に変換する処理を行う場合の例である。

上述したように、第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ及び第２検出画像生成部８ｂは、それぞれがヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の画像処理を行う機能ブロックを備える。第１画像生成部７ａ（第２画像生成部７ｂ）が生成する第１画像データ（第２画像データ）は、合成部１１により合成画像データとして最終的にユーザに参照される画像データである。一方、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）が生成する第１検出画像データ（第２検出画像データ）は、テンプレートマッチング処理に使用される画像データである。

実施形態のカメラシステム１００では、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）がヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第３画像処理（第４画像処理）を行う機能ブロックを備えることにより、第１画像生成部７ａ（第２画像生成部７ｂ）によって第１画像処理（第２画像処理）された第１画像データ（第２画像データ）を使用しない。これにより実施形態のカメラシステム１００はテンプレートマッチング処理の精度を上げることができる。

まず第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のヒストグラム拡大処理部８１ａ（ヒストグラム拡大処理部８１ｂ）のヒストグラム拡大処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

例えば実施形態のカメラシステム１００により屋外を撮影した場合、第１カメラ４０ａが撮影する範囲は日陰領域となり、第２カメラ４０ｂが撮影する範囲は日向領域となる場合がある。この状況で第１カメラ４０ａにより取得された第１ＲＡＷ−ＲＧＢデータ及び第２カメラ４０ｂにより取得された第２ＲＡＷ−ＲＧＢデータにＡＥの最適化を行うと、第１ＲＡＷ−ＲＧＢデータは暗めの画像になり、第２ＲＡＷ−ＲＧＢデータは明るめの画像となる。このような現象は、屋外のみならず屋内でも発生し、一般に２つのカメラ装置を使用する場合、撮影条件や被写体が異なることにより多少の差はあれ必ず発生する現象である。

図１３は特徴の少ない画像端部の領域の画素値の分布の例を示す図である。図１３（ａ）は第１ＲＡＷ−ＲＧＢデータの画像端部の領域の画素値の分布の例を示す図である。図１３（ｂ）は第２ＲＡＷ−ＲＧＢデータの画像端部の領域の画素値の分布の例を示す図である。図１３の横軸はテンプレートマッチングを行う画像端部の領域の画素位置を示す。図１３の縦軸は画素値を示す。図１３の例は、マッチング精度が悪い箇所、つまり画像の凹凸が少ない箇所を示している。この状況では、第１ＲＡＷ−ＲＧＢデータは、ＡＥ処理の影響により、全体の傾向として暗めの画素が分布しており、一方、第２ＲＡＷ−ＲＧＢデータは、ＡＥ処理の影響により、全体の傾向として明るめの画素が分布している。この状態でテンプレートマッチングを行うとマッチング精度が落ちる現象が発生する。更に第１画像生成部７ａ（第２画像生成部７ｂ）により第１画像処理（第２画像処理）された第１画像データ（第２画像データ）によりテンプレートマッチングを行うと、テンプレートマッチング処理用に最適化された画像処理ではないため、更にマッチング精度が落ちる可能性がある。

そこで実施形態のカメラシステム１００では、第１検出画像生成部８ａのヒストグラム拡大処理部８１ａが、図１３（ａ）に例示された第１ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理を行うことで、ダイナミックレンジを広く、かつ、揃えることでマッチング精度の向上を図る（図１４参照）。

同様に第２検出画像生成部８ｂのヒストグラム拡大処理部８１ｂが、図１３（ｂ）に例示された第２ＲＡＷ−ＲＧＢデータにヒストグラム拡大処理を行うことで、ダイナミックレンジを広く、かつ、揃えることでマッチング精度の向上を図る（図１４参照）。

このとき、第１ＲＡＷ−ＲＧＢデータ（第２ＲＡＷ−ＲＧＢデータ）をＹＵＶ形式に変換し、Ｙ（輝度）の画素値にヒストグラム拡大処理を行い、Ｙ（輝度）の画素値に基づいてテンプレートマッチング処理を行うことで精度が向上する。この理由は、一般的に、ＡＥ処理アルゴリズムはＹ（輝度）の最適化を行う処理であり、逆に言うと、このＡＥ処理アルゴリズム自体により第１ＲＡＷ−ＲＧＢデータ（第２ＲＡＷ−ＲＧＢデータ）にＹ（輝度）の差分を発生させてしまっているためＹ（輝度）に補正を行うことが有効となるためである。

同様に、例えば屋外を撮影した場合、第１カメラ４０ａから出力される第１ＲＡＷ−ＲＧＢデータは夕焼けの赤みがかった日向領域を含み、第２カメラ４０ｂから出力される第２ＲＡＷ−ＲＧＢデータは日陰領域を含む場合がある。この場合、ＡＷＢの最適化を行うことで第１ＲＡＷ−ＲＧＢデータは夕焼けを正しく再現させるため赤みを帯び、第２ＲＡＷ−ＲＧＢデータはホワイトバランスがあっているという状態になる。

この場合も、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のヒストグラム拡大処理部８１ａ（ヒストグラム拡大処理部８１ｂ）が、ヒストグラム拡大処理を行うことで同様の効果が得られる。ただし、この際、テンプレートマッチングに使用する画素値はＹＵＶ形式のＵＶ（色差）に行うことで精度が向上する。この理由は、一般に、ＡＷＢ処理自体のアルゴリズムが色味（色差）の最適化を行う処理であり、逆に言うと、ＡＷＢ処理アルゴリズム自体により第１ＲＡＷ−ＲＧＢデータ（第２ＲＡＷ−ＲＧＢデータ）にＵＶの差分を発生させてしまっているため、ＵＶ（色差）に補正を行うことが有効となる。

ここで、ヒストグラム拡大処理をどの版に行うかの判定は、従来のＡＥ検波処理及びＡＷＢ検波処理を利用することにより判定可能である。そもそもＡＥ処理／ＡＷＢ処理は現時点の輝度値またはホワイトバランスを検知し、その検波結果に応じて最適化を図っているため、現時点の輝度値又はホワイトバランスを把握する機能を備えている。その結果に基づき、第１ＲＡＷ−ＲＧＢデータ（第２ＲＡＷ−ＲＧＢデータ）の輝度値が大きくずれているのか、第１ＲＡＷ−ＲＧＢデータ（第２ＲＡＷ−ＲＧＢデータ）のホワイトバランスが大きくずれているのかは、それぞれのＡＥとＡＷＢの検波値を正規化し、所定の判定閾値により、どちらのずれが大きいかを判定することができる。

第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のヒストグラム拡大処理部８１ａ（ヒストグラム拡大処理部８１ｂ）のヒストグラム拡大処理では、極端にコントラストが強調された画像データが第１検出画像データ（第２検出画像データ）として生成されるが、第１画像データ（第２画像データ）に影響は与えない。すなわち最終的にユーザに参照される合成画像データのコントラストに影響を与えることなく、テンプレートマッチング処理の精度を上げることができるので、高画質な合成画像データを生成することができる。

次に第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のガンマ処理部８２ａ（ガンマ処理部８２ｂ）のガンマ処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

図１５は輝度が極度に低い画像端部の領域の画素値の分布の例を示す図である。図１６は図１５の領域にガンマ処理を行った場合の例を示す図である。図１５及び図１６の横軸はテンプレートマッチングを行う画像端部の領域の画素位置を示す。図１５及び図１６の縦軸は画素値を示す。

ガンマ処理の利点は、入力画素値に応じて出力画素値が一意に決定される１：１のテーブル変換を行う非線形処理であることである。つまり、入力画素値に応じて、コントラストをつける箇所を限定することが可能となる。例えば図１５は輝度が極度に低い画像端部の状態を表しているが、一般に輝度が極度に低い画像領域では、当該部分のダイナミックレンジを挙げるためゲインが多くかかることによるノイズの混入が懸念される。ヒストグラム拡大処理を行うことでコントラスト向上によるマッチング精度の向上を図る方法では、画像領域の輝度が極度に低い状態の場合、デバイス特有のノイズ（被写体ではないデファクト）のコントラストも向上されマッチング精度が低下する。

そこで第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のガンマ処理部８２ａ（ガンマ処理部８２ｂ）がガンマ処理を行い、入力画素値に応じてコントラストをつけることでマッチング精度を向上させる。この際、テンプレートマッチングに使用する画素値はＲＧＢ形式のＲ、Ｇ、Ｂ、又はＹＵＶ形式のＹ、Ｕ、Ｖをデバイスの特性に合わせて選択することで精度が向上する。この理由は、一般に、どの版のノイズの状態が悪いかは、センサそれぞれの個体差によって異なったり、各センサメーカに応じて異なったりするので、そのデバイスの特性に応じて画像形式や版を選択することが有効となるためである。

第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のガンマ処理部８２ａ（ガンマ処理部８２ｂ）のガンマ処理では、極端にコントラストが強調された画像データが第１検出画像データ（第２検出画像データ）として生成されるが、第１画像データ（第２画像データ）に影響は与えない。すなわち最終的にユーザに参照される合成画像データのコントラストに影響を与えることなく、テンプレートマッチング処理の精度を上げることができるので、高画質な合成画像データを生成することができる。

次に第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のフィルタ処理部８３ａ（フィルタ処理部８３ｂ）のフィルタ処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

フィルタ処理の利点は、入力画素値（注目画素値）及び周辺画素値に応じて出力画素値が一意に決定されるマトリクス演算を行う非線形処理であることである。フィルタ処理部８３ａはマトリクス係数を選択することにより画像周波数に応じた強調処理をかけ、コントラストをつける箇所を限定することができる。またフィルタ処理部８３ａはフィルタ処理により画像の特徴に応じて画像のエッジ部分及び非エッジ部分を判定することができ、エッジ部分には強い強調をかけることでコントラストをつける箇所を限定することが可能となる。つまりフィルタ処理部８３ａは入力画素値（注目画素値）及び周辺画素値に応じて、コントラストをつける箇所を限定することができる。

例えば上述の図１５は輝度が極度に低い画像端部の状態を表しているが、上述したようにヒストグラム拡大処理を行うことでコントラスト向上によるマッチング精度の向上を図る方法では、画像領域の輝度が極度に低い状態の場合、デバイス特有のノイズ（被写体ではないデファクト）のコントラストも向上されマッチング精度が低下する。

そこで第１検出画像生成部８ａ（第２検出画像生成部８ｂ）のフィルタ処理部８３ａ（フィルタ処理部８３ｂ）がフィルタ処理を行い、入力画素値（注目画素値）及び周辺画素値に応じてコントラストをつけることでマッチング精度を向上させる。ガンマ処理の場合と同様に、テンプレートマッチングに使用する画素値はＲＧＢ形式のＲ、Ｇ、Ｂ、又はＹＵＶ形式のＹ、Ｕ、Ｖをデバイスの特性に合わせて選択することで精度が向上する。

次に第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の色補正処理部８４ａ（色補正処理部８４ｂ）の色補正処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

色補正処理の利点は、入力画素値にゲイン調整や色相回転を行い出力画素値の決定を行う非線形処理である。図１７は所定の色相角内の画素値に色相回転を行うことにより色補正処理をする場合の例を示す図である。図１７（ａ）は色相回転前の画素値の位置関係を示す。図１７（ｂ）は色相回転後の画素値の位置関係を示す。図１７に示すように、所定の色相角内の画素値を、極端に変更することで、コントラストをつける箇所を限定することができる。例えば、ある程度の色差情報を持つ画素であれば、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の輝度が異なっていても、色相角はほぼ一定である特性を利用し、図１７のように極端に色相角を変更することでテンプレートマッチング処理の精度が向上する。

次に第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の色補正処理部８４ａ（色補正処理部８４ｂ）の色補正処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

色補正処理の利点は、入力画素値にゲイン調整や色相回転を行い出力画素値の決定を行う非線形処理である。図１７は所定の色相角内の画素値に色相回転を行うことにより色補正処理をする場合の例を示す図である。図１７（ａ）は色相回転前の画素値の位置関係を示す。図１７（ｂ）は色相回転後の画素値の位置関係を示す。図１７に示すように、所定の色相角内の画素値を、極端に変更することで、コントラストをつける箇所を限定することができる。例えば、ある程度の色差情報を持つ画素であれば、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の輝度が異なっていても、色相角はほぼ一定である特性を利用し、図１７のように極端に色相角を変更することでテンプレートマッチング処理の精度が向上する。

次に第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の少値化処理部８５ａ（少値化処理部８５ｂ）の少値化処理によりテンプレートマッチング処理の精度を上げる場合について説明する。

少値化処理の利点は、単純４値化処理等により出力階調数を落とし不要な階調データを削除可能なことである。つまり、入力画素値に応じて、コントラストをつける箇所を限定することが可能となる。例えば、上述の図１５は輝度が極度に低い画像端部の状態を表しているが、上述したようにヒストグラム拡大処理を行うことでコントラスト向上によるマッチング精度の向上を図る方法では、画像領域の輝度が極度に低い状態の場合、デバイス特有のノイズ（被写体ではないデファクト）のコントラストも向上されマッチング精度が低下する。

そこで第１検出画像生成部８ａ（第２検出画像生成部８ｂ）の少値化処理部８５ａ（少値化処理部８５ｂ）が少値化処理を行い、入力画素値に応じてコントラストをつけることでマッチング精度を向上させる。図１８は図１５の領域に少値化処理を行った場合の例を示す図である。図１８の横軸はテンプレートマッチングを行う画像端部の領域の画素位置を示す。図１８の縦軸は画素値を示す。図１８は画素値の階調数を落として０〜３の範囲のデータを持つ画素値に変換する処理を行う場合の例である。ガンマ処理及びフィルタ処理の場合と同様に、テンプレートマッチングに使用する画素値はＲＧＢ形式のＲ、Ｇ、Ｂ、又はＹＵＶ形式のＹ、Ｕ、Ｖをデバイスの特性に合わせて選択することで精度が向上する。

以上説明したように、実施形態のカメラシステム１００は、第１検出画像生成部８ａ（第２検出画像生成部８ｂ）がヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理等の第３画像処理（第４画像処理）を行う機能ブロックを備える（図５及び図６参照）。これにより最終的にユーザに参照される合成画像データに影響を与えることなく、テンプレートマッチング処理の精度を上げることができるので、高画質な合成画像データを生成することができる。

なお上述の説明では、簡単のため、第１カメラ４０ａ及び第２カメラ４０ｂの２つのカメラを備える場合について説明したが、３つ以上の複数のカメラにより撮影された画像に上述の実施形態のカメラシステム１００の画像処理方法を適用してもよい。

また上述の機能ブロック（第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ、第２検出画像生成部８ｂ、切出部９、比較部１０及び合成部１１）はカメラシステム１００が実行するプログラムとして提供されてもよい。

カメラシステム１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

またカメラシステム１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またカメラシステム１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またカメラシステム１００のプログラムを、ＲＯＭ１９等に予め組み込んで提供するように構成してもよい。

カメラシステム１００で実行されるプログラムは、上述した各機能ブロック（第１画像生成部７ａ、第２画像生成部７ｂ、第１検出画像生成部８ａ、第２検出画像生成部８ｂ、切出部９、比較部１０及び合成部１１）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、ＣＰＵ１５がＲＯＭ１９等の記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックがメモリ２０上にロードされる。すなわち上記各機能ブロックは、メモリ２０上に生成される。

７ａ 第１画像生成部
７ｂ 第２画像生成部
８ａ 第１検出画像生成部
８ｂ 第２検出画像生成部
９ 切出部
１０ 比較部
１１ 合成部
１５ ＣＰＵ
１９ ＲＯＭ
２０ メモリ
４０ａ 第１カメラ
４０ｂ 第２カメラ
５０ 信号処理部
１００ カメラシステム

特開２００９−０７７０９２号公報

Claims (4)

1. 第１カメラにより撮影された第１撮影画像データ、及び第２カメラにより撮影された第２撮影画像データを、テンプレートマッチング処理を使用して繋ぎ合わせることにより合成画像データを生成するカメラシステムであって、
   前記第１撮影画像データに、前記合成画像データの画質を調整するための第１画像処理を行うことにより第１画像データを生成する第１画像生成部と、
   前記第２撮影画像データに、前記合成画像データの画質を調整するための第２画像処理を行うことにより第２画像データを生成する第２画像生成部と、
   前記第１撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第３画像処理を行うことにより第１検出画像データを生成する第１検出画像生成部と、
   前記第２撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第４画像処理を行うことにより第２検出画像データを生成する第２検出画像生成部と、
   前記第１検出画像データの一部を切り出すことによりテンプレート画像を生成する切出部と、
   前記テンプレートマッチング処理により前記テンプレート画像と、前記第２検出画像とを比較し、前記テンプレート画像に一致する前記第２検出画像データの画像領域の位置を示す位置データを取得する比較部と、
   前記位置データに基づいて前記第１画像データと前記第２画像データとを繋ぎ合わせることにより前記合成画像データを生成する合成部と、
   を備えるカメラシステム。
2. 前記第１画像処理、前記第２画像処理、前記第３画像処理及び前記第４画像処理のそれぞれは、ヒストグラム拡大処理、フィルタ処理、ガンマ処理、色補正処理及び少値化処理のうちの少なくとも１つの画像処理である
   請求項１に記載のカメラシステム。
3. 第１カメラにより撮影された第１撮影画像データ、及び第２カメラにより撮影された第２撮影画像データを、テンプレートマッチング処理を使用して繋ぎ合わせることにより合成画像データを生成するカメラシステムの画像処理方法であって、
   前記第１撮影画像データに、前記合成画像データの画質を調整するための第１画像処理を行うことにより第１画像データを生成するステップと、
   前記第２撮影画像データに、前記合成画像データの画質を調整するための第２画像処理を行うことにより第２画像データを生成するステップと、
   前記第１撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第３画像処理を行うことにより第１検出画像データを生成するステップと、
   前記第２撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第４画像処理を行うことにより第２検出画像データを生成するステップと、
   前記第１検出画像データの一部を切り出すことによりテンプレート画像を生成するステップと、
   前記テンプレートマッチング処理により前記テンプレート画像と、前記第２検出画像データとを比較し、前記テンプレート画像に一致する前記第２検出画像データの画像領域の位置を示す位置データを取得するステップと、
   前記位置データに基づいて前記第１画像データと前記第２画像データとを繋ぎ合わせることにより前記合成画像データを生成するステップと、
   を含む画像処理方法。
4. 第１カメラにより撮影された第１撮影画像データ、及び第２カメラにより撮影された第２撮影画像データを、テンプレートマッチング処理を使用して繋ぎ合わせることにより合成画像データを生成するカメラシステムを、
   前記第１撮影画像データに、前記合成画像データの画質を調整するための第１画像処理を行うことにより第１画像データを生成する第１画像生成部と、
   前記第２撮影画像データに、前記合成画像データの画質を調整するための第２画像処理を行うことにより第２画像データを生成する第２画像生成部と、
   前記第１撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第３画像処理を行うことにより第１検出画像データを生成する第１検出画像生成部と、
   前記第２撮影画像データに、前記テンプレートマッチング処理の精度を向上させるための第４画像処理を行うことにより第２検出画像データを生成する第２検出画像生成部と、
   前記第１検出画像データの一部を切り出すことによりテンプレート画像を生成する切出部と、
   前記テンプレートマッチング処理により前記テンプレート画像と、前記第２検出画像データとを比較し、前記テンプレート画像に一致する前記第２検出画像データの画像領域の位置を示す位置データを取得する比較部と、
   前記位置データに基づいて前記第１画像データと前記第２画像データとを繋ぎ合わせることにより前記合成画像データを生成する合成部と
   して機能させるためのプログラム。

Images