JP2006115361A - 画像複合装置および画像複合方法 - Google Patents

Abstract

【課題】複数の画像取得手段から得た各画像の変動するレジストレーションずれを自動的に準リアルタイムに補正し，レジストレーションずれのない複合画像を取得する。
【解決手段】コーナエッジ抽出手段１３が画像取得手段１１が取得した第１の画像からコーナエッジを特徴点として抽出して第１の特徴点リストを生成し，コーナエッジ抽出手段１４が画像取得手段１２が取得した第２の画像からコーナエッジを特徴点として抽出して第２の特徴点リストを生成し，コーナエッジ相関手段１５が，生成された２つの特徴点リスト間の相関からレジストレーションずれ補正のためのパラメータを算出し，このパラメータに従い，レジストレーション補正手段１６が第２の画像を補正して第１の画像を基準としたレジストレーション合わせを行い，レジストレーション補正画像を取得し，画像複合手段１７がレジストレーション補正画像と第１の画像とを合成する。
【選択図】図１

Description

本発明は，画像複合技術に関し，特に，例えば可視映像センサと赤外線映像センサのような２つ以上の画像取得手段を有する航空機搭載，車両搭載，固定設置映像装置用の表示において，各画像取得手段から得られた画像を１つの表示装置に表示するために画像複合を行う画像複合装置および画像複合方法に関するものである。

近年における赤外線センサ等の画像取得デバイスの性能向上と，マイクロプロセッサを用いた画像処理技術および制御技術の進歩に基づいて，２つ以上の画像取得手段を備えた撮像装置が開発されており，利便性向上のためそれぞれの画像の持つ情報を保持したまま１つの画像として複合し表示することができる画像複合装置が要望されている。

従来の画像複合技術として，鉄鋼業の工程監視用に湿潤飽和蒸気越しに熱放射体を撮像するための可視および赤外線画像の画像複合装置や，可視画像では対向車のヘッドライトで眩惑されて見えなくなる領域に赤外線画像を重ねて表示することでその領域にいる歩行者等を発見しやすくする技術や，医療診断用の可視および赤外線画像複合による炎症個所診断，ＭＲＩとＣＴ画像を用いた脳や心臓の診断等が知られている。

従来の技術では，複数の画像を複合するときに不可欠な各画像のレジストレーションについて，３つの方法のいずれかを用いている。第１の方法は，複数の画像取得手段から得られる各画像のレジストレーションは一致している，もしくはレジストレーションずれ量は固定値であるとして，固定量のレジストレーションずれ補正を行うもの，第２の方法は，得られた画像のエッジ成分を用いて，手動でレジストレーションずれ補正量を設定し，レジストレーションずれ補正を行うもの，第３の方法は，画像の相関を用いて自動的にレジストレーションずれ補正を行うものである。

なお，下記の特許文献１に，クロス・エントロピー最適化による画像位置合わせシステムおよび方法について記載されている。
特表２００４−５０９７２３号公報

上記従来の第１の方法は，例えば，監視業務用途に必要となる高倍率レンズやズームレンズを用いた画像取得手段より得られた画像では，熱により光学系や撮像素子等の取付位置がずれたり，ズーム倍率設定の誤差によりレジストレーションずれ量が変動するため，固定量のレジストレーションずれ補正では精度のよいレジストレーション合わせができないという問題がある。

また，上記従来の第２の方法は，静止画像を対象とした方法であり，動画像には適用できない。

また，上記従来の第３の方法は，得られた各画像の全画素値を用いた相関演算を行うため，演算に必要な時間が数十秒程度必要であり，リアルタイムの監視業務には適用することができないという問題がある。

本発明は，このような従来技術の課題を解決しようとするものであって，複数の画像取得手段から得られる各画像の変動するレジストレーションずれを自動的に準リアルタイムに補正し，レジストレーションずれのない複合画像を得ることを可能とする画像複合装置および画像複合方法の提供を目的とする。

特に，従来の全画素値を用いた画像の相関を行う第３の方法は，相関処理自体に多くの時間がかかる上に，レジストレーションずれ補正として行うスケーリング，平行移動，回転のパラメータを少しずつ変化させながら実際の画像に対して適用し，その結果の相関を求め相関度が最大になるパラメータを探す処理を行うため，このレジストレーションずれ補正の試行にも莫大な時間がかかってしまう。本発明は，この課題を解決するものである。

上記課題を解決するため，本発明は，監視対象となる人工構造物が自然物に対して多く持つ，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，その特徴点の座標に対してスケーリング，平行移動，回転を試行し，各画像の持つ特徴点の位置の相関によりレジストレーションずれ補正のためのパラメータを決定する。これによって，画像に対するレジストレーションずれ補正は１度で良く，また相関処理に必要な演算量も大幅に削減することができる。

すなわち，本発明は，複数の画像を複合する画像複合装置であって，複合対象となる第１の画像を取得する第１の画像取得手段と，複合対象となる第２の画像を取得する第２の画像取得手段と，前記第１の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第１の特徴点リストを生成する第１のコーナエッジ抽出手段と，前記第２の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第２の特徴点リストを生成する第２のコーナエッジ抽出手段と，前記生成された第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を算出するコーナエッジ相関手段と，前記算出されたレジストレーションずれ量を用いて前記第２の画像を補正し，前記第１の画像を基準としたレジストレーション合わせを行ってレジストレーション補正画像を生成するレジストレーション補正手段と，前記レジストレーション補正画像と前記第１の画像とを合成する画像複合手段とを備えることを特徴とする画像複合装置である。

また，本発明は，前記の画像複合装置において，前記コーナエッジ相関手段は，前記第２の特徴点リスト中の特徴点の座標に対して，スケーリング，平行移動，回転を行い，前記第１の特徴点リストと前記第２の特徴点リストとの相関度が最大となるときの前記スケーリング，平行移動，回転の各パラメータを前記レジストレーションずれ量として算出することを特徴とする。

また，本発明は，複数の画像を複合する画像複合方法であって，複合対象となる第１の画像を取得するステップと，複合対象となる第２の画像を取得するステップと，前記第１の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第１の特徴点リストを生成するステップと，前記第２の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第２の特徴点リストを生成するステップと，前記生成された第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を算出するステップと，前記算出されたレジストレーションずれ量を用いて前記第２の画像を補正し，前記第１の画像を基準としたレジストレーション合わせを行ってレジストレーション補正画像を生成するステップと，前記レジストレーション補正画像と前記第１の画像とを合成するステップとを有することを特徴とする画像複合方法である。

また，本発明は，前記の画像複合方法において，前記レジストレーションずれ量を算出するステップは，前記第２の特徴点リスト中の特徴点の座標に対して，スケーリング，平行移動，回転を行い，前記第１の特徴点リストと前記第２の特徴点リストとの相関度が最大となるときの前記スケーリング，平行移動，回転の各パラメータを前記レジストレーションずれ量として算出することを特徴とする。

本発明によれば，各画像取得手段から得られた画像の変動するレジストレーションずれを自動的に準リアルタイムに補正し，レジストレーションずれのない複合画像を得ることができる。

図１は，本発明の原理的構成を示したものである。本発明の画像複合装置１は，第１の画像を取得する画像取得手段１１，第２の画像を取得する画像取得手段１２，第１の画像に基づいて第１の特徴点リストを生成するコーナエッジ抽出手段１３，第２の画像に基づいて第２の特徴点リストを生成するコーナエッジ抽出手段１４，第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を表すパラメータを算出するコーナエッジ相関手段１５，算出されたパラメータに従って第２の画像を補正して，第１の画像を基準としたレジストレーション合わせを行い，レジストレーション補正画像を生成するレジストレーション補正手段１６，レジストレーション補正画像と第１の画像とを合成する画像複合手段１７，画像複合手段１７によって合成された画像を表示する表示手段１８を備える。

図２は，本発明の処理フローの一例を示す図である。まず，画像取得手段１１が，第１の画像を取得し（ステップＳ１），画像取得手段１２が，第２の画像を取得する（ステップＳ２）。

コーナエッジ抽出手段１３が，画像取得手段１１が取得した第１の画像からコーナエッジを特徴点として抽出し，その座標および輝度群である第１の特徴点リストを生成する（ステップＳ３）。同様に，コーナエッジ抽出手段１４が，画像取得手段１２が取得した第２の画像からコーナエッジを特徴点として抽出し，第２の特徴点リストを生成する（ステップＳ４）。なお，ステップＳ１，Ｓ３とステップＳ２，Ｓ４とは，同時に並列に処理することもできる。

コーナエッジ相関手段１５が，生成された第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を表すパラメータを算出する（ステップＳ５）。コーナエッジ相関手段１５は，例えば，第２の特徴点リスト中の特徴点の座標に対して，スケーリング，平行移動，回転を，別途定めた任意のパラメータ範囲内，任意のパラメータ間隔で行い，第１の特徴点リストと第２の特徴点リストとの相関度が最大となるパラメータを選定する。

レジストレーション補正手段１６は，コーナエッジ相関手段１５により算出されたパラメータに従い，画像取得手段１２から得られた第２の画像をスケーリング，平行移動，回転について補正して，画像取得手段１１から得られた第１の画像を基準としたレジストレーション合わせを行い，レジストレーション補正画像を取得する（ステップＳ６）。

そして，画像複合手段１７が，レジストレーション補正画像と第１の画像とを合成し（ステップＳ７），表示手段１８が，合成された画像を単一画像として表示する（ステップＳ８）。

上記ステップＳ３におけるコーナエッジ抽出手段１３の処理または上記ステップＳ４におけるコーナエッジ抽出手段１４の処理では，公知技術である図３のフローチャートで示すフェステナの方法が適用できる。図３に従って，コーナエッジ抽出手段１３で用いるフェステナの方法による処理を説明する。コーナエッジ抽出手段１４においても同様に処理する。

画像取得手段１１から入力される第１の画像情報をＩ（ｘ，ｙ）とすると，コーナエッジ抽出手段１３は，入力画像情報Ｉ（ｘ，ｙ）について１次微分処理を行い，１次微分画像を生成する（ステップＳ３１）。１次微分画像は，以下に示す，Ｉ（ｘ，ｙ）のｘについての偏導関数ｇ_x とＩ（ｘ，ｙ）のｙについての偏導関数ｇ_y とで表される。

ｇ_x ＝∂Ｉ（ｘ，ｙ）／∂ｘ
ｇ_y ＝∂Ｉ（ｘ，ｙ）／∂ｙ
このステップＳ３１の処理によって，所定領域内のエッジレベルが抽出された２次元マップが生成されることになる。

次に，コーナエッジ抽出手段１３は，２次元マップ情報の共分散行列処理を行い，共分散行列Ｎを生成する（ステップＳ３２）。共分散行列Ｎは，所定サイズのウインドウで２次元マップを縦横に走査した際のウインドウ内の和であり，

のように表現される。

２次元マップを走査する際のウインドウとしては，例えば，画像入力に対して特定の空間周波数成分を取り出すためのｎ×ｎ画素（ｎ² 画素）の空間フィルタを用いる。ステップＳ３２の処理によって，２次元マップ内の特徴点がより強調された強調２次元マップが生成される。

コーナエッジ抽出手段１３は，強調２次元マップ情報から，下記に示す式を用いて，特徴量ｆ（ｘ，ｙ）を算出する（ステップＳ３３）。

ｆ（ｘ，ｙ）＝ｄｅｔＮ／ｔｒＮ
ただし，上記特徴量ｆ（ｘ，ｙ）を算出する式において，ｄｅｔはデターミナント，ｔｒはトレースを示し，
ｄｅｔＮ＝Σｇ_x ² ×Σｇ_y ² −（Σｇ_x ｇ_y ）²
ｔｒＮ＝Σｇ_x ² ＋Σｇ_y ²
である。このステップＳ３３の処理によって，強調された個々の特徴点が求められることになる。

最後に，コーナエッジ抽出手段１３は，閾値処理またはピーク点検出により特徴点の選定を行う（ステップＳ３４）。ステップＳ３４の処理は，ある定められた閾値以上の輝度の特徴点を選択するか，あるいはピーク点を選択することであり，この処理によって目標物の座標および輝度が抽出される。

以上の処理において，コーナエッジ相関手段１５で行う第２の特徴点リスト中の特徴点の座標のスケーリング，平行移動，回転には，例えばアフィン変換を用いる。また，ここで行う特徴点リスト間の相関度の演算は，例えば第２の特徴点リストの各特徴点から任意の距離に第１の特徴点リスト内の特徴点がある場合，その特徴点について相関有りとし，第２の特徴点リスト内の相関有り特徴点の個数を用いることで求めることができる。

レジストレーション補正手段１６では，アフィン変換により，出力画像の各画素の入力画像における座標を求め，最近傍法やバイリニア法等を用いた補間により出力画像の各画素値を決定する。

本発明の実施例の構成を図４に示す。図４に示す画像複合装置２は，ズームレンズ２１を通じて第１の画像を取得する撮像装置２３，ズームレンズ２２を通じて第２の画像を取得する撮像装置２４，第１の画像内の直交エッジ（コーナエッジ）を抽出して第１の特徴点リストを生成するコーナエッジ抽出処理部２５，第２の画像内の直交エッジ（コーナエッジ）を抽出して第２の特徴点リストを生成するコーナエッジ抽出処理部２６，第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ補正を行うためのパラメータを算出するコーナエッジ相関処理部２７，コーナエッジ相関処理部２７により算出されたパラメータを用いて第２の画像についてレジストレーションずれ補正を行い，レジストレーション補正画像を生成するレジストレーション補正処理部２８，第１の画像とレジストレーション補正画像とを合成する画像複合処理部２９，画像複合処理部２９による合成後の単一の画像を表示する表示器３０，撮像装置２３と撮像装置２４とが固定されるジンバル部３１，ジンバル部３１の動作制御を行うジンバル制御信号生成部３２，ズームレンズ２１，２２のズーム倍率を制御するズーム倍率制御信号生成部３３を備える。

図４に示す構成を採る画像複合装置２においては，撮像装置２３が第１の画像を取得し，コーナエッジ抽出処理部２５が第１の画像内の直交エッジ（コーナエッジ）を抽出して第１の特徴点リストを生成する。また，撮像装置２４が第２の画像を取得し，コーナエッジ抽出処理部２６が第２の画像内の直交エッジ（コーナエッジ）を抽出して第２の特徴点リストを生成する。

コーナエッジ相関処理部２７では，この２つの特徴点リストと撮像装置２３に接続されているズームレンズ２１のズーム倍率（第１のズーム倍率）および撮像装置２４に接続されているズームレンズ２２のズーム倍率（第２のズーム倍率）とを用いて，第１の画像と第２の画像のレジストレーションを合わせるためのスケーリング，平行移動，回転のそれぞれのパラメータを算出する。このとき，例えば，スケーリングパラメータの検索範囲は，「第１のズーム倍率／第２のズーム倍率」を中心として検索する。

その後，得られたパラメータを用いて，レジストレーション補正処理部２８において，第２の画像に対してスケーリング，平行移動，回転処理を行い，第１の画像に対してレジストレーションの合ったレジストレーション補正画像を得る。

画像複合処理部２９では，第１の画像とレジストレーション補正画像とを合成し，単一の画像とした後，表示器３０に表示する。なお，ジンバル制御信号生成部３２およびズーム倍率制御信号生成部３３において，ジンバル部３１およびズームレンズ２１，ズームレンズ２２を制御することで，任意の方向に撮像装置２３および撮像装置２４を指向し，また，任意のズーム倍率の画像を得ることができる。

コーナエッジ相関処理部２７における，レジストレーションずれ量としてのスケーリング，平行移動，回転のそれぞれのパラメータの算出では，例えば，次のようにパラメータ値を決定する。

スケーリングパラメータとして，「第１のズーム倍率／第２のズーム倍率」をｓとしたとき，｛ｓ，ｓ×1.01，ｓ／1.01，ｓ×1.02，ｓ／1.02，……｝という何個かのパラメータを用意し，また，平行移動パラメータとして，ｘ方向（横），ｙ方向（縦）のそれぞれの移動量を（Δｘ，Δｙ）で表すと，｛（０，０），（１，０），（−１，０），（０，１），（０，−１），（２，０），（−２，０），……｝という平行移動のずれ量として予想される最大値までの何個かのパラメータを用意し，同様に回転パラメータとしても｛０（回転なし），＋１度回転，−１度回転，＋２度回転，−２度回転，……｝という回転のずれ量として予想される最大値までの何個かのパラメータを用意しておく。これらのスケーリング，平行移動，回転のパラメータ群からそれぞれ抽出した３つのパラメータの組み合わせを作り，第２の画像から生成した第２の特徴点リスト中の各特徴点の座標の変換を行う。

例えば，スケーリングパラメータがｓ×1.01の場合，画像の中心から特徴点の座標が現在の座標よりもｓ×1.01倍離れた位置になるように座標変換を行う。また，平行移動パラメータが（Δｘ，Δｙ）の場合，特徴点の座標（ｘ，ｙ）を（ｘ＋Δｘ，ｙ＋Δｙ）に変換する。同様に，回転パラメータについても特徴点の座標が回転パラメータで指定された位置になるように変換する。パラメータの適用順序は，あらかじめ定めた順番でもよく，また，適用順序を変えて行ってもよい。

このようにして変換した第２の特徴点リスト中の特徴点の座標値と，第１の特徴点リスト中の特徴点の座標値とを照合し，最も特徴点が一致するパラメータの組み合わせを，レジストレーションずれ量とする。

以上の実施例では，２つの画像を複合する例を説明したが，３以上の画像についても同様にレジストレーション合わせを行い複合することができる。

本発明の原理的構成を示す図 本発明の処理フローの一例を示す図である。 フェステナの方法を説明するフローチャートである。 本発明の実施例の構成を示す図である。

符号の説明

１，２ 画像複合装置
１１，１２ 画像取得手段
１３，１４ コーナエッジ抽出手段
１５ コーナエッジ相関手段
１６ レジストレーション補正手段
１７ 画像複合手段
１８ 表示手段
２１，２２ ズームレンズ
２３，２４ 撮像装置
２５，２６ コーナエッジ抽出処理部
２７ コーナエッジ相関処理部
２８ レジストレーション補正処理部
２９ 画像複合処理部
３０ 表示器
３１ ジンバル部
３２ ジンバル制御信号生成部
３３ ズーム倍率制御信号生成部

Claims (4)

1. 複数の画像を複合する画像複合装置であって，
   複合対象となる第１の画像を取得する第１の画像取得手段と，
   複合対象となる第２の画像を取得する第２の画像取得手段と，
   前記第１の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第１の特徴点リストを生成する第１のコーナエッジ抽出手段と，
   前記第２の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第２の特徴点リストを生成する第２のコーナエッジ抽出手段と，
   前記生成された第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を算出するコーナエッジ相関手段と，
   前記算出されたレジストレーションずれ量を用いて前記第２の画像を補正し，前記第１の画像を基準としたレジストレーション合わせを行ってレジストレーション補正画像を生成するレジストレーション補正手段と，
   前記レジストレーション補正画像と前記第１の画像とを合成する画像複合手段とを備える
   ことを特徴とする画像複合装置。
2. 請求項１に記載の画像複合装置において，
   前記コーナエッジ相関手段は，前記第２の特徴点リスト中の特徴点の座標に対して，スケーリング，平行移動，回転を行い，前記第１の特徴点リストと前記第２の特徴点リストとの相関度が最大となるときの前記スケーリング，平行移動，回転の各パラメータを前記レジストレーションずれ量として算出する
   ことを特徴とする画像複合装置。
3. 複数の画像を複合する画像複合方法であって，
   複合対象となる第１の画像を取得するステップと，
   複合対象となる第２の画像を取得するステップと，
   前記第１の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第１の特徴点リストを生成するステップと，
   前記第２の画像から，エッジとエッジの交差する点であるコーナエッジを特徴点として抽出し，第２の特徴点リストを生成するステップと，
   前記生成された第１の特徴点リストと第２の特徴点リスト間の相関から，レジストレーションずれ量を算出するステップと，
   前記算出されたレジストレーションずれ量を用いて前記第２の画像を補正し，前記第１の画像を基準としたレジストレーション合わせを行ってレジストレーション補正画像を生成するステップと，
   前記レジストレーション補正画像と前記第１の画像とを合成するステップとを有する
   ことを特徴とする画像複合方法。
4. 請求項３に記載の画像複合方法において，
   前記レジストレーションずれ量を算出するステップは，前記第２の特徴点リスト中の特徴点の座標に対して，スケーリング，平行移動，回転を行い，前記第１の特徴点リストと前記第２の特徴点リストとの相関度が最大となるときの前記スケーリング，平行移動，回転の各パラメータを前記レジストレーションずれ量として算出する
   ことを特徴とする画像複合方法。

Images