JP2020194400A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】露光タイミングに関してそれぞれ異なる撮像特性で撮像された複数の画像に基づいて、高画質な画像を得ることことができる画像処理装置を提供する。【解決手段】画像処理装置は、第１の撮像特性で撮像された第１の画像を取得する画像取得部１０１と、第１の撮像特性とは露光タイミングに関する特性が異なる第２の撮像特性で撮像された第２の画像を取得する画像取得部１０２と、第１の画像と第２の画像との間で各画素の位置ズレを検出して、位置ズレ情報を導出する位置ズレ検出部１０４と、位置ズレ情報に基づき、第２の画像を変形する画像変形部１０６と、を有する。【選択図】図１

Description

本出願は、画像補正の技術に関する。

従来、カメラのセンサに、ＣＣＤセンサやＣＭＯＳセンサが使われている。ＣＭＯＳセンサはＣＣＤセンサに比べるとより汎用的な半導体製造装置を利用して生産することができ、解像度などの性能が高いセンサを安価に生産することができる。

ＣＣＤセンサは、各画素で露光タイミングとデータ読み出しとが同一の駆動方式（グローバルシャッターと呼ばれる）を採用している。これに対し、ＣＭＯＳセンサには、ライン毎に露光とデータ読み出しとを順次行う駆動方式（ローリングシャッターと呼ばれる）を採用しているものがある。ローリングシャッター方式のＣＭＯＳセンサで撮像した場合、画像の上部と下部とで露光のタイミングがずれる。従って、ＣＭＯＳセンサの撮像画像には、カメラが動いたり、画像内に動被写体が存在したりする場合に、ＣＣＤセンサの撮像画像には生じない、動きに応じた像の歪が生じてしまう場合がある。この歪は、ローリングシャッター歪と呼ばれる。

ローリングシャッター歪は、単純に撮像画像を視聴する場合には、人間の目に知覚されにくいため大きな問題でなかったが、撮像画像を画像処理に用いる場合おいては、処理精度の劣化の要因となり得る。例えば、コンピュータビジョンと呼ばれる画像処理技術の一つに、ステレオカメラによる奥行き推定技術がある。これは各カメラの同一画素の視差による位置ズレを検出し三角測量の原理で奥行きを推定するものであるが、歪が発生する場合、視差による位置ズレか、それとも、歪による位置ズレかの判別が難しく、奥行き推定性能を低下する虞がある。複数のカメラにより撮像された多視点画像に基づくオブジェクトの3次元形状データ生成など、その他の画像処理においても同様の課題が生じる場合がある。

特許文献１には、複数の画像入力部に入力された複数の画像を合成して高画質な画像を得る技術が開示されている。

特開２００１−１６６２１号公報

しかしながら、特許文献１に記載の技術では、露光タイミングに起因する画質の低下を抑制することはできない。

そこで本発明の一実施形態は、上記の課題に鑑み、露光タイミングに関してそれぞれ異なる撮像特性で撮像された複数の画像に基づいて、高画質な画像を得ることを目的とする。

本発明の一実施形態は、第１の撮像特性で撮像された第１の画像を取得する第１の取得手段と、前記第１の撮像特性とは露光タイミングに関する特性が異なる第２の撮像特性で撮像された第２の画像を取得する第２の取得手段と、前記第１の画像と前記第２の画像との間で各画素の位置ズレを検出して、位置ズレ情報を導出する位置ズレ検出手段と、前記位置ズレ情報に基づき、前記第２の画像を変形する変形手段と、を有することを特徴とする画像処理装置である。

本発明の一実施形態によれば、露光タイミングに関してそれぞれ異なる撮像特性で撮像された複数の画像に基づいて、高画質な画像を得ることができる。

第１の実施形態における画像処理装置の構成を示すブロック図。 ＣＭＯＳセンサとＣＣＤセンサとの駆動特性の違いを説明する図。 第１の実施形態の効果を説明する図。 第２の実施形態における画像処理装置の構成を示すブロック図。 第３の実施形態における画像処理装置の構成を示すブロック図。 フレームレートが異なる画像の撮像タイミングと、画像の合成方法とを説明する図。 第４の実施形態における画像処理装置の構成を示すブロック図。 第４の実施形態における画像処理のフローチャート。

［第１の実施形態］
＜画像処理装置の構成について＞
以下、本実施形態における画像処理装置の構成について、図１を用いて説明する。図１は、本実施形態における画像処理装置の構成を示すブロック図であり、図１（ａ）は、画像処理装置の全体構成を示す。図示するように、画像処理装置は、２つの画像取得部として、画像取得部１０１と、画像取得部１０２と、を有する。本実施形態では、これらの画像取得部は、レンズ、センサ、画像処理回路が一体となった撮像処理を行うモジュールとして説明する。また、画像取得部１０１のセンサはＣＣＤセンサであり、画像取得部１０２のセンサはＣＭＯＳセンサであって、画像取得部１０１と画像取得部１０２との夫々のレンズ及びセンサは、同一画角の像が撮像されるように物理的に配置されるものとして説明する。

画像処理装置は、前述の２つの画像取得部に加え、解像度変換部１０３と、位置ズレ検出部１０４と、位置ズレ情報フィルタ処理部１０５と、画像変形部１０６と、を有する。本実施形態では、モジュール間を結線し、画像内の画素毎に下記の処理を順次行い、パイプラインとして処理結果を後段のモジュールに送るものとして説明する。その際、各モジュールが、注目画素の近傍画素情報を参照するためモジュール内にラインバッファを持ち、ラインバッファ上の情報を参照するものとする。また、図示しないが、画像処理装置は、タイミング調整用の遅延バッファもモジュール間に有するものとする。

尚、本実施形態では、下記の処理は画素毎に実行されるものとして説明するが、処理の単位はこれに限定されず、フレーム単位、ブロック単位の処理であってもよく、また、モジュール間を直接結線せずメモリ経由で情報を参照しあう構成であってもよい。また、本実施形態では、各画素は、３チャンネルの値、具体的には赤（以下Ｒ）、緑（以下Ｇ）、青（以下Ｂ）の画素値を持つものとし、夫々のビット深度は８ビットとする。以後の説明における画像処理では、ＲＧＢ一組のデータで入出力がなされ、特別な記述がない場合の実際の処理は、ＲＧＢ夫々に対して実行されるものとする。

画像取得部１０１の撮像特性と、画像取得部１０２の撮像特性とは異なる。具体的に説明すると、画像取得部１０１は、幅２１００かつ高さ１１２０の画像を撮像し、その画像データを解像度変換部１０３に出力する。一方、画像取得部１０２は、幅４２００かつ高さ２２４０の画像を撮像し、その画像データを位置ズレ検出部１０４と画像変形部１０６とに出力する。解像度変換部１０３は、入力された画像データに対する解像度変換処理を行う。本例では、解像度変換部１０３は、バイキュービック法を用いて、幅２１００かつ高さ１１２０の画像を幅４２００かつ高さ２２４０の画像へ変換し、変換後の画像データを位置ズレ検出部１０４に出力する。尚、解像度変換アルゴリズムはバイキュービック法に限定されず、バイリニア法等の他のアルゴリズムを採用してもよい。

本実施形態では、解像度変換部１０３の出力画像を着目画像、画像取得部１０２の出力画像を参照画像とする。位置ズレ検出部１０４は、着目画像の画素に対応する参照画像の画素の相対的な位置関係を表す２次元ベクトルを算出し、該算出した２次元ベクトルの情報を位置ズレ情報フィルタ処理部１０５に出力する。位置ズレ検出部１０４は、ＲＧＢの画像データが入力されると、内部で８ビットの輝度データに変換しラインバッファに格納する。この際、以下の式（１）を用いて、輝度値（Ｙとする）を算出する。

輝度データを格納するラインバッファは、着目画像用８ラインと、参照画像用１３ラインとを持つものとする。このラインバッファはリングバッファとして機能し、全てのバッファがフィルされたら再度先頭からデータを上書きしていく。

本実施形態では、２次元ベクトルの算出は、所定のブロック（本例では７ｘ７画素）単位のブロックマッチングによる全探索により行われるものとする。探索は、前述のラインバッファ上のデータを利用して行われる。本例では、全探索の探索範囲は、垂直方向と水平方向との夫々に対し±５とする。尚、単位ブロックのサイズや探索範囲はこれに限定されない。また、２次元ベクトルの算出方法もブロックマッチングによる動き探索に限定されず、例えば、ＫＬＴトラッカー法等の勾配法ベースのアルゴリズムを採用してもよい。以後、（ｄｘ、ｄｙ）で表現できる２次元ベクトルを位置ズレ情報と呼ぶ。位置ズレ情報フィルタ処理部１０５は、間違った位置ズレ情報を外れ値として除外し、周辺の位置ズレ情報で補完する。

位置ズレ情報フィルタ処理部１０５の内部構成について、図１（ｂ）を用いて説明する。図示するように、位置ズレ情報フィルタ処理部１０５は、バッファ１０５ａと、ソート処理部１０５ｂと、バッファ１０５ｃと、ソート処理部１０５ｄと、を有する。バッファ１０５ａには、着目画素の位置ズレ情報５つ分と、着目画素に対する周囲８画素（いわゆる８近傍）の位置ズレ情報とが入力される。ソート処理部１０５ｂは、バッファ１０５ａ内の位置ズレ情報をＸ成分でソートし、Ｘ成分が最大の情報と最大から二番目の情報、及び、最小の情報と最小から二番目の情報を除いて、バッファ１０５ｃに出力する。ソート処理部１０５ｄは、バッファ１０５ｃ内の位置ズレ情報をＹ成分でソートし、その中央の位置ズレ情報を外部に（つまり、画像変形部１０６に）出力する。この一連の処理により、誤って検出された位置ズレ情報を除去して利用することができる。中央の着目画素の要素を多めに入力することにより、中央の要素が選ばれる割合を大きくし、一種の重みづけをしている。

尚、本実施形態では、中央値を選択する手法を採用したが、トリム平均等の他の手法を採用してもよい。トリム平均を採用した場合には、位置ズレ情報の要素に小数部成分が含まれることになる。

画像変形部１０６は、画素毎に２次元ベクトルである位置ズレ情報により参照される位置の着目画像の画素値を参照して出力する。詳しく説明すると、現在の着目画像の座標を（ｘ，ｙ）、位置ズレ情報を（ｄｘ，ｄｙ）とすると、着目画像の座標（ｘ＋ｄｘ，ｙ＋ｄｙ）の画素値を出力することになる。これらは画素毎に処理され、最終的には画像が作成されるが、本実施形態では、画像変形部１０６に入力された着目画像の中央部３８４０ｘ２１６０の領域の画素をクリップして出力するものとする。位置ズレ情報を実数で扱い小数部が存在する場合には、バイリニア法などを使ったサンプリング処理により小数座標位置の画素値も参照可能な構成を取ってもよい。

＜画像取得部１０１と画像取得部１０２との同期について＞
以下、画像取得部１０１と画像取得部１０２との同期について、図２を用いて説明する。同期信号生成部１０７に含まれる同期制御回路は、画像取得部１０１と画像取得部１０２との夫々に対し、駆動開始のタイミングを指示する。具体的には、同期信号生成部１０７は、画像取得部１０１における撮像手段の撮像期間の中心と、画像取得部１０２における撮像手段の撮像期間の中心とを一致させるための同期信号を生成し、出力する。

図２は、ローリングシャッター方式を採用するＣＭＯＳセンサと、グローバルシャッター方式を採用するＣＣＤセンサとの駆動特性の違いを説明する図である。ローリングシャッター方式では、ライン毎の露光のタイミングがずれており、また、ライン毎の画素情報の読み出しタイミングがずれている。一方、グローバルシャッター方式では、ライン毎の露光のタイミングが同じであり、また、ライン毎の画素情報の読み出しタイミングも同じである。そこで、本実施形態では、ローリングシャッターセンサの有効領域の垂直中央ラインの露光タイミングと、グローバルシャッターの露光タイミングとが一致するように同期をとる。位置ズレの大きさは、露光タイミングの時間差である。本実施形態で説明する方法で制御することにより、画像上部と画像下部とでどちらか一方の位置ズレが極端に大きくなることを抑制することができる。

＜本実施形態の効果等について＞
以下、本実施形態の効果について、図３を用いて説明する。図３は、本実施形態における画像の変形例を説明する図である。本実施形態によれば、ローリングシャッター歪はないが低解像度のＣＣＤ撮像画像（図３（ａ））を基準に、ローリングシャッター歪はあるが高解像度のＣＭＯＳ撮像画像（図３（ｂ））を変形することで、歪み量の少ない高解像度の画像（図３（ｃ））を得られる。このようにゆがみ量の少ない高解像度の画像を用いれば、例えばステレオカメラによる奥行き推定や、複数のカメラにより撮像された多視点画像に基づくオブジェクトの3次元形状データ生成など、種々の画像処理を高精度に行うことができる。

尚、本実施形態では、画像取得部は撮像処理を行うモジュールとして説明したが、画像取得部はこれに限定されず、事前に撮像しておいた画像を、ファイルから入力、或いは、ネットワーク経由で入力するモジュールでもよい。但し、このようなモジュールは、符号化された画像を復号する機能を有することになる。また、画像取得部は、外部に接続されたカメラの映像を取得するモジュールであってもよい。このように外部で撮像が行われた場合でも、撮像タイミングの同期をとることになる。また、画像取得部は、外部に設置されたカメラから直接映像信号を入力するものであってもよい。

［第２の実施形態］
＜画像処理装置の構成について＞
以下、本実施形態における画像処理装置の構成について、図４を用いて説明する。図４は、本実施形態における画像処理装置の構成を示すブロック図である。図示するように、画像処理装置は、２つの画像取得部として、画像取得部１０１と、画像取得部１０２と、を有する。

本実施形態と第１の実施形態（図１参照）とを比較すると、本実施形態における画像処理装置は、ＣＰＵ４０１と、メモリ４０２と、バス４０４と、を更に有し、解像度変換部１０３の代わりに幾何変換部４０３を有する。尚、以下では、既述の実施形態との差分について主に説明し、既述の実施形態と同様の構成については、同じ符号を付して、説明を適宜省略する。

幾何変換部４０３は、ホモグラフィ行列により画像の幾何変換を行う機能を有する。第１の実施形態では、画像取得部１０１と画像取得部１０２は同一画角の像が撮像されるように物理的に配置されるものとして説明した。しかし、必ずしも同一画角となるように物理的に設定できない場合もある。例えば、画像取得部１０１と画像取得部１０２との夫々に対して、外部に設置された独立したカメラから映像信号が入力される構成をとるような場合である。本実施形態では、撮像部の設置位置の違いを表現可能な予め算出したホモグラフィ行列を用いて幾何変換を行うことにより、同一画角の画像を得る。ホモグラフィ行列は、画像取得部１０１、１０２の出力画像をメモリ４０２に保存し、ＣＰＵ４０１が２つの画像の特徴点（キーポイント）を検出し、マッチングして、ＲＡＮＳＡＣ又はそれに類するアルゴリズムを実行することより算出する。尚、ホモグラフィ行列の導出方法はこれに限定されず、任意の方法を採用してよい。

ホモグラフィ行列は画像の拡縮を表現可能であり、幾何変換部４０３は解像度変換の機能を有する。第１の実施形態と同様に、幅２１００かつ高さ１１２０の画像のデータが入力されると、幾何変換部４０３は、ホモグラフィ行列による変換と、幅４２００かつ高さ２２４０への拡大とを行った画像のデータを、位置ズレ検出部１０４に出力する。

上で説明した構成を採用することにより、カメラ設置位置が離れており取得する画像に幾何的な違いがある場合であっても、第１の実施形態と同様の効果を得ることができる。尚、ホモグラフィ行列による変換は、３次元空間上の平面を別の平面にする変換であるため、奥行きの異なる被写体が存在するシーンでは、唯一の平面を決定することはできない。そのため、画像取得部１０１の出力画像、及び、画像取得部１０２の出力画像について、両者の画角を完全に一致させることは難しい。しかし、位置ズレ検出部１０４、位置ズレ情報フィルタ処理部１０５、画像変形部１０６で画素単位の位置ズレを検出し画像を変形することにより、奥行きの違いによる微小な誤差を補正することができる。これにより、ホモグラフィ行列による変換に起因する画像劣化を抑えることができる。

尚、本実施形態では、画像取得部１０１の出力画像に対して幾何変換を行ったたが、画像取得部１０２の出力画像に対して幾何変換を行っても良いし、あるいは、双方に対して幾何変換を行ってもよい。但し、その場合、画像取得部１０２の後段に、幾何変換部が設けられることになる。

［第３の実施形態］
＜画像処理装置の構成について＞
以下、本実施形態における画像処理装置の構成について、図５を用いて説明する。図５は、本実施形態における画像処理装置の構成を示すブロック図である。図示するように、画像処理装置は、２つの画像取得部としての画像取得部１０１、画像取得部１０２に加え、フレームバッファ５０１、フレームバッファ５０２を有する。尚、以下では、既述の実施形態との差分について主に説明し、既述の実施形態と同様の構成については、同じ符号を付して、説明を適宜省略する。

第１の実施形態と本実施形態との違いは、２つの画像取得部における画像取得のフレームレートが異なることにある。具体的に説明すると、本実施形態では、画像取得部１０１は６０ｆｐｓで画像を取得し、画像取得部１０２は３０ｆｐｓで画像を取得する。画像取得部１０１が取得する画像の解像度は幅１９２０かつ高さ１０８０であり、画像取得部１０２が取得する画像の解像度は幅３８４０かつ高さ２１６０とする。画像取得部１０１と画像取得部１０２とは、画像取得部１０１が２枚の画像を出力する時間間隔で画像取得部１０２が１枚の画像を出力するように同期が取られているものとする。画像取得部１０１が出力した画像群はフレームバッファ５０１に記憶され、画像取得部１０２が出力した画像群はフレームバッファ５０２に記憶される。

位置ズレ検出部１０４は、フレームバッファ５０１とフレームバッファ５０２とから画像を読み出して、これらの画像に対する位置ズレ検出を実行する。画像変形部１０６はフレームバッファ５０２から画像を読み出して、該読み出した画像に対する画像変形を行う。第１の実施形態では、画像取得部１０１は解像度変換部１０３に画像データを出力していた。しかし、本実施形態では、画像取得部１０１と画像取得部１０２との間では、撮像画像のフレームレートが異なり、画像の取得タイミングに時間差がある。このため２つのフレームバッファを設けこの違いを吸収している。

図６は、フレームレートが異なる画像の撮像タイミングと、画像の合成方法とを説明する図である。図６では、画像取得部１０１の取得画像が細破線で、画像取得部１０２の取得画像が太実線で、画像変形部１０６の出力画像が太破線で、夫々囲われている。図６で示すように、画像変形部１０６が画像取得部１０２の取得画像である高解像度画像を画像取得部１０１の取得画像に合わせて変形し、２枚の画像を作り出すことにより、高解像度かつ高フレームレートの映像を得ることを可能としている。

図示するように、画像取得部１０２の取得画像に対する画像変形部１０６による変形が、画像取得部１０１の取得画像ごとになされる。画像取得部１０１の取得画像のうち任意の１フレーム（注目画像とする）に対応する、画像変形部１０６による画像変形では、画像取得部１０２の取得画像のうち、該１フレームの撮像タイミングと最も撮像タイミングが近いものが使われる。

尚、本実施形態においては、画像取得部が取得する画像を撮像する２つの撮像部について、これらのセンサの駆動方式は限定されない。双方がグローバルシャッター方式であってもよいし、一方がグローバルシャッター方式で他方がローリングシャッター方式であってもよいし、双方がローリングシャッター方式であってよい。仮に双方がグローバルシャッター方式を採用する場合であっても、画像取得部１０１に対応するセンサの解像度は低いため高フレームレート化が容易である。また、仮に双方がローリングシャッター方式を採用する場合であっても、画像取得部１０１に対応するセンサは解像度が低く高速駆動が可能であり、よりローリングシャッター歪の少ない画像を得ることができる。

［第４の実施形態］
＜画像処理装置の構成について＞
以下、本実施形態における画像処理装置の構成について、図７を用いて説明する。図７は、本実施形態における画像処理装置の構成を示すブロック図である。

図示するように、本実施形態の画像処理装置は、ＣＰＵ７０１と、メモリ７０２と、ハードディスクドライブ（以下ＨＤＤ）７０３と、バス７０４と、を有する。ＨＤＤ７０３には、画像データと、以下で説明する本実施形態の処理を実行するためのプログラムとが格納されている。各モジュール間でのデータの送信又は受信は、バス７０４を介して行われる。

本実施形態の処理は、ＨＤＤ７０３に格納されたプログラムをＣＰＵ７０１が読み出しメモリ４０２へと展開し、該展開したプログラムをＣＰＵ７０１が実行することで、実行される。また、ＣＰＵ７０１はＨＤＤ７０３から取得した画像データに対する画像処理を実行し、画像処理後の画像データをＨＤＤ７０３に出力する。出力された画像データは、ＨＤＤ７０３に格納される。

＜画像処理について＞
以下、複数の画像を取得して画像処理を行う本実施形態の画像処理方法について、図８を用いて説明する。図８は、本実施形態における画像処理方法のフローチャートである。

ステップＳ８０１０では、ＣＰＵ７０１は、第１の画像として低解像度画像（画像Ａとする）を取得する。本ステップは、ＨＤＤ７０３から画像データを読み取ることにあたる。本ステップで取得する画像データのフォーマットに関しては、第２の実施形態における画像取得部１０１が取得する画像データのフォーマットと同様とする。尚、以下では、「ステップＳ〜」を単純に「Ｓ〜」と略記する。

Ｓ８０２０では、ＣＰＵ７０１は、第２の画像として、高解像度画像（画像Ｂとする）を取得する。本ステップは、ＨＤＤ７０３から画像データを読み取ることにあたる。本ステップで取得する画像データのフォーマットに関しては、第２の実施形態における画像取得部１０２が取得する画像データのフォーマットと同様とする。

Ｓ８０３０では、ＣＰＵ７０１は、画像Ａに対する解像度変換を実行する。本ステップの解像度変換は、第２の実施形態における幾何変換部４０３が実行する拡大と同様とする。

Ｓ８０４０では、ＣＰＵ７０１は、画像Ｂに対する幾何変換を実行する。本ステップの幾何変換は、第２の実施形態における幾何変換部４０３が実行する幾何変換と同様とする。尚、画像Ａと画像Ｂとは、同等の画角で撮影された画像であるものとする。

Ｓ８０５０では、ＣＰＵ７０１は、解像度変換が施されたＡと、幾何変換が施された画像Ｂとの間での位置ズレ検出を実行する。画像本ステップの位置ズレ検出は、第２の実施形態における位置ズレ検出部１０４が実行する位置ズレ検出と同様とする。

Ｓ８０６０では、ＣＰＵ７０１は、位置ズレ情報に基づいて、幾何変換された画像Ｂに対する画像変形を実行する。本ステップの画像変形は、第２の実施形態における画像変形部１０６が実行する画像変形と同様とする。

Ｓ８０１０からＳ８０６０を連続的に実行することにより、本実施形態を、画像だけでなく動画にも適用することができる。

本実施形態のような構成を採用することにより、第２の実施形態と同様の効果を得ることができる。尚、本実施形態では第２の実施形態と同等の処理を実行するように説明したが、画像Ａと画像Ｂとの画角が同じ場合にはＳ８０４０のステップは不要である。また、画像Ａが６０ｆｐｓ動画の１フレームであって、画像Ｂが３０ｆｐｓ動画の１フレームであるような形態を採用する場合、第３の実施形態と同様の処理（図６参照）を行うことで、第３の実施形態と同様の効果も得ることができる。

［その他の実施形態］
上述の各実施形態では、グローバルシャッター方式のセンサとしてＣＣＤセンサを用い、ローリングシャッター方式のセンサとしてＣＭＯＳセンサを用いる例について説明した。ただしセンサの種別はこれに限定されない。例えば、ローリングシャッター方式のＣＭＯＳセンサにより撮像した画像を、グローバルシャッター方式のＣＭＯＳセンサにより撮像した画像に基づいて変形してもよい。また、ＣＣＤセンサ及びＣＭＯＳセンサとは異なる別の撮像センサが用いられてもよい。

本出願の思想は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述した第１〜第４の実施形態について、各実施形態の構成を適宜組み合わせて用いてもよい。

１０１ 画像取得部
１０２ 画像取得部
１０４ 位置ズレ検出部
１０６ 画像変形部

Claims (12)

1. 第１の撮像特性で撮像された第１の画像を取得する第１の取得手段と、
   前記第１の撮像特性とは露光タイミングに関する特性が異なる第２の撮像特性で撮像された第２の画像を取得する第２の取得手段と、
   前記第１の画像と前記第２の画像との間で各画素の位置ズレを検出して、位置ズレ情報を導出する位置ズレ検出手段と、
   前記位置ズレ情報に基づき、前記第２の画像を変形する変形手段と、
   を有することを特徴とする画像処理装置。
2. 前記変形手段は、前記第２の画像を変形することで、第３の画像を作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段は、第１の撮像手段を有し、
   前記第２の取得手段は、第２の撮像手段を有し、
   前記第１の撮像手段の撮像期間の中心と、前記第２の撮像手段の撮像期間の中心とを一致させるための同期信号を生成する信号生成手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像の解像度を変換する変換手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記変換手段は、前記第１の画像の解像度を前記第２の画像の解像度と一致するように、又は、前記第２の画像の解像度を前記第１の画像の解像度と一致するように変換し、
   前記位置ズレ検出手段は、前記変換手段により解像度が変換された前記第１の画像と前記第２の画像との間で、又は、前記変換手段により解像度が変換された前記第２の画像と前記第１の画像との間で、各画素の位置ズレを検出することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の画像と前記第２の画像との少なくとも１つに対して幾何変換を行う幾何変換手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
7. 前記第１の取得手段によって連続的に取得された第１の画像群が記憶される第１のバッファと、
   前記第２の取得手段によって連続的に取得された第２の画像群が記憶される第２のバッファと、
   を更に有し、
   前記第１の取得手段は、所定のフレームレートで連続的に撮像する撮像手段を有し、
   前記第２の取得手段は、前記第１の取得手段より低いフレームレートで連続的に撮像する撮像手段を有することを特徴とする請求項４に記載の画像処理装置。
8. 前記変換手段は、前記第１の画像群のうち注目画像の解像度を、前記第２の画像の解像度と一致するように変換し、
   前記位置ズレ検出手段は、前記変換手段により解像度が変換された注目画像と、該注目画像と最も撮像タイミングが近い前記第２の画像との間で、各画素の位置ズレを検出することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の画像に対して幾何変換を行う幾何変換手段を更に有し、
   前記変換手段は、前記第１の画像の解像度を変換し、
   前記位置ズレ検出手段は、前記変換手段により解像度が変換された前記第１の画像と、前記幾何変換手段により幾何変換が行われた前記第２の画像との間で、各画素の位置ズレを検出することを特徴とする請求項４に記載の画像処理装置。
10. 前記第２の画像は、前記第１の画像と比べると、撮像タイミングの時間差に起因する歪みの量は大きいが、解像度が高いことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 第１の撮像特性で撮像された第１の画像を取得するステップと、
    前記第１の撮像特性とは露光タイミングに関する特性が異なる第２の撮像特性で撮像された第２の画像を取得するステップと、
    前記第１の画像と前記第２の画像との間で各画素の位置ズレを検出して、位置ズレ情報を導出するステップと、
    前記位置ズレ情報に基づき、前記第２の画像を変形するステップと、
    を有することを特徴とする画像処理方法。
12. コンピュータに請求項１１に記載の方法を実行させるためのプログラム。

Images