JP2014115824A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像処理に際して、処理速度を向上させ、メモリアクセス負荷を低減させ、制御性を向上させることができる画像処理装置を提供する。
【解決手段】画像処理装置の一例であるデジタルカメラは、順次接続される座標演算回路としてリサイズ処理回路５１、射影変換回路５２、ＲＳ歪補正回路５３、歪曲補正回路５４を有し、第２段以降の回路へは前段の回路から出力された幾何変形後座標が画像の画素の座標として入力されると共に、各座標演算回路へは各回路が実行する幾何変形のための幾何変形パラメータが幾何変形量制御回路５６から入力される。各座標演算回路で演算された座標移動ベクトルは座標移動ベクトル合成回路５５へ出力され、座標移動ベクトル合成回路５５は、入力された座標移動ベクトルを一括して合することにより座標移動合成ベクトルを生成する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、撮影した画像を幾何変形する画像処理技術に関する。

デジタルカメラの普及に伴い、カメラ本体の小型化やワイドレンズ化が進んでおり、このような状況下において、様々なシーンにおいて良好な撮影画像が得られるように、撮影アシスト機能の進化が求められている。例えば、画像を幾何変形する撮影アシスト機能としては、手ブレ補正や電子ズーム、歪曲収差補正、センサのローリングシャッタに起因する歪（以下「ローリングシャッタ歪」という）補正等がある。なお、以下の説明では、「歪曲収差補正」と「ローリングシャッタ歪補正」とを合わせて「歪補正」と称呼することとする。これらの複数の補正やズームは、所望の効果が得られるように、幾何学的な法則に従って順序を守って適用していくことが望ましい。

しかしながら、画像処理速度を速めて使い勝手を向上させ、デジタルカメラのリアルタイム性（撮像画像をその場で確認することができること等）を維持するためには、複数の幾何学的な変形要素（以下「幾何変形要素」という）を一括演算する必要がある。そこで、複数の幾何変形要素による変形量を合成する演算方法が必要となる。

複数の幾何変形要素を一括演算する手法の例として、レンズの色収差と歪曲収差を同時に補正するために、色収差を拡縮倍率として近似して与える方法が提案されている（特許文献１参照）。また、ローリングシャッタ歪と歪曲収差を一緒に補正する方法の例として、画像を分割し、ローリングシャッタ歪みを分割画像毎に測定し、歪曲収差の補正量と加算して補正する方法が提案されている（特許文献２参照）。

特開２００４−３３６１０６号公報 特開２００６−１８６８８４号公報

しかしながら、デジタルカメラに搭載することができる処理回路の処理能力は限られており、利用者を待たせずにこれらの幾何変形を実行して高品質画像を得ることは容易ではない。

例えば、特許文献１に記載された方法では、色収差及び歪曲収差の２つを幾何変形要素としており、これらはどちらもレンズの屈折による結像の理想状態からのずれを補正するものである。そこで、その類似した性質を活かして、前段で求めた歪曲変化量を色の屈折率の違いに応じた変倍率で拡大縮小するという特殊な方法を用いることで、複数の画像処理の連結に関する実現課題を回避している。そのため、歪曲収差と手ブレ補正といった性質の違う幾何変形要素を効率良く処理するという目的には応用することができない。

一方、特許文献２に記載された方法では、ローリングシャッタ歪と歪曲収差という異なる幾何変形要素を対象としている。しかしながら、本来は逐次的に算出されるべき複数の幾何変形要素に関わる変化量を変換前の座標に基づき同時算出するため、処理速度の代わりに処理精度（画質）を犠牲にしなければならないという問題がある。これに対して、一括演算せずに、複数の幾何変形要素のそれぞれの処理回路を幾何法則に基づいて単純に接続し、各出力画像を次段の入力とする構成を採用した場合、処理精度と高速な処理とを両立させるためには、高価な演算回路が必要となる。

本発明は、画像処理に際して、処理速度を向上させ、メモリアクセス負荷を低減させ、制御性を向上させることができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、画像を幾何変形する画像処理装置であって、入力される前記画像の画素の座標と幾何変形パラメータとから、それぞれ異なる幾何変形による座標演算により、幾何変形後座標と座標移動ベクトルとを算出する複数の座標演算手段と、前記複数の座標演算手段のそれぞれに、対応する幾何変形のための前記幾何変形パラメータを出力する幾何変形量制御手段と、前記複数の座標演算手段が演算した座標移動ベクトルを一括して合成することにより合成座標移動ベクトルを生成するベクトル合成手段とを備え、前記複数の座標演算手段は順次接続され、前記複数の座標演算手段のうち第２段以降の座標演算手段には、前段の座標演算手段から出力された幾何変形後座標が前記画像の画素の座標として入力されることを特徴とする。

本発明によれば、複数の幾何変形要素の演算処理を１回で効率的に処理することができるため、処理速度を向上させ、また、メモリアクセス負荷を低減させ、制御性を向上させることができる。

本発明の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。 図１の画像処理装置が備える幾何変形回路によるバックワードマッピング処理を説明する図である。 図１の画像処理装置が備える第１実施形態に係る幾何変形回路の回路構成を示すブロック図である。 図１の画像処理装置が備える幾何変形回路で実行される補間処理の例であるバイリニア補間処理を模式的に示す図である。 図３に示す幾何変形回路が備える座標演算回路による演算処理の概要を説明する図である。 図５に示す座標演算回路による複数の幾何変形処理の処理結果の関連を説明する図である。 図５に示す座標演算回路による座標移動ベクトル及び幾何変形後座標の精度の特徴を説明する図である。 図１の画像処理装置が備える第２実施形態に係る幾何変形回路が有する座標演算回路による演算処理の概要を説明する図である。 図８に示す座標演算回路による複数の幾何変形処理の処理結果の関連を説明する図である。

＜第１実施形態＞
図１は、本発明に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。デジタルカメラの全体的制御はＣＰＵ１５によって行われる。

デジタルカメラは、ズームレンズ、フォーカスレンズ及び光学防振機能を含むレンズユニット１１と、絞り１２とを備える。レンズユニット１１と絞り１２とからなる撮像光学系は、ズーミング操作や被写体移動、撮影者のフレーミング操作の変更、明るさ等の撮影環境の変化や撮影者が意図した撮影効果等の様々な要因に応じて制御される。その結果、焦点距離、フォーカス距離、絞り値等に代表される光学パラメータは変動する。

なお、光学防振機能とは、レンズ群の一部を光軸と垂直方向にシフトさせることで光学像を光軸と垂直方向にずらし、手ブレによる映像の揺れを抑振する機能である。光学防振機能はデジタルカメラの動きに応じて制御されるため、光軸と画像面との交点を表す画像中心と呼ばれる光学パラメータも、光学防振機能の役割を持つレンズの移動により変動する。また、ズームレンズやフォーカスレンズ等の光学系レンズの駆動により生じる幾何学的歪も、ズームや画像中心等の光学パラメータの変化に応じて変動する。

撮像光学系のフォーカスや絞り、光学防振機能の制御は、撮像光学系の駆動と制御状態の検知を行うアクチュエータ及びエンコーダ１７によって行われ、アクチュエータ及びエンコーダ１７は、ＣＰＵ１５からの制御信号に従って動作する。デジタルカメラでは、ＣＰＵ１５から出力される駆動パルスに基づいて、レンズユニット１１や絞り１２の駆動がアクチュエータによって行われる。駆動による各種レンズ等の移動状態はエンコーダによって読み出され、焦点距離やフォーカス距離、絞り値、画像中心等の光学パラメータ情報がＣＰＵ１５に伝達される。

デジタルカメラにおいて、撮像光学系を通過した光学像は撮像素子１３の撮像面上に結像し、撮像素子１３は光学像を電気信号からなる画像信号に変換して出力する。撮像素子１３が撮像面上での読み出しタイミングが異なるＣＭＯＳ等である場合、ローリングシャッタ歪を生じることとなる。

撮像素子１３から出力された画像信号は、デジタル（アナログ）フロントエンド（Ｄ（Ａ）ＦＥ）１４にて前処理され、デジタル画像信号に変換される。デジタル画像信号は、一旦、メモリ（ＲＡＭ）１６に保存される。デジタル画像信号は、静止画信号である場合には１枚の画像に対応し、映像（動画）信号である場合には１つのフレーム画像又は１つのフィールド画像に対応する。

デジタルカメラは、カメラ本体の姿勢の変化を検知するセンサである姿勢センサ１８を備え、姿勢センサ１８は、具体的には、ジャイロや加速度センサ、地磁気センサ等のセンサ類と専用ＣＰＵとを有する。姿勢センサ１８は、画像信号のフレーム間及びフレーム内の露出期間に生じたカメラ本体の動きを検知し、例えば、カメラ本体の単位時間当たりの３軸回転及び３軸並進量からなるモーションパラメータ情報を計算して、ＣＰＵ１５に伝達する。

ＣＰＵ１５は、光学パラメータ、モーションパラメータ情報及び光学補正データベース１９に記録された光学補正データに基づいて、画像信号に対する幾何変形パラメータを決定する。なお、光学補正データベース１９は、フラッシュメモリ等の記憶装置である。

デジタルカメラは幾何変形回路２０を備え、幾何変形回路２０はデジタル（アナログ）フロントエンド１４により生成されてメモリ１６に保存された画像信号をＣＰＵ１５が決定した幾何変形パラメータに従って幾何変形する画像処理回路である。幾何変形回路２０で幾何変形された画像信号は、符号化回路や諧調補正等を行う変換回路、複数枚の画像信号を合成して新たな画像信号を生成する任意の画像合成回路等を備える後段の回路（不図示）に伝送される。

幾何変形回路２０について詳細に説明する。図２は、幾何変形回路２０によるバックワードマッピング処理を説明する図であり、図３は、幾何変形回路２０の回路構成を示すブロック図である。幾何変形回路２０は、図２に示すように、出力画像に画素の欠陥が生じないように、出力画像座標に基づき、入力画像上で画素のサンプリング及び補間を行うバックワードマッピング処理により、幾何変形処理を実現する。バックワードマッピング処理を実現するため、幾何変形回路２０は、図３に示すように、座標演算回路３１と、補間回路３２と、メモリ制御回路３３とを有する。

座標演算回路３１は、出力画像上の画素を、順次、スキャン（例えば、ラスタスキャン）する。そして、座標演算回路３１は、光学パラメータ、モーションパラメータ及び光学補正データに従って、ＣＰＵ１５により演算された幾何変形パラメータに基づき、出力画像上の画素座標を入力画像上の画素座標に変換する処理を行う。

補間回路３２は、座標演算回路３１で求めた入力画像上の画素座標に基づいてサンプリングを行い、補間により出力画素のデータを生成する。また、補間回路３２は、補間手法に応じて、演算した入力画像上のサンプリング座標の近傍の画素値を用いて補間処理を行う。補間処理には、例えば、４近傍を用いて線形補間を行うバイリニア補間処理や、１６近傍を用いて３次補間を行うバイキュービック補間処理等の補間方法を用いることができる。

メモリ制御回路３３は、座標演算回路３１により算出された入力画像上のサンプリング座標と補間回路３２の補間モードに従い、メモリ１６上からサンプリング座標の近傍の画素値群を読み出して補間回路３２に伝送する制御を行う。

図４は、補間処理の例であるバイリニア補間処理を模式的に示す図である。座標演算回路３１は、黒丸で示される入力画像上のサンプリング座標を計算する。サンプリング座標は、小数点以下の情報を持つサブピクセル座標で算出される。メモリ制御回路３３は、補間回路３２の補間モードがバイリニア補間であることに従い、サンプリング座標の４近傍画素を読み出すようにメモリ１６からの画素値の順次読み出し処理を実行する。図４中の白丸は、読み出された近傍画素であり、座標値の［ｘ］，［ｙ］は整数座標を表す。補間回路３２は読み出された４近傍画素の画素値を用い、下記〔式１〕に従って出力画像上の画素値を計算する。〔式１〕において、Ｉ（ｘ，ｙ）は生成した画素値を示し、ｆ（［ｘ］、［ｙ］）は入力画像上の画素値である。〔式１〕の処理を読み出した画素順に行うことにより出力画像が生成される。

次に、座標演算回路３１について詳細に説明する。図５は、座標演算回路３１による演算処理の概要を説明する図である。座標演算回路３１は、複数の幾何変形による座標変換を１つの座標変換に合成し、入力される出力画像上の画素毎の座標を入力画像上のサンプリング座標に順次変換する座標演算を行う。

座標演算回路３１は、複数の幾何変形要素に対応した座標演算回路として、リサイズ処理回路５１、射影変換回路５２、ローリングシャッタ歪み補正回路（以下「ＲＳ歪補正回路」と記す）５３、歪曲補正回路５４を有する。また、座標演算回路３１は、座標移動ベクトル合成回路５５と、幾何変形量制御回路５６を有する。幾何変形量制御回路５６は、ＣＰＵ１５から入力された幾何変形パラメータＰｒ，Ｐｈ，Ｐｗ，Ｐｄ，Ｐｃを、図５に示す通りに対応する座標演算回路及び座標移動ベクトル合成回路５５に振り分ける。

なお、幾何変形パラメータＰｒ，Ｐｈ，Ｐｗ，Ｐｄ，Ｐｃについては、以下の説明において、適宜、説明する。また、詳細は後述するが、リサイズ処理回路５１は、電子ズームによる画角変動に伴うフレームメモリ上の出力位相を調整する。射影変換回路５２は、カメラ本体のブレに起因する回転や並進により生じる画像の変化を抑制する。ＲＳ歪補正回路５３は、フレーム内の露光期間におけるカメラ本体の動きにより生じる歪を補正する。歪曲補正回路５４は、レンズの収差補正を行う。

図５に示す通りに、リサイズ処理回路５１は、幾何変形前座標Ｘ、Ｙを入力として、座標移動ベクトルｄｒｘ，ｄｒｙ及び幾何変形後座標Ｘｒ，Ｙｒを出力する。射影変換回路５２は、前段の幾何変形後座標Ｘｒ，Ｙｒを入力として、座標移動ベクトルｄｈｘ，ｄｈｙ及び幾何変形後座標Ｘｈ、Ｙｈを出力する。ＲＳ歪補正回路５３は、前段の幾何変形後座標Ｘｈ，Ｙｈを入力として、座標移動ベクトルｄｗｘ，ｄｗｙ及び幾何変形後座標Ｘｗ，Ｙｗを出力する。歪曲補正回路５４は、前段の幾何変形後座標Ｘｗ，Ｙｗを入力として、座標移動ベクトルｄｄｘ，ｄｄｙ及び幾何変形後座標Ｘｄ、Ｙｄを出力する。

このように、本実施形態では、４つの座標演算回路は順次接続され、これらの座標演算回路のうち第２段以降の座標演算回路には、前段の座標演算回路から出力された幾何変形後座標が画像の画素の座標として入力される。なお、歪曲補正回路５４は、最後段の座標演算回路であるため、幾何変形後座標Ｘｄ、Ｙｄの出力は省略することができる。

リサイズ処理回路５１、射影変換回路５２、ＲＳ歪補正回路５３、歪曲補正回路５４で演算された座標移動ベクトルｄｒｘ，ｄｒｙ、ｄｈｘ，ｄｈｙ、ｄｗｘ，ｄｗｙ、ｄｄｘ，ｄｄｙは、座標移動ベクトル合成回路５５へ出力される。座標移動ベクトル合成回路５５は、入力された座標移動ベクトルを一括して合成し、座標移動合成ベクトルＸｃ，Ｙｃを生成する。

続いて、各座標演算回路で算出された座標移動ベクトルｄｒｘ，ｄｒｙ、ｄｈｘ，ｄｈｙ、ｄｗｘ，ｄｗｙ、ｄｄｘ，ｄｄｙ、幾何変形前座標Ｘ，Ｙ及び幾何変形後座標Ｘｒ，Ｙｒ、Ｘｈ，Ｙｈ、Ｘｗ，Ｙｗ、Ｘｄ，Ｙｄ及び座標移動ベクトル合成回路５５により合成される座標移動合成ベクトルＸｃ，Ｙｃの入出力関係について説明する。

図６は、座標演算回路３１による複数の幾何変形処理の処理結果の関連を説明する図である。座標演算回路３１は、バックワードマッピング処理のため、光学像に対する物理的な影響の逆順に幾何演算を行い、その順序は、リサイズと切り出し、射影変換、ＲＳ歪補正、歪曲補正の順である。そして、最後に、座標移動ベクトル合成回路５５により、各座標演算回路の出力である座標移動ベクトルｄｒｘ，ｄｒｙ、ｄｈｘ，ｄｈｙ、ｄｗｘ，ｄｗｙ、ｄｄｘ，ｄｄｙを幾何変形パラメータＰｃに従って重み付けして合成する。なお、図６では、重みを均等に合成した例を示している。

図７は、座標演算回路３１が備える各座標演算回路の座標移動ベクトル及び幾何変形後座標の精度の特徴を説明する図である。図７（ａ）に示すように、各座標演算回路が出力する座標移動ベクトル精度は、その幾何変形に必要な精度で出力する。また、各座標演算回路が出力する幾何変形後座標の精度は、座標移動ベクトル精度とは無関係に、後段に接続される座標演算回路の演算精度で出力することとする。これにより、前段の幾何変形の座標表現精度に制約されずに、後段の幾何変形の座標演算を成立させることができる。

より詳しくは、図７（ｂ）に示すように、前段に位置する座標演算回路が出力する幾何変形後座標の精度は、それぞれが出力する座標移動ベクトル精度と無関係に、それより後段に接続される座標演算回路の演算精度を下回ることがないようにする。

本実施形態のように、幾何変形後座標を接続させる結果として幾何変形後のサンプリング座標を求めるのではなく、各座標演算回路の出力する座標移動ベクトルの合成結果としてサンプリング座標を求める利点としては、以下の点が挙げられる。即ち、それぞれの幾何変形要素の座標演算分解能が、合成演算後の座標に影響を与えられるという利点がある。また、これにより、幾何変形処理の画像マージンをＣＰＵ１５により制御する際に、より細かな制御が可能になる。例えば、精度が粗く、量の大きな後段の座標移動の影響を合成幾何変形パラメータの重みを小さくすることにより抑制し、前段の演算精度が高い場合に座標移動の微小な作用を強調する等、単純な縦列演算ではできない制御が可能となる。

次に、座標演算回路３１における座標演算の詳細、特に、リサイズと切り出し、射影変換、ＲＳ歪補及び歪曲補正の各座標演算と入力の幾何変形パラメータについて説明する。

リサイズ処理回路５１による「リサイズ」は、電子ズーム用途に用いられ、ズームによる画角変動を表現し、「切り出し」はフレームメモリ上の出力位相調整を表現する。リサイズ処理回路５１は、インターレス処理等による位相のずれを補正するために、下記〔式２〕〜〔式４〕による座標演算を行う。

ここで、「ｒ」は変倍率の逆数、「Ｘ_０ｒ」，「Ｙ_０ｒ」は変換の中心、「ｃ，ｄ」は切り出しによる並進移動を表す幾何変形パラメータＰｒであり、幾何変形量制御回路５６により与えられる。〔式４〕の「→」は、演算精度から出力精度へのビット調整演算のオペレータを表す。ズームの変換中心は必ずしも画像中心でなくとも良い。このような静的な変換パラメータは、不図示のＧＵＩを用いてのユーザの拡大領域指定から間接的に得ることができ、或いは、ＣＰＵ１５に付属するレジスタ又はメモリ１６に記録された情報を用いることができる。

射影変換回路５２は、カメラ本体のブレに起因する回転や並進により生じる画像の変化を抑制する。姿勢センサ１８で得られたカメラ本体のモーションパラメータに基づき、ＣＰＵ１５が、マージンや抑振の強弱を考慮しながら補正具合を計算する。

幾何変形パラメータは、３×３の射影変形ホモグラフィで与えられる。例えば、モーションを３軸回転のみ検知し、マージンが十分に与えられて最大変化量を制御する必要がない場合を想定すると、下記〔式５〕〜〔式９〕の通りに幾何変形パラメータＰｈのホモグラフィが与えられる。

ここで、「Ｒ」，「Ｐ」，「Ｙ」はそれぞれ、光軸に対するカメラ本体のロール、ピッチ、ヨー回転を表し、「α」は抑振率を表し、負の符号は抑振を表す。「Ｘ_０ｈ，Ｙ_０ｈ」は変換の中心を表し、変換中心には画像中心を用いると精度の高い演算が可能となる。「→」は、リサイズ処理回路５１の場合と同様に、演算精度から出力精度へのビット調整演算のオペレータを表す。

ＲＳ歪補正回路５３は、フレーム内の露光期間におけるカメラ本体の動きにより生じる歪（ＲＳ歪）を補正する。ＲＳ歪は、フレーム内でのスキャンライン（水平画素ライン）間の露光タイミングのずれの間に生じたカメラモーション（又は物体モーション）による画像の動きにより生じる。ＲＳ歪補正回路５３は、姿勢センサ１８で得られたモーションパラメータに基づいてＣＰＵ１５が計算した幾何変形パラメータＰｗに従い、座標演算を行う。例えば、カメラモーションを微小なヨー（Ｙ）方向、ピッチ（Ｐ）方向の定速変化のみとし、画像内の任意の水平ラインを補正による不変ラインＹ_０ｗとすると、幾何補正は下記〔式１０〕〜〔式１２〕で表される。

不変ラインＹ_０ｗに画像中心のＹ座標を用いることで、他の幾何変形演算と整合性の高い演算を実現することができる。「ｙ，ｐ」は、スキャンライン間で生じたヨー方向及びピッチ方向のカメラモーションを画像上の動きに変換した量で、幾何変形パラメータＰｗとして与えられる量である。例えば、下記〔式１３〕〜〔式１４〕の変換により、カメラモーションから画像上の動きに変換される。

「Ｙ´」は、スキャンライン間で生じたヨー方向のカメラ本体の動き、「ｆ」は焦点距離、「Δｐ」はピクセルサイズを表す。幾何変形パラメータＰｗは、水平ライン毎に与えてもよいし、所定の区間毎に与えてもよい。

本実施形態での幾何変形パラメータＰｗの算出では、座標演算の入力画像座標（出力画像の像高）にカメラモーションの変化を対応させる。しかし、本来は、カメラモーションは座標演算の出力座標（メモリ上の画像の像高）に対応して記録されている。したがって、厳密には、幾何変形パラメータとして利用する前に出力画像、換言すれば、座標演算の入力画像座標の像高に対応するように、マッピングを行う必要がある。但し、動きの変化が時間的に小さい場合には、カメラモーションの対応座標を出力画像座標と入力画像座標の像高の間で置き換えても誤差は小さい。そこで、本実施形態では、このようなヒューリスティックな事実を利用し、モーションパラメータをそのまま用いることとする。

歪曲補正回路５４は、レンズの収差、主に放射歪を補正する。ＣＰＵ１５は、焦点距離、フォーカス距離及び絞りの光学パラメータに対応した光学補正データを、光学補正データベース１９から幾何変形パラメータＰｄとして選び出す。幾何変形パラメータＰｄの読み出しには、例えば、設計データより出力される歪曲率、又は、その変形である理想像高と歪像高の比のテーブルが用いられる。

ここでは、像高比のテーブルを用いた場合を例に取り上げて、座標演算の詳細を説明する。歪曲補正の座標演算は、変換中心Ｘ_０ｄ，Ｙ_０ｄを基準にして、幾何変形前座標を極座標化して求める。その幾何補正は下記〔式１５〕〜〔式１８〕で表される。

変換中心Ｘ_０ｄ，Ｙ_０ｄには、画像中心を用いる。「ｆ（ｒ）」は、像高に対応した理想像高と歪像高の比の値を表し、像高をインデックスとしたテーブルから抽出する操作を表す。なお、〔式１７〕は、極座標から直交座標への座標変換を行う操作を表す。

座標移動ベクトル合成回路５５は、幾何変形前座標Ｘ、Ｙ及び各座標演算回路で得られた座標移動ベクトルｄｒｘ，ｄｒｙ、ｄｈｘ，ｄｈｙ、ｄｗｘ，ｄｗｙ、ｄｄｘ，ｄｄｙを一括して重み合成する。これにより、一括処理による合成座標移動ベクトルｄｃｘ，ｄｃｙ及び幾何変形後座標Ｘｃ，Ｙｃを得る。その処理は、下記〔式１９〕〜〔式２０〕で表される。なお、「ａｘ〜ｄｘ」及び「ａｙ〜ｄｙ」は、合成の重みを表す幾何変形パラメータＰｃである。

以上の説明の通り、本実施形態によれば、複数の幾何変形処理を１回に纏めて処理することができる。その結果、処理速度の向上、メモリアクセス負荷の低減、制御性の向上が実現できる。

＜第２実施形態＞
第１実施形態では、座標演算回路３１の演算順序は、光学像に対する物理的な影響の逆順、つまり、リサイズと切り出し、射影変換、ＲＳ歪補正、歪曲補正の順とした。また、ＲＳ歪補正の幾何変形パラメータＰｗを算出する際に、座標演算の出力座標の像高に対応させるべきカメラモーションの変化を座標演算の入力画像座標の像高に対応させる近似を導入した。

しかしながら、魚眼レンズ等の歪曲収差の大きな光学系レンズを用いた場合、モーションパラメータと対応させるべき入力画像と出力画像との像高のずれが大きくなり過ぎて、このような近似が成立せず、画像が歪んでしまうという問題が生じ得る。そこで、第２実施形態では、第２実施形態では、図３に示した幾何変形回路２０が有する座標演算回路３１の構成を、図８に示す座標演算回路の構成に変更することによって、この問題を解決する。

図８は、第２実施形態に係る座標演算回路による演算処理の概要を説明する図である。図８の座標演算回路では、演算順序を、リサイズと切り出し、射影変換、歪曲補正、ＲＳ歪補正の順とする。つまり、図５に示す演算と図８に示す演算とでは、歪曲補正とＲＳ歪補正の順序が逆になっており、それ以外の点では違いはない。

図９は、図８の座標演算回路による複数の幾何変形処理の処理結果の関連を説明する図である。図９は、各座標演算回路で算出された座標移動ベクトルｄｒｘ，ｄｒｙ、ｄｈｘ，ｄｈｙ、ｄｄｘ，ｄｄｙ、ｄｗｘ，ｄｗｙ、幾何変形前座標Ｘ，Ｙ、幾何変形後座標Ｘｒ，Ｙｒ、Ｘｈ，Ｙｈ、Ｘｄ，Ｙｄ、Ｘｗ，Ｙｗ及び座標移動ベクトル合成回路５５により合成される座標移動合成ベクトルＸｃ，Ｙｃの入出力関係を示している。演算順序を、リサイズと切り出し、射影変換、歪曲補正、ＲＳ歪補正の順とすることにより、ＲＳ歪補正回路５３における入力画像座標と出力画像座標との像高差が小さくなるため、近似の精度が保てるようになる。

以上の説明の通り、第２実施形態によれば、歪曲が大きな場合にも、精度の高い幾何変形を一括処理で実現することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１１ レンズユニット
１２ 絞り
１３ 撮像素子
１４ フロントエンド
１５ ＣＰＵ
１６ メモリ
１７ アセンブラ
１８ 姿勢センサ
１９ 光学補正データベース
２０ 幾何変形回路
３１ 座標演算回路
３２ 補間回路
３３ メモリ制御回路
５１ リサイズ処理回路
５２ 射影変換回路
５３ ＲＳ歪補正回路
５４ 歪曲補正回路
５５ 座標移動ベクトル合成回路
５６ 幾何変形量制御回路

Claims (9)

1. 画像を幾何変形する画像処理装置であって、
   入力される前記画像の画素の座標と幾何変形パラメータとから、それぞれ異なる幾何変形による座標演算により、幾何変形後座標と座標移動ベクトルとを算出する複数の座標演算手段と、
   前記複数の座標演算手段のそれぞれに、対応する幾何変形のための前記幾何変形パラメータを出力する幾何変形量制御手段と、
   前記複数の座標演算手段が演算した座標移動ベクトルを一括して合成することにより合成座標移動ベクトルを生成するベクトル合成手段とを備え、
   前記複数の座標演算手段は順次接続され、前記複数の座標演算手段のうち第２段以降の座標演算手段には、前段の座標演算手段から出力された幾何変形後座標が前記画像の画素の座標として入力されることを特徴とする画像処理装置。
2. 前記複数の座標演算手段は、リサイズと切り出しを行うリサイズ処理手段、射影変換を行う射影変換手段、歪補正を行う歪み補正手段であり、
   前記リサイズ処理手段、前記射影変換手段、前記歪み補正手段は、前記リサイズと切り出し、前記射影変換、前記歪補正の順に座標演算が行われるように接続されていることを特徴とする請求項１記載の画像処理装置。
3. 前記歪み補正手段は、撮像素子のローリングシャッタ歪みを補正するローリングシャッタ歪み補正手段と、レンズの収差補正を行う歪曲補正手段であり、
   前記ローリングシャッタ歪み補正手段と前記歪曲補正手段は、前記ローリングシャッタ歪み補正、前記レンズの収差補正の順に座標演算が行われるように接続されていることを特徴とする請求項２記載の画像処理装置。
4. 前記歪み補正手段は、撮像素子のローリングシャッタ歪みを補正するローリングシャッタ歪み補正手段と、レンズの収差補正を行う歪曲補正手段であり、
   前記ローリングシャッタ歪み補正手段と前記歪曲補正手段は、前記レンズの収差補正、前記ローリングシャッタ歪み補正の順に座標演算が行われるように接続されていることを特徴とする請求項２記載の画像処理装置。
5. 前記複数の座標演算手段はそれぞれ、前記複数の座標演算手段が行うそれぞれの幾何変形に必要な精度で前記座標移動ベクトルを出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の座標演算手段はそれぞれ、前記座標移動ベクトルの精度とは無関係に、後段に接続された座標演算手段の精度で前記幾何変形後座標を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記複数の座標演算手段はそれぞれ、後段に接続された座標演算手段の精度を下回ることがない精度で前記幾何変形後座標を出力することを特徴とする請求項６記載の画像処理装置。
8. 画像処理装置により画像を幾何変形する画像処理方法であって、
   幾何変形量制御手段が、前記画像の画素に対してそれぞれ異なる幾何変形による座標演算を行う複数の座標変換手段のそれぞれに、対応する幾何変形に用いる幾何変形パラメータを出力するステップと、
   前記複数の座標演算手段が、入力される前記画像の画素の座標と前記幾何変形量制御手段から入力された前記幾何変形パラメータとから、前記それぞれ異なる幾何変形による座標演算により、幾何変形後座標と座標移動ベクトルとを算出するステップと、
   ベクトル合成手段が、前記複数の座標演算手段が演算した前記座標移動ベクトルを一括して合成することにより合成座標移動ベクトルを生成するステップとを有し、
   前記複数の座標演算手段は順次接続され、前記複数の座標演算手段のうち第２段以降の座標演算手段には、前段の座標演算手段から出力された幾何変形後座標が前記画像の画素の座標として入力されることを特徴とする画像処理方法。
9. コンピュータを画像の幾何変形を行う画像処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   入力される前記画像の画素の座標と幾何変形パラメータとから、それぞれ異なる幾何変形による座標演算により、幾何変形後座標と座標移動ベクトルとを算出する複数の座標演算手段と、
   前記複数の座標演算手段のそれぞれに、対応する幾何変形のための前記幾何変形パラメータを出力する幾何変形量制御手段と、
   前記複数の座標演算手段が演算した座標移動ベクトルを一括して合成することにより合成座標移動ベクトルを生成するベクトル合成手段として機能させ、
   前記複数の座標演算手段は順次接続され、前記複数の座標演算手段のうち第２段以降の座標演算手段には前段の座標演算手段から出力された幾何変形後座標が前記画像の画素の座標として入力されることを特徴とするプログラム。

Images