JP2009146099A - 画像変換装置 - Google Patents

Abstract

【課題】画像変換装置において、画像を変換する際に必要となる画素の補間の方法として、補間対象の画素の近傍にある特定の一画素の画素値を流用して補間する最近傍補間があるが、処理の結果得られた中心射影画像の被写体の輪郭（エッジ）が不自然なものとなる場合がある。
本発明の目的は、高速に、被写体の輪郭（エッジ）を滑らかにすることのできる画像変換装置を提供することにある
【解決手段】画像変換装置は、補間対象の画素ごとに補間元の画素を特定する情報を格納したメモリと、補間元の画素に対して行う重み付けの重みデータを格納したメモリと、制御回路と、乗算器と、加算器とを備え、制御回路は、補間元の画素を取得して乗算器に出力し、乗算器は重みを乗算することにより画素に重みをつけて加算器に出力し、加算器は重みをつけた出力を加算して補間する画素値を算出する。
【選択図】 図１

Description

本発明は、画像変換装置に関する。

従来、画像変換装置において、等距離射影画像に対して中心射影画像へ変換するために、特許文献１に示すような画像の変換方法が用いられていた。

特開２００７−１５６７９５号公報

しかし、上記の変換方法では、画素を補間する方法として、補間対象の画素の近傍にある特定の一画素の画素値を流用して補間する最近傍補間により補間を実現したため、処理の結果得られた中心射影画像の被写体の輪郭（エッジ）が不自然なものとなる場合がある。

本発明の目的は、被写体の輪郭（エッジ）が滑らかになる画像変換装置を提供することにある。

上記課題を解決するための第１の手段は、第一の画像を第二の画像に変換する画像変換装置であって、前記第一の画像を記憶する第一の記憶部と、前記第二の画像の所定の画素の位置を示す座標値と、前記所定の画素の画素値を得るために必要な前記第一の画像の複数の画素の位置をそれぞれ示す変換元座標値と、を予め対応付けて記憶した第二の記憶部と、前記第二の記憶部に記憶された前記変換元座標値のそれぞれに対応する重みデータを予め記憶した第三の記憶部と、前記変換元座標値により示される前記第一の画像の画素値と、前記変換元座標値に対応する前記重みデータと、に基づいて前記第二の画像の画素値を算出して前記第一の画像から前記第二の画像への画像変換を行う制御部と、を備える、ことを特徴とする。

第２の手段は、第１の手段の画像変換装置において、前記第二の記憶部に記憶された前記変換元座標値は、前記第一の画像の所定の画素を示す４つの座標の座標値であり、前記重みデータは、前記第二の画像の所定の画素に相当する位置と前記第一の画像の所定の変換元座標に相当する位置との各距離に応じて決定されて前記第三の記憶部に記憶される、ことを特徴とする。

第３の手段は、第１の手段または第２の手段の画像変換装置であって、前記第一の画像は、等距離射影画像であって、前記第二の画像は、中心射影画像である、ことを特徴とする。

第４の手段は、第１の手段、第２の手段または第３の手段の画像変換装置において、前記重みデータは、シェーディング補正のための所定の係数を含んで前記第三の記憶部に記憶される、ことを特徴とする。

以上のように、本発明によれば、被写体の輪郭が滑らかとなる画像変換装置を提供することができる。

本発明の実施形態について、図１〜図５を用いて説明する。

図１は、本発明にかかる画像変換装置の回路１０を表す図である。

図示するように、本実施形態の回路１０は、魚眼レンズ１と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）センサ２と、デュアルポートＲＡＭ（Dual Port Random Access Memory）３と、書き込み制御回路４と、読み出し制御回路５と、参照座標テーブル用メモリ６と、重みテーブル用メモリ７と、乗算器８と、加算器９と、を有する。

デュアルポートＲＡＭ３は、読み出しと書き込みを全二重で行う事ができ、書き込み制御回路４は、そのデュアルポートＲＡＭ３へ書き込みを行うタイミング等を制御する。読み出し制御回路５は、デュアルポートＲＡＭ３から読み出しを行うタイミング等を制御する。

参照座標テーブル用メモリ６は、参照座標テーブルデータを格納するメモリ（例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory））であり、読み出し制御回路５より参照される。重みテーブル用メモリ７は、読み出した画像の画素データに重み付けを行うための重みデータを格納するメモリ（例えば、ＳＤＲＡＭ）である。

乗算器８は、重みテーブル用メモリ７から得た重みデータとデュアルポートＲＡＭ３から得た画像の画素データをもとに乗算を行い、加算器９は、乗算器８からの出力を入力として受け取り加算を行う。

なお、魚眼レンズ１は、広角レンズ等の他のレンズであってもよいし、ＣＭＯＳセンサ２は、ＣＣＤ（Charge Coupled Device：電荷結合素子）等の撮像素子であってもよい。

図２は、本実施形態の参照座標テーブル用メモリ６に格納される参照座標テーブル６０のデータ構造を示す図である。

参照座標テーブル６０は、対象座標欄６１と、参照座標Ａ欄６２と、参照座標Ｂ欄６３と、参照座標Ｃ欄６４と、参照座標Ｄ欄６５と、を有する。

参照座標テーブル６０に記憶されるレコードは、予めカメラに施されたキャリブレーション（校正）に基づき決定され、予め記憶される。

ここで、参照座標テーブル６０に記憶されるレコードの対象座標欄６１には、画像変換により得られる画像（変換後画像）の各画素位置を二次元座標で示す値が記憶され、参照座標Ａ欄６２には、その変換後画像の各画素位置の画素を得るための基となる画素データが格納された画素の座標、即ち変換前の画像の所定の画素の座標が記憶される。

同様に、参照座標Ｂ欄６３、参照座標Ｃ欄６４、参照座標Ｄ欄６５についても、同様に変換前の画像の特定の画素点の画素データが格納された画素の座標が記憶される。

例えば、図２の参照座標テーブル６０の一行目には、対象座標欄６１に「ｏｘ,ｏｙ」の値、参照座標Ａ欄６２には「ｉｘ,ｉｙ」の値、参照座標Ｂ欄６３には「ｉｘ＋１,ｉｙ」の値、参照座標Ｃ欄６４には「ｉｘ,ｉｙ＋１」の値、参照座標Ｄ欄６５には「ｉｘ＋１,ｉｙ＋１」の値、がそれぞれ記憶されている。

ここで、「ｏｘ」は、変換後画像のある画素の位置の水平座標を示したものであり、「ｏｙ」は、変換後座標のある画素の位置の垂直座標を示す。すなわち、「ｏｘ,ｏｙ」は、変換後画像のある画素の位置を示し、その画素の位置は、水平座標がｏｘであり、垂直座標がｏｙである、という画素の位置を示す。

なお、参照座標Ａ欄の「ｉｘ,ｉｙ」という値は、変換前画像の「ｉｘ,ｉｙ」の座標を、参照座標Ｂ欄の「ｉｘ＋１,ｉｙ」という値は、変換前画像の「ｉｘ＋１,ｉｙ」の座標を、参照座標Ｃ欄の「ｉｘ,ｉｙ＋１」という値は、変換前画像の「ｉｘ,ｉｙ＋１」の座標を、参照座標Ｄ欄の「ｉｘ＋１,ｉｙ＋１」という値は、変換前画像の「ｉｘ＋１,ｉｙ＋１」の座標を、それぞれ示すものである。もちろん、参照座標テーブル６０の別の行の場合、参照座標Ａ欄６２、参照座標Ｂ欄６３、参照座標Ｃ欄６４、参照座標Ｄ欄６５、には、それぞれ、「ｉｘ,ｉｙ」，「ｉｘ＋１,ｉｙ」，「ｉｘ,ｉｙ＋１」，「ｉｘ＋１,ｉｙ＋１」の座標以外にも、上記のキャリブレーションにより得られた最適な座標が記憶される。

ここで、「ｉｘ,ｉｙ」の座標により示される位置は、変換前の画像のある画素の位置の水平座標がｉｘであり、垂直座標がｉｙである画素の位置である。「ｉｘ＋１,ｉｙ」の値は、変換前の画像の画素であってその位置の水平座標がｉｘ＋１であり、垂直座標がｉｙである画素、の位置である。「ｉｘ,ｉｙ＋１」の値は、変換前の画像の画素であってその位置の水平座標がｉｘであり、垂直座標がｉｙ＋１である画素、の位置である。「ｉｘ＋１,ｉｙ＋１」の値は、変換前の画像の画素であってその位置の水平座標がｉｘ＋１であり、垂直座標がｉｙ＋１である画素、の位置である。

図３は、本実施形態の重みテーブル用メモリ７に格納される重みテーブル７０のデータ構造を示す図である。

重みテーブル７０は、対象座標欄７１と、参照座標Ａの重み欄７２と、参照座標Ｂの重み欄７３と、参照座標Ｃの重み欄７４と、参照座標Ｄの重み欄７５と、を有する。重みテーブル７０に記憶されるレコードは、予めカメラに施されたキャリブレーション（校正）に基づき決定され、記憶される。

ここで、重みテーブル７０に記憶されるレコードの対象座標欄７１には、画像変換により得られる画像（変換後画像）の各画素の位置を二次元の座標系で示す値が記憶され、参照座標Ａの重み欄７２の欄には、その変換後画像の画素を得る基となる画素値に乗算する重みの値（例えば、０．０〜１．０までの小数）が記憶される。

同様に、参照座標Ｂの重み欄７３、参照座標Ｃの重み欄７４、参照座標Ｄの重み欄７５の各欄についても、同様に変換後画像の画素を得る基となる画素値に乗算する重みの値が記憶される。

重みの値は、変換前の画像上での変換後画像の画素の位置に相当する位置から変換後画像の画素を得る基となる４点の参照座標Ａ、参照座標Ｂ、参照座標Ｃ、参照座標Ｄ、への距離の比率により定まる。

例えば、図３の重みテーブル７０の一行目には、対象座標欄７１に「ｏｘ，ｏｙ」、参照座標Ａの重み欄７２には「１．０」、参照座標Ｂの重み欄７３には「０」、参照座標Ｃの重み欄７４には「０」、参照座標Ｄの重み欄７５には「０」、がそれぞれ記憶されている。

ここで、「ｏｘ」は、変換後画像のある画素の位置の水平座標を示し、「ｏｙ」は、変換後画像のある画素の位置の垂直座標を示す。「ｏｘ,ｏｙ」は、変換後画像のうちのある画素であって、その位置は水平座標がｏｘであり、垂直座標がｏｙである画素の位置を示す。

ラスタスキャンの順番で出力させる場合には、参照座標データや重みデータをメモリに連続して記憶してもよい。すなわち、図２の参照座標テーブル６０の対象座標欄６１と、図３の重みテーブル７０の対象座標欄７１と、を省略したものとしてもよい。ラスタスキャンにおいては、変換後の画素の位置は、予め想定した連続した順番で出力される。そのため、対象座標欄６１と対象座標欄７１と、をメモリに記憶しなくても画素変換が可能である。

ここで、一般に、最近傍の４つの画素をもとに線形補間を行う場合に算出する補間対象の画素の画素値は、最近傍の４つの画素を頂点とする四角形の横辺の横成分の相対距離と、縦成分の相対距離と、を用いて、４つの画素それぞれの重みを算出することができる。

そして、その重みを最近傍の対応する４つの画素それぞれに乗算し、得られた結果を加算することで、補間対象の画素の画素値を得ることが可能である。

すなわち、座標（ｍ，ｎ）の画素値をｇ（ｍ，ｎ）、横成分の相対距離をｐｘ、縦成分の相対距離をｑｙとすると、下記の式（１）であることが知られている。

ｇ（ｏｘ＋１，ｏｙ＋１）＝ｇ（ｉｘ，ｉｙ）×（１−ｐｘ）×（１−ｑｙ）＋
ｇ（ｉｘ＋１，ｉｙ）×ｐｘ×（１−ｑｙ）＋
ｇ（ｉｘ，ｉｙ＋１）×（１−ｐｘ）×ｑｙ＋
ｇ（ｉｘ＋１，ｉｙ＋１）×ｐｘ×ｑｙ
ただし、０≦ｐｘ，ｑｙ≦１・・・・・・・・・・・・・・・式（１）
本実施形態では、上記の式（１）を再現するために、キャリブレーションの際に、重みテーブル７０のレコードは、それぞれ、参照座標Ａの重み欄７２の値、参照座標Ｂの重み欄７３の値、参照座標Ｃの重み欄７４の値、参照座標Ｄの重み欄７５の値を合計すると１．０となるように、また変換前の画像上での変換後画像の画素の位置に相当する位置と、の距離の比をもとに重みの値を設定するものとする。

なお、重みテーブル７０に記憶される重みのデータは、さらに、濃度（照明）ムラのある画像からムラを除く処理であるシェーディング補正などに用いる補正値を含めて決定されるものであってもよい。この場合には、上記の重みの合計は１．０とはならない場合もある。

具体的には、魚眼レンズ１の周辺部分を透過する光量の不足を補うために、周辺部分が明るくなるように補正係数を乗算して重みデータを設定してもよい。

書き込み制御回路４は、ラスタスキャンと同様の方式により、魚眼レンズ１を通じてＣＭＯＳセンサ２に結像した像の画素値を順に取得し、バッファであるデュアルポートＲＡＭ３に取得した画素値を書き込む制御回路である。

すなわち、ＣＭＯＳセンサ２に結像した画像の左端から右端に向かって水平にスキャンし、それを上端から下端まで繰り返すことで画素値を取得し、バッファに順に書き込む。

読み出し制御回路５は、デュアルポートＲＡＭ３のリードイネーブル信号の立ち上がりを検出すると、出力されるデータにより形成される画像の画像データがラスタスキャンにより表示されるように、デュアルポートＲＡＭ３に記憶された画素値を順に読み出す。

すなわち、バッファに記憶された順に従って画素値を読み出すことで画素値を取得する。

図４は、本実施形態の回路１０のタイミングチャートである。

本実施形態の回路１０は、デュアルポートＲＡＭ３のライト用クロックとして、ＣＭＯＳセンサ２駆動用のクロックを使用し、デュアルポートＲＡＭ３のリード用クロックとして、ライト用クロックと同期するライト用クロックの４倍の周波数のクロックを用いる。

即ち、書き込みの４倍の速度で読み出しを行うことができるものとする。

まず、ライト用クロックに同期して、書き込み制御回路４は、ＣＭＯＳセンサ２に結像した画像の画素値をラスタスキャンの方式にて画像の左上から右下に向かって取得し、デュアルポートＲＡＭ３に対して、スキャンした順に書き込む。

具体的には、図４のデュアルポートＲＡＭのライトアドレス１，２，・・・，Ｗｎ，Ｗｎ＋１,Ｗｎ＋２，・・・の順にアクセスし、それぞれにＣＭＯＳセンサ２に結像した画像の画像値であるＤ１，Ｄ２，・・・Ｄｉｎ，Ｄｉｎ＋１，Ｄｉｎ＋２，・・・を書き込む。

そして、所定のデータ量を記憶すると、（例えば、アドレスＷｎに画像データＤｉｎを記憶すると、）デュアルポートＲＡＭ３のリードイネーブル信号を立ち上げる。

リードイネーブル信号の立ち上げを検知すると、読み出し制御回路５は、デュアルポートＲＡＭ３の読み出しを開始する。

読み出し制御回路５は、参照座標テーブル用メモリ６から参照座標テーブル６０のレコードを順に読み出す。

そして、読み出し制御回路５は、読み出した参照座標テーブル６０のレコードごとに、参照座標Ａ欄６２，参照座標Ｂ欄６３，参照座標Ｃ欄６４，参照座標Ｄ欄６５，のそれぞれの座標に該当するデュアルポートＲＡＭ３のメモリアドレス（例えば、Ｒａ１，Ｒｂ１，Ｒｃ１，Ｒｄ１）を順に演算して求める。

参照座標Ａ欄６２，参照座標Ｂ欄６３，参照座標Ｃ欄６４，参照座標Ｄ欄６５，のそれぞれの座標に該当するデュアルポートＲＡＭ３のメモリアドレスを求める演算方法として、それぞれの座標を示す水平位置の座標と垂直位置の座標と、を用いて、一次元のアドレス空間で管理されるデュアルポートＲＡＭ３のメモリアドレスを特定する。

具体的には、それぞれの座標を示す二次元の座標値を（ａ，ｂ）とし、ＣＭＯＳセンサ２に結像した画像の水平方向の幅をＷとすると、下記の式（２）によって算出する。

デュアルポートＲＡＭ３のアドレス＝Ｗ×ｂ＋ａ・・・式（２）
そして、デュアルポートＲＡＭ３の該当するメモリアドレスに記憶されている画素データ（例えば、Ｄａ１，Ｄｂ１，Ｄｃ１，Ｄｄ１）を読み出し、読み出した順に乗算器８に送信する。

次に、乗算器８は、重みテーブル用メモリ７から重みテーブル７０のレコードを順に読み出す。

そして、乗算器８は、読み出した重みテーブル７０のレコードごとに、参照座標Ａの重み欄７２，参照座標Ｂの重み欄７３，参照座標Ｃの重み欄７４，参照座標Ｄの重み欄７５，のそれぞれに記憶された重み（例えば、１．０，０，０，０）を順に取得して、読み出し制御回路５から受信した画素データ（例えば、Ｄａ１，Ｄｂ１，Ｄｃ１，Ｄｄ１）とそれぞれ乗算する。

具体的には、乗算器８は、読み出した重みをそれぞれＷａ１，Ｗｂ１，Ｗｃ１，Ｗｄ１、とすると、Ｗａ１とＤａ１の乗算結果をＭａ１として、Ｗｂ１とＤｂ１との乗算結果をＭｂ１として、Ｗｃ１とＤｃ１との乗算結果をＭｃ１として、Ｗｄ１とＤｄ１との乗算結果をＭｄ１として出力する。

次に、乗算器８の出力を受け取った加算器９は、取得した乗算結果であるＭａ１と、Ｍｂ１と、Ｍｃ１と、Ｍｄ１と、を加算して、加算した結果をＤｏ１として出力する。

そして、乗算器８は、同様に、重みテーブル７０から読み出した次のレコードの重み（それぞれ、Ｗａ２，Ｗｂ２，Ｗｃ２，Ｗｄ２）と、読み出し制御回路５から受信した次の画素データ（例えば、Ｄａ２，Ｄｂ２，Ｄｃ２，Ｄｄ２）とを乗算し、加算器９は乗算結果を加算してＤｏ２を出力し、同様にＤｏ３，Ｄｏ４，・・・についても入力が無くなるまで演算を続け、演算結果を出力する。

例えば、図５に示すように、ＣＭＯＳセンサ２に結像した画像データが変換前画像であるような場合に、点Ｐ（ｉｘ,ｉｙ），点Ｑ（ｉｘ＋１,ｉｙ），点Ｒ（ｉｘ,ｉｙ＋１），点Ｓ（ｉｘ＋１,ｉｙ＋１）の画素データがそれぞれ変換後画像の点Ｐ’（ｏｘ,ｏｙ），点Ｑ’（ｏｘ＋２,ｏｙ），点Ｒ’（ｏｘ,ｏｙ＋２），点Ｓ’（ｏｘ＋２,ｏｙ＋２）へと変換される場合を例に挙げる。

点Ｐ’と点Ｑ’の間にある画素である対象Ｖ（ｏｘ＋１,ｏｙ）と、点Ｐ’と点Ｒ’の間にある画素である対象Ｗ（ｏｘ,ｏｙ＋１）と、点Ｐ’と点Ｑ’と点Ｒ’と点Ｓ’の間にある画素である対象Ｘ（ｏｘ＋１,ｏｙ＋１）と、点Ｑ’と点Ｓ’の間にある画素である対象Ｙ（ｏｘ＋２,ｏｙ＋１）と、点Ｒ’と点Ｓ’の間にある画素である対象Ｚ（ｏｘ＋１,ｏｙ＋２）と、についての画素値を補間により得る必要がある。

本実施形態によると、対象Ｖ，Ｗ，Ｘは、点Ｐ、点Ｑ、点Ｒ、点Ｓの画素値をもとに、点Ｐ、点Ｑ、点Ｒ、点Ｓと各対象Ｖ，Ｗ，Ｘとの距離の比を予めｐｘ、ｑｙとして重みを付けて加算することで補間することができる。対象Ｙについては、点Ｑ、点Ｓ、とそれぞれの右隣の点（図示せず）の４点の画素値をもとに重みをつけて加算することで得ることができる。対象Ｚについては、点Ｒ、点Ｓ、とそれぞれの下接の点（図示せず）の４点の画素値をもとに重みをつけて加算することで得ることができる。

つまり、本実施形態により、ソフトウェアによる画像変換ではなく、ハードウェアによる画像変換を安価に構成することができるようになり、また、その画像変換においては、周囲の画素の情報をもとに滑らかな画素を補間することのできる線形補間を実現できる。

以上が、本願の実施形態としての画像変換装置の回路１０である。

このような画像変換装置の回路１０を組み込むことで、広角の撮像装置、歪みのない写真を簡単に得ることができる広角のデジタルカメラなどを実現することができる。

また、本願の実施形態としての画像変換装置の回路１０では、デュアルポートＲＡＭへの書き込みに対して、数ラインから数十ライン程度遅れるが、同速度で画像変換を行うことができるため、変換後の画像を得るまでの遅延を少なくすることができる。つまり、連続写真撮影などの高速な撮像の際にも、画像変換処理による遅延なしにバッファであるデュアルポートＲＡＭ３も記憶領域をオーバーフローさせることなく撮像することができる。

なお、乗算器８、加算器９は、上記の実施形態のように独立した装置であってもよいし、読み出し制御回路５が同様の機能を備えるものであってもよい。

以上が、本発明の実施形態である。

本願発明の実施形態にかかる画像変換装置の回路図である。 本願発明の実施形態にかかる参照座標テーブルのデータ構造を示す図である。 本願発明の実施形態にかかる重みテーブルのデータ構造を示す図である。 本願発明の実施形態にかかる回路のタイミングチャートを示す図である。 本願発明の実施形態にかかる画像変換の例を示す図である。

符号の説明

１：魚眼レンズ、２：ＣＭＯＳセンサ、３：デュアルポートＲＡＭ、４：書き込み制御回路、５：読み出し制御回路、６：参照座標テーブル用メモリ、７：重みテーブル用メモリ、８：乗算器、９：加算器、１０：画像変換装置の回路、６０：参照座標テーブル、７０：重みテーブル

Claims (4)

1. 第一の画像を第二の画像に変換する画像変換装置であって、
   前記第一の画像を記憶する第一の記憶部と、
   前記第二の画像の所定の画素の位置を示す座標値と、前記所定の画素の画素値を得るために必要な前記第一の画像の複数の画素の位置をそれぞれ示す変換元座標値と、を予め対応付けて記憶した第二の記憶部と、
   前記第二の記憶部に記憶された前記変換元座標値のそれぞれに対応する重みデータを予め記憶した第三の記憶部と、
   前記変換元座標値により示される前記第一の画像の画素値と、前記変換元座標値に対応する前記重みデータと、に基づいて前記第二の画像の画素値を算出して前記第一の画像から前記第二の画像への画像変換を行う制御部と、
   を備える、
   ことを特徴とする画像変換装置。
2. 請求項１に記載の画像変換装置であって、
   前記第二の記憶部に記憶された前記変換元座標値は、前記第一の画像の所定の画素を示す４つの座標の座標値であり、
   前記重みデータは、前記第二の画像の所定の画素に相当する位置と前記第一の画像の所定の変換元座標に相当する位置との各距離に応じて決定されて前記第三の記憶部に記憶される、
   ことを特徴とする画像変換装置。
3. 請求項１または２に記載の画像変換装置であって、
   前記第一の画像は、等距離射影画像であって、前記第二の画像は、中心射影画像である、
   ことを特徴とする画像変換装置。
4. 請求項１〜３のいずれかに記載の画像変換装置であって、
   前記重みデータは、シェーディング補正のための所定の係数を含んで前記第三の記憶部に記憶される、
   ことを特徴とする画像変換装置。

Images