JP2005292080A - ステレオカメラの画像補正装置 - Google Patents

Abstract

【課題】 画質低下を抑えつつ、画像の光学的な位置ズレの補正に要する時間を短縮できるようにする。
【解決手段】 メモリ制御部２は、入力画像（右、左）の走査順序に従って連続する４つの画素に対応する補正データを外部メモリ２０から先読みし、演算部３は、補正対象の４つの画素に対して位置ズレの補正に必要な画像データがＲＡＭ２Ｒ、２Ｌ記憶された時点で補正開始を指示し、メモリ制御部２は、演算部３からの補正開始の指示を受けて、補正対象の画素毎の補正先頭整数画素位置の周辺４つの画素の画像データをＲＡＭ２Ｒ、２Ｌからまとめて読み込み、演算部３は、補正対象の画素毎の幾何変換輝度値ｄ（ｘ、ｙ）を算出する。
【選択図】 図１

Description

本発明は、車両の前方、後方、側方、及び車室内における距離計測、立体物抽出、アパレル関連の人体計測、ＦＡ関連の製造品寸法計測等に用いられるステレオカメラの画像補正装置に関するものである。

従来、ステレオカメラの撮像画像の光学的な位置ズレに対し、非線形な位置ズレの補正を可能にするステレオカメラの画像補正装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されているステレオカメラの画像補正装置によれば、垂直／水平方向の補正を行うデータ補完回路において、ステレオマッチングの走査方向に垂直な成分のみ１画素以下（１／８画素）の分解能でデータ補完を行い、水平方向は１画素単位でデータ補完を行う。

すなわち、ステレオマッチングを比較的画素数の少ない小領域で行う場合には、データ補完によって隣接する画素間の輝度差情報が多少なりとも失われること、処理時間を要すること等から、垂直な成分のみ１画素以下の分解能でデータ補完を行っている。
特開平１１−３２５８８９号公報

例えば、ステレオカメラによって広い範囲で距離を測定しようとする場合、カメラのレンズとして広角なもの（広角レンズ）を用いることがあるが、広角レンズは、そのレンズの歪みが大きいため、従来のように、データ補完における水平方向の分解能を低くすると、補正後の水平方向の画質が低下してしまうことが想定される。

本発明は、かかる問題を鑑みてなされたもので、画質低下を抑えつつ、画像の光学的な位置ズレの補正に要する時間を短縮することができるステレオカメラの画像補正装置を提供することを目的とする。

請求項１に記載のステレオカメラの画像補正装置は、ステレオカメラで撮影した画像の光学的な位置ズレを補正するステレオカメラの画像補正装置であって、予め画像の画素毎の光学的な位置ズレに応じて設定した、画像の水平、及び垂直方向について各々１画素以下の分解能で示される画像の画素毎の補正画素位置を含む補正データを格納する補正データ格納手段と、ステレオカメラで撮影した画像の画素毎の輝度値を示す画像データを記憶する画像データ記憶手段と、画像の走査順序に従って位置ズレの補正対象とする複数の画素を切り替えるとともに、補正対象の複数の画素に対する位置ズレの補正に必要な画像データが画像データ記憶手段に記憶された時点で、補正対象の複数の画素に対する位置ズレの補正開始を指示する補正開始指示手段と、補正開始指示手段から補正開始が指示される前に補正対象の複数の画素に対応する補正データを補正データ格納手段から読み込む補正データ読み込み手段と、補正データ読み込み手段の読み込んだ補正データから補正対象の画素毎の補正画素位置を参照し、補正開始指示手段からの補正開始の指示を受けて、補正対象の画素毎の補正画素位置周辺の画素の画像データを画像データ記憶手段からまとめて取得する画像データ取得手段と、補正対象の画素毎の補正画素位置、及び画像データ取得手段の取得した補正画素位置周辺の画素の画像データを用いて、補正対象の画素毎の補正画素位置における輝度値を補正画像データとして算出する算出手段と、補正対象の画素毎の補正画素位置における補正画像データを出力する出力手段を備えることを特徴とする。

このように、本発明のステレオカメラの画像補正装置は、画像の光学的な位置ズレの補正処理に要する時間の短縮を図るべく、以下の３つの特徴部分｛（１）補正データの先読み、（２）補正開始の早期化、（３）画像データのまとめ読み｝により、画像の水平、垂直方向ともに１画素以下の位置ズレの補正を行う場合であっても、その補正処理に要する時間の短縮を実現するものである。

（１）補正データの先読み
一般に、ステレオカメラの撮影した画像の画像データは、画像の走査順序に従って出力されるため、補正開始指示手段において、その走査順序に従って補正対象の画素を切り替えるようにすれば、補正データ読み込み手段は、補正開始指示手段から補正開始が指示される前に補正対象の画素に対応する補正データを補正データ格納手段から読み込む（先読みする）ことができる。これにより、補正開始指示手段から補正開始が指示されてから補正データを読み込むことがなくなるため、補正データの読み込みを前倒しすることができる。

（２）補正開始の早期化
ステレオカメラに使用するレンズの歪みの大きさやその方向等は既知であることから、補正対象の画素が決定すれば、その画素の位置ズレの補正の際に参照すべき画像データは予め特定できる。従って、補正開始指示手段から補正対象の複数の画素に対して位置ズレの補正に必要な画像データが画像データ記憶手段に記憶された時点で補正開始を指示することで、画像全体の画像データが記憶されるのを待たずに、位置ズレの補正開始を指示することができる。これにより、位置ズレの補正を速やかに開始することができる。

（３）画像データのまとめ読み
ステレオカメラの撮影した画像の画像データを記憶する画像データ記憶手段は、一般に、ＲＡＭ（Random Access Memory）等のメモリが用いられるが、ＲＡＭから画像データを読み込む場合、画像データを１つずつ読み込むよりも複数の画像データをまとめて読み込んだ方が、データの読み込みに要する時間を短縮することができる。従って、補正対象の画素を複数とし、その補正対象の画素毎の補正画素位置周辺の画像データをまとめて読み込むことで、データの読み込みに要する時間が短縮され、さらに、複数の画素の位置ズレをまとめて補正することができる。

このように、（１）補正データの読み込み、（２）補正開始の早期化、及び（３）画像データのまとめ読みを図ることによって、画質低下を抑えつつ、位置ズレの補正に要する時間を短縮することができる。

請求項２に記載のステレオカメラの画像補正装置によれば、補正データ格納手段は、画像の画素毎の補正整数画素位置、及び補正小数画素位置からなる補正画素位置を含む補正データを格納するものであって、算出手段は、補正対象の画素毎の補正整数画素位置を基準とした、少なくとも周辺４つの画素の画像データの輝度値と補正小数画素位置とを用いて線形補間を行うことで補正画像データを算出することを特徴とする。

このように、補正整数画素位置を基準とする少なくとも周辺４つの画素の輝度値と補正小数画素位置とを用いて線形補間を行って補正画素位置における輝度値を算出することで、位置ズレ補正後の画素の輝度値と周辺の画素の輝度値との差が小さくなるため、位置ズレ補正後の画像は輝度のバラツキが目立たない滑らかな画像となる。その結果、画像の垂直、水平方向ともに画質低下を抑えることができる。

請求項３に記載のステレオカメラの画像補正装置によれば、輝度データ取得手段は、前回までに取得した補正画素位置周辺の画素の画像データを一時的に記憶する一時記憶手段と、補正開始の指示を受けた場合、一時記憶手段に取得すべき画像データが記憶されているか否かを判定する判定手段とを備え、判定手段によって取得すべき画像データが記憶されていると判定された場合、一時記憶手段から取得すべき画像データを取得することを特徴とする。

例えば、一時記憶手段としてのレジスタ等に前回までに取得した補正画素位置周辺の画素の画像データを記憶しておき、この一時記憶手段に取得すべき画像データが記憶されている場合には、この一時記憶手段から画像データを取得することで、同じ画像データが繰り返し必要な場合に、画像データを格納するＲＡＭ等へアクセスしないようにすることができる。その結果、補正処理に要する時間を更に短縮することができる。

請求項４に記載のステレオカメラの画像補正装置によれば、出力手段は、ステレオカメラからの所定走査分の画像データの入力と同期して、所定走査分の補正画像データを出力することを特徴とする。これにより、位置ズレの補正処理をステレオカメラのフレームレートで実行することができる。

請求項５に記載のステレオカメラの画像補正装置によれば、補正データ格納手段は、補正データとして、画像の画素毎の補正画素位置における輝度補正値を割り当てて格納し、算出手段は、算出した輝度値を輝度補正値で補正する補正演算を行い、出力手段は、補正演算した結果を補正画像データとして出力することを特徴とする。

例えば、予めステレオカメラのレンズの差異や画素毎の輝度のバラツキから輝度補正値を求め、この輝度補正値を用いて算出手段の算出した輝度値を補正することで、画素毎の光学的な位置ズレと輝度補正を同時に行うことができる。

請求項６に記載のステレオカメラの画像補正装置によれば、補正データ読み込み手段は、ステレオカメラの画像補正装置の起動を基準として、補正データの読み込みを開始することを特徴とする。

上述したように、ステレオカメラの撮影した画像の画像データは、画像の走査順序に従って出力され、また、その出力タイミングも所定時間間隔であるため、ステレオカメラの画像補正装置を基準として補正データの読み込みを開始し、その後、所定時間間隔で補正データの読み込みを繰り返し行うことができる。

以下、本発明のステレオカメラの画像補正装置の実施形態について、図面を参照して説明する。図１に、本実施形態における画像補正装置の全体構成を示す。同図に示すように、本実施形態の画像補正装置１００は、ステレオカメラの撮影した画像の光学的な位置ズレ、及び輝度のバラツキの補正を同時に行うＡＳＩＣ１０と、外部メモリ２０によって構成される。

図示しないステレオカメラは、例えば、電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵した左右２台のカメラからなるもので、この左右のカメラによって所定のフレームレートで撮影されたアナログ画像をデジタル画像に変換したうえでＡＳＩＣ１０への入力画像（右、左）として出力する。

この左右のカメラは、製造段階で互いの光軸が平行となるように機械的に調整されたうえでカメラステイに固定されるものであるが、左右のカメラで撮影された入力画像（右、左）には、機械的な組み立て精度の限界、レンズの焦点距離のバラツキ、レンズ歪みの影響、イメージセンサの受光面のあおりによる画像内の拡大縮小率の相違等によって光学的に非線形の位置ズレが少なからず存在し、必ずしも後述する対応点探索処理部４にて実行される対応点探索処理に最適な入力画像が得られるものではない。

このため、画像補正装置１００では、各カメラの光学的な位置ズレ、及び輝度のバラツキを画素毎に補正して、対応点探索処理部４において実行される対応点探索処理に最適な画像データが得られるようにする。

ＡＳＩＣ１０は、特定用途向け集積回路（Application Specific Integrated Circuit）であり、入力Ｉ／Ｆ１、ＲＡＭ２Ｒ、２Ｌ、演算部３、対応探索処理部４を機能構成として有するものである。

入力Ｉ／Ｆ１は、左右のカメラからの入力画像（右、左）を入力し、各々のカメラに対応するＲＡＭ２Ｒ、２Ｌへ入力画像（右、左）の画素毎の輝度値を示す画像データを記憶する。なお、画像データは、入力画像（右、左）の走査順序に従って左右のカメラから出力され、ＲＡＭ２Ｒ、２Ｌは、この走査順序に従って画像データを記憶する。

メモリ制御部２は、ＲＡＭ２Ｒ、２Ｌを備えており、入力Ｉ／Ｆ１からの画像データを入力してＲＡＭ２Ｒ、２Ｌに記憶したり、演算部３に対して演算に必要なデータを出力したり、さらに、外部メモリ２０から補正データを読み込んだりする。

ＲＡＭ２Ｒ、２Ｌは、ＲＡＭ（Random Access Memory）等のメモリが用いられ、入力画像の１画面に満たない所定画素数の画像データのみ各々記憶することができる。そのため、ＲＡＭ２Ｒ、２Ｌは、走査順序に従って先頭アドレスから下位アドレスに向かって画像データを記憶し、所定画素数の画像データが記憶された場合には、先頭アドレスから画像データを上書きして記憶する（いわゆるリングバッファとして利用される。）。

演算部３は、メモリ制御部２から出力される各種データを用いて、左右のカメラの光学的な位置ズレ、及び輝度のバラツキを画素毎に補正する補正処理を行い、この補正処理によって補正された画像データを対応点探索処理部４へ出力する。

対応点探索処理部４は、補正処理の施された画像データを用いて、左右の各カメラによって撮影された画像における同一物体が最も良く一致する画素のズレ量を求め、この最も良く一致したときの画素のズレ量を示す視差データを出力する。

外部メモリ２０は、左右のカメラの撮影した画像の光学的な位置ズレ、及び輝度のバラツキを補正する際に用いる補正データを格納するもので、左右のカメラで予め形状が既知であるテスト用パターンを撮影し、この撮影した画像から光学系の歪みによる位置ズレ、及び左右のカメラの輝度のバラツキを計算し、この計算結果から、各カメラの画素毎の補正画素位置、及び輝度補正係数からなる補正データを示す補正テーブルを作成し、外部メモリ２０に格納する。

この補正データは、図２に示すように、左右の各カメラの各画素（Ｘ、Ｙ）毎の補正先頭整数画素位置（Ｃｘ、Ｃｙ）、補正小数画素位置（Δｘ、Δｙ）、及び輝度補正係数（ｗ）からなるｍビットのビット列で示される（Ｃｘ：水平方向の画素位置、Ｃｙ：垂直方向の画素位置）。なお、補正小数画素位置（Δｘ、Δｙ）は、各々３ビット（１／８画素）で表現されるものであり、また、輝度補正係数（ｗ）は、予めステレオカメラのレンズの差異や画素毎の輝度のバラツキから求められるものである。

このような構成を有する本実施形態の画像補正装置１００は、左右の各カメラで撮影した画像の水平、及び垂直の各々の方向について１画素以下の分解能で位置ズレの補正を行う場合であっても、その補正処理に要する時間の短縮を図ることで、左右の各カメラのフレームレートでの補正処理を可能にしたものである。

次に、本実施形態の画像補正装置１００の特徴部分について、図３に示すタイミングチャートを用いながら、画像補正装置１００の動作順序に沿って説明する。なお、本実施形態の画像補正装置１００は、左右のカメラからの入力画像の走査順序に従って補正対象の画素を切り替えながら、画素毎の光学的な位置ズレ、及び輝度のバラツキの補正を行うものである。

先ず、画像補正装置１００に電源が投入され起動すると、左右のカメラによる撮影が開始され、これに伴って、撮影された画像の出力も開始される。メモリ制御部では、画像の走査順序に従って、左右のカメラからの画像データを先頭アドレスからＲＡＭ２Ｒ、２Ｌへ記憶するとともに、本実施形態では、画像補正装置１００の起動直後に補正対象の複数（例えば、４つ）の画素｛（Ｘ、Ｙ）、（Ｘ＋１、Ｙ）、（Ｘ＋２、Ｙ）、（Ｘ＋３、Ｙ）｝に対応する補正データの読み込みを開始する｛（１）補正データの先読み。｝。

すなわち、前述したように、左右のカメラからの画像は、画像の走査順序に従って出力され、また、出力タイミングも所定時間間隔であるため、画像の走査順序に従って補正対象の画素を切り替え、かつ、画像補正装置１００の起動を基準として補正データの読み込みを開始し、その後、所定時間間隔で補正データの読み込みを繰り返し行うことで、メモリ制御部では、補正対象の画素の補正を開始する前に補正対象の画素に対応する補正データを外部メモリから読み込む（先読みする）ことができる。

従って、図３に示すように、メモリ制御部では、画像補正装置１００の電源投入直後に画像の走査順序に従って連続する４つの画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）を補正対象の画素として指定し、この画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）に対応する補正データを外部メモリから予め読み込んでおく。これにより、補正データの読み込みを前倒しすることができる。なお、読み込んだ補正データは、ＡＳＩＣの１０のレジスタ（図示せず）に記憶しておく。

次に、演算部では、補正対象の画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）を補正するのに必要な画像データがＲＡＭ２Ｒ、２Ｌに記憶された時点で、メモリ制御部に対して、補正処理の開始を指示する処理開始の信号を出力する｛（２）補正開始の早期化。｝。

すなわち、ステレオカメラに使用するレンズの歪みの大きさやその方向等は既知であることから、補正対象の画素が決定すれば、その補正対象の画素を補正する際に参照すべき画像データは予め特定できる。

従って、図３に示すように、演算部３では、補正対象の４つの画素の補正に必要な画像データがＲＡＭ２Ｒ、２Ｌに記憶された時点で、補正対象の４つの画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）に対する補正開始（処理開始）をメモリ制御部に指示することで、画像全体の画像データがＲＡＭ２Ｒ、２Ｌに記憶されるのを待たずに、補正を開始することができる。これにより、補正処理を速やかに開始することができる。

なお、ＲＡＭ２Ｒ、２Ｌは、ＡＳＩＣ１０のクロック（ＣＬＫ）に同期して画像データを画像の走査順序に従って記憶するため、演算部では、ＣＬＫをカウントして、補正に必要な画像データがＲＡＭ２Ｒ、２Ｌに記憶されたか否かを判断する。

メモリ制御部では、演算部から処理開始の信号を受けると、演算部に対して確認信号（ＡＣＫ）を送信するとともに、予め読み込んでレジスタに記憶した補正対象の４つの画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）毎の補正先頭整数画素位置の周辺４つの画素の輝度値を含む画像データ（Ｐ１１〜Ｐ４１、Ｐ１２〜Ｐ４２、Ｐ１３〜Ｐ４３、Ｐ１４〜Ｐ４４）をＲＡＭ２Ｒ、２Ｌからまとめて読み込む｛（３）画像データのまとめ読み。｝。

すなわち、前述のように、ＲＡＭ２Ｒ、２Ｌには、ＲＡＭ等のメモリが用いられるが、ＲＡＭから画像データを読み込む場合、画像データを１つずつ読み込むよりも複数の画像データをまとめて読み込んだ方が、データの読み込みに要する時間を短縮することができる。

従って、図３に示すように、補正対象の画素を４つ（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）とし、その補正対象の画素毎の補正先頭画素位置の周辺（例えば、画素１〜画素４の４つの画素）の画像データ（Ｐ１１〜Ｐ４１、Ｐ１２〜Ｐ４２、Ｐ１３〜Ｐ４３、Ｐ１４〜Ｐ４４）をまとめて読み込むことで、データの読み込みに要する時間が短縮され、さらに、複数の画素の位置ズレをまとめて補正することができる。

メモリ制御部は、まとめ読みした画像データ、補正対象の４つの画素毎の小数画素位置、及び輝度補正係数を演算部へ出力する。なお、これらデータを出力するときには、ＯＥ（Output Enable）をＨ（High）レベルに変更し、出力終了と同時にＬ（Low）レベルに変更する。また、このまとめ読みした画像データ（Ｐ１１〜Ｐ４１、Ｐ１２〜Ｐ４２、Ｐ１３〜Ｐ４３、Ｐ１４〜Ｐ４４）をレジスタに記憶しておく。

次に、演算部では、メモリ制御部からのデータを入力し、ＯＥがＬレベルに変更されたのを受けて、補正対象の画素毎の位置ズレ、及び輝度のバラツキを同時に補正する演算を行う。この補正処理における計算方法について、図２を用いて説明する。

図２の画素（ｘ、ｙ）は、補正テーブルにおける画素（Ｘ、Ｙ）の補正画素位置を示しており、この補正処理では、画素（ｘ、ｙ）における幾何変換輝度値ｄ（ｘ、ｙ）を線形補間により求めるものである。例えば、画素（Ｘ、Ｙ）を補正対象の画素とする場合、その画素（Ｘ、Ｙ）に対応する補正先頭整数画素位置（Ｃｘ、Ｃｙ）を基準とする周辺４画素（Ｐ１１〜Ｐ４１）の輝度値（Ｖ１〜Ｖ４）、補正小数画素位置（Δｘ、Δｙ）、及び輝度補正係数（ｗ）を用いて、補正画素位置（Ｃｘ＋Δｘ、Ｃｙ＋Δｙ）における幾何変換輝度値ｄ（ｘ、ｙ）を線形補間して求める。具体的には、以下の数式１〜３に示す幾何学的な演算を行うことにより幾何変換輝度値ｄ（ｘ、ｙ）が算出される。

（数１）
Ｐ１＝｛（１−Δｘ）×Ｖ１｝＋（Δｘ×Ｖ２）
（数２）
Ｐ２＝｛（１−Δｘ）×Ｖ３｝＋（Δｘ×Ｖ４）
（数３）
幾何変換輝度値ｄ（ｘ、ｙ）＝［｛（１−Δｙ）×Ｐ１｝＋（Δｙ×Ｐ２）］×ｗ
このように、本実施形態では、補正先頭整数画素位置（Ｃｘ、Ｃｙ）を基準とする周辺４画素（Ｐ１１〜Ｐ４１）の輝度値（Ｖ１〜Ｖ４）と補正小数画素位置（Δｘ、Δｙ）とを用いて線形補間を行って補正画素位置（Ｃｘ＋Δｘ、Ｃｙ＋Δｙ）における幾何変換輝度値ｄ（ｘ、ｙ）を算出することで、画像の水平、及び垂直方向ともに（１／８）画素の分解能で画素毎の位置ズレの補正を行っている。

これにより、補正後の画素の輝度値と周辺の画素の輝度値との差が小さくなるため、補正後の画像は輝度のバラツキが目立たない滑らかな画像となる。その結果、画像の垂直、水平方向ともに画質低下を抑えることができる。また、幾何変換輝度値ｄ（ｘ、ｙ）は、予め求めた輝度補正係数（ｗ）を乗じて算出するため、（１／８）画素の分解能での位置ズレと画素単位での輝度のバラツキの補正を同時に行うことができる。

演算部では、補正対象の４つの画素に対する幾何変換輝度値ｄ１（ｘ、ｙ）〜ｄ４（ｘ、ｙ）を算出すると、画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）の各々に補正後の輝度値ｄ１（ｘ、ｙ）〜ｄ４（ｘ、ｙ）を割り当てた４画素分の補正画像データを対応点探索処理部４へ出力する。なお、この出力の際には、メモリ制御部に対して出力中である旨を示す処理結果信号のレベルをＨレベルに変更し、出力終了と同時にＬレベルに変更する。

メモリ制御部では、演算部からの処理結果信号のレベルがＨレベルからＬレベルに変更されたのを受けて、演算部に対してＡＣＫを送信する。メモリ制御部では、このＡＣＫを送信すると、次の補正対象の４画素の補正データの読み込みを開始し、以後、上述した動作を繰り返し行って、画像全体の光学的な位置ズレと輝度のバラツキを補正した画像データを対応点探索処理部４へ出力する。

なお、演算部では、左右のカメラからの所定走査分の画像データの入力と同期して、所定走査分の補正画像データを出力する。これにより、補正処理を左右のカメラのフレームレートで実行することができる。

以後、上述した動作を繰り返し行う場合、メモリ制御部は、補正対象の４つの画素（Ｘ、Ｙ）〜（Ｘ＋３、Ｙ）毎の補正先頭整数画素位置の周辺４つの画素の輝度値を含む画像データをＲＡＭ２Ｒ、２Ｌからまとめ読みする前に、例えば、前々回と前回までに読み込んでレジスタに記憶した画像データに読み込むべき画像データが存在するか否かを判定し、読み込むべき画像データが存在する場合には、ＲＡＭ２Ｒ、２Ｌからではなく、レジスタから画像データを読み込むようにするとよい。

これにより、同じ画像データが繰り返し必要な場合に、画像データを格納するＲＡＭ２Ｒ、２Ｌへアクセスしないようにすることができる。その結果、補正処理に要する時間を更に短縮することができる。

この本実施形態の画像補正装置のように、（１）補正データの先読み、（２）補正開始の早期化、及び（３）画像データのまとめ読みを図ることによって、画質低下を抑えつつ、画像の光学的な位置ズレの補正に要する時間を短縮することができる。

本発明の実施形態に係わる、画像補正装置１００の全体構成を示すブロック図である。 本発明の実施形態に係わる、補正処理の計算方法を示すイメージ図である。 本発明の実施形態に係わる、補正処理のタイミングチャートである。

符号の説明

１ 入力Ｉ／Ｆ
２Ｒ、２Ｌ ＲＡＭ
３ 演算部
４ 対応点探索処理部
１０ ＡＳＩＣ
２０ 外部メモリ
１００ 画像補正装置

Claims (6)

1. ステレオカメラで撮影した画像の光学的な位置ズレを補正するステレオカメラの画像補正装置であって、
   予め前記画像の画素毎の光学的な位置ズレに応じて設定した、前記画像の水平、及び垂直方向について各々１画素以下の分解能で示される前記画像の画素毎の補正画素位置を含む補正データを格納する補正データ格納手段と、
   前記ステレオカメラで撮影した画像の画素毎の輝度値を示す画像データを記憶する画像データ記憶手段と、
   前記画像の走査順序に従って前記位置ズレの補正対象とする複数の画素を切り替えるとともに、前記補正対象の複数の画素に対する前記位置ズレの補正に必要な画像データが前記画像データ記憶手段に記憶された時点で、前記補正対象の複数の画素に対する前記位置ズレの補正開始を指示する補正開始指示手段と、
   前記補正開始指示手段から補正開始が指示される前に前記補正対象の複数の画素に対応する補正データを前記補正データ格納手段から読み込む補正データ読み込み手段と、
   前記補正データ読み込み手段の読み込んだ補正データから前記補正対象の画素毎の補正画素位置を参照し、前記補正開始指示手段からの補正開始の指示を受けて、前記補正対象の画素毎の補正画素位置周辺の画素の画像データを前記画像データ記憶手段からまとめて取得する画像データ取得手段と、
   前記補正対象の画素毎の補正画素位置、及び前記画像データ取得手段の取得した前記補正画素位置周辺の画素の画像データを用いて、前記補正対象の画素毎の補正画素位置における輝度値を補正画像データとして算出する算出手段と、
   前記補正対象の画素毎の補正画素位置における補正画像データを出力する出力手段を備えることを特徴とするステレオカメラの画像補正装置。
2. 前記補正データ格納手段は、前記画像の画素毎の補正整数画素位置、及び補正小数画素位置からなる前記補正画素位置を含む補正データを格納するものであって、
   前記算出手段は、前記補正対象の画素毎の補正整数画素位置を基準とした、少なくとも周辺４つの画素の画像データの輝度値と前記補正小数画素位置とを用いて線形補間を行うことで前記補正画像データを算出することを特徴とする請求項１記載のステレオカメラの画像補正装置。
3. 前記輝度データ取得手段は、
   前回までに取得した前記補正画素位置周辺の画素の画像データを一時的に記憶する一時記憶手段と、
   前記補正開始の指示を受けた場合、前記一時記憶手段に取得すべき画像データが記憶されているか否かを判定する判定手段とを備え、
   前記判定手段によって前記取得すべき画像データが記憶されていると判定された場合、前記一時記憶手段から前記取得すべき画像データを取得することを特徴とする請求項１又は２記載のステレオカメラの画像補正装置。
4. 前記出力手段は、前記ステレオカメラからの所定走査分の画像データの入力と同期して、前記所定走査分の前記補正画像データを出力することを特徴とする請求項１〜３の何れか１項に記載のステレオカメラの画像補正装置。
5. 前記補正データ格納手段は、前記補正データとして、前記画像の画素毎の補正画素位置における輝度補正値を割り当てて格納し、
   前記算出手段は、前記算出した輝度値を前記輝度補正値で補正する補正演算を行い、
   前記出力手段は、前記補正演算した結果を前記補正画像データとして出力することを特徴とする請求項１〜４の何れか１項に記載のステレオカメラの画像補正装置。
6. 前記補正データ読み込み手段は、前記ステレオカメラの画像補正装置の起動を基準として、前記補正データの読み込みを開始することを特徴とする請求項１〜５の何れか１項に記載のステレオカメラの画像補正装置。

Images