JP2011045059A - カメラ画像のひずみ補正方法、ならびにカメラ画像のひずみ補正制御装置 - Google Patents

Abstract

【課題】本発明の課題は、ステレオビデオ画像のひずみ補正においてリアルタイム処理で必要とされる程度まで、記憶データ量および転送データ量を低減することである。
【解決手段】前記課題は、インタフェースを介して、ひずみが生じたカメラ画像（２１５，２１６）のひずみが生じた複数の画素を受信するステップと、前記ひずみが生じたカメラ画像をひずみ補正するための圧縮されたひずみ補正規則（６１７，６１８）を準備するステップと、前記ひずみ補正規則を復元するステップと、前記ひずみ補正規則を使用して、ひずみが生じた前記複数の画素から、ひずみ補正後のカメラ画像（２２３，２２４）のひずみ補正される複数の画素を求めるステップとを有することを特徴とする方法によって解決される。
【選択図】図６

Description

本発明は、請求項１記載のカメラ画像のひずみ補正方法と、請求項８記載のステレオカメラ画像のひずみ補正方法と、請求項９記載のルックアップテーブルの圧縮方法と、請求項１０記載の制御装置とに関する。

ステレオビデオ画像処理は、走行支援システムにおいて行われる周辺検出、ロボット工学、オートメーション技術に属する別の用途において、重要な役割を果たす。ステレオビデオシステムによって、カメラ前方におけるオブジェクトの空間的位置を求めることができ、たとえば車両の走行支援システムにおいて、車両前方領域に存在する歩行者を検出することができる。このような画像処理のタスクにかかる要求は増加し続けている。この要求はとりわけ、幾何学的精度の上昇と、それに関連する処理速度の上昇とに関する要求である。

ＤＥ１０２２９３３６Ａ１に、画像センサシステムを較正オブジェクトによって較正する方法が記載されている。

ＵＳ２００８／０００２８７９に、ピクセルクロックのひずみ補正のためのベクトルをそのつど、数学的に新たに計算する手法が記載されている。このような手法によってメモリが削減されるが、ひずみ補正規則を連続的に計算するために必要な計算パフォーマンスが増大する。

独国特許公開第１０２２９３３６号明細書 米国特許公開第２００８／０００２８７９号明細書

本発明の課題は、ステレオビデオ画像のひずみ補正においてリアルタイム処理で必要とされる程度まで、記憶データ量および転送データ量を低減することである。

前記課題は、
インタフェースを介して、ひずみが生じたカメラ画像のひずみが生じた複数の画素を受信するステップと、
前記ひずみが生じたカメラ画像をひずみ補正するための圧縮されたひずみ補正規則を準備するステップと、
前記ひずみ補正規則を復元するステップと、
前記ひずみ補正規則を使用して、ひずみが生じた前記複数の画素から、ひずみ補正後のカメラ画像のひずみ補正される複数の画素を求めるステップ
とを有することを特徴とする方法によって解決される。

３Ｄ三角測量のステレオ測定の原理を示す。 ステレオビデオ画像処理のデータフローを示す。 ルックアップテーブルを使用して行われる画像ひずみ補正の原理を示す。 前記ルックアップテーブル内のベクトル差の原理を示す。 差分ルックアップテーブルの長さ符号化の原理を示す。 本発明の実施例によるステレオビデオ画像処理のデータフローを示す。

本発明の中心は、メモリ削減を実現するルックアップテーブル（Look-Up-Table、ＬＵＴ）の圧縮方法と、ルックアップテーブルのリアルタイム復元方法とである。このルックアップテーブルは、たとえばステレオビデオシステムにおいて画像のレクティフィケーションを行うのに適したルックアップテーブルである。本発明により、３Ｄステレオ測定の一部として使用することができるレクティフィケーション方法ないしはリアルタイム画像ひずみ補正方法が実現される。このような方法は特に、ＦＰＧＡベースまたはＡＳＩＣベースの計算ハードウェアとともに使用するのに適している。

公知の手法と比較して本発明では、ルックアップテーブルの符号化により、リアルタイム処理で必要とされる程度まで、記憶データ量および転送データ量を低減することができる。このことにより、ＦＰＧＡベースまたはＡＳＩＣベースのハードウェアにおいて、ルックアップテーブルを内部記憶するための高コストの記憶スペースを削減することができ、メモリアクセスに必要な帯域幅を大幅に縮小することができる。それに対して、付加的に復号化を実行しなければならなくなるが、本発明では、この復号化を非常に小さい計算手間で実施することができ、ステレオリアルタイム処理を低コストのハードウェアで実現することができる。

本発明では、以下のステップを有するカメラ画像のひずみ補正方法を提供する：
インタフェースを介して、ひずみが生じたカメラ画像の複数のひずみ画素を受信するステップ。
インタフェースを介して、ひずみが生じたカメラ画像のひずみ補正を行うための圧縮されたひずみ補正規則を受信するステップ。
前記ひずみ補正規則を復元するステップ。
前記ひずみ補正規則を使用して、前記複数のひずみ画素から、ひずみ補正されるカメラ画像のひずみ補正される複数の画素を求めるステップ。

カメラ画像は、光学的画像検出装置の撮像イメージを表現する画像とすることができ、たとえばビデオカメラの撮像イメージを表す画像とすることができる。したがって、このカメラ画像をビデオ画像とすることができる。カメラ画像は、複数の個々の画素から構成することができる。その際には、画素を所定のように配置し、たとえばマトリクス状に配置することにより、カメラ画像を構成することができる。カメラ画像のひずみは、内因的パラメータと外因的パラメータとによって生じる。これらのパラメータはたとえば、画像検出装置の較正時に検出して記憶することができる。ひずみが生じた画素から、ひずみ補正を行う画素を決定するために、ひずみ補正規則は、ひずみ補正を行う画素とひずみが生じた画素との対応関係を含むことができる。この対応付けは、内因的パラメータと外因的パラメータとに基づいて行うことができる。こうすることにより、ひずみカメラ画像をひずみ補正規則によってレクティフィケーションすることができる。たとえば、ひずみ補正規則はこうするために、画像をひずみ補正するための新たな位置をひずみ画素に割り当てる変位ベクトルを有する。圧縮されたひずみ補正規則は、該ひずみ補正規則に含まれる対応関係を符号化された形態で含むことができ、とりわけ圧縮された形態で含むことができる。圧縮されたひずみ補正規則は、圧縮された形態のルックアップテーブルとすることができ、ひずみはたとえば、バレル状またはピンクッション状のひずみである。本発明の方法は、たとえば制御装置等の適切な装置によって実施することができる。制御装置の１つまたは複数のインタフェースを介して、ひずみが生じたカメラ画像と圧縮されたひずみ補正規則とを受信することができる。ひずみが生じたカメラ画像と圧縮されたひずみ補正規則とを同時に、または時間的に連続して受信することができる。その際には、ひずみが生じたカメラ画像の各受信ステップごとに、圧縮されたひずみ補正規則の受信ステップを実施することができる。このことは、圧縮されたひずみ補正規則を制御装置に記憶する必要がないことを意味する。とりわけ、この方法をリアルタイムで実施することができ、圧縮されたひずみ補正規則の受信ステップと、復元ステップと、複数のひずみ補正される画素の決定ステップとを、ひずみが生じた１つのカメラ画像の受信時点とひずみが生じた次のカメラ画像の受信時点との間の時間以下の時間内に行うことができる。

本発明では、復元後のひずみ補正規則は複数の変位ベクトルを有することができる。変位ベクトルは、複数のひずみ画素と複数のひずみ補正される画素との対応関係を定義することができる。変位ベクトルは、ひずみ補正画素を形成するために、ひずみが生じた画素をどのように変位すればよいかを定義することができる。したがって変位ベクトルは、ひずみが生じた画素のセットのうち相応の画素と、ひずみ補正される画素のセットのうち相応の画素とを対応付ける。このようにして、ひずみ補正される各画素ごとに、または択一的に、ひずみが生じた各画素ごとに、少なくとも１つの変位ベクトルを対応付けることができる。変位ベクトルは、ひずみ補正後のカメラ画像の構造またはひずみカメラ画像の構造に相応する構造を有するルックアップテーブル内に配置することができる。

圧縮されたひずみ補正規則は、複数の変位ベクトルエントリを有することができる。圧縮されたひずみ補正規則の復元時には、複数の各ひずみ補正される画素に対し、複数の変位ベクトルエントリから変位ベクトルを求めることができる。変位ベクトルエントリは、変位ベクトルの圧縮された形態を表すことができる。圧縮および復元を行うために公知の圧縮手法を使用することができる。

１つの実施形態では、次のひずみ補正される画素に対応付けられた次の変位ベクトルエントリと、先行のひずみ補正される画素に対応付けられた先行の変位ベクトルとから、次の変位ベクトルを求めることができる。このようにして、変位ベクトルを形成するための情報を複数の変位ベクトルエントリに分割することができる。次の変位ベクトルエントリと次の変位ベクトルとが対応付けられた次の画素と、先行の変位ベクトルエントリと先行の変位ベクトルとが対応付けられた先行の画素とを、予め決定された順序で配置することができる。たとえば、次の画素と先行の画素とが隣接する位置にあることも可能である。

その際には、次の変位ベクトルエントリが、先行の変位ベクトルとの差分を定義することができる。圧縮されたひずみ補正規則は基本的に、個々の変位ベクトル間の変化分を含むだけで十分である。

別の実施形態では、圧縮されたひずみ補正規則は複数の長さ（Lauflaenge）エントリと複数の差変化エントリとを有する。次のひずみ補正される画素に対応付けられた長さエントリが第１の値を有する場合、次のひずみ補正される画素の次の変位ベクトルは、先行のひずみ補正される画素の先行の変位ベクトルに相応することができる。さらに、次のひずみ補正される画素に対応付けられた長さエントリが第２の値を有する場合、次の変位ベクトルを、先行の変位ベクトルと、該次のひずみ補正される画素に対応付けられた差変化エントリとから求めることができる。たとえば、対応付けられた長さエントリの第１の値は論理０であり、第２の値は論理１であるか、または第１の値は論理１であり第２の値は論理０とすることができる。また長さエントリは、連続する不変の変位ベクトルの数に依存することができる。その際には、個々の変位ベクトルの順序を設定し、たとえばこの順序は、ひずみ補正される画像のひずみ補正される画素の配置に相応することができる。この所定の順序において変位ベクトルの値が変化した場合、相応の変化分の絶対値および正負を適切な差変化エントリによって定義することができる。このようにして、圧縮されたひずみ補正規則のサイズをさらに低減することができる。択一的に、データ圧縮を行うために別の公知の符号化手法を使用することができ、たとえば、D.A. HUFFMAN: A Method for the Construction of Minimum Redundancy Codes, Proceedings of the IRE, 40, 1098-1101 (1952) に記載されたハフマン符号や、ＵＳ４５５８３０２に記載されたＬＺＷ手法を使用することができる。

有利には、リアルタイム手法となるように各ステップを実施することができる。このような手法は、車両のドライブアシストシステムにおいて周辺検出を行うのに適している。

本発明はさらに、以下のステップを有するステレオカメラ画像のひずみ補正方法も提供する。

・インタフェースを介して、ひずみが生じた第１のひずみカメラ画像のひずみが生じた複数の第１のひずみ画素と、ひずみが生じた第２のカメラ画像のひずみが生じた複数の第２の画素とを受信するステップ。
・インタフェースを介して、前記第１のひずみカメラ画像をひずみ補正するための圧縮された第１のひずみ補正規則と、前記第２のひずみカメラ画像をひずみ補正するための圧縮された第２のひずみ補正規則とを受信するステップ。
・前記第１のひずみ補正規則と前記第２のひずみ補正規則とを復元するステップ。
・前記第１のひずみ補正規則を使用して、前記複数の第１のひずみ画素のうちひずみ補正される第１のカメラ画像の複数のひずみ補正される画素を決定し、前記第２のひずみ補正規則を使用して、前記第２のひずみ画素のうちひずみ補正される第２のカメラ画像のひずみ補正される複数の第２の画素を決定するステップ。

その際には、第１のカメラ画像に対応するステップと第２のカメラ画像に対応するステップとを並行して実施することができる。ひずみ補正される２つのカメラ画像は、距離検出に使用することができ、非常に高い分解能のビデオカメラの場合には、リアルタイムのステレオビデオひずみ補正を行うことができる。本発明の方法は、ＷＯ０２／０７８３４６Ａ１やＷＯ０２／０９５６８１Ａ１に記載されたようなステレオレクティフィケーション手法に基づいて実施することができる。

本発明はさらに、以下のステップを有するカメラ画像のひずみ補正用のルックアップテーブルの圧縮方法も提供する。

・インタフェースを介して、ひずみが生じたカメラ画像のひずみが生じた画素とひずみ補正されるカメラ画像のひずみ補正される画素との対応関係を定義する複数の変位ベクトルを受信するステップ。
・それぞれ前記複数の変位ベクトルのうち少なくとも２つの変位ベクトル間の変化を定義する複数の変位ベクトルエントリを決定するステップ。
・前記複数の変位ベクトルエントリを有する圧縮ルックアップテーブルを形成するステップ。前記変位ベクトルはたとえば、カメラ較正時に求めることができる。さらに圧縮するために、前記変位ベクトルエントリをたとえば長さ符号化によってさらに符号化することができる。

本発明はさらに、以下のステップを有するカメラ画像のひずみ補正用の圧縮ルックアップテーブルの復元方法も提供する。

・インタフェースを介して、それぞれ複数の変位ベクトルのうち少なくとも２つの変位ベクトル間の変化を定義する複数の変位ベクトルエントリを含む圧縮ルックアップテーブルを受信するステップ。
・ひずみカメラ画像のひずみが生じた画素とひずみ補正される画像のひずみ補正される画素との対応関係を定義する複数の変位ベクトルを、前記複数の変位ベクトルエントリから決定するステップ。
・前記複数の変位ベクトルエントリを供給するステップ。

本発明はさらに、本発明の方法を実施ないしは変換するように構成された制御装置または計算ハードウェアも提供する。制御装置の構成の本発明のこの実施形態によっても、本発明の基礎となる課題を迅速かつ効率的に解決することができる。

本願発明では制御装置とは、センサ信号を処理して該センサ信号に依存して制御信号を出力する電子的装置を指すことができる。この制御装置はインタフェースを有することができ、このインタフェースはハードウェアおよび／またはソフトウェアで構成することができる。ハードウェアで構成される場合には、インタフェースはたとえば、制御装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部とすることができる。また、インタフェースを専用の集積回路とするか、または少なくとも部分的に離散回路素子から構成することもできる。ソフトウェアで構成される場合、インタフェースを、たとえばマイクロコントローラ上に別のソフトウェアモジュールと並列して設けられるソフトウェアモジュールとすることができる。

また、たとえば半導体メモリ、ハードディスク記憶装置または光学的記憶装置等の機械読み取り可能な担体に記憶されプログラムコードを有するコンピュータプログラム製品であって、プログラムが制御装置上で実行される場合に上記の実施形態のうち１つの実施形態の方法を実施するために使用されるコンピュータプログラム製品も有利である。

ひずみ補正を実際に具現化する際には、本発明の実施形態を種々異なって具現化することができ、レクティフィケーションハードウェア（たとえばＦＰＧＡ＋ＲＡＭ）でビデオ画像データをシーケンシャル処理することができる。その際には、カメラ画像データ（輝度値）がピクセルクロック（Pixeltaxt）で入力される入力側と、ひずみ補正された画像データがピクセルクロックで出力される出力側とが設けられる。さらに、入力画像の制限された数のロウを格納するための入力バッファも設けることができる。したがって、画像全体がメモリに記憶されることはない。

さらに、ひずみ補正出力画像を連続的に計算して出力信号を生成することもできる。すなわち、出力画像をひずみ補正ハードウェアに記憶しなくてもよい。

ＦＰＧＡで転用するためには、ひずみ補正のためのＬＵＴをＦＰＧＡ自体に格納するか、または外部ＲＡＭモジュールに格納することができる。比較的低コストの外部ＲＡＭに格納する際には、ＲＡＭとＦＰＧＡとの間のデータ転送速度は高くなり、このことは不利となる。完全なＬＵＴをＦＰＧＡに格納する場合には、ＦＰＧＡにおいて必要とされるメモリは多くなり、比較的高コストになる。

これら２つの欠点は、ＬＵＴの圧縮によって回避される。ＬＵＴの圧縮は所期のように、制限された計算手間でピクセルクロックで順次復号化できるように行われる。したがってＦＰＧＡのメモリ内には、現時点で復号化されたベクトルであって現時点の出力ピクセルを計算するために必要とされるベクトルのみが存在する。復号化されたＬＵＴすべてが、ハードウェアに完全に記憶されることはない。

圧縮されたＬＵＴはＦＰＧＡ自体に記憶することができ、また、外部においてＲＡＭに記憶することもできる。

このようにしてシーケンシャル処理を行うことができる。このシーケンシャル処理は、ＬＵＴの復号化と画像のひずみ補正とに関する。したがって、画像およびＬＵＴが常に、ハードウェア（ＦＰＧＡ）のメモリ内に完全に存在するわけではない。

さらに、ＬＵＴを（ＦＰＧＡ／ＡＳＩＣ）自体に記憶することもできる。このことにより、ＬＵＴを何回も転送する必要がなくなる。

本発明を以下で、添付図面に基づいて実施例によって詳細に説明する。

本発明の有利な実施例を以下で説明するにあたり、異なる図中で示され同様の機能を有する要素には同一または同様の参照符号を使用しており、このような要素の説明を繰り返すことは省略する。

図１に、実施例によるステレオ測定および３Ｄ三角測量の原理を示す。同図中、左側画像１０１および右側画像１０２を示している。これらの画像１０１，１０２はそれぞれカメラないしはステレオビデオシステムによって撮像され、複数の画素を有することができる。たとえば、画像１０１中に画素ｐ_Ｌが示されており、画像１０２中に画素ｐ_Ｒが示されている。画素ｐ_Ｌおよびｐ_Ｒは共通の画像ロウ１０５に位置する。画像１０１中の画素ｐ_Ｒの位置は、ｘ’‐ｙ’座標系によって表すことができる。画像１０２中の画素ｐ_Ｌの位置は、ｘ″‐ｙ″座標系によって表すことができる。画素ｐ_Ｌおよびｐ_Ｒは実際の点ｐを表す。点ｐの距離検出は、点ｐ_Ｌの位置と点ｐ_Ｒの位置とから三角測量によって求めることができる。

ステレオビデオ画像データから幾何学的特徴の３Ｄ検出を高精度で行うためには、カメラ較正処理によって求められる内因的および外因的なパラメータを考慮しなければならない。内因的パラメータは結像モデルを基礎として、オブジェクトシーンにおける物理的表面を出発点とする画像ビームがカメラの対物レンズを通ってセンサ表面上で結像するまでの関係の関数を記述する。内因的パラメータはとりわけ、光学的焦点距離と光学的ひずみとを表す。それに対して外因的パラメータは、ステレオビデオシステムのカメラ相互間の幾何学的配置を表す。これは、カメラ相互間の相対位置および相対角度位置である。ステレオビデオシステムでは一般的には、一方のカメラの投影中心に対する他方のカメラの相対的な投影中心が表される。これは相対的方向とも称される。

較正されるステレオビデオシステムを使用すると、相応の画素をまず検出した後に、順方向ステップで空間的に三角測量することにより、撮像されたオブジェクトシーンを測定することができる。図１に、２つの画像１０１，１０２によってステレオ測定を行う工程を概略的に示している。

図２は、１実施例によるステレオビデオ画像処理のデータフローを示す。第１のカメラによって左側画像ストリーム２１１を受け取り、第２のカメラによって右側画像ストリーム２１２を受け取ることができる。左側画像ストリーム２１１は第１のひずみステレオ画像Ａ１ ２１５を供給し、右側画像ストリーム２１２は第２のひずみステレオ画像Ａ２ ２１６を供給する。さらに、第１のルックアップテーブルＬＵＴ１ ２１７と第２のルックアップテーブルＬＵＴ２ ２１８を設けることができる。第１のルックアップテーブル２１７は左側画像ストリーム２１１に関連づけ、第２のルックアップテーブル２１８は右側画像ストリーム２１２に関連づけることができる。これらのルックアップテーブル２１７，２１８は、各ステレオ画像２１５，２１６のひずみ補正用の情報を含むことができる。第１のひずみステレオ画像２１５と第１のルックアップテーブル２１７とから、第１のレクティフィケーション２２１によって第１のレクティフィケーション画像Ｂ１ ２２３を求めることができる。第２のひずみステレオ画像２１６と第２のルックアップテーブル２１８とから、第２のレクティフィケーション２２２によって第２のレクティフィケーション画像Ｂ２ ２２４を求めることができる。レクティフィケーションされたこれらの画像２２３，２２４に基づいてステレオ測定２２７を行うことができる。このステレオ測定結果に基づき、たとえば距離情報２２９を得ることができる。

図２に、リアルタイムステレオ画像処理方法を概説する。左側カメラおよび右側カメラからのデータストリーム２１１，２１２は、まず計算ユニットによってレクティフィケーションされる２２１，２２２。次に、左右ステレオ画像対２２３，２２４の視差測定２２７を行う。この視差測定２２７によって、カメラ前方領域の特徴の３Ｄ計算を行うことができる。ここでは、レクティフィケーション方法を説明する。リアルタイム視差測定を行うためには、公知の手法を使用することができる。

図２中では、この実施例にしたがって計算ソフトウェアで行うことができるステレオ測定の流れを示す。個々の処理ステップにおいて、較正によって求められた内因性パラメータおよび外因性パラメータを簡単に考慮し続けられるようにするためには、最適な処理を行うために画像データ２１５，２１６をまずはひずみ補正ないしはレクティフィケーションする２２１，２２２。その際には、幾何学的関係を簡単なピンホールカメラモデルによって記述することができる。ひずみ補正されたステレオ画像データ２２３，２２４がいわゆるステレオノーマルケースに相応する。次に、３Ｄ特徴の距離を検出するために視差測定２２７を行う。レクティフィケーション２２１，２２２によって、デジタル画像２２３，２２４の１つのロウで視差測定２２７を行うことができ、計算技術による変換が大幅に容易になる。

さらに、リアルタイムでステレオビデオ画像のひずみ補正を行うためには、撮像イメージ２１５，２１６のクロックでひずみ補正２２１，２２２も処理しなければならない。というのも、このようなひずみ補正がリアルタイムアルゴリズムの基礎となるからであるが、このようにひずみ補正を行うことは困難である。計算ハードウェアで迅速なシーケンシャル処理を行うために、各画素ごとに該画素の実際位置（ひずみが生じた位置）と目標位置（ひずみ補正される位置）との間の変位ベクトルをルックアップテーブル（ＬＵＴ）２１７，２１８の形態で予め計算し、メモリに格納することができる。ステレオカメラの場合、２つのＬＵＴ ２１７，２１８を予め計算しなければならない。ＬＵＴ２１７，２１８はカメラ画像２１５，２１６のひずみ補正を行うための一般的な計算規則を記述し、差分成分のｄｘおよびｄｙを有する変位ベクトルを有する。

図３に、たとえば図２に示したレクティフィケーションステップ２２１の基礎とすることができる画像レクティフィケーションの原理を示す。この画像レクティフィケーションでは、受信されたルックアップテーブルＬＵＴ ２１７を使用して、受信されたオリジナル画像２１５をひずみ補正画像２２３に変換することができる。この実施例では、ルックアップテーブル２１７は複数のエントリ３３１，３３２を有する。エントリ３３１，３３２をひずみ補正画像２２３の位置３４１，３４２に対応付けることができる。この実施例ではエントリ３３１は、画像がひずみ補正されるようにひずみ補正画像の位置３４１に配置される画素があるオリジナル画像２１５の位置を指す変位ベクトル３５１を有する。このことに相応してエントリ３３２は、画像がひずみ補正されるようにひずみ補正画像の位置３４２に配置される画素があるオリジナル画像２１５の位置を指す変位ベクトル３５２を有する。

リアルタイムのステレオビデオひずみ補正を行う際には、処理を行うために２つの入力画像のデータストリームと２つのルックアップテーブルと２つの出力画像とを計算ユニットにおいて同時処理しなければならない。上記課題のリアルタイム処理で現在足枷となっているのは、入力画像とルックアップテーブルと出力画像とによって構成されるデータセットの転送である。６４０×４８０ピクセルの分解能を有するＶＧＡステレオビデオ画像をピクセルあたり８ビットかつ２５Ｈｚで処理すると、画像データストリームは１２８Ｍｂｉｔ／ｓとなる。レクティフィケーションのためのルックアップテーブルをメモリからたとえばＦＰＧＡベースの計算ユニットにパラレル読み出しするためには、同じようなデータレートが必要となる。このことにより、リアルタイム可能なステレオハードウェアが比較的高コストになる。

これに対する択一的手段では、すなわちルックアップテーブルをたとえばＦＰＧＡ計算ユニットに記憶すると、ルックアップテーブルのサイズに起因してＦＰＧＡにおけるメモリ使用量が大きくなり、より高コストのＦＰＧＡを使用しなければならなくなる。

本発明はとりわけ、２つのルックアップテーブルのデータストリームを対象とする。画像データとは異なり、これらのルックアップテーブルの転送すべき内容は変わらず、データセットの大きな割合を占める。これらのルックアップテーブルの完全な転送を行う代わりに、ルックアップテーブルのデータ量を格段に縮小する符号化／復号化規則を使用する。ルックアップテーブルの符号化は、リアルタイム処理ではなく、予め１回行われる。それに対して復号化は、縮小されたデータ量のためにリアルタイムで行われる。

ステレオレクティフィケーションは基本的に、入力画像のひずみおよび出力画像の生成である。ルックアップテーブルはひずみ発生の規則を含む。ステレオレクティフィケーションのルックアップテーブルは、レクティフィケーションされる画像の各ピクセル（ｘ_ｒ，ｙ_ｒ）ごとに変位ベクトル（ｄｘ，ｄｙ）を含む。この変位ベクトルは、入力画像のどのピクセル（ｘ_０，ｙ_０）から位置（ｘ_ｒ，ｙ_ｒ）のグレー値を取り出すべきかを決定する。

この関係を表す式は以下の通りである：
ｘ_０＝ｘ_ｒ＋ｄｘ
ｙ_０＝ｙ_ｒ＋ｄｙ

図４に、本発明の実施例による圧縮されたルックアップテーブルｄｄｘ‐ＬＵＴ ４１７を示す。この圧縮ルックアップテーブル４１７は複数のエントリ４３１，４３２を有する。この実施例では、左上のコーナに位置するエントリ４３１は、図３に示したルックアップテーブルに相応する原ベクトルを有する。しかし、エントリ４３２は原ベクトルを有さず、差分を有する。エントリ４３２に対応する現在のベクトルは、隣接位置の先行して計算されたベクトル４３１と、ｄｄｘ‐ＬＵＴルックアップテーブル４１７中の現在のエントリ４３２とを加算して得られる。このようにして、複数のエントリ４３１，４３２から実際のベクトルを求めることにより、圧縮ルックアップテーブル４１７を復元することができる。実際のベクトルは、復元ルックアップテーブルに入力し、レクティフィケーションのために出力することができる。したがって、ルックアップテーブル４１７はエントリ４３２を除き、現在の変位ベクトルと、有利にはすでに求められた対応する隣接変位ベクトルとの差をそれぞれ定義する差分絶対値のみを有することができる。

ルックアップテーブルは数学的には、変位ベクトル場を表現する。これは、通常は比較的平滑である。それゆえ本発明では、ルックアップテーブルのエントリを、隣接エントリとの相対的な差分として記述することができる。このようにして「差分ＬＵＴ」４１７が得られる。以下では、このようなＬＵＴ ４１７を、ｄｄ‐ＬＵＴ４１７と称する。図４に示しているように、実際の変位ベクトルは復号化によって、隣接位置のすでに先行して計算された変位ベクトルと、ｄｄ‐ＬＵＴ ４１７の現在のエントリとを加算することによって算出される。その際には、以下の数式が適用される。

ｄｘ（ｘ，ｙ）＝ｄｘ（ｘ−１，ｙ）＋ｄｄｘ（ｘ，ｙ）
ｄｙ（ｘ，ｙ）＝ｄｙ（ｘ−１，ｙ）＋ｄｄｙ（ｘ，ｙ）
ｄｄ‐ＬＵＴ ４１７を形成することが符号化方法の最初のステップである。

デジタル処理を行うためには、差分すなわちｄｄ‐ＬＵＴ ４１７中のエントリを離散化しなければならない。このような離散化により、差分すなわちエントリをさらに符号化することができる。すでに述べたように、変位ベクトル場の特性は比較的平滑であるから、ｄｄ‐ＬＵＴ ４１７にはしばしばゼロエントリが現れることが多い。それゆえ、さらに圧縮するために長さ符号化が使用される。

図５に、図４に一例として示したＬＵＴのような差分ＬＵＴ ４１７の長さ符号化の原理を示す。この実施例では、ルックアップテーブル４１７は最初の第１のエントリに、原ベクトルの値を有する。後続のエントリは、各エントリより先行するエントリとの差分を有する。したがって、第１のエントリ４３１の次のエントリ４３２は値"＋１"を有する。この値は、この位置に対応する実際のベクトルが、先行する位置の実際のベクトル、ここでは左隣の位置の実際のベクトルに対して１だけ大きいことを意味する。次の２つのエントリの値は「０」である。この値は、これらの位置の実際のベクトルが、先行位置のベクトルと相違しないことを意味する。次のエントリの値は「−１」である。この値は、この位置に対応する実際のベクトルが、先行の実際のベクトルに対して１だけ小さいことを意味する。次の３つのエントリの値もまた「０」であり、さらに次のエントリの値は「＋１」である。このような長さ（Lauflaenge）符号化を行うためには、長さ（Lauflaenge）エントリおよび差分変化エントリが使用され、第１の長さエントリの値は、最初の２つの「０」エントリに基づいて「２」となり、第２の長さエントリの値は、第２の３つの「０」エントリに基づいて「３」となるようにすることができる。したがって、このような符号化によって、「０」に等しくなくａ＝［２，３，・・・，・・・］となるエントリ間距離を有するベクトルが得られる。先行の実際のベクトルに対する実際のベクトルの絶対値変化分を示す差分変化エントリも同様に、１つのベクトルにまとめることができ、符号化によって、［＋１，−１］によってｂ＝［１，０，１・・・］となるベクトルｂが得られる。この実施例では、符号化された相応のひずみ補正規則は、第１のエントリ４３１の変位ベクトルと、ベクトルａとベクトルｂとを有する。これらの情報から、画像のひずみ補正を行うために相応のルックアップテーブルのすべてのエントリで変位ベクトルを求めることができる。

図５に示した実施例では、ベクトルａに、０に等しくないｄｄ‐ＬＵＴエントリの距離が記憶され、ベクトルｂに、差分変化が正であるか負であるかの状態が記憶される。

長さ符号化は、符号化方法の第２のステップである。

復号化の計算規則は、符号化を逆に適用して実施される。

図６に、本発明の実施例によるステレオビデオ画像処理の変化したデータフローを示す。最初の作業ステップでは、ルックアップテーブルを予め符号化することができる。符号化されてデータ量が縮小されたこのルックアップテーブルは、計算ソフトウェアへ転送される。本発明では、計算ハードウェアで実施可能なステレオ測定のフローに本発明の方法のステップを補足して拡張する。

第１のカメラの較正に基づいて第１のルックアップテーブルＬＵＴ１ ２１７を求め、第２のカメラの較正に基づいて第２のルックアップテーブルＬＵＴ２ ２１８を求めることができる。これらのカメラは、ステレオビデオシステムの一部とすることができる。ルックアップテーブル２１７，２１８を符号化６１０することができ、これらのルックアップテーブル２１７，２１８を符号化６１０する際には、第１のルックアップテーブル２１７から第１の圧縮ルックアップテーブル６１７を符号化ＬＵＴ１の形態で求めることができ、第２のルックアップテーブル２１８から第２の圧縮ルックアップテーブル６１８を符号化ＬＵＴ２の形態で求めることができる。

これらの圧縮ルックアップテーブルは、本発明の方法では第１のカメラ画像Ａ１ ２１５および第２のカメラ画像Ａ２ ２１６のレクティフィケーション、ひずみ補正に使用することができる。第１のカメラ画像２１５は左側画像ストリーム２１１によって受信され、第２のカメラ画像２１６は右側画像ストリーム２１２によって受信される。ステップ６２１において、第１の圧縮ルックアップテーブル６１７の復号化を行って第１の復号化ルックアップテーブルを形成することができる。この復号化ルックアップテーブルは第１のルックアップテーブル２１７に相応することができる。したがってこの復号化ルックアップテーブルは、画像２１５の複数のひずみ画素とひずみ補正画像２２３の複数のひずみ補正画素との対応関係を定義する複数の変位ベクトルを有する復元されたひずみ補正規則を有することができる。次に、復元された第１のルックアップテーブルを使用して第１のカメラ画像２１５のレクティフィケーションを行い、第１のひずみ補正画像Ｂ１ ２２３を形成することができる。このことに相応して、ステップ６２２において第２の圧縮ルックアップテーブル６１８の復号化を行い、第２の復号化ルックアップテーブルを形成することができる。この第２の復号化ルックアップテーブルは第２のルックアップテーブル２１８に相応することができる。次に、復元された第２のルックアップテーブルを使用して第２のカメラ画像２１６のレクティフィケーションを行い、第２のひずみ補正画像Ｂ２ ２２４を形成することができる。画像２２３，２２４に基づいてステレオ測定２２７を実施し、距離情報２２９を得ることができる。

画像２１５，２１６に相応して後続の時点で受信される画像では、ルックアップテーブル６１７，６１８を受信するステップと、復号化およびレクティフィケーションを行うステップ６２１，６２２とを繰り返し実施して、後続のひずみ補正画像を形成することができる。このようにして連続的に各受信画像ごとに、対応するルックアップテーブルを受信することができる。

図６に示した実施例では、カメラの較正とルックアップテーブル２１７，２１８の計算とが行われた後、まず最初に、該ルックアップテーブル２１７，２１８を計算ソフトウェアに効率的に記憶するために、ルックアップテーブル２１７，２１８の符号化６１０を行うことができる。このステップは、ステレオリアルタイム処理の前に行われる。

リアルタイムで画像レクティフィケーションを行うためには、リアルタイムステレオビデオ処理中に画像レクティフィケーション６２１，６２２を行うことができ、この画像レクティフィケーション６２１，６２２では、圧縮ルックアップテーブルデータ６１７，６１８を連続的に復号化することができる。

この実施例では、復号化を以下のように行うことができる。復号化は、ルックアップテーブルの符号化と同様に２つのステップで行うことができる。

まず最初に、長さ符号化を復号化しなければならない。このことは、ハードウェアで論理回路によって非常に簡単に実施することができる。復号化された長さは、ベクトルからカウンタに蓄積される。

第２のステップにおいて、ピクセル補正を行うための実際の変位ベクトルを計算する。その際には、ビデオクロックで長さを蓄積するためのカウンタを減分する。カウンタがゼロ位置に達した場合、この実際の変位ベクトルをベクトルｂに入力されたビットエントリに相応して増分または減分する。次の長さエントリは、ベクトルａからカウンタに読み込まれる。

論理回路とカウンタとメモリとを使用するこのような復号化方法をルックアップテーブルベクトルの実際値に転用することにより、上記の方法は特にＦＰＧＡまたはＡＳＩＣハードウェアに変換するのに適するようになる。

択一的な実施例では、ルックアップテーブルの差分を符号化する代わりに、より高次の差分を符号化に使用することができる。２次の差分による符号化および復号化の計算規則は、以下の数式のようになる：
ｄｄｘ^２（ｘ，ｙ）＝２＊ｄｘ（ｘ，ｙ）−ｄｘ（ｘ−１，ｙ）−ｄｘ（ｘ＋１，ｙ）
ｄｄｙ^２（ｘ，ｙ）＝２＊ｄｙ（ｘ，ｙ）−ｄｙ（ｘ−１，ｙ）−ｄｙ（ｘ＋１，ｙ）

別の実施例では、ｄｄ‐ＬＵＴの長さ符号化を省略するか、またはこの長さ符号化の代わりにデータ圧縮から公知の別の符号化手法を使用することができ、たとえばハフマン符号またはＬＺＷ手法を使用することができる。

本発明の方法は、光学系の幾何学的ひずみのリアルタイム補正や単色ビデオシステムで使用することができ、たとえば監視カメラで使用することができる。

図面に示し上述した実施例は、一例として選択しただけであり、種々の実施例を完全に、または個々の特徴ごとに相互に組み合わせることができる。また、１つの実施例に別の実施例の特徴を補足することもできる。また、本発明の方法のステップを繰り返して、かつ上記の順序と異なる順序で実施することもできる。

１０１ 左側画像
１０２ 右側画像
ｐＬ，ｐＲ 画素
３５１，３５２ 変位ベクトル
３４１，３４２ ひずみ補正された画素

Claims (10)

1. カメラ画像をひずみ補正する方法において、
   インタフェースを介して、ひずみが生じたカメラ画像（２１５，２１６）のひずみが生じた複数の画素を受信するステップと、
   前記ひずみが生じたカメラ画像をひずみ補正するための圧縮されたひずみ補正規則（６１７，６１８）を準備するステップと、
   前記ひずみ補正規則を復元するステップと、
   前記ひずみ補正規則を使用して、ひずみが生じた前記複数の画素から、ひずみ補正後のカメラ画像（２２３，２２４）のひずみ補正される複数の画素を求めるステップ
   とを有することを特徴とする方法。
2. 復元後の前記ひずみ補正規則は、ひずみが生じた前記複数の画素と前記ひずみ補正される画素（３４１，３４２）との対応関係を定義する変位ベクトル（３５１，３５２）を有する、請求項１記載の方法。
3. 圧縮された前記ひずみ補正規則（６１７，６１８）は複数の変位ベクトルエントリ（４３１，４３２）を有し、
   前記ひずみ補正規則の復元時に、前記ひずみ補正される各画素（３４１，３４２）ごとに、前記複数の変位ベクトルエントリから前記変位ベクトル（３５１，３５２）を求める、請求項２記載の方法。
4. 次のひずみ補正される画素（３４２）に対応付けられた次の変位ベクトルエントリ（３３２）と、先行のひずみ補正される画素（３４１）に対応付けられた先行の変位ベクトル（３５１）とから、次の変位ベクトル（３５２）を求める、請求項３記載の方法。
5. 前記次の変位ベクトルエントリ（３３２）は、前記先行の変位ベクトル（３５１）との差分を定義する、請求項４記載の方法。
6. 圧縮された前記ひずみ補正規則は、複数の長さエントリ（ａ）と複数の差変化エントリ（ｂ）とを有し、
   次のひずみ補正される画素に割り当てられた長さエントリが第１の値を有する場合、該次のひずみ補正される画素の次の変位ベクトルは、先行のひずみ補正される画素の先行の変位ベクトルに相応し、
   前記次のひずみ補正される画素に割り当てられた長さエントリが第２の値を有する場合、前記次の変位ベクトルを、前記先行の変位ベクトルと、該次のひずみ補正される画素に割り当てられた差変化エントリとから求める、請求項３記載の方法。
7. リアルタイム方法となるように前記ステップを実施する、請求項１から６までのいずれか１項記載の方法。
8. ステレオカメラ画像をひずみ補正する方法において、
   ・インタフェースを介して、ひずみが生じた第１のカメラ画像（２１５）のひずみが生じた複数の第１の画素と、ひずみが生じた第２のカメラ画像（２１６）のひずみが生じた複数の第２の画素とを受信するステップと、
   ・インタフェースを介して、前記第１のカメラ画像をひずみ補正するための圧縮された第１のひずみ補正規則（６１７）と、前記第２のカメラ画像をひずみ補正するための圧縮された第２のひずみ補正規則（６１８）とを設けるステップと、
   ・前記第１のひずみ補正規則と前記第２のひずみ補正規則とを復元するステップ（６２１，６２２）と、
   ・前記第１のひずみ補正規則を使用して、前記複数の第１の画素のうちひずみ補正される第１のカメラ画像（２２３）の複数の第１のひずみ補正される画素を決定し、前記第２のひずみ補正規則を使用して、前記第２の画素のうちひずみ補正される第２のカメラ画像（２２４）の複数の第２のひずみ補正される画素を決定するステップ
   とを有することを特徴とする方法。
9. カメラ画像をひずみ補正するためのルックアップテーブル（２１７，２１８）を圧縮する方法において、
   ・インタフェースを介して、ひずみが生じたカメラ画像（２１５）のひずみ画素とひずみ補正後のカメラ画像（２２３）のひずみ補正される画素との対応関係を定義する複数の変位ベクトル（３５１，３５２）を受信するステップと、
   ・前記複数の変位ベクトルのうち少なくとも２つの変位ベクトル間の変化をそれぞれ定義する複数の変位ベクトルエントリ（４３１，４３２）を決定するステップと、
   ・前記複数の変位ベクトルエントリを有する圧縮されたルックアップテーブル（６１７，６１８）を形成するステップ
   とを有することを特徴とする方法。
10. 請求項１から９までのいずれか１項記載の方法のステップを実施するように構成されていることを特徴とする、制御装置。

Images