JP2004530202A - たとえば乗員保護システムのための画像の歪みを除去する方法および装置 - Google Patents

たとえば乗員保護システムのための画像の歪みを除去する方法および装置 Download PDF

Info

Publication number
JP2004530202A
JP2004530202A JP2002576439A JP2002576439A JP2004530202A JP 2004530202 A JP2004530202 A JP 2004530202A JP 2002576439 A JP2002576439 A JP 2002576439A JP 2002576439 A JP2002576439 A JP 2002576439A JP 2004530202 A JP2004530202 A JP 2004530202A
Authority
JP
Japan
Prior art keywords
source
image
target
address
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002576439A
Other languages
English (en)
Inventor
ケーラー トルステン
ヴァーグナー ウルリヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2004530202A publication Critical patent/JP2004530202A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/80
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

カメラ光学系により歪んだソース画像(S)がテーブル形式のマッピング規則によって、歪みの取り除かれたターゲット画像(T)に変換される。これは画像センサからの読み出し中にただちに行われ、リアルタイムで実行される。その際、ソース画像の各ソースピクセルにはターゲット画像(T)における1つのターゲットピクセルまたは複数のターゲットピクセルが割り当てられるか、あるいは1つのターゲットピクセルも割り当てられない。

Description

【技術分野】
【0001】
本発明は、たとえば乗員保護システムなどのための画像の歪みを除去する方法および装置に関する。
【0002】
Microsoft Research Technical Report MSR-TR-98-71 "A Flexible New Technique for Camera Calibration"から画像の歪みを補償する方法が知られており、この方法によれば数学的な計算規則が用いられ、この規則によってカメラにより記録されたソース画像がターゲット画像にマッピングされる。この計算規則によって、ワークメモリにロードされたソース画像から歪みの除去されたターゲット画像が算出される。
【0003】
この種の方法の欠点は、ソース画像の記憶のために多くの所要メモリが必要とされ、さらに高い計算能力が必要とされることである。
【0004】
本発明の課題は、カメラシステムに起因する画像の歪みを高速かつ好適なコストで補償できるようにすることにある。
【0005】
この課題は独立請求項の特徴により解決される。
【0006】
これによれば、たとえば乗員保護システム用の画像捕捉システムに組み込まれる画像歪み補償方法が提供される。カメラシステムの光学系により歪んだ画像によってカメラシステムの画像センサにおいてソース画像が形成され、これは光学系の品質、カメラシステムの焦点距離および他の光学的なパラメータに依存して様々なかたちで歪んでいる。ソース画像は個々のソースピクセルに分割されており、これらのピクセルはそれぞれソース画像中の所定のポジションに配置されていて、画像センサにより記録されたそれらのグレー値が画像センサの所定のソースピクセルアドレスのところにそれぞれ記憶されている。
【0007】
所定のマッピング規則によってソース画像がターゲット画像にマッピングされ、それによって歪みの除去されたターゲット画像が生成される。ターゲット画像はターゲットピクセルから成り、それらのグレー値はターゲットメモリにおいてそれぞれ1つのターゲットピクセルアドレスのところに格納される。この場合、ソースピクセルは1つまたは複数のターゲットアドレスにマッピングされるか、あるいは1つのターゲットピクセルにもマッピングされない。その際、ソースピクセルアドレスのグレー値はターゲットピクセルアドレスのところに格納される。
【0008】
ソース画像の歪みを除去してターゲット画像を形成するマッピング規則は、有利にはマイクロコントローラのメモリ内にテーブル状に格納される。これにより有利にはマッピング規則の迅速な処理が可能となる。さらにソース画像を一時記憶する必要がなく、それによってかなりのメモリスペースが節約される。
【0009】
1つの実施形態によればソースピクセルはただちに、画像センサからのソース画像の読み出し中にすでに、バッファリングなしで少なくとも1つのターゲット画像にマッピングされる。これにより有利には所要メモリスペースが低減され、かつソース画像の歪み除去が遅延なく実施され、このことは殊に乗員保護システムにとって必要とされる。
【0010】
所定のマッピング規則に従いソース画像をターゲット画像にマッピングすることにより、ソース画像よりも僅かなピクセルしかもたないターゲット画像が生成される。したがってターゲットピクセルにマッピングされないいくつかのソースピクセルが存在する。さらに画像センサは一般に、実際に必要とされるよりも多くの情報を検出する。それらの情報はマッピング規則によってフィルタリング除去される。このようにして有利にはフィルタリングとデータ低減が実行される。評価ユニットとして用いられるマイクロコントローラ内には、マッピング規則により生成されるターゲット画像だけが格納される。これによってさらに評価ユニット内のメモリスペースが節約される。
【0011】
さらにマイクロコントローラもしくは評価ユニット内のテーブル(以下では修正テーブルとも称する)に、歪み除去方法を実施するためのマッピング規則が含まれている。このテーブルには、ターゲットピクセルにマッピングすべきすべてのソースピクセル(以下では「選択されたソースピクセルアドレス」をもつ「選択されたソースピクセル」とも称する)のアドレスが含まれている。評価ユニット内のマイクロコントローラは、画像メモリ内のソースピクセルのすべてのソースピクセルアドレスをシーケンシャルにアドレッシングする。ソースピクセルアドレスはポインタを介して選択され、このポインタはカウンタによってインクリメントされる。
【0012】
このテーブルにおいて「選択されたソースピクセルアドレス」各々に、ターゲットピクセルの少なくとも1つのターゲットピクセルアドレスが割り当てられている。テーブルから読み出されたターゲットアドレスは、選択された個々のソースピクセルアドレスのグレー値によって満たされる。マッピング規則のためにテーブルを利用することで評価ユニットに関して計算の手間が低減される。しかもピクセル数の低減されたターゲット画像だけが評価ユニット内に記憶されることから、所要メモリも低減される。さらに歪みの除去されたターゲット画像は実質的に、画像センサからのソース画像の読み出し直後に利用することができる。
【0013】
ソース画像の画像情報は、殊にソース画像周縁領域において画像中央よりも狭く互いに押され合っている。したがって殊に周縁領域では、少なくとも1つの選択されたソースピクセルのグレー値が複数のターゲットピクセルに分配され、もしくはそのようにしてターゲットメモリに記憶される。選択されたソースピクセルアドレスごとに1つのターゲットピクセルアドレスしかもたない修正テーブルを読み出すためのポインタを、妨害なくかつ中断せずに実現できるようにする目的で別のテーブルが利用され、このテーブルには多重割り当てのための情報が含まれており、殊に1つのソースピクセルアドレスに割り当てられたすべてのターゲットピクセルアドレスが含まれている。この別のテーブルを以下では参照テーブルとも称する。有利にはこの参照テーブルは、メモリ内で修正テーブルのすぐ下に配置されている。
【0014】
インクリメントを行うカウンタによりソースピクセルを読み出すサイクル(読み出しサイクル)ごとに、選択されないソースピクセルつまり非選択ソースピクセルが読み出されるサイクル(以下では参照サイクルと称する)が設けられている。そしてこのような参照サイクルにおいては、修正テーブルには含まれていない別のターゲットピクセルアドレスを多重割り当てのために含んでいる参照テーブルがアクセスされる。読み出しサイクルによってもしばしば中断される相前後する複数の参照サイクルにおいてそれ相応に、選択されたソースピクセルのグレー値が複数のターゲットピクセルに割り当てられ、ターゲットメモリに格納される。これは「休止」中つまり「参照サイクル」中に行われるし、ターゲットピクセルの個数は多重割り当てにもかかわらずソースピクセルの個数よりも少ないので、インクリメントを行うカウンタを介して画像センサからソース画像全体を読み出した直後に画像の歪み除去が完了する。有利にはこのようにしてソース画像の歪み除去がリアルタイムで実行される。殊にステレオ画像生成のために2つの画像センサを使用したときには、時間とメモリの節約がとりわけ顕著になる。
【0015】
計算規則の代わりにテーブルを使用することでリアルタイム処理が実現され、その際、ソース画像のバッファリングも省略することができる。これによって高価なワークメモリが節約される。それというのもソース画像というのは、そのサイズゆえに非常に大きいメモリを必要とするからである。
【0016】
本発明による方法は有利にはFBGAまたはASICにおいて実現される。別の実施形態によればマイクロプロセッサにおけるインプリメントも考えられる。
【0017】
以下の図面の説明のために用語の定義を行っておく:
ソース画像とは、カメラからダイレクトに供給される生の画像のことである。この画像は光学系に起因して歪んでいる。
【0018】
ソースピクセルはソース画像中の1つの画素のことを表す。
【0019】
ソースピクセルアドレスはソース画像中の特定の画素のアドレスを表す。これらの画素はラインごとに通し番号が付されている。画像座標とソースピクセルアドレスの換算は問題なく行うことができる。ソースピクセルアドレス空間の値の範囲は0から(ソース画像中の画素数)−1となる。
【0020】
ターゲット画像とは修正後つまり歪み除去後の画像のことである。ここでは歪みの除去された画像であって、この場合のピクセルフォーマットつまりピクセルアドレス空間はソース画像のフォーマットもしくはソース画像アドレス空間よりも小さい。
【0021】
ターゲットピクセルはターゲット画像中の画素を表す。
【0022】
ターゲットピクセルアドレスはターゲット画像中の特定の画像のアドレスである。その際、これらの画素にはラインごとに通し番号が付されている。画像座標とターゲットピクセルアドレスの換算は問題なく行うことができる。ターゲットピクセルアドレス空間の値の範囲は0から(ターゲット画像中の画素数)−1となる。
【0023】
修正テーブルとは、ソースピクセルアドレスから対応するターゲットピクセルアドレスへの指示が行われるテーブルのことである。エントリの個数はターゲットアドレスの個数と同じである。多重割り当ての場合には、ターゲットアドレスの個数はソースピクセルアドレスの個数よりもいくらか多い。このテーブルの処理によって修正が行われる。
【0024】
参照テーブルとは、ソースピクセルアドレスが複数のターゲットピクセルアドレスに多重に割り当てられることで生じるターゲットピクセルアドレスの記憶されているテーブルのことである。この場合、参照テーブルには殊に、参照アドレスとターゲットアドレスがターゲットピクセルアドレスとして含まれている。
【0025】
従属請求項には本発明の有利な実施形態が示されている。
【0026】
次に、図面を参照しながら本発明について説明する。
【0027】
図1は、光学式画像捕捉システムを備えた車両の内部を示す図である。
【0028】
図2aは、光学系により歪んだソース画像を示す図である。
【0029】
図2bは、マッピング規則を介して歪み除去された図2aによるソース画像である。
【0030】
図3は、ソース画像を歪み除去されたターゲット画像へ移行させるマッピング規則を示す図である。
【0031】
図4は、マトリックス状に配置されたピクセルアドレスの座標をもつ1つの画像におけるピクセルアドレス空間である。
【0032】
図5aは、ソースピクセルアドレスとターゲットピクセルアドレスとを対応づけるためのマッピングテーブル(修正テーブル)である。
【0033】
図5bは、ソースピクセルアドレスと複数のターゲットピクセルアドレスとを対応づけるための別のテーブル(参照テーブル)である。
【0034】
図6は、画像センサにより記録されたソース画像の歪み除去方法を実行する動作を表すブロック回路図である。
【0035】
図7aは、ソース画像の歪み除去方法のフローチャートである。
【0036】
図7bは、ソース画像の歪み除去方法の別のフローチャートである。
【0037】
図中、同じ機能をもつ要素には同じ参照符号が付されている。
【0038】
図1には車両1が略示されており、その中にシート面23と背もたれ21とその上に置かれたヘッドレスト22とを備えた車両シートが設けられている。車両の屋根3において天井に、有利には2つの前部車両シートの間に、光学式カメラシステム7,71,72,73,74が配置されていて、これにより車両室内の所定の画像領域Biを捕捉することができる。有利には2つの画像センサ72,72はカメラ光学系を介して、車両シート2のある画像領域を任意にその上に存在する対象9とともに捕捉する。図1では対象9が車両乗員として図示されている。
【0039】
別の実施形態において対象9をチャイルドシート、車両乗員、物体などとして構成することもできるし、あるいは車両シート2があいている状態であってもよい。
【0040】
車両1の前部1においてフロントガラス4の下に計器盤5が配置されており、さらにその下には乗員9の足のためのフットスペース8が設けられており、計器盤5の中にエアバッグ26が存在している。フットスペース8は下方に向かって車両の床6により区切られており、床6の上にシートポジションレール24が配置されている。車両シート2はシート面23の下方の領域で支持部材を介してシートポジションレール24と接続されている。このようにして車両シート2はx方向すなわち車両方向でシフト可能に配置されている。
【0041】
カメラシステム7は有利には2つの画像センサ72,73、有利には複数の発光ダイオードを備えた光源71ならびに評価ユニット74を有している。これら両方の画像センサ72,73の光学軸は所定の間隔Lを有している。これにより両方の画像センサ72,73の記録画像から立体画像処理法によって所定の画像領域Bi内における物体の距離情報を捉えることができる。カメラ7は有利にはこれら両方の画像センサ72,73と光源71を1つのコンパクトなケーシング内に有している。評価ユニット74は有利にはデータラインを介してコンパクトなケーシングから離れて配置されており、その目的は車両室内のデザイナにとって邪魔になると感じられるカメラシステム7をできるかぎり小さく抑えるためである。とはいえ評価ユニット74(ECU)をカメラ7のカメラケーシングに統合してもかまわない。評価ユニット74はターゲットメモリ105を有しており、この中に歪んだターゲット画像を記憶することができる。
【0042】
別の実施形態によれば画像センサ72または73だけが設けられており、これによってコストが低減される。必要とされる間隔情報はこの場合には有利には光伝播時間測定または他の画像処理方法によって求められる。図2aには、光学系によって歪められたソース画像S(オリジナル画像)が様々なサイズのポイントP1,P2,P3とともに描かれている。ソース画像Sは、図1の画像センサ72,73のうち一方が歪みを生じさせるカメラ光学系を介して記録したものである。本来はマトリクス状に配置されている画像ポイントP1,P2,P3がカメラ光学系の広角特性(魚眼効果)によって歪められる。図2bには、ソース画像Sの歪み除去後に生じるターゲット画像Tが描かれている。ターゲット画像Tに示されているように、歪められた元のソース画像Sにおける画像ポイントP1,P2,P3が直角のマトリックス状に配置されている。
【0043】
図2aのソース画像と図2bのターゲット画像との比較からわかるように、図2aのソース画像Sには画像センサ72の記録領域周縁部に冗長的な画像情報が含まれており、それはたとえば左右の画像周縁部のブラックエリアである。このような冗長情報は歪み除去プロセスならびにターゲット画像への変換によって取り除かれる。さらに図面からわかるように、ソース画像Sの周縁部における2つの隣り合う画像ポイント間の間隔Drはソース画像Sの中央部における2つの隣り合う画像ポイント間の間隔Diよりも見かけ上、小さくなっている。このような歪みも歪み除去方法によって補償され、そのことはたとえばターゲット画像Tにおいてそれぞれ隣り合う画像ポイント間の間隔Di,Drが均等になっていることからわかる。
【0044】
図3には、ソース画像Sから歪み除去されたターゲット画像Tへの変換のためのマッピング規則が図示されている。画像センサ72,73(図1)によるカメラ光学系によって歪められたソース画像Sが、マトリックス状にソースピクセルN1,S1〜S18,NI,NXに分割される。ソース画像はX1方向(水平方向)で26個の列を有しており、Y1方向(垂直方向)で18個の行を有している。これによりソースピクセルアドレス空間(X1,Y1)が作られる。ソース画像Sのソースピクセルからまえもって定められたいくつかのソースピクセルS1〜S18が選択され、これらはそれぞれ所定のソースピクセルアドレス(Xi,Yi)のところに配置されている。ソースピクセルアドレス各々のもとには画像センサにより記録された相応のグレー値が格納されており、その値は対応するソースピクセルの輝度に依存する。
【0045】
ターゲット画像Tはターゲットピクセルアドレス空間(X2,Y2)を有しており、これは18個の列(X2)と12個の行(Y2)から成る。
【0046】
あとで説明する歪み除去方法を用いることでたとえばアドレスX1=11,Y1=3をもつソースピクセルS1が、マッピング規則によりターゲットピクセルアドレスX2=8,Y2=1としてターゲット画像Tのアドレス空間にマッピングされる。ソースピクセルS1のグレー値はターゲットピクセルT1のターゲットピクセルアドレスのところに格納される。選択されたソースピクセルS1とターゲットピクセルTとの対応は一義的である。
【0047】
アドレスX1=2,Y1=2(2:2)として画像周縁部に位置する別のソースピクセルN1はマッピング規則によって捕捉されず、つまりソースピクセルN1はターゲット画像Tのターゲットピクセルにマッピングされない。ソースピクセルN1は、後続の画像処理にとって重要なカメラシステムの画像領域Biの外に位置している。これは図2aでは左上部の画像周縁部に示されているものであり、そこではソースピクセルN1はブラックエリアに位置している。画像センサ72,73はこのソースピクセルアドレス(2:2)のところでは使用不可能な画像を検出している。なぜならばカメラ光学系の歪みにより画像情報が画像中央に向かって押し込められ、ソース画像Sの黒色の周縁部には画像情報が含まれていないからである。
【0048】
ターゲット画像Tの行1は、ソース画像Sにおいてアーチ状に湾曲して形成された画像行Bを表している。
【0049】
ソース画像Sには選択ソースピクセルS1〜S18と非選択ソースピクセルN1,Niが存在している。選択ソースピクセルS1〜S18はターゲット画像Tのターゲットピクセルアドレス空間内にマッピングされる。非選択ソースピクセルNIはターゲット画像T中にマッピングされない。ソースピクセルS1とS4の間にはソース画像S中に4つのソースピクセルS2,Ni,S3,N2が存在しているが、対応するターゲットピクセルT1とT4の間には2つのターゲットピクセルT2,T3しか存在しない。したがってターゲット画像Tは水平方向(X方向)ではソース画像Sと対比すると2つのピクセル分だけ取り替えられる。
【0050】
ソース画像Sの周縁部にはアドレスX1=25,Y1=7としてソースピクセルS18が位置している(別の表し方ではアドレス(25;7))。図2において間隔Di,Drによって示されているようにソース画像Sの周縁部における歪みによって、描かれている該当ポイントが激しく押しつぶされていることから置き換えられていることから、ソースピクセルS18を上下に位置する2つのターゲットピクセルT18,T18*にマッピングすることにより、マッピング規則を通して画像の圧縮または歪みが取り除かれ、つまり画像が伸長される。この場合、ターゲットピクセルT18はアドレス(18;1)のもとにおかれ、ターゲットピクセルT18*はアドレス(18;2)のところにおかれる。
【0051】
マッピング規則によりピクセルアドレス空間(X1;Y1)をもつソース画像Sから、狭められたピクセルアドレス空間(X2;Y2)をもつターゲット画像Tが発生する。冗長的な情報はソース画像Sからフィルタリング除去されるので、データ量が低減することによりターゲット画像Tを格納するためにいっそう僅かな所要メモリしか必要とされない。ソースピクセルNx(25;17)はたとえば非選択ソースピクセルであって、このような非選択ソースピクセルはマッピング規則中には含まれておらず、したがって「メモリを食う余計なお荷物」としてターゲットメモリ105(図1参照)には格納されることはない。
【0052】
図4には、ソース画像Sとターゲット画像Tの画像ピクセルの管理ならびに用語「ピクセルアドレス空間」を説明するために、7×16個のピクセル画像の例が示されている。座標(1;1)のところにある左上部のアドレスAd=0から始まって座標(1;6)のところにあるアドレスAd=7に至るまで、アドレスAdが左から右へ向かって増えていく。次のアドレスAd=7は、次の行2の左端へジャンプして座標(2;1)のところにある。同様にアドレスAdは、座標(7;16)のところにある最上位アドレスAd=111に至るまで行ごとに増え続ける。このようなアドレス割り当ては、画像センサ72,73(図1)のグレー値を読み出すために使われる。この場合、アドレスAdがカウンタによって継続的にインクリメントされて、そのつど現時点のアドレスAdのところにあるグレー値が画像センサ72,73から読み出される。このようにして画像センサ72,73の内容が行ごとに読み出される。アドレスAdをもっているカウンタ状態を以下ではカウンタソースCounter_Sourceとも称する。
【0053】
図5aのテーブルTAを用いることで、ソース画像Sの歪みを除去するためのマッピング規則が実行される。以下では修正テーブルTAとも称するテーブルTAは3つの欄を有しており、それらの欄にはテーブルアドレスTBA、ソースピクセルアドレスSPならびにターゲットピクセルアドレスTPが含まれている。テーブルTAは昇順のソースピクセルアドレスに従いソートされている。1つのソースピクセルアドレスが重複して現れることはない。
【0054】
テーブルアドレスTBAにはポインタのポインタアドレスA,A+1〜A+17が含まれており、このポインタは第2欄におけるソースピクセルS1〜S18の個々のソースピクセルアドレスSPと、第3欄におけるターゲットピクセルT1〜T18の個々のターゲットピクセルアドレスTPを指している。カウンタ状態"Counter_Target"をもち周期的にインクリメントしていくカウンタによってテーブルアドレスTBAがインクリメントされる。これについては以降の図面で説明する。修正テーブルTAは現時点でのポインタアドレスに依存して、対応するソースピクセルアドレスSPとそれに対応づけられたターゲットピクセルアドレスTPを送出する。したがって修正テーブルTAは、「選択された」もしくは「まえもって設定された」ソースピクセルアドレスSP各々に対し必ず1つのターゲットピクセルアドレスTPを指示する。
【0055】
しかしすでに説明した多重の割り当ての場合には、1つのソースピクセルアドレスSPであってもそれに対し複数のターゲットピクセルアドレスが割り当てられる。多重割り当てつまり多重マッピングのためには、図5bに示した別のテーブルTBが使われ、このテーブルを以下では参照テーブルTBと称する。参照テーブルTBは1つのソースピクセルアドレスに対し複数のターゲットピクセルアドレスを指示し、たとえばソースピクセルS18に対し複数のターゲットピクセルT18*,T18**を割り当てる。
【0056】
参照テーブルTBは「テーブルアドレスTBB」、「ソースアドレスSPB」、「ターゲットアドレスTPB」という3つの欄を有している。第1の欄にはテーブルアドレスTBBが含まれており、これは第2の欄の対応するソースアドレスSPBおよび第3の欄の対応するターゲットアドレスTPBを指示している。
【0057】
欄TPBの1つの参照アドレスたとえばターゲットピクセルT18の参照アドレス1は、修正テーブルTAにも現れているターゲットピクセルアドレスを表している。1つの参照アドレスには、やはり修正テーブルTA中に存在しておりたとえば欄SPBのソースアドレス1のような1つのソースアドレスが割り当てられている。欄TPB中の1つのターゲットアドレスたとえばターゲットピクセルT18*およびT18**のターゲットアドレス1.1および1.2は、ソースピクセルアドレスの多重割り当てにより複数のターゲットピクセルアドレスにマッピングされる1つのターゲットピクセルアドレスを表し、これは修正テーブル中には現れない。このようなターゲットアドレスに対しては、欄SPBにおいてソースアドレス「0」が割り当てられている。このようにすることで後述の方法によれば、参照アドレスとターゲットアドレスがソースアドレスSPBの個々の割り当て値によって区別される。
【0058】
したがってたとえばポインタBに対しソースアドレス1と参照アドレス1が割り当てられる。このソースアドレス1はテーブルTA中に含まれている参照アドレス1に加えてさらに別のターゲットアドレス1.1,1.2も有しており、これらは次の行B+1,B+2に含まれている。後でさらに詳しく説明するように、このようにしてテーブルTBが1つのソースアドレスを複数のターゲットアドレスに割り当てるために使用される。
【0059】
図6には、テーブル形式のマッピング規則TAを用いたソース画像Sの歪み除去方法が機能ブロック図として示されている。この場合、機能ブロックをソフトウェアとしてもハードウェアとしてもあるいはそれらの組み合わせとしても構成することができる。図6にはある画像の歪みを除去するマッピング規則が示されており、ここでは図面を簡単にするため単一割り当てだけが行われ、つまり選択されたソースピクセルSに対し参照テーブルTAから必ず1つのターゲットピクセルTが割り当てられる。
【0060】
クロック発生器100により、カウンタ状態"Counter_Source"をもつカウンタ101がシーケンシャルにインクリメントされる。カウンタ101の出力側は画像センサ72,73のアドレス入力側Adと接続されており、これはマトリックス状に配置されたソースピクセルアドレス空間102を有している。カウンタ状態"Counter_Source"は図4のアドレスAdに対応する。画像センサ72,73の出力側には、画像センサ72,73の選択されたアドレスAdのグレー値"GRAY"が送出される。
【0061】
図6に示されている修正テーブルTAはすでに図5aから明らかであり、これに対し別のカウンタ104からカウンタ状態"Counter_Target"が供給される。この別のカウンタ104はテーブルアドレスTBAのポインタAを指している。このテーブルの出力側には、それぞれ該当するソースピクセルのソースピクセルアドレスSP(X1;Y1)と該当するターゲットピクセルのターゲットピクセルアドレスTP(X2;Y2)が生じる。比較器103は、目下画像センサ72,73に加わっているアドレスAdをソースピクセルアドレスSP(X1;Y1)と比較する。画像センサ72,73の目下のアドレスAdが修正テーブルTAのソースピクセルアドレスSP1と一致しているならば、ターゲット画像アドレス空間が含まれているターゲットメモリ105へイネーブル信号が送出される。ターゲットメモリ105がイネーブルになると、このメモリは画像センサ内で目下のアドレスADのところにある該当するソースピクセルのグレー値"GRAY"を受け取り、それを修正テーブルTAにより得られたターゲットピクセルアドレスTP1のところに記憶する。さらにイネーブル信号Eは次の読み出し過程のためにカウンタ104のカウンタ状態"Counter_Target"をインクリメントし、それによってこんどは比較器103の入力側に次に選択されたソースピクセルアドレスSPが生じ、これが次の目下のアドレスAdとの比較に用いられる。
【0062】
このようにしてたとえば図6に示されている機能回路図と修正テーブルTAに格納されているマッピング規則とを用いて、アドレスAd(X1;Y1)のところに格納されているソースピクセルSiのグレー値"GRAY"がターゲットメモリ105内のターゲットアドレスTP1(X2;Y2)のところに記憶される。カウンタ101のインクリメントによって画像センサ72,73のソース画像アドレス空間102全体が読み出され、対応する選択されたソースピクセルSiがターゲットメモリ105のターゲット画像アドレス空間にマッピングされる。その際、選択されたソースピクセルのグレー値"GRAY"はマッピングされたターゲットアドレスTP1のところに記憶される。
【0063】
図7aには、ソース画像Sの歪み除去方法を説明するフローチャットF1が描かれている。
【0064】
この方法のスタートにあたり、新しいソース画像Sを画像センサ72,73の画像メモリ105から読み出すべきか否か(CAN_SYNC = high?)がチェックされる。新しい画像が読み出されるならば、図6によってすでに説明したカウンタ101および104がゼロにセットされる(Counter_Source = 0; Counter_Target = 0)。これによって画像センサ72,73におけるアドレスAdがゼロにセットされ、つまりソース画像アドレス空間102において左上部からソース画像Sの読み出しが始まる。カウンタ104(Counter_Target)はリセットによりテーブルアドレスAを指しており、つまり修正テーブルTA中に存在しているピクセルS1,T1の第1のアドレスピクセルペアSP,TPを指している。次のステップで比較器103によって、目下のアドレスAd(Counter_Source)が修正テーブルTA内に存在しているソースピクセル(Counter_Target)と同一であるか否かがチェックされる。この比較の結果が否定となれば、画像センサ72,73の目下のアドレスAdにはソースピクセルアドレスからターゲットピクセルアドレスへのマッピング命令は与えられない。したがってターゲットメモリ105はイネーブル信号によってアクティブにされず、カウンタ104(Counter_Target)はインクリメントされない。カウンタ状態"Counter_Source"をもつカウンタ101だけが、画像メモリにおける次のソースピクセルを読み出すためにインクリメントされる。
【0065】
目下のアドレスAdが修正テーブルTAのソースピクセルアドレスSPと等しければ、ソースピクセルの目下のグレー値たとえば画像アドレスADのところから取り出されたS1が、ターゲットメモリ105においてターゲットピクセルアドレスTPのところに記憶される。このために必要とされるターゲットピクセルアドレスTPは修正テーブルTAから得ることができる。比較器103のイネーブル信号とクロック発生器100によってこの方法の時間的な同期が得られるようになり、この方法は有利にはマイクロコントローラ、ASICおよび/またはFPGAにおいて実行される。ターゲットメモリ105にグレー値S1が格納された後、カウンタ104(Counter_Target)が1だけインクリメントされる(A:=A+1)。これにより修正テーブルのポインタAが次に選択されたソースアドレスSPを指すようセットされ、これにはターゲットアドレスTPが対応づけられている。さらにカウンタ101(Counter_Source)がインクリメントされ、それにより画像センサ72,73における次のソースピクセルSのグレー値を読み出すことができる。画像センサのアドレス空間において最後のアドレスに達したか否かがチェックされた後、新たなソース画像の読み出しサイクルが開始される。このように図7aに示した方法によれば、個々のソースピクセルSiをターゲットピクセルTiにマッピングすることで図3に例示したソース画像Sの歪み除去のためのマッピング規則がソース画像S全体にわたって実行される。
【0066】
図7bには別のフローチャートF2が示されており、これによれば図7aに示したフローチャートとは対照的に、1つのソースピクセルのソースアドレスSPを複数のターゲットピクセルアドレスTPに割り当てることも可能である。この目的で図5aに示した修正テーブルのほかに図5bに示した別の参照テーブルTBも使用され、この別の参照テーブルに多重割り当てが含まれている。有利には評価ユニット74のリードオンリーメモリにおいて修正テーブルTAのすぐあとに参照テーブルTBが設けられている。
【0067】
フローチャートF2に示されている方法はスタート後、この方法に対応する初期化ルーチンから始められる。その際、新たなソース画像が始まったのか(CAM_SYNC="high"?)が問い合わせられる。その画像から始めるべきであるならば画像センサ72,73の画像メモリから新たなソース画像Sが読み出され、ソース画像内のソースピクセルアドレス用のカウンタ(Counter_Source)がゼロにセットされる。修正テーブルTA内のテーブルアドレスTBAを指すカウンタ(Counter_Target)はゼロにセットされる。テーブルTBのテーブルアドレスTBBにおけるポインタBは第1のソースアドレスつまりは参照アドレスにセットされる。この場合、第1の参照アドレスは多重割り当てにより第1のソースピクセルアドレスに割り当てられたターゲットピクセルアドレスであり、つまり図5bではソースアドレス1である。さらに状態マシンに1つの状態つまり状態"Read_Ref_Addr"が割り当てられ、これはあとで参照テーブルTB内の次の値B:=B+1を読むことになる。
【0068】
次のステップにおいて、カウンタ104によりセットされテーブルTAから送出されたソースピクセルアドレス"Counter_Target"が、別のカウンタ101によりセットされた目下のソースピクセルアドレス"Counter_Source"と比較される。これら両方のアドレスが同一であれば(Counter_Source = Counter_Target)、目下選択されているソースピクセルアドレスのグレー値"GRAY"がターゲットメモリ内のターゲットピクセルアドレスのところに格納される。多重割り当ての場合には、このターゲットピクセルアドレスが参照テーブルTBからの参照アドレスに相応する。
【0069】
修正テーブルTAに対する目下のアドレス(テーブルアドレスA)が1だけインクリメントされる。さらに画像センサにおけるソースピクセルアドレスのアドレスAdが1だけインクリメントされ、これにより画像センサ内における新たなソースピクセルがセレクトされる。その後、新たな画像が存在するか否かのチェック(CAM_SYNC="high"?)のところから新たにサイクルが始まる。
【0070】
先行の比較(Counter_Source = Counter_Target)で修正テーブルTAからのソースピクセルアドレスとソースピクセルの目下のアドレスAdとが同一でなかったならば、以下のステップにおいて状態マシンの状態がチェックされる。
【0071】
状態割り当ての後に続くステップにおいてテーブルTBを用いることで、複数のターゲットピクセルアドレスに対する1つのソースピクセルアドレスの多重割り当てが生じているか否かがチェックされる。多重割り当てが生じているのであれば以降の読み出しサイクルにおいて、該当するターゲットピクセルアドレスのグレー値"GRAY"(以下では参照アドレス"Ref_Addr"とも称する)が読み出され、個々の付加的なターゲットアドレス1.1,1.2にコピーされる(図5b参照)。このコピープロセスのためには全部で3つの否定読み出しサイクルが必要とされ、つまり状態問い合わせ後のステップを3回実行する必要がある。したがってこのコピープロセスは3つの部分ステップに分解される。そしてこれらの部分ステップは、目下のソースピクセルアドレスが別の非選択ソースピクセルNx,N1(図3)を指している期間において実行される。この期間は、状態問い合わせとの比較Counter_Target = Counter_Source後に始まる。
【0072】
状態チェックにおいて全部で4つの分岐が存在する:"Bypass", "Read_Ref_Addr", "Read_Ref_Pixel", "Write_Ref_Pixel"。
【0073】
新たな画像の開始における「状態」の目下の値が"Read_Ref_Addr"にセットされる。したがって状態問い合わせにあたり分岐"Read_Ref_Addr"が選択され、この場合、第1のステップにおいて、目下のソースピクセルアドレスが参照テーブルTBから読み出される参照ピクセルのソースピクセルアドレスよりも大きければ、次の参照アドレスがテーブルTBから読み出される。
【0074】
次の参照アドレスRef_AddrがテーブルTBから読み出された後、"Ref_Pixel_Flag"がリセットされる。"Ref_Pixel_Flag"はリセットされた状態において、グレー値"GRAY"を参照アドレス"Ref_Addr"のポジションでターゲットメモリから読み出せることを表す。このグレー値"GRAY"は先行の問い合わせ"Counter_Target = Counter_Source"において肯定の判定であったときにターゲットメモリに格納されたものである。
【0075】
次のステップにおいて、そもそもグレー値"GRAY"がターゲットメモリ内において参照アドレス"Ref_Addr"のポジションにすでに書き込まれているか否かがチェックされる。"Ref_Addr"のところにグレー値"GRAY"が書き込まれていたならば、「状態」が"Read_Ref_Pixel"にセットされ、さもなければ「状態」が"Bypass"にセットされる。状態"Bypass"が該当するのは、まだグレー値が参照アドレス"Ref_Addr"のポジションに書き込まれていなかったときである。
【0076】
このことは、目下のソースピクセルアドレスCounter_SourceをテーブルTBからのソースピクセルアドレスと比較することによって行われる。Counter_Sourceがテーブルエントリよりも大きければ、グレー値はすでにターゲットメモリの参照アドレスRef_Addrのところに書き込まれており、コピーすることができる。つまりグレー値は状態"Read_Ref_Pixel"で読み出され、状態"Write_Ref_Pixel"で書き込まれる。さもなければ状態"Bypass"がセットされ、この状態では次の参照アドレスRef_Addrの読み出しをジャンプすることで、グレー値が参照アドレスRef_Addrのところに書き込まれるまで待機する。
【0077】
状態割り当て"Bypass"または"Read_Ref_Pixel"に従い、目下のソースピクセルアドレス"Counter_Source"のポインタが1だけインクリメントされ、それに続いて新たな画像が存在するのかの問い合わせ(CAM_SYNC=high?)へのジャンプが行われる。
【0078】
次の状態ジャンプ「目下の状態...」において状態"Read_Ref_Pixel"が割り当てられると、先行のサイクルですでに参照アドレス"Ref_Addr"のポジションにおいてターゲットメモリから参照値"GRAY"が読み出されているか否かが、フラグ"Ref_Pixel_Flag"を用いて問い合わせられる。参照値"GRAY"がまだターゲットメモリから読み出されていなければ、その読み出しが実行される。
【0079】
このフラグ問い合わせ後、目下の参照アドレス"Ref_Addr"に属する次のターゲットアドレス"Tar_Addr"が読み出され、たとえば図5bのテーブルTBからテーブルアドレスB+1のところで参照アドレス1に属するターゲットアドレス1.1が読み出される。ついで次の状態"Write_Ref_Pixel"が割り当てられ、これによって次のサイクルでターゲットメモリへのこのターゲットアドレスTAR_ADDR 1.1の書き込みが指示される。この割り当て後、再び目下のソースピクセルアドレスCounter_Sourceのインクリメントによって、新たな画像が存在するのかの問い合わせ(CAM_SYNC=high?)へのジャンプが行われる。
【0080】
次の状態割り当てにおいて状態"Write_Ref_Pixel"に割り当てられると、先行のサイクルの1つにおいて読み出された参照アドレスのグレー値"GRAY"がターゲットメモリにおいてターゲットアドレスTAR_ADDRのポジションに書き込まれる。その後、参照テーブルTB内の次の値が参照アドレスであるのかターゲットアドレスであるのかがチェックされる。これは欄SPBにおけるソースアドレスの評価によって実行される。参照アドレスがソースアドレスに割り当てられている一方で、ターゲットアドレスには固定値たとえばゼロ("0")が割り当てられている。したがってターゲットアドレスTBBにおいてポインタBを行ごとにインクリメントすることによって、テーブルTB内の次の値として参照アドレスが存在するのかターゲットアドレスが存在するのかを判定することができる。
【0081】
次の値としてターゲットアドレスが現れるならば状態が"Read_Ref_Pixel"にセットされ、その結果、次の読み出しサイクルにおいて目下の参照アドレスRef_Addrに属する次のターゲットアドレスTar_Addrが読み出されることになる。これに対しテーブルTB内の次の値が参照アドレスであれば状態"Read_Ref_Addr"がセットされ、これにより次のサイクルにおいて次の参照アドレスがテーブルTBからその次の多重割り当てのために読み出される。相応の状態のセット後、ソースピクセルアドレスを指すポインタ"Counter_Source"が1だけインクリメントされ、新たな画像が存在するのかの問い合わせ(CAM_SYNC=high?)へのジャンプが行われる。
【0082】
有利には本発明は乗員保護システム、移動電話機またはウェブカメラに組み込まれる。
【0083】
別の実施形態によれば、たとえばビデオカメラなどにおいて所望の光学的効果を生成するため画像を所期のように歪ませること(モーフィング morping)も可能である。
【図面の簡単な説明】
【0084】
【図1】光学式画像捕捉システムを備えた車両の内部を示す図である。
【0085】
【図2a】光学系により歪んだソース画像を示す図である。
【0086】
【図2b】マッピング規則を介して歪み除去された図2aによるソース画像である。
【0087】
【図3】ソース画像を歪み除去されたターゲット画像へ移行させるマッピング規則を示す図である。
【0088】
【図4】マトリックス状に配置されたピクセルアドレスの座標をもつ1つの画像におけるピクセルアドレス空間である。
【0089】
【図5a】ソースピクセルアドレスとターゲットピクセルアドレスとを対応づけるためのマッピングテーブル(修正テーブル)である。
【0090】
【図5b】ソースピクセルアドレスと複数のターゲットピクセルアドレスとを対応づけるための別のテーブル(参照テーブル)である。
【0091】
【図6】画像センサにより記録されたソース画像の歪み除去方法を実行する動作を表すブロック回路図である。
【0092】
【図7a】ソース画像の歪み除去方法のフローチャートである。
【0093】
【図7b−1】ソース画像の歪み除去方法の別のフローチャートである。
【0094】
【図7b−2】7b−1の続きである。

Claims (22)

  1. 画像の歪みを除去する方法たとえば乗員保護システム用の画像の歪みを除去する方法において、
    ソース画像(S)のまえもって定められた少なくとも1つのソースピクセル(S1,S4)を選択し、該ソースピクセルのグレー値(GRAY)をまえもって定められたソースピクセルアドレス(X1,Y1)のところで読み出し可能であり、
    前記まえもって定められたソースピクセル(S1,S4)をまえもって定められたマッピング規則(S1→T1,S4→T4,S18→T18,S18→T18*)によって少なくとも1つのターゲットピクセル(T1,T4)にマッピングし、該ターゲットピクセルはターゲット画像(T)においてまえもって定められたターゲットピクセルアドレス(X2,Y2)のところに配置されており、
    前記まえもって定められたソースアドレス(X1,Y1)のところで読み出されたグレー値(GRAY)を、まえもって定められたターゲットピクセルアドレス(X2,Y2)のところでメモリ(105)に記憶することを特徴とする、
    画像の歪みを除去する方法。
  2. 前記マッピング規則を評価ユニット(74)のメモリに格納されている少なくとも1つのテーブル(TA,TB)を用いて実装する、請求項1記載の方法。
  3. 前記ソース画像(S)を光学センサたとえば画像センサ(72,73)の光学系を介して捕捉する、請求項1または2記載の方法。
  4. 前記まえもって定められたソースピクセル(S1,S18)を少なくとも1つのターゲットピクセル(T1,T4)へ、ダイレクトにおよび/またはソース画像(S)を画像センサ(72,73)から読み出している間におよび/またはバッファリングせずにおよび/またはリアルタイムにマッピングする、請求項1から3のいずれか1項記載の方法。
  5. 前記ソース画像(S)はまえもって定められたまたは選択されたソースピクセル(S1〜S18)を有しており、該ソースピクセルをターゲットピクセル(T1〜T18)にマッピングし、
    1つのソース画像(S)のソースピクセル(N1,...,S1〜S18)を周期的に有利には行ごとに相前後してソース画像(S)から読み出し、
    まえもって定められたソースピクセルを同期してまたは決められた時間フレーム内で個々のターゲットピクセルにマッピングする、
    請求項1から4のいずれか1項記載の方法。
  6. 前記ソースピクセル(N1,S1〜S18)をそれらのソースピクセルアドレス(SP,(X1,Y1))のところでそれぞれ読み出し可能であり、
    ソースピクセルアドレスは1つのピクセルアドレス空間を成しており、該ピクセルアドレス空間においてソースピクセルアドレスはマトリックス状(X1,Y1)に並べられており、
    ソースピクセルを行ごとにアドレス数をインクリメントさせて読み出す、
    請求項1から5のいずれか1項記載の方法。
  7. 前記ソース画像(S)はターゲットピクセル(T1)にはマッピングされない別のソースピクセル(N1,Ni,Nx)を有している、請求項1から6のいずれか1項記載の方法。
  8. 少なくとも1つのターゲットピクセル(T1,T4)にマッピングするためにソースピクセル(S1,S4)を選択し、該ソースピクセルのソースピクセルアドレス(SP)は少なくとも1つのテーブル(TA,TB)内に格納されている、請求項1から7のいずれか1項記載の方法。
  9. 少なくとも1つのテーブル(TA,TB)内に、選択されたソースピクセル(S1〜S18)のソースピクセルアドレス(X1,Y1,SP)と該ソースピクセルアドレス(X1,Y1,SP)に割り当てられたターゲットピクセルアドレス(X2,Y2,TP)が設けられており、
    有利には同期してクロック制御されるソースカウンタ(Counter_Source)によりソースピクセルアドレスを選択し、それに属するグレー値を読み出し、
    ターゲットカウンタ(Counter_Target)を介して少なくとも1つのテーブル(TA,TB)のテーブルアドレス(TBA)を選択し、それにより選択されたソースピクセルアドレス(SP)とそれに属するターゲットピクセルアドレス(TP)を送出し、
    前記ソースカウンタにより選択されたソースピクセルアドレス(N1,...,S1,..)をテーブル(TA)から送出されたソースピクセルアドレス(S1)と比較し、
    比較結果が等しければ、ソースピクセルアドレス(SP=S1,..,S18)のグレー値をテーブルから送出されたターゲットピクセルアドレス(T1,..,T18)(TP)のところに格納し、前記ターゲットカウンタ(Counter_Target)をインクリメントする、
    請求項1から8のいずれか1項記載の方法。
  10. 前記ソース画像(S)は、別の画像領域(B,S1〜S4)(S17,S15,S11,S12)よりも僅かなソースピクセル(N1,Nx)しか選択されない画像領域(N1,Nx)を有する、請求項1から9のいずれか1項記載の方法。
  11. 有利にはソース画像(S)の周縁部に配置されている少なくとも1つの選択されたまたはまえもって定められたソースピクセルを複数のターゲットピクセル(T18,T18*)にマッピングする、請求項1から10のいずれか1項記載の方法。
  12. 少なくとも1つの選択されたまたはまえもって定められたソースピクセル(S18)を複数のターゲットピクセル(T18,T18*)にマッピングし、該マッピングを、少なくとも1つのテーブル(TA,TB)を用いて、選択されたソースピクセル(S18)のソースピクセルアドレスからターゲットピクセルの複数のターゲットピクセルアドレス((X1,H2)(T18,T18*))のうち少なくとも1つ(T18)を求めることで行い、
    選択されたソースピクセルアドレス(S18)のグレー値(GRAY)を複数のターゲットピクセルアドレス(T18,T18*)のうちの1つに格納し、
    少なくとも1つまたは複数の別の非選択ソースピクセル(N1,Nx,Ni)の読み出し中、選択されたソースピクセルアドレス(S18)のグレー値を複数のターゲットピクセルアドレス(T18*)の1つまたは複数の別のアドレスのところに格納する、
    請求項1から11のいずれか1項記載の方法。
  13. 期間(Z)が設けられており、該期間(S)中、ターゲットピクセル(T1〜T18)にマッピングされない少なくとも1つの別のソースピクセル(N1,Ni,Nx)をソース画像(S)から読み出し、該期間(Z)を複数、相前後してじかにまたは互いに別個に配置可能であり、
    1つまたは複数の期間(Z)中、
    別のターゲットピクセル(T18*,T18**)の個々のターゲットピクセルアドレス(X2,Y2)を少なくとも1つのテーブル(TA)または別のテーブル(TB)を用いて求め、
    1つのターゲットピクセルアドレス(T18)のところに格納されているグレー値を読み出して、複数のターゲットピクセルアドレス(T18*)のうち1つまたは複数の別のターゲットピクセルアドレスのところに格納する、
    請求項1から12のいずれか1項記載の方法。
  14. 前記ソース画像(S)はマトリックス(X1,Y1)状に配置されたソースピクセル(N1,S1)を有しており、
    少なくとも1つのテーブルのアドレス空間(TA,TAB,A1,A2,...)は実質的にターゲット画像(T)のアドレス空間のサイズをもっており、
    ターゲットピクセル(T1〜T18)の個数(n2 * m2)はソースピクセル(N1,Nx,S1〜S18)の個数(n1 * m1)よりも少なく、
    少なくとも1つのテーブルは、それぞれソースピクセルアドレスとターゲットピクセルアドレスを指すテーブルアドレス(ポインタA,A+1,...)を有している、
    請求項1から13のいずれか1項記載の方法。
  15. ターゲット画像(T)のターゲットピクセル(T1〜T18)におけるグレー値を評価ユニット(74)のメモリ(105)に記憶させる、請求項1から14のいずれか1項記載の方法。
  16. カメラ(72,73)により車両(1)の内部の画像領域(Bi)を捕捉し、該画像領域は該当する画像センサ(72,73)の個々のソース画像(S)に実質的に対応する、請求項1から15のいずれか1項記載の方法。
  17. ソースピクセル(S1〜S18)のグレー値を評価ユニット(74)へ伝達し、少なくとも1つのテーブルを該評価ユニット(74)のメモリに格納しておく、請求項1から16のいずれか1項記載の方法。
  18. 光学センサまたは画像センサ(72,73)は、距離情報を検出する光学システム(71,72,73)たとえばステレオ画像捕捉用の2つの画像センサ(72,73)を備えた3Dステレオカメラの一部分であり、または走行時間に依存するシステム(71,72)の一部分である、請求項1から17のいずれか1項記載の方法。
  19. カメラシステムの開口角は約100x90度である、請求項1から18のいずれか1項記載の方法。
  20. 画像を所期のように歪ませる(モーフィング morping)ために使用する、請求項1から19のいずれか1項記載の方法。
  21. 移動電話機および/またはウェブカメラに組み込まれる、請求項1から20のいずれか1項記載の方法。
  22. 画像の歪みを除去する装置たとえば乗員保護システム用の画像の歪みを除去する装置において、
    カメラシステム(7)により車両(1)の内部の画像領域(Bi)が捕捉され、
    該カメラシステム(7)により捕捉された画像情報が評価ユニット(31)によって請求項1から21のいずれか1項記載の方法に従い処理されることを特徴とする、
    画像の歪みを除去する装置。
JP2002576439A 2001-03-05 2001-03-05 たとえば乗員保護システムのための画像の歪みを除去する方法および装置 Pending JP2004530202A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE2001/000825 WO2002078346A1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme

Publications (1)

Publication Number Publication Date
JP2004530202A true JP2004530202A (ja) 2004-09-30

Family

ID=5648222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002576439A Pending JP2004530202A (ja) 2001-03-05 2001-03-05 たとえば乗員保護システムのための画像の歪みを除去する方法および装置

Country Status (6)

Country Link
US (1) US7304680B2 (ja)
EP (1) EP1368970B1 (ja)
JP (1) JP2004530202A (ja)
KR (1) KR100910670B1 (ja)
DE (1) DE50107083D1 (ja)
WO (1) WO2002078346A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125743A (ja) * 2017-02-02 2018-08-09 株式会社Jvcケンウッド 車載撮影装置及び映り込み抑制方法
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6690268B2 (en) 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6278377B1 (en) 1999-08-25 2001-08-21 Donnelly Corporation Indicator for vehicle accessory
US6420975B1 (en) 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US7480149B2 (en) 2004-08-18 2009-01-20 Donnelly Corporation Accessory module for vehicle
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
WO2003065084A1 (en) 2002-01-31 2003-08-07 Donnelly Corporation Vehicle accessory module
US8256821B2 (en) 2004-12-15 2012-09-04 Magna Donnelly Engineering Gmbh Accessory module system for a vehicle window
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
DE102006005168A1 (de) 2006-02-06 2007-08-09 Leopold Kostal Gmbh & Co. Kg Kameraanordnung
JP2010530087A (ja) 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ
JP2010530086A (ja) 2006-12-19 2010-09-02 創太 清水 イメージングモデル及び画像処理装置
WO2008126227A1 (ja) * 2007-03-29 2008-10-23 Fujitsu Microelectronics Limited 表示制御装置、情報処理装置、および表示制御プログラム
JP5008139B2 (ja) * 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP4911628B2 (ja) * 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5062846B2 (ja) * 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置
US8570374B2 (en) 2008-11-13 2013-10-29 Magna Electronics Inc. Camera for vehicle
WO2010118998A1 (en) * 2009-04-13 2010-10-21 Tessera Technologies Hungary Kft Methods and systems for reading an image sensor based on a trajectory
DE102009028743B4 (de) 2009-08-20 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
JP5376313B2 (ja) * 2009-09-03 2013-12-25 株式会社リコー 画像処理装置及び画像撮像装置
DE102011007644A1 (de) 2011-04-19 2012-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes
JP2013125401A (ja) * 2011-12-14 2013-06-24 Samsung Electronics Co Ltd 撮像装置および歪補正方法
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5853707A (ja) * 1981-09-25 1983-03-30 Toshiba Corp 三次元距離測定装置におけるテレビカメラの画像歪補正方式
JPH0530512A (ja) * 1991-01-31 1993-02-05 Matsushita Electric Works Ltd テレビインターホン
JPH05252513A (ja) * 1991-07-31 1993-09-28 Matsushita Electric Works Ltd テレビインターホン
JPH09159442A (ja) * 1995-12-04 1997-06-20 Honda Motor Co Ltd 車両用環境認識装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5067019A (en) * 1989-03-31 1991-11-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable remapper for image processing
NL9000766A (nl) * 1990-04-02 1991-11-01 Koninkl Philips Electronics Nv Inrichting voor geometrische correctie van een vertekend beeld.
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5528194A (en) * 1991-05-13 1996-06-18 Sony Corporation Apparatus and method for performing geometric transformations on an input image
US5345542A (en) * 1991-06-27 1994-09-06 At&T Bell Laboratories Proportional replication mapping system
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
US5999660A (en) * 1995-07-26 1999-12-07 California Institute Of Technology Imaging system for correction of perceptual distortion in wide angle images
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JPH10164326A (ja) * 1996-11-28 1998-06-19 Minolta Co Ltd 画像取り込み装置
JPH10271490A (ja) * 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
IL134881A (en) * 1997-09-04 2004-05-12 Discovery Communicat Inc Device for accessing and controlling video over a computer network, including image correction
JP2000125174A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 画像情報における歪曲収差補正方法および装置
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
DE19921488A1 (de) * 1999-05-08 2000-11-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines Fahrzeugs
JP2001145012A (ja) * 1999-11-12 2001-05-25 Toyota Autom Loom Works Ltd 画像歪補正装置
JP3804916B2 (ja) * 2001-02-09 2006-08-02 シャープ株式会社 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
WO2002095681A1 (de) * 2001-05-25 2002-11-28 Siemens Aktiengesellschaft Vorrichtung und verfahren zur verarbeitung von bilddaten
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7224392B2 (en) * 2002-01-17 2007-05-29 Eastman Kodak Company Electronic imaging system having a sensor for correcting perspective projection distortion
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
EP1657675B1 (en) * 2003-06-02 2014-12-24 Olympus Corporation Image processing device
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5853707A (ja) * 1981-09-25 1983-03-30 Toshiba Corp 三次元距離測定装置におけるテレビカメラの画像歪補正方式
JPH0530512A (ja) * 1991-01-31 1993-02-05 Matsushita Electric Works Ltd テレビインターホン
JPH05252513A (ja) * 1991-07-31 1993-09-28 Matsushita Electric Works Ltd テレビインターホン
JPH09159442A (ja) * 1995-12-04 1997-06-20 Honda Motor Co Ltd 車両用環境認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
JP2018125743A (ja) * 2017-02-02 2018-08-09 株式会社Jvcケンウッド 車載撮影装置及び映り込み抑制方法

Also Published As

Publication number Publication date
US7304680B2 (en) 2007-12-04
WO2002078346A1 (de) 2002-10-03
KR100910670B1 (ko) 2009-08-04
DE50107083D1 (de) 2005-09-15
EP1368970B1 (de) 2005-08-10
EP1368970A1 (de) 2003-12-10
US20040202380A1 (en) 2004-10-14
KR20030081500A (ko) 2003-10-17

Similar Documents

Publication Publication Date Title
JP2004530202A (ja) たとえば乗員保護システムのための画像の歪みを除去する方法および装置
CN1224539C (zh) 图像处理装置及监视系统
US8149229B2 (en) Image apparatus for processing 3D images and method of controlling the same
US8941744B2 (en) Image sensors for establishing an image sharpness value
US7773772B2 (en) Image generation device and method for vehicle
JP6882910B2 (ja) 固体撮像装置、固体撮像装置の制御方法、撮像システム及び移動体
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
JP2003283804A (ja) 綴じ部の湾曲の補正方法およびシステム
CN100358342C (zh) 图像处理设备
EP1455338A1 (en) Image processor with frame-rate conversion
JPH10164326A (ja) 画像取り込み装置
US6359648B1 (en) High-quality image input apparatus with motion compensation function
US20090179918A1 (en) Mirror processor for display device
JP2007180635A (ja) 車両用画像表示装置
JP6958526B2 (ja) 画像処理装置及び画像表示システム
JP2004536387A (ja) 画像データを処理する装置及び方法
JP2019071066A (ja) 半導体装置
JP6537851B2 (ja) 画像処理装置および方法
WO2017086029A1 (ja) 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム
US6111615A (en) Address generating and mapping device of video capture system
JP4624179B2 (ja) 画像処理装置
JP5105306B2 (ja) 車両用表示装置
JPH08237521A (ja) 固体撮像素子のキズ補正回路
WO2007077733A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110121