JP3993259B2

JP3993259B2 - 画像処理装置

Info

Publication number: JP3993259B2
Application number: JP21934596A
Authority: JP
Inventors: 俊明柿並; 祥勝木村; 亮井上
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 1996-07-31
Filing date: 1996-07-31
Publication date: 2007-10-17
Anticipated expiration: 2016-07-31
Also published as: JPH1049689A; US6205234B1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に自動車の前方の、運転者の視界と一致する可視領域の画像情報に基づき、検出対象に対する所望の表示画像を形成する画像処理装置に係る。
【０００２】
【従来の技術】
近時、自動車の前方の可視領域の画像情報を処理し種々の用途に供する画像処理装置が提案されている。例えば、特開平６−２１５１３７号の公報には、画像中の特徴点の情報を高速で検出しうる画像処理装置を提供することを課題とし、走査テーブルメモリ手段上に書き込まれる走査線情報（走査開始座標、走査終了座標）の組合せによって走査領域が決定されるように構成されている。
【０００３】
具体的には、進行方向に向かう白線（車線）の輪郭を検出する場合、白線が存在する領域は、通常はある狭い範囲内に限定されるので、その狭い範囲の画像データだけを検出対象として走査し、特徴検出を実施すればよいが、検出対象領域が複雑な形状になるので、従来装置ではこのような走査ができなかった。このため、同公報に記載の装置においては、走査領域（ウィンドウという）は、走査テーブルメモリ手段上に書き込まれる走査線情報（走査開始座標、走査終了座標）の組合せによって決定することとしており、走査領域（ウィンドウ）の形状の制限はないので、必要最少限の領域だけを走査して、短時間で検出を完了することができる。
【０００４】
【発明が解決しようとする課題】
上記公報に記載の画像処理装置は例えば自動車に搭載され、道路を走行中に運転者の視界にある道路の境界、即ちレーンの白線の識別に供される。このとき、白線を囲繞するように設定されるウィンドウによって、画像情報の濃淡を表すエッジの検出処理速度を速くすることができると共に、検出対象である白線以外の路面の汚れや物体等によるノイズエッジの混入を防止し、検出精度を向上させることができる。尚、エッジとは、画像中のステップ状の濃淡変化であり、明るさが急激に変化している場所で、通常、物体の輪郭上に表れる。
【０００５】
上記エッジの検出処理速度を速くするためには、上記ウィンドウを、検出対象の形状に応じたパターンに設定することが望ましい。例えば、上述の例ではレーンの白線のみを囲繞するようにウィンドウを出来る限り細幅に設定することが望ましい。然し乍ら、画像上に表れるレーンは多様であり、これら全てを網羅するためには膨大な数のウィンドウパターンを用意しておき、これらの中から適切なパターンのウィンドウを選択するように構成する必要がある。従って、大きなメモリ容量を必要とするだけでなく、選択に時間を要し、却って処理時間が長くなるおそれもある。
【０００６】
更に、検出対象が変化する場合、例えば自動車の前方の可視領域にあるレーンを検出対象とし、そのレーンがカーブしている場合には、正確に曲線と認識し迅速に処理するため予め種々のパターンのウィンドウを設定しておく必要があり、大きなメモリ容量が必要となる。
【０００７】
そこで、本発明は、画像処理装置において、種々の検出対象に対し、少ないメモリ容量で適切にウィンドウを設定し得る画像処理装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、請求項１に記載し図１に示したように、画像情報を入力し少くとも濃淡を表す画像データを検出する画像検出手段ＣＳと、画像検出手段ＣＳが検出した画像データを格納する画像メモリ手段ＤＭと、横又は縦の走査線に応じてアドレスを設定すると共に、このアドレス毎に前記画像データの縦又は横の位置情報を設定し、この位置情報に基づき且つ前記検出対象に応じて一つのウィンドウを設定し、この一つのウィンドウを一つのテーブルメモリに格納する走査テーブルメモリ手段ＴＭと、走査テーブルメモリ手段ＴＭが格納した一つのウィンドウと画像メモリ手段ＤＭが格納した画像データの論理積（ＡＮＤ）に基づき所望の画像を形成する画像処理手段ＤＰとを備えたものとし、走査テーブルメモリ手段ＴＭが、画像処理手段ＤＰにより形成された前記所望の画像に基づき、次回の画像における一つのウィンドウを設定して前記一つのテーブルメモリに格納するように構成することとしたものである。尚、図１においてａ乃至ｄは、各部分における画面の状態を模式的に示したものである。
【０００９】
上記画像処理装置において、請求項２に記載のように、走査テーブルメモリ手段ＴＭは、前記所望の画像を形成した画像データに基づき、アドレス毎に少くとも一つの基準点のｘ座標又はｙ座標を設定すると共に、各基準点に対し所定の幅を設定して一つのウィンドウを設定して一つのテーブルメモリに格納するウィンドウ設定手段ＷＭを備えたものとするとよい。
【００１０】
図２は、前記ウィンドウ設定手段で用いるテーブルメモリの一例を示すもので、図２の右側に示す画面の横又は縦（図２の例では横のｘ軸方向）の走査線４８０本に対応する０番地から４７９番地のアドレスが設定される。このアドレス毎に少くとも一つの基準点のｘ座標又はｙ座標（図２の例ではｘ座標のX0乃至X479）を設定すると共に、各基準点に対し所定の幅（図２の例ではW0乃至W479）が設定されて格納される。尚、図２の画面の左上角部の座標は（０，０）であり、右下角部の座標は（６３９，４７９）である。また、テーブルメモリが１６ビットである場合には、ウィンドウのｘ座標設定用に１０ビットが用いられ、幅の設定用に６ビットが用いられるように構成されるが、３２ビットのメモリであれば、幅も略画面一杯に設定することができる。
【００１１】
また、請求項３に記載のように、画像検出手段ＤＤは、画像情報の濃淡に基づきエッジを検出し画像データとして出力するエッジ検出手段ＥＤを備えたものとし、画像メモリ手段ＤＭは、エッジを格納するエッジメモリ手段ＥＭを備えたものとするとよい。
【００１２】
更に、請求項４に記載のように、検出対象を含む可視領域を撮像する撮像手段ＣＳを備えたものとし、撮像手段ＣＳが撮像した画像情報をエッジ検出手段ＥＤに入力し、エッジを検出するように構成してもよい。
【００１３】
尚、請求項５に記載のように、走査テーブルメモリ手段ＴＭを、テーブルメモリ一個に検出対象の一つを検出するためのウィンドウを設定するように構成することができる。
【００１４】
更に、請求項６に記載のように、画像処理手段ＤＰを、ウィンドウと画像データの論理積を３次元平面に換算して検出対象を含む所望の画像を形成すると共に、３次元平面の画像を更に２次元平面に換算し、走査テーブルメモリ手段ＴＭが、その換算結果に基づき次回の画像における前記ウィンドウを設定するように構成することもでき、自動車の前方視界のモニタ等に好適である。
【００１５】
【発明の実施の形態】
以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。本実施形態は、自動車の運転者の視界と一致する前方の可視領域内に存在する検出対象に対し、所望の画像を形成する画像処理装置に係り、検出対象を確実に検出し画像表示し得るように構成されている。図３は画像処理装置の全体構成を示すもので、例えば固体撮像素子のＣＣＤを用いたＣＣＤカメラ１が、例えば自動車（図示せず）内の運転者の視点近傍に配置され前方の可視領域が撮像される。このＣＣＤカメラ１で撮像されるアナログ信号の画像信号はエッジ検出部１０のＡＤコンバータ１１に供給され、濃度に応じたデジタル信号に変換される。
【００１６】
エッジ検出部１０において、ＡＤコンバータ１１の出力信号は二本のラインバッファ１２を介して検出回路１３内のSobel のエッジ抽出オペレータ１４に供給され、ｘ方向及びｙ方向のエッジが検出されるように構成されている。また、ＣＣＤカメラ１の出力信号が同期信号としてｘ−ｙアドレス変換部１５に供給される。このとき、エッジのｘ座標として１０ビットが割り当てられ、ｙ座標には９ビットが割り当てられ、最大値用に８ビットが割り当てられ、更に、正負の符号用に１ビットが割り当てられる。更に、検出回路１３は後述するウィンドウゲート１６を有し、検出対象判定部２０に接続されている。尚、このエッジ検出部１０は、ゲートアレーで構成することができる。
【００１７】
検出対象判定部２０はマイクロコンピュータで構成され、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、出力用のシリアルポート２４、割込カウンタ２５、タイマ２６等を有し、これらがアドレスバス及びデータ／コントロールバスを介して接続されている。尚、２７は電源部である。ＲＡＭ２３はウィンドウメモリ２３ｗとエッジメモリ２３ｅを有し、前者のウィンドウデータがウィンドウゲート１６に供給されると共に、エッジ抽出オペレータ１４の抽出データがウィンドウゲート１６に供給され、ウィンドウゲート１６内でこれらの論理積（ＡＮＤ）が演算され、その演算結果がエッジメモリ２３ｅに供給されて格納される。
【００１８】
図４はエッジ検出に係る機能ブロック図で、同期信号Ｓが夫々水平カウンタ１７及び垂直カウンタ１８を介して、２本のラインバッファ１２、３×３マトリクスレジスタ１９、Sobel のエッジ抽出オペレータ１４ex，１４ey、ピーク検出部１４px, １４pyに供給される。而して、２本のラインバッファ１２を介して走査線３本の画像データが３×３マトリクスレジスタ１９に供給され、エッジ抽出オペレータ１４ex，１４eyにおいて、２次元画面のｘ方向及びｙ方向のエッジが検出され、更にピーク検出部１４px, １４pyにて求められた夫々のピーク値がエッジメモリ２３ｅに供給される。尚、ｙ方向のピーク値を求めるためピーク値検出用のメモリ２３ｐが設けられている。一方、ウィンドウゲート１６にてピーク判定されたときのピーク値検出用メモリ２３ｐの内容とウィンドウメモリ２３ｗのメモリ値との論理積（ＡＮＤ）が求められ、ウィンドウの位置及び幅がエッジメモリ２３ｅに供給される。このエッジメモリ２３ｅは、ｘ方向及びｙ方向の濃度メモリ２３gx，２３gyとｘ方向及びｙ方向の座標メモリ２３px，２３pyを有し、夫々にエッジのピーク値が格納される。
【００１９】
上記の構成になる本実施形態の画像処理装置においては、図５及び図６のフローチャートに従って画像処理が行なわれる。先ず図５のステップ１０１において、ＣＣＤカメラ１の全ての出力画像信号がＡＤコンバータ１１及びラインバッファ１２を介して検出回路１３に供給され、画像情報が取り込まれる。次に、ステップ１０２にてエッジが検出される。本実施形態ではこのエッジに基づき図７に示すように特徴点が設定され、この特徴点のｘ座標及びｙ座標が特定される。また、ステップ１０３において今回の画像処理時の検出対象ウィンドウが設定される。尚、この処理については図６を参照して後述する。
【００２０】
図７は上記の特徴点の抽出状況を示すもので、先ず画像濃度を表す信号が微分され、微分値（ピーク値）が所定のしきい値によって二値化され所定幅の特徴領域Ｚ１，Ｚ２が形成される。更に、細線化処理が行なわれ、特徴領域Ｚ１，Ｚ２の中央部分の位置が特徴点Ｐ１，Ｐ２とされ、輪郭を表す基準とされる。このように、本実施形態では輪郭を表す指標として一般的なエッジのほかに特徴点が設定されるが、エッジをそのまま用いることとしてもよい。
【００２１】
続いて、ステップ１０４において、ステップ１０２にてエッジに基づいて設定された特徴点と、ステップ１０３で設定された検出対象ウィンドウの論理積（ＡＮＤ）がとられ、このウィンドウ内の特徴点が抽出される。そして、ステップ１０５に進むが、ステップ１０５以降は検出対象が曲線又は直線状の場合に特有の処理であり、具体的には本実施形態が対象とする自動車走行用のレーンにおける、一定幅の直線または断続線であって一般的に白色の車線（以下、白線という）の特定に好適な処理である。
【００２２】
ステップ１０５においては、図８及び図９に示すように、ステップ１０４で抽出された画面上の特徴点が路面上に存在するように、特徴点の位置が３次元平面上の位置に変換される。尚、前述の２次元平面の座標軸ｘ，ｙに対し、３次元平面の座標軸をＸ，Ｙ，Ｚで表す。上記のように３次元平面上の位置に変換された特徴点によって、ステップ１０６にてレーンのセグメントが特定される。続いて、ステップ１０７にてセグメントの配列に対し数学モデルが当てはめられ、更にステップ１０８に進み、合致する数学モデルによってレーン形状を表すパラメータ（曲率半径、レーンの幅等）が計測される。更に、ステップ１０９に進み、レーン形状を表すパラメータが２次元平面座標に換算され、次回の検出対象ウィンドウの設定に供される。
【００２３】
次に、図６を参照して、ステップ１０３において実行される検出対象ウィンドウの設定について説明する。ステップ２０１において検出対象ウィンドウ（以下、単にウィンドウという）の縦軸（ｙ軸）の上端及び下端を設定する値が、夫々所定値ｙｂ，ｙｔに設定され（本実施形態では、ｙｂ≧０，ｙｔ≦４７９）、縦軸（ｙ軸）上の位置ｙの値が画面の最下端（ｙ＝４７９）に設定される。
【００２４】
続いて、ステップ２０３においてウィンドウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ（ｙ）が夫々キャンセル（無効）され、ステップ２０４においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２０５にて所定値ｙｂと比較され、所定値ｙｂ以下となるまでステップ２０３及び２０４が繰り返される。ｙ軸上の位置ｙの値が所定値ｙｂ以下となると、ステップ２０６に進み、所定値ｙｂとされる。このようにして画面の下端が設定され、画面の下方の位置ｙｂからステップ２０７以降の処理が開始する。
【００２５】
ステップ２０７においては、ウィンドウの幅がｗ(y) に設定される。ウィンドウの幅ｗ(y) は、図１０に示すように一定（ｗ(y) ＝Ｋｙ，但しＫｙは定数）としてもよいし、図１１に示すように３次元平面上でウィンドウの幅が一定になるように設定してもよい。あるいは、図１２に示すように遠方でウィンドウの幅が拡大するように設定してもよい。そして、ステップ２０８にてウィンドウの左側設定用のメモリ（ｙ）の始点が、ｆｌ(y) −ｗ(y)/２に設定される。ここで、ｆｌ(y) は２次元画面上での左側の白線形状の中心線を表し、前回の値である。
【００２６】
また、ステップ２０９にてウィンドウの左側設定用のメモリ（ｙ）の幅が、ｗ(y) に設定される。同様に、ステップ２１０にてウィンドウの右側設定用のメモリ（ｙ）の始点が、ｆｒ(y) −ｗ(y)/２に設定され、ステップ２１１にてウィンドウの右側設定用のメモリ（ｙ）の幅が、ｗ(y) に設定される。尚、ｆｒ(y) は２次元画面上での右側の白線形状の中心線を表し、前回の値である。このように、本実施形態ではウィンドウの形状は基準点（始点）と幅によって規定されるが、始点と終点を設定することとしてもよい。
【００２７】
次に、ステップ２１２においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２１３にて画面の上端を表す所定値ｙｔと比較され、所定値ｙｔを下回るまでステップ２０７乃至２１２が繰り返される。ｙ軸上の位置ｙの値が所定値ｙｔを下回ると、ステップ２１４に進む。
【００２８】
而して、画面に予め設定した上端を超えることになるので、ステップ２１４においてウィンドウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ（ｙ）がキャンセルされ、ステップ２１５においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２１６にて０と比較され、ｙ軸上の位置ｙの値が０を下回るまでステップ２１４及び２１５が繰り返され、ｙ軸上の位置ｙの値が０を下回ると図５のルーチンに戻る。
【００２９】
以上のように、ウィンドウ形状は基準点と幅、もしくは始点と終点の組合せによって曲線や矩形等の任意の形状に設定することができる。従って、曲線のレーンに対しても適切な画像を形成することができる。
【００３０】
【発明の効果】
本発明は前述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に係る画像処理装置は、走査テーブルメモリ手段が位置情報に基づき且つ検出対象に応じて設定し、一つのテーブルメモリに格納した一つのウィンドウと、画像メモリ手段が格納した画像データの論理積に基づき所望の画像を形成し、この所望の画像に基づき次回の画像における一つのウィンドウを設定して前記一つのテーブルメモリに格納するように構成されているので、種々の検出対象に対し、少ないメモリ容量で一層適切にウィンドウを設定することができる。
【００３１】
更に、請求項２に記載の画像処理装置においては、走査テーブルメモリ手段が、所望の画像を形成した画像データに基づき、アドレス毎に少くとも一つの基準点のｘ座標又はｙ座標を設定すると共に、各基準点に対し所定の幅を設定して一つのウィンドウを設定して一つのテーブルメモリに格納するように構成されているので、少ないメモリ容量で所定の画像処理を行なうことができる。
【００３２】
請求項３に記載の画像処理装置においては、画像検出手段が、画像情報の濃淡に基づきエッジを検出し画像データとして出力すると共に、画像メモリ手段が、エッジを格納するように構成されており、また請求項４に記載の画像処理装置においては、検出対象を含む可視領域を撮像した画像情報をエッジ検出手段に入力し、エッジを検出するように構成されているので、容易に所定の画像処理を行なうことができる。
【００３３】
更に、請求項５に記載の画像処理装置においては、走査テーブルメモリ手段が、テーブルメモリ一個に検出対象一つを検出するためのウィンドウを設定するように構成されているので、検出対象が変化しても、正確且つ迅速にウィンドウを設定して画像処理を行なうことができる。
【００３４】
そして、請求項６に記載の画像処理装置においては、画像処理手段が、ウィンドウと画像データの論理積を３次元平面に換算して検出対象を含む所望の画像を形成すると共に、３次元平面の画像を更に２次元平面に換算し、走査テーブルメモリ手段が、その換算結果に基づき次回の画像におけるウィンドウを設定するように構成されているので、種々の検出対象に対し、少ないメモリ容量で一層適切にウィンドウを設定することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成の概要を示すブロック図である。
【図２】本発明の一実施形態におけるウィンドウ設定メモリを示す構成図である。
【図３】本発明の一実施形態の画像処理装置の全体構成を示すブロック図である。
【図４】本発明の一実施形態の画像処理装置におけるエッジ検出部の構成を示すブロック図である。
【図５】本発明の一実施形態における画像処理を示すフローチャートである。
【図６】本発明の一実施形態における検出対象ウィンドウ設定の処理を示すフローチャートである。
【図７】本発明の一実施形態における特徴点の検出状況を示すグラフである。
【図８】本発明の一実施形態において特徴点の位置を３次元平面上の位置に変換する状況を示す図ある。
【図９】本発明の一実施形態において特徴点の位置を３次元平面上の位置に変換する状況を示す図である。
【図１０】本発明の一実施形態における検出対象ウィンドウの設定例を示す正面図である。
【図１１】本発明の一実施形態における検出対象ウィンドウの設定例を示す正面図である。
【図１２】本発明の一実施形態における検出対象ウィンドウの設定例を示す正面図である。
【符号の説明】
１ＣＣＤカメラ
１０エッジ検出部
１１ＡＤコンバータ
１２ラインバッファ
１３検出回路
１４エッジ抽出オペレータ
１５ｘ−ｙアドレス変換部
１６ウィンドウゲート
２０検出対象判定部
２３ｗウィンドウメモリ
２３ｅエッジメモリ

Claims

画像情報を入力し少くとも濃淡を表す画像データを検出する画像検出手段と、該画像検出手段が検出した画像データを格納する画像メモリ手段と、横又は縦の走査線に応じてアドレスを設定すると共に、該アドレス毎に前記画像データの縦又は横の位置情報を設定し、該位置情報に基づき且つ前記検出対象に応じて一つのウィンドウを設定し、該一つのウィンドウを一つのテーブルメモリに格納する走査テーブルメモリ手段と、該走査テーブルメモリ手段が格納した一つのウィンドウと前記画像メモリ手段が格納した画像データの論理積に基づき所望の画像を形成する画像処理手段とを備え、前記走査テーブルメモリ手段が、前記画像処理手段により形成された前記所望の画像に基づき、次回の画像における一つのウィンドウを設定して前記一つのテーブルメモリに格納するように構成したことを特徴とする画像処理装置。
前記走査テーブルメモリ手段が、前記所望の画像を形成した画像データに基づき、前記アドレス毎に少くとも一つの基準点のｘ座標又はｙ座標を設定すると共に、各基準点に対し所定の幅を設定して前記一つのウィンドウを設定して前記一つのテーブルメモリに格納するウィンドウ設定手段を備えたことを特徴とする請求項１記載の画像処理装置。
前記画像検出手段が、前記画像情報の濃淡に基づきエッジを検出し前記画像データとして出力するエッジ検出手段を備え、前記画像メモリ手段が、前記エッジを格納するエッジメモリ手段を備えたことを特徴とする請求項１記載の画像処理装置。
検出対象を含む可視領域を撮像する撮像手段を備え、該撮像手段が撮像した画像情報を前記エッジ検出手段に入力し、前記エッジを検出するように構成したことを特徴とする請求項１記載の画像処理装置。
前記走査テーブルメモリ手段が、前記テーブルメモリ一個に前記検出対象の一つを検出するためのウィンドウを設定するように構成したことを特徴とする請求項１記載の画像処理装置。
前記画像処理手段が、前記ウィンドウと前記画像データの論理積を３次元平面に換算して前記検出対象を含む前記所望の画像を形成すると共に、前記３次元平面の画像を更に２次元平面に換算し、前記走査テーブルメモリ手段が、その換算結果に基づき次回の画像における前記一つのウィンドウを設定して前記一つのテーブルメモリに格納するように構成したことを特徴とする請求項１記載の画像処理装置。