JP2006302095A - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】 本発明は、物の境界を的確に認識することができる画像処理装置、画像処理方法及び画像処理プログラム、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【解決手段】 カメラ１０からの入力画像に撮像された物を認識する画像処理装置において、入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する画像処理ＣＰＵ２２を備え、複数の２値画像のうち輝度階調について連続する所定数の２値画像において、略同一な位置に共通して存在する線を３次元形状の輪郭線と判断することを特徴とする画像処理装置。３次元形状の輪郭付近の輝度は連続的かつ急激な変化をしているため、連続する２値画像には共通して３次元形状の輪郭線が出力されることになる。
【選択図】 図１

Description

本発明は、輝度を利用して画像に撮像された物体を認識する画面処理装置、画像処理方法及び画像処理プログラム、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

従来から、画像解析により物体の境界を認識する画像処理技術が知られている（例えば、特許文献１参照）。この画像処理技術は、画像の所定の軸方向上にある各点の輝度値の累計を画像エネルギーとして定義し、その所定の軸方向に垂直な向きに画像エネルギー勾配を検索していき、所定の閾値に達した位置を物体の境界として認識するものである。つまり、輝度変化の大きい（画像エネルギー勾配の大きい）位置を物体の境界ととらえるものである。
特開２００３−２４５２８０号公報

しかしながら、上述の従来技術では、画像中のある１点に輝度値が高い部分があると、その１点を含む方向の画像エネルギーは大きくなるために画像エネルギー勾配が変化してしまい、物体の境界を誤認識してしまうことがあった。例えば、上述の従来技術を路上の障害物検知に適用した場合、道路上のペンキはその道路に対し輝度変化が比較的大きいので、その平面的なペンキの輪郭線を自車の障害となるような立体の輪郭線として誤認識してしまうおそれがあった。

そこで、本発明は、物の境界を的確に認識することができる画像処理装置、画像処理方法及び画像処理プログラム、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、
入力画像に撮像された物を認識する画像処理装置において、
入力画像上の点の輝度を検出する輝度検出手段を備え、
前記輝度検出手段が所定距離離隔した２点を結ぶ線分上に前記２点の輝度の中間値となる輝度を検出した場合、前記２点間に３次元形状の輪郭線があると判断することを特徴とする画像処理装置が提供される。

原理上、３次元形状の輪郭付近の輝度は連続的かつ急激な変化をしている。したがって、本局面によれば、３次元形状の輪郭付近の画像上の所定距離離隔した２点間を結ぶ線分上にその２点間の輝度の中間値となる輝度が検出されれば、その２点間のどこかに３次元形状の輪郭線が存在するとみなせるので、３次元形状の輪郭を的確に認識することができる。

また、本発明のその他の局面によれば、
入力画像に撮像された物を認識する画像処理装置において、
入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する２値化手段を備え、
複数の２値画像のうち輝度階調について連続する所定数の２値画像において、略同一な位置に共通して存在する線を３次元形状の輪郭線と判断することを特徴とする画像処理装置が提供される。

本局面によれば、３次元形状の輪郭付近の輝度は連続的かつ急激な変化をしていることにより、輝度階調について連続する２値画像には共通して３次元形状の輪郭線が出力されることになる。したがって、３次元形状の輪郭を的確に認識することができる。

さらに、本発明のその他の局面によれば、
入力画像に撮像された物を認識する画像処理装置において、
入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する２値化手段を備え、
一つの２値画像には点が密集しているがその他の２値画像には点が密集していない領域を２次元形状が占める領域と判断することを特徴とする画像処理装置が提供される。

本局面によれば、２次元形状における輝度は連続的な変化をしていないことにより、一つの２値画像には２次元形状の輪郭線が出力されることになるが、輝度階調について連続する２値画像には出力されないことになる。したがって、２次元形状の輪郭を３次元形状の輪郭と誤認識することなく、２次元形状を的確に認識することができる。

なお、本発明は、種々の態様で実現することが可能であり、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の態様で実現することができる。

本発明によれば、物の境界を的確に認識することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は本発明の画像処理装置を用いたシステム構成の一例を示した図である。本発明の画像処理装置を車両に搭載し、路上の障害物を検知する場合の実施例について以下説明する。本システムは、カメラ１０と画像処理ＥＣＵ２０を備える。

カメラ１０は、撮像素子１１，１２、カメラＣＰＵ１３及び画像通信インターフェース１４を有する。カメラ１０は、例えば車両前方を撮像したい場合には、バンパーやフロントグリルやサイドミラー等に設置される。撮像したい方向に応じて設置場所を変更すればよい。

撮像素子１１，１２は、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。カメラＣＰＵ１３は、画像処理ＥＣＵ２０からの制御信号に基づいてカメラ側の露出等の制御を行う。撮像素子１１，１２による撮像画像は、画像処理ＥＣＵ２０に画像通信インターフェース１４を介して送信される。

画像処理ＥＣＵ２０は、画像通信インターフェース２１、画像処理ＣＰＵ２２及びＳＶ−ＣＰＵ２３を有し、画像処理を実行する電子制御ユニット（コンピュータともいう）である。カメラ１０からの入力画像は、画像通信インターフェース２１を介して画像処理ＣＰＵ２２に送られる。画像処理ＣＰＵ２２は、その入力画像に基づいて物体認識処理等の画像処理を実行する。画像処理ＣＰＵ２２は、ＲＯＭに記憶された所定の画像処理プログラムを読み出し、一時的に画像データ等を記憶するＲＡＭを用いて、３次元形状の輪郭の認識処理や２次元形状が占める領域の認識処理を実行する。

ＳＶ−ＣＰＵ２３は、各ＣＰＵを監督（supervisor）するＣＰＵである。画像処理ＣＰＵ２２が兼ねても可である。ＳＶ−ＣＰＵ２３は、画像処理ＣＰＵ２２の画像処理結果に基づいてカメラ１０に制御すべき露出等の信号をカメラＣＰＵ１３に送信する。一般的に露出は絞りとシャッタースピードで変わる。絞りを大きくすると光の通る部分は狭くなり、光は減少する。また、シャッタースピードによって光を通す時間を制御可能になる。シャッタースピードを遅くすれば通る光が保持されるため暗い場所での撮影も可能になる。

また、ＳＶ−ＣＰＵ２３は、車内ＬＡＮを介して、物体認識処理等の結果を必要とする他のＥＣＵにその結果を送信する。他のＥＣＵとは、例えば、プリクラッシュシステムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。

［第１の動作例］
それでは、本発明の画像処理装置の動作例について説明する。図２は、画像処理ＣＰＵ２２が実行する３次元形状の輪郭の認識処理を表す第１のフローチャート例である。図３は、３次元形状が撮像された入力画像からその形状の外縁部が撮像された一部分を切り出した模式的な図である。図３の（ａ）〜（ｄ）は、同一の画像部分を切り出したものであり、図の下方が撮像された物体側である。また、各格子は、画像上の点を表し、より具体的には、画素を表す。

図２のフローチャートについて、まず説明する。カメラ１０から入力画像が取り込まれると（ステップ２）、入力画像上の所定距離離隔した２つの点として２つの画素が特定される（ステップ４）。図３（ａ）で言えば画素ｐ１とｐ２、図３（ｂ）で言えば画素ｐ３とｐ４である。ステップ４にて特定された２画素の輝度が測定され（ステップ６）、それらの２画素の輝度が同一か否かについて判定される（ステップ８）。それらの２画素の輝度が異なる場合（ステップ８；Ｎｏ）、それらの２画素間にそれらの２画素の輝度の中間値となる輝度が存在するか否かが判断される（ステップ１０）。それらの２画素の輝度の中間値となる輝度が存在する場合には（ステップ１０；Ｙｅｓ）、その中間となる輝度の画素を抽出し、抽出された画素を３次元形状の輪郭線を構成する輪郭画素（輪郭点）として決定される。つまり、それらの２画素間に、輪郭線が存在すると判断される（ステップ１２）。一方、それらの２画素の輝度が同一の場合（ステップ８；Ｙｅｓ）、もしくは、それらの２画素の輝度の中間値となる輝度が存在しない場合（ステップ１０；Ｎｏ）、それらの２画素間に３次元形状の輪郭線を構成する輪郭画素は存在しない、つまり、輪郭線は存在しないと判断される（ステップ１４）。最終的にステップ１２若しくはステップ１４が終了すると１ルーチン終了としてステップ４に戻り、ステップ２で取り込まれた入力画像上の別の異なる２画素を特定して、以降同様の処理が繰り返される。

つまり、原理上、３次元形状の輪郭付近の輝度は連続的かつ急激な変化をしている。そのため、３次元形状の輪郭付近の画像上の所定距離離隔した２画素間を結ぶ線分上にその２画素間の輝度の中間値となる輝度が検出されれば、その２画素間のどこかに３次元形状の輪郭線が存在するとみなすことができる。

ステップ４で特定される画素ｐ１とｐ２が物体の外縁より離れている位置にある図３（ａ）の場合、画素ｐ１とｐ２間の輝度は変化しないので、画素ｐ１とｐ２間に３次元形状の輪郭線は存在しないことになる。ステップ４で特定される画素ｐ３とｐ４が物体の外縁に近い位置にある図３（ｂ）の場合、若しくは、ステップ４で特定される画素ｐ５とｐ６が物体の外縁に近い位置にある図３（ｃ）の場合、それぞれの場合の特定された２画素間の輝度は連続的かつ急激に変化するので、それらの２画素間に３次元形状の輪郭線が存在することになる。ステップ４で特定される画素ｐ７とｐ８が物体の外縁の外の位置にある図３（ｄ）の場合、画素ｐ７とｐ８間の輝度は変化しないので、画素ｐ７とｐ８間に３次元形状の輪郭線は存在しないことになる。

なお、図３（ａ），（ｂ），（ｃ），（ｄ）の順番で同一方向に図２のフローをそれぞれ処理することによって３次元形状の輪郭を効率的に認識することができる。図の上下方向のある一列の画素の特定が終了すれば、隣の列の画素に対し、同様に図２のフローを処理していけばよい。また、図３（ａ）〜（ｄ）は説明の便宜上４つの状態を代表して表示している。したがって、図２の１ルーチン終了後、次に特定する２画素の位置を、物体の外縁に対してより細かく設定するようにしてもよい。

［第２の動作例］
図４は、画像処理ＣＰＵ２２が実行する３次元形状の輪郭の認識処理を表す第２のフローチャート例である。図５（ａ）は、入力画像であるところの原画像である。図５（ｂ）〜（ｅ）は、図５（ａ）の原画像を輝度階調毎に２値化処理して生成された複数の２値画像である。

カメラ１０によって撮像され画像処理ＣＰＵ２２で処理される入力画像は、例えば２５６階調の輝度で表示される白黒濃淡画像（グレー画像）で構成される。２値化処理は、この濃淡画像を、ある閾値より明るい階調はすべて白、暗い階調はすべて黒に２分する処理方法である。図５は説明上の便宜的な画像ではあるが、図５（ａ）は原画像、図５（ｂ）は低輝度２値画像、図５（ｃ）は中低輝度２値画像、図５（ｄ）は中高輝度２値画像、図５（ｅ）は高輝度２値画像とする。図５（ｂ）が閾値とする輝度が一番低く、図５（ｃ）（ｄ）（ｅ）の順番に閾値とする輝度が高くなっている。

図４のフローチャートについて、まず説明する。カメラ１０からの入力画像である図５（ａ）の原画像が取り込まれると（ステップ２０）、輝度階調毎に２値化処理され（ステップ２２）、図５（ｂ）〜（ｅ）の４枚の２値画像が生成される。輝度階調について連続するこれらの４枚の２値画像から、略同一な位置に共通して存在する線の抽出が行われる（ステップ２４）。ここで、略同一な位置に共通して存在する線の抽出を行うため、２値画像上の位置を各２値画像間で対比できるように、所定の基準点（例えば、座標原点）を基準に位置決めが行われる。そして、一つの２値画像上に出力された複数の点を所定の周知の補間処理を行う。この補間処理により、複数の点を物の輪郭の線として認識できるようになる。図５に示されるように、２値画像には、輪郭線が一つのきれいな線として表示されずに細切れのような状態で表示されるため、補間処理が必要である。したがって、輝度階調について連続するこれらの４枚の２値画像から、略同一な位置に共通して存在する補間処理された線を３次元形状の輪郭線として決定される（ステップ２６）。最終的にステップ２６が終了すると１ルーチン終了としてフローの最初に戻り、ステップ２０で新たに取り込まれた入力画像に対して以降同様の処理が繰り返される。

つまり、原理上、３次元形状の輪郭付近の輝度は連続的かつ急激な変化をしているため、輝度階調について連続する２値画像には共通して３次元形状の輪郭線が出力されることになる。また、２次元形状における輝度は連続的な変化をしていないことにより、一つの２値画像には２次元形状の輪郭線が出力されることになるが、輝度階調について連続する２値画像には出力されないことになる。

したがって、３次元形状である車両５の輪郭線は図５（ｂ）〜（ｅ）のすべての図にわたって現れているが、２次元形状である横断歩道１や白線２は図５（ｅ）にしか現れない。つまり、図５（ｂ）（ｃ）（ｄ）の下部領域は黒くなっているが、図５（ｅ）の下部領域だけは白くなっている。このように、輝度階調について連続する２値画像において略同一な位置に共通して存在する線は３次元形状の輪郭線と判断でき、一つの２値画像には点が密集しているがその他の２値画像には点が密集していない領域を２次元形状が占める領域と判断することができる。そして、２次元形状の輪郭を３次元形状の輪郭と誤認識することなく、３次元形状及び２次元形状を的確に認識することができる。なお、２値画像のため、白い領域に対して黒い点が密集するという考え方でもよいし、黒い領域に対して白い点が密集するという考え方でもよい。

上記の従来技術のように物の輪郭を「輝度変化」だけでとらえる手法では、路上のペイントや模様についても物の輪郭として誤認識してしまうおそれがあるが、本発明のように「輝度の連続性」に着目することによって、上記のような有用な効果を発揮することができるようになる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

上述の実施例では、輝度を２５６階調とし分割数を４分割しているが、階調や分割数は、任意に設計的に変更することは可能である。例えば、精度要求が高ければ、階調数を増やしたり分割数を増やしたりすればよい。また、階調や分割数をカメラ１０が撮像する画像に合わせてリアルタイムに変化させてもよい。

また、認識処理の負荷を低減するために、その他のセンサ（例えば、レーザーレーダ、ミリ波レーダ，超音波レーダ等）を用いて、処理範囲を限定することも可能である。認識処理の負荷の低減のため、上記の階調や分割数を減らしてもよい。

本発明の画像処理装置を用いたシステム構成の一例を示した図である。 画像処理ＣＰＵ２２が実行する３次元形状の輪郭の認識処理を表す第１のフローチャート例である。 ３次元形状が撮像された入力画像からその形状の外縁部が撮像された一部分を切り出した模式的な図である。 画像処理ＣＰＵ２２が実行する３次元形状の輪郭の認識処理を表す第２のフローチャート例である。 原画像とその原画像を輝度階調毎に２値化処理して生成された複数の２値画像である。

符号の説明

１ 横断歩道（２次元形状）
２ 白線（２次元形状）
５ 車両（３次元形状）
１０ カメラ
１１，１２ 撮像素子
１３ カメラＣＰＵ
２０ 画像処理ＥＣＵ
２２ 画像処理ＣＰＵ
２３ ＳＶ−ＣＰＵ

Claims (10)

1. 入力画像に撮像された物を認識する画像処理装置において、
   入力画像上の点の輝度を検出する輝度検出手段を備え、
   前記輝度検出手段が所定距離離隔した２点を結ぶ線分上に前記２点の輝度の中間値となる輝度を検出した場合、前記２点間に３次元形状の輪郭線があると判断することを特徴とする画像処理装置。
2. 入力画像に撮像された物を認識する画像処理装置において、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する２値化手段を備え、
   複数の２値画像のうち輝度階調について連続する所定数の２値画像において、略同一な位置に共通して存在する線を３次元形状の輪郭線と判断することを特徴とする画像処理装置。
3. 入力画像に撮像された物を認識する画像処理装置において、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する２値化手段を備え、
   一つの２値画像には点が密集しているがその他の２値画像には点が密集していない領域を２次元形状が占める領域と判断することを特徴とする画像処理装置。
4. 入力画像に撮像された物を認識する画像処理方法において、
   入力画像上の所定距離離隔した２点を特定するステップと、
   前記２点を結ぶ線分上に前記２点の輝度の中間値となる輝度を検出した場合に前記２点間に３次元形状の輪郭線があると判断するステップとを備えることを特徴とする画像処理方法。
5. 入力画像に撮像された物を認識する画像処理方法において、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成するステップと、
   複数の２値画像のうち輝度階調について連続する所定数の２値画像において、略同一な位置に共通して存在する線を３次元形状の輪郭線と判断するステップとを備えることを特徴とする画像処理方法。
6. 入力画像に撮像された物を認識する画像処理方法において、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成するステップと、
   一つの２値画像には点が密集しているがその他の２値画像には点が密集していない領域を２次元形状が占める領域と判断するステップとを備えることを特徴とする画像処理方法。
7. ３次元形状の輪郭の認識処理を実行するためにコンピュータを、
   入力画像上の所定距離離隔した２点を特定する手段、
   前記２点を結ぶ線分上の点の中から前記２点の輝度の中間値となる輝度の点を抽出する手段、
   前記抽出された点を３次元形状の輪郭点と決定する手段として機能させるための画像処理プログラム。
8. ３次元形状の輪郭の認識処理を実行するためにコンピュータを、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する手段、
   複数の２値画像のうち輝度階調について連続する所定数の２値画像において、略同一な位置に共通して存在する線を抽出する手段、
   前記抽出された線を３次元形状の輪郭線と決定する手段として機能させるための画像処理プログラム。
9. ２次元形状の占める領域の認識処理を実行するためにコンピュータを、
   入力画像を所定の輝度階調毎に２値化処理をして複数の２値画像を生成する手段、
   一つの２値画像には点が密集しているがその他の２値画像には点が密集していない領域を抽出する手段、
   前記抽出された領域を２次元形状の占める領域と決定する手段として機能させるための画像処理プログラム。
10. 請求項７から９のいずれかに記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images