JP2015005187A - ライン検出装置およびライン検出方法ならびに測距装置 - Google Patents
ライン検出装置およびライン検出方法ならびに測距装置 Download PDFInfo
- Publication number
- JP2015005187A JP2015005187A JP2013130710A JP2013130710A JP2015005187A JP 2015005187 A JP2015005187 A JP 2015005187A JP 2013130710 A JP2013130710 A JP 2013130710A JP 2013130710 A JP2013130710 A JP 2013130710A JP 2015005187 A JP2015005187 A JP 2015005187A
- Authority
- JP
- Japan
- Prior art keywords
- point
- line
- pair
- search
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、画像にラインとは異なるものがある場合でも、情報処理の負荷の増大を抑制しつつ、ラインを精度よく検出できるライン検出装置および該方法ならびに測距装置を提供する。
【解決手段】本発明のライン検出装置は、画像の画像情報を取得する画像取得部の一例の撮像部1と、基準となる1対の基準ラインを表す基準ライン情報を記憶する基準ライン情報記憶部51と、前記画像情報から1対のラインを検出するライン検出部22とを備え、ライン検出部22は、探索開始点から水平方向の両方向で1対の各ライン上の候補点を探索し、探索結果および1対の基準ラインに基づいて、水平方向に直交する高さ方向における探索開始点の高さでの1対の各ライン上の各検出点を決定する探索決定処理を、高さ方向における一方端から他方端までの各高さで実行し、各探索決定処理によって各高さで決定された各検出点に基づいて1対のラインを検出する。
【選択図】図1
【解決手段】本発明のライン検出装置は、画像の画像情報を取得する画像取得部の一例の撮像部1と、基準となる1対の基準ラインを表す基準ライン情報を記憶する基準ライン情報記憶部51と、前記画像情報から1対のラインを検出するライン検出部22とを備え、ライン検出部22は、探索開始点から水平方向の両方向で1対の各ライン上の候補点を探索し、探索結果および1対の基準ラインに基づいて、水平方向に直交する高さ方向における探索開始点の高さでの1対の各ライン上の各検出点を決定する探索決定処理を、高さ方向における一方端から他方端までの各高さで実行し、各探索決定処理によって各高さで決定された各検出点に基づいて1対のラインを検出する。
【選択図】図1
Description
本発明は、画像から所定のラインを検出するライン検出装置およびライン検出方法に関する。そして、本発明は、このライン検出装置を用いた、所定の物体までの距離を測定する測距装置に関する。
従来、ラインの検出は、様々な用途に用いられている。例えば、車両に搭載されたカメラによって撮像された画像からラインとして白線や黄色線等の境界線が検出され、この検出された境界線に基づいて自車の位置が認識されている。さらに、走行車線内における自車の位置が路肩や隣車線に近過ぎているか否かが判定され、また、境界線から自車の走行領域が予測され、この予測された走行領域内に、他車や人等の走行上の障害物の有無が判定され、これら判定結果が自車の走行に利用されている。
このようなラインを検出するライン検出装置は、例えば、特許文献1に開示されている。この特許文献1に開示の車線検出装置は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出部と、前記検出部によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御部とを有している。そして、この車線検出装置では、検出部は、車線および該車線以外の路面標示を検出するために、まず、撮影画像から、いわゆるエッジフィルタを用いることによって各画素の輝度値に基づいてエッジ点を検出し、この検出したエッジ点を繋ぎ合わせることによってエッジ線分を検出する。次に、検出部は、一対のエッジ線分が白線と類似する傾向を示すほどスコアが高くなるように予め定義された所定の白線スコアを求め、この求めた白線スコアに基づいて、前記検出したエッジ線分から、白線の候補となる一対のエッジ線分を、白線候補データとして検出する。そして、検出部は、所定の横断歩道除外処理、所定の矢印標示除外処理および所定の速度標示処理を実行することによって、白線候補データから、横断歩道、矢印標示および速度標示を除外し、これらを除外した白線候補データを、道路の連なる方向に沿って連結することによって、白線を検出する。
ところで、前記特許文献1に開示の車線検出装置では、前記検出部は、上述したように、白線と該白線とは異なるものとを区別する上述の各処理が別途に必要となっている。このため、前記特許文献1に開示の車線検出装置では、情報処理の負荷が大きくなってしまう。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、画像にラインとは異なるものがある場合でも、情報処理の負荷の増大を抑制しつつ、ラインを精度よく検出できるライン検出装置およびライン検出方法ならびにライン検出装置を用いた測距装置を提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかるライン検出装置は、画像の画像情報を取得する画像取得部と、予め設定された基準となる1対のラインである1対の基準ラインを表す基準ライン情報を記憶する基準ライン情報記憶部と、前記画像取得部によって取得された画像情報から所定の1対のラインを検出するライン検出部とを備え、前記ライン検出部は、所定の探索開始点から水平方向の両方向で前記所定の1対の各ライン上の候補点をそれぞれ探索し、前記探索結果および前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記所定の1対の各ライン上の各検出点をそれぞれ決定する探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さでそれぞれ実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記所定の1対のラインを検出することを特徴とする。そして、本発明の他の一態様にかかるライン検出方法は、画像の画像情報を取得する画像取得工程と、予め設定された基準となる1対のラインである1対の基準ラインを表す基準ライン情報を基準ライン情報記憶部に記憶する記憶工程と、前記画像取得工程によって取得された画像情報から所定の1対のラインを検出するライン検出工程とを備え、前記ライン検出工程は、所定の探索開始点から水平方向の両方向で前記所定の1対の各ライン上の候補点をそれぞれ探索し、前記探索結果および前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記所定の1対の各ライン上の各検出点をそれぞれ決定する探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さでそれぞれ実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記所定の1対のラインを検出することを特徴とする。
このようなライン検出装置およびライン検出方法は、探索の結果および1対の基準ラインに基づいて、高さ方向における探索開始点の高さでの所定の1対のライン上の各検出点をそれぞれ決定する。このように探索の結果だけでなく1対の基準ラインも利用するから、このようなライン検出装置およびライン検出方法は、画像にラインとは異なるものがある場合でも、情報処理の負荷の増大を抑制しつつ、ラインを精度よく検出できる。
また、他の一態様では、上述のライン検出装置において、前記所定の探索開始点における前記水平方向の位置は、1回目の探索決定処理では前記画像における前記水平方向の中央位置であり、2回目以降の探索決定処理では前回の探索決定処理によって決定された前記水平方向の両方向での各検出点間の中央位置であることを特徴とする。
このようなライン検出装置は、2回目以降の探索決定処理では前回の探索決定処理によって決定された水平方向の両方向での各検出点間の中央位置を、前記所定の探索開始点における水平方向の位置に設定するので、直前の結果を反映させることで、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記水平方向の両方向それぞれにおいて、前記探索結果が前記候補点の未検出であった場合、前記基準ラインにおける前記探索開始点の高さでの点を前記検出点として決定することを特徴とする。
このようなライン検出装置は、前記探索結果が前記候補点の未検出であった場合、前記基準ラインにおける前記探索開始点の高さでの点を前記検出点として決定するので、前記探索結果が前記候補点の未検出であった場合でも、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記探索結果が前記水平方向の一方向で前記候補点を検出し他方向で前記候補点を未検出であった場合、前記検出した前記一方向の前記候補点を前記一方向の前記検出点として決定すると共に、前記検出した前記一方向の前記候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長だけ前記他方向へ離間した位置の点を、前記他方向の前記検出点として決定することを特徴とする。
このようなライン検出装置は、候補点が未検出であっても、前記検出した前記候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長だけ離間した位置の点を、前記検出点として決定するので、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する所定の範囲内である場合に、前記検出した前記各候補点を前記検出点として決定することを特徴とする。
このようなライン検出装置は、水平方向の両方向で各候補点を検出した場合に、前記1対の基準ラインにおける第1幅長とこれら検出した各候補点間の第2幅長とを比較することによって、これら各候補点の適切性を判定するので、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における上限を上回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点と、前記近い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各検出点としてそれぞれ決定することを特徴とする。
このようなライン検出装置では、水平方向の両方向で各候補点が検出された場合に、これら各候補点の適切性が判定される。そして、この判定の結果、前記第2幅長が前記第1波長に較べて前記所定の範囲を超えて長い場合に、前記画像における前記水平方向の中央位置に遠い候補点は、前記近い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点に修正され、この修正された点が検出点とされる。このため、このようなライン検出装置は、前記第2幅長が前記第1波長に較べて前記所定の範囲を超えて長い場合でも、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における下限を下回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点を除去し、前記除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、前記第2幅長が前記第1幅長に対する所定の範囲内になるまで繰り返すことを特徴とする。
このようなライン検出装置では、水平方向の両方向で各候補点が検出された場合に、これら各候補点の適切性が判定される。そして、この判定の結果、前記第2幅長が前記第1波長に較べて前記所定の範囲に到達せずに短い場合に、前記画像における前記水平方向の中央位置に近い候補点が候補から外され、さらに、新たな候補点が探索される。このため、このようなライン検出装置は、前記第2幅長が前記第1波長に較べて前記所定の範囲に到達せずに短い場合でも、精度よくラインを検出できる。
また、他の一態様では、上述のライン検出装置において、前記ライン検出部は、前記除去探索処理の繰り返しにおいて、前記画像における水平方向の端部に到達するまでに、前記第2幅長が前記第1幅長に対する所定の範囲内になる候補点を探索できなかった場合、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に遠い候補点と、前記遠い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各検出点としてそれぞれ決定することを特徴とする。
このようなライン検出装置では、適切な新たな候補点が探索されなかった場合に、前記画像における前記水平方向の中央位置に近い候補点は、前記遠い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点に修正され、この修正された点が検出点とされる。このため、このようなライン検出装置は、適切な新たな候補点が探索されなかった場合でも、精度よくラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記ライン検出部は、前記各探索決定処理によって前記各高さで決定された前記各検出点を近似する1対の近似線を前記所定の1対のラインとして求めることを特徴とする。
このようなライン検出装置は、各検出点を近似線で近似するので、凹凸の低減された比較的滑らかな1対のラインを検出できる。
また、他の一態様では、これら上述のライン検出装置において、前記画像取得部は、時系列な画像の画像情報を取得し、前記ライン検出部は、前記時系列な画像の最新の最新画像における前記所定の1対のラインを検出する際に、前記最新画像の1つ前の画像から検出した前記所定の1対のラインにおける第3幅長に基づいて補正した前記第1幅長を用いることを特徴とする。
このようなライン検出装置は、実際の検出結果に基づいて補正した前記第1幅長を用いるので、基準ラインの幅長と、実際のラインの幅長との誤差を低減できる。
また、他の一態様では、これら上述のライン検出装置において、移動体に搭載され、被写体を撮像して前記被写体の画像の画像情報を生成する撮像部をさらに備え、前記画像情報取得部は、前記撮像部から前記画像情報を取得することを特徴とする。この構成によれば、撮像部を備えたライン検出装置が提供される。
また、本発明の他の一態様にかかる測距装置は、移動体に搭載され、被写体を撮像する撮像部と、前記撮像部によって撮像された画像に含まれる所定の物体までの距離を求める距離演算部と、前記撮像部によって撮像された画像に含まれる所定の1対のラインを検出する検出部とを備え、前記検出部は、これら上述のいずれかのライン検出装置であり、前記距離演算部は、前記ライン検出装置によって検出された前記所定の1対のラインによって挟まれるライン内側領域、および、前記移動体に最も近接する位置である前記画像の下端から消失点までの領域であって前記ライン内側領域を除くライン外側領域のうちの少なくとも一方に含まれる前記所定の物体までの距離を求めることを特徴とする。
このような測距装置は、これら上述のいずれかのライン検出装置を用いるので、精度よくラインを検出できる。このため、例えば、前記ラインとして路面の車線を検出することで、このような測距装置は、走行領域内外における所定の物体までの距離を検出できる。
本発明にかかるライン検出装置およびライン検出方法ならびに測距装置は、画像にラインとは異なるものがある場合でも、情報処理の負荷の増大を抑制しつつ、ラインを精度よく検出できるライン検出装置およびライン検出方法ならびにライン検出装置を用いた測距装置を提供することである。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
図1は、実施形態における測距装置の構成を示す図である。本実施形態における測距装置は、移動体に搭載された撮像部によって撮像された撮像画像に基づいて、当該移動体から前記撮像画像に含まれる所定の物体までの距離を測定する装置である。前記移動体は、例えば自動車や列車等の車両、移動機能を備えたロボットおよび視覚障害者の移動支援装置等である。前記移動体は、自走可能であってもよい。そして、本実施形態における測距装置は、前記撮像画像に含まれる所定の1対のラインを検出するライン検出装置を備えており、前記ライン検出装置によって検出された前記所定の1対のラインによって挟まれるライン内側領域、および、前記移動体に最も近接する位置である前記撮像画像の下端から消失点までの領域であって前記ライン内側領域を除くライン外側領域のうちの少なくとも一方に含まれる前記所定の物体までの距離を求めるものである。
このような測距装置DMは、例えば、図1に示すように、撮像部1と、処理部2と、入力部3と、出力部4と、記憶部5と、インターフェース部(IF部)6とを備える。
入力部3は、処理部2に接続され、例えば、距離測定(測距)の測定開始を指示するコマンド等の各種コマンド、および、例えば測距対象の物体を指定する指示の入力等の測距に伴う各種データを測距装置に入力する機器である。出力部4は、処理部2に接続され、入力部3から入力されたコマンドやデータ、および、撮像画像や該撮像画像に含まれる所定の物体に対し測距した該所定の物体までの距離を出力する機器であり、例えばCRTディスプレイ、液晶ディスプレイ(LCD)および有機ELディスプレイ等の表示装置や例えばプリンタ等の印刷装置等である。本実施形態では、入力部3は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部4は、表示装置であり、これら位置入力装置および表示装置でタッチパネルが構成される。
このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として測距装置DMに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い測距装置DMが提供される。
IF部6は、処理部2に接続され、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS−232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。
撮像部1は、図略の前記移動体に搭載され、被写体を時間的に連続して撮像する装置である。好ましくは、撮像部1は、その撮像方向(光軸方向)と前記移動体の移動方向とを一致させて前記移動体に配設される。例えば、撮像部1は、車両に搭載される場合、撮像方向(光軸方向)を前方に向けて例えばダッシュボード上に配設される。撮像部1は、例えば、撮像光学系と、カラーまたはモノクロのイメージセンサと、画像処理部とを備え、撮像光学系によってイメージセンサの撮像面(受光面)上に被写体の光学像が結像され、イメージセンサによって前記被写体の光学像が光電変換され、この光電変換によって得られた信号から画像処理部の画像処理によって前記被写体の撮像画像が生成される。撮像部1は、被写体を所定の時間間隔で連続的に撮像する。例えば、撮像部1は、15フレーム/秒、24フレーム/秒および30フレーム/秒等の所定のフレームレートになるように、被写体を時間的に連続して撮像する。撮像部1は、処理部2に接続され、この生成した撮像画像を順次に処理部2へ出力する。このような撮像部1は、画像の画像情報を取得する画像取得部の一例に相当する。
記憶部5は、処理部2に接続され、処理部2によって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するROM(Read Only Memory)やEEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性記憶素子、処理部2のいわゆるワーキングメモリとなるRAM(Random Access Memory)等の揮発性記憶素子およびその周辺回路を備えて構成される。そして、記憶部5には、機能的に、所定の基準ライン情報を記憶する基準ライン情報記憶部51が構成される。基準ライン情報は、予め設定された基準となる1対のラインである1対の基準ラインを表す情報である。
処理部2は、前記撮像部1によって取得された画像情報から所定の1対のラインを検出し、前記画像情報による画像(本実施形態では前記撮像部1によって撮像された撮像画像)において、この検出した1対のラインによって区画される前記ライン内側領域および前記ライン外側領域のうちの少なくとも一方に含まれる所定の物体までの距離を測定するべく、測距装置DMの各部を当該各部の機能に応じてそれぞれ制御するものである。処理部2は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。処理部2には、前記移動体から前記撮像画像に含まれる所定の物体までの距離を測定するための測距プログラムを実行することによって、機能的に、制御部21、ライン検出部22および距離演算部23が構成される。さらに、ライン検出部22には、機能的に、候補点探索部221、検出点決定部222およびライン演算部223が構成される。制御部21は、測距装置DM全体の制御を司るものである。
ライン検出部22は、前記撮像部1によって撮像された撮像画像から所定の1対のラインを検出するものである。より具体的には、ライン検出部22は、前記撮像画像において、所定の探索開始点から水平方向の両方向で前記1対の各ライン上の候補点をそれぞれ探索し、前記探索の結果および基準ライン情報記憶部51に予め記憶された前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記1対の各ライン上の各検出点をそれぞれ決定する探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さで実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記1対のラインを検出するものである。このようなライン検出部22は、上述したように、機能的に、候補点探索部221、検出点決定部222およびライン演算部223を備える。
候補点探索部221は、前記撮像画像において、所定の探索開始点から水平方向の両方向で前記1対の各ライン上の候補点をそれぞれ探索し、前記探索の結果および基準ライン情報記憶部51に予め記憶された前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記1対の各ライン上の最終的な各最終候補点をそれぞれ決定するものである。前記探索開始点は、前記候補点の探索を始める前記撮像画像上の位置であり、本実施形態では、例えば、前記探索開始点における前記水平方向の位置は、1回目の探索決定処理では前記撮像画像における前記水平方向の中央位置であり、2回目以降の探索決定処理では前回の探索決定処理によって決定された前記水平方向の両方向での各検出点間の中央位置である。前記候補点の探索には、公知の常套手段が用いられる。例えば、撮像画像からエッジ点を前記候補点として抽出する手法が挙げられる。また例えば、予め与えられた候補点の画像を参照テンプレートとし、撮像画像と参照テンプレートとをパターンマッチング処理(相関処理)することによって候補点を検出する手法が挙げられる。なお、上述の各手法において、先に、ラインの候補を抽出してから、このラインの候補に基づいて候補点の探索が実施されてもよい。以下も同様である。
より具体的には、ライン検出部22の候補点探索部221は、前記水平方向の両方向それぞれにおいて、候補点探索部221による前記探索の結果が前記候補点の未検出であった場合、前記基準ラインにおける前記探索開始点の高さでの点を前記最終候補点として決定する。ライン検出部22の候補点探索部221は、前記探索の結果が前記水平方向の一方向で前記候補点を検出し他方向で前記候補点を未検出であった場合、前記検出した前記一方向の前記候補点を前記一方向の前記最終候補点として決定すると共に、前記検出した前記一方向の前記最終候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長だけ前記他方向へ離間した位置の点を、前記他方向の前記最終候補点として決定する。ライン検出部22の候補点探索部221は、前記探索の結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記探索開始点を挟む前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する所定の範囲内である場合に、前記検出した前記各候補点そのまま前記各最終候補点として決定する。ライン検出部22の候補点探索部221は、前記探索の結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記探索開始点を挟む前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における上限を上回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点と、前記近い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各最終候補点としてそれぞれ決定する。ライン検出部22の候補点探索部221は、前記探索の結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記探索開始点を挟む前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における下限を下回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点を除去し、前記除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、前記第2幅長が前記第1幅長に対する所定の範囲内になるまで繰り返す。ライン検出部22の候補点探索部221は、前記除去探索処理の繰り返しにおいて、前記画像における水平方向の端部に到達するまでに、前記第2幅長が前記第1幅長に対する所定の範囲内になる候補点を探索できなかった場合、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に遠い候補点と、前記遠い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各最終候補点としてそれぞれ決定する。
検出点決定部222は、候補点探索部221による前記探索の結果および基準ライン情報記憶部51に予め記憶された前記1対の基準ラインに基づいてそれぞれ決定された前記各最終候補点を、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記1対の各ライン上の各検出点にそれぞれ決定するものである。
そして、ライン演算部223は、候補点探索部221によって実行される前記探索の処理および検出点決定部222によって実行される前記決定の処理から成る探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さでそれぞれ実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記1対のラインを検出するものである。すなわち、ライン演算部223は、前記高さ方向における所定の一方端から所定の他方端までの各高さで、候補点探索部221に前記探索の処理を実行させると共に検出点決定部222に前記決定の処理を実行させ、前記各高さで決定された前記各検出点に基づいて前記1対のラインを検出するものである。このようなライン演算部223は、好ましくは、前記各探索決定処理によって前記各高さで決定された前記各検出点を近似する1対の近似線を前記所定の1対のラインとして求める。近似には、前記各検出点を直線で近似する線形近似および前記各検出点を曲線で近似する曲線近似等が用いられ、いわゆる移動平均のように、前記各検出点のうちの一部が近似されこの一部を移動させることによって前記各検出点の全体が近似されてもよい。これら各一部の近似には、同一の近似方法が用いられてよく、また異なる近似方法が用いられてよい。前記曲線近似には、例えば、前記各検出点を多項式による曲線で近似する多項式近似、および、前記各検出点を対数曲線で近似する対数近似等が挙げられる。
次に、本実施形態における測距装置DMの動作について説明する。図2は、実施形態における測距装置の初期設定を説明するための図である。図3および図4は、実施形態における測距装置の動作を示すフローチャートである。図5は、実施形態の測距装置の動作における探索開始点を説明するための図である。図6は、実施形態の測距装置の動作において、左右両方向で候補点を探索できなかった場合における検出点の探索決定処理を説明するための図である。図7は、実施形態の測距装置の動作において、左右両方向のうちの一方で候補点を探索できなかった場合における検出点の探索決定処理を説明するための図である。図8は、実施形態の測距装置の動作において、左右両方向で候補点を探索した場合における検出点の第1の探索決定処理を説明するための図である。図9は、実施形態の測距装置の動作において、左右両方向で候補点を探索した場合における検出点の第2の探索決定処理を説明するための図である。図10は、実施形態の測距装置の動作において、左右両方向で候補点を探索した場合における検出点の第3の探索決定処理を説明するための図である。これら図6ないし図10において、(A)は、探索決定処理の様子を示し、(B)は、探索決定処理によって決定された検出点を示す。図11は、実施形態の測距装置の動作において、各探索決定処理によって決定された各検出点からラインを形成するライン形成処理を説明するための図である。図11(A)は、各探索決定処理によって決定された各検出点を示し、図11(B)は、これら各検出点を近似することによって得られた1対のラインを示す。
上記構成の、ライン検出装置を搭載した測距装置DMでは、所定の1対のラインを検出するライン検出処理を実行する前に、まず、初期設定が実行される。この初期設定では、前記1対の基準ラインを表す基準ライン情報が基準ライン情報記憶部51に記憶される。前記1対の基準ラインは、測距装置DMが自動車等の車両に搭載される場合に、例えば、道路における走行車線を区分するために、路面上に描かれた1対の白線(境界線)である。このような1対の基準ライン(1対の白線)BL1、BL2は、例えば、図2に示すように、いわゆる消失点VPを頂点とした三角形における前記消失点VPから延びる2辺である。消失点は、実際には平行である平行線が画像中で交わる点であり、撮像画像が遠近法を用いたように形成されるために生じる。この撮像画像上の消失点の位置(Vx、Vy)は、撮像部1における画素数および画角から成るカメラパラメータ、撮像部1の配置高さおよび光軸方向から求められる。そして、前記水平方向に直交する高さ方向における各高さでの1対の基準ラインにおける幅Wsは、前記カメラパラメータ(画素数および画角)および基準ラインの実際の幅から求められる。例えば、上述のように、1対の基準ラインが走行車線を区分する1対の白線である場合、前記1対の白線の幅は、道路構造令第5条第4項で道路種に応じて例えば3.5mと規定されており、この例では、基準ラインの実際の幅は、3.5となる。なお、前記1対の白線の幅は、これに限定されるものではなく、他の値であってもよく、また例えば、直前の検出結果における1対のラインの幅が用いられてもよい。この初期設定は、例えば、測距装置DMを前記移動体に取り付け後に実施される。また例えば、この初期設定は、測距装置DMの取り付け状態を予め規定することで、測距装置DMの製造段階や出荷段階に実施される。
このような初期設定が実施され、例えば図略の起動スイッチの入力や測距開始指示スイッチの入力等によって測距が開始されると、撮像部1は、処理部2の制御部21の制御に従って、被写体の撮像画像を所定のフレームレートで撮像し、時系列な撮像画像を順次に処理部2へ出力する。撮像部1から撮像画像が入力されると、処理部2のライン検出部22は、撮像画像に含まれる1対の白線を、検出対象である前記所定の1対のラインとして検出する。
より具体的には、図3および図4において、まず、ライン検出部22は、撮像部1から撮像画像を取得する(S1)。
次に、ライン検出部22の候補点探索部221は、探索開始点Psb(Xs、Ys)を決定する(S2)。1回目の探索決定処理では、探索開始点Psbにおける水平方向の位置Xsは、撮像画像における前記水平方向の中央位置であり、2回目以降の探索決定処理では、前回の探索決定処理によって決定された前記水平方向の両方向での各検出点DPL、DPR間の中央位置である。本実施形態では、前記撮像画像は、例えば図5に示すように、水平方向w[pixel]とされ、高さ方向h[pixel]とされ、座標原点(0,0)は、図5の紙面における上端の左端の位置とされている。このため、前記撮像画像の幅をwとすると、1回目の探索決定処理では、Xs=w/2であり、2回目以降の探索決定処理では、Xs=(DPL+DPR)/2である。探索開始点Psbにおける高さ方向の位置Ysは、1回目の探索決定処理では、撮像画像の下端位置とされ、Ys=h−1であり、2回目以降の探索決定処理では、探索開始点Psbにおける高さ方向の位置Ysは、前回の探索決定処理の高さ位置に、1画素ライン分だけ加算され、Ys=Ys−1である。
なお、本実施形態では、このように撮像画像の下端から上方の消失点VPへ各画素ライン毎に探索決定処理が実行されるが、例えば、消失点VPから下端へ各画素ライン毎に探索決定処理が実行されてよく、また例えば、予め設定された所定の高さ位置から消失点VP(または上端)および下端の各端それぞれへ各画素ライン毎に探索決定処理が実行されてよい。
次に、候補点探索部221は、撮像画像において、高さYsにおける1対の基準ラインBL1、BL2の幅Wsを求める(S3)。
次に、候補点探索部221は、探索開始点Psbから水平方向の両方向で1対の各白線上の候補点CPをそれぞれ探索し、前記両方向で各候補点CPを検出したか否かを判定する(S4)。白線の検出には、公知の常套手段が用いられる。例えば、白線の検出方法として、予め与えられた白線の画像を参照テンプレートとし、画像と参照テンプレートとをパターンマッチング処理(相関処理)することによって白線を検出する公知の手法が挙げられる(例えば特開2003−252148号公報参照)。また例えば、白線の検出方法として、画像からエッジ点を抽出し、画像を複数の部分画像に分割し、各部分画像内に存在するエッジ点を通る線分を抽出し、線分の傾きと端点位置との差が所定範囲内にある線分同士を一つの組とし、組となった線分の傾きおよび端点位置を特徴として抽出し、白線や横断歩道等を検出する公知の手法が挙げられる(例えば特開2005−339468号公報参照)。この処理S4における判定の結果、前記両方向で各候補点CPL、CPRを検出した場合(Y)には、候補点探索部221は、処理S31を実行する。一方、この処理S4における判定の結果、前記両方向で各候補点CPL、CPRを検出しない場合(N)には、候補点探索部221は、処理S5を実行する。
処理S5において、候補点探索部221は、前記両方向のうちの一方向(例えば左方向)で候補点CPLを検出したか否かを判定する。この処理S5における判定の結果、前記一方向(例えば左方向)で候補点CPLを検出しない場合(N)には、候補点探索部221は、処理S6を実行する。
処理S6において、候補点探索部221は、前記両方向のうちの他方向(例えば右方向)で候補点CPRを検出したか否かを判定する。この処理S6における判定の結果、前記他方向(例えば右方向)で候補点CPRを検出しない場合(N)には、候補点探索部221は、処理S7を実行する。すなわち、処理S7は、探索開始点Psbから水平方向の両方向それぞれで1対の各白線上の各候補点CPL、CPRを共に探索しない場合(前記両方向それぞれにおいて各候補点CPL、CPRの未検出の場合)に実行される。
処理S7において、候補点探索部221は、例えば図6(A)、(B)に示すように、前記1対の各基準ラインBL1、BL2における探索開始点Psbの高さYs1での各点CPL1、CPR1を各最終候補点CPL1、CPR1として決定する。そして、この処理S7の実行後に、処理S8が実行される。
一方、前記処理S6における判定の結果、前記他方向(例えば右方向)で候補点CPRを検出した場合(Y)には、候補点探索部221は、処理S21を実行する。すなわち、処理S21は、前記両方向のうちの一方で候補点CPを検出し他方で候補点CPを未検出であった場合に実行される。この処理S21において、候補点探索部221は、例えば図7(A)、(B)に示すように、前記検出した前記他方向(例えば右方向)の候補点CPR2を前記他方向の最終候補点CPR2として決定すると共に、前記検出した前記他方向(例えば右方向)の候補点CPR2から、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さでの第1幅長Ws2だけ前記一方向(この例では左方向)へ離間した位置の点CPL2を、前記一方向の最終候補点DPL2として決定する。そして、この処理S21の実行後に、処理S8が実行される。
そして、前記処理S5における判定の結果、前記一方向(例えば左方向)で候補点CPLを検出した場合(Y)には、候補点探索部221は、処理S22を実行する。すなわち、処理S22は、処理S21と同様に、前記両方向のうちの一方で候補点CPを検出し他方で候補点CPを未検出であった場合に実行される。この処理S22において、候補点探索部221は、処理S21と同様に、前記検出した前記一方向(例えば左方向)の候補点CPLを前記一方向の最終候補点CPLとして決定すると共に、前記検出した前記一方向(例えば左方向)の候補点CPLから、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ前記他方向(この例では右方向)へ離間した位置の点CPRを、前記他方向の最終候補点CPRとして決定する。そして、この処理S22の実行後に、処理S8が実行される。
また、上述の処理S4における判定の結果で両方向共に各候補点CPL、CPRを検出した場合に実行される処理S31において、候補点探索部221は、これら各候補点CPL、CPR間の第2幅長Wcを求める。
次に、候補点探索部221は、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsと前記検出した探索開始点Psbを挟む各候補点間の第2幅長Wcとを比較し、第2幅長Wcが第1幅長Wsに対する所定の範囲内であるか否かを判定する。そして、その判定の結果、候補点探索部221は、第2幅長Wcが第1幅長Wsに対する所定の範囲内である場合に、前記検出した各候補点CPL、CPRを最終候補点CPL、CPRとして決定する。一方、前記判定の結果、候補点探索部221は、第2幅長Wcが第1幅長Wsに対する所定の範囲における上限を上回る場合に、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点と、前記近い候補点から、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ前記中央位置の方向へ離間した位置の点とを、各最終候補点DPL、DPRとしてそれぞれ決定する。また、前記判定の結果、候補点探索部221は、第2幅長Wcが第1幅長Wsに対する所定の範囲における下限を下回る場合に、前記検出した各候補点CPl、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点を除去し、前記除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、第2幅長Wcが第1幅長Wsに対する所定の範囲内になるまで繰り返す。そして、候補点探索部221は、前記除去探索処理の繰り返しにおいて、前記撮像画像の端部に到達するまでに、第2幅長Wcが第1幅長Wsに対する所定の範囲内になる候補点を探索できなかった場合、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に遠い候補点と、前記遠い候補点から、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向へ離間した位置の点とを、各最終候補点CPL、CPRとしてそれぞれ決定する。
より具体的には、前記所定の範囲は、例えば、第1幅長Wsに下限比率RLを乗じた下限値WRL(WRL=Ws×RL)から第1幅長Wsに上限比率RUを乗じた上限値WRU(WRU=Ws×RU)までの範囲、例えば、第1幅長Wsに対する約80%〜120%の範囲(RL=0.8、RU=1.2)とされる。このため、上述の処理S31を実行した後に、まず、候補点探索部221は、第1幅長Wcが下限値WRL未満であるか否かを判定する(S32)。この処理S32における判定の結果、第1幅長Wcが下限値WRL未満ではない場合(第1幅長Wcが下限値WRL以上である場合、N)には、処理S33が実行される。
処理S33において、候補点探索部221は、第1幅長Wcが上限値WRUを超えているか否かを判定する。この処理S33における判定の結果、第1幅長Wcが上限値WRUを超えていない場合(第1幅長Wcが上限値WRU以下である場合、N)には、処理S8が実行される。すなわち、この場合では、処理S8は、第1幅長Wcが下限値WRL以上であって下限値WRL以上である場合に、言い換えれば、第2幅長Wcが第1幅長Wsに対する所定の範囲内である場合に、実行される。そして、この場合における後述の処理S8において、検出点決定部222は、例えば、図8(A)、(B)に示すように、探索開始点Psbの高さで候補点探索部221が検出した各候補点CPL3、CPR3を検出点DPL3、DPR3として決定する。
一方、前記処理S33における判定の結果、第1幅長Wcが上限値WRUを超えている場合(Y)には、処理S34が実行される。処理S34において、候補点探索部221は、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点を判定する。より具体的には、候補点探索部221は、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)における水平方向の位置CLと前記撮像画像における幅wの半分w/2との差分の第1絶対値|CL−w/2|が、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)における水平方向の位置CRと前記撮像画像における幅wの半分w/2との差分の第2絶対値|CR−w/2|より大きいか否かを判定する。
この処理S34における判定の結果、前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|より大きくない場合(前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|以下の場合、N)には、すなわち、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)が、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)より、前記撮像画像における水平方向の中央位置に近い場合には、処理S35が実行される。この処理S35において、候補点探索部221は、例えば、図9(A)、(B)に示すように、探索開始点Psbの高さで前記検出した各候補点CPL4、CPR4のうちの、前記撮像画像における水平方向の中央位置に近い候補点、この例では左方向の候補点CPL4と、この近い候補点CPL4から、前記1対の基準ラインBL1、BL2における探索開始点Psbの前記高さでの第1幅長Ws4だけ前記中央位置の方向へ離間した位置の点CPR4とを、各最終候補点CPL4、CPR4としてそれぞれ決定する。そして、この処理S35の実行後に、処理S8が実行される。
一方、前記処理S34における判定の結果、前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|より大きい場合(Y)には、すなわち、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)が、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)より、前記撮像画像における水平方向の中央位置に近い場合には、処理S36が実行される。この処理S36において、候補点探索部221は、上述の処理S35と同様に、探索開始点Psbの高さYsで前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点、この例では右方向の候補点CPRと、この近い候補点CPRから、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ前記中央位置の方向へ離間した位置の点CPLとを、各最終候補点DPL、DPRとしてそれぞれ決定する。そして、この処理S36の実行後に、処理S8が実行される。
また、前記処理S32における判定の結果、第1幅長Wcが下限値WRL未満である場合(Y)には、処理S41が実行される。処理S41において、候補点探索部221は、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点を判定する。より具体的には、候補点探索部221は、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)における水平方向の位置CLと前記撮像画像における幅wの半分w/2との差分の第1絶対値|CL−w/2|が、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)における水平方向の位置CRと前記撮像画像における幅wの半分w/2との差分の第2絶対値|CR−w/2|より小さいか否かを判定する。
この処理S41における判定の結果、前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|より小さくない場合(前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|以上の場合、N)には、すなわち、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)が、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)より、前記撮像画像における水平方向の中央位置に近い場合には、処理S42が実行される。この処理S42において、候補点探索部221は、例えば、図10(A)、(B)に示すように、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点CP、この例では右方向の候補点CPRを除去し、この除去した候補点CPRの位置から、前記中央位置から離れる水平方向、この例では右方向で新たな候補点CPを探索する。そして、候補点探索部221は、新たな候補点CPの探索が前記撮像画像の端部、この例では右端に到達したか否かを判定する(S43)。
この処理S43における判定の結果、新たな候補点CPの探索が前記撮像画像の端部に到達していない場合(N)には、候補点探索部221は、処理をS31に戻す。これによって、候補点探索部221は、第2幅長Wcが第1幅長Wsに対する所定の範囲における下限を下回る場合に、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点を除去し、この除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、第2幅長Wcが第1幅長Wsに対する所定の範囲内になるまで繰り返すことになる。
一方、前記処理S43における判定の結果、新たな候補点CPの探索が前記撮像画像の端部に到達した場合(Y)には、候補点探索部221は、処理S44を実行する。すなわち、処理S44は、前記除去探索処理の繰り返しにおいて、前記撮像画像の端部に到達するまでに、第2幅長Wcが第1幅長Wsに対する所定の範囲内になる候補点を探索できなかった場合に実行される。この処理S44において、候補点探索部221は、探索開始点Psbの高さYsで前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に遠い候補点CP、この例では左方向の候補点CPLと、この遠い候補点CPLから、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向、この例では右方向へ離間した位置の点CPRとを、各最終候補点DPL、DPRとしてそれぞれ決定する。そして、この処理S44の実行後に、処理S8が実行される。
一方、前記処理S41における判定の結果、前記第1絶対値|CL−w/2|が前記第2絶対値|CR−w/2|より小さい場合(Y)には、すなわち、前記検出した一方向の候補点CP(例えば、左方向の候補点CPL)が、前記検出した他方向の候補点CP(例えば、右方向の候補点CPR)より、前記撮像画像における水平方向の中央位置に近い場合には、処理S45が実行される。この処理S45において、候補点探索部221は、処理S42と同様に、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点CP、この例では左方向の候補点CPLを除去し、この除去した候補点CPLの位置から、前記中央位置から離れる水平方向、この例では左方向で新たな候補点CPを探索する。そして、候補点探索部221は、新たな候補点CPの探索が前記撮像画像の端部、この例では左端に到達したか否かを判定する(S46)。
この処理S46における判定の結果、新たな候補点CPの探索が前記撮像画像の端部に到達していない場合(N)には、候補点探索部221は、処理S43と同様に、処理をS31に戻す。これによって、候補点探索部221は、第2幅長Wcが第1幅長Wsに対する所定の範囲における下限を下回る場合に、前記検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に近い候補点を除去し、この除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、第2幅長Wcが第1幅長Wsに対する所定の範囲内になるまで繰り返すことになる。
一方、前記処理S46における判定の結果、新たな候補点CPの探索が前記撮像画像の端部に到達した場合(Y)には、候補点探索部221は、処理S43と同様に、処理S47を実行する。すなわち、処理S47は、処理S44と同様に、前記除去探索処理の繰り返しにおいて、前記撮像画像の端部に到達するまでに、第2幅長Wcが第1幅長Wsに対する所定の範囲内になる候補点を探索できなかった場合に実行される。この処理S47において、候補点探索部221は、処理S44と同様に、探索開始点Psbの高さYsで候補点探索部221が検出した各候補点CPL、CPRのうちの、前記撮像画像における水平方向の中央位置に遠い候補点CP、この例では右方向の候補点CPRと、この遠い候補点CPRから、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向、この例では左方向へ離間した位置の点CPL’とを、各検出点DPL、DPRとしてそれぞれ決定する。そして、この処理S47の実行後に、処理S8が実行される。
このように候補点探索部221は、前記除去探索処理の繰り返しにおいて、前記撮像画像の端部に到達するまでに、第2幅長Wcが第1幅長Wsに対する所定の範囲内になる候補点CPを探索できなかった場合、前記検出した各候補点CPのうちの、前記撮像画像における水平方向の中央位置に遠い候補点CPと、この遠い候補点CPから、前記1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向へ離間した位置の点とを、各最終候補点CPとしてそれぞれ決定する。
そして、処理S8において、検出点決定部222は、探索開始点Psbの高さYsで候補点探索部221が検出した各最終候補点CPL、CPRを検出点DPL、DPRとして決定する。
次に、ライン演算部223は、次の画素ラインにおける候補点および検出点を調べるべく、Xsを(DPL+DPR)/2に更新し、YsをYs−1に更新する(Xs=(DPL+DPR)/2、Ys=Ys−1)(S9)。
次に、ライン演算部223は、探索決定処理が前記撮像画像における消失点に到達したか否かを判定するべく、YsがVyであるか否かが判定される(S10)。この処理S10における判定の結果、YsがVyである場合(Y)には、ライン演算部223は、処理S11を実行し、一方、この処理S10における判定の結果、YsがVyではない場合(N)には、ライン演算部223は、次の画素ラインにおける候補点および検出点を調べるために、処理を処理S3に戻す。
そして、処理S11において、ライン演算部223は、前記撮像部1によって撮像された画像情報から所定の1対のラインを検出する。すなわち、ライン演算部223は、上述の処理S1〜S10、S21、S22、S31〜S36およびS41〜S47の各処理によって求められた、各高さYsの各検出点DPL、DPRに基づいて前記所定の1対のラインを求める。本実施形態では、ライン演算部223は、例えば、図11(A)、(B)に示すように、これら各高さYsの各検出点DPL、DPRをそれぞれ近似する1対の近似線を前記所定の1対のラインSL1、SL2として求める。
このように撮像部1によって撮像された撮像画像から前記所定の1対のラインSL1、SL2が検出されると、距離演算部23は、自身の前記移動体から、前記撮像画像に含まれる所定の物体までの距離を求める(S12)。例えば、前記移動体が車両である場合には、自車両と他車両との間の車間距離を求めるために、前記所定の物体は、走行車線内、すなわち、ライン検出部22によって検出された前記1対の白線によって挟まれるライン内側領域に含まれる車両である。また例えば、安全性をより高めるために、前記所定の物体は、例えば路肩や歩道上、すなわち、自車両に最も近接する位置である撮像画像の下端から消失点までの領域であって前記ライン内側領域を除くライン外側領域を移動する歩行者や動物等である。このような他車両や人等と自車との間の距離を求めるために、まず、距離演算部23は、例えばパターンマッチング法、ニューラルネットワークを用いたマッチング法およびエッジ法等の公知の常套手段によって、前記撮像画像から他車両や人等を識別する。ここで、他車両や人等における撮像画像中の存在領域を前記ライン内側領域内や前記ライン外側領域に限定することができるので、情報処理の負荷を低減することができる。なお、距離演算部23は、前記ライン内側領域内の他車両までの距離のみを求めてもよく、前記ライン外側領域内の人までの距離のみを求めてもよく、また、これら両方の距離を求めてもよく、適宜に選択される。このように測距装置DMは、走行領域内外における所定の物体までの距離を検出できる。
より具体的には、前記所定の物体が自動車である場合には、例えば特開2004−112144号公報(文献1)に開示されているように、車両検出には、例えば、(1)道路上に引かれた1対の白線の間に挟まれる第1の水平エッジ(横エッジ)を、画像の下から上に向けて検出し、(2)第1の水平エッジより上方にある第2の水平エッジを検出し、そして、(3)第1の水平エッジと第2の水平エッジとに挟まれる領域にある1対の第1および第2の垂直エッジを検出する方法が用いられる。すなわち、画像処理による車両検出には、1対の白線の間に挟まれるエッジのヒストグラム(柱状図)から上下のペアとなる第1および第2の水平エッジまたは左右のペアとなる第1および第2の垂直エッジを検出する等の公知の常套手段(従来方法)が用いられる。そして、距離演算部23は、時系列の撮像画像のうちの最新の撮像画像から前記所定の物体を、参照テンプレートまたは前記最新の撮像画像を拡大や縮小しつつ、テンプレートマッチングによって検出する。これによって距離演算部23は、前記最新の撮像画像上における前記所定の物体の新たな位置および大きさが検出される。そして、距離演算部23は、この検出した前記新たな位置および大きさに基づいて自車両と前記所定の物体との間の距離を求める。前記距離zは、前記文献1に開示されているように、次の式(1)および式(2)によって与えられる。
θ=atan(f/xc) ・・・(1)
z=f・w/wc ・・・(2)
ここで、θは、画像上の物体Obにおける幅方向の中心xcで検出された位置の物体Obの存在する方位であり、fは、撮像部1の焦点距離であり、wは、実際の物体Obの幅であり、そして、wcは、画像上の物体Obの幅である。
θ=atan(f/xc) ・・・(1)
z=f・w/wc ・・・(2)
ここで、θは、画像上の物体Obにおける幅方向の中心xcで検出された位置の物体Obの存在する方位であり、fは、撮像部1の焦点距離であり、wは、実際の物体Obの幅であり、そして、wcは、画像上の物体Obの幅である。
そして、このように所定の1対のラインおよび所定の物体までの距離が求められると、必要に応じて、処理部2は、これらを出力部4に出力し、また、IF部6を介して外部機器へ出力する。
なお、撮像部1によって時間的に連続して撮像される時系列な各撮像画像それぞれに対し、上述の各処理が実行される場合には、距離演算部23の距離の演算後に、あるいは、その出力後に、処理が上述の最初の処理S1に戻される。
このような測距装置DMならびにこれに搭載されたライン検出装置および該方法は、探索の結果および1対の基準ラインBL1、BL2に基づいて、高さ方向における探索開始点Psbの高さYsでの所定の1対のライン上の各検出点DPL、DPRをそれぞれ決定する。このように探索の結果だけでなく1対の基準ラインBL1、BL2も利用するから、このような測距装置DMならびにこれに搭載されたライン検出装置および該方法は、画像にラインとは異なるものがある場合でも、情報処理の負荷の増大を抑制しつつ、ラインを精度よく検出できる。
また、本実施形態では、2回目以降の探索決定処理では前回の探索決定処理によって決定された水平方向の両方向での各検出点DPL、DPR間の中央位置が、探索開始点Psbにおける水平方向の位置Xsに設定される。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、直前の結果を反映させることで、精度よくラインを検出できる。
また、本実施形態では、探索の結果が候補点CPL、CPRの未検出であった場合、基準ラインBL1、BL2における探索開始点Psbの高さYsでの点が、検出点DPL、DPRとして決定される。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、探索の結果が候補点CPL、CPRの未検出であった場合でも、精度よくラインを検出できる。
また、本実施形態では、水平方向の一方向で候補点CPL(CPR)が検出され他方向の候補点CPR(CPL)が未検出であっても、一方向の候補点CPL(CPR)から、1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ離間した位置の点が、他方向の検出点DPL(DPR)として決定される。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、探索の結果、一方向の候補点CPL(CPR)が検出され他方向の候補点CPR(CPL)が未検出であっても、精度よくラインを検出できる。
また、本実施形態では、水平方向の両方向で各候補点CPL、CPRを検出した場合に、1対の基準ラインBL1、BL2における第1幅長Wsとこれら検出した各候補点CPL、CPR間の第2幅長Wcと比較することによって、これら各候補点CPL、CPRの適切性が判定される。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、精度よくラインを検出できる。
また、本実施形態では、水平方向の両方向で検出された各候補点CPL、CPRの適切性が判定され、第2幅長Wcが第1波長Wsに較べて前記所定の範囲を超えて長い場合に、撮像画像における水平方向の中央位置に遠い候補点は、近い候補点から、1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向へ離間した位置の点に修正され、この修正された点が検出点DPとされる。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、第2幅長Wcが第1波長Wsに較べて前記所定の範囲を超えて長い場合でも、精度よくラインを検出できる。
また、本実施形態では、水平方向の両方向で検出された各候補点CPL、CPRの適切性が判定され、第2幅長Wcが第1波長Wsに較べて前記所定の範囲に到達せずに短い場合に、撮像画像における水平方向の中央位置に近い候補点が候補から外され、さらに、新たな候補点CPが探索される。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、第2幅長Wcが第1波長Wsに較べて前記所定の範囲に到達せずに短い場合でも、精度よくラインを検出できる。
また、本実施形態では、適切な新たな候補点CPが探索されなかった場合に、撮像画像における水平方向の中央位置に近い候補点は、遠い候補点から、1対の基準ラインBL1、BL2における探索開始点Psbの高さYsでの第1幅長Wsだけ中央位置の方向へ離間した位置の点に修正され、この修正された点が検出点DPとされる。このため、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、適切な新たな候補点CPが探索されなかった場合でも、精度よくラインを検出できる。
また、本実施形態における測距装置DMならびにこれに搭載されたライン検出装置および該方法は、各検出点DPL、DPRを近似線で近似するので、凹凸の低減された比較的滑らかな1対のラインを検出できる。
なお、上述の実施形態において、測距装置DMは、撮像部1が、時系列な撮像画像を生成し、ライン検出部22が、前記時系列な撮像画像の最新の最新撮像画像における前記所定の1対のラインを検出する際に、前記最新撮像画像の1つ前の撮像画像から検出した前記所定の1対のラインにおける第3幅長Wsrに基づいて補正した第1幅長Wsを用いるように構成されてもよい。このように構成することによって、測距装置DMならびにこれに搭載されたライン検出装置および該方法は、実際の検出結果に基づいて補正した第1幅長Wsを用いるので、基準ラインの幅長と、実際のラインの幅長との誤差を低減でき、前記実際のラインの幅長が基準ラインの幅長に対する前記所定の範囲における上限を超えるような走路にも対応できる。
また、上述の実施形態では、ライン検出装置を搭載する測距装置DMは、撮像部1、処理部2、入力部3、出力部4、記憶部5およびIF部6を備え、画像の画像情報を取得する画像取得部の一例として撮像部1が用いられたが、ライン検出装置を搭載する測距装置DMは、処理部2、入力部3、出力部4、記憶部5およびIF部6を備え、前記画像取得部の一例としてIF部6が用いられてもよい。このような測距装置DMは、例えば、いわゆるタブレット等のコンピュータによって実現され、IF部6を介して、ライン検出や距離演算に必要な上述の諸元情報を伴って入力された画像情報に対し、上述のライン検出処理および測距処理を実行する。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
DM 測距装置
1 撮像部
2 処理部
5 記憶部
22 ライン検出部
51 基準ライン情報記憶部
221 候補点探索部
222 検出点決定部
223 ライン演算部
1 撮像部
2 処理部
5 記憶部
22 ライン検出部
51 基準ライン情報記憶部
221 候補点探索部
222 検出点決定部
223 ライン演算部
Claims (13)
- 画像の画像情報を取得する画像取得部と、
予め設定された基準となる1対のラインである1対の基準ラインを表す基準ライン情報を記憶する基準ライン情報記憶部と、
前記画像取得部によって取得された画像情報から所定の1対のラインを検出するライン検出部とを備え、
前記ライン検出部は、所定の探索開始点から水平方向の両方向で前記所定の1対の各ライン上の候補点をそれぞれ探索し、前記探索結果および前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記所定の1対の各ライン上の各検出点をそれぞれ決定する探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さでそれぞれ実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記所定の1対のラインを検出すること
を特徴とするライン検出装置。 - 前記所定の探索開始点における前記水平方向の位置は、1回目の探索決定処理では前記画像における前記水平方向の中央位置であり、2回目以降の探索決定処理では前回の探索決定処理によって決定された前記水平方向の両方向での各検出点間の中央位置であること
を特徴とする請求項1に記載のライン検出装置。 - 前記ライン検出部は、前記水平方向の両方向それぞれにおいて、前記探索結果が前記候補点の未検出であった場合、前記基準ラインにおける前記探索開始点の高さでの点を前記検出点として決定すること
を特徴とする請求項1または請求項2に記載のライン検出装置。 - 前記ライン検出部は、前記探索結果が前記水平方向の一方向で前記候補点を検出し他方向で前記候補点を未検出であった場合、前記検出した前記一方向の前記候補点を前記一方向の前記検出点として決定すると共に、前記検出した前記一方向の前記候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長だけ前記他方向へ離間した位置の点を、前記他方向の前記検出点として決定すること
を特徴とする請求項1ないし請求項3のいずれか1項に記載のライン検出装置。 - 前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する所定の範囲内である場合に、前記検出した前記各候補点を前記検出点として決定すること
を特徴とする請求項1ないし請求項4のいずれか1項に記載のライン検出装置。 - 前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における上限を上回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点と、前記近い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各検出点としてそれぞれ決定すること
を特徴とする請求項1ないし請求項5のいずれか1項に記載のライン検出装置。 - 前記ライン検出部は、前記探索結果が前記水平方向の両方向で前記各候補点を検出した場合、前記1対の基準ラインにおける前記探索開始点の高さでの第1幅長と前記検出した前記各候補点間の第2幅長とを比較し、前記第2幅長が前記第1幅長に対する前記所定の範囲における下限を下回る場合に、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に近い候補点を除去し、前記除去した候補点の位置から、前記中央位置から離れる水平方向で新たな候補点を探索する除去探索処理を、前記第2幅長が前記第1幅長に対する所定の範囲内になるまで繰り返すこと
を特徴とする請求項1ないし請求項6のいずれか1項に記載のライン検出装置。 - 前記ライン検出部は、前記除去探索処理の繰り返しにおいて、前記画像における水平方向の端部に到達するまでに、前記第2幅長が前記第1幅長に対する所定の範囲内になる候補点を探索できなかった場合、前記検出した前記各候補点のうちの、前記画像における前記水平方向の中央位置に遠い候補点と、前記遠い候補点から、前記1対の基準ラインにおける前記探索開始点の高さでの前記第1幅長だけ前記中央位置の方向へ離間した位置の点とを、前記各検出点としてそれぞれ決定すること
を特徴とする請求項7に記載のライン検出装置。 - 前記ライン検出部は、前記各探索決定処理によって前記各高さで決定された前記各検出点を近似する1対の近似線を前記所定の1対のラインとして求めること
を特徴とする請求項1ないし請求項8のいずれか1項に記載のライン検出装置。 - 前記画像取得部は、時系列な画像の画像情報を取得し、
前記ライン検出部は、前記時系列な画像の最新の最新画像における前記所定の1対のラインを検出する際に、前記最新画像の1つ前の画像から検出した前記所定の1対のラインにおける第3幅長に基づいて補正した前記第1幅長を用いること
を特徴とする請求項1ないし請求項9のいずれか1項に記載のライン検出装置。 - 移動体に搭載され、被写体を撮像して前記被写体の画像の画像情報を生成する撮像部をさらに備え、
前記画像情報取得部は、前記撮像部から前記画像情報を取得すること
を特徴とする請求項1ないし請求項10のいずれか1項に記載のライン検出装置。 - 画像の画像情報を取得する画像取得工程と、
予め設定された基準となる1対のラインである1対の基準ラインを表す基準ライン情報を基準ライン情報記憶部に記憶する記憶工程と、
前記画像取得工程によって取得された画像情報から所定の1対のラインを検出するライン検出工程とを備え、
前記ライン検出工程は、所定の探索開始点から水平方向の両方向で前記所定の1対の各ライン上の候補点をそれぞれ探索し、前記探索結果および前記1対の基準ラインに基づいて、前記水平方向に直交する高さ方向における前記探索開始点の高さでの前記所定の1対の各ライン上の各検出点をそれぞれ決定する探索決定処理を、前記高さ方向における所定の一方端から所定の他方端までの各高さでそれぞれ実行し、前記各探索決定処理によって前記各高さで決定された前記各検出点に基づいて前記所定の1対のラインを検出すること
を特徴とするライン検出方法。 - 移動体に搭載され、被写体を撮像する撮像部と、
前記撮像部によって撮像された画像に含まれる所定の物体までの距離を求める距離演算部と、
前記撮像部によって撮像された画像に含まれる所定の1対のラインを検出する検出部とを備え、
前記検出部は、請求項1ないし請求項11のいずれか1項に記載されたライン検出装置であり、
前記距離演算部は、前記ライン検出装置によって検出された前記所定の1対のラインによって挟まれるライン内側領域、および、前記移動体に最も近接する位置である前記画像の下端から消失点までの領域であって前記ライン内側領域を除くライン外側領域のうちの少なくとも一方に含まれる前記所定の物体までの距離を求めること
を特徴とする測距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013130710A JP2015005187A (ja) | 2013-06-21 | 2013-06-21 | ライン検出装置およびライン検出方法ならびに測距装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013130710A JP2015005187A (ja) | 2013-06-21 | 2013-06-21 | ライン検出装置およびライン検出方法ならびに測距装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015005187A true JP2015005187A (ja) | 2015-01-08 |
Family
ID=52301013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013130710A Pending JP2015005187A (ja) | 2013-06-21 | 2013-06-21 | ライン検出装置およびライン検出方法ならびに測距装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015005187A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020152531A (ja) * | 2019-03-20 | 2020-09-24 | 株式会社タダノ | クレーン |
JP2021509516A (ja) * | 2018-04-28 | 2021-03-25 | 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. | 衝突制御方法及び装置、電子機器並びに記憶媒体 |
JP2021054575A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社タダノ | ロープ絡まり検出装置 |
-
2013
- 2013-06-21 JP JP2013130710A patent/JP2015005187A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021509516A (ja) * | 2018-04-28 | 2021-03-25 | 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. | 衝突制御方法及び装置、電子機器並びに記憶媒体 |
US11308809B2 (en) | 2018-04-28 | 2022-04-19 | Shenzhen Sensetime Technology Co., Ltd. | Collision control method and apparatus, and storage medium |
JP7163407B2 (ja) | 2018-04-28 | 2022-10-31 | 深▲セン▼市商▲湯▼科技有限公司 | 衝突制御方法及び装置、電子機器並びに記憶媒体 |
JP2020152531A (ja) * | 2019-03-20 | 2020-09-24 | 株式会社タダノ | クレーン |
JP2021054575A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社タダノ | ロープ絡まり検出装置 |
JP7363294B2 (ja) | 2019-09-30 | 2023-10-18 | 株式会社タダノ | ロープ絡まり検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11227434B2 (en) | Map constructing apparatus and map constructing method | |
KR101517181B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
KR101605514B1 (ko) | 차선 인식 장치 및 방법 | |
KR20190132404A (ko) | 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출 | |
KR100816377B1 (ko) | 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템 | |
US9594966B2 (en) | Obstacle detection device and obstacle detection method | |
JP6515704B2 (ja) | 車線検出装置及び車線検出方法 | |
JP2006302284A (ja) | 2d画像ドメインデータを3d高密度レンジマップに変換するためのシステムおよび方法 | |
JP5180126B2 (ja) | 道路認識装置 | |
US9298995B2 (en) | Red-eye determination device | |
KR20140056790A (ko) | 영상 인식 장치 및 그 방법 | |
CN108197590B (zh) | 一种路面检测方法、装置、终端及存储介质 | |
TWI690816B (zh) | 地圖建置設備及其地圖建置方法 | |
CN108319931B (zh) | 一种图像处理方法、装置及终端 | |
JP2015225546A (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
WO2012066751A1 (ja) | 車両の周辺監視装置 | |
JP2015005187A (ja) | ライン検出装置およびライン検出方法ならびに測距装置 | |
WO2022228023A1 (zh) | 一种盲区监测方法、装置、电子设备及存储介质 | |
JP4777196B2 (ja) | 運転支援装置 | |
JP6606472B2 (ja) | 走路形状認識装置、走路形状認識方法 | |
JPH05242399A (ja) | 車間距離検出装置 | |
JP6431299B2 (ja) | 車両周辺監視装置 | |
JP2016162130A (ja) | 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム | |
JP4777195B2 (ja) | 運転支援装置、車両及び運転支援方法 | |
JP7131131B2 (ja) | 車両用ライン検出装置および該方法 |