JP2014096135A5

JP2014096135A5 -

Info

Publication number: JP2014096135A5
Application number: JP2013169682A
Authority: JP
Filing date: 2013-08-19
Publication date: 2017-01-12
Anticipated expiration: 2033-08-19

Description

上記目的を達成するために、請求項１の発明は、移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識装置において、前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定手段と、前記第１画像領域の画像部に対して直線近似を行って前記境界線の画像部の直線部を認識する境界線直線部認識手段と、前記第２画像領域の画像部に対して曲線近似を行って前記境界線の画像部の曲線部を認識する境界線曲線部認識手段とを備えることを特徴とするものである。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
移動面上を移動する移動体としての自車両１００に搭載された撮像手段によって取得される自車両１００の前方の画像から自車両１００が移動する移動面上の境界線としての路面白線を認識する移動面境界線認識装置において、自車両１００の前方の画像で、自車両１００から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、自車両１００から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定手段としての区画線設定部２０６と、第１路面白線候補領域４０１の画像部に対して直線近似を行って路面白線の画像部の直線部を認識する境界線直線部認識手段としての路面白線直線部認識部２０７と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って路面白線の画像部の曲線部を認識する境界線曲線部認識手段としての路面白線曲線部認識部２０８とを備える。
これによれば、上記実施形態について説明したように、自車両１００が路面上の路面白線の直線部に沿って走行している場合は、自車両１００から近い路面部分が映される画像領域では路面白線の直線部が直線状に映し出される。自車両１００が路面上の路面白線の曲線部に沿って走行している場合でも、自車両１００から近い路面部分が映される画像領域では、路面白線の曲線部は直線状に映し出され。一方、自車両１００から遠い路面部分が映される画像領域では、路面白線の曲線部が曲線状に映し出される。区画線設定部２０６によって、自車両１００から近い路面部分が映される画像領域である第１路面白線候補領域４０１と、自車両１００から遠い路面部分が映される画像領域である第２路面白線候補領域４０２とを区画する区画線を設定する。第１路面白線候補領域４０１では、路面白線直線部認識部２０７によって直線近似を行って路面上の路面白線の直線部又は曲線部に対応する路面白線画像部を認識できる。第２路面白線候補領域４０２では、路面白線曲線部認識部２０８によって曲線近似を行って、路面上の路面白線の曲線部に対応する路面白線画像部を認識できる。よって、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。
（態様２）
（態様１）において、２つの撮像手段を有するステレオ撮像手段としての撮像ユニット１０１と、ステレオ撮像手段によって撮像したステレオ画像に基づいて自車両１００の前方の視差画像を取得する視差画像取得手段としての視差画像計算部２０３とを備え、区画線設定手段としての区画線設定部２０６は、視差画像計算部２０３によって視差値を算出することで取得した視差画像に基づいて、自車両１００の位置から所定の距離に相当する画面上の水平仮想線を区画線と設定する。これによれば、上記実施形態の実施例１について説明したように、設定した区画線に基づいて第１路面白線候補領域４０１と第２路面白線候補領域４０２とを区画することができる。これにより、第１路面白線候補領域４０１では直線近似を行い路面上の路面白線の直線部を認識でき、第２路面白線候補領域４０２では曲線近似を行い路面上の路面白線の曲線部を認識できる。
（態様３）
（態様１）又は（態様２）において、道路の種類に関する道路種類情報を入力する移動面種類情報入力手段としての道路種類情報入力部２１１を備え、区画線設定手段としての区画線設定部２０６は、道路種類情報入力部２１１によって入力された道路種類情報に基づいて区画線を設定する。これによれば、上記実施形態の実施例２について説明したように、自車両が走行している道路の種類に応じて区画線を設定する。これにより、走行している道路に適した近似処理を行い、路面上の白線画像部を正確に認識することができる。
（態様４）
（態様２）において、ステレオ撮像手段によって撮像したステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段としての輝度画像入力部２０２を備え、区画線設定手段としての区画線設定部２０６は、輝度画像入力部２０２によって取得した輝度画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した直線の路面白線の画像部との差分に基づいて、区画線を設定する。これによれば、上記実施形態の実施例１について説明したように、輝度画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した直線の路面白線画像部との差分に基づいて設定された区画線によって、第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定する。これにより、第１路面白線候補領域４０１で行う直線近似により路面白線の直線部と、第２路面白線候補領域４０２で行う曲線近似により路面白線の曲線部とを精度高く認識することができる。
（態様５）
（態様１）〜（態様４）のいずれかにおいて、境界線直線部認識手段としての路面白線直線部認識部２０７によって認識された路面白線画像部の直線部と、境界線曲線部認識手段としての路面白線曲線部認識部２０８によって認識された路面白線の画像部の曲線部とを互いにつなげて合成する境界線合成手段としての路面白線合成処理部２０９と、合成した全体の線部を路面白線の画像部として出力する境界線画像部出力手段としての路面白線認識結果出力部２１０を有する。これによれば、上記実施形態について説明したように、路面白線の直線部と曲線部とを連結して、認識結果の路面白線画像部を路面白線画像に類似した画像にすることで認識結果を解りやすくすることができる。
（態様６）
（態様１）〜（態様５）のいずれかにおいて、境界線直線部認識手段としての路面白線直線部認識部２０７は、第１画像領域としての第１路面白線候補領域４０１内で抽出された輝度画像の輝度エッジに対して直線近似を行う。これによれば、上記実施形態について説明したように、自車両１００から近い路面部分が映される第１認識候補領域の直線状に映し出される画像部を精度高く認識することができる。
（態様７）
（態様１）〜（態様５）のいずれかにおいて、境界線曲線部認識手段としての路面白線曲線部認識部２０８は、境界線直線部認識手段としての路面白線直線部認識部２０７によって認識された路面白線の画像部の直線部に続く仮想の延長線を基準にして、第２画像領域としての第２路面白線候補領域４０２で路面白線の画像部の曲線部の候補を探索する探索範囲を設定する。これによれば、上記実施形態の実施例１について説明したように、第２路面白線候補領域で路面白線画像部の曲線部を探索し易くなって、路面白線曲線部を精度高く認識することができる。
（態様８）
（態様７）において、境界線曲線部認識手段としての路面白線曲線部認識部２０８は、第２画像領域としての第２路面白線候補領域４０２内で抽出された輝度画像のエッジに対して曲線近似を行う。これによれば、上記実施形態の実施例１について説明したように、自車両１００から遠い路面部分が映される第２認識候補領域の曲線状に映し出される画像部を精度高く認識することができる。
（態様９）
（態様２）において、ステレオ撮像手段としての撮像ユニット１０１によって取得したステレオ画像のいずれか一方の撮像画像から抽出した路面白線のエッジの部分と路面白線を抽出するために近似した路面白線の直線部との差分に基づいた閾値を記憶する記憶手段としての路面白線直線部候補領域記憶部２０５を有し、認識候補領域設定手段としての認識候補領域設定部２０４は、路面白線直線部候補領域記憶部２０５に記憶されている閾値に基づいて第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定する。これによれば、上記実施形態について説明したように、第１路面白線候補領域４０１と第２路面白線候補領域４０２とを正確に設定できるため、路面白線直線部及び路面白線曲線部を精度高く認識することができる。
（態様１０）
（態様９）において、記憶手段としての路面白線直線部候補領域記憶部２０５は、ステレオ撮像手段としての撮像ユニット１０１によって取得したステレオ画像のいずれ一方の複数の画像の各々から路面白線を抽出するために近似した複数の直線部に基づいた第１認識候補領域に含まれる路面候補領域を示す情報を記憶し、境界線直線部認識手段としての路面白線直線部認識部２０７は、路面白線直線部候補領域記憶部２０５に記憶されている情報によって路面候補領域内に対して直線部の近似による路面白線の認識を行う。これによれば、上記実施形態について説明したように、第１路面白線候補領域４０１と第２路面白線候補領域４０２とに設定することで路面白線の直線部、曲線部を精度高く認識することができる。
（態様１１）
（態様１０）において、記憶手段としての路面白線直線部候補領域記憶部２１２は、道路の種類ごとに予め複数のメモリテーブルを有し、該複数のメモリテーブルには道路の種類ごとのサンプル画像から取得した区画線の位置を設定する画面上の区画点の座標が記憶されている。これによれば、上記実施形態の実施例２について説明したように、自車両１００が走行している道路の種類に応じてテーブルを読み出して、そのテーブルに記憶されている画面上の区画点の座標に基づいて区画線の位置を変える。これにより、走行している道路に適した近似処理を行い、路面上の路面白線画像部を正確に認識することができる。
（態様１２）
（態様３）において、移動面種類情報入力手段としての道路種類情報入力部２１１には、カーナビゲーションによって取得した自車の位置情報と地図データとに基づいて判別された道路の種類が入力される。これによれば、上記実施形態の実施例２について説明したように、カーナビゲーションデータ入力部６０１に入力された自車両の位置を地図データに照合させ、地図上の自車両の位置データを道路種類判別部６０３に出力する。道路種類判別部６０３では、入力された地図上の自車両の位置データに基づいて、地図上で自車両が走行している道路の種類を判別する。よって、走行している道路に適した近似処理を行い、路面上の境界線画像部を正確に認識することができる。
（態様１３）
（態様１２）において、移動面種類情報入力手段としての道路種類情報入力部２１１には、ＧＰＳによって自車の位置情報を取得し、ＧＰＳによって取得した自車の位置情報と、カーナビゲーションによって取得した自車の位置情報及び地図データとに基づいて判別された道路の種類が入力される。これによれば、上記実施形態の実施例２について説明したように、検出した自車両の位置を地図データに照合させて地図上の自車両の位置データを道路種類判別部６０３に出力する。ＧＰＳデータ入力部６０２は、ＧＰＳの位置データを取得し、その位置データに基づいて自立航法における自車の位置データを精度良くして道路種類判別部６０３に出力する。道路種類判別部６０３では、入力された地図上の自車両の位置データに基づいて、地図上で自車両が走行している道路の種類を判別する。これにより、自車両が走行している道路の種類の判別が、より一層精度良く、かつ自動で行うことができる。
（態様１４）
移動面上を移動する移動体に搭載された撮像手段によって取得される移動体の前方の画像から移動体が移動する移動面上の境界線を認識する移動面境界線認識手段と、該移動面境界線認識手段の認識結果に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、移動面境界線認識手段として、請求項１〜１３のいずれかに記載の移動面境界線認識装置を用いた。これによれば、上記実施形態について説明したように、移動体に搭載された所定の機器を高精度に制御することができる。
（態様１５）
移動体の前方の画像で、移動体から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、移動体から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定工程と、第１路面白線候補領域４０１の画像部に対して直線近似を行って境界線画像部の直線部を認識する境界線直線部認識工程と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って境界線画像部の曲線部を認識する境界線曲線部認識工程とを有する。これによれば、上記実施形態について説明したように、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。
（態様１６）
移動体の前方の画像で、移動体から近い路面部分が写っている第１画像領域としての第１路面白線候補領域４０１と、移動体から遠い路面部分が写っている第２画像領域としての第２路面白線候補領域４０２とを区画する区画線を設定する区画線設定工程と、第１路面白線候補領域４０１の画像部に対して直線近似を行って境界線画像部の直線部を認識する境界線直線部認識工程と、第２路面白線候補領域４０２の画像部に対して曲線近似を行って境界線画像部の曲線部を認識する境界線曲線部認識工程とをコンピュータによって実行させる。これによれば、上記実施形態について説明したように、路面白線画像と認識結果の路面白線画像部とのズレが小さくでき、路面上の路面白線の認識精度を向上させることができる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

Claims

移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識装置において、
前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定手段と、
前記第１画像領域の画像部に対して直線近似を行って前記境界線の画像部の直線部を認識する境界線直線部認識手段と、
前記第２画像領域の画像部に対して曲線近似を行って前記境界線の画像部の曲線部を認識する境界線曲線部認識手段と
を備えることを特徴とする移動面境界線認識装置。
請求項１記載の移動面境界線認識装置において、
２つの前記撮像手段を有するステレオ撮像手段と、前記ステレオ撮像手段によって撮像したステレオ画像に基づいて前記移動体の前方の視差値を算出して視差画像を取得する視差画像計算手段とを備え、
前記区画線設定手段は、前記視差画像計算手段によって視差値を算出することで取得した前記視差画像に基づいて、前記移動体の位置から所定の距離に相当する画面上の水平仮想線を前記区画線と設定することを特徴とする移動面境界線認識装置。
請求項１又は２に記載の移動面境界線認識装置において、
移動面の種類に関する移動面種類情報を入力する移動面種類情報入力手段を備え、前記区画線設定手段は、該移動面種類情報入力手段によって入力された前記移動面種類情報に基づいて前記区画線を設定することを特徴とする移動面境界線認識装置。
請求項２記載の移動面境界線認識装置において、
前記ステレオ撮像手段によって撮像したステレオ画像のいずれか一方の撮像画像から輝度画像を取得する輝度画像取得手段を備え、
前記区画線設定手段は、前記輝度画像取得手段によって取得した前記輝度画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した直線の前記境界線の画像部との差分に基づいて、前記区画線を設定することを特徴とする移動面境界線認識装置。
請求項１〜４のいずれかに記載の移動面境界線認識装置において、
前記境界線直線部認識手段によって認識された前記境界線の画像部の直線部と、前記境界線曲線部認識手段によって認識された前記境界線の画像部の曲線部とを互いにつなげて合成する境界線合成手段と、合成した全体の線部を前記境界線の画像部として出力する境界線画像部出力手段とを有することを特徴とする移動面境界線認識装置。
請求項１〜５のいずれかに記載の移動面境界線認識装置において、
前記境界線直線部認識手段は、前記第１画像領域内で抽出された輝度画像のエッジに対して直線近似を行うことを特徴とする移動面境界線認識装置。
請求項１〜５のいずれかに記載の移動面境界線認識装置において、
前記境界線曲線部認識手段は、前記境界線直線部認識手段によって認識された前記境界線の画像部の直線部に続く仮想の延長線を基準にして、前記第２画像領域で前記境界線の画像部の曲線部の候補を探索する探索範囲を設定することを特徴とする移動面境界線認識装置。
請求項７記載の移動面境界線認識装置において、
前記境界線曲線部認識手段は、前記第２画像領域内で抽出された輝度画像のエッジに対して曲線近似を行うことを特徴とする移動面境界線認識装置。
請求項２記載の移動面境界線認識装置において、
前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の撮像画像から抽出した前記境界線のエッジの部分と前記境界線を抽出するために近似した前記境界線の画像部の直線部との差分に基づいた視差閾値を記憶する記憶手段を有し、前記区画線設定手段は、前記記憶手段によって記憶された前記視差閾値に基づいて、前記区画線を設定することを特徴とする移動面境界線認識装置。
請求項９記載の移動面境界線認識装置において、
前記記憶手段は、前記ステレオ撮像手段によって取得したステレオ画像のいずれか一方の複数の画像の各々から前記境界線を抽出するために近似した複数の直線の前記境界線の画像部に基づいた前記第１画像領域に含まれる移動面境界線候補領域を示す情報を記憶し、前記境界線直線部認識手段は、前記記憶手段によって記憶された情報によって示される前記移動面境界線候補領域内の前記境界線の画像部に対して直線近似を行うことを特徴とする移動面境界線認識装置。
請求項１０記載の移動面境界線認識装置において、
前記記憶手段は、移動面の種類ごとに予め複数のメモリテーブルを有し、該複数のメモリテーブルには、移動面の種類ごとのサンプル画像から取得した視差閾と、値前記区画線の位置を設定する画面上の区画点の座標とが記憶されていることを特徴とする移動面境界線認識装置。
請求項３記載の移動面境界線認識装置において、
前記移動面種類情報入力手段には、カーナビゲーションによって取得した自車の位置情報と地図データとに基づいて判別された道路の種類が入力されることを特徴とする移動面境界線認識装置。
請求項１２記載の移動面境界線認識装置において、
前記移動面種類情報入力手段には、ＧＰＳによって自車の位置情報を取得し、前記ＧＰＳによって取得した自車の位置情報と、前記カーナビゲーションによって取得した自車の位置情報及び地図データとに基づいて判別された道路の種類が入力されることを特徴とする移動面境界線認識装置。
移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識手段と、該移動面境界線認識手段の認識結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
前記移動面境界線認識手段として、請求項１〜１３のいずれかに記載の移動面境界線認識装置を用いたことを特徴とする移動体機器制御システム。
移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する移動面境界線認識方法において、
前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定工程と、
前記第１画像領域の画像部に対して直線近似を行って前記境界線の画像部の直線部を認識する境界線直線部認識工程と、
前記第２画像領域の画像部に対して曲線近似を行って前記境界線の画像部の曲線部を認識する境界線曲線部認識工程と
を有することを特徴とする移動面境界線認識方法。
移動面上を移動する移動体に搭載された撮像手段によって取得される前記移動体の前方の画像から前記移動体が移動する移動面上の境界線を認識する工程をコンピュータによって実行させるための移動面境界線認識用プログラムにおいて、
前記移動体の前方の画像で、前記移動体から近い路面部分が写っている第１画像領域と、前記移動体から遠い路面部分が写っている第２画像領域とを区画する区画線を設定する区画線設定工程と、
前記第１画像領域の画像部に対して直線近似を行って前記境界線の画像部の直線部を認識する境界線直線部認識工程と、
前記第２画像領域の画像部に対して曲線近似を行って前記境界線の画像部の曲線部を認識する境界線曲線部認識工程とをコンピュータによって実行させることを特徴とする移動面境界線認識用プログラム。