JP2011192071A - 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム - Google Patents

横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム Download PDF

Info

Publication number
JP2011192071A
JP2011192071A JP2010058286A JP2010058286A JP2011192071A JP 2011192071 A JP2011192071 A JP 2011192071A JP 2010058286 A JP2010058286 A JP 2010058286A JP 2010058286 A JP2010058286 A JP 2010058286A JP 2011192071 A JP2011192071 A JP 2011192071A
Authority
JP
Japan
Prior art keywords
pedestrian crossing
image
pattern
sub
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010058286A
Other languages
English (en)
Other versions
JP2011192071A5 (ja
JP5035371B2 (ja
Inventor
Atsukuni Hashimoto
淳邦 橋本
Atsushi Adachi
淳 足立
Masahiro Mizuno
将弘 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2010058286A priority Critical patent/JP5035371B2/ja
Priority to US13/583,868 priority patent/US8600112B2/en
Priority to DE112011100928T priority patent/DE112011100928T5/de
Priority to CN201180011768.3A priority patent/CN102782725B/zh
Priority to PCT/JP2011/055384 priority patent/WO2011114947A1/ja
Publication of JP2011192071A publication Critical patent/JP2011192071A/ja
Publication of JP2011192071A5 publication Critical patent/JP2011192071A5/ja
Application granted granted Critical
Publication of JP5035371B2 publication Critical patent/JP5035371B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】道路の状況にかかわらず、横断歩道を精度良く検出する。
【解決手段】メインパターンを用いたスキャン動作によって得られたデータに所定の演算処理を実行する。次に、この演算処理の演算結果と、メインパターンMPの所定の画像上の位置との関係を示す特性曲線を算出する。そして、特性曲線に現れるピークの規則性に基づいて、所定の画像に横断歩道が写っているか否を判断する。上述のデータは、メインパターンを構成するサブパターンそれぞれと重なる画素の輝度の平均である。このため、横断歩道を構成する白色パターンに亀裂が生じていたり、白色パターンに剥離が生じていたりしても、データの値は、ほとんど影響を受けない。したがって、所定の画像に横断歩道が写っているか否かを精度よく判断することができる。
【選択図】図1

Description

本発明は、横断歩道検出装置、横断歩道検出システム、横断歩道検出方法及びプログラムに関し、更に詳しくは、画像に写る横断歩道を検出する横断歩道検出装置、前記横断歩道検出装置を備える横断歩道検出システム、画像に写る横断歩道を検出するための横断歩道検出方法及びプログラムに関する。
交通事故の死者数は減少傾向にあるものの、事故の発生件数自体は依然として高い水準にある。交通事故の発生原因は様々であるが、走行する道路の状況を、事前に把握することができれば、交通事故の発生を、ある程度抑制することができる。
そこで、自車が走行する道路に関する情報を、事前に取得するための装置が種々提案されている(例えば特許文献1参照)。特許文献1に開示された装置は、路面を撮影して得られた画像に対して、横断歩道の検出を試みる。そして、検出結果をモニタを介してドライバーに提供する。車両を運転するドライバーは、例えば夜間や悪天候下においても、前方に存在する横断歩道の有無を予め知ることができる。
特開2006−309313号公報
上述の装置は、横断歩道を構成する白色パターンの外縁と予測される位置を、画像を構成する画素の輝度変化に基づいて特定する。そして、特定した位置の規則性に基づいて、画像に横断歩道が写っているか否かを判断する。
このため、経年劣化等により、白色パターンの一部が剥離してしまった場合や、白色パターンが形成された道路に亀裂が生じてしまった場合等には、輝度変化の規則性が曖昧になり、横断歩道の検出精度が低下してしまうことが考えられる。
本発明は、上述の事情の下になされたもので、道路の状況にかかわらず、横断歩道を精度良く検出することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る横断歩道検出装置は、
道路を横切る横断歩道が写る画像から、前記横断歩道を検出する横断歩道検出装置であって、
前記画像に写る前記横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する算出手段と、
前記第1演算値と前記第2演算値とを用いた演算を行う演算手段と、
前記メインパターンの位置と前記演算手段による演算の結果との関係の規則性に基づいて、前記第1位置と前記第2位置の間に、前記横断歩道の画像が存在するか否かを判断する判断手段と、
を備える。
前記演算手段は、前記第1演算値と前記第2演算値との差を演算することとしてもよい。
前記第1位置は、前記画像に写る前記道路の車線の一側に規定され、前記第2位置は、前記画像に写る前記道路の車線の他側に規定されることとしてもよい。
また、前記第1位置は、前記画像に写る前記道路の一側に規定され、前記第2位置は、前記画像に写る前記道路の他側に規定されることとしてもよい。
前記第1位置は、前記道路の車線を区画するライン上に規定されることとしてもよい。
前記メインパターンは、前記第1サブパターンの一側に隣接する前記第2サブパターンと、前記第1サブパターンの他側に隣接する前記第2サブパターンとを有することとしてもよい。
前記判断手段は、前記演算手段による演算結果から導かれる特性曲線によって示されるピーク値相互間の間隔の規則性に基づいて、前記横断歩道の画像が存在するか否かを判断することとしてもよい。
前記第1位置と前記第2位置とによって規定される第1直線は、前記画像に写る前記道路に直交することとしてもよい。
前記算出手段は、前記第1直線と平行な第2直線に沿って、更に前記メインパターンを移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出することとしてもよい。
本発明の第2の観点に係る横断歩道検出システムは、
車両の進行方向の道路を撮像する撮像手段と、
前記撮像手段によって撮像された画像から横断歩道を検出する本発明の横断歩道検出装置と、
を備える。
本発明の第3の観点に係る横断歩道検出方法は、
道路を横切る横断歩道が写る画像から、前記横断歩道を検出するための横断歩道検出方法であって、
前記画像に写る前記横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する工程と、
前記第1演算値と前記第2演算値とを用いた演算を行う工程と、
前記メインパターンの位置と、前記第1演算値と前記第2演算値とを用いた演算の結果と、の関係の規則性に基づいて、前記第1位置と前記第2位置の間に前記横断歩道の画像が存在するか否かを判断する工程と、
を含む。
本発明の第4の観点に係るプログラムは、コンピュータを、
画像に写る横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する算出手段と、
前記第1演算値と前記第2演算値とを用いた演算を行う演算手段と、
前記メインパターンの位置と前記演算手段による演算の結果との関係の規則性に基づいて、前記第1位置と前記第2位置の間に前記横断歩道の画像が存在するか否かを判断する判断手段と、
として機能させる。
本発明によれば、複数の画素の輝度に基づく演算値を用いた演算が行われる。そして、この演算の結果とメインパターンの位置との関係の規則性に基づいて、画像中の横断歩道の有無が判断される。これにより、白色パターンの一部が劣化していても、画像中の横断歩道を精度よく検出することができる。
第1の実施形態に係る横断歩道検出システムのブロック図である。 撮像装置から出力された画像の一例を示す図である。 変換された画像を示す図である。 画像上に規定されたメインパターンを示す図である。 メインパターンを拡大して示す図である。 平均値算出部の動作を説明するための図である。 図7(A)は及び図7(B)は、スキャン動作中のメインパターンを示す図である。 スキャン動作に基づく特性曲線を示す図(その1)である。 スキャン動作に基づく特性曲線を示す図(その2)である。 スキャン動作に基づく特性曲線を示す図(その3)である。 第2の実施形態に係る横断歩道検出システムのブロック図である。 横断歩道検出装置の動作を説明するためのフローチャート(その1)である。 横断歩道検出装置の動作を説明するためのフローチャート(その2)である。 特性曲線と、閾値A,Bとの関係を示す図である。 ピークの特定手順を説明するための図(その1)である。 ピークの特定手順を説明するための図(その2)である。 ピークの特定手順を説明するための図(その3)である。
《第1の実施形態》
以下、本発明の第1の実施形態を、図面を参照しつつ説明する。図1は本実施形態に係る横断歩道検出システム10の概略的な構成を示すブロック図である。横断歩道検出システム10は、例えば自動車に搭載される。そして、撮像装置20によって撮像された画像に写る横断歩道を検出する。この横断歩道検出システム10は、図1に示されるように、撮像装置20と、撮像装置20によって撮像された画像から横断歩道を検出する横断歩道検出装置30とを有している。
撮像装置20は、被写体を撮像することにより取得した画像PH1を電気信号に変換して出力するCCDカメラを含んで構成されている。この撮像装置20は、例えば自動車のフロントグリル、或いはバンパーなどに設置されている。
図2は、撮像装置20によって撮像された画像PH1の一例を示す図である。画像PH1には、道路100と、道路100の車線を区画するライン101と、道路100を横切る横断歩道120が写っている。この画像PH1を参照するとわかるように、撮像装置20は、その視野に、ライン101によって区画される車線が位置するように、視野角や倍率などが調整されている。そして、撮像装置20は、道路100を順次撮像し、撮像した画像に関する情報を出力する。
図1に戻り、横断歩道検出装置30は、記憶部31、画像変換部32、平均値算出部33、演算部34、曲線生成部35、判断部36を有している。
記憶部31は、撮像装置20から順次出力される画像に関する情報を時系列的に記憶する。また、上記各部32〜36の処理結果としての情報を順次記憶する。
画像変換部32は、撮像装置20によって撮像された画像PH1を、道路100を真上から見た画像(トップビュー画像)に変換する。具体的には、画像変換部32は、画像PH1に対して、座標変換処理を実行し、例えば図3に示される画像PH2を生成する。
ここで、画像PH2に、左下のコーナーを原点とするXY座標系を定義し、以下XY座標系を用いた説明を行う。
画像PH1と画像PH2とを比較するとわかるように、画像PH2では、道路100の車線を区画するライン101がY軸とほぼ平行になっている。また、画像PH2では、横断歩道120を構成する白色パターン121それぞれは、長手方向をY軸方向とする長方形となっている。そして、各白色パターン121は、X軸方向に間隔D1で配置され、隣接する白色パターン121同士のエッジからエッジまでの距離d1は、白色パターン121のX軸方向の幅(大きさ)d2と等しい。
画像変換部32は、画像PH2を生成すると、当該画像PH2を記憶部31に保存するとともに、画像PH1の変換処理が終了したことを平均値算出部33へ通知する。
図4は、画像PH2と、当該画像PH2上に規定されたメインパターンMPを示す図である。平均値算出部33は、画像PH2上に、メインパターンMPを規定する。そして、このメインパターンMPを、画像PH1の中心を通りX軸に平行な直線Lと、X軸に平行で、直線Lから+Y方向に距離D2隔てた直線Lと、X軸に平行で、直線Lから−Y方向に距離D2隔てた直線Lとに沿って、例えば1〜数ピクセルずつ移動させながら各サブパターンSP1〜SP3と重なる画素の輝度の平均値を算出する。
このメインパターンMP及びサブパターンSP1〜SP3は、所定の形状をした領域もしくはウインドウである。上記動作により、当該領域もしくはウインドウ内の画素の輝度の平均値が算出される。
図5は、画像PH2上に規定されたメインパターンMPを拡大して示す図である。図5に示されるように、メインパターンMPは、X軸方向に配列された3つのサブパターンSP1〜SP3から構成されている。各サブパターンSP1〜SP3は、長手方向をX軸方向とする長方形である。そして、サブパターンSP1,SP3それぞれのX軸方向の寸法は、距離d1と等しく、サブパターンSP2の寸法は、距離d2と等しい。
図6は、平均値算出部33の動作を説明するための図である。図6を参照するとわかるように、平均値算出部33は、まず、画像PH2の中心を通りX軸に平行な直線Lに沿って、メインパターンMPを、矢印aに示される第1位置(2本のライン101に規定される車線の一側)から、矢印bに示される第2位置(車線の他側)まで移動させながら、各サブパターンSP1〜SP3と重なる画素の輝度の平均値を算出する。このとき、メインパターンMPは、車線(道路)を横切るように移動する。
具体的には、平均値算出部33は、第1位置にメインパターンMPを規定する。この位置では、メインパターンMPの中心は、直線L上に位置する。また、メインパターンMPの−X側端は、画像PH2の−X側端に一致する。
次に、平均値算出部33は、メインパターンMPを、矢印aに示される第1位置から、矢印bに示される第2位置に向けて移動させながら、サブパターンSP1と重なる画素の輝度の平均値B1、サブパターンSP2と重なる画素の輝度の平均値B2、サブパターンSP3と重なる画素の輝度の平均値B3を順次算出する。そして、平均値算出部33は、算出した平均値B1,B2,B3を、当該平均値B1,B2,B3を算出したときのメインパターンMPの中心のX座標と関連づけて、データB1(X),B2(X),B3(X)として、記憶部31へ出力する。これにより、データB1(X),B2(X),B3(X)が、記憶部31に保存される。
平均値算出部33は、メインパターンMPが、その+X側端が、画像PH2の+X側端に一致する位置に達すると、メインパターンMPを、その中心が直線L上に位置し、−X側端が画像PH2の−X側端に一致する位置に位置決めする。そして、この位置から、メインパターンMPを+X方向へ、直線Lに沿って移動させながら、サブパターンSP1と重なる画素の輝度の平均値B1、サブパターンSP2と重なる画素の輝度の平均値B2、サブパターンSP3と重なる画素の輝度の平均値B3を順次算出する。そして、平均値算出部33は、算出した平均値B1,B2,B3を、当該平均値B1,B2,B3を算出したときのメインパターンMPの中心のX座標と関連づけて、データB1(X),B2(X),B3(X)として、記憶部31へ出力する。これにより、データB1(X),B2(X),B3(X)が、記憶部31に保存される。
平均値算出部33は、メインパターンMPが、その+X側端が、画像PH2の+X側端に一致する位置に達すると、メインパターンMPを、その中心が直線L上に位置し、−X側端が画像PH2の−X側端に一致する位置に位置決めする。そして、この位置から、メインパターンMPを+X方向へ、直線L沿って移動させながら、サブパターンSP1と重なる画素の輝度の平均値B1、サブパターンSP2と重なる画素の輝度の平均値B2、サブパターンSP3と重なる画素の輝度の平均値B3を順次算出する。そして、平均値算出部33は、算出した平均値B1,B2,B3を、当該平均値B1,B2,B3を算出したときのメインパターンMPの中心のX座標と関連づけて、データB1(X),B2(X),B3(X)として、記憶部31へ出力する。これにより、データB1(X),B2(X),B3(X)が、記憶部31に保存される。平均値算出部33は、上述の処理が終了すると、処理の終了を演算部34に通知する。
以下、説明の便宜上、メインパターンMPを移動させながら、データB1(X),B2(X),B3(X)を出力する動作をスキャン動作という。
演算部34は、データB1(X),B2(X),B3(X)について、次式(1)で示される演算を実行する。なお、Nは1〜3までの整数を示す。
(X)=B2(X)−(B1(X)+B3(X))/2 …(1)
演算部34は、式(1)に示される演算が完了すると、演算結果G(X)を記憶部31へ保存し、演算の完了を曲線生成部35へ通知する。
曲線生成部35は、演算部34による演算結果G(X)に基づいて、特性曲線を生成する。具体的には、横軸をXとし、縦軸を演算結果G(X)とする座標系に、Xの値と、演算結果G(X)の値とによって規定される点をプロットし、プロットした点を通る特性曲線を生成する。
図7(A)に示されるように、メインパターンMPを構成するサブパターンSP2が、横断歩道120を構成する白色パターン121に完全に重なったときに、演算結果G(X)が最大になる。その理由は、サブパターンSP2と重なる画素の輝度の平均値B2が最大となるとともに、サブパターンSP1,SP3と重なる画素の輝度の平均値B1,B3がほぼ零となり、式(1)の演算結果G(X)が最大となるためである。
また、図7(B)に示されるように、メインパターンMPを構成するサブパターンSP1,SP3が、横断歩道120を構成する白色パターン121に完全に重なったときに、演算結果G(X)が最小になる。その理由は、サブパターンSP1,SP3と重なる画素の輝度の平均値B1,B3が最大となるとともに、サブパターンSP2と重なる画素の輝度の平均値B2がほぼ零となり、式(1)の演算結果G(X)が最小となるためである。
したがって、演算結果G(X)が、横断歩道120を構成する白色パターン121を横切る直線に沿って、スキャン動作が行われた結果に基づく演算結果である場合には、特性曲線は、複数(例えば3つ以上)のピークを持った曲線となる。
図8は、例えばスキャン動作が、図6における直線Lに沿って行われた結果に基づいて生成される特性曲線を示す図である。図8を参照するとわかるように、例えばスキャン動作が、直線Lに沿って行われた場合には、演算結果G(X)は、Xの値が、白色パターン121それぞれの位置に対応するX〜Xである場合にピークとなる。したがって、特性曲線は、5つのピークを持った曲線となる。
一方、演算結果G(X)が、横断歩道120を構成する白色パターン121を横切らない直線に沿って、スキャン動作が行われた結果に基づく演算結果である場合には、特性曲線は、2つのピークを持った曲線となる。
図9は、例えばスキャン動作が、図6における直線Lに沿って行われた結果に基づいて生成される特性曲線を示す図である。図9に示されるように、例えばスキャン動作が、直線Lに沿って行われた場合には、演算結果G(X)は、Xの値が、画像PH2におけるライン101それぞれの位置に対応するX,Xである場合にピークとなる。したがって、特性曲線は、2つのピークを持った曲線となる。
曲線生成部35は、直線L〜Lそれぞれに沿って行ったスキャン動作ごとに特性曲線を生成する。そして、特性曲線に関する情報を記憶部31に出力するとともに、特性曲線の生成が完了したことを、判断部36に通知する。
判断部36は、生成された特性曲線の規則性に基づいて、画像PH2に横断歩道が写っているか否かを判断する。図10は、特性曲線の一例を示す図である。図10を参照するとわかるように、判断部36は、曲線の極大点をピークPとして検出する。そして、検出したピークPそれぞれのX座標XPを特定する。次に、判断部36は、次式(2)で示される演算を実行し、特性曲線のピークPに対応するX座標XP同士の差DPを算出する。なお、式(2)におけるNは、N番目のピークに対応する整数である。式(2)の演算結果は、G(X)が最大となるときの、画像PH2におけるメインパターンMPの位置相互間の距離と等しい。
DP=XPN+1−XP …(2)
スキャン動作が白色パターン121を横切る直線L,L(図6参照)に沿って実行された場合には、例えば図8に示される特性曲線が得られる。この場合は、ピークのX座標XPは、画像PH2における白色パターン121のX座標Xに等しくなる。そして、式(2)の演算結果DPは、白色パターン121の配列間隔D1に等しくなる。
一方、スキャン動作が白色パターン121を横切らない直線Lに沿って実行された場合には、図9に示されるように、特性曲線のピークは3つより少なくなる。また、ピークが3つ以上であったとしても、式(2)の演算結果DPは、白色パターン121の配列間隔D1に等しくなることはないと考えられる。
そこで、判断部36は、特性曲線について、ピークが、例えば4つ以上検出された場合であって、N個の差DPの値の過半数が、白色パターン121の配列間隔D1の値とほぼ等しいときに、スキャン動作が、横断歩道120の白色パターン121を横切る直線(例えば直線L,L)に沿って行われたものと判断する。なお、差DPの値と、配列間隔D1の値との比較は、例えば差DPの値と配列間隔D1の値との相違が閾値以下の時に等しいと判断する。
一方、判断部36は、特性曲線について、ピークが3つ以上検出されなかった場合、又は、差DPの値の過半数が、配列間隔D1の値と異なるときに、スキャン動作が、横断歩道120の白色パターン121を横切らない直線(例えば直線L)に沿って行われたものと判断する。
そして、判断部36は、直線L〜Lに沿った3回のスキャン動作中、2回以上のスキャン動作が、横断歩道120の白色パターン121を横切る直線に沿って行われたと判断した場合に、画像PH2に横断歩道120が写っていると判断する。一方、直線L〜Lに沿った3回のスキャン動作中、1回のスキャン動作のみが、横断歩道120の白色パターン121を横切る直線に沿って行われたと判断した場合、或いはすべてのスキャン動作が、白色パターン121を横切る直線に沿って行われなかったと判断した場合に、画像PH2に横断歩道120が写っていないと判断する。そして、画像PH2に横断歩道120が写っているか否かを判断した結果を外部装置等へ出力する。
以上説明したように、本第1の実施形態では、メインパターンMPを用いたスキャン動作によって得られたデータB1(X),B2(X),B3(X)について、式(1)に示される演算処理が実行される。次に、この演算処理の演算結果G(X)と、メインパターンMPの画像PH2上の位置との関係を示す特性曲線が算出される。そして、特性曲線に現れるピークの規則性に基づいて、画像PH2に横断歩道が写っているか否かが判断される。
上述のデータB1(X),B2(X),B3(X)は、メインパターンMPのサブパターンSP1〜SP3それぞれと重なる画素の輝度の平均である。このため、横断歩道120を構成する白色パターン121に亀裂が生じていたり、白色パターン121に剥離が生じていたりしても、データB1(X),B2(X),B3(X)の値は、ほとんど影響を受けない。
更に詳しくは、横断歩道120を構成する白色パターン121に亀裂が生じていたり、白色パターン121に剥離が生じていたりしても、これらの部分を表示する画素の数は、サブパターンSP1〜SP3と重なる画素の数パーセントにすぎない。このため、データB1(X),B2(X),B3(X)の値は、白色パターン121に亀裂等があったとしても、ほとんど影響を受けることはない。したがって、横断歩道120の白色パターン121に経年劣化が生じたとしても、画像PH2に横断歩道が写っているか否かを精度よく判断することができる。
なお、上記配列間隔D1、距離d1,d2の値それぞれは、実際の道路100における0.45mに対応する値である。また、直線L〜L相互間の距離D2は、実際の道路100における1.5mに対応する値である。また、メインパターンMPのY軸方向の寸法は、例えば画像PH2の画素と同等の大きさ(1ピクセルに相当する大きさ)である。ただし、メインパターンMPのY軸方向の寸法は、必要に応じて適宜変更してもよい。例えば、Y軸方向の寸法を、数ピクセル相当の大きさとしてもよい。
《第2の実施形態》
次に、本発明の第2の実施形態を、図11〜図17を参照しつつ説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態に係る横断歩道検出システム10は、横断歩道検出装置30が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、第1の実施形態に係る横断歩道検出システム10と相違している。
図11は、横断歩道検出システム10の物理的な構成を示すブロック図である。図11に示されるように、横断歩道検出システム10は、撮像装置20と、コンピュータからなる横断歩道検出装置30とから構成されている。
横断歩道検出装置30は、CPU(Central Processing Unit)30a、主記憶部30b、補助記憶部30c、表示部30d、入力部30e、インターフェイス部30f、及び上記各部を相互に接続するシステムバス30gを含んで構成されている。
CPU30aは、補助記憶部30cに記憶されているプログラムに従って、撮像装置20から出力された画像PH1について、後述する処理を実行する。
主記憶部30bは、RAM(Random Access Memory)等を含んで構成され、CPU30aの作業領域として用いられる。
補助記憶部30cは、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部30cは、CPU30aが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置20から出力される画像に関する情報、及びCPU30aによる処理結果などを含む情報を順次記憶する。
表示部30dは、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などを含んで構成され、CPU30aの処理結果を表示する。
入力部30eは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部30eを介して入力され、システムバス30gを経由してCPU30aに通知される。
インターフェイス部30fは、シリアルインターフェイスまたはLAN(Local Area Network)インターフェイス等を含んで構成されている。撮像装置20は、インターフェイス部30fを介してシステムバス30gに接続される。
図12及び図13のフローチャートは、CPU30aによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図12を参照しつつ、横断歩道検出装置30が実行する処理について説明する。なお、この処理は、横断歩道検出システム10が起動され、撮像装置20によって撮像された画像に関する情報が出力された後に実行される。また、前提として、撮像装置20からは、図2に示される画像PH1が出力されたものとする。
まず、最初のステップS101では、CPU30aは、撮像装置20によって撮像された画像PH1を、道路100を真上から見た画像(トップビュー画像)に変換する。具体的には、画像変換部32は、画像PH1に対して、座標変換処理を実行し、例えば図3に示される画像PH2を生成する。
次のステップS102では、CPU30aは、画像PH2に対してスキャン処理を実行する。図12は、ステップS102で実行されるサブルーチンを示す図である。CPU30aは、ステップS102での処理を、図12に示されるサブルーチンを実行することにより実現する。
サブルーチンにおける最初のステップS201では、CPU30aは、カウンタ値Nのリセットを行う。これにより、カウンタNの値が1に初期設定される。
次のステップS202では、CPU30aは、判定フラグをオフに設定する。
次のステップS203では、CPU30aは、メインパターンを直線L上の第1位置(図3における矢印aに示される位置)へ位置決めする。この位置では、メインパターンMPの中心は、直線L上に位置する。また、メインパターンMPの−X側端は、画像PH2の−X側端に一致する。
次のステップS204では、CPU30aは、サブパターンSP1と重なる画素の輝度の平均値B1、サブパターンSP2と重なる画素の輝度の平均値B2、サブパターンSP3と重なる画素の輝度の平均値B3を順次算出する。そして、各輝度平均値に、メインパターンMPのX座標を関連づけたデータB1(X),B2(X),B3(X)を生成する。
次のステップS205では、CPU30aは、データB1(X),B2(X),B3(X)について、上記式(1)で示される演算を実行する。これにより、演算結果G(X)が算出される。
次のステップS206では、CPU30aは、演算結果G(X)の値が、零以上の閾値A以上である否か判断する。図14は、直線Lに沿ってスキャン動作を行った結果から得られる特性曲線と、閾値A,Bとの関係が示されている。ここでは、メインパターンMPは、X座標が零となる第1位置にある。したがって、演算結果G(X)は閾値Aより小さい。したがって、ステップS206での判断は否定され、CPU30aは、ステップS212へ移行する。
ステップS212では、CPU30aは、演算結果G(X)の値が、零以下の閾値B以下である否か判断する。図14に示されるように、ここでは、演算結果G(X)は閾値B以下である。したがって、CPU30aは、ステップS213へ移行する。
ステップS213では、CPU30aは、判定フラグをオフに設定する。
ステップS214では、CPU30aは、メインパターンMPが第2位置(図6における矢印bに示される位置)にあるか否か判断する。ここでは、メインパターンMPは、第1位置にあるので、ステップS214での判断は否定され、CPU30aは、次のステップS215へ移行する。
ステップS215では、CPU30aは、メインパターンMPの位置を、+X方向へ微小距離移動させる。そして、ステップS204へ戻る。
以降、CPU30aによって、ステップS204〜S206の処理,及びステップS212〜S215の処理が繰り返し実行されると、メインパターンMPがX方向へ移動し、それに伴い、演算結果G(X)の値は、図14の特性曲線に示されるように推移する。やがて、演算結果G(X)の値は、閾値A以下で、かつ閾値Bより大きくなる。この場合は、ステップS212での判断が否定され、CPU30aは、ステップS214へ直接移行する。
次に、CPU30aによって、ステップS204〜S206の処理、及びS212,S214,S215の処理が繰り返し実行されると、演算結果G(X)の値は、閾値Bより大きくなる。この場合は、ステップS206での判断が肯定され、CPU30aは、ステップS207へ移行する。
ステップS207では、CPU30aは、判定フラグがオフであるか否か判断する。ここでは、判定フラグはオフである。したがって、ステップS207での判断が肯定され、CPU30aは、ステップS208へ移行する。
ステップS208では、CPU30aは、演算結果G(X)をピーク値として、記憶部31へ保存する。
次のステップS209では、CPU30aは、判定フラグをオンに設定する。
次に、CPU30aは、ステップS214,S215の処理を実行した後、ステップS204〜S206の処理を実行する。この時点では、判定フラグがオンに設定されている。したがって、ステップS207での判断は否定される。この場合、CPU30aは、ステップS210へ移行する。
ステップS210では、CPU30aは、演算結果G(X)が、直近に保存された演算結果GN−1(X)よりも大きいか判断する。メインパターンMPのX座標が、X以下である場合には、ステップS210での判断は肯定され、CPU30aは、ステップS211へ移行する。
ステップS211では、CPU30aは、演算結果G(X)をピーク値として保存する。これにより、演算結果G(X)が更新される。
以降、CPU30aによって、ステップS214,S215,ステップS204〜S207,及びステップ210,S211の処理が繰り返し実行されることで、図15中に白○で示されるように、ピーク値が更新される。
一方、メインパターンMPのX座標が、Xを超えると、ステップS210での判断は否定され、CPU30aは、ステップS214へ移行する。
以降、メインパターンMPが第2位置まで移動し、ステップS214での判断が肯定されるまで、ステップS201〜S215までの処理が繰り返し実行される。これにより、直線Lに沿ったスキャン動作が完了し、図16に白丸で示されるようにピークが更新され、最終的に複数のピークPが決定する。
ステップS214での判断が肯定されると、CPU30aは、ステップS216へ移行する。
ステップS216では、CPU30aは、カウンタ値Nが3であるか否か判断する。ここでは、カウンタ値Nは1であるため、ステップS216の判断は否定され、CPU30aは、ステップS217へ移行する。
ステップS217では、CPU30aは、カウンタ値Nを1インクリメントし、ステップS203へ戻る。
以降、カウンタ値が3となり、ステップS216での判断が肯定されるまで、S201〜S214の処理が繰り返し実行される。これにより、直線Lに沿ったスキャン動作が行われ、最終的に、図17に示される複数(2つ)のピークPが決定する。また、直線Lに沿ったスキャン動作が行われ、最終的に、複数のピークPが決定する。
カウンタ値Nが3になり、ステップS216での判断が肯定されると、CPU30aは、サブルーチンを終了し、ステップS103に移行する。
次のステップ103では、ステップ102のスキャン処理によって決定したピークPに基づいて、画像PH2に横断歩道120が写っているか否かを判断する。
例えば、CPU30aは、直線Lに沿ったスキャン動作ごとに、ピークPN,MのX座標XPを特定する。なお、ここでのNはラインナンバーを表し、Mはピークナンバーを表している。そして、図16に示されるX座標XP同士の差DPを算出する。次に、ピークが、例えば4つ以上検出された場合であって、N個の差DPの値の過半数が、白色パターン121の配列間隔D1の値とほぼ等しいときに、スキャン動作が、横断歩道120の白色パターン121を横切る直線(例えば直線L,L)に沿って行われたものと判断する。
一方、CPU30aは、特性曲線について、ピークが3つ以上検出されなかった場合、又は、差DPの値と、配列間隔D1の値とが異なるときに、スキャン動作が、横断歩道120の白色パターン121を横切らない直線(例えば直線L)に沿って行われたものと判断する。
そして、CPU30aは、直線L〜Lに沿った3回のスキャン動作中、2回以上のスキャン動作が、横断歩道120の白色パターン121を横切る直線に沿って行われたと判断した場合に、画像PH2に横断歩道120が写っていると判断する。一方、直線L〜Lに沿った3回のスキャン動作中、1回のスキャン動作のみが、横断歩道120の白色パターン121を横切る直線に沿って行われたと判断した場合、或いはすべてのスキャン動作が、白色パターン121を横切る直線に沿って行われなかったと判断した場合に、画像PH2に横断歩道120が写っていない判断する。
次のステップS104では、CPU30aは、画像PH2に横断歩道120が写っているか否かを判断した結果を外部装置等へ出力する。
以上説明したように、本第2の実施形態では、メインパターンMPを用いたスキャン動作によって得られたデータB1(X),B2(X),B3(X)について、式(1)に示される演算処理が実行される。次に、演算結果G(X)と、メインパターンMPの画像PH2上の位置との関係を示す特性曲線のピークが決定され、このピークの規則性に基づいて、画像PH2に横断歩道が写っているか否かが判断される。
上述のデータB1(X),B2(X),B3(X)は、メインパターンMPのサブパターンSP1〜SP3それぞれと重なる画素の輝度の平均である。このため、横断歩道120を構成する白色パターン121に亀裂が生じていたり、白色パターン121に剥離が生じていたりしても、データB1(X),B2(X),B3(X)の値は、ほとんど影響を受けない。したがって、横断歩道120の白色パターン121に経年劣化が生じたとしても、画像PH2に横断歩道が写っているか否かを精度よく判断することができる。
また、本実施形態では、3つ以上のピークが特定された後も、スキャン動作を行った。これに限らず、スキャン動作において、例えばピークが2つ特定できたら、当該スキャン動作を停止し、ピークのX座標XPとX座標XP相互間の差DPを算出する。そして、この差DPが、白色パターン121の配列間隔D1の値とほぼ等しいときに、当該スキャン動作が白色パターン121を横切る直線に沿って行われたものと判断してもよい。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記実施形態では、直線L〜Lそれぞれに沿って、3回のスキャン動作を行った。これに限らず、横断歩道検出システム10は、スキャン動作を、4回以上行ってもよい。また、1回のスキャン動作で、画像PH2に横断歩道が写っているか否かを判断してもよい。また、この場合に、画像の上方から順次スキャン動作を実施し、横断歩道が写っていると判断された場合にスキャンを停止する形態が考えられる。
また、上記実施形態では、直線Lが画像PH1の中心を通ることとした。これに限らず、直線Lは、画像PH1の中心を通る直線でなくともよい。画像PHにおける直線L〜Lの位置は、例えば車種や、撮像装置20の取り付け位置、その他の条件に応じて、適当な位置とすることができる。
また、上記実施形態では、サブパターンSP1〜SP3と重なる画素の輝度の平均値を用いて、画像PHに写る横断歩道を検出した。これに限らず、サブパターンSP1〜SP3と重なる画素の輝度の総和等を用いて、画像PHに写る横断歩道を検出してもよい。
また、上記実施形態では、メインパターンMPが3つのサブパターンSP1〜SP3から構成されている場合について説明した。これに限らず、メインパターンMPが、サブパターンSP1及びサブパターンSP2のみから構成されていてもよい。この場合は、演算部34は、データB1(X),B2(X)について、次式(3)で示される演算を実行すればよい。
(X)=B2(X)−B1(X) …(3)
また、上記実施形態では、式(1)を用いた演算を行ったが、これに限らず、例えば、次式(4)、或いは次式(5)に基づく演算を行ってもよい。例えば、式(4)、及び式(5)では、係数kの値を2、係数kの値を1とすることができる。
(X)=k・B2(X)−k・(B1(X)+B3(X))/2 …(4)
(X)=k・B2(X)−k・B1(X) …(5)
また、上記実施形態では、メインパターンMPを、ライン101によって区画される車線の一側にある第1位置から、他側にある第2位置へ移動させることにより、スキャン動作を実行した。これに限らず、画像に横断歩道120全体が写っている場合には、メインパターンMPを、道路100の一側(+X側)から他側(−X側)へ移動させることにより、スキャン動作を実行してもよい。
また、上記実施形態では、メインパターンMPを、その−X側端が画像PH2の−X側端と一致する位置から、+X方向へ移動させることにより、スキャン動作を実行した。これに限らず、道路100のライン101の位置がわかっている場合、具体的には、ライン101を画像処理等により予め検出した場合には、例えば図3に示される2本のライン101の間で、メインパターンMPを移動させて、スキャン動作を実行することとしてもよい。
この場合、メインパターンMPを移動させる距離が少なくなるので、横断歩道検出システム10が取り扱う情報量が少なくなる。その結果、横断歩道検出システム10は、短時間に処理を完結することが可能となる。
また、上記実施形態では、撮像装置20によって撮像された画像PH1を、画像PH2に変換したがこれに限らず、画像PH1に直接メインパターンMPを規定し、このメインパターンMPを用いてスキャン動作を行ってもよい。具体的には、画像変換部32による変換が行われる前の画像PH1上に、画像PH2と同様に、左下のコーナーを原点とするXY座標系と、メインパターンMPとを規定する。そして、このメインパターンMPを用いて、画像PH1に対するスキャン動作を行う。この場合、メインパターンMPのY座標に応じて、メインパターンMPのX軸方向の寸法を適当に変更する必要がある。その理由は、車両の前方の道路100を撮影した画像PH1では、画像PH1に写る道路100は、画像PH1の焦点に近づくにつれて(撮像装置20から遠くなるにつれて)、幅が小さくなるためである。
また、上記実施形態では、サブパターンSP1〜SP3同士が隣接している場合について説明した。これに限らず、サブパターンSP1〜SP3同士は、所定のクリアランスを介して配置されていてもよい。例えば、図5における各サブパターンSP1〜SP3を、中心位置をそのままに、X軸方向の寸法を例えば0.1m小さくし、これらのサブパターンSP1〜SP3から、メインパターンMPを構成してもよい。
また、上記各実施形態に係る横断歩道検出装置30の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
また、第2の実施形態において横断歩道検出装置30の補助記憶部30cに記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラムは、画像に写る横断歩道の検出に適している。
10 横断歩道検出システム
20 撮像装置
30 横断歩道検出装置
30a CPU
30b 主記憶部
30c 補助記憶部
30d 表示部
30e 入力部
30f インターフェイス部
30g システムバス
31 記憶部
32 画像変換部
33 平均値算出部
34 演算部
35 曲線生成部
36 判断部
100 道路
101 ライン
120 横断歩道
121 白色パターン
MP メインパターン
PH1 画像
PH2 画像
SP1 サブパターン
SP2 サブパターン
SP3 サブパターン

Claims (12)

  1. 道路を横切る横断歩道が写る画像から、前記横断歩道を検出する横断歩道検出装置であって、
    前記画像に写る前記横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する算出手段と、
    前記第1演算値と前記第2演算値とを用いた演算を行う演算手段と、
    前記メインパターンの位置と前記演算手段による演算の結果との関係の規則性に基づいて、前記第1位置と前記第2位置の間に、前記横断歩道の画像が存在するか否かを判断する判断手段と、
    を備える横断歩道検出装置。
  2. 前記演算手段は、前記第1演算値と前記第2演算値との差を演算する請求項1に記載の横断歩道検出装置。
  3. 前記第1位置は、前記画像に写る前記道路の車線の一側に規定され、前記第2位置は、前記画像に写る前記道路の前記車線の他側に規定される請求項1又は2に記載の横断歩道検出装置。
  4. 前記第1位置は、前記画像に写る前記道路の一側に規定され、前記第2位置は、前記画像に写る前記道路の他側に規定される請求項1又は2に記載の横断歩道検出装置。
  5. 前記第1位置は、前記道路の車線を区画するライン上に規定される請求項1又は2に記載の横断歩道検出装置。
  6. 前記メインパターンは、前記第1サブパターンの一側に隣接する前記第2サブパターンと、前記第1サブパターンの他側に隣接する前記第2サブパターンとを有する請求項1乃至5のいずれか一項に記載の横断歩道検出装置。
  7. 前記判断手段は、前記演算手段による演算結果から導かれる特性曲線によって示されるピーク相互間の間隔の規則性に基づいて、前記横断歩道の画像が存在するか否かを判断する請求項1乃至6のいずれか一項に記載の横断歩道検出装置。
  8. 前記第1位置と前記第2位置とによって規定される第1直線は、前記画像に写る前記道路に直交する請求項1乃至7のいずれか一項に記載の横断歩道検出装置。
  9. 前記算出手段は、前記第1直線と平行な第2直線に沿って、更に前記メインパターンを移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する請求項8に記載の横断歩道検出装置。
  10. 車両の進行方向の道路を撮像する撮像手段と、
    前記撮像手段によって撮像された画像から横断歩道を検出する請求項1乃至9のいずれか一項に記載の横断歩道検出装置と、
    を備える横断歩道検出システム。
  11. 道路を横切る横断歩道が写る画像から、前記横断歩道を検出するための横断歩道検出方法であって、
    前記画像に写る前記横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する工程と、
    前記第1演算値と前記第2演算値とを用いた演算を行う工程と、
    前記メインパターンの位置と、前記第1演算値と前記第2演算値とを用いた演算の結果と、の関係の規則性に基づいて、前記第1位置と前記第2位置の間に、前記横断歩道の画像が存在するか否かを判断する工程と、
    を含む横断歩道検出方法。
  12. コンピュータを、
    画像に写る前記横断歩道を構成する白色パターンに対応する第1サブパターンと、前記白色パターンに挟まれる領域に対応する第2サブパターンとを有するメインパターンを、前記画像上の第1位置から、前記第1位置とは異なる第2位置まで移動させながら、前記第1サブパターンと重なる画素の輝度に基づいて演算された第1演算値と、前記第2サブパターンと重なる画素の輝度に基づいて演算された第2演算値とを算出する算出手段と、
    前記第1演算値と前記第2演算値とを用いた演算を行う演算手段と、
    前記メインパターンの位置と前記演算手段による演算の結果との関係の規則性に基づいて、前記第1位置と前記第2位置の間に、前記横断歩道の画像が存在するか否かを判断する判断手段と、
    として機能させるプログラム。
JP2010058286A 2010-03-15 2010-03-15 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム Expired - Fee Related JP5035371B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010058286A JP5035371B2 (ja) 2010-03-15 2010-03-15 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
US13/583,868 US8600112B2 (en) 2010-03-15 2011-03-08 Crosswalk detection device, crosswalk detection method and recording medium
DE112011100928T DE112011100928T5 (de) 2010-03-15 2011-03-08 Fußgängerüberwegerfassungsvorrichtung, Fußgängerüberwegerfassungsverfahren und Programm
CN201180011768.3A CN102782725B (zh) 2010-03-15 2011-03-08 人行横道检测装置、人行横道检测方法
PCT/JP2011/055384 WO2011114947A1 (ja) 2010-03-15 2011-03-08 横断歩道検出装置、横断歩道検出方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010058286A JP5035371B2 (ja) 2010-03-15 2010-03-15 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2011192071A true JP2011192071A (ja) 2011-09-29
JP2011192071A5 JP2011192071A5 (ja) 2012-07-05
JP5035371B2 JP5035371B2 (ja) 2012-09-26

Family

ID=44649045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010058286A Expired - Fee Related JP5035371B2 (ja) 2010-03-15 2010-03-15 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム

Country Status (5)

Country Link
US (1) US8600112B2 (ja)
JP (1) JP5035371B2 (ja)
CN (1) CN102782725B (ja)
DE (1) DE112011100928T5 (ja)
WO (1) WO2011114947A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115559A (ja) * 2011-11-28 2013-06-10 Mitsubishi Electric Corp 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置
JP2013210991A (ja) * 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
WO2014132747A1 (ja) 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
KR101440293B1 (ko) * 2012-02-16 2014-09-17 팅크웨어(주) 횡단 보도를 검출하는 장치 및 방법
JP2020061020A (ja) * 2018-10-11 2020-04-16 トヨタ自動車株式会社 横断歩道標示推定装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680171B (zh) * 2013-11-27 2018-10-02 富士通株式会社 图像中斑马线的检测装置、方法
CN104268513B (zh) * 2014-09-17 2017-10-31 百度在线网络技术(北京)有限公司 道路引导数据的获取方法及装置
CN104331708B (zh) * 2014-11-05 2017-11-10 武汉大学 一种人行横道线自动检测分析方法及系统
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US9846969B2 (en) 2014-12-01 2017-12-19 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
BR112018015498A2 (pt) * 2016-01-29 2019-01-22 Nissan Motor método para controlar o deslocamento de um veículo e dispositivo para controlar o deslocamento de um veículo
EP3435352B1 (en) * 2016-03-24 2021-11-17 Nissan Motor Co., Ltd. Travel path detection method and travel path detection device
CN107049717B (zh) * 2016-11-23 2019-03-01 杭州视氪科技有限公司 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
US10915762B1 (en) * 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315296A (ja) * 1995-05-12 1996-11-29 Mitsubishi Electric Corp 路面監視装置及び路面監視方法
JP2007052645A (ja) * 2005-08-18 2007-03-01 Fujitsu Ltd 路面標示認識装置及びシステム
JP2007228448A (ja) * 2006-02-27 2007-09-06 Hitachi Ltd 撮像環境認識装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE394146B (sv) * 1975-10-16 1977-06-06 L Olesen Anordning for metning resp kontroll av ett foremals, i synnerhet ett fordons hastighet.
JP3833001B2 (ja) * 1999-04-12 2006-10-11 積水樹脂株式会社 路面標示システム
JP3352655B2 (ja) 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2002329297A (ja) * 2001-04-27 2002-11-15 Nippon Signal Co Ltd:The 危険検出システム
JP4327389B2 (ja) * 2001-10-17 2009-09-09 株式会社日立製作所 走行レーン認識装置
JP3736463B2 (ja) * 2002-01-23 2006-01-18 石川島播磨重工業株式会社 歩行者感応信号制御方法
JP3964230B2 (ja) * 2002-03-01 2007-08-22 アルパイン株式会社 車載用ナビゲーション装置
JP3977776B2 (ja) * 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP2004310522A (ja) 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
DE10349631A1 (de) * 2003-10-24 2005-05-19 Robert Bosch Gmbh Fahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen
WO2006045259A1 (de) * 2004-10-27 2006-05-04 Robert Bosch Gmbh Verfahren zur verbesserung der sicherheit von an einem vorzeitig erkannten unfall beteiligten verkehrsteilnehmern
JP2006190188A (ja) * 2005-01-07 2006-07-20 Toyota Motor Corp 領域分割方法
JP4568637B2 (ja) 2005-04-26 2010-10-27 富士重工業株式会社 道路認識装置
JP4248558B2 (ja) * 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
JP2007264712A (ja) 2006-03-27 2007-10-11 Fuji Heavy Ind Ltd 車線検出装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
JP4886597B2 (ja) * 2007-05-25 2012-02-29 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP5395385B2 (ja) 2008-09-01 2014-01-22 学校法人東海大学 炭素繊維強化熱可塑性樹脂成型体の製造方法および炭素繊維強化熱可塑性樹脂成型体
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
US8953838B2 (en) * 2009-06-24 2015-02-10 Here Global B.V. Detecting ground geographic features in images based on invariant components
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
JP5631581B2 (ja) 2009-12-01 2014-11-26 富士重工業株式会社 道路認識装置
JP5220787B2 (ja) * 2010-03-08 2013-06-26 株式会社日本自動車部品総合研究所 車載白線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315296A (ja) * 1995-05-12 1996-11-29 Mitsubishi Electric Corp 路面監視装置及び路面監視方法
JP2007052645A (ja) * 2005-08-18 2007-03-01 Fujitsu Ltd 路面標示認識装置及びシステム
JP2007228448A (ja) * 2006-02-27 2007-09-06 Hitachi Ltd 撮像環境認識装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013115559A (ja) * 2011-11-28 2013-06-10 Mitsubishi Electric Corp 俯瞰映像生成装置、俯瞰映像生成方法、映像表示システムおよびナビゲーション装置
KR101440293B1 (ko) * 2012-02-16 2014-09-17 팅크웨어(주) 횡단 보도를 검출하는 장치 및 방법
JP2013210991A (ja) * 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
WO2014132747A1 (ja) 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
US9679196B2 (en) 2013-02-27 2017-06-13 Hitachi Automotive Systems, Ltd. Object sensing device
JP2020061020A (ja) * 2018-10-11 2020-04-16 トヨタ自動車株式会社 横断歩道標示推定装置
JP7032280B2 (ja) 2018-10-11 2022-03-08 トヨタ自動車株式会社 横断歩道標示推定装置

Also Published As

Publication number Publication date
US20130016915A1 (en) 2013-01-17
CN102782725B (zh) 2014-06-11
CN102782725A (zh) 2012-11-14
DE112011100928T5 (de) 2013-01-24
JP5035371B2 (ja) 2012-09-26
US8600112B2 (en) 2013-12-03
WO2011114947A1 (ja) 2011-09-22

Similar Documents

Publication Publication Date Title
JP5035371B2 (ja) 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
CN113486796B (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
US11763575B2 (en) Object detection for distorted images
JP4367475B2 (ja) 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
CN104715249B (zh) 物体跟踪方法和装置
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP2002352225A (ja) 障害物検出装置及びその方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
WO2008056660A1 (fr) Système de détection de point de fuite, procédé de détection de point de fuite et programme de détection de point de fuite
KR20140056790A (ko) 영상 인식 장치 및 그 방법
US20180150703A1 (en) Vehicle image processing method and system thereof
JP5874831B2 (ja) 立体物検出装置
JP2010128727A (ja) 画像処理装置
CN109583365A (zh) 基于成像模型约束非均匀b样条曲线拟合车道线检测方法
JP2014110028A (ja) 画像処理装置、画像処理方法およびプログラム
JP2009139323A (ja) 車両用走行路面検出装置
US10679090B2 (en) Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
US11519780B2 (en) Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium
JP2007188269A (ja) 画像上移動物体追跡方法及び装置
JP2010271876A (ja) 移動体追跡装置、移動体追跡方法及びプログラム
JP4555987B2 (ja) 画像における移動物体追跡方法及び装置
JP2024032396A (ja) 情報処理装置、情報処理方法およびプログラム
JP2006024146A (ja) 画像処理による移動物体計測方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120517

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5035371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees