JP2017073008A - 車両用運転支援システムおよび運転支援方法 - Google Patents

車両用運転支援システムおよび運転支援方法 Download PDF

Info

Publication number
JP2017073008A
JP2017073008A JP2015199873A JP2015199873A JP2017073008A JP 2017073008 A JP2017073008 A JP 2017073008A JP 2015199873 A JP2015199873 A JP 2015199873A JP 2015199873 A JP2015199873 A JP 2015199873A JP 2017073008 A JP2017073008 A JP 2017073008A
Authority
JP
Japan
Prior art keywords
vehicle
detection target
unit
detected
front camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015199873A
Other languages
English (en)
Other versions
JP6129268B2 (ja
Inventor
知也 河越
Tomoya Kawagoe
知也 河越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015199873A priority Critical patent/JP6129268B2/ja
Priority to US15/089,635 priority patent/US20170103271A1/en
Publication of JP2017073008A publication Critical patent/JP2017073008A/ja
Application granted granted Critical
Publication of JP6129268B2 publication Critical patent/JP6129268B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/32Vehicle surroundings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

【課題】コストや時間を抑えつつ、見通しの悪い交差点を高精度に検出してドライバに注意喚起することができる車両用運転支援システムを得る。【解決手段】サンプル判定部は、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別する。【選択図】図1

Description

この発明は、見通しの悪い交差点を学習してドライバに注意喚起する車両用運転支援システムおよび運転支援方法に関する。
近年、四輪自動車等の車両に搭載されたカメラで撮像された画像から、道路上の歩行者や自転車、二輪車等を検出し、ドライバに注意喚起することにより、事故を未然に防止する技術が開発されている。
一方で、車両に搭載されたカメラでは検出が困難な、見通しの悪い交差点の歩行者等を検出する技術が知られている。具体的には、多数の建造物が存在し、見通しが悪いために事故が多発している交差点に自車両が近づいていることが確認された場合に、警報音を発生させるとともに、表示部の画面上に警告画像を表示させることにより、ドライバに注意喚起する車両用ナビゲーション装置が知られている(例えば、特許文献1参照)。
また、道路側に設置されたインフラ設備から優先道路上の走行車両の位置や速度を獲得し、獲得した情報をドライバに通知することで、道路形状や位置的な関係から、自車両単独では検知することのできない有用な車両情報をインフラ設備から獲得し、非優先道路から優先道路に進入する際の、出合い頭の衝突を防止する出合い頭衝突防止支援システムが知られている(例えば、特許文献2参照)。
特開平4−44087号公報 特開2002−163789号公報 特開2009−104366号公報 特開2011−198006号公報 特開2004−62874号公報
しかしながら、従来技術には、以下のような課題がある。
すなわち、特許文献1に記載された車両用ナビゲーション装置では、自車両の現在位置と地図データとに基づいて、自車両が見通しの悪い交差点に近づいているか否かを判定しているので、実際には見通しのよい交差点まで注意喚起の対象になるという問題がある。
また、特許文献2に記載された出合い頭衝突防止支援システムでは、数の多い小規模な交差点にまでインフラ設備を設置する必要があるので、インフラ設備の設置に多大なコストや時間を要するという問題がある。
この発明は、上記のような課題を解決するためになされたものであり、コストや時間を抑えつつ、見通しの悪い交差点を高精度に検出してドライバに注意喚起することができる車両用運転支援システムおよび運転支援方法を得ることを目的とする。
この発明に係る車両用運転支援システムは、車両の後方の画像を撮像するステレオカメラと、ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、ステレオカメラで撮像された検出対象の方向を検出する第1オブジェクト検出部と、車両の座標を計測する高精度測位部と、車両の前方の画像を撮像する前方カメラと、前方カメラで撮像された検出対象の方向を検出する第2オブジェクト検出部と、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別するサンプル判定部と、を備えたものである。
また、この発明に係る車両用運転支援方法は、車両の後方の画像を撮像するステレオカメラと、ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、ステレオカメラで撮像された検出対象の方向を検出する第1オブジェクト検出部と、車両の座標を計測する高精度測位部と、車両の前方の画像を撮像する前方カメラと、前方カメラで撮像された検出対象の方向を検出する第2オブジェクト検出部と、を備えた車両用運転支援システムで実行される車両用運転支援方法であって、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別するステップと、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別するステップと、を有するものである。
この発明に係る車両用運転支援システムによれば、サンプル判定部は、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別する。
そのため、コストや時間を抑えつつ、見通しの悪い交差点を高精度に検出してドライバに注意喚起することができる。
この発明の実施の形態1に係る学習時の車両用運転支援システムを示すブロック構成図である。 この発明の実施の形態1に係る車両用運転支援システムにおける学習処理を示す説明図である。 この発明の実施の形態1に係る車両用運転支援システムにおける学習処理を示す説明図である。 この発明の実施の形態1に係る運用時の車両用運転支援システムを示すブロック構成図である。
以下、この発明に係る車両用運転支援システムおよび運転支援方法の好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。なお、以下の実施の形態では、検出対象として歩行者を例に挙げて説明するが、これに限定されず、検出対象は、自転車や二輪車等であってもよい。
なお、この発明に係る車両用運転支援システムは、車両に搭載されたカメラで撮像された画像から、事前に学習した見通しの悪い交差点の画像を検出し、ドライバに注意喚起するものである。ここで、見通しの悪い交差点の学習は、以下のようにして実行される。
まず、1台の車両を別の1台の車両が追尾する2台の車両において、先行車両の歩行者検出部が、地球上のある座標に歩行者を検出したが、後続車両の歩行者検出部は、この座標の方向に歩行者を検出しなかった場合に、後続車両のこの座標の方向の画像を、見通しの悪い交差点として学習する。
続いて、実際の車両の走行時において、学習した見通しの悪い交差点と同様の画像を検出した場合に、ドライバに注意喚起する。このとき、この発明に係る車両用運転支援システムは、例えば車両搭載の前方監視カメラ画像認識装置等の従来からある歩行者検出装置を、検出対象を歩行者から見通しの悪い交差点に変えて適用することができる。
実施の形態1.
図1は、この発明の実施の形態1に係る学習時の車両用運転支援システムを示すブロック構成図である。図1において、先行する車両Aは、歩行者検出部10A、高精度測位部20Aおよび送信部30を備えている。
また、歩行者検出部10Aは、ステレオカメラを構成するカメラ11AR、11AL、対応点検出部12A、距離計算部13A、スキャンウインドウ設定部14A、オブジェクト検出部15Aおよび歩行者境界線データ16Aを有し、カメラ11AR、11ALで車両の後方の画像を撮像し、その画像から歩行者Pを検出し、歩行者Pまでの距離Z、並びに歩行者の方向θAおよび歩行者らしさを示すスコアデータAを出力する。
また、対応点検出部12Aは、カメラ11ARのxbの点に投影された歩行者Pが、カメラ11ALでは、xaの点に投影されることを検出する。また、距離計算部13Aは、点xa、点xb、カメラ11AR、11ALの焦点距離f、およびカメラ11ARとカメラ11ALとの間隔Bに基づいて、次式により検出対象である歩行者Pまでの距離Zを計算する。ここで、距離Zの計算方法としては、例えば特許文献3に具体的に記載されている。
Z(=B×f÷(xa−xb))
なお、歩行者を正確に認識するためには、例えば特許文献4に示されるような、検出対象の検出を行うためのオブジェクト検出装置が用いられる。この検出装置は、カメラから入力された画像に対して、スキャンウインドウを設定するスキャンウインドウ設定部と、設定されたスキャンウインドウに対してHOG(Hitogram of Oriented Gradient)特徴量等を抽出し、検出対象らしさを表すスコアを出力するオブジェクト検出部とから構成される。
オブジェクト検出部は、事前に、人物が写った画像である検出対象サンプルと、人物以外の物体が写った画像や何も物体がない画像である非検出対象サンプルとから特徴量を抽出し、その特徴量空間上の学習サンプル、すなわち検出対象サンプルおよび非検出対象サンプルの分布に基づいて、SVM(Support Vector Machine)やブースティング法等の代表的な統計的学習手法を用いることで、特徴量空間上の検出対象サンプルと非検出対象サンプルとの境界線を学習して構築する。
また、オブジェクト検出部は、スキャンウインドウ内のオブジェクトの検出対象らしさを、スキャンウインドウから抽出した特徴量と、事前に構築した特徴量空間上の境界線との空間的な位置関係に基づいて、スコアとして出力する。
そこで、図1に示したスキャンウインドウ設定部14Aは、特許文献4と同様に、カメラ11ARまたはカメラ11ALから入力された画像に対して、入力された画像の一部の領域をスキャンウインドウとして設定する。
また、オブジェクト検出部15Aは、スキャンウインドウの特徴量と、事前に構築した歩行者境界線データ16Aが示す特徴量空間上の境界線との位置関係に基づいて、スキャンウインドウにおける歩行者らしさを表すスコアデータAと、そのときのスキャンウインドウの方向θAとを出力する。
高精度測位部20Aは、例えば特許文献5に示された準天頂衛星やGPS(Global Positioning System)衛星等の衛星測位システムであり、車両Aの地球上における位置を座標(XA,YA)として計測する。
送信部30は、距離計算部13Aが出力する歩行者Pまでの距離Z、オブジェクト検出部15Aが出力するスコアデータAおよび方向θA、並びに高精度測位部20Aが出力する座標(XA,YA)を、無線で後続する車両Bに送信する。
また、図1において、後続する車両Bは、歩行者検出部10B、高精度測位部20B、受信部40、サンプル判定部50およびサンプルデータ60を備えている。また、歩行者検出部10Bは、カメラ11B、スキャンウインドウ設定部14B、オブジェクト検出部15Bおよび歩行者境界線データ16Bを有している。
カメラ11Bは、車両の前方の画像を撮像する。スキャンウインドウ設定部14Bは、カメラ11Bから入力された画像に対して、入力された画像の一部の領域をスキャンウインドウとして設定する。
また、オブジェクト検出部15Bは、スキャンウインドウの特徴量と、事前に構築した歩行者境界線データ16Bが示す特徴量空間上の境界線との位置関係に基づいて、スキャンウインドウにおける歩行者らしさを表すスコアデータBと、そのときのスキャンウインドウの方向θBとを出力する。
高精度測位部20Bは、高精度測位部20Aと同様にして、車両Bの地球上における位置を座標(XB,YB)として計測する。受信部40は、送信部30が送信した歩行者Pまでの距離Z、スコアデータAおよび方向θA、並びに座標(XA,YA)を受信する。
サンプル判定部50は、オブジェクト検出部15Bが出力するスコアデータBおよび方向θB、高精度測位部20Bが出力する座標(XB,YB)、並びに受信部が受信した歩行者Pまでの距離Z、スコアデータA、方向θA、および座標(XA,YA)に基づいて、スキャンウインドウ設定部14Bが設定したスキャンウインドウの画像データを、検出対象サンプルデータ61または非検出対象サンプルデータ62に選別し、サンプルデータ60として格納する。
上記のように構成した車両Aおよび車両Bにおいて、まず、見通しの悪い交差点の検出対象サンプルデータ61および非検出対象サンプルデータ62の収集を行う。このとき、車両Aが先行し、一定の距離をおいて車両Bがそれを追うように走行する。
図2に示されるように、車両Aの歩行者検出部10Aが見通しの悪い交差点において、歩行者Pを座標(XA−ZsinθA,YA−ZsinθA)に検出したが、車両Bの歩行者検出部10Bが方向θBに歩行者Pを検出しなかった場合に、車両Bのサンプル判定部50は、見通しの悪い交差点と判断し、例えば図3に示されるスキャンウインドウの画像データを検出対象サンプルデータ61に選別する。なお、方向θBは、方向θAを用いて、次式のように表される。また、ここでの検出対象は、見通しの悪い交差点である。
Figure 2017073008
一方、車両Aの歩行者検出部10Aが検出した歩行者Pを、車両Bの歩行者検出部10Bも検出した場合には、車両Bのサンプル判定部50は、見通しの悪い交差点ではないと判断し、そのときのスキャンウインドウの画像データを非検出対象サンプルデータ62に選別する。
ただし、歩行者が車両Aおよび車両Bの走行車線から一定距離の範囲よりも近くにいる場合には、道路の端を歩行していると考えられるので、車両Bのサンプル判定部50は、選別を行わない。ここで、一定距離は、見通しの悪い交差点と判別されたときの歩行者と車両Aおよび車両Bの走行車線との距離のうち、最小値程度、すなわち、図3における距離D程度とするとよい。
なお、上記では、車両Aおよび車両Bの走行と学習とを同時に行っているが、これに限定されず、車両Aおよび車両Bのそれぞれのカメラの画像を保存するとともに、高精度測位部による位置情報を記憶しておき、走行終了後に検出対象サンプルデータ61と非検出対象サンプルデータ62との選別を行ってもよい。
さらに、上記では、車両Aおよび車両Bをそれぞれ別の車両で行っているが、これに限定されず、車両Bの装置を車両Aに搭載し、車両Aが車両Bの位置に相当する位置にいたときのカメラの保存データを用いて、検出対象サンプルデータ61と非検出対象サンプルデータ62との選別を行ってもよい。
図4は、この発明の実施の形態1に係る運用時の車両用運転支援システムを示すブロック構成図である。図4において、車両Cは、カメラ11C、スキャンウインドウ設定部14C、オブジェクト検出部15C、見通しの悪い交差点境界線データ70および検出結果表示部80を備え、見通しの悪い交差点を検出する。
カメラ11Cは、車両の前方の画像を撮像する。スキャンウインドウ設定部14Cは、カメラ11Cから入力された画像に対して、入力された画像の一部の領域をスキャンウインドウとして設定する。
また、オブジェクト検出部15Cは、スキャンウインドウの特徴量と、見通しの悪い交差点境界線データ70が示す特徴量空間上の境界線との位置関係に基づいて、スキャンウインドウにおける見通しの悪い交差点らしさを表すスコアデータCと、そのときのスキャンウインドウの方向θCとを出力する。
ここで、見通しの悪い交差点境界線データ70は、図1に示した検出対象サンプルデータ61または非検出対象サンプルデータ62に選別されたスキャンウインドウの画像データにより事前に構築した特徴量空間上の見通しの悪い交差点の境界線を示している。検出結果表示部80は、オブジェクト検出部15Cが出力するスコアデータCに基づいて、見通しの悪い交差点の検出結果を表示し、必要に応じてドライバに注意喚起する。
すなわち、実際のシステムの運用は、車両Cで行われる。車両Cのオブジェクト検出部15Cは、検出対象サンプルデータ61および非検出対象サンプルデータ62から構築された見通しの悪い交差点境界線データ70を用いて、見通しの悪い交差点を検出する。このとき、見通しの悪い交差点が検出されると、車両Cの検出結果表示部80は、見通しの悪い交差点への接近に対応した徐行等の動作をドライバに注意勧告する。
このように、この車両用運転支援システムは、見通しの悪い交差点の検出を、従来の歩行者検出装置に対して、検出対象の境界線データを変えるだけで実現することができる。そのため、インフラ整備を待たず、この車両用運転支援システムにより、見通しの悪い交差点を検出し、ドライバに注意喚起を行うことができる。
以上のように、実施の形態1によれば、サンプル判定部は、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別する。
そのため、コストや時間を抑えつつ、見通しの悪い交差点を高精度に検出してドライバに注意喚起することができる。
10A、10B 歩行者検出部、11AR、11AL、11B、11C カメラ、12A 対応点検出部、13A 距離計算部、14A、14B、14C スキャンウインドウ設定部、15A、15B、15C オブジェクト検出部、16A、16B 歩行者境界線データ、20A、20B 高精度測位部、30 送信部、40 受信部、50 サンプル判定部、60 サンプルデータ、61 検出対象サンプルデータ、62 非検出対象サンプルデータ、70 交差点境界線データ、80 検出結果表示部。
この発明に係る車両用運転支援システムは、先行する車両に設けられ、先行する車両の後方の画像を撮像するステレオカメラと、先行する車両に設けられ、ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、先行する車両に設けられ、ステレオカメラで撮像された検出対象の方向を検出する第1オブジェクト検出部と、車両の座標を計測する高精度測位部と、後続する車両に設けられ、後続する車両の前方の画像を撮像する前方カメラと、後続する車両に設けられ、前方カメラで撮像された検出対象の方向を検出する第2オブジェクト検出部と、サンプル判定部と、を備え、サンプル判定部は、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別するものである。
また、この発明に係る車両用運転支援方法は、先行する車両に設けられ、先行する車両の後方の画像を撮像するステレオカメラと、先行する車両に設けられ、ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、先行する車両に設けられ、ステレオカメラで撮像された検出対象の方向を検出する第1オブジェクト検出部と、車両の座標を計測する高精度測位部と、後続する車両に設けられ、後続する車両の前方の画像を撮像する前方カメラと、後続する車両に設けられ、前方カメラで撮像された検出対象の方向を検出する第2オブジェクト検出部と、を備えた車両用運転支援システムで実行される車両用運転支援方法であって、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されなかったときに、前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別するステップと、ステレオカメラ、距離計算部および第1オブジェクト検出部により検出対象が検出された場合であって、検出された検出対象の位置に、前方カメラおよび第2オブジェクト検出部により検出対象が検出されたときに、前方カメラで撮像された画像を非検出対象サンプルデータに選別するステップと、を有するものである。
図2に示されるように、車両Aの歩行者検出部10Aが見通しの悪い交差点において、歩行者Pを座標(XA−ZsinθA,YA−ZcosθA)に検出したが、車両Bの歩行者検出部10Bが方向θBに歩行者Pを検出しなかった場合に、車両Bのサンプル判定部50は、見通しの悪い交差点と判断し、例えば図3に示されるスキャンウインドウの画像データを検出対象サンプルデータ61に選別する。なお、方向θBは、方向θAを用いて、次式のように表される。また、ここでの検出対象は、見通しの悪い交差点である。
ただし、歩行者が車両Aおよび車両Bの走行車線から一定距離の範囲よりも近くにいる場合には、道路の端を歩行していると考えられるので、車両Bのサンプル判定部50は、選別を行わない。ここで、一定距離は、見通しの悪い交差点と判別されたときの歩行者と車両Aおよび車両Bの走行車線との距離のうち、最小値程度、すなわち、図における距離D程度とするとよい。

Claims (6)

  1. 車両の後方の画像を撮像するステレオカメラと、
    前記ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、
    前記ステレオカメラで撮像された前記検出対象の方向を検出する第1オブジェクト検出部と、
    前記車両の座標を計測する高精度測位部と、
    前記車両の前方の画像を撮像する前方カメラと、
    前記前方カメラで撮像された前記検出対象の方向を検出する第2オブジェクト検出部と、
    前記ステレオカメラ、前記距離計算部および前記第1オブジェクト検出部により前記検出対象が検出された場合であって、
    検出された前記検出対象の位置に、前記前方カメラおよび前記第2オブジェクト検出部により前記検出対象が検出されなかったときに、前記前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別し、
    検出された前記検出対象の位置に、前記前方カメラおよび前記第2オブジェクト検出部により前記検出対象が検出されたときに、前記前方カメラで撮像された画像を非検出対象サンプルデータに選別するサンプル判定部と、を備えた
    車両用運転支援システム。
  2. 前記ステレオカメラ、前記距離計算部および前記第1オブジェクト検出部は、先行する車両に設けられ、
    前記前方カメラおよび前記第2オブジェクト検出部は、後続する車両に設けられる
    請求項1に記載の車両用運転支援システム。
  3. 前記サンプル判定部は、前記検出対象が前記先行する車両および前記後続する車両の走行車線から一定距離の範囲よりも近くにある場合には、選別を行わない
    請求項2に記載の車両用運転支援システム。
  4. 前記ステレオカメラ、前記距離計算部、前記第1オブジェクト検出部、前記前方カメラおよび前記第2オブジェクト検出部が、1台の車両に設けられる
    請求項1に記載の車両用支援システム。
  5. 請求項1に記載された前記検出対象サンプルデータおよび前記非検出対象サンプルデータから構築された見通しの悪い交差点境界線データと、
    前記車両の前方の画像に対して前記見通しの悪い交差点境界線データを適用することで、見通しの悪い交差点を検出する第3オブジェクト検出部と、
    前記第3オブジェクト検出部の検出結果に応じて、前記車両のドライバに注意喚起する検出結果表示部と、
    を備えた車両用運転支援システム。
  6. 車両の後方の画像を撮像するステレオカメラと、
    前記ステレオカメラで撮像された検出対象までの距離を計算する距離計算部と、
    前記ステレオカメラで撮像された前記検出対象の方向を検出する第1オブジェクト検出部と、
    前記車両の座標を計測する高精度測位部と、
    前記車両の前方の画像を撮像する前方カメラと、
    前記前方カメラで撮像された前記検出対象の方向を検出する第2オブジェクト検出部と、を備えた車両用運転支援システムで実行される車両用運転支援方法であって、
    前記ステレオカメラ、前記距離計算部および前記第1オブジェクト検出部により前記検出対象が検出された場合であって、検出された前記検出対象の位置に、前記前方カメラおよび前記第2オブジェクト検出部により前記検出対象が検出されなかったときに、前記前方カメラで撮像された画像を見通しの悪い交差点に係る検出対象サンプルデータに選別するステップと、
    前記ステレオカメラ、前記距離計算部および前記第1オブジェクト検出部により前記検出対象が検出された場合であって、検出された前記検出対象の位置に、前記前方カメラおよび前記第2オブジェクト検出部により前記検出対象が検出されたときに、前記前方カメラで撮像された画像を非検出対象サンプルデータに選別するステップと、
    を有する車両用運転支援方法。
JP2015199873A 2015-10-08 2015-10-08 車両用運転支援システムおよび運転支援方法 Active JP6129268B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015199873A JP6129268B2 (ja) 2015-10-08 2015-10-08 車両用運転支援システムおよび運転支援方法
US15/089,635 US20170103271A1 (en) 2015-10-08 2016-04-04 Driving assistance system and driving assistance method for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015199873A JP6129268B2 (ja) 2015-10-08 2015-10-08 車両用運転支援システムおよび運転支援方法

Publications (2)

Publication Number Publication Date
JP2017073008A true JP2017073008A (ja) 2017-04-13
JP6129268B2 JP6129268B2 (ja) 2017-05-17

Family

ID=58498756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015199873A Active JP6129268B2 (ja) 2015-10-08 2015-10-08 車両用運転支援システムおよび運転支援方法

Country Status (2)

Country Link
US (1) US20170103271A1 (ja)
JP (1) JP6129268B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
JP7033029B2 (ja) * 2018-07-30 2022-03-09 本田技研工業株式会社 制御装置及びプログラム
WO2020162282A1 (ja) * 2019-02-04 2020-08-13 日本電気株式会社 車両管理装置、車両管理方法、記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318093A (ja) * 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318093A (ja) * 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置

Also Published As

Publication number Publication date
JP6129268B2 (ja) 2017-05-17
US20170103271A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
JP4775391B2 (ja) 障害物検出装置
JP4420011B2 (ja) 物体検知装置
US10480949B2 (en) Apparatus for identifying position of own vehicle and method for identifying position of own vehicle
WO2010035781A1 (ja) 車線判定装置及びナビゲーションシステム
JP2005202678A (ja) 走行支援装置
JP4258485B2 (ja) 車両の追い越し支援装置
JP2009009209A (ja) 画像認識装置および画像認識処理方法
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2007164671A (ja) 障害物接近判断装置および障害物衝突警告システム
JP4876147B2 (ja) 車線判定装置及びナビゲーションシステム
JP2014067165A (ja) 運転支援装置
JP2018048949A (ja) 物体識別装置
JP4948338B2 (ja) 車間距離計測装置
JP2008097279A (ja) 車両外部情報表示装置
JP2007271384A (ja) 道路案内システム
JP2007257301A (ja) 車両用標識認識装置
JP4762830B2 (ja) 周辺監視システム
JP2012234373A (ja) 運転支援装置
JP4968369B2 (ja) 車載装置及び車両認識方法
JP2011103058A (ja) 誤認識防止装置
JP4687381B2 (ja) 車両認識方法及び車載装置
JP2011232271A (ja) ナビゲーション装置、車載センサの精度推定方法、および、プログラム
JP2014044458A (ja) 車載機器、及び、危険報知方法
JP2015118555A (ja) 対向車情報生成装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6129268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250