JP2017187864A - 車両制御装置、車両制御方法 - Google Patents

車両制御装置、車両制御方法 Download PDF

Info

Publication number
JP2017187864A
JP2017187864A JP2016074642A JP2016074642A JP2017187864A JP 2017187864 A JP2017187864 A JP 2017187864A JP 2016074642 A JP2016074642 A JP 2016074642A JP 2016074642 A JP2016074642 A JP 2016074642A JP 2017187864 A JP2017187864 A JP 2017187864A
Authority
JP
Japan
Prior art keywords
movement
type
target
vehicle
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016074642A
Other languages
English (en)
Other versions
JP6551283B2 (ja
JP2017187864A5 (ja
Inventor
高木 亮
Akira Takagi
亮 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016074642A priority Critical patent/JP6551283B2/ja
Priority to PCT/JP2017/013834 priority patent/WO2017171082A1/ja
Priority to US16/090,037 priority patent/US20190114491A1/en
Publication of JP2017187864A publication Critical patent/JP2017187864A/ja
Publication of JP2017187864A5 publication Critical patent/JP2017187864A5/ja
Application granted granted Critical
Publication of JP6551283B2 publication Critical patent/JP6551283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

【課題】物体の移動方向に基づく種別の誤判定を低減する車両制御装置、及び車両制御方法を提供することを目的する。
【解決手段】ECU20は、自車に対する物体の移動方向について認識結果の認識精度が高い第1方向と、その第1方向よりも認識精度が低い第2方向とが定められている。また、ECU20は、物標の移動が第1方向への移動か第2方向への移動かを判定する移動判定部と、移動が前記第1方向への移動である場合に、当該第1方向での認識結果に基づいて物体の種別を判定する第1種別判定部と、移動が第1方向への移動から第2方向への移動に変化した場合、第1種別判定部による判定履歴を用いて物体の種別を判定する第2種別判定部と、を有する。
【選択図】 図1

Description

撮像手段により撮像された撮像画像に基づいて物体の種別を判定する車両制御装置、及び車両制御方法に関する。
特許文献1には、撮像画像内の物体種別を認識する装置を開示している。特許文献1に記載された装置は、撮像画像内において、大きさと方向とが同じ動きベクトルを備える複数の画素点を検出し、各画素点を取り囲む領域を物体の領域として抽出する。そして、抽出された領域に対して周知のテンプレートマッチングを実施し、物体種別を認識している。
特開2007−249841号公報
種別の異なる物体が、特定の移動方向において、同じ種別と誤認識される場合がある。例えば、自転車と歩行者とのように、両物体間において所定方向から見た場合の幅が近い場合や同じ特徴を含んでいる場合、特定の方向に移動する物体に対する認識精度が低下することがある。物体の種別が誤認識された場合、この認識結果により物体の種別を判定する装置では、物体の種別を誤判定するおそれがあった。
本発明は上記課題に鑑みてなされたものであり、物体の移動方向に基づく種別の誤判定を低減する車両制御装置、及び車両制御方法を提供することを目的する。
上記課題を解決するために本発明では、撮像手段により撮像した撮像画像による物体の認識結果を取得し、その認識結果に基づいて前記物体を検知する物体検知装置であって、自車に対する物体の移動方向が前記物体の認識精度が高い第1方向への移動であるか、その第1方向よりも前記認識精度が低い第2方向への移動であるかを判定する移動判定部と、前記移動が前記第1方向への移動である場合に、前記認識結果に基づいて前記物体の種別を判定する第1種別判定部と、前記移動が前記第1方向への移動から前記第2方向への移動に変化した場合、前記第1種別判定部による判定履歴を用いて前記物体の種別を判定する第2種別判定部と、を有する。
例えば、自車に対して物体が縦向きに移動している場合と、横向きに移動している場合とで認識精度が異なることが考えられる。また、検知対象が二輪車である場合、自車に対して二輪車が縦向きに存在する状態では、横向きに存在する状態よりも認識精度が低下することが考えられる。そこで、上記構成とすることで、物体の移動が認識精度の高い第1方向への移動であると判定された場合、第1種別判定部は認識結果に基づいて物体の種別を判定する。また、第2種別判定部は、物体の移動が第1方向への移動からこの第1方向よりも認識精度が低い第2方向への移動に変化した場合、物体の種別を、第1種別判定部による判定履歴を用いて判定する。そのため、物体の移動方向が認識精度の低い第2方向への移動であれば、第1方向での判定履歴に基づいて物体の種別を判定するため、物体の種別の誤判定を抑制することができる。
運転支援装置10を示す構成図。 物体認識部34により認識される物標の種別を説明する図。 カメラセンサ31からの認識結果に基づいて物標Obの種別を判定するための物体検知処理を示すフローチャート。 ステップS12における物標Obの移動方向の算出を説明する図。 カメラセンサ31の認識精度と物標Obの向きとの関係を説明する図。 種別判定処理による物標Obの認識を説明する図。 種別判定処理による物標Obの認識を説明する図。 第2実施形態においてECU20が実施する処理を説明するフローチャート。
以下、車両制御装置の実施の形態を、図面を使用して説明する。以下では、車両制御装置は、自車の運転を支援する運転支援装置の一部として適用される。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
(第1実施形態)
図1は、車両制御装置、及び車両制御方法を適用した運転支援装置10を示している。
運転支援装置10は、車両に搭載されており、車両前方に位置する物体の移動を監視する。そして、物体と車両とが衝突するおそれがある場合、自動ブレーキによる衝突の回避動作、又は衝突の緩和動作であるプリクラッシュセーフティ(PCS)を実施する。また、図1に示すように、運転支援装置10は、各種センサ30と、ECU20と、ブレーキユニット25と、を備えている。図1に示す実施形態において、ECU20が車両制御装置として機能する。
以下では、この運転支援装置10が搭載された車両を自車CSと記載する。また、運転支援装置10により認識される物体を物標Obと記載する。
各種センサ30は、ECU20に接続されており、物標Obに対する認識結果をこのECU20に出力する。図1では、センサ30は、カメラセンサ31、レーダセンサ40を備えている。
カメラセンサ31は、自車CSの前側に配置されており、自車前方に位置する物標Obを認識する。カメラセンサ31は、撮像画像を取得する撮像手段として機能する撮像ユニット32、この撮像ユニット32により取得された撮像画像に対して周知の画像処理を実施するコントローラ33、コントローラ33とECU20との通信を可能にするECUI/F36、を備えている。
撮像ユニット32は、光学系として機能するレンズ部や、このレンズ部を通じて集められた光を電気信号に変換する撮像素子を備えている。撮像素子は、CCDや、CMOS等周知の撮像素子により構成されている。撮像素子により変換された電気信号は、ECUI/F36を通じて、撮像画像としてコントローラ33に記憶される。
コントローラ33は、CPU、ROM、RAM等を備える周知のコンピュータにより構成されている。また、コントローラ33は、撮像画像に含まれる物標Obを検出する物体認識部34と、検出された物標Obの自車CSに対する相対的な位置を示す位置情報を算出する位置情報算出部35と、を機能的に備えている。
物体認識部34は、撮像画像内の各画素に対して動きベクトルを算出する。動きベクトルは、物標Obを構成する各画素における時系列での変化方向と大きさとを示すベクトルであり、撮像画像を構成する各時間のフレーム画像に基づいてその値が算出される。次に、物体認識部34は、同じ向きと大きさの動きベクトルを備える画素をラベリングし、ラベリングされた各画素を囲む最少の矩形領域Rを撮像画像における物標Obとして抽出する。そして、物体認識部34は、抽出した矩形領域Rに対して周知のテンプレートマッチングを実施し、物標Obの種別を認識する。
図2は、物体認識部34により認識される物標Obの種別を説明する図である。物体認識部34は、物標Obの種別として、歩行者と、横向きの二輪車と、縦向きの二輪車と、を認識する。図2(a)は、歩行者を示し、図2(b)は、横向きの二輪車を示し、図2(c)は、縦向きの二輪車を示す。例えば、物体認識部34は、上述した動きベクトルに基づいて、二輪車の向きを判定する。動きベクトルの変化がカメラセンサ31の撮像軸方向へ変化する場合、物体認識部34は二輪車が自車CSに対して縦向きと判定される。また、動きベクトルがカメラセンサ31の撮像軸と直交する方向へ変化する場合、物体認識部34は二輪車が自車CSに対して横向きと判定される。
なお、物体認識部34は、動きベクトルに代えて、輝度勾配ヒストグラム(HOG:Histogram of Oriented Gradient)を用いて、物標Obの認識や、物標Obの向きを判定するものであってもよい。
位置情報算出部35は、認識された物標Obに基づいて、当該物標Obの横位置情報を算出する。横位置情報は、撮像画像における物標Obの中心位置と、両端位置と、を含んでいる。例えば、両端位置は、撮像画像内において認識された物標Obの領域を示す矩形領域Rの両端での座標を示している。
レーダセンサ40は、自車CSの前側に配置されており、自車前方に位置する物標Obを認識し、この物標Obとの車間距離や相対速度等を算出する。レーダセンサ40は、自車前方の所定領域に向けてレーザ光を照射する発光部と、自車前方に照射されたレーザ光の反射波を受光する受光部とを備えており、自車前方の所定領域を所定周期でスキャニングするように構成されている。そして、レーダセンサ40は、発光部からレーザ光が照射された後にその反射波が受光部で受光されるまでの時間に応じた信号、及び反射波の入射角度に応じた信号に基づいて、自車CSの前方に存在する物標Obまでの車間距離を検出する。
ECU20は、CPU,ROM,RAM等を備えた周知のコンピュータとして構成されている。そして、ECU20は、ROMに格納されたプログラムを実行することによって、PCSに関する自車CSの制御を実施する。PCSでは、ECU20は、自車CSと物標Obとが衝突するまでの予測時間であるTTCを算出する。そして、ECU20は、算出したTTCに基づいて、ブレーキユニット25の動作を制御する。なお、PCSにより制御される装置は、ブレーキユニット25に限定されず、シートベルト装置や、警報装置等であってもよい。
また、ECU20は後述する物体検知処理により物標Obを二輪車として認識した場合に、歩行者として認識した場合と比べて、PCSを作動し難くする。二輪車は、自車CSと同じ方向に進んでいる場合でも、歩行者と比べて横方向へのふらつき(動作の横方向での変化)が生じ易い。そのため、ECU20は、二輪車の場合にPCSを作動し難くすることで、ふらつきによるPCSの誤作動を抑制する。一例として、ECU20は、二輪車の場合に、歩行者の場合と比べて、衝突位置の判定に用いられる衝突判定領域を狭く設定する。この実施形態では、ECU20が衝突回避制御部として機能する。
ブレーキユニット25は、自車CSの車速Vを減速させるブレーキ装置として機能する。また、ブレーキユニット25は、ECU20による制御に基づいて自車CSの自動ブレーキを実施する。ブレーキユニット25は、例えば、マスターシリンダと、車輪に制動力を与えるホイルシリンダと、マスターシリンダからホイルシリンダへの圧力(油圧)の分配を調整するABSアクチュエータとを備えている。ABSアクチュエータは、ECU20に接続されており、このECU20からの制御によりマスターシリンダからホイルシリンダへの油圧を調整することで、車輪に対する制動量を調整する。
次に、カメラセンサ31からの認識結果に基づいて物標Obを検知するための物体検知処理について図3を用いて説明する。図3に示す物体検知処理は、所定周期でECU20により実施される。なお、図3の処理を実施するに当たり、カメラセンサ31により撮像画像内における物標Obの種別が認識されているものとする。
ステップS11では、カメラセンサ31からの認識結果を取得する。この実施形態では、ECU20は、カメラセンサ31から、認識結果として物標Obの種別と横位置情報とを取得する。
ステップS12では、物標Obの移動方向を算出する。ECU20は、カメラセンサ31から取得した横位置情報の時系列での変化に基づいて、物標Obの移動方向を算出する。例えば、ECU20は、物標Obの移動方向を算出するに際し、横位置情報の内、中心位置の時系列での変化を使用する。
図4は、ステップS12における物標Obの移動方向の算出を説明する図である。図4は、カメラセンサ31の位置O(x0,y0)を基準点とし、この位置O(x0,y0)からカメラセンサ31の撮像軸Yを縦軸とし、この撮像軸Yに直交する線を横軸とする相対座標を示している。また、物標Obの各時間での位置をP(x,y,t)とする関数として示している。なお、xは、図4に示す相対座標における撮像軸Yの座標を示し、yは、図4に示す相対座標における撮像軸Yと交差する横軸Xの座標を示す。また、tは、物標Obが点Pに位置する時刻を示している。
図4に示すように、物標Obのある時刻tにおける移動方向は、物標Obの所定時間での変化量を示すベクトルと撮像軸Yとのなす角θにより算出することができる。例えば、物標Obが位置P1から位置P2まで変化した場合、このときのベクトルと撮像軸Yとは、角度θ2を形成する。ここで、物標Obが位置P1から位置P3まで移動する場合、横軸X側に進む成分xでの変化量が多く、角度θは所定値範囲内の角度となる。一方、物標Obが位置P3から位置P4に移動する場合、撮像軸Y側に進む成分yの変化量が多く、角度θは所定値未満又は所定値以上となる。そのため、物標Obのある時刻tでの移動方向は、撮像軸Yを基準とした角度θを用いて算出することができる。
図3に戻り、ステップS13では、物標Obの移動方向がカメラセンサ31の認識精度が低い縦方向(第2方向)への移動か、又は認識精度が高い横方向(第1方向)への移動かを判定する。ここで、この実施形態において、横方向とは図4に示す横軸Xに向かう方向とし、縦方向とは撮像軸Yへ向かう方向として説明する。ステップS13が移動判定部、及び移動判定部工程として機能する。
カメラセンサ31の認識精度と物標Obの移動方向との関係を、図5を用いて説明する。二輪車が横軸Xの方向に移動する場合(図5(b))、二輪車を囲む矩形領域Rの幅W2は、歩行者(図5(a))における矩形領域Rの幅W1と比べて大きくなる。そのため、歩行者と二輪車とは特徴が大きく異なり、カメラセンサ31は、歩行者と二輪車とを別の物標Obとして認識することができる。即ち、物標Obの移動が横方向への移動である場合、カメラセンサ31の認識精度は高くなる。
二輪車がカメラセンサ31の撮像軸Yの方向に移動する場合(図5(c))、歩行者(図5(a))を囲む矩形領域Rの幅W1と、二輪車を囲む矩形領域Rの幅W3とは近い値となる。また、歩行者と二輪車の運転者とは同じ人物像であるため、両者は共通の特徴量を含んでいる。そのため、カメラセンサ31は、歩行者と二輪車とを同じ物標Obとして誤認識する場合がある。即ち、物標Obの移動が縦方向への移動である場合、カメラセンサ31の認識精度は低くなる。
ECU20は、ステップS12で物標Obの移動方向として算出した角度θを、閾値TDを用いて判定することで、ステップS13の判定を行う。この実施形態では、図5(d)に示すように、角度θが閾値TD1以上かつ閾値TD2未満であれば、移動方向は相対座標において横軸Xの成分が多く、物標Obの移動方向は横方向への移動であると判定する。一方、角度θが閾値TD1未満又はTD2以上であれば、この移動方向は相対座標において撮像軸Yの成分が多く、物標Obの移動方向は横方向への移動であると判定する。なお、一例として、閾値TD1と閾値TD2とは、TD1<TD2の関係を有し、180度を超えない値である。
図3に戻り、物標Obの移動方向が横方向への移動であれば(ステップS13:NO)、ステップS15では、横移動フラグを記憶する。横移動フラグは物標Obが横方向に移動した経験があることを示すフラグである。
ステップS16では、カメラセンサ31による物標Obの認識結果に基づいて物標Obの種別を判定する。この場合、ECU20は、カメラセンサ31の認識精度は高いと判断し、ステップS11でカメラセンサ31から取得している物標Obの種別に基づいて物標Obの種別を判定する。ステップS16が第1種別判定部、及び第1種別判定工程として機能する。
ステップS17では、現在の物標Obの認識結果を判定履歴に記憶する。即ち、ステップS16における認識精度が高い場合の物標Obの判定結果が判定履歴に記憶されたことになる。
一方、ステップS13において物標Obの移動方向が縦方向への移動と判定されている場合(ステップS13:YES)、ステップS14では、横移動フラグを記憶しているか記憶していないかを判定する。横移動フラグを記憶していない場合(ステップS14:NO)、判定履歴に物標Obの種別が記憶されていないため、ステップS19では、カメラセンサ31による物標Obの認識結果に基づいて物標Obの種別を判定する。ステップS19が第3種別判定部、及び第3種別判定工程として機能する。
一方、横移動フラグを記憶していれば(ステップS14:YES)、ステップS18では、判定履歴に基づいて物標Obの種別を判定する。ECU20は、物標Obがカメラセンサ31の認識精度が低い縦方向への移動であっても、認識精度が高い場合に記憶された判定履歴を使用して物標Obの種別を判定する。そのため、ステップS11で取得された認識結果(種別)と、判定履歴が記憶する種別とが異なる場合、ECU20が判定する物標Obの種別は、カメラセンサ31による認識結果と異なるものとなる。ステップS18が、第2種別判定部、及び第2種別判定工程として機能する。
そして、ECU20はステップS18又はステップS19の処理を実施すると、図3に示す種別認識処理を一旦、終了する。
次に、図3に示す物体検知処理による物標Obの種別の判定を、図6を用いて説明する。図6は、物標Obの種別が二輪車である場合であって、物標Obの移動が横方向への移動から縦方向への移動に変化する場合を例に示している。
時刻t11において、物標Obがカメラセンサ31の撮像軸Yと交差する方向に移動しており、移動方向が横方向への移動であると判定される。そのため、物標Obの時刻t11における種別は、カメラセンサ31からの認識結果に基づいて判定される。また、横方向への移動として判定されているため、時刻t11における物標Obの種別が判定履歴に記憶される。
物標Obが交差点を左折することで、物標Obの移動が撮像軸Yの方向に変化したとする。時刻t12における物標Obの移動は、カメラセンサ31の認識精度を低下させる縦方向への移動と判定される。そのため、カメラセンサ31から取得された物標Obの種別は、時刻t11で記憶された判定履歴を用いて判定される。例えば、カメラセンサ31の時刻t12における認識結果が歩行者である場合でも、ECU20により物標Obの種別は二輪車として判定される。
その後、物標Obの移動が縦方向への移動として判定され続ける場合、物標Obの種別は、時刻t11において記憶された判定履歴(この場合は、二輪車)を用いて判定される。
図7は、物標Obの種別が二輪車である場合であって、物標Obの移動方向が縦方向への移動から横方向への移動に変化する場合を例に示している。
時刻t21において、物標Obが撮像軸Yへ方向に移動することで、物標Obの移動は縦方向への移動と判定される。また、この例では過去に横方向への移動を経験していないため、物標Obの時刻t21における種別は、カメラセンサ31からの認識結果に基づいて判定される。
物標Obが交差点を右折することでその移動方向が変化したとする。時刻t22で、物標Obの移動が横方向への移動として判定されることで、物標Obの種別は、カメラセンサ31からの出力に基づいて判定される。その後、物標Obの移動方向が横方向への移動である場合、物標Obの種別はカメラセンサ31からの認識結果に基づいて判定される。
以上説明したように、ECU20は、物標Obの移動方向がカメラセンサ31の認識精度の高い横方向への移動と判定された場合、横方向での移動時の認識結果に基づいて物体の種別を判定する。また、ECU20は、物標Obの移動が横方向の移動から縦方向への移動に変化した場合、物標Obの種別を、既に判定された横方向での移動時による判定履歴を用いて判定する。そのため、物標Obの移動が縦方向への移動である場合でも、認識精度が高い横方向での移動時に取得された物標Obの種別により物標Obの種別を判定することができ、誤判定を抑制することができる。
物標Obの種別には、歩行者と二輪車とが含まれており、ECU20は、カメラセンサ31による撮像軸Yに直交する方向を横方向とし、撮像軸Yと同じ方向を縦方向とする。歩行者と二輪車とは、前方から見た場合に幅が似通っており、かつ、二輪車の運転者と歩行者とが共に人間であるため同じ特徴を含んでいる。ここで、二輪車の移動方向が撮像軸方向と交差する向きであれば、カメラセンサ31に検出される二輪車の幅と歩行者の幅とは大きく異なるため、両者を異なる種別として認識することができる。一方で、二輪車の移動方向が撮像軸方向であれば、カメラセンサ31は両者を同じ種別として誤認識する場合がある。そのため、ECU20は、このような誤認識が生じ易い歩行者と二輪車を検知する場合でも、物標Obの種別の誤判定を抑制することができる。
ECU20は、自車CSに対して、物標Obと自車CSとの衝突を回避するための衝突回避制御を実施し、この衝突回避制御では、物標Obが二輪車と認識されている場合、歩行者と認識されている場合に比べて、衝突回避制御を作動し難くする。二輪車は横方向の移動の変化であるふらつきが生じ易く、PCSの誤作動を招くおそれがある。そのため、上記構成では、PCSの誤動作を抑制することができる。
ECU20は、物標Obの移動が縦方向への移動であり、かつ横方向への移動の履歴がない場合に、縦方向での認識結果に基づいて物標Obの種別を判定する。物標Obが横方向に移動した経験がない場合は、適正な物標Obの種別を判定できないため、このような場合は、判定された物標Obの種別をカメラセンサ31による検出結果に基づいて判定する。
(第2実施形態)
ECU20は、カメラセンサ31の認識結果として物標Obの種別と物標Obの向きとを取得する場合に、物標Obの移動が横方向への移動と判定しても、カメラセンサ31が物標Obを縦向き二輪車として認識している場合、カメラセンサ31からの認識結果を否定してもよい。
図8は、第2実施形態においてECU20が実施する処理を説明するフローチャートである。図8に示す処理は、図3のステップS16において実施される処理であり、ステップS13において、物標Obの移動がカメラセンサ31の認識精度が高い横方向への移動と判定された後に実施される処理である。
ステップS21では、カメラセンサ31から取得した認識結果に基づいて、物標Obの種別が横向き二輪車か、それ以外かを判定する。
物標Obの種別が横向き二輪車であれば(ステップS21:YES)、ステップS22では、物標Obの種別を二輪車として判定する。横向き二輪車は、自車CSに対してカメラセンサ31の撮像軸Yと直交する向きに進むこととなるため、横方向への移動である。そのため、カメラセンサ31の認識結果とECU20により判定された物標Obの移動方向とが一致しており、ECU20はカメラセンサ31の認識は適正と判定したこととなる。
一方、物標Obの種別が横向き二輪車でなければ(ステップS21:NO)、ステップS23では、物標Obの種別を歩行者として判定する。この場合、歩行者を二輪車として誤認識した恐れがあるとして、ECU20は物標Obの種別を歩行者として判定する。
以上説明したようにこの第2実施形態では、カメラセンサ31からの認識結果には、物標Obが歩行者であること、横方向に移動する横向き二輪車であること、縦方向に移動する縦向き二輪車でることが含まれている。また、ECU20は、物標Obの移動が横方向の移動である判定した場合に、認識結果が横向き二輪車であれば、物標Obの種別を二輪車として判定する。また、ECU20は、物標Obの移動が縦方向の移動であると判定した場合に、認識結果が歩行者又は縦向き二輪車でれば、物標Obの種別を歩行者として判定する。
物標Obの移動方向が認識精度の高い横方向であっても、物標Obを誤認識しているおそれは存在する。ここで、二輪車ではその向きと移動方向とが一致するため、横向き二輪車と認識されていれば、その移動は横方向への移動であり、縦向き二輪車と認識されていれば縦方向への移動であると判断できる。そこで、カメラセンサ31の認識結果とECU20の判定結果が一致していれば、物標Obの種別を二輪車として判定する。しかし、ECU20が物標Obの移動が横方向への移動であると判定しているのに、カメラセンサ31の認識結果が縦向き二輪車である場合、物標Obの移動方向が一致しないため、歩行者を二輪車として誤認識した疑いがある。そのため、このような場合は、物標Obを歩行者として判定することで、カメラセンサ31の認識精度の高い場合の、誤認識を修正することができる。
(第3実施形態)
ECU20は、物標Obが自車CSに近づく側に移動しており、かつ横方向への移動から縦方向への移動に変化した場合、すでに記憶されている判定履歴を用いて物標Obの種別を判定してもよい。
例えば、図3のステップS13において、ECU20は、物標Obの移動方向がカメラセンサ31の認識精度が高い横方向であり、かつ、自車CSに近づく方向であるか否かを判定する。そして、ステップS13において肯定判定された場合(ステップS13:YES)、ステップS15において、横移動フラグを記憶する。そして、ステップS16による種別の判定、及びステップS17による、判定履歴の記憶を実施する。
物標Obの種別を過去の判定履歴に基づいて判定するため、ECU20による判定履歴を用いた物標Obの判定は限定的に実施されることが望ましい。そのため、ECU20は、物標Obが自車CSに対して近づく側に移動した場合にのみ、判定履歴を用いて物標Obの種別を判定することで、ECU20による処理を必要な場合のみ限定的に実施することができる。
(その他の実施形態)
図3のステップS12において、物標Obの移動方向をカメラセンサ31の撮像軸Yを基準として、角度θを算出したことは一例に過ぎない。これ以外にも、カメラセンサ31の撮像軸Yに直交する横軸Xを基準として、角度θを算出してもよい。この場合、ステップS13において、角度θが閾値TD1未満、又は閾値TD2以上であれば、ECU20は物標Obの移動は横方向への移動であると判定する。一方、角度θが閾値TD1以上かつTD2未満であれば、ECU20は、物標Obの移動は縦方向への移動であると判定する。
カメラセンサ31により物標Obの種別を認識することは一例に過ぎない。これ以外にも、物標Obの種別を、ECU20により実施するものであってもよい。この場合、ECU20は、図1に示す物体認識部34と、位置情報算出部35と、を機能的に備えることとなる。
カメラセンサ31が認識する物標Obとして、歩行者と二輪車とを用いて説明したのは一例に過ぎない。これ以外にも、四輪自動車、標識、動物等を物標Obの種別として判定するものであってもよい。また、物標Obの種別に応じて、その移動方向とカメラセンサ31の認識精度との関係が異なる場合において、図5(e)に示す横方向への移動と縦方向への移動と区画する閾値TDを、物標Obの種別毎に変更するものであってもよい。
運転支援装置10は、カメラセンサ31による物標Obの認識結果と、レーダセンサ40による物標Obの検出結果とに基づいて、物標Obを認識する構成としてもよい。
図3のステップS12において物標Obの移動方向を算出する手法として、物標Obの絶対速度を用いて算出するものであってもよい。この場合、ECU20は、ステップS12において、物標Obの絶対速度を用いて移動方向を算出した後、この移動方向における自車CSの進行方向対を規準とした傾きを算出することで、物標Obの移動方向を算出する。
20…ECU、32…撮像ユニット、CS…自車。

Claims (7)

  1. 撮像手段(32)により撮像した撮像画像による物体の認識結果を取得し、その認識結果に基づいて車両を制御する車両制御装置(20)であって、
    前記物体が同物体の認識精度が高い第1方向へ移動しているか、その第1方向よりも前記認識精度が低い第2方向へ移動しているかを判定する移動判定部と、
    前記物体の移動が前記第1方向への移動である場合に、前記認識結果に基づいて前記物体の種別を判定する第1種別判定部と、
    前記物体の移動が前記第1方向への移動から前記第2方向への移動に変化した場合、前記第1種別判定部による判定履歴を用いて前記物体の種別を判定する第2種別判定部と、を有する車両制御装置。
  2. 前記物体の種別には、歩行者と二輪車とが含まれており、
    前記移動判定部は、前記撮像手段による撮像軸方向に直交する方向を前記第1方向とし、前記撮像軸方向と同じ方向を前記第2方向として、前記物体の種別を判定する、請求項1に記載の車両制御装置。
  3. 前記車両に対して、前記物体と前記車両との衝突を回避するための衝突回避制御を実施する衝突回避制御部を有し、
    前記衝突回避制御部は、前記物体が二輪車と判定されている場合、前記歩行者と判定されている場合に比べて、前記衝突回避制御を作動し難くする、請求項2に記載の車両制御装置。
  4. 前記移動が、前記第2方向への移動であり、かつ、前記判定履歴として前記第1方向への移動の履歴がない場合に、前記第2方向への前記認識結果に基づいて前記物体の種別を判定する第3種別判定部を有する、請求項1から請求項3のいずれか一項に記載の車両制御装置。
  5. 前記認識結果には、歩行者であること、前記第1方向へ移動している横向き二輪車であること、前記第2方向へ移動している縦向き二輪車でることが含まれており、
    前記第1種別判定部は、前記物体の移動が前記第1方向への移動と判定された場合に、前記認識結果が前記横向き二輪車であれば、前記物体の種別を二輪車として判定し、前記認識結果が前記歩行者又は前記縦向き二輪車でれば、前記物体の種別を歩行者として判定する、請求項1から請求項4のいずれか一項に記載の車両制御装置。
  6. 前記第2種別判定部は、前記物体が自車に近づく側に横移動しており、かつ前記第1方向への移動から前記第2方向への移動に変化した場合、前記第1種別判定部による判定履歴を用いて前記物体の種別を判定する、請求項1から請求項5のいずれか一項に記載の車両制御装置。
  7. 撮像手段(32)により撮像した撮像画像による物体の認識結果を取得し、その認識結果に基づいて車両を制御する車両制御方法であって、
    自車に対する物体の移動方向が前記物体の認識精度が高い第1方向への移動であるか、その第1方向よりも前記認識精度が低い第2方向への移動であるかを判定する移動判定部工程と、
    前記移動が前記第1方向への移動である場合に、前記認識結果に基づいて前記物体の種別を判定する第1種別判定工程と、
    前記移動が前記第1方向への移動から前記第2方向への移動に変化した場合、前記第1種別判定工程による判定履歴を用いて前記物体の種別を判定する第2種別判定工程と、を有する車両制御方法。
JP2016074642A 2016-04-01 2016-04-01 車両制御装置、車両制御方法 Active JP6551283B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016074642A JP6551283B2 (ja) 2016-04-01 2016-04-01 車両制御装置、車両制御方法
PCT/JP2017/013834 WO2017171082A1 (ja) 2016-04-01 2017-03-31 車両制御装置、車両制御方法
US16/090,037 US20190114491A1 (en) 2016-04-01 2017-03-31 Vehicle control apparatus and vehicle control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016074642A JP6551283B2 (ja) 2016-04-01 2016-04-01 車両制御装置、車両制御方法

Publications (3)

Publication Number Publication Date
JP2017187864A true JP2017187864A (ja) 2017-10-12
JP2017187864A5 JP2017187864A5 (ja) 2018-07-05
JP6551283B2 JP6551283B2 (ja) 2019-07-31

Family

ID=59965974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016074642A Active JP6551283B2 (ja) 2016-04-01 2016-04-01 車両制御装置、車両制御方法

Country Status (3)

Country Link
US (1) US20190114491A1 (ja)
JP (1) JP6551283B2 (ja)
WO (1) WO2017171082A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018004231T5 (de) 2017-09-28 2020-05-14 Sintokogio, Ltd. Strahlbearbeitungsvorrichtung

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018000477B4 (de) * 2017-01-23 2023-03-02 Panasonic Intellectual Property Management Co., Ltd. Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Programm und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
JP6874136B2 (ja) * 2017-07-18 2021-05-19 株式会社ソニー・インタラクティブエンタテインメント 画像認識装置、画像認識方法及びプログラム
US11055859B2 (en) * 2018-08-22 2021-07-06 Ford Global Technologies, Llc Eccentricity maps
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) * 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
JP7231736B2 (ja) * 2019-07-05 2023-03-01 日立Astemo株式会社 物体識別装置
KR20210006558A (ko) * 2019-07-08 2021-01-19 현대자동차주식회사 Ecs의 노면정보 보정방법 및 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249841A (ja) * 2006-03-17 2007-09-27 Toyota Motor Corp 画像認識装置
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
JP2009237897A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置
JP2012008718A (ja) * 2010-06-23 2012-01-12 Toyota Motor Corp 障害物回避装置
JP2013232080A (ja) * 2012-04-27 2013-11-14 Denso Corp 対象物識別装置
JP2017054311A (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017111054A (ja) * 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4558758B2 (ja) * 2007-05-07 2010-10-06 三菱電機株式会社 車両用障害物認識装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249841A (ja) * 2006-03-17 2007-09-27 Toyota Motor Corp 画像認識装置
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
JP2009237897A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置
JP2012008718A (ja) * 2010-06-23 2012-01-12 Toyota Motor Corp 障害物回避装置
JP2013232080A (ja) * 2012-04-27 2013-11-14 Denso Corp 対象物識別装置
JP2017054311A (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017111054A (ja) * 2015-12-17 2017-06-22 株式会社デンソー 物体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018004231T5 (de) 2017-09-28 2020-05-14 Sintokogio, Ltd. Strahlbearbeitungsvorrichtung

Also Published As

Publication number Publication date
JP6551283B2 (ja) 2019-07-31
WO2017171082A1 (ja) 2017-10-05
US20190114491A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6551283B2 (ja) 車両制御装置、車両制御方法
CN107408345B (zh) 物标存在判定方法以及装置
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
US20170297488A1 (en) Surround view camera system for object detection and tracking
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
JP5690688B2 (ja) 外界認識方法,装置,および車両システム
US10210400B2 (en) External-environment-recognizing apparatus
CN109591685B (zh) 用于车辆的识别支持装置
JP6512164B2 (ja) 物体検出装置、物体検出方法
JP6614108B2 (ja) 車両制御装置、車両制御方法
US10592755B2 (en) Apparatus and method for controlling vehicle
US10246038B2 (en) Object recognition device and vehicle control system
US10960877B2 (en) Object detection device and object detection method
JP6722051B2 (ja) 物体検出装置、及び物体検出方法
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
JP2018097765A (ja) 物体検出装置、及び物体検出方法
JP5098563B2 (ja) 物体検出装置
JP2017191382A (ja) 車両制御装置、及び車両制御方法
JP5593217B2 (ja) 車両用外界認識装置およびそれを用いた車両システム
JP5130959B2 (ja) 車両周囲環境検出装置
JP2006004188A (ja) 障害物認識方法及び障害物認識装置
KR20160131196A (ko) 장애물 감지 장치
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R151 Written notification of patent or utility model registration

Ref document number: 6551283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250