JP2022090746A - 運転支援装置、運転支援方法、および運転支援プログラム - Google Patents

運転支援装置、運転支援方法、および運転支援プログラム Download PDF

Info

Publication number
JP2022090746A
JP2022090746A JP2020203230A JP2020203230A JP2022090746A JP 2022090746 A JP2022090746 A JP 2022090746A JP 2020203230 A JP2020203230 A JP 2020203230A JP 2020203230 A JP2020203230 A JP 2020203230A JP 2022090746 A JP2022090746 A JP 2022090746A
Authority
JP
Japan
Prior art keywords
area
vehicle
driving support
required monitoring
monitoring area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020203230A
Other languages
English (en)
Inventor
章 伊藤
Akira Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
J Quad Dynamics Inc
Original Assignee
Aisin Corp
J Quad Dynamics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp, J Quad Dynamics Inc filed Critical Aisin Corp
Priority to JP2020203230A priority Critical patent/JP2022090746A/ja
Priority to US17/457,755 priority patent/US20220176953A1/en
Publication of JP2022090746A publication Critical patent/JP2022090746A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視が必要な領域の少なくとも一部が運転者の視界に入っていない場合に安全性を向上させることができるようにした運転支援装置を提供する。【解決手段】CPUは、車両の挙動の予測結果と周囲の情報とに基づき、必要監視領域Anmを設定する。また、CPUは、運転者の視線に基づき有効視野FVを設定する。CPUは、有効視野FVが必要監視領域Anmを包含しないと判定する場合、運転者に注意喚起する。【選択図】図3

Description

本発明は、運転支援装置、運転支援方法、および運転支援プログラムに関する。
たとえば下記特許文献1には、交差点付近に遮蔽物が存在するために死角領域が生じる場合、交差点に差し掛かる以前にカメラによって捉えられていた移動体の画像に基づき、死角領域に想定される移動体の画像を生成して表示する装置が記載されている。
特開2009-231937号公報
上記装置は、運転席から視界が遮られている領域に焦点をあてたものである。そのため、視界が遮られていないものの、運転者の視界に入っていない領域に移動体が存在したとしても、これに対処できない。
以下、上記課題を解決するための手段およびその作用効果について記載する。
運転者を撮影するカメラの出力信号に基づき運転者の視野を算出する視野算出処理(S20~S24)と、車両の周囲の情報に基づき、前記車両を運転するうえで監視が必要な領域である必要監視領域を算出する領域算出処理(S12~S18)と、前記視野算出処理によって算出された視野が前記必要監視領域を包含しているか否かを判定する判定処理(S26)と、前記必要監視領域を包含していないと判定する場合、所定のハードウェアを操作することによって前記包含していない事態に対処する対処処理(S36,S38,S40,S52,S58)と、を実行する運転支援装置である。
上記構成では、カメラの出力信号に基づき運転者の視野を算出し、視野が必要監視領域を包含しているか否かを判定する。そして、包含していないと判定する場合に、包含していない事態に対処することから、運転者の視野に入っていない領域に車両の運転にとって支障となる物体が存在するなどした場合に、車両の運転の安全性を高めることができる。
一実施形態にかかる車両内に搭載される機器の構成を示す図。 同実施形態にかかるADASECUが実行する処理の手順を示す流れ図。 同実施形態にかかる、視野、必要監視領域、および補完領域を例示する平面図。 同実施形態にかかるADASECUが実行する処理の手順を示す流れ図。
以下、一実施形態について図面を参照しつつ説明する。
図1に、本実施形態にかかる車両に搭載される機器の一部を示す。
図1に示す光センサ12は、たとえば近赤外線等のレーザ光を照射する。また、光センサ12は、レーザ光の反射光を受光することに基づき、レーザ光を反射した物体と車両との距離を示す変数である距離変数と、レーザ光の照射方向を示す変数である方向変数と、反射した物体の反射強度を示す変数である強度変数とを示す測距点データを生成する。これは、たとえばTOF(Time of Flight)方式によって実現できる。もっとも、TOF法式に限らず、たとえば、FMCW(Frequency Modulated Continuous Wave)方式にて測距点データを生成してもよい。その場合、測距点データに、レーザ光を反射した物体との相対速度を示す変数である速度変数を含めることができる。
光センサ12は、レーザ光の照射方向を、周期的に水平方向および垂直方向に走査する。そして、1フレームで得られた測距点データの集合である測距点群データDrpcを周期的に出力する。なお、1フレームは、水平方向および垂直方向への操作の1周期に対応する。
LIDARECU10は、測距点群データDrpcに基づき、レーザ光を反射した物体の認識処理を実行する。認識処理は、たとえば測距点群データDrpcのクラスタリング処理と、クラスタリング処理によって1つの物体として特定された測距点データの集合の特徴量を抽出し、抽出した特徴量を、所定の物体であるか否かを判定する識別モデルに入力する処理とを含んでもよい。また、これに代えて、測距点群データDrpcを深層学習モデルに直接入力して物体を認識する処理としてもよい。
ADASECU20は、車両VCの運転を支援する処理を実行する。ADASECU20は、運転を支援する処理を実行する際、ローカルネットワーク30を介して、LIDARECU10による認識結果を受信する。また、ADASECU20は、運転を支援する処理を実行する際、ローカルネットワーク30を介して、全地球測位システム(GPS32)の位置データDgpsと、地図データ34とを参照する。
また、ADASECU20は、運転を支援する処理を実行する際、次に示す、運転者が車両を運転するうえで操作する操作部材の操作状態を示す状態変数を参照する。すなわち、ADASECU20は、アクセルセンサ36によって検出されるアクセルペダルの踏み込み量であるアクセル操作量ACCP、およびブレーキセンサ38によって検出されるブレーキペダルの踏み込み量であるブレーキ操作量Brkを参照する。また、ADASECU20は、舵角センサ42によって検出される操舵角θs、操舵トルクセンサ44によって検出される、ステアリングホイールへの入力トルクである操舵トルクTrq、およびウィンカー40の操作状態を示すウィンカー信号Winを参照する。
また、ADASECU20は、車両の状態を示す状態変数として、車速センサ46によって検出される車速SPDを参照する。
また、ADASECU20は、運転を支援する処理を実行する際、可視光カメラである車内カメラ48による車両VC内部の画像データである車内画像データDpiを参照する。なお、車内カメラ48は、主に、運転者を撮像する装置である。
また、ADASECU20は、運転を支援する処理を実行する際、制動系50、駆動系52およびスピーカ54を操作する。
詳しくは、ADASECU20は、CPU22、ROM24、記憶装置26および周辺回路28を備えており、それらがローカルネットワーク29によって通信可能とされている。ここで、周辺回路28は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。また、記憶装置26は、電気的に書き換え可能な不揮発性のメモリである。
図2に、本実施形態にかかる運転支援処理の手順を示す。図2に示す処理はROM24に記憶された運転支援プログラム24aをCPU22がたとえば所定周期で繰り返し実行することにより、実現される。なお、以下では、先頭に「S」が付与された数字によって、各処理のステップ番号を表現する。
図2に示す一連の処理において、CPU22は、まず、ウィンカー信号Win,操舵角θs、操舵トルクTrq、アクセル操作量ACCP、ブレーキ操作量Brk、および車速SPDを取得する(S10)。そしてCPU22は、S10の処理によって取得した各状態変数の値に基づき、車両の挙動を予測する(S12)。すなわち、たとえばウィンカー信号Winが右折を示していれば、車両の挙動として右側に旋回する可能性が高いとして車両の挙動を予測することができる。車両が右側に旋回する場合には、操舵角θsおよび操舵トルクTrqの値が右側に旋回するときに特有の値となる。しかし、そのような操作がなされる以前にウィンカー信号Winが右折を示すのが普通であることから、ウィンカー信号Winを参照することにより、操舵角θsおよび操舵トルクTrqのみからは右側への旋回を予測できないタイミングで、前もって右側への旋回を予測することができる。すなわち、S12の処理は、操舵角θsや操舵トルクTrqが変化する前に旋回を予測する処理を含む。
次にCPU22は、位置データDgpsを取得する(S14)。そしてCPU22は、地図データ34のうち位置データDgpsに対応する部分を参照する(S16)。この処理は、車両の周囲の道路交通環境に関する情報を取得する処理である。
そしてCPU22は、S12の処理によって予測した車両の挙動、およびS16の処理によって参照した道路交通環境に関する情報などに基づき、車両を運転するうえで監視が必要な領域である必要監視領域を算出する(S18)。必要監視領域は、車両の挙動の予測結果に基づき、車両が走行する際に近未来において通過する領域を包含する。また、CPU22は、上記道路交通環境に関する情報に基づき、近未来において通過する領域の周囲の領域を必要監視領域に含める。すなわち、CPU22は、たとえば歩道のある車道の走行時に交差点を右折する場合、右折時に歩道から車両の走行経路上に入ってくる歩行者がいないかを監視すべく、周囲の歩道を必要監視領域に含める。ただし、CPU22は、たとえば歩道橋が接地されている交差点の場合、周囲の歩道を必要監視領域に含めないこともある。
なお、CPU22は、必要監視領域を算出する際、車速SPDを参照することが望ましい。これにより、車速SPDが大きい場合には小さい場合よりも、必要監視領域を広域に算出することが可能となる。
図3に、必要監視領域Anmを例示する。図3に示す例では、車両VC(1)が交差点で右折しようとしているために、右折時に通過する横断歩道付近の領域が必要監視領域Anmとして設定されている。
図2に戻り、CPU22は、車内カメラ48による車内画像データDpiを取得する(S20)。そして、CPU22は、車内画像データDpiに基づき、頭部姿勢、および視線を算出する(S22)。本実施形態では、顔や目のモデルを入力画像にフィッティングすることにより視線を推定するいわゆるモデルベース手法を採用した。すなわち、図1に示す記憶装置26には、車内画像データDpiを入力とし顔の特徴量を出力する写像を規定する写像データ26aが記憶されている。そしてCPU22は、車内画像データDpiを写像への入力とすることによって、顔の特徴量を算出する。顔の特徴量は、予め定められた複数の顔の特徴点の画像中の座標成分である。顔の特徴点は、目の位置のみならず、頭部姿勢の算出において有益な点を含む。上記写像は、畳み込みニューラルネットワーク(CNN)である。
CPU22は、顔の特徴量である顔の各特徴点の座標から、3次元顔モデルを用いて頭部の位置、方向を定める頭部姿勢を推定する。また、CPU22は、頭部姿勢と、所定の顔特徴点の座標とに基づき、眼球中心を推定する。そしてCPU22は、眼球モデルと眼球中心とに基づき、虹彩中心位置を推定する。そしてCPU22は、眼球中心から虹彩中心に進む方向を算出し、これを視線方向とする。
次に、CPU22は、視線方向から所定範囲を有効視野として算出する(S24)。詳しくは、所定範囲を、視線方向とのなす角度が所定角度以内の範囲とする。ここで所定角度は、たとえば15~25°とする。
図3に、有効視野FVを例示する。
図2に戻り、CPU22は、S24の処理によって算出された有効視野が、S18の処理において算出された必要監視領域を包含しているか否かを判定する(S26)。CPU22は、包含していないと判定する場合(S28:NO)、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいか否かを判定する(S28)。ここで、所定割合は、わき見運転時等の運転をする上で必要な注意を著しく欠いている状態とそうではない状態とを識別可能な値に設定されている。
CPU22は、所定割合以上であると判定する場合(S28:NO)、必要監視領域のうち有効視野と重複しない領域を、補完領域として算出する(S30)。すなわち、運転者が周囲に注意しつつ運転しているものの、安全性を担保する上では不十分であるとして、有効視野FVに含めるべき領域が補完領域とされる。
図3に、補完領域ACを例示する。
図2に戻り、CPU22は、補完領域に車両の運転にとって障害となる物体が存在するか否かを監視する処理を開始する(S32)。詳しくは、CPU22は、LIDARECU10に、補完領域の物体認識処理を指示する。これにより、LIDARECU10は、光センサ12を操作することによって、補完領域にレーザ光を照射する。そしてLIDARECU10は、補完領域に照射されたレーザの反射光に基づき、物体の認識処理を実行して、認識処理の結果をADASECU20に出力する。CPU22は、LIDARECU10から送信された認識処理の認識結果に基づき、補完領域に車両の運転にとって障害となる物体が存在するか否かを監視する。
そしてCPU22は、補完領域に車両や人が存在すると判定する場合(S34:YES)、スピーカ54を操作することによって、運転者に、走行を妨げる物体が存在する旨の注意喚起を行う(S36)。また、CPU22は、駆動系52を操作する、または、駆動系52および制動系50を操作することによって、車両を減速させる(S38)。すなわち、CPU22は、駆動系52の出力を絞ることで十分な減速が可能と判定する場合には、駆動系52を操作することによって車両を減速させる。一方、CPU22は、駆動系52の出力を絞るだけでは十分な減速ができないと判定する場合には、駆動系52の出力を絞るとともに制動系50を操作して制動力を付与する。
一方、CPU22は、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいと判定する場合(S28:YES)、スピーカ54を操作して、運転者に運転に集中するように警告する(S40)。そしてCPU22は、フラグFrに「1」を代入する(S42)。フラグFrは、「1」である場合、危険を回避するためにADASECU20が車両の運転に介入する処理を実行していることを示し、「0」である場合、実行していないことを示す。
フラグFrには、S26の処理において肯定判定される場合と、S34の処理において否定判定される場合と、S38の処理を完了する場合とに、CPU22によって「0」が代入される(S44)。
なお、CPU22は、S42,S44の処理を完了する場合には、図2に示した一連の処理を一旦終了する。
図4に、上述した危険を回避するためにADASECU20が車両の運転に介入する処理の手順を示す。図4に示す処理は、ROM24に記憶された運転支援プログラム24aをCPU22がたとえば所定周期で繰り返し実行することにより実現される。
図4に示す一連の処理において、CPU22は、フラグFrが「1」であるか否かを判定する(S50)。CPU22は、フラグFrが「1」であると判定する場合(S50:YES)、駆動系52を操作する、または駆動系52および制動系50を操作することによって、車両を減速させる(S52)。そして、CPU22は、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいと判定されている期間の長さを計時するためのカウンタをインクリメントする(S54)。そしてCPU22は、カウンタCが閾値Cth以上であるか否かを判定する(S56)。閾値Cthは、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さい状態の継続時間に関する、車両の走行を許容すべきではない長さに設定されている。
CPU22は、閾値Cth以上であると判定する場合(S56:YES)、駆動系52および制動系50を操作することによって、車両を強制的に停止させる(S58)。
これに対しCPU22は、フラグFrが「0」であると判定する場合(S50:NO)、カウンタCを初期化する(S60)。
なお、CPU22は、S58,S60の処理を完了する場合や、S56の処理において否定判定する場合には、図4に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
CPU22は、車両の挙動予測に基づき、必要監視領域を算出する。また、CPU22は、車内画像データDpiに基づき、有効視野を算出する。そして、CPU22は、有効視野と必要監視領域との重複領域が必要監視領域の所定割合以上であるか否かを判定する。ここで、たとえば図3に示すように、右折時において運転者が対向車線の方に気を取られている場合等には、有効視野が必要監視領域を十分にカバーできなくなるおそれがある。図3の例では、対向車線の車両VC(2)が、車両VC(1)の走行予定経路から外れたことで安心してしまっている例を示している。この場合、自転車に乗っている人BHが横断歩道を渡っているにもかかわらず、人BHが有効視野FV内に入っていないことから、運転者は人BHに気づかいない。そこでCPU22は、補完領域ACを監視することによって、人BHを検知し、注意喚起や、車両の減速等によって、運転者による必要監視領域の監視が不十分であることに対処する。
このように、運転者と車載機器との協働で必要監視領域を監視することにより、安全性を向上させることができる。
また、運転者と車載機器との協働で必要監視領域を監視することを前提として光センサ12やLIDARECU10の仕様を定めるなら、前提としない場合と比較して必要な照射領域を縮小することができる。そのため、光センサ12やLIDARECU10に求められる性能を軽減することができる。さらに、補完領域ACのみにレーザ光を照射することにより、必要監視領域Anm全域にレーザ光を照射する場合と比較して、1フレームの時間を短縮することが可能となる。また、これに代えて、補完領域ACのみにレーザ光を照射することにより、必要監視領域Anm全域にレーザ光を照射する場合と比較して、レーザ光の照射密度を高めることも可能となる。
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
(1)CPU22は、ウィンカー信号Win等の運転者が車両を運転するうえで操作する操作量を示す変数と車両の状態を示す変数である車速SPDとに基づき、車両の挙動を予測した。そして車両の挙動と、道路交通環境に関する情報とに基づき必要監視領域Anmを算出した。これにより、運転者が車両を運転するうえで必要な領域を適切に設定できる。
(2)CPU22は、補完領域ACに車両や人が検知される場合、車両を減速させた。これにより、車両の走行が、他の車両の走行や人の移動と干渉することを抑制できる。
(3)CPU22は、補完領域ACに車両や人が検知される場合、注意喚起をした。これにより、運転者に、必要監視領域Anmの監視を強化するように仕向けることができる。また、S38の処理を実行する場合には、車両が運転者の意図に反して減速する理由を運転者に知らせることもできる。
(4)CPU22は、有効視野FVと必要監視領域Anmとの重複領域が必要監視領域Anmの所定割合未満の場合、警告を発した。これにより、運転者に、必要監視領域Anmの監視を強化するように仕向けることができる。
(5)CPU22は、有効視野FVと必要監視領域Anmとの重複領域が必要監視領域Anmの所定割合未満の場合、車両を減速させた。これにより、必要監視領域Anmの監視が不十分であることに起因して危険な状況に遭遇することを抑制できる。
(6)CPU22は、有効視野FVと必要監視領域Anmとの重複領域が必要監視領域Anmの所定割合未満であることを警告したにもかかわらず、改善されない場合、車両を強制的に停止させた。これにより、走行を継続すべきではない状況において車両の走行が継続されることを抑制できる。
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
「挙動予測処理について」
・上記実施形態では、車両の行動を予測するうえでの入力となる車両の状態を示す変数として、車速SPDを例示したが、これに限らない。たとえば、前後方向の加速度の検出値、横方向の加速度の検出値、およびヨーレートの検出値の3つのうちの少なくとも1つを含めてもよい。
・上記実施形態では、運転者が車両を運転するうえで操作する操作量を示す変数として、ウィンカー信号Win、操舵角θs、操舵トルクTrq、アクセル操作量ACCP、およびブレーキ操作量Brkを例示したが、これに限らない。たとえば、ヘッドランプの点灯状態を含めてもよい。
・運転者が車両を運転するうえで操作する操作量を示す変数に、ウィンカー信号Win、操舵角θs、操舵トルクTrq、アクセル操作量ACCP、およびブレーキ操作量Brkの全てを含むことは必須ではない。
・上記実施形態では、運転者が車両を運転するうえで操作する操作量を示す変数および車両の状態を示す変数に基づき車両の挙動を予測したが、これに限らない。たとえばナビゲーションシステムに目的地が設定され、走行経路の案内を受けている場合には、走行経路を加味して車両の挙動を予測してもよい。
・上記実施形態では、運転者が車両を運転しているときに車両の挙動を予測したが、これに限らない。たとえば、自動運転と運転者による手動運転との一方から他方への切り替わりの期間において車両の予測をしてもよい。その場合、自動運転によって生成される車両の目標走行軌跡と、運転者が車両を運転しているときに車両の挙動を予測する入力となる上述した変数とに基づき車両の挙動を予測すればよい。
もっとも、車両の挙動を予測する処理が、運転者が車両の運転に関与しているときに実行されることは必須ではない。たとえば、いつでも運転者の運転に移行可能な形で自動運転がなされているときであってもよい。その場合、自動運転によって生成される車両の目標走行軌跡に基づき車両の挙動を予測すればよい。
・車両の挙動を予測する際、位置データDgpsおよび地図データ34を参照してもよい。これにより、たとえば交差点の中央付近でブレーキが踏み込まれる場合、位置データDgpsおよび地図データ34を参照しない場合と比較して、右折をするとより高い精度で予測することができる。
「視野算出処理について」
・画像データを入力として顔の特徴量を出力する学習済みモデルとしては、CNNに限らない。たとえば決定木や、サポートベクトル回帰等を用いてもよい。
・上記実施形態では、画像データを入力とする学習済みモデルから顔の特徴量を算出し、顔の特徴量から、頭部姿勢、眼球位置、および虹彩を順次推定することによって、視線方向を推定したが、これに限らない。たとえば、画像データを入力とし、頭部姿勢および眼球位置を出力する学習済みモデルを用いてもよいし、画像データを入力とし虹彩および眼球位置を出力する学習済みモデルを用いてもよい。
・上記実施形態では、眼球中心から虹彩中心へと進む方向を視線方向とするモデルを用いて視線を推定したが、モデルベース手法において採用するモデルとしては、これに限らない。たとえば、まぶたの形状を含む眼球モデルを用いてもよい。
・視線方向の推定手法としては、モデルベース手法に限らない。たとえば、画像データを入力として注視点を出力する学習済みモデルを用いたアピアランスベース手法であってもよい。ここで、学習済みモデルとしては、たとえば、線形回帰モデルや、ガウス過程回帰モデル、CNN等を用いればよい。
・下記「カメラについて」の欄に記載したように、赤外線カメラを用いる場合、近赤外線の反射光から角膜上の反射点を特定し、これと瞳孔中心位置とに基づき視線推定を行えばよい。
・上記実施形態では、視線方向から所定角度範囲の領域を視野と見なしたが、これに限らない。たとえば、視線方向と水平方向とのなす角度が第1角度以下であって且つ視線方向と垂直方向とのなす角度が第2角度以下である領域を視野とし、第1角度を第2角度よりも大きくしてもよい。またたとえば、所定角度範囲を、予め定められた固定値とする代わりに、車速に応じて可変設定してもよい。
・上記実施形態では、視野として有効視野を想定したが、これに限らない。たとえば有効視野と周辺視野との双方を含めた領域を、必要監視領域との重複度合いを判定するための視野として定めてもよい。
「測距信号について」
・上記実施形態では、補完領域に照射される測距信号として、近赤外線を例示したが、電磁波信号としては、これに限らない。たとえば測距装置をミリ波レーダ装置とすることにより、測距信号をミリ波信号としてもよい。さらに、電磁波の信号に限らず、たとえば測距装置をソナーとすることによって、測距信号を超音波信号としてもよい。
「物体感知装置について」
・物体感知装置としては、測距信号を出力した際の反射波によって物体を感知する装置に限らない。たとえば車両から照射されていない可視光線の反射光を利用して撮影された画像データを用いる可視光カメラであってもよい。その場合であっても、たとえば可視光カメラが監視領域全域の物体を被写体とする場合と比較して補完領域の物体を被写体とする場合の方が、カメラに要求される仕様を軽減できるなどのメリットを有する。
「対処処理について」
・上記実施形態では、補完領域の監視の結果、車両の走行を妨げる物体の存在が検知される場合、S36,S38の処理を実行したが、これに限らない。たとえば、S36,S38の2つの処理のうちのいずれか1つのみを実行してもよい。
・対処処理に、S36の処理によって例示した報知処理と、S38の処理によって例示した操作処理とを含めることは必須ではない。たとえば、視野と必要監視領域との重複部分が必要監視領域のうちの所定割合に達しない場合に、S40の処理を実行するのみであってもよい。もっとも、この際、S42および図4の処理を実行してもよい。
「判定処理について」
・上記実施形態では、必要監視領域が視野に包含されているか、必要監視領域の所定割合が視野と重複しているか、必要監視領域のうち視野と重複している領域の割合が所定割合未満であるか否かを判定したが、これに限らない。たとえば、「対処処理について」の欄に記載したように、対処処理としてS40の処理を実行するのみの場合、必要監視領域のうち視野と重複している領域の割合が所定割合未満であるか否かのみを判定する処理としてもよい。
「カメラについて」
・カメラとしては、可視光カメラに限らず、たとえば赤外線カメラであってもよい。その場合、赤外線LED等によって運転者の角膜に近赤外線を照射し、その反射光を受光すればよい。
「運転支援装置について」
・運転支援装置としては、CPUとプログラムを格納するプログラム格納装置とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、運転支援装置は、以下の(a)~(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
「コンピュータについて」
・走行支援を行うコンピュータとしては、図1に例示したCPU22に限らない。たとえば、図2に示した処理のうち、S22,S24の処理についてはユーザの携帯端末が実行することとし、残りの処理をCPU22が実行するようにしてもよい。
AC…補完領域
Anm…必要監視領域
FV…有効視野

Claims (10)

  1. 運転者を撮影するカメラの出力信号に基づき運転者の視野を算出する視野算出処理(S20~S24)と、
    車両の周囲の情報に基づき、前記車両を運転するうえで監視が必要な領域である必要監視領域を算出する領域算出処理(S12~S18)と、
    前記視野算出処理によって算出された視野が前記必要監視領域を包含しているか否かを判定する判定処理(S26)と、
    前記必要監視領域を包含していないと判定する場合、所定のハードウェアを操作することによって前記包含していない事態に対処する対処処理(S36,S38,S40,S52,S58)と、を実行する運転支援装置。
  2. 前記車両は、感知対象領域の物体から向かってきた信号を受信して前記感知対象領域の物体を感知する物体感知装置(10,12)を備え、
    前記対処処理は、
    前記必要監視領域を包含していないと判定する場合、前記必要監視領域のうち前記視野がカバーしていない領域を、前記物体感知装置による物体の監視領域である補完領域に設定する設定処理(S30)と、
    前記物体感知装置に前記補完領域を前記感知対象領域にさせることによって前記補完領域を監視する処理(S32)と、を含む請求項1記載の運転支援装置。
  3. 前記物体感知装置は、測距信号を前記感知対象領域に出力した際の反射波を受信する測距装置(10,12)であり、
    前記補完領域を監視する処理は、前記測距装置に前記補完領域に向けて前記測距信号を出力させることによって前記補完領域を監視する処理(S32)である請求項2記載の運転支援装置。
  4. 前記対処処理は、前記物体感知装置が、前記車両の走行を妨げる物体の存在を感知する場合、報知装置(54)を操作することによってその旨を報知する報知処理(S36)を含む請求項2または3記載の運転支援装置。
  5. 前記対処処理は、前記物体感知装置が、前記車両の走行を妨げる物体の存在を感知する場合、前記物体との衝突を回避すべく、前記車両の推力を変更する装置(50,52)を操作する操作処理(S38)を含む請求項2~4のいずれか1項に記載の運転支援装置。
  6. 前記設定処理を、前記必要監視領域のうち前記視野に含まれる領域の割合が所定割合以上である場合に実行し、
    前記対処処理は、前記視野に含まれる領域の割合が所定割合未満の場合、注意喚起するための装置(54)を操作して前記必要監視領域を監視するように注意喚起する処理(S40)を含む請求項2~5のいずれか1項に記載の運転支援装置。
  7. 前記対処処理は、前記必要監視領域を包含していないと判定する場合、注意喚起するための装置(54)を操作して前記必要監視領域を監視するように注意喚起する処理(S40)を含む請求項1記載の運転支援装置。
  8. 前記領域算出処理は、
    前記運転者による前記車両の操作を示す変数である操作変数の値に基づき、前記車両の挙動を予測する挙動予測処理(S12)と、
    前記車両の位置情報に応じて地図データを参照することによって前記車両の周囲の情報を取得する取得処理(S16)と、
    前記予測された挙動と前記周囲の情報とに基づき、前記必要監視領域を算出する処理と、を含む請求項1~7のいずれか1項に記載の運転支援装置。
  9. 請求項1~8のいずれか1項に記載の運転支援装置における前記視野算出処理、前記領域算出処理、前記判定処理、および前記対処処理の各処理を実行する工程を有する運転支援方法。
  10. 請求項1~8のいずれか1項に記載の運転支援装置における前記視野算出処理、前記領域算出処理、前記判定処理、および前記対処処理の各処理をコンピュータに実行させる運転支援プログラム。
JP2020203230A 2020-12-08 2020-12-08 運転支援装置、運転支援方法、および運転支援プログラム Pending JP2022090746A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020203230A JP2022090746A (ja) 2020-12-08 2020-12-08 運転支援装置、運転支援方法、および運転支援プログラム
US17/457,755 US20220176953A1 (en) 2020-12-08 2021-12-06 Driving assistance device, method for assisting driving, and computer readable storage medium for storing driving assistance program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020203230A JP2022090746A (ja) 2020-12-08 2020-12-08 運転支援装置、運転支援方法、および運転支援プログラム

Publications (1)

Publication Number Publication Date
JP2022090746A true JP2022090746A (ja) 2022-06-20

Family

ID=81848873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020203230A Pending JP2022090746A (ja) 2020-12-08 2020-12-08 運転支援装置、運転支援方法、および運転支援プログラム

Country Status (2)

Country Link
US (1) US20220176953A1 (ja)
JP (1) JP2022090746A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017527A1 (ja) * 2018-07-18 2020-01-23 株式会社クラレ 多層構造体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017010716A1 (de) * 2017-11-10 2019-05-16 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH System zum wenigstens teilautonomen Betrieb eines Kraftfahrzeugs mit doppelter Redundanz
JP6907920B2 (ja) * 2017-12-15 2021-07-21 株式会社デンソー 自動運転支援装置
US10688991B2 (en) * 2018-01-24 2020-06-23 GM Global Technology Operations LLC Systems and methods for unprotected maneuver mitigation in autonomous vehicles
US11978266B2 (en) * 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications

Also Published As

Publication number Publication date
US20220176953A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
CN108263278B (zh) 基于传感器整合的行人检测和行人防碰撞装置及方法
US20210031737A1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US10864911B2 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
JP6184923B2 (ja) 車両の移動体衝突回避装置
JP2016007894A (ja) 注意喚起装置及び走行制御装置
US20200307573A1 (en) Vehicle control system
CN111824126B (zh) 车辆控制系统
US11511738B2 (en) Vehicle control device, vehicle control method, and storage medium
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
JP2016001464A (ja) 処理装置、処理システム、処理プログラム、及び、処理方法
CN110239549B (zh) 车辆控制装置、车辆控制方法及存储介质
US20170080929A1 (en) Movement-assisting device
US11760380B2 (en) Vehicle control system
JP7075908B2 (ja) 車両制御システム
JP7028131B2 (ja) 報知装置
JP2012104029A (ja) 危険度算出装置
WO2018220851A1 (ja) 自動運転車の制御のための車両制御装置及び方法
JP2016009251A (ja) 車両用制御装置
JP4063142B2 (ja) 夜間障害物報知装置
US11618469B2 (en) Vehicle-use rear side warning device and vehicle-use rear side warning method
JP2001163082A (ja) 移動体の制御装置
JP2022090746A (ja) 運転支援装置、運転支援方法、および運転支援プログラム
JP2006004188A (ja) 障害物認識方法及び障害物認識装置
US20230097675A1 (en) Driving assistance device, driving assistance method, and storage medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231102