JP2018067198A - 走行支援装置 - Google Patents

走行支援装置 Download PDF

Info

Publication number
JP2018067198A
JP2018067198A JP2016206252A JP2016206252A JP2018067198A JP 2018067198 A JP2018067198 A JP 2018067198A JP 2016206252 A JP2016206252 A JP 2016206252A JP 2016206252 A JP2016206252 A JP 2016206252A JP 2018067198 A JP2018067198 A JP 2018067198A
Authority
JP
Japan
Prior art keywords
vehicle
line
driver
sight
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2016206252A
Other languages
English (en)
Inventor
行生 鈴木
Yukio Suzuki
行生 鈴木
謙一 長橋
Kenichi Nagahashi
謙一 長橋
隆司 塩田
Takashi Shioda
隆司 塩田
弘貴 兒島
Hirotaka Kojima
弘貴 兒島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2016206252A priority Critical patent/JP2018067198A/ja
Priority to US15/662,053 priority patent/US10166918B2/en
Priority to DE102017218443.4A priority patent/DE102017218443A1/de
Priority to CN201710984430.5A priority patent/CN107963036A/zh
Publication of JP2018067198A publication Critical patent/JP2018067198A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00Responses or measures related to driver conditions
    • B60Y2302/03Actuating a signal or alarm device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】運転者の運転に関わる挙動に起因して危険な状況が発生することを防止するために役立つ走行支援装置を提供すること。
【解決手段】車両の走行状態と、運転者の運転操作と、運転者の視線方向とを検出し、実際の運転操作状況や車両の状況に合わせて、事前に記憶した視線方向のパターンデータと運転者の実際の視線方向とを比較することにより、危険な状況を自動的に検知して警報を出力する。わき見運転を検知する場合には、視線方向が所定領域を外れている時間の割合を算出し、この時間割合を閾値と比較する。所定領域は運転状況、車速、走行地点の危険度に合わせて自動的に切り替える。発進の際には、視線の方向に基づき運転者の意図する進行方向を推定し、実際の進行方向と一致しない場合には、誤発進を検知して警報を出力する。運転者の安全不確認を検知して警報を出力する。
【選択図】図1

Description

本発明は、車両走行時の安全運転支援に利用可能な走行支援装置に関する。
車両を運転する場合には、一般には運転者は安全運転を心掛けているが、運転者が意図せずに、または無意識のうちに、あるいは安全確認が十分でなかったことにより危険な状況となる場合がある。例えば、運転者が前方を視認していれば、ある程度安全な状態を維持できると考えられるが、運転者が何かに気を取られてわき見運転をすることがある。そして、わき見運転をする時には、危険な状況が発生しやすい。このような車両における危険な状況を回避するために、従来より様々な技術が開発されている。
例えば特許文献1に示された脇見判定装置においては、車載カメラを用いて運転者を撮影し、撮影した映像に基づいて運転者の視線方向を検知する視線方向検知部を備えている。また、視線方向が所定範囲以外に向かう場合に、運転者がわき見状態であると判定する脇見判定部も備えている。
また、特許文献2に示された顔向き検出装置においては、車載カメラを用いて運転者を撮影し、撮影した映像に基づいて運転者の顔向きの角度を検知している。また、運転者の顔向き角度が検知範囲を超える直前の顔向き角速度を保存し、運転者の顔領域の動きが停止したとみなされた時点で、保存されている顔向き角速度と経過時間とに基づいて、顔向き角度の推定値を算出している。
特開2012−22504号公報 特開2016−57839号公報
しかしながら、車両が危険な状況におかれているか否かを正しく識別することは難しい。例えば、撮影した映像に基づいて運転者の視線の方向を正しく検知できたとしても、様々な状況が発生する可能性があるため、運転者がわき見運転をしているか否かを視線の方向だけで特定することは難しい。
具体的には、運転者が視線を前方から外している時間が一定時間以上継続した場合にわき見運転とみなして警報を出力する状況が考えられる。しかし、例えば自車両が右左折する場合や車線変更をする場合のように、運転者が視線を前方からずらして周囲の状況を把握することが安全上不可欠な場合もある。このような場合には、わき見運転でないにもかかわらず、検知された視線の方向に基づき、わき見運転とみなされて、誤った警報が出力されることになる。
また、実際に運転者がわき見運転をしている状況であったとしても、所定時間(閾値)を超える前に運転者が一瞬だけ視線を前方に向ければ、視線を前方から外している時間が閾値を超えないので、警報が出力されず、危険な状況の発生を回避できない可能性が考えられる。
また、運転者が意図せず発生する危険な状況として、車両の発進時に運転者が前進あるいは後退させようとしていた進行方向と逆の方向に車両を誤発進させてしまうことも考えられる。そのため、誤発進を防止することも非常に重要である。すなわち、運転者が前方に向かって発進するつもりでいるのに、シフトレバーの操作位置を誤ったことに起因して、実際には車両が後方に向かって走行する可能性や、運転者が後方に向かって発進するつもりでいるのに実際には車両が前方に向かって走行する可能性がある。また、運転者がブレーキペダルを踏んで停止するつもりでいるのに、実際にはアクセルペダルが踏み込まれて車両が急発進する可能性がある。
また、車両を運転する場合には、例えば発進、右左折、進路変更等の運転操作を行う際に、周囲の安全を運転者が目視により確認することが非常に重要である。しかし、このような安全確認を実際に実行するか否かは運転者の意思により左右されるので、安全確認を怠る状況が想定され、危険な状況に遭遇する可能性がある。
本発明は、上記の状況に鑑みてなされたものであり、その目的は、運転者の運転に関わる挙動に起因して危険な状況が発生することを防止するために役立つ走行支援装置を提供することにある。
前述した目的を達成するために、本発明に係る走行支援装置は、下記(1)〜(5)を特徴としている。
(1) 車両の走行状態を検出する走行状態検出部と、
運転者の前記車両に対する運転操作を検出する操作検出部と、
前記運転者の視線方向を検出する視線方向検出部と、
車両の走行状態及び運転者の運転操作と、運転者の視線方向のパターンとを組み合わせたデータを予め記憶しておくパターン記憶部と、
前記走行状態検出部により検出された前記走行状態、前記操作検出部により検出された前記運転操作、及び前記視線方向検出部により検出された視線方向の組み合わせが、前記パターン記憶部に記憶されたデータの組み合わせと異なる場合には、警告信号を出力する警告信号出力部と、
を備えることを特徴とする走行支援装置。
(2) 前記パターン記憶部には、前記視線方向のパターンとして、前記車両の前進中において運転者が向けるべき視線方向の領域を表すデータが記憶されており、
前記警告信号出力部は、前記走行状態検出部において前記車両の前進が検出されている場合に、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合が所定値以上となった場合に前記警告信号を出力する、
ことを特徴とする上記(1)に記載の走行支援装置。
(3) 前記操作検出部は、前記車両の状態を前進又は後退に切替えるための切替操作を検出し、
前記パターン記憶部には、前記視線方向のパターンとして、前記切替操作時において前記車両を前進させる際の視線方向の変化パターンと、前記切替操作時において前記車両を後退させる際の視線方向の変化パターンとを表すデータが含まれる、
ことを特徴とする上記(1)又は(2)に記載の走行支援装置。
(4) 前記操作検出部は、前記車両の進路を右方向あるいは左方向に変える場合の操作を検出し、
前記パターン記憶部には、前記視線方向のパターンとして、前記車両が右方向あるいは左方向に進路を変える場合において運転者が向けるべき視線方向の変化パターンを表すデータが含まれる、
ことを特徴とする上記(1)乃至(3)のいずれかに記載の走行支援装置。
(5) 前記警告信号出力部は、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合と比較する閾値を、前記車両の走行速度を含む車両状態に応じて自動的に変更する、
ことを特徴とする上記(2)に記載の走行支援装置。
上記(1)の構成の走行支援装置によれば、例えば車両におけるわき見運転や誤発進のような、危険な状況の発生を自動的に検知して警告信号を出力することができる。しかも、車両の走行状態及び運転者の運転操作と、運転者の視線方向のパターンとの組み合わせに基づいて危険な状況か否かを識別するので、様々な運転状況及び様々な運転操作状況において、危険な状況を正しく検知することが可能になる。
上記(2)の構成の走行支援装置によれば、車両の運転者がわき見運転をした場合に、それを自動的に検知して前記警告信号を出力することができる。しかも、検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合を監視するので、危険な状況、すなわちわき見運転か否かを高い精度で識別できる。
上記(3)の構成の走行支援装置によれば、運転者の誤った認識に基づく車両の誤発進が生じる際に、これを自動的に検知して警告信号を出力することができる。すなわち、運転者が車両を前進させるための運転操作(シフトレバー操作など)を行った場合と、車両を後退させるための運転操作を行った場合とでは運転者の視線方向の変化パターンが異なる。また、実際には車両が後退する状況であるのに運転者が前進すると思い込んでいる場合や、実際には車両が前進する状況であるのに運転者が後退すると思い込んでいる場合には、検出した運転操作および視線方向の変化パターンの組み合わせが、記憶しているデータと一致しなくなるので、誤発進する前にこの異常を正しく検知できる。
上記(4)の構成の走行支援装置によれば、車両が右左折あるいは車線変更のための進路変更を行う際に、運転者が行うべき目視による周囲の安全確認の操作を実行したか否かを、視線方向の変化パターンに基づき自動的に検知することが可能になる。
上記(5)の構成の走行支援装置によれば、前記閾値を車両状態に応じて自動的に変更するので、わき見運転の有無を識別する精度が向上する。例えば、車両の走行速度の高低に応じて、通常運転時に運転者の視線が向く方向の領域の大きさ等が変化するが、その変化に追従するように前記閾値を変更することで、わき見運転の誤検出や不検知を防止できる。
本発明の走行支援装置によれば、車両におけるわき見運転や誤操作のような、危険な状況の発生を検知し、警告信号を出力することができる。しかも、車両の走行状態及び運転者の運転操作と、運転者の視線方向のパターンとの組み合わせに基づいて危険な状況か否かを識別するので、様々な運転状況及び様々な運転操作状況において、危険な状況を正しく検知することが可能になる。
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
図1は、本発明の第1実施形態における走行支援装置の構成例を示すブロック図である。 図2は、運転者の視点位置から車両前方を視た場合の視野に映る情景と各視線領域との関係の具体例を示す正面図である。 図3は、わき見割合情報SG8、および視線が領域外にある状態の累積時間SG5Bの変化例を示すタイムチャートである。 図4は、本発明の第2実施形態における走行支援装置の構成例を示すブロック図である。 図5は、本発明の第3実施形態における走行支援装置の構成例を示すブロック図である。 図6は、車両が左折する際の走行支援装置の動作例を示すフローチャートである。 図7は、車両が車線変更する際の走行支援装置の動作例を示すフローチャートである。
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
[第1実施形態]
まず、装置の概要について説明する。
第1実施形態の走行支援装置10は、運転者の視線の方向を表す情報を活用して、運転者の安全運転を支援するための機能を搭載している。具体的には、走行支援装置10を搭載した車両の運転者がわき見運転をしているか否かを、走行支援装置10が自動的に検知して、危険な場合には警報を出力して注意喚起する。
例えば、車両の通常走行時においては、運転者は前方視界のある領域内に視線を向けた状態で運転を行うが、運転者が何かに気を取られていると、前方以外の方向に視線を向けてわき見運転をすることになる。
したがって、一般的な制御としては、視線が前方以外の方向を向いている時間を累積し、この累積時間が閾値を超えた場合に「わき見運転」とみなすことが想定される。しかし、このような制御では高精度で「わき見運転」を検知できない。例えば、実際に運転者がわき見運転をしている状況であっても、累積時間が閾値を超える前に、視線を一瞬でも前方に向ければ累積時間がクリアされるため、「わき見運転」を検知できない。また、例えば安全運転に必要な左右確認等のために運転者が前方以外の方向を視認している時間が長くなると、「わき見運転」ではないにもかかわらず、累積時間が閾値を超えて「わき見運転」の誤検出が発生する。
そこで、第1実施形態の走行支援装置10においては、次のような特徴的な制御を採用している。すなわち、視線が特定の視線領域の内側にある時間と、視線領域の外側にある時間とをそれぞれ検出し、これらの時間の割合を算出する。そして、算出した時間の割合を閾値と比較することにより、「わき見運転」の有無を識別する。これにより、例えば運転者が前方をほとんど視認していないような状況であれば、途中で一瞬だけ前方に視線を移動した場合であっても、確実に「わき見運転」を検知できる。また、運転者が安全確認を行う場合には、安全確認の対象方向を特定の視線領域に含めておくことにより、「わき見運転」の誤検出を防止できる。
次に、装置の構成例を説明する。
本発明の第1実施形態における走行支援装置10の構成例を図1に示す。図1に示した走行支援装置10は、車載カメラ11、画像処理部12、視線方向検出部13、データ保持部14、データ比較部15、時間計測部16、時間割合算出部17、わき見割合識別部18、警報提示部19、運転操作検出部20、車両状態検出部21、カーナビゲーション装置22、周辺車両検出部23、および車両状態反映部24を備えている。
なお、走行支援装置10の構成要素のうち、ほとんどの制御要素は、マイクロコンピュータを主要な構成要素とする電子制御ユニット(ECU)により実現され、各々の制御要素はマイクロコンピュータによるソフトウェア処理、または専用のハードウェアに相当する。
車載カメラ11は、車両の運転席に着座している運転者の顔を撮影するための機材である。したがって、車載カメラ11は例えば運転席の前方のダッシュボード上に、撮影方向を運転者の顔の方向に向けた状態で設置される。
画像処理部12は、車載カメラ11から出力される映像信号SG1をデジタル信号に変換し、様々な画像処理を行う。すなわち、様々な特徴の抽出、パターン認識、認識したパターンの位置や大きさの検出などを行う。
視線方向検出部13は、画像処理部12から出力される画像情報SG2に基づいて、運転者の視線の方向を検出する。この検出には公知の技術を利用している。例えば、「特許文献1」の段落「0016」に記載されているように、「顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置などを用いた所定の視線検知処理により」運転者の視線方向を検知できる。
データ保持部14は、例えば不揮発性メモリのような記憶デバイスにより構成されており、事前に決定された複数種類の視線領域のパターンデータを保持している。ここで各「視線領域」は「わき見運転」でない状態で、運転者が視線を向けるべき方向の通常の範囲を表している。この具体例については後で説明する。
データ比較部15は、視線方向検出部13から出力される視線方向情報SG3と、データ保持部14から出力される視線領域データSG4とを比較し、視線方向情報SG3の方向が、視線領域データSG4の領域内外のいずれであるのかを識別し、その結果を領域内外識別信号SG5として出力する。領域内外識別信号SG5は二値信号であり、例えば視線方向が視線領域内であれば高レベル、視線方向が視線領域外であれば低レベルになる。
時間計測部16は、データ比較部15から出力される領域内外識別信号SG5に基づいて、視線方向が視線領域内にある間の時間の累積時間T1と、視線方向が視線領域外にある間の時間の累積時間T2とをそれぞれ計測する。そして、時間計測部16は累積時間T1を領域内時間情報SG6として、累積時間T2を領域外時間情報SG7としてそれぞれ出力する。
時間割合算出部17は、時間計測部16から出力される領域内時間情報SG6および領域外時間情報SG7に基づいて、次式で算出される時間割合Rtを求め、時間割合Rtをわき見割合情報SG8として出力する。この時間割合Rtは、入力される領域内時間情報SG6および領域外時間情報SG7の変化に伴って逐次更新される。
Rt=T2/(T1+T2)
なお、単位時間あたりの累積時間T2を時間割合Rtとして算出してもよい。
わき見割合識別部18は、時間割合算出部17から出力されるわき見割合情報SG8の内容、すなわち時間割合Rtを閾値と比較することにより、少なくとも安全な状態と「わき見運転」の状態とを識別する。わき見割合識別部18が使用する閾値は、閾値情報SG15として車両状態反映部24から入力される。また、この閾値情報SG15には、下限値および上限値の2つの閾値が含まれている。つまり、時間割合Rtが閾値情報SG15の下限値と上限値との間にある場合は安全な状態であるとみなし、時間割合Rtが閾値情報SG15の下限値未満、または上限値を超える場合には、警報または注意喚起が必要とみなしてわき見識別信号SG9を出力する。
警報提示部19は、わき見割合識別部18から出力されるわき見識別信号SG9に基づいて、運転者に聞こえる音響として、図示しないスピーカから警報などを必要な時に出力する。また、車両状態反映部24から入力される危険度識別情報SG16に基づいて、警報提示部19が出力する警報の種類を切り替える。
例えば、危険度が高い時には、「ピーピーピー」のような警報音や、疑似音声による「わき見危険」のような警告アナウンスを警報提示部19が出力する。また、危険度が低い時には、「ピッ」のような確認音や、疑似音声による「わき見注意」のような注意喚起のアナウンスを警報提示部19が出力する。
運転操作検出部20は、運転に必要な車両に対する運転者の各種操作を検知する。例えば、車両の右左折時や、車線変更時のウインカーレバーの操作を検知したり、ブレーキペダル、アクセルペダルなどの操作を検知する。そして、運転操作検出部20は検知した操作を運転操作情報SG10として出力する。
車両状態検出部21は、自車両の走行速度(車速:km/h)の情報など、自車両の現在の状態を表す情報を車両から取得する。実際には、車両に搭載されている上位の電子制御ユニットとの間で通信したり、あるいは車両に搭載された各種センサから信号を取得することにより現在の車両の状態を把握できる。車両状態検出部21は、取得した車両の情報を車両状態情報SG11として出力する。
カーナビゲーション装置22は、一般的なカーナビゲーション機能の他に、特定領域走行情報SG12を出力する機能を搭載している。具体的には、自車両の現在位置が危険度の高い特定の領域、例えば事前に定められた事故多発地点や、スクールゾーンに近づいたことを検知した場合に、それを表す特定領域走行情報SG12をカーナビゲーション装置22が出力する。また、例えば降雨の検知や、降雪による道路の凍結の可能性を検知したような場合にも、特定領域走行情報SG12をカーナビゲーション装置22が出力する。
周辺車両検出部23は、自車両の周囲を撮影する所定のカメラの画像に基づき、あるいは他車両を検知するレーダ装置を用いて、自車両の近傍に存在する他車両や、自車両に接近する他車両を検知し、周辺車両検知情報SG13を出力する。この周辺車両検知情報SG13には同時に検知された他車両の台数の情報も含まれる。
車両状態反映部24は、車両状態識別情報SG14、閾値情報SG15、および危険度識別情報SG16を生成する。また、車両状態反映部24は入力される運転操作情報SG10、車両状態情報SG11、特定領域走行情報SG12、および周辺車両検知情報SG13を車両状態識別情報SG14、閾値情報SG15、および危険度識別情報SG16に反映する。具体的には車両状態反映部24は次のように制御する。
例えば、運転操作情報SG10に基づいて、自車両の通常走行状態、右折時の走行状態、左折時の走行状態、車線変更時の走行状態などを識別することが可能である。そして、通常走行、右左折、車線変更などの区分に合わせてデータ保持部14が出力する視線領域データSG4の視線領域の形状や位置を切り替えるために、車両状態反映部24は車両状態識別情報SG14を生成する。
また、車両状態情報SG11に含まれる車速情報の高低に合わせて、データ保持部14が出力する視線領域データSG4の視線領域の大きさを切り替えるために、車両状態反映部24は車両状態識別情報SG14を生成する。例えば、車速が30km/h以下のような低速時には、面積の広い視線領域を選択するように制御し、車速が80km/h以上のような高速時には、面積の狭い視線領域を選択するように制御する。
車両状態反映部24は、様々な状況に応じて閾値情報SG15の閾値を自動的に切り替える。例えば、周辺車両検出部23が2台以上の他車両を同時に検知した場合、カーナビゲーション装置22が事故多発地点や、スクールゾーンへの接近を検知した場合、降雨や降雪による道路の凍結の検知の場合のように、危険な状態になりやすい時には、閾値の上限値を小さくすることにより、少しのわき見でも警報が出やすくなるように切り替える。
また、閾値は段階的に制御し、例えば通常の閾値の上限値は80%に定め、自車両の位置がスクールゾーンに入ったら閾値の上限値を60%に下げ、自車両の周辺で人の存在を検知した場合には、閾値の上限値を40%まで下げる。
一方、閾値の下限値については、例えば10%程度に定める。すなわち、危険な状況ではないにもかかわらずわき見の時間割合Rtが10%以下の場合には、運転者は周辺をほとんど視ておらず考え事などをしている可能性が高い。したがって、周辺の情報を取得するように運転者に注意を促すことで、危険な状況になるのを避けることが可能になる。
また、車両状態反映部24は運転操作情報SG10、車両状態情報SG11、特定領域走行情報SG12、および周辺車両検知情報SG13に基づいて把握した危険度のレベルを出力する危険度識別情報SG16に反映する。したがって、警報提示部19は危険度のレベルに対応した警報を出力することができる。例えば、危険度識別情報SG16の危険度が高い状況でわき見識別信号SG9がわき見検出状態、すなわち時間割合Rtが閾値情報SG15の下限値未満、または上限値を超える場合には、音量を上げて強い警報を提示する。また、危険度識別情報SG16の危険度が低い状況でわき見識別信号SG9がわき見検出状態、すなわち時間割合Rtが閾値情報SG15の下限値未満、または上限値を超える場合には、例えば音量を下げるなどの方法により控えめの警報あるいは注意喚起を行うように制御する。
次に、視線領域の具体例を説明する。
運転者の視点位置から車両前方を視た場合の視野に映る情景と各視線領域との関係の具体例を図2に示す。
図2に示すように、運転者の前方にはステアリングホイール32が存在し、更にその前方に自車両車室内のダッシュボード31がある。そして、運転者はダッシュボード31の上方にある透明なウインドシールド(窓ガラス)を介して前方視界33を視認することができる。
自車両の運転者が通常の運転を行う際には、つまり自車両を前方に向かって直進させる場合には、運転者の視線の方向は、前方視界33のほぼ中央を中心として広がりを有するある領域内に向く確率が高い。
そこで、図2に示すように前方視界33の中央付近に、楕円形のような形状の低速通常走行時用視線領域AR1、および高速通常走行時用視線領域AR2を割り当てる。また、自車両が比較的高速で走行する際には、運転者の視線の方向が中心部に近い位置により集中する傾向があり、逆に自車両が比較的低速で走行する際には、運転者の視線の方向が中心部から離れた位置にも向く確率が高くなる。そこで、高速通常走行時用視線領域AR2の大きさが比較的小さくなるように形成し、低速通常走行時用視線領域AR1の大きさはAR2よりも大きくなるように形成する。
一方、自車両が右折する場合や、自車両の右側に存在する隣接車線に車線変更するような場合には、運転者は自車両の右側の状況について安全確認を行う必要があり、視線の方向が前方視界33の右側の領域に向く確率が高くなる。逆に、自車両が左折する場合や、自車両の左側に存在する隣接車線に車線変更するような場合には、運転者は自車両の左側の状況について安全確認を行う必要があり、視線の方向が前方視界33の左側の領域に向く確率が高くなる。
そこで、図2に示すように、前方視界33の右側の位置に右折時用視線領域AR3を割り当て、前方視界33の左側の位置に左折時用視線領域AR4を割り当てる。ここで、右折時用視線領域AR3は、右折時の安全確認の際に運転者が注目すべき位置の基準点を中心としてある広がりを有する円形や楕円形の形状の領域とする。また、左折時用視線領域AR4は、左折時の安全確認の際に運転者が注目すべき位置の基準点を中心としてある広がりを有する円形や楕円形の形状の領域とする。
なお、各視線領域の割り当てについては、図2に示した例の他に様々な変形が考えられる。例えば、右折時と右側に車線変更する時とで、それぞれ位置や大きさが異なる別の視線領域を割り当ててもよいし、左折時と左側に車線変更する時とで、それぞれ位置や大きさが異なる別の視線領域を割り当ててもよい。また、低速通常走行時用視線領域AR1および高速通常走行時用視線領域AR2と同じように、右折時用視線領域AR3、および左折時用視線領域AR4の大きさを車速の高低に合わせて変更してもよい。
図2に示した各視線領域AR1〜AR4は、実際には次のようにして選択的に使用される。すなわち、図1に示した車両状態反映部24の状況把握において、自車両が通常の走行状態であるとみなした場合には、車速の高低に応じて高速通常走行時用視線領域AR2、又は低速通常走行時用視線領域AR1が選択されるように、車両状態反映部24が車両状態識別情報SG14を生成する。この車両状態識別情報SG14に従って、データ保持部14が高速通常走行時用視線領域AR2、又は低速通常走行時用視線領域AR1を選択し、視線領域データSG4として出力する。
また、図1に示した車両状態反映部24の状況把握において、自車両が右折する時の走行状態であるとみなした場合には、右折時用視線領域AR3が選択されるように、車両状態反映部24が車両状態識別情報SG14を生成する。この車両状態識別情報SG14に従って、データ保持部14が右折時用視線領域AR3を選択し、視線領域データSG4として出力する。
また、図1に示した車両状態反映部24の状況把握において、自車両が左折する時の走行状態であるとみなした場合には、左折時用視線領域AR4が選択されるように、車両状態反映部24が車両状態識別情報SG14を生成する。この車両状態識別情報SG14に従って、データ保持部14が左折時用視線領域AR4を選択し、視線領域データSG4として出力する。
<わき見割合情報SG8の変化およびわき見の識別例>
わき見割合情報SG8、および視線が領域外にある状態の累積時間SG5Bの変化例を図3に示す。なお、図1に示した走行支援装置10においては、一般的な制御において利用される可能性のある累積時間SG5Bは使用せず、特徴的な制御として、わき見割合情報SG8のわき見割合、つまり時間割合Rtに基づいて「わき見運転」を検知している。
また、図3に示した例では、閾値情報SG15の閾値上限値が80%、閾値下限値が10%の場合を想定している。したがって、わき見割合識別部18がわき見割合情報SG8の時間割合Rtを閾値情報SG15と比較する際に、時間割合Rtが閾値上限値の80%と、閾値下限値の10%との範囲内であれば、安全な状態、つまり「わき見運転」ではないと認識される。また、時間割合Rtが閾値上限値の80%を超える場合や、時間割合Rtが閾値下限値の10%を下回る場合には「わき見運転」などの異常な状態として認識される。
<走行支援装置10の利点>
もしも累積時間SG5Bを監視して閾値(例えば8秒)と比較する場合には、図3に示すように時間の経過に伴って累積時間SG5Bが増大するため、運転者が「わき見運転」していないにもかかわらず「わき見運転」が検知される可能性が高い。しかし、走行支援装置10においてはわき見割合情報SG8の時間割合Rtを閾値と比較するので、図3に示すように時間割合Rtが安全な状態の範囲(例えば10〜80%の範囲)を逸脱しない限り異常が検知されることはなく、「わき見運転」の検知精度が向上する。
更に、時間割合Rtを閾値下限値(例えば10%)と比較することにより、運転者が考え事をしながら運転している場合のように、周囲の状況にほとんど注意していないような状況であっても、異常を検知して運転者に注意を促すことができるので、危険な状況を回避することが可能になる。
[第2実施形態]
まず、装置の概要について説明する。
第2実施形態の走行支援装置10Bは、運転者の視線の方向を表す情報を活用して、車両の誤発進を防止するための走行支援機能を搭載している。
具体的には、走行支援装置10Bを搭載した車両の運転者が、車両の走行を開始しようとしている時に、運転者が想定している車両の走行方向(前進/後退)と、実際の車両の走行方向とが一致しているかどうかを走行支援装置10Bが識別することにより、誤発進か否かを自動的に判定し、危険な場合には警報を出力したり、安全な方向に運転を自動的に制御する。
すなわち、運転者が自車両を前進させることを意図している時の運転者の視線の方向と、運転者が自車両を後退させることを意図している時の運転者の視線の方向とが大きく異なるので、検知した視線の方向に基づいて運転者の意図(前進/後退)を推定することができる。また、実際に車両が走行する方向が前進/後退のいずれであるのかは、車両に搭載された変速機の状態や、変速状態の切替を指示するためのシフトレバーの操作状態に基づいて特定することが可能である。したがって、運転者の意図と実際の車両の走行方向とを対比することにより、前進/後退の間違いによる誤発進を防止できる。
次に、装置の構成例を説明する。
本発明の第2実施形態における走行支援装置10Bの構成例を図4に示す。
図4に示した走行支援装置10Bは、発進判定部41、進行方向判定部42、誤発進判定部43、ドライバー状態監視部44、視線情報データベース(DB)45、ドライバー意図推定部46、警報出力制御部47、ブレーキ制御部48、アクセル制御部49、ドライバーカメラ51、およびアクセルペダル荷重センサ52を備えている。
なお、走行支援装置10Bの構成要素のうち、ほとんどの制御要素は、マイクロコンピュータを主要な構成要素とする電子制御ユニット(ECU)により実現され、各々の制御要素はマイクロコンピュータによるソフトウェア処理、または専用のハードウェアに相当する。
発進判定部41の入力には、自車両の走行速度を表す情報41aと、自車両のブレーキのオンオフ状態を表す情報41bとが、車両側のセンサや電子制御ユニットから提供される。発進判定部41は、これらの入力された情報に基づいて自車両の現在の発進状態(信号41c)を識別する。つまり、実際の車両の状態を発進判定部41が識別する。
進行方向判定部42の入力には、自車両の自動変速機における現在のシフト状態を表す情報42aと、自車両のステアリング機構における現在の操舵角を表す情報42bとが、車両側のセンサや電子制御ユニットから提供される。進行方向判定部42は、これらの入力された情報に基づいて自車両の現在の進行方向(信号42c)を識別する。つまり、運転者の操作に対応する現在の状態を進行方向判定部42が識別する。
誤発進判定部43は、発進判定部41から出力される発進状態(信号41c)と、進行方向判定部42から出力される進行方向(信号42c)と、ドライバー意図推定部46から出力される運転者の意図する進行方向(信号46a)とに基づいて、誤発進しようとしている状態か否かを自動的に判定する。そして、判定結果に応じて警報指示(信号43a)、ブレーキ指示(信号43b)、およびアクセル無効化指示(信号43c)を誤発進判定部43が出力する。
ドライバー状態監視部44は、ドライバーカメラ51が出力する映像信号を入力し、この信号に基づいて運転者(ドライバー)の状態を監視する。ドライバーカメラ51は、車両の運転席に着座している運転者の顔を撮影するための機材である。したがって、ドライバーカメラ51は例えば運転席の前方のダッシュボード上に、撮影方向を運転者の顔の方向に向けた状態で設置される。ドライバー状態監視部44は、運転者の顔等が映る映像に基づいて、運転者の視線の方向や瞬きなどを検出し、視線方向を表す信号44aを出力する。
アクセルペダル荷重センサ52は、車両のアクセルペダル上に設置されており、アクセルペダル上に運転者の足が乗っているか否かを検知して、アクセルペダル状態信号52aを出力する。なお、アクセルペダル状態信号52aはアクセルペダルにかかっている荷重を検知するものであり、アクセルペダルが踏み込まれておらず、単に運転者の足がのっている状態も検知可能である。
視線情報データベース45は、例えば不揮発性メモリなどの記憶装置上に形成されている。この視線情報データベース45は、車両の運転行動における一般的な運転者の視線変化パターンを表すデータを保持している。
ドライバー意図推定部46は、アクセルペダル状態信号52aに基づいて、運転者の足がアクセルペダル上にあるか否かを識別し、発進意図の有無を推定する。また、ドライバー意図推定部46は運転者の実際の視線方向を表す信号44aと、視線情報データベース45から読み出した一般的な運転者の視線変化パターンのデータ45aとを比較することにより、運転者の意図している車両の進行方向(前進/後退)を表す信号46aを出力する。
警報出力制御部47は、誤発進判定部43の出力する警報指示(信号43a)に従って、所定の警報を出力する。具体的には、警報音を出力したり、疑似音声の音響出力により「誤発進の危険があります」などのアナウンスを行う。
ブレーキ制御部48は、誤発進判定部43が出力するブレーキ指示(信号43b)に従い、自車両が発進しないように自動的にブレーキをかける。また、アクセル制御部49は、誤発進判定部43が出力するアクセル無効化指示(信号43c)に従い、アクセルペダルの踏み込み量が車両の動作に反映されないように無効化の制御を実施する。
次に、装置の動作例を説明する。
<動作例1:運転者が前進を意図し、実際には車両が後退しようとする場合>
ステップSa1:運転者が前方を注視していると、視線方向の情報(信号44a)と一般的な運転者の視線変化パターンのデータ45aとの比較により、ドライバー意図推定部46が、「前進しようとしている」と推定し、その進行方向を信号46aに反映して出力する。
ステップSa2:運転者のシフト操作により、変速機のシフト状態が「R:後退」になると、進行方向判定部42が「後退」の進行方向を検出し、これを進行方向を表す信号42cに反映して出力する。
ステップSa3:運転者の運転操作により「ブレーキオフ」になると、発進判定部41が「発進しようとしている」と判定する。更に、Sa1で出力される信号46aの進行方向と、Sa2で出力される信号42cの進行方向とが異なるため、誤発進判定部43は「誤発進」の状態であるとみなし、警報指示(信号43a)、ブレーキ指示(信号43b)、およびアクセル無効化指示(信号43c)を出力する。
ステップSa4:警報出力制御部47が警報指示(信号43a)に従って警報を出力する。同時に、ブレーキ制御部48がブレーキ指示(信号43b)に従って自動的にブレーキをオンに切り替える。更に、アクセル制御部49がアクセル無効化指示(信号43c)に従ってアクセル操作を無効化する。これにより、誤発進の危険性があることを、発進前に運転者に対して警告することができるし、自動ブレーキ制御およびアクセルの無効化により誤発進を未然に防止することができる。
<動作例2:運転者が後退を意図し、実際には車両が前進しようとする場合>
ステップSb1:運転者が後方を確認するために、サイドミラーやバックミラーを視認すると、この時の視線方向の情報(信号44a)と、視線情報データベース45から出力される一般的な運転者の視線変化パターンのデータ45aとの比較により、ドライバー意図推定部46が「後退しようとしている」と推定し、その進行方向を信号46aに反映して出力する。
ステップSb2:運転者のシフト操作により、変速機のシフト状態が「D:前進」になると、進行方向判定部42が「前進」の進行方向を検出し、これを進行方向を表す信号42cに反映して出力する。
ステップSb3:運転者の運転操作により「ブレーキオフ」になると、発進判定部41が「発進しようとしている」と判定する。更に、Sb1で出力される信号46aの進行方向と、Sb2で出力される信号42cの進行方向とが異なるため、誤発進判定部43は「誤発進」の状態であるとみなし、警報指示(信号43a)、ブレーキ指示(信号43b)、およびアクセル無効化指示(信号43c)を出力する。
ステップSb4:警報出力制御部47が警報指示(信号43a)に従って警報を出力する。同時に、ブレーキ制御部48がブレーキ指示(信号43b)に従って自動的にブレーキをオンに切り替える。更に、アクセル制御部49がアクセル無効化指示(信号43c)に従ってアクセル操作を無効化する。これにより、誤発進の危険性があることを、発進前に運転者に対して警告することができるし、自動ブレーキ制御およびアクセルの無効化により誤発進を未然に防止することができる。
<走行支援装置10Bの利点>
車両の誤発進による交通事故を防止するために、例えば進行方向の障害物や人物を検出するための様々なセンサを設置することが一般的に想定される。しかし、走行支援装置10Bを用いる場合には、そのようなセンサを設置しなくても誤発進を未然に防止できるし、センサの誤動作の可能性も考慮する必要がない。また、進行方向に障害物が存在しない場合であっても誤発進を防止できる。また、実際に車両が動き出す前に誤発進の可能性を警告したり、ブレーキやアクセルを自動制御するので、運転者の運転操作ミスに対する心的負担を軽減できる。
[第3実施形態]
まず、装置の概要について説明する。
車両の運転時に、例えば右左折を行う場合や、走行車線の変更(車線変更)を行うような場合には、それに先だって、安全性を確保するために、運転者の目視による左右等の周囲の安全確認を行う必要がある。特に、運転席に着座している運転者が視認可能な視界には、死角となる領域が存在するので、死角の領域も確認できるように十分に注意を払って(例えば時間を掛けて)安全確認することが望まれる。
第3実施形態の走行支援装置10Cは、運転者の視線の方向を表す情報を活用して、運転者が安全確認を怠っていないかを検知し、安全不確認のような危険な状況が発生した場合に警報等を出力するための走行支援機能を搭載している。
次に、装置の構成例を説明する。
本発明の第3実施形態における走行支援装置10Cの構成例を図5に示す。
図5に示した走行支援装置10Cは、行動データベース(DB)61、状況判断部62、車両信号生成部63、カメラ64、画像処理部65、行動判定部66、およびメッセージ生成部67を備えている。
なお、走行支援装置10Cの構成要素のうち、ほとんどの制御要素は、マイクロコンピュータを主要な構成要素とする電子制御ユニット(ECU)により実現され、各々の制御要素はマイクロコンピュータによるソフトウェア処理、または専用のハードウェアに相当する。
行動データベース61は、例えば不揮発性メモリのような記憶装置上に配置されている。行動データベース61上に保持されているデータは、車両が右折、左折、車線変更などをする際の、一般的な運転者の行動(操作)パターンに相当するものであり、車両内の各種信号の変化パターンを表す。
車両信号生成部63は、車両に搭載されている様々なセンサやスイッチなどを利用して、車両の状態を表す様々な信号を生成する。代表例としては、ブレーキのオンオフ信号、車速信号、左右の方向指示信号(ターンシグナル)、ステアリングの操舵角信号などを出力するように、車両信号生成部63を構成することが想定される。
状況判断部62は、車両信号生成部63から出力される様々な車両信号の変化と、行動データベース61に保持されている様々な基準データの変化パターンとを対比することにより、現在の運転者の運転行動の状況を推定する。すなわち、左折している状況、右折している状況、車線変更している状況などをそれぞれ区別できるように推定する。
カメラ64は、車両の運転席に着座している運転者の顔を撮影するための機材である。したがって、カメラ64は例えば運転席の前方のダッシュボード上に、撮影方向を運転者の顔の方向に向けた状態で設置される。画像処理部65は、カメラ64の出力、すなわち運転者の顔等が映る映像の内容を解析して、運転者の顔の向きを算出する。なお、顔の向きの代わりに視線の方向を検出してもよい。
行動判定部66は、状況判断部62の判断結果を利用して左折している状況、右折している状況、車線変更している状況などのいずれの状況であるのかを把握する。また、行動判定部66は画像処理部65が検知した運転者の顔の向きを監視して、運転者が適切な安全確認行動をしているか否かを識別する。そして、行動判定部66は適切な安全確認行動を検知できなかった場合には、「安全不確認」として認識し、メッセージ生成部67に対してメッセージの出力を指示する。
メッセージ生成部67は、行動判定部66からメッセージ出力の指示を受けると、所定の警報音や所定の音声メッセージを運転者が聴き取れるように出力する。また、例えばドライブレコーダやデジタルタコグラフのような運行記録計を搭載している車両の場合には、メッセージ生成部67が出力するメッセージのログを、ドライブレコーダやデジタルタコグラフが記録できるように出力することも想定される。
次に、装置の動作例を説明する。
<動作例1>
車両が左折する際の走行支援装置10Cの動作例を図6に示す。
ステップS11:状況判断部62が、車両信号生成部63から出力されるブレーキオン信号あるいは車速信号に基づき、運転者の減速行動を検出し、次のS12に進む。
ステップS12:状況判断部62が、車両信号生成部63から出力される左側のターンシグナルに基づき、運転者が左折行動していることを検出し、次のS13に進む。
ステップS13:状況判断部62が、車両信号生成部63から出力される操舵角の信号に基づき、運転者が左折行動していることを検出し、次のS14に進む。
また、状況判断部62は、ステップS11〜S13で車両信号生成部63から入力された各信号の変化パターンと、行動データベース61に保持されている様々な基準データの変化パターンとを対比することにより、現在の運転者の運転行動が「左折の行動」であることを認識する。
ステップS14:実際に自車両の左折が開始されるまでの間に、画像処理部65から出力される顔向きの情報を行動判定部66が監視して、左折時に死角となる領域(車体の左前部側面下)に対する運転者の安全確認の有無を識別する。例えば、顔向きが90度の角度(横向きの状態)であれば、左側面における障害物等の確認を行っているとみなして処理を終了する。顔向きが90度の角度に満たない状態であれば、死角に対する安全確認が不十分とみなして次のS15に進む。
ステップS15:左折時の死角に対する安全確認が不十分であるので、行動判定部66の出力する制御信号により、メッセージ生成部67が警報を出力する。これにより、運転者に対して注意喚起することができる。
例えば、大型のトラック等の車両が左折する際には、死角となる車体の左前部側面下に存在する可能性のある人、自転車、バイク等を巻き込む事故が発生しやすいので、死角の領域に対する運転者の目視による安全確認が非常に重要である。そして、走行支援装置10Cが図6に示した制御を実施する場合には、左折時の運転者の「安全不確認」を自動的に検知して警報を出力することができる。
なお、図6に示したステップS11、S12については処理の順番を逆にしてもよいし、両者を同時に処理してもよい。
<動作例2>
車両が車線変更する際の走行支援装置10Cの動作例を図7に示す。
ステップS21:車両の走行中に、状況判断部62が車両信号生成部63から出力される左側又は右側のターンシグナルを検出し、次のS22に進む。
ステップS22:状況判断部62が、車両信号生成部63から出力される操舵角の信号に基づき、運転者が左側又は右側への車線変更のための行動をしていること認識して次のS23に進む。この認識は、車両信号生成部63から出力される信号の変化パターンと、行動データベース61に保持されている様々な基準データの変化パターンとを対比することにより、高い精度で実施することができる。
ステップS23:実際に自車両の車線変更が開始されるまでの間に、画像処理部65から出力される顔向きの情報を行動判定部66が監視して、右又は左への車線変更の際に死角となる領域(車体の右側方または左側方)に対する運転者の安全確認の有無を識別する。例えば、顔向きが90度の角度(横向きの状態)であれば、移動先の隣接車線を走行している他の車両等の確認を行っているとみなして処理を終了する。顔向きが90度の角度に満たない状態であれば、死角に対する安全確認が不十分となして次のS24に進む。
ステップS24:車線変更時の死角に対する安全確認が不十分であるので、行動判定部66の出力する制御信号により、メッセージ生成部67が警報を出力する。これにより、運転者に対して注意喚起することができる。
例えば、車両が右側の隣接車線に向けて車線変更しようとする場合には、移動先の隣接車線を他の車両が走行している可能性がある。しかし、死角となる領域で他の車両が隣接車線を走行している場合には、バックミラーやサイドミラーに映る情景を確認するだけでは、自車両の運転者は他の車両を視認できない。そのため、自車両の運転者がミラーを使わずに、自分の顔の向きを右側に向けて、他車両の有無を直接目視により確認することが非常に重要になる。そして、走行支援装置10Cが図7に示した制御を実施する場合には、車線変更時の運転者の「安全不確認」を自動的に検知して警報を出力することができる。
<走行支援装置10Cの利点>
自車両が左折する際の運転者の「安全不確認」、自車両が右折する際の運転者の「安全不確認」、自車両が車線変更する際の運転者の「安全不確認」をいずれも自動的に検知して警報を出力することができる。したがって、左折時の巻き込み事故、右折時の歩行者や自転車等との接触などの事故、車線変更時の他車両との衝突事故などを予防するために役立てることができる。
また、左折時、右折時、車線変更時などに、自車両の運転者が所定の安全確認動作を確実に実施した場合には警報が出力されないので、警報音の煩わしさを解消することができる。走行支援装置10Cの機能は、一般的な車両の信号とカメラの映像を用いて実現できるので、特別に高価なセンサ等を設置する必要がなく、低価格で提供できる。
走行支援装置10Cを利用することにより、「安全不確認」の癖のある運転者の行動を修正し、「安全確認」実施の意識を高めることができる。また、ドライブレコーダやデジタルタコグラフなどの車載装置と連携することにより、「安全不確認」の記録を残すことも可能であり、業務用車両を運行する業者において、安全運転の指導に役立つデータを提供することが可能になる。
ここで、上述した本発明に係る走行支援装置の実施形態の特徴をそれぞれ以下[1]〜[5]に簡潔に纏めて列記する。
[1] 車両の走行状態を検出する走行状態検出部(車両状態検出部21)と、
運転者の前記車両に対する運転操作を検出する操作検出部(運転操作検出部20)と、
前記運転者の視線方向を検出する視線方向検出部(13)と、
車両の走行状態及び運転者の運転操作と、運転者の視線方向のパターンとを組み合わせたデータを予め記憶しておくパターン記憶部(データ保持部14)と、
前記走行状態検出部により検出された前記走行状態、前記操作検出部により検出された前記運転操作、及び前記視線方向検出部により検出された視線方向の組み合わせが、前記パターン記憶部に記憶されたデータの組み合わせと異なる場合には、警告信号を出力する警告信号出力部(警報提示部19)と、
を備えることを特徴とする走行支援装置(10)。
[2] 前記パターン記憶部には、前記視線方向のパターンとして、前記車両の前進中において運転者が向けるべき視線方向の領域を表すデータが記憶されており、
前記警告信号出力部は、前記走行状態検出部において前記車両の前進が検出されている場合に、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域(視線領域AR1〜AR4)に含まれていない時間の割合(Rt)が所定値以上となった場合に前記警告信号を出力する、
ことを特徴とする上記[1]に記載の走行支援装置。
[3] 前記操作検出部(進行方向判定部42)は、前記車両の状態を前進又は後退に切替えるための切替操作を検出し、
前記パターン記憶部(視線情報データベース45)には、前記視線方向のパターンとして、前記切替操作時において前記車両を前進させる際の視線方向の変化パターンと、前記切替操作時において前記車両を後退させる際の視線方向の変化パターンとを表すデータが含まれる、
ことを特徴とする上記[1]又は[2]に記載の走行支援装置。
[4] 前記操作検出部(状況判断部62)は、前記車両の進路を右方向あるいは左方向に変える場合の操作を検出し(ステップS11〜S13,S21,S22)、
前記パターン記憶部(行動判定部66)には、前記視線方向のパターンとして、前記車両が右方向あるいは左方向に進路を変える場合において運転者が向けるべき視線方向の変化パターンを表すデータが含まれる、
ことを特徴とする上記[1]乃至[3]のいずれかに記載の走行支援装置。
[5] 前記警告信号出力部(車両状態反映部24)は、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合と比較する閾値(閾値情報SG15)を、前記車両の走行速度を含む車両状態に応じて自動的に変更する、
ことを特徴とする上記[2]に記載の走行支援装置。
10,10B,10C 走行支援装置
11 車載カメラ
12 画像処理部
13 視線方向検出部
14 データ保持部
15 データ比較部
16 時間計測部
17 時間割合算出部
18 わき見割合識別部
19 警報提示部
20 運転操作検出部
21 車両状態検出部
22 カーナビゲーション装置
23 周辺車両検出部
24 車両状態反映部
31 ダッシュボード
32 ステアリングホイール
33 前方視界
41 発進判定部
42 進行方向判定部
43 誤発進判定部
44 ドライバー状態監視部
45 視線情報データベース
46 ドライバー意図推定部
47 警報出力制御部
48 ブレーキ制御部
49 アクセル制御部
51 ドライバーカメラ
52 アクセルペダル荷重センサ
61 行動データベース
62 状況判断部
63 車両信号生成部
64 カメラ
65 画像処理部
66 行動判定部
67 メッセージ生成部
AR1 低速通常走行時用視線領域
AR2 高速通常走行時用視線領域
AR3 右折時用視線領域
AR4 左折時用視線領域
SG1 映像信号
SG2 画像情報
SG3 視線方向情報
SG4 視線領域データ
SG5 領域内外識別信号
SG6 領域内時間情報
SG7 領域外時間情報
SG8 わき見割合情報
SG9 わき見識別信号
SG10 運転操作情報
SG11 車両状態情報
SG12 特定領域走行情報
SG13 周辺車両検知情報
SG14 車両状態識別情報
SG15 閾値情報
SG16 危険度識別情報

Claims (5)

  1. 車両の走行状態を検出する走行状態検出部と、
    運転者の前記車両に対する運転操作を検出する操作検出部と、
    前記運転者の視線方向を検出する視線方向検出部と、
    車両の走行状態及び運転者の運転操作と、運転者の視線方向のパターンとを組み合わせたデータを予め記憶しておくパターン記憶部と、
    前記走行状態検出部により検出された前記走行状態、前記操作検出部により検出された前記運転操作、及び前記視線方向検出部により検出された視線方向の組み合わせが、前記パターン記憶部に記憶されたデータの組み合わせと異なる場合には、警告信号を出力する警告信号出力部と、
    を備えることを特徴とする走行支援装置。
  2. 前記パターン記憶部には、前記視線方向のパターンとして、前記車両の前進中において運転者が向けるべき視線方向の領域を表すデータが記憶されており、
    前記警告信号出力部は、前記走行状態検出部において前記車両の前進が検出されている場合に、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合が所定値以上となった場合に前記警告信号を出力する、
    ことを特徴とする請求項1に記載の走行支援装置。
  3. 前記操作検出部は、前記車両の状態を前進又は後退に切替えるための切替操作を検出し、
    前記パターン記憶部には、前記視線方向のパターンとして、前記切替操作時において前記車両を前進させる際の視線方向の変化パターンと、前記切替操作時において前記車両を後退させる際の視線方向の変化パターンとを表すデータが含まれる、
    ことを特徴とする請求項1又は2に記載の走行支援装置。
  4. 前記操作検出部は、前記車両の進路を右方向あるいは左方向に変える場合の操作を検出し、
    前記パターン記憶部には、前記視線方向のパターンとして、前記車両が右方向あるいは左方向に進路を変える場合において運転者が向けるべき視線方向の変化パターンを表すデータが含まれる、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の走行支援装置。
  5. 前記警告信号出力部は、前記視線方向検出部により検出された視線方向が、前記車両の前方における所定領域に含まれていない時間の割合と比較する閾値を、前記車両の走行速度を含む車両状態に応じて自動的に変更する、
    ことを特徴とする請求項2に記載の走行支援装置。
JP2016206252A 2016-10-20 2016-10-20 走行支援装置 Abandoned JP2018067198A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016206252A JP2018067198A (ja) 2016-10-20 2016-10-20 走行支援装置
US15/662,053 US10166918B2 (en) 2016-10-20 2017-07-27 Drive assisting apparatus
DE102017218443.4A DE102017218443A1 (de) 2016-10-20 2017-10-16 Fahrunterstützungsvorrichtung
CN201710984430.5A CN107963036A (zh) 2016-10-20 2017-10-20 驾驶辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016206252A JP2018067198A (ja) 2016-10-20 2016-10-20 走行支援装置

Publications (1)

Publication Number Publication Date
JP2018067198A true JP2018067198A (ja) 2018-04-26

Family

ID=61866519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016206252A Abandoned JP2018067198A (ja) 2016-10-20 2016-10-20 走行支援装置

Country Status (4)

Country Link
US (1) US10166918B2 (ja)
JP (1) JP2018067198A (ja)
CN (1) CN107963036A (ja)
DE (1) DE102017218443A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020021621A1 (ja) * 2018-07-24 2020-01-30 三菱電機株式会社 誤発進制御装置および誤発進制御方法
WO2020138088A1 (ja) * 2018-12-27 2020-07-02 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラムを記憶する記憶媒体
JP2020131862A (ja) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 車両制御装置
JP2021530069A (ja) * 2018-06-26 2021-11-04 カッツ,イテイ 状況的ドライバ監視システム
WO2024071298A1 (ja) * 2022-09-28 2024-04-04 トヨタ自動車株式会社 運転支援装置
WO2024150276A1 (ja) * 2023-01-10 2024-07-18 株式会社アイシン 誤発進抑制システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
CN108647630A (zh) * 2018-05-08 2018-10-12 北京优创新港科技股份有限公司 一种基于视频识别的危险驾驶行为监督方法与装置
JP7382327B2 (ja) 2018-08-09 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
US11198445B2 (en) * 2018-11-16 2021-12-14 Hyundai Motor Company Apparatus for controlling driving assistance of vehicle, system including the same and method for the same
CN110723148A (zh) * 2019-10-29 2020-01-24 杭州鸿泉物联网技术股份有限公司 不良驾驶行为的识别方法与识别装置
CN111071015A (zh) * 2019-12-26 2020-04-28 的卢技术有限公司 一种视觉同步车窗控制方法及系统
JP7359087B2 (ja) * 2020-07-02 2023-10-11 トヨタ自動車株式会社 ドライバモニタ装置及びドライバモニタ方法
CN113525402B (zh) * 2021-07-20 2023-06-02 张鹏 高级辅助驾驶及无人驾驶视场智能响应方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300601A (ja) * 1992-04-20 1993-11-12 Canon Inc 車輌用安全確認指示装置
JP2002331849A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2006236029A (ja) * 2005-02-25 2006-09-07 Alpine Electronics Inc 警告装置及び警告方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10226453C1 (de) * 2002-06-13 2003-10-16 Webasto Vehicle Sys Int Gmbh Vorrichtung zum Darstellen von visuellen Informationen in mit einem festen Glasdach ausgestatteten Fahrzeugen mittels eines Flachbildschirms
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
DE10360176A1 (de) * 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
JP5171629B2 (ja) * 2006-09-04 2013-03-27 パナソニック株式会社 走行情報提供装置
DE102008010968A1 (de) * 2008-02-25 2009-09-17 Robert Bosch Gmbh Anzeige eines relevanten Verkehrszeichens oder einer relevanten Verkehrseinrichtung
JP5387763B2 (ja) * 2010-05-25 2014-01-15 富士通株式会社 映像処理装置、映像処理方法及び映像処理プログラム
JP5576198B2 (ja) 2010-07-14 2014-08-20 本田技研工業株式会社 脇見判定装置
KR20130050113A (ko) * 2011-11-07 2013-05-15 현대자동차주식회사 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
CN105083291B (zh) * 2014-04-25 2018-11-09 歌乐株式会社 基于视线检测的驾驶员辅助系统
JP6350145B2 (ja) 2014-09-09 2018-07-04 株式会社デンソーアイティーラボラトリ 顔向き検出装置及び車両用警告システム
JP2016206252A (ja) 2015-04-16 2016-12-08 株式会社リコー クリーニング装置、プロセスカートリッジ、及び、画像形成装置
JP6506625B2 (ja) * 2015-05-29 2019-04-24 株式会社デンソー 運転支援装置及び運転支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300601A (ja) * 1992-04-20 1993-11-12 Canon Inc 車輌用安全確認指示装置
JP2002331849A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2006236029A (ja) * 2005-02-25 2006-09-07 Alpine Electronics Inc 警告装置及び警告方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530069A (ja) * 2018-06-26 2021-11-04 カッツ,イテイ 状況的ドライバ監視システム
WO2020021621A1 (ja) * 2018-07-24 2020-01-30 三菱電機株式会社 誤発進制御装置および誤発進制御方法
JPWO2020021621A1 (ja) * 2018-07-24 2021-03-18 三菱電機株式会社 誤発進制御装置および誤発進制御方法
WO2020138088A1 (ja) * 2018-12-27 2020-07-02 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラムを記憶する記憶媒体
JPWO2020138088A1 (ja) * 2018-12-27 2021-10-07 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP7207434B2 (ja) 2018-12-27 2023-01-18 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US12080081B2 (en) 2018-12-27 2024-09-03 Nec Corporation Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program
JP7548290B2 (ja) 2018-12-27 2024-09-10 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両
JP2020131862A (ja) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 車両制御装置
WO2024071298A1 (ja) * 2022-09-28 2024-04-04 トヨタ自動車株式会社 運転支援装置
WO2024150276A1 (ja) * 2023-01-10 2024-07-18 株式会社アイシン 誤発進抑制システム

Also Published As

Publication number Publication date
US10166918B2 (en) 2019-01-01
DE102017218443A1 (de) 2018-04-26
CN107963036A (zh) 2018-04-27
US20180111551A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
JP2018067198A (ja) 走行支援装置
US10336323B2 (en) Predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
CN111361552B (zh) 自动驾驶系统
US6411901B1 (en) Vehicular active drive assist system
US10467489B2 (en) Distracted driving determination apparatus, distracted driving determination method, and recording medium having program for distracted driving determination
JP4852941B2 (ja) 車載警報装置
JP4825868B2 (ja) 車両用警報装置
CN107111955B (zh) 操作控制装置
JP4604691B2 (ja) 車両用警報装置、車両周囲状況の警報方法
JP7151495B2 (ja) 自動運転システム
JP4696792B2 (ja) 車載警報装置
JP2008071062A (ja) 運転支援装置および通知方法
JP2007128430A (ja) 車両用警報装置
JP6398182B2 (ja) 信号情報提示装置
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
JP6428376B2 (ja) 情報表示装置
GB2579237A (en) Method of autonomous reverse gear activation in critical situation
JP2020032783A (ja) 停車支援装置
EP4005889A1 (en) Attention assist method for dynamic blind zone with driver state in the loop, assist system, vehicle and computer program
JP2021077137A (ja) 運転者状態推定装置
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP2020032781A (ja) 停車支援装置
WO2023112212A1 (ja) 運転支援装置及びコンピュータプログラム並びにコンピュータプログラムを記録した記録媒体
JP2010140253A (ja) 車両用警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20201030