JP2015108926A - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP2015108926A
JP2015108926A JP2013250879A JP2013250879A JP2015108926A JP 2015108926 A JP2015108926 A JP 2015108926A JP 2013250879 A JP2013250879 A JP 2013250879A JP 2013250879 A JP2013250879 A JP 2013250879A JP 2015108926 A JP2015108926 A JP 2015108926A
Authority
JP
Japan
Prior art keywords
driver
vehicle
unit
information
danger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013250879A
Other languages
English (en)
Other versions
JP6241235B2 (ja
Inventor
亮輔 川西
Ryosuke Kawanishi
亮輔 川西
信太郎 渡邉
Shintaro Watanabe
信太郎 渡邉
彰一 清水
Shoichi Shimizu
彰一 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013250879A priority Critical patent/JP6241235B2/ja
Publication of JP2015108926A publication Critical patent/JP2015108926A/ja
Application granted granted Critical
Publication of JP6241235B2 publication Critical patent/JP6241235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 運転者が煩わしさを感じない注意喚起を行う車両用運転支援装置を得る。
【解決手段】 地図記憶部10に記憶される危険地点に到達しつつあると危険地点判定部60が判定した場合に、地図記憶部10、視線検出部30、走行状態取得部40及び周辺環境判定部50からの情報に基づいて、注意喚起部70が走行路の危険性に対する運転者の認知度を判定し、判定された認知度に基づいて決定される注意喚起方法により運転者に注意喚起を行う。
【選択図】図1

Description

この発明は、危険地点が記載された地図情報を利用して、運転者に注意喚起をする車両用運転支援装置に関するものである。
データベースに記録されている危険箇所を車両が通過することが想定される場合に、危険箇所における危険因子に関する情報を視覚的イメージで表示する車両用運転支援装置が、例えば特許文献1に開示されている。また、特許文献1には、運転者の運転技量レベルに応じて危険因子に関する情報の表示態様を変化させる車両用運転支援装置についても開示されている。
特開2007−51973号公報
従来の車両用運転支援装置は、走行路の危険箇所における危険因子を運転者が認識しているか否かに関わらず、危険因子に関する情報を表示して注意喚起するものである。したがって、従来の車両用運転支援装置によれば、運転者が安全確認を行い、走行路の危険箇所における危険性を認識できている場合にも、危険性を認識できていない場合と同様の注意喚起がなされ、注意喚起に煩わしさを感じるという課題がある。運転者の運転技量レベルに応じて表示態様を変化させる場合においても、運転者が危険性を認識できている場合には、やはり注意喚起が煩わしく感じるという課題がある。
この発明は、上記のような問題点を解決するためになされたものであり、運転者が煩わしさを感じない注意喚起を行う車両用運転支援装置を得ることを目的としている。
この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものである。
また、この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものである。
また、この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものである。
この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路の危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
また、この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路の危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
また、この発明に係る車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路の危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
本発明の実施の形態1による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態1による車両用運転支援装置の動作の流れを示す図。 本発明の実施の形態1による車両用運転支援装置における周辺環境判定部の構成例を示すブロック図。 本発明の実施の形態1による車両用運転支援装置における周辺環境判定部の動作の流れを示す図。 本発明の実施の形態1による車両用運転支援装置における視線検知部、周辺環境取得部および注意喚起実行部の設置状況の例を示すイメージ図。 本発明の実施の形態1による車両用運転支援装置における周辺環境判定部の別の構成例を示すブロック図。 本発明の実施の形態1による車両用運転支援装置における周辺環境判定部の動作の流れの別例を示す図。 本発明の実施の形態1による車両用運転支援装置における周辺環境判定部の更に別の構成例を示すブロック図。 本発明の実施の形態2による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態2による車両用運転支援装置における周辺環境判定部の構成例を示すブロック図。 本発明の実施の形態2による車両用運転支援装置における運転者の視線による物体位置計測を説明するための模式図。 本発明の実施の形態2による車両用運転支援装置における運転者の視線による物体形状認識を説明するための模式図。 本発明の実施の形態3による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態4による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態5による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態6による車両用運転支援装置の構成を示すブロック図。 本発明の実施の形態6による車両用運転支援装置における周辺環境判定部の構成例を示すブロック図。 本発明の実施の形態6による車両用運転支援装置における周辺環境推定部の構成例を示すブロック図。 本発明の実施の形態7による車両用運転支援装置の構成を示すブロック図。
実施の形態1.
図1は、本発明の実施の形態1による車両用運転支援装置の構成を示すブロック図である。以下、図1を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、視線検知部30、走行状態取得部40、周辺環境判定部50、危険地点判定部60、注意喚起部70を備える。また、注意喚起部70は、認知度判定部71、注意喚起方法決定部72、注意喚起実行部73を備える。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部を備えている。
まず、動作の概略について述べる。本実施の形態の車両用運転支援装置において、危険地点判定部60は、地図記憶部10に記憶される危険地点に到達しつつあることを判定する。危険地点に到達しつつあると判定された場合、注意喚起部70は、地図記憶部10、視線検知部30、走行状態取得部40、および周辺環境判定部50からの情報に基づいて、危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて決定される注意喚起方法により運転者に注意喚起を行う。より具体的には、認知度判定部71が走行路の危険地点における危険性に対する運転者の認知度を判定し、注意喚起方法決定部72が判定された認知度に応じて運転者に対する注意喚起方法を決定し、注意喚起実行部73が運転者に注意喚起を行う。以下において、詳細について述べる。
地図記憶部10は、予め作成される危険地点地図を記憶している。ここで、危険地点地図とは、車両の走行路のうち事故が発生しやすいなど危険性が高いと判定された地点である危険地点の位置と、危険地点において運転者がすべき安全確認行動(運転者の視線方向や車両の走行状態等)とが危険地点の情報として登録されている地図である。また、危険地点地図には、危険地点における危険性の度合いも登録されていることが望ましい。危険地点地図に登録される危険地点の位置とその危険性の度合いは、事故が発生した地点とその頻度から決定してもよいし、走行路の広さや交差点かどうか、渋滞が起こりやすいかどうか等の情報から事故の発生確率を予測することで決定してもよい。地図記憶部10は、必ずしも全地域の危険地点地図を記憶する必要はなく、自車両の周辺の危険地点地図のみを記憶し、自車両の移動に伴って外部から情報を取得して記憶内容を更新するように構成しても良い。
図2は、本実施の形態の車両用運転支援装置の動作の流れを示す図である。以下、図2も用いて本実施の形態の車両用運転支援装置の動作について述べる。ステップS20において、車両位置取得部20は、危険地点地図中における自車両の現在位置を取得する。車両位置取得部20には、GPS、カメラ(カラー、モノクロ、赤外線など)、レンジセンサ、超音波ソナーなど種々のセンサを利用することができる。次に、ステップS30において、視線検知部30は、現在位置において運転者がどの方向を見ているかという運転者の視線情報を取得する。視線検知部30には、カメラ、レンジセンサ、超音波ソナーなど種々のセンサを利用することができる。
次に、ステップS40において、走行状態取得部40は、現在位置における速度、ブレーキ操作を含む加減速、ハンドル操作などの自車両の走行状態に関する情報を取得する。さらに、ウインカ操作に関する情報を取得してもよい。ここで、ウインカをオン又はオフする瞬間の操作のみがウインカ操作ではなく、ウインカを出し続けている状態もウインカ操作に含まれる。走行状態取得部40には、加速度センサ、角速度センサ等の内界センサに加え、カメラ、レンジセンサ、超音波ソナー等の外界センサのような種々のセンサを利用することができる。
次に、ステップS50において、周辺環境判定部50は、周辺環境の情報を取得し、周辺環境の状況を判定し、環境状況情報を生成する。ここで、周辺環境の状況を環境状況と呼ぶ。環境状況とは、車両周辺に存在する物体の種別、物体の位置、運転者の視界の遮蔽度合い等である。また、周辺環境の情報とは、環境状況を判定する際の元になる情報である。後述のように画像センサ等のセンサで取得された情報等が周辺環境の情報となる。
図3は、本実施の形態の車両用運転支援装置における周辺環境判定部50の構成例を示すブロック図である。周辺環境判定部50は、周辺環境取得部51、物体位置認識部52、物体種別判定部53、物体形状認識部54、および視界遮蔽判定部55を備える。また、図4は、周辺環境判定部50の動作の流れを示す図である。以下、図3、図4を用いて、周辺環境判定部50の構成と、ステップS50における周辺環境判定部50の動作について述べる。
ステップS51において、周辺環境取得部51は、車両の周辺環境(標識、走行路状態、看板、電注、樹木、壁などの走行路上もしくは走行路付近に存在する物体など)の情報を取得する。周辺環境取得部51には、例えばカメラなどの画像センサを利用することができる。以下では、周辺環境取得部51にカメラを用いた場合について述べる。次に、ステップS52において、物体位置認識部52は、周辺環境取得部51が取得した車両周辺の環境情報を用いて、走行路付近に存在する物体の位置を認識する。ここで、認識される物体の位置は、車両からの相対位置となる。周辺環境取得部51に複数台のカメラで構成されるステレオカメラを用いる場合には、物体位置認識部52は、撮影された画像を用いた3次元計測を行って物体位置を認識してもよい。また、周辺環境取得部51に1台のカメラを用いる場合には、物体位置認識部52は、異なる地点で撮影された複数枚の画像を用いたモーションステレオ計測を行って、物体位置を認識してもよい。
次に、ステップS53において、物体種別判定部53は、周辺環境取得部51と物体位置認識部52とにより得られる物体情報を用いて、その物体の種別(標識、カーブミラー、看板など)を判定する。物体種別判定は、周辺環境取得部51で取得した画像に対して画像照合の手法を適用することで実現できる。あらかじめ認識したい物体の情報をデータベース等に記憶しておき、取得した画像と照合することによって物体の種別が判定できる。この際、物体位置認識部52で得られた物体の位置も併用することで、物体種別の判定精度を向上できる。画像照合の方法としては、テンプレートマッチングのように画像と画像とを照合する方法を用いてもよい。また、画像照合の方法としては、画像から特徴を抽出し、抽出された特徴同士を照合する方法を用いてもよい。
次に、ステップS54において、物体形状認識部54は、周辺環境取得部51と物体位置認識部52とにより得られる物体情報を用いて、走行路付近に存在する物体の形状を認識する。物体の形状認識は、周辺環境取得部51で取得した画像に対して形状認識の手法を適用することで実現できる。この際、物体位置認識部52で得られた位置の物体について形状を認識する。次に、ステップS55において、視界遮蔽判定部55は、車両位置取得部20で取得された車両の現在位置と物体形状認識部54より得られる走行路付近の物体形状を用いて、運転者の視界がどの程度遮蔽されているかを判定する。車両の現在位置は、物体の向こう側に走行路と交差する道路があるか等、運転者の視界の遮蔽の程度を判定するために用いることができる。以上が、周辺環境判定部50の構成と、ステップS50における周辺環境判定部50の動作である。
再度、図1および図2に戻って、本実施の形態の車両用運転支援装置の構成および動作について述べる。ステップS60において、危険地点判定部60は、車両位置取得部20で取得した自車両の位置と、地図記憶部10に記憶されている危険地点地図とを照合して、自車両が危険地点に到達しつつあるか否かを判定し、判定結果を出力する。自車両が危険地点に到達しつつないと判定された場合には、車両用運転支援装置の動作はステップS20に戻る。一方、自車両が危険地点に到達しつつあると判定された場合には、車両用運転支援装置の動作はステップS71に進む。
次に、ステップS71において、認知度判定部71は、視線検知部30より得られる運転者の視線、走行状態取得部40より得られる自車両の走行状態、および周辺環境判定部50より得られる車両周辺の環境状況(車両周辺に存在する物体の種別、物体の位置、運転者の視界の遮蔽度合い等)を用いて、運転者が走行路の危険地点における危険性をどの程度認知しているかを判定する。危険地点地図には、危険地点のほかに運転者がするべき安全確認行動(運転者の視線、車両走行状態等)である第1の安全確認行動が記憶されている。なお、ある危険地点では、第1の安全確認行動に運転者の視線及び車両走行状態の両方が含まれていても良いし、別の危険地点では、いずれか一方のみが含まれていても良い。
認知度判定部71は、第1の安全確認行動を修正して第2の安全確認行動を求め、運転者の視線や車両の走行状態を第2の安全確認行動と比較し、両者が反するほど認知度が低いと判定する。第1の安全確認行動及び第2の安全確認行動は、危険地点を走行する際に運転者に推奨される安全確認行動である。この時、危険地点地図に危険性の度合いも登録されていれば、危険性の度合いも考慮して認知度を判定する。例えば、危険性の度合いが高い危険地点では、運転者が危険性を認知していると判定する基準を厳しくする。運転者の視線と第2の安全確認行動を比較する際に、確認すべき方向を注視する時間の判定基準を長く設定したり、注視したかどうかの視線方向判定の幅を狭く設定したりする。これにより、危険性の度合いが高い危険地点では、確認すべき方向を注視したかどうかをより厳密に判定するようにする。
危険地点地図に安全確認行動として登録される運転者の視線や車両の走行状態を決定する際には、実際に走行した運転者の視線情報や走行状態を収集したデータを用いてもよいし、交差点やT字路など走行路の形状に基づいて設定してもよい。危険地点地図に登録される車両の走行状態とは、速度、加減速、ハンドル操作等のことであり、車両にエンコーダ等のセンサを取り付けることで直接的に取得してもよいし、運転者に加速度センサ等を取り付け、運転操作を解析することで間接的に取得してもよい。さらに、ウインカ操作も危険地点地図に登録される車両の走行状態としてもよい。
ここで、第2の安全確認行動(運転者の視線、車両走行状態等)を決定する際には、周辺環境判定部50より得られる車両周辺の環境状況を利用する。認知度判定部71は、環境状況に基づいて危険地点地図に登録されている第1の安全確認行動を修正して第2の安全確認行動を生成する。続いて、認知度判定部71は、第2の安全確認行動と運転者の行動を比較して認知度を判定する。環境状況を利用して第2の安全確認行動を生成するのは、同じ道幅や交通状況であっても、見通しの良さ等の周辺環境の状況によって必要な安全確認行動は大きく異なるからである。例として、カーブミラーが設置されている交差点では、停止線で車両を停止させてカーブミラーを注視することが安全確認行動として挙げられる。別の例として、建築物や樹木によって視界が大きく遮られている交差点においては、左右確認だけではなく徐行が必要であることが安全確認行動として挙げられる。
次に、ステップS72において、注意喚起方法決定部72は、あらかじめ登録されている注意喚起方法の中から、運転者の危険性に対する認知度に応じて適切な注意喚起方法を選択する。注意喚起方法は、あらかじめ危険地点地図に登録されていてもよいし、注意喚起方法決定部72が記憶しておいてもよい。この際、注意喚起方法を選択する基準として、走行路状況、天候、車両内環境等を考慮に入れてもよい。また、注意喚起を行わないという選択も注意喚起方法のひとつに含まれる。例として、徐行運転をするべき危険性の高い地点を走行する際に、運転者が減速しなかった場合には音声による注意喚起をするとともに強制的にブレーキをかけて減速することが挙げられる。別の例として、路地から大通りに出る際に、一旦停止はしたが左右確認が不十分であると判定された運転者には左右確認をするよう促す注意喚起をすることが挙げられる。一方、安全確認行動が十分であり、危険性に対する認知度が高いと判定された場合には、音声による注意喚起を行わない、または注意喚起を全く行わない等、注意喚起の程度を下げることも考えられる。
次に、ステップS73において、注意喚起実行部73は、注意喚起方法決定部72で決定された方法で注意喚起を行う。注意喚起実行部73は、音声によって注意喚起をする方法、液晶ディスプレイやヘッドアップディスプレイ等の表示装置を用いて視覚的に注意喚起する方法、強制的に減速したりハンドル操作を行ったりする車両制御によって注意喚起する方法等のうちの1つもしくは組み合わせによって注意喚起を行う。その後、車両用運転支援装置の動作はステップS20へと戻り、以降の動作を繰り返す。なお、ステップS72において、注意喚起方法決定部72が注意喚起を全く行わないことを選択した場合には、ステップS73において、注意喚起実行部73は注意喚起を行わない。
本実施の形態の車両用運転支援装置は以上のように構成され、動作する。ここで、図5は、本実施の形態の車両用運転支援装置における視線検知部30、周辺環境取得部51および注意喚起実行部73の設置状況の例を示すイメージ図である。視線検知部30は、運転者の視線を検知できるように運転席に向かって設置される。周辺環境取得部51は、自車両の前方に向かって設置される。また、注意喚起実行部73は、運転者が注意喚起を認識しやすい位置に設置される。
上記では、周辺環境取得部51にカメラを用いる場合について、周辺環境判定部50の動作を述べたが、周辺環境判定部50は他の構成とすることもできる。周辺環境取得部51には、レンジセンサや超音波ソナーを用いることもできる。この場合には、周辺環境取得部51で車両周辺の物体の位置情報や形状情報も取得でき、物体位置認識部52、物体形状認識部54は不要となる。
図6は、周辺環境判定部50の別の構成例を示すブロック図であり、周辺環境取得部51bにレンジセンサや超音波ソナーを用いる場合の構成例である。周辺環境判定部50は、周辺環境取得部51b、物体種別判定部53、および視界遮蔽判定部55を備える。なお、図6において、図3に示すものと同一の番号を付したものは、同一のものである。また、図7は、周辺環境判定部50における動作の流れの別例を示す図であり、図6に示す構成例における動作の流れを示したものである。
ステップS51bにおいて、周辺環境取得部51bは車両周辺の物体の位置情報及び形状情報を取得する。周辺環境取得部51bにレンジセンサを用いる場合には、物体の位置情報や形状情報を簡易にかつ高精度に取得できる。また、周辺環境取得部51bに超音波ソナーを用いる場合には、近距離に存在する物体の情報を比較的安価な装置構成で取得できるという利点がある。センサにはそれぞれ利点と欠点があるため、複数種類のセンサを組み合わせた構成によると、構成は複雑となり、高価になるが、より多くの環境に対応可能である。カメラなどの画像センサを組み合わせることもできるのは言うまでもない。
次に、ステップS53において、物体種別判定部53は、取得された物体の位置情報及び形状情報に基づいて、車両周辺の物体の種別を判定する。物体種別の判定には、あらかじめ認識したい物体の形状をデータベース等に記憶しておき、計測された形状と照合する方法が利用できる。次に、ステップS55において、視界遮蔽判定部55は、取得された物体の位置情報及び形状情報と、自車両の現在位置とに基づいて、運転者の視界がどの程度遮蔽されているかを判定する。
周辺環境判定部50は、更に別の構成として、データベースから情報を取得して利用するように構成することもできる。図8は、周辺環境判定部50の更に別の構成例を示すブロック図である。周辺環境判定部50は、周辺環境取得部51cおよび視界遮蔽判定部55を備える。なお、図8において、図3に示すものと同一の番号を付したものは、同一のものである。周辺環境取得部51cは、予め周辺環境情報を記憶しておいたデータベースから、走行路付近に存在する物体の情報を取得する。データベースには、物体の位置、種別、形状が記憶されており、周辺環境取得部51cは、自車両の現在位置に対応して、データベースから車両周辺の物体の位置情報、種別、および形状情報を取得する。視界遮蔽判定部55は、取得された物体の位置情報及び形状情報と、自車両の現在位置とに基づいて、運転者の視界がどの程度遮蔽されているかを判定する。
周辺環境判定部50がデータベースから現在位置に対応した情報を取得する場合には、センサを備える必要がなく、構成が簡単となる利点がある。一方、周辺環境判定部50がセンサを備える場合には、現時点における車両周辺の環境状況情報を取得できるという利点がある。例えば、データベースを利用する場合には、駐車車両の有無など、短時間で変化する環境状況の取得は困難となる。また、周辺環境判定部50は画像センサとデータベースとを併用し、情報を照合して環境状況情報を取得することも可能である。データベースから現在位置に対応した情報と、画像センサで取得した情報とを照合することで、周辺環境判定部50はより正確な環境状況を取得可能となる。以上のように、周辺環境判定部50はさまざまな構成とすることができる。
なお、以上の説明で用いた動作の流れを示す図において、動作の順序は一例を示すものであり、これに限定されるものではない。一部の動作の順序が入れ替わっても良いし、同時に動作するものがあっても良い。この点は、これ以降で用いる動作の流れを表す図についても同様である。
以上で述べたように、本実施の形態の車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路の危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
以下、本実施の形態の車両用運転支援装置の効果について更に述べる。車両走行中の危険回避、予防のためには、運転者が走行路の危険性を認知することが重要である。これに対し、あらかじめカーナビなどの運転支援装置が持つ地図に危険性の高い地点を登録しておき、その付近を走行するドライバに対し注意喚起するシステムが有効である。このシステムにおいて、安全確認を十分に行っており危険性を認知できている運転者に対して注意喚起を行うと、ドライバが煩わしさを感じるという課題がある。そこで、走行路の危険地点における危険性に対するドライバの認知度に基づき注意喚起方法を変更することが有効となる。
本実施の形態の車両用運転支援装置によれば、走行路の危険地点における危険性に対する運転者の認知度を判定し、判定結果に基づいて注意喚起方法を変更することで、運転者が煩わしさを感じないような注意喚起が可能な車両用運転支援装置を得ることができる。注意喚起が運転者にとって煩わしいものとなると、運転者の注意喚起に対する注意力が低下することも考えられる。したがって、本実施の形態の車両用運転支援装置は、運転者の注意喚起に対する注意力を維持する上でも有効である。また、運転者の視線と車両の走行状態とを用いて危険地点における危険性の運転者の認知度を判定するので、いずれか一方のみを用いて判定する場合よりも信頼度の高い認知度の判定が可能となる。
さらに、本実施の形態の車両用運転支援装置は、危険性に対する運転者の認知度を周辺環境状況の情報等も考慮して判定する。危険性に対する運転者の認知度合いを、交通状況(渋滞や先行車の有無等)や運転者のセンシング結果(視線等)のみから判定することは困難である。なぜなら、周辺環境の違い(走行路の見通しの良さ等)によって必要となる安全確認動作が異なるからである。本実施の形態の車両用運転支援装置によれば、車両の周辺環境を取得することにより、車両周辺に存在する物体(走行路、標識、看板、建築物等)を認識することができる。これらも用いて運転者が行うべき安全確認動作を設定することで、危険性に対する運転者の認知度合いをより正確に判定することが可能となる。そのため、ドライバが十分に安全確認をしていたにもかかわらず注意喚起をされる等の誤報が低減され、ドライバにとって煩わしくない注意喚起システムの構築が可能となる。
以上のように、本実施の形態の車両用運転支援装置は、運転者が走行路において注視すべき方向を見たかどうか等の運転者情報、および、そのときの車両の走行状態(ブレーキ・アクセル・ハンドリング等)を取得することができる。さらに、車両の周辺環境をセンシングすることにより、車両周辺に存在する物体(走行路、標識、看板、建築物等)を認識することができる。これらの情報を利用することで、運転者の危険地点における危険性の認知度合いを判定することができる。運転者が危険性を認知していないと判断された場合には注意喚起を行い、認知していると判断された場合は注意喚起をしないといったような、注意喚起方法の変更ができる。これにより、運転者にとって煩わしくない注意喚起が可能となる、といった従来にない顕著な効果を奏するものである。
なお、本実施の形態の車両用運転支援装置では、視線検知部30及び走行状態取得部40をともに備えるように構成したが、いずれか一方のみを備え、他方を省略することも可能である。この場合には、認知度判定部70は運転者の視線情報又は車両の走行状態のいずれか一方から危険性に対する運転者の認知度を判定することになる。視線検知部30及び走行状態取得部40のいずれか一方を備える場合には、構成が簡単となり、コストの点で有利となる。一方、視線検知部30及び走行状態取得部40をともに備える場合には、危険性に対する運転者の認知度合いをより正確に判定することが可能となる。
実施の形態2.
実施の形態1では、周辺環境判定部に周辺環境取得部を設けて自車両周辺の環境情報を取得していたが、視線検知部で取得した運転者の視線情報を用いて周辺環境を推定するように構成することも可能である。このように構成することで、構成を簡単化することが可能となり、コスト面でも有利となる。
図9は、本発明の実施の形態2による車両用運転支援装置の構成を示すブロック図である。以下、図9を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、視線検知部30、走行状態取得部40、周辺環境判定部50b、危険地点判定部60、注意喚起部70を備える。また、注意喚起部70は、認知度判定部71、注意喚起方法決定部72、注意喚起実行部73を備える。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部を備えている。なお、図9において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。本実施の形態の車両用運転支援装置において、周辺環境判定部50bは、車両位置取得部20で取得した自車両の現在位置と、視線検知部30で取得した運転者の視線情報とを用いて自車両周辺の環境状況を判定し、環境状況情報を生成する。
図10は、本実施の形態の車両用運転支援装置における周辺環境判定部50bの構成例を示すブロック図である。周辺環境判定部50bは、物体位置認識部52b、物体種別判定部53b、物体形状認識部54b、および視界遮蔽判定部55を備える。図10において、図3に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。物体位置認識部52bは、運転者の視線情報を用いて自車両周辺の物体の位置を推定する。
図11は、運転者の視線による物体位置計測を説明するための模式図である。カーブミラーが設置されている交差点を例として、物体位置認識部52bの動作を説明する。このような交差点の進入時には、多くの運転者がカーブミラーの存在する方向を注視する。そのため特定の方向かつ走行路でない方向に集中する運転者の視線が検出でき、その視線の先に物体が存在する可能性があることが分かる。車両の移動前と移動後で運転者が同じ物体を注視していると仮定すれば、三角測量の原理から、移動前後で得られる運転者の視線の延長線が交わる点を、その物体の位置として計測することができる。
物体種別判定部53bは、運転者の視線情報を用いて自車両周辺の物体の種別を判定する。例えば、交差点にカーブミラーが存在する場合を考える。交差点進入時には、カーブミラーの存在する方向に運転者の視線が集中する。運転者の興味を引く看板などの物体であれば交差点進入後にも運転者が振り返って見ることがあるが、交差点進入後に運転者があらためてカーブミラーを振り返って見る可能性は低い。また、カーブミラーで安全確認する動作には時間がかかるため、信号機や標識と異なり視線が集中する時間が長いなどの特徴も物体種別の判定に利用できる。このように、物体の種別によって運転者の視線の遷移が異なることを利用して、物体種別判定をすることが可能である。
加えて、運転者が物体を注視した際の車両走行状態も同時に考慮することで、より詳細な物体種別判定が実現できる。例えば、運転者が注視したのが速度標識であれば自車の速度を確認してから減速するなど、運転者の視線と注視物体および車両走行状態との間には相関性があり、物体種別判定の信頼性向上に利用できる。
物体形状認識部54bは、運転者の視線情報を用いて自車両周辺の物体の形状を推定する。図12は、運転者の視線による物体形状認識を説明するための模式図である。運転者が壁や電柱の陰などからの歩行者の飛び出しに対する安全確認を行う場合、壁や電柱などの視野を妨害する物体とその背景との境界を注視する。これに上記の運転者の視線による物体位置計測を応用することで、物体の輪郭形状が得られる。ここで、運転者が安全確認をする場合、必ずしも視野を妨害する物体全体を注視するわけではない。そのため、物体の輪郭形状すべてを得ることができない可能性がある。しかし、運転者が安全確認をしたかどうかの判定のためには、必ずしも物体全体の輪郭形状を知る必要はなく、少なくとも視野を妨害している部分の形状が分かればよい。したがって、運転者の視線から得られる物体の一部の形状情報であっても、運転者が危険地点における危険性を認知しているかどうかの判断材料として有用である。
視界遮蔽判定部55は、車両位置取得部20で取得された車両の現在位置と物体形状認識部54bより得られる走行路付近の物体形状を用いて、運転者の視界がどの程度遮蔽されているかを判定する。以上が、周辺環境判定部50bの構成と動作である。周辺環境判定部50b以外の動作は実施の形態1におけるものと同様であり、説明を省略する。本実施の形態の車両用運転支援装置によれば、周辺環境判定部に周辺環境取得部を設ける必要がなく、構成を簡単化することが可能となり、コスト面でも有利となる。また、実施の形態1にて述べたものと同様の効果も有する。
実施の形態3.
実施の形態1では、周辺環境判定部を設け、周辺環境判定部で判定した自車両周辺の環境状況も用いて、走行路の危険地点における危険性に対する運転者の認知度を判定するように構成していた。これに対して、周辺環境判定部を省略することも可能である。このように構成することで、構成を簡単化することが可能となり、コスト面でも有利となる。この構成において、危険地点に到達しつつあると判定された場合、注意喚起部は、地図記憶部、視線検知部、および走行状態取得部からの情報に基づいて、危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて決定される注意喚起方法により運転者に注意喚起を行う。
図13は、本発明の実施の形態3による車両用運転支援装置の構成を示すブロック図である。以下、図13を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、視線検知部30、走行状態取得部40、危険地点判定部60、注意喚起部70bを備える。また、注意喚起部70bは、認知度判定部71b、注意喚起方法決定部72、注意喚起実行部73を備える。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部を備えている。なお、図13において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。
本実施の形態の車両用運転支援装置において、認知度判定部71bは、視線検知部30より得られる運転者の視線、走行状態取得部40より得られる自車両の走行状態を用いて、運転者が走行路の危険地点における危険性をどの程度認知しているかを判定する。危険地点地図には、危険地点のほかに運転者がするべき安全確認行動(運転者の視線、車両走行状態等)である第1の安全確認行動が記憶されている。認知度判定部71bは、運転者の行動が第1の安全確認行動に反するほど認知度が低いと判定する。危険地点地図に記憶される第1の安全確認行動は、見通しの良さ等の危険地点の周辺環境の状況も予め考慮して決定されることが望ましい。
認知度判定部71b以外の動作は実施の形態1におけるものと同様であり、説明を省略する。本実施の形態の車両用運転支援装置によれば、周辺環境判定部を設ける必要がなく、構成を簡単化することが可能となり、コスト面でも有利となる。以上のように、本実施の形態の車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。注意喚起が運転者にとって煩わしいものとなると、運転者の注意喚起に対する注意力が低下することも考えられる。したがって、本実施の形態の車両用運転支援装置は、運転者の注意喚起に対する注意力を維持する上でも有効である。
実施の形態4.
実施の形態3では、視線検知部と走行状態取得部とを設け、認知度判定部は運転者の視線と自車両の走行状態とを用いて、走行路の危険地点における危険性に対する運転者の認知度を判定するように構成していた。これに対して、走行状態取得部を省略することも可能である。このように構成することで、構成を簡単化することが可能となり、コスト面でも有利となる。この構成において、危険地点に到達しつつあると判定された場合、注意喚起部は、地図記憶部および視線検知部からの情報に基づいて、危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて決定される注意喚起方法により運転者に注意喚起を行う。
図14は、本発明の実施の形態4による車両用運転支援装置の構成を示すブロック図である。以下、図14を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、視線検知部30、危険地点判定部60、注意喚起部70cを備える。また、注意喚起部70cは、認知度判定部71c、注意喚起方法決定部72、注意喚起実行部73を備える。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部を備えている。なお、図14において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。
本実施の形態の車両用運転支援装置において、認知度判定部71cは、視線検知部30より得られる運転者の視線を用いて、運転者が走行路の危険地点における危険性をどの程度認知しているかを判定する。危険地点地図には、危険地点のほかに運転者がするべき安全確認行動である第1の安全確認行動が危険地点の情報として記憶されている。認知度判定部71cは、運転者の行動が第1の安全確認行動に反するほど認知度が低いと判定する。すなわち、運転者の視線と第1の安全確認行動を比較し、運転者の視線が第1の安全確認行動に反するほど認知度が低いと判定する。本実施の形態の車両用運転支援装置において、第1の安全確認行動には危険地点を走行する際に推奨される運転者の視線の情報が含まれる。危険地点地図に記憶される第1の安全確認行動は、見通しの良さ等の危険地点の周辺環境の状況も予め考慮して決定されることが望ましい。
認知度判定部71c以外の動作は実施の形態1におけるものと同様であり、説明を省略する。本実施の形態の車両用運転支援装置によれば、構成を簡単化することが可能となり、コスト面でも有利となる。また、走行路の危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。注意喚起が運転者にとって煩わしいものとなると、運転者の注意喚起に対する注意力が低下することも考えられる。したがって、本実施の形態の車両用運転支援装置は、運転者の注意喚起に対する注意力を維持する上でも有効である。
以上で述べたように、本実施の形態の車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の運転者の視線を検知する視線検知部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と運転者の視線とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
実施の形態5.
実施の形態3では、視線検知部と走行状態取得部とを設け、認知度判定部は運転者の視線と自車両の走行状態とを用いて、走行路の危険地点における危険性に対する運転者の認知度を判定するように構成していた。これに対して、視線検知部を省略することも可能である。このように構成することで、構成を簡単化することが可能となり、コスト面でも有利となる。この構成において、危険地点に到達しつつあると判定された場合、注意喚起部は、地図記憶部および走行状態取得部からの情報に基づいて、危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて決定される注意喚起方法により運転者に注意喚起を行う。
図15は、本発明の実施の形態5による車両用運転支援装置の構成を示すブロック図である。以下、図15を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、走行状態取得部40、危険地点判定部60、注意喚起部70dを備える。また、注意喚起部70dは、認知度判定部71d、注意喚起方法決定部72、注意喚起実行部73を備える。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部を備えている。なお、図15において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。
本実施の形態の車両用運転支援装置において、認知度判定部71dは、走行状態取得部40より得られる自車両の走行状態を用いて、運転者が危険地点における危険性をどの程度認知しているかを判定する。危険地点地図には、危険地点のほかに運転者がするべき安全確認行動である第1の安全確認行動が危険地点の情報として記憶されている。認知度判定部71dは、運転者の行動が第1の安全確認行動に反するほど認知度が低いと判定する。すなわち、自車両の走行状態と第1の安全確認行動を比較し、自車両の走行状態が第1の安全確認行動に反するほど認知度が低いと判定する。本実施の形態の車両用運転支援装置において、第1の安全確認行動には危険地点を走行する際に推奨される車両の走行状態の情報が含まれる。危険地点地図に記憶される第1の安全確認行動は、見通しの良さ等の危険地点の周辺環境の状況も予め考慮して決定されることが望ましい。
認知度判定部71d以外の動作は実施の形態1におけるものと同様であり、説明を省略する。本実施の形態の車両用運転支援装置によれば、構成を簡単化することが可能となり、コスト面でも有利となる。また、危険地点における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。注意喚起が運転者にとって煩わしいものとなると、運転者の注意喚起に対する注意力が低下することも考えられる。したがって、本実施の形態の車両用運転支援装置は、運転者の注意喚起に対する注意力を維持する上でも有効である。
以上で述べたように、本実施の形態の車両用運転支援装置は、走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、車両が危険地点に到達しつつあることを判定する危険地点判定部と、車両の走行状態を取得する走行状態取得部と、危険地点判定部が到達しつつあると判定した場合には、危険地点の情報と走行状態とに基づいて危険地点の危険性に対する運転者の認知度を判定し、認知度に基づいて運転者に注意喚起を行う注意喚起部とを備えたものであるので、走行路における危険性に対する運転者の認知度を判定した結果に応じて注意喚起方法を変更することができ、運転者が煩わしさを感じない注意喚起を行うことが可能となる。
実施の形態6.
実施の形態1では、車両で取得した情報と危険地点地図とに基づいて、危険性に対する運転者の認知度を判定し、判定結果に応じて注意喚起方法を変更するように構成したが、車両で取得した情報を車両外部に備える外部装置に送信し、外部装置が受信した情報を元に危険地点地図を更新するように構成することもできる。このように構成することで、常に新しい情報に基づいた危険地点地図を得ることができる。
図16は、本発明の実施の形態6による車両用運転支援装置の構成を示すブロック図である。以下、図16を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、車両に搭載される車載装置100と車両外部に設置される外部装置200とを備える。車載装置100は、地図記憶部10、車両位置取得部20、視線検知部30、走行状態取得部40、周辺環境判定部50c、危険地点判定部60、注意喚起部70、第1の受信部101、第1の送信部102を備える。また、注意喚起部70は、認知度判定部71、注意喚起方法決定部72、注意喚起実行部73を備える。また、外部装置200は、第2の受信部201、第2の送信部202、運転状態記録部210、周辺環境推定部220、危険性決定部230、地図更新部240を備える。
また、図示していないが、車載装置100及び外部装置200は、それぞれの動作を制御する制御部を備えている。なお、図16において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。また、図16では、説明用として車載装置100及び外部装置200をそれぞれ1つとして図示しているが、本実施の形態の車両用運転支援装置では1つの外部装置200に対して複数の車載装置100が接続される。この結果、外部装置200には複数の車両からの情報が蓄積されることになる。車載装置100において、周辺環境判定部50cは、周辺環境の情報を取得し、周辺環境の状況を判定して、判定結果を認知度判定部71へと出力する。また、周辺環境判定部50cは、取得した周辺環境の情報を第1の送信部102へと出力する。
図17は、本実施の形態の車両用運転支援装置における周辺環境判定部50cの構成例を示すブロック図である。周辺環境判定部50cは、周辺環境取得部51、物体位置認識部52、物体種別判定部53、物体形状認識部54、および視界遮蔽判定部55を備える。なお、図17において、図3に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。図3に示した周辺環境判定部50と、図17に示した周辺環境判定部50cとの相違点は、図17に示した周辺環境判定部50cでは、周辺環境取得部51で取得した車両の周辺環境の情報を周辺環境判定部50cの外部へも送出する点にあり、他の構成、動作は同じである。
図16に戻って説明を続ける。第1の送信部102は、車両位置取得部20から出力される車両位置、視線検知部30から出力される運転者の視線、走行状態取得部40から出力される車両の走行状態、及び周辺環境判定部50cから出力される周辺環境の情報を外部装置200に送信する。外部装置200では、第2の受信部201が車両位置、運転者の視線、車両の走行状態、及び周辺環境の情報を受信し、運転状態記録部210に記録する。前述の通り、外部装置200は複数の内部装置100からの情報を受信するので、運転状態記録部210には複数の車両からの情報が蓄積されることになる。周辺環境推定部220は、運転状態記録部210に記録された車両位置と周辺環境の情報とから各車両位置における周辺環境の状況を推定する。
図18は、本実施の形態の車両用運転支援装置における周辺環境推定部220の構成例を示すブロック図である。周辺環境推定部220は、物体位置認識部52、物体種別判定部53、物体形状認識部54、および視界遮蔽判定部55を備える。なお、図18において、図17に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。外部装置200の周辺環境推定部220は、周辺環境取得部51を備えない点で車載装置100の周辺環境判定部50cと異なる。周辺環境推定部220は、運転状態記録部210に記録された周辺環境の情報から各車両位置の周辺に存在する物体の種別、物体の位置、運転者の視界の遮蔽度合い等を推定する。
よって、周辺環境判定部50cでは自車両で取得した情報のみを用いるのに対し、周辺環境推定部220ではさまざまな車両で取得された情報を用いることになる。さまざまな車両で取得された情報を用いることにより、環境の状況の推定精度が高まることが期待できる。また、複数の車両のうちのいずれかの車両が走行すれば、その地点の情報を取得することができる。なお、周辺環境推定部220では、視界遮蔽判定部55が使用する車両位置の情報も運転状態記録部210から取得する。
再び図16に戻って説明を続ける。危険性決定部230は、運転状態記録部210から車両位置、運転者の視線、車両走行状態を取得し、周辺環境推定部220から推定された車両の周辺環境の状況を取得し、これらの関係性を解析することで危険性の高い地点かどうかを決定する。さらに、ドライバが危険を避けるために必要な安全確認動作(運転者の視線、車両走行状態)を決定する。例として、路地からの車両の飛び出しによる事故発生時や急ブレーキ時の直前に、飛び出してきた車両の方向を運転者が見ていなかったケースが多く存在する地点では、飛び出しによる出合い頭事故の危険性が高い地点と判断される。その地点において運転者に推奨される、運転者のとるべき安全確認行動としては、路地の注視と路地直前の徐行運転が設定される。
車両間の位置情報の共有や、推定された周辺環境の状況から、飛び出しによる出合い頭事故は推定可能である。飛び出しによる出合い頭事故と推定できない場合であっても、路地の周辺で急ブレーキが多く発生している場合には、危険性の高い走行路として設定される。さらに、急ブレーキ発生時に運転者が路地の方向を見ていなかった場合には、路地の注視と路地直前の徐行運転が、運転者に推奨される安全確認行動として設定される。また、危険性決定手段230には上記の情報だけではなく、交差点や優先道路などの走行路の種別や事故発生の時間帯、天候など種々の情報を用いても良い。
地図更新部240は、危険性決定部230より得られる走行路の各地点の危険性情報を危険地点地図に登録する、もしくはすでに危険地点として登録されているが危険性の度合いや種類が異なっている場合には、最新の情報に変更することで、危険地点地図を更新する。第2の送信部202は更新した危険地点地図を車載装置100へと送信する。車載装置100へは、危険地図全体を送信しても良いし、更新部分のみを送信しても良い。車載装置100において、第1の受信部101は、更新された危険地点地図を受信し、地図記憶部10に格納する。
本実施の形態の車両用運転支援装置は以上のように構成され、動作する。本実施の形態の車両用運転支援装置によれば、危険地点が登録されていない地域においても、本実施の形態の車両用運転支援装置を搭載した車両が走行することで、自動的に危険地点がどこにあるのかを判断し、地図に追加することができる。あるいは、すでに危険地点として登録された走行路であっても、カーブミラーの設置などにより走行路の安全性が向上した場合には、危険性が低くなるように更新される。このため、常に新しい情報に基づいた危険地点地図を得ることができるという効果がある。また、実施の形態1にて述べたのと同様の効果も有する。なお、図16においては、図1の構成に基づいて車載装置100を構成したが、これに限定されるものではなく、例えば図9の構成に基づいて車載装置100を構成しても良い。
実施の形態7.
実施の形態1では、車両で取得した情報と危険地点地図とに基づいて、危険性に対する運転者の認知度を判定し、判定結果に応じて注意喚起方法を変更するように構成したが、これに加えて、運転者の運転技能を評価して運転者に提示する機能を備えるように構成することもできる。このように構成することで、運転者が客観的に自身の運転技能を知ることができる。
図19は、本発明の実施の形態7による車両用運転支援装置の構成を示すブロック図である。以下、図19を用いて、本実施の形態の車両用運転支援装置の構成と動作について述べる。本実施の形態の車両用運転支援装置は、地図記憶部10、車両位置取得部20、視線検知部30、走行状態取得部40、周辺環境判定部50、危険地点判定部60、注意喚起部70、技能評価部80を備える。また、注意喚起部70は、認知度判定部71、注意喚起方法決定部72、注意喚起実行部73を備え、技能評価部80は、運転技能評価部81、技能評価提示部82を備える。技能評価部80は、運転者の運転技能を評価して運転者に提示する機能を有する。また、図示していないが、本実施の形態の車両用運転支援装置は、全体の動作を制御する制御部をそれぞれ備えている。なお、図19において、図1に示すものと同一の番号を付したものは、同一のものであり、説明を省略する。
運転技能評価部81は、認知度判定部71より得られる走行路における危険性に対する運転者の認知度に基づいて運転者の運転技能を評価する。運転技能の評価には、運転中に得られる認知度の平均値、最大値、最小値などの統計量に加え、車両の速度や加減速を用いても良い。評価は数値であっても良いし、安全確認忘れなどの改善が期待される項目を具体的に指摘するものでも良い。技能評価提示部82は、運転技能評価部81より得られる運転技能評価結果を運転者に提示する。提示方法は音声によるものでも良いし、ディスプレイ等の表示装置を用いて視覚的に提示しても良い。提示するのは運転終了後でも良いし、運転中に随時提示しても良い。
本実施の形態の車両用運転支援装置は以上のように構成され、動作する。本実施の形態の車両用運転支援装置によれば、運転者に運転技能の評価をフィードバックすることで、運転者は客観的に自身の運転技能を知ることができるという効果がある。また、実施の形態1にて述べたのと同様の効果も有する。なお、図19においては、図1の構成に技能評価部80を追加した構成としたが、これに限定されるものではなく、例えば図9、図13、図14、図15又は図16の構成に技能評価部80を追加した構成としても良い。
10 地図記憶部、20 車両位置取得部、30 視線検知部、40 走行状態取得部、50、50b、50c 周辺環境判定部、51、51b、51c 周辺環境取得部、52、52b 物体位置認識部、53、53b 物体種別判定部、54、54b 物体形状認識部、55 視界遮蔽判定部、60 危険地点判定部、70、70b、70c、70d 注意喚起部、71、71b、71c、71d 認知度判定部、72 注意喚起方法決定部、73 注意喚起実行部、80 技能評価部、81 運転技能評価部、82 技能評価提示部、100 車載装置、101 第1の受信部、102 第1の送信部、200 外部装置、201 第2の受信部、202 第2の送信部、210 運転状態記録部、220 周辺環境推定部、230 危険性決定部、240 地図更新部。

Claims (12)

  1. 走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、
    車両が前記危険地点に到達しつつあることを判定する危険地点判定部と、
    前記車両の運転者の視線を検知する視線検知部と、
    前記車両の走行状態を取得する走行状態取得部と、
    前記危険地点判定部が到達しつつあると判定した場合には、前記危険地点の前記情報と前記運転者の前記視線と前記走行状態とに基づいて前記危険地点の危険性に対する前記運転者の認知度を判定し、前記認知度に基づいて前記運転者に注意喚起を行う注意喚起部と
    を備えることを特徴とする車両用運転支援装置。
  2. 前記危険地点の前記情報は、前記危険地点を走行する際に前記運転者に推奨される安全確認行動を含み、
    前記注意喚起部は、前記視線検知部で検知される前記運転者の前記視線と前記走行状態取得部で取得される前記走行状態とを前記安全確認行動と比較することによって前記運転者の前記認知度を判定する
    ことを特徴とする請求項1に記載の車両用運転支援装置。
  3. 前記車両周辺の環境状況を判定する周辺環境判定部を備え、
    前記危険地点の前記情報は、前記危険地点を走行する際に前記運転者に推奨される安全確認行動を含み、
    前記注意喚起部は、前記環境状況の判定結果に基づいて前記安全確認行動を修正し、前記視線検知部で検知される前記運転者の前記視線と前記走行状態取得部で取得される前記車両の前記走行状態とを修正後の前記安全確認行動と比較することによって前記運転者の前記認知度を判定する
    ことを特徴とする請求項1に記載の車両用運転支援装置。
  4. 前記車両周辺の前記環境状況は、前記車両周辺に存在する物体の種別と、前記物体の前記車両からの相対位置と、前記運転者の視界の遮蔽度合いとを含む
    ことを特徴とする請求項3に記載の車両用運転支援装置。
  5. 前記車両の位置と、前記運転者の前記視線と、前記車両の前記走行状態と、前記車両周辺の前記環境の情報とを前記車両の外部に設置される外部装置に送信する送信部と、
    前記車両から送信された情報に基づいて前記外部装置で更新された危険地点地図を受信して前記車両に備える前記地図記憶部に格納する受信部と
    を備えることを特徴とする請求項3又は請求項4に記載の車両用運転支援装置。
  6. 前記安全確認行動は、危険地点を走行する際に前記運転者に推奨される前記視線と前記走行状態とを含むことを特徴とする請求項2から請求項5のいずれか1項に記載の車両用運転支援装置。
  7. 前記車両の前記走行状態は、前記車両の速度、加減速、ハンドル操作のうちの少なくとも1つを含むことを特徴とする請求項1から請求項6のいずれか1項に記載の車両用運転支援装置。
  8. 前記危険性に対する前記運転者の前記認知度に基づいて前記運転者の運転技能を評価して評価結果を前記運転者に提示する技能評価部を備えることを特徴とする請求項1から請求項7のいずれか1項に記載の車両用運転支援装置。
  9. 走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、
    車両が前記危険地点に到達しつつあることを判定する危険地点判定部と、
    前記車両の運転者の視線を検知する視線検知部と、
    前記危険地点判定部が到達しつつあると判定した場合には、前記危険地点の前記情報と前記運転者の前記視線とに基づいて前記危険地点の危険性に対する前記運転者の認知度を判定し、前記認知度に基づいて前記運転者に注意喚起を行う注意喚起部と
    を備えることを特徴とする車両用運転支援装置。
  10. 前記危険地点の前記情報は、前記危険地点を走行する際に前記運転者に推奨される安全確認行動を含み、
    前記注意喚起部は、前記視線検知部で検知される前記運転者の前記視線と前記安全確認行動とを比較することによって前記運転者の前記認知度を判定する
    ことを特徴とする請求項9に記載の車両用運転支援装置。
  11. 走行路の危険地点の情報を有する危険地点地図を記憶する地図記憶部と、
    車両が前記危険地点に到達しつつあることを判定する危険地点判定部と、
    前記車両の走行状態を取得する走行状態取得部と、
    前記危険地点判定部が到達しつつあると判定した場合には、前記危険地点の前記情報と前記走行状態とに基づいて前記危険地点の危険性に対する前記運転者の認知度を判定し、前記認知度に基づいて前記運転者に注意喚起を行う注意喚起部と
    を備えることを特徴とする車両用運転支援装置。
  12. 前記危険地点の前記情報は、前記危険地点を走行する際に前記運転者に推奨される安全確認行動を含み、
    前記注意喚起部は、前記走行状態取得部で取得される前記走行状態と前記安全確認行動とを比較することによって前記運転者の前記認知度を判定する
    ことを特徴とする請求項11に記載の車両用運転支援装置。
JP2013250879A 2013-12-04 2013-12-04 車両用運転支援装置 Active JP6241235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013250879A JP6241235B2 (ja) 2013-12-04 2013-12-04 車両用運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250879A JP6241235B2 (ja) 2013-12-04 2013-12-04 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2015108926A true JP2015108926A (ja) 2015-06-11
JP6241235B2 JP6241235B2 (ja) 2017-12-06

Family

ID=53439239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250879A Active JP6241235B2 (ja) 2013-12-04 2013-12-04 車両用運転支援装置

Country Status (1)

Country Link
JP (1) JP6241235B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004127A (ko) * 2015-07-01 2017-01-11 한국전자통신연구원 운전자의 주의 환기 장치 및 그 방법
WO2017018073A1 (ja) * 2015-07-30 2017-02-02 アイシン精機株式会社 運転支援装置
JP2017091265A (ja) * 2015-11-11 2017-05-25 富士通テン株式会社 運転支援装置
JP2017182570A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 周辺リスク表示装置
JP2018032204A (ja) * 2016-08-24 2018-03-01 トヨタ自動車株式会社 運転支援装置
WO2018066711A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
JP2018206248A (ja) * 2017-06-08 2018-12-27 矢崎エナジーシステム株式会社 車両用情報配信方法、情報配信装置および管理用プログラム
JP2018206037A (ja) * 2017-06-02 2018-12-27 アイシン精機株式会社 安全確認装置、及び安全確認方法
JP2019159925A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 運転評価装置、運転評価方法、及びコンピュータプログラム
WO2020022241A1 (ja) * 2018-07-25 2020-01-30 日本精機株式会社 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
WO2020031695A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
CN110945447A (zh) * 2017-07-29 2020-03-31 戴姆勒股份公司 执行车辆自主驾驶过程的方法
CN111247575A (zh) * 2017-11-17 2020-06-05 爱信艾达株式会社 车辆驾驶辅助系统、车辆驾驶辅助方法及车辆驾驶辅助程序
KR20210031128A (ko) * 2019-09-11 2021-03-19 주식회사 만도 운전자 보조 장치 및 그 제어 방법
CN113352989A (zh) * 2021-06-30 2021-09-07 深圳市路卓科技有限公司 智能行车安全辅助方法、产品、设备和介质
WO2022071323A1 (ja) * 2020-09-29 2022-04-07 Arithmer株式会社 プログラム、情報処理方法、情報処理端末及び地図情報提供装置
CN115320626A (zh) * 2022-10-11 2022-11-11 四川省公路规划勘察设计研究院有限公司 基于人车状态的危险感知能力预测方法、装置及电子设备
WO2023013341A1 (ja) * 2021-08-04 2023-02-09 株式会社デンソー 車載システム及び運転診断プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JP2007280263A (ja) * 2006-04-11 2007-10-25 Denso Corp 運転支援装置
JP2007293592A (ja) * 2006-04-25 2007-11-08 Fuji Heavy Ind Ltd 走行支援装置
JP2007334829A (ja) * 2006-06-19 2007-12-27 Toyota Motor Corp 車両用運転補助装置
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置
US20080042814A1 (en) * 2006-08-18 2008-02-21 Motorola, Inc. Mode sensitive vehicle hazard warning apparatuses and method
JP2008065381A (ja) * 2006-09-04 2008-03-21 Toyota Motor Corp 車外ユーザ保護機能付車両
JP2009086788A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両周辺監視装置
JP2011100298A (ja) * 2009-11-06 2011-05-19 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム
JP2013191060A (ja) * 2012-03-14 2013-09-26 Toyota Central R&D Labs Inc 安全確認度提示装置、システム、及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JP2007280263A (ja) * 2006-04-11 2007-10-25 Denso Corp 運転支援装置
JP2007293592A (ja) * 2006-04-25 2007-11-08 Fuji Heavy Ind Ltd 走行支援装置
JP2007334829A (ja) * 2006-06-19 2007-12-27 Toyota Motor Corp 車両用運転補助装置
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置
US20080042814A1 (en) * 2006-08-18 2008-02-21 Motorola, Inc. Mode sensitive vehicle hazard warning apparatuses and method
JP2008065381A (ja) * 2006-09-04 2008-03-21 Toyota Motor Corp 車外ユーザ保護機能付車両
JP2009086788A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両周辺監視装置
JP2011100298A (ja) * 2009-11-06 2011-05-19 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム
JP2013191060A (ja) * 2012-03-14 2013-09-26 Toyota Central R&D Labs Inc 安全確認度提示装置、システム、及びプログラム

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480390B1 (ko) * 2015-07-01 2022-12-26 한국전자통신연구원 운전자의 주의 환기 장치 및 그 방법
KR20170004127A (ko) * 2015-07-01 2017-01-11 한국전자통신연구원 운전자의 주의 환기 장치 및 그 방법
WO2017018073A1 (ja) * 2015-07-30 2017-02-02 アイシン精機株式会社 運転支援装置
JP2017033194A (ja) * 2015-07-30 2017-02-09 アイシン精機株式会社 運転支援装置
JP2017091265A (ja) * 2015-11-11 2017-05-25 富士通テン株式会社 運転支援装置
JP2017182570A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 周辺リスク表示装置
JP2018032204A (ja) * 2016-08-24 2018-03-01 トヨタ自動車株式会社 運転支援装置
JPWO2018066711A1 (ja) * 2016-10-07 2019-06-24 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
CN109791737A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
CN109791738A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
US10733462B2 (en) 2016-10-07 2020-08-04 Aisin Aw Co., Ltd. Travel assistance device and computer program
JPWO2018066710A1 (ja) * 2016-10-07 2019-06-24 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US20190197323A1 (en) * 2016-10-07 2019-06-27 Aisin Aw Co., Ltd. Travel assistance device and computer program
WO2018066710A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
CN109791738B (zh) * 2016-10-07 2021-12-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
US10878256B2 (en) 2016-10-07 2020-12-29 Aisin Aw Co., Ltd. Travel assistance device and computer program
WO2018066711A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
JP2018206037A (ja) * 2017-06-02 2018-12-27 アイシン精機株式会社 安全確認装置、及び安全確認方法
JP2018206248A (ja) * 2017-06-08 2018-12-27 矢崎エナジーシステム株式会社 車両用情報配信方法、情報配信装置および管理用プログラム
CN110945447A (zh) * 2017-07-29 2020-03-31 戴姆勒股份公司 执行车辆自主驾驶过程的方法
CN110945447B (zh) * 2017-07-29 2023-04-18 梅赛德斯-奔驰集团股份公司 执行车辆自主驾驶过程的方法
CN111247575B (zh) * 2017-11-17 2022-11-22 株式会社爱信 车辆驾驶辅助系统、方法及计算机可读取的存储介质
CN111247575A (zh) * 2017-11-17 2020-06-05 爱信艾达株式会社 车辆驾驶辅助系统、车辆驾驶辅助方法及车辆驾驶辅助程序
JP7235438B2 (ja) 2018-03-14 2023-03-08 オムロン株式会社 運転評価装置、運転評価方法、及びコンピュータプログラム
JP2019159925A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 運転評価装置、運転評価方法、及びコンピュータプログラム
WO2020022241A1 (ja) * 2018-07-25 2020-01-30 日本精機株式会社 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
JPWO2020031695A1 (ja) * 2018-08-09 2021-08-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
US11590985B2 (en) 2018-08-09 2023-02-28 Sony Semiconductor Solutions Corporation Information processing device, moving body, information processing method, and program
WO2020031695A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
JP7382327B2 (ja) 2018-08-09 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム
KR102658769B1 (ko) * 2019-09-11 2024-04-18 주식회사 에이치엘클레무브 운전자 보조 장치 및 그 제어 방법
KR20210031128A (ko) * 2019-09-11 2021-03-19 주식회사 만도 운전자 보조 장치 및 그 제어 방법
WO2022071323A1 (ja) * 2020-09-29 2022-04-07 Arithmer株式会社 プログラム、情報処理方法、情報処理端末及び地図情報提供装置
CN113352989B (zh) * 2021-06-30 2023-12-22 深圳市路卓科技有限公司 智能行车安全辅助方法、产品、设备和介质
CN113352989A (zh) * 2021-06-30 2021-09-07 深圳市路卓科技有限公司 智能行车安全辅助方法、产品、设备和介质
WO2023013341A1 (ja) * 2021-08-04 2023-02-09 株式会社デンソー 車載システム及び運転診断プログラム
CN115320626A (zh) * 2022-10-11 2022-11-11 四川省公路规划勘察设计研究院有限公司 基于人车状态的危险感知能力预测方法、装置及电子设备

Also Published As

Publication number Publication date
JP6241235B2 (ja) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6241235B2 (ja) 車両用運転支援装置
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
US10435035B2 (en) Screen reduction system for autonomous vehicles
US10198950B2 (en) Parking support method and parking support device
CN108351958B (zh) 停车位的框线的检测方法及装置
US10009580B2 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
JP5360076B2 (ja) 障害物報知装置
JP2019034664A (ja) 制御装置および制御システム
US10232772B2 (en) Driver assistance system
CN112771592B (zh) 用于警告机动车的驾驶员的方法、控制设备及机动车
US10632912B2 (en) Alarm device
WO2019060891A9 (en) Augmented reality dsrc data visualization
JP2013120574A (ja) 車両用歩行者報知装置
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
EP2797027A1 (en) A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver
JP6326990B2 (ja) 車両用運転支援装置
JP7043795B2 (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP2009146141A (ja) 走行支援装置
US20230150545A1 (en) Vehicle control device
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム
JP7268314B2 (ja) 表示装置
JP6198871B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体
JP2016194866A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171023

R151 Written notification of patent or utility model registration

Ref document number: 6241235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250