JP2007272834A - ドライバモデル作成装置、運転支援装置、及び運転行動判定装置 - Google Patents

ドライバモデル作成装置、運転支援装置、及び運転行動判定装置 Download PDF

Info

Publication number
JP2007272834A
JP2007272834A JP2006101053A JP2006101053A JP2007272834A JP 2007272834 A JP2007272834 A JP 2007272834A JP 2006101053 A JP2006101053 A JP 2006101053A JP 2006101053 A JP2006101053 A JP 2006101053A JP 2007272834 A JP2007272834 A JP 2007272834A
Authority
JP
Japan
Prior art keywords
driver
driving
driver model
state
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006101053A
Other languages
English (en)
Other versions
JP4791874B2 (ja
Inventor
Kazuaki Fujii
一彰 藤井
Yoichi Nomoto
洋一 野本
Seiichi Suzuki
誠一 鈴木
Kazuya Takeda
一哉 武田
Chiyomi Miyajima
千代美 宮島
Akishi Ozawa
晃史 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Equos Research Co Ltd
Original Assignee
Nagoya University NUC
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC, Equos Research Co Ltd filed Critical Nagoya University NUC
Priority to JP2006101053A priority Critical patent/JP4791874B2/ja
Priority to CN2006800499780A priority patent/CN101389521B/zh
Priority to EP06843423A priority patent/EP1997705B1/en
Priority to PCT/JP2006/326041 priority patent/WO2007077867A1/ja
Priority to US12/087,130 priority patent/US8140241B2/en
Publication of JP2007272834A publication Critical patent/JP2007272834A/ja
Application granted granted Critical
Publication of JP4791874B2 publication Critical patent/JP4791874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance

Abstract

【課題】正常状態における運転状態の評価基準としてより精度の高いドライバモデルを作成する。
【解決手段】ドライバの生体情報を検出することで、ドライバの平常状態か否かを認識する。そしてドライバの運転中に運転状態のデータ(自車両情報、例えば、アクセル、ブレーキ、ステアリングの操作量、車速、車間距離、加速度など)を収集し、その運転状態データのうち、ドライバが平常状態で運転している部分を抽出してドライバモデルを作成する。これにより、ドライバに意識させることなく、正常時のドライバモデルを自動的に作成することができる。また、ドライバの生体情報を元に正常状態で運転している場合のみを正常時の運転行動としてドライバモデルを作成するので、より精度の高いニュートラルなドライバモデルとすることができる。
【選択図】図10

Description

本発明は、ドライバモデル作成装置及び運転支援装置に係り、例えば、運転状態の評価基準となるドライバモデルの作成装置、及びドライバモデルを使用した運転状態の評価と運転支援を行う装置に関する。
車両運転者(ドライバ)の運転操作のモデル化、及びその応用について種々の提案がされている。
例えば、特許文献1記載技術では、ファジールールやニューラルネットワークを使用したドライバモデルにより、交差点道路の危険度を評価する技術について提案されている。
特開2002−140786
このようなドライバモデルを使用することで、ドライバモデルから推定される運転操作等の運転状態を正常な運転状態として推定し、これと現在の運転状態とを比較することで、現在の運転に対する評価を行うことができる。
しかし、ドライバモデルから推定される運転状態は、必ずしもその運転者にとっての正常な運転状態であるとは限らなかった。
また、特定の運転者が実際に車両を運転することで運転状態のデータを収集し、これに基づいて予めドライバモデルを作成したとしても、必ずしも正常状態での運転が行われているとは限らなかった。
そこで本発明は、運転状態の評価基準となる、より精度の高いドライバモデルを作成することを第1の目的とする。
また、該ドライバモデルを使用した、より精度の高い運転状態の評価と運転支援を行う運転支援装置を提供することを第2の目的とする。
また、ドライバの運転行動に対して、より精度の高い運転状態の評価を行うことを第3の目的とする。
(1)請求項1に記載の発明では、運転者の状態を判断する状態判断手段と、車両走行における運転操作情報を取得する運転操作情報取得手段と、前記取得した運転操作情報に基づいて運転者の状態に応じた運転操作のドライバモデルを作成するドライバモデル作成手段と、をドライバモデル作成装置に具備させて前記目的を達成する。
(2)請求項2に記載した発明では、請求項1に記載のドライバモデル作成装置において、前記状態判断手段は、少なくとも運転者の状態が正常か否かを判断する、ことを特徴とする。
(3)請求項3に記載した発明では、請求項1又は請求項2に記載のドライバモデル作成装置において、特定の走行環境を検出する走行環境取得手段と、走行環境毎に前記運転操作情報を蓄積し、前記ドライバモデル作成手段は、前記走行環境毎にドライバモデルを作成する、ことを特徴とする。
(4)請求項4に記載した発明では、請求項1、請求項2又は請求項3に記載のドライバモデル作成装置において、運転者の生体情報を取得する生体情報取得手段を備え、前記状態判断手段は、前記取得した生体情報に基づいて運転者の状態を判断する、ことを特徴とする。
(5)請求項5に記載した発明では、正常状態における運転操作のドライバモデルを取得するドライバモデル取得手段と、前記取得したドライバモデルを使用し、正常状態で通常運転される運転操作を推定する運転操作推定手段と、前記推定した運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定する運転行動判定手段と、前記判定した運転行動に応じた運転支援を行う運転支援手段と、を運転支援装置に具備させて前記第2の目的を達成する。
(6)請求項6に記載した発明では、請求項5に記載の運転支援装置において、前記ドライバモデル取得手段は、走行環境毎に作成された正常状態における運転操作のドライバモデルから、現在の走行環境に対応するドライバモデルを取得する、ことを特徴とする。
(7)請求項7に記載した発明では、請求項5又は請求項6に記載の運転支援装置において、運転者の生体情報から運転者の状態を判定する運転者状態判定手段を備え、前記運転支援手段は、前記判定した運転行動と前記判定した運転者状態とに応じた運転支援を行うことを特徴とする。
(8)請求項8に記載した発明では、請求項5、請求項6、又は請求項7に記載の運転支援装置において、運転支援手段は、判定内容に応じて、音声又は画像による注意喚起、情報提供、振動、休憩所の案内のうちの少なくとも1以上の運転支援を行う、ことを特徴とする。
(9)請求項9に記載した発明では、正常状態における運転操作のドライバモデルを取得するドライバモデル取得手段と、前記取得したドライバモデルを使用し、正常状態で通常運転される運転操作を推定する運転操作推定手段と、前記推定した運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定する運転行動判定手段と、を運転行動判定装置に具備させることで第3の目的を達成する。
請求項1から請求項4記載の本発明では、運転者の状態に応じた運転操作のドライバモデル作成するので、より精度の高いドライバモデルを得ることができる。
請求項5から請求項8記載の本発明では、正常状態における運転操作のドライバモデルを使用して推定した正常状態で通常運転される運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定し、判定した運転行動に応じた運転支援を行うので、より精度の高い運転状態の評価と運転支援を行うことができる。
請求項9記載の発明では、正常状態における運転操作のドライバモデルを使用し推定した正常状態で通常運転される運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定するので、より精度の高い運転状態の評価を行うことができる。
以下、本発明のドライバモデル作成装置及び運転支援装置における好適な実施の形態について、図1から図23を参照して詳細に説明する。
(1)実施形態の概要
本実施形態では、ドライバの生体情報を検出することで、ドライバの平常状態か否かをを認識する。そしてドライバの運転中に運転状態のデータ(自車両情報、例えば、アクセル、ブレーキ、ステアリングの操作量、車速、車間距離、加速度など)を収集し、その運転状態データのうち、ドライバが平常状態で運転している部分を抽出してドライバモデルを作成する。
これにより、ドライバに意識させることなく、正常時のドライバモデルを自動的に作成することができる。
また、ドライバの生体情報を元に正常状態で運転している場合のみを正常時の運転行動としてドライバモデルを作成するので、より精度の高いニュートラルなドライバモデルとすることができる。
本実施形態では、例えば、片道3車線の国道で、信号が青の交差点を右折専用車線から右折する場合で、対向車があり、横断歩道に歩行者がいる場合、というように、走行中における自車両周辺環境の各場面(シチュエーション)毎にドライバモデルが作成される。
また、作成したドライバモデルから推定される正常時の運転行動と、現在のドライバの運転行動とをリアルタイムに比較することで、現在のドライバの運転行動が「いつもどおり」であるか、又は逸脱しているかを監視する。
「いつもの」運転と現在の運転の比較を行う際の指標として、例えばドライバの「反応速度」と「ふらつき」を用いる。
更に、本実施形態では、ドライバモデルに基づく運転行動の変化を評価するだけでなく、生体情報の変化も加味することで、ドライバの状態を示す情報を複合的に判断し、より高精度にドライバの疲労や注意力の低下を検知する。
その結果、ドライバ本来の運転行動から逸脱があった場合、これについて注意喚起、警告や情報提示を行うことで、その人に合った安全運転支援を行うことができる。
また、明らかな疲労や注意力の低下を発現する前の前兆段階でのドライバ状態の検知を可能とし、予め疲労がピークに達する前に休憩を促すなどの高度な案内が可能となる。
本実施形態では、ドライバモデルにGMM(ガウス混合モデル)を用いることで、各ドライバ毎のドライバモデルを簡便に生成することができ、さらに、条件付き確率を最大化する計算により、運転操作行動を容易に推定し出力する。
すなわち、本実施形態のドライバモデル作成装置、運転支援装置、及び運転行動判定装置では、アクセル操作量、車速、ブレーキ操作量、ステアリングの操作量、車間距離、加速度等の複数種類の特徴量からなる走行データを学習データとしてEM(Expectation Maximization)アルゴリズムにより算出したガウス混合モデルをドライバモデルとして採用する。
このガウス混合モデルは、EMアルゴリズムにより、同時確率密度分布を計算することで得られる同時確率密度関数のパラメータで構成され、必要に応じて各ドライバ毎、更にドライバのアクセル操作用、ブレーキ操作用、車間距離維持範囲用等の推定する特徴量毎に生成される。
そして、ドライバモデルに使用した複数の特徴量のうちの特定の特徴量xを除く走行データY(=y1、y2、…)を測定し、この走行データYに対するドライバモデルにおける最大事後確率を算出することで、特徴量xを推定する。
例えば、車両周辺の走行環境(シチュエーション)と同一のシチュエーションにおけるドライバモデルを用い、現在の自車状態をドライバモデルに入力し、それ以降の運転状態(例えば、特徴量x=アクセル操作量)の時間変化を推定し、実際の運転状態と比較することで、操作の遅れや操作のふらつき等の有無が判定される。
(2)実施形態の詳細
図1は、ドライバモデル作成装置を適用した運転支援装置の構成を表したものである。
運転支援装置は、ECU(電子制御装置)10、自車両情報取得部11、自車両周辺環境情報取得部12、生体情報取得部13、情報提供部14、ドライバモデル処理部15、データ記憶部16を備えている。
なお、図1により説明する運転支援装置の構成については、その全てが必要ということではなく、本実施形態にけるドライバモデルの作成及び運転支援を行う為に使用可能な各部や装置について説明するものであり、採用する運転支援装置の機能等に応じて適宜選択して運転支援装置を構成することが可能であり、また、同様な機能を有する他の機器、装置を追加使用することが可能である。
ECU10は、CPU、ROM、RAM、インターフェイスの各部を備えたコンピュータシステムで構成されている。
ECU10は、自車両情報取得部11の取得情報に基づくドライバ運転行動の監視、生体情報取得部13の取得情報に基づくドライバ生体情報の監視、運転支援としてのドライバアシスト内容の情報提供部14への指示、を行うようになっている。ECU10は、また、ドライバモデルの作成、出力に必要なデータをドライバモデル処理部15に供給するようになっている。
自車両情報取得部11は、ハンドル舵角センサ111、アクセルペダルセンサ112、ブレーキペダルセンサ113、速度計114、加速度センサ115、エレキ動作状況取得部116、タイマー117、その他のセンサを備えている。
図2は、自車両情報取得部11で取得する、運転操作情報としての自車両情報を例示したものである。
図2に示されるように、ハンドル舵角センサ111はハンドル操作量(角度)、アクセルペダルセンサ112はアクセル操作量、ブレーキペダルセンサ113はブレーキ操作量を、速度計114は車速を検出する。
加速度センサ115は、ヨー軸加速度、ピッチ軸加速度、ロール軸加速度を検出する。
エレキ動作状況取得部116は、ウィンカー動作状況、ライト動作状況、ワイパー動作状況を検出する。
タイマー117は、運転時刻、運転時間等の各種時間を計測する。
自車両周辺環境情報取得部12は、車両周辺情報取得部121、道路情報取得部122、及びネットワーク部123を備えている。
車両周辺情報取得部121は、赤外線センサ、ミリ波センサ、超音波センサ、画像認識装置、車間距離センサ等の各種センサを備えている。画像認識装置は、画像入力装置で撮像された車外画像の画像処理を行い、車両周辺の障害物や、歩行者、車両等の存在対象を認識する。
図3は、車両周辺情報取得部121で取得する車両周辺環境情報を例示したものである。
この図3に示されるように、車両周辺情報取得部121により、車両、歩行者、障害物、その他各種情報が取得される。
具体的に取得される情報としては、例えば、検出した周辺に存在する車両の種類(乗用車、バイク、自転車等)、車間距離、相対速度、属性(対向車、並走車、直行(左、右)車、等が各車両毎に取得される。
同様に、歩行者、障害物に対しても、その各々に対する情報が取得される。
道路情報取得部122は、車両の現在位置を検出するGPS装置や、検出した現在位置に対応する道路情報や信号の有無等の周辺情報を取得するための地図情報を備えている。
また、道路情報取得部122は、標識や道路環境を認識する画像認識装置を備えているが、この画像認識装置は車両周辺情報取得部121の画像認識と共有されている。
図4は、道路情報取得部122で取得する車両周辺環境情報を例示したものである。
道路情報取得部122では図4に示されるように、道路種別、道路形状、道路幅、自車位置、路面状況、道の明るさ、信号の有無と状態、道路属性(交通規則)、その他の各種情報が取得される。
ネットワーク部123は、VICS等の交通情報網や気象情報センタと接続して、交通情報や気象情報を取得する。
図5は、ネットワーク部123で取得する車両周辺環境情報を例示したものである。
図5に示されるように、VICS等で取得する渋滞情報には、渋滞の距離、混雑の距離、事故の有無、通行止めの有無、チェーン規制の有無等がある。
また、気象情報センタで取得する気象情報には、晴れ、曇り、雨等の天候情報、降水確率、気温、その他の情報がある。
自車両周辺環境情報取得部12で取得した自車両周辺環境情報は、上記した自車両情報取得部11で取得した自車両情報の一部(例えば、ハンドル操作量に基づく、直進、右折、左折等の情報)と共に、後述するシチュエーションテーブル163に従って、シチュエーションの設定に使用される。
生体情報取得部13は、車両の運転中におけるドライバが正常状態か異常状態かを判断するための生体情報を取得し、そのためのセンサとして、心電計、血圧計、心拍センサ、発汗センサその他の各種センサを備えている。
生体情報取得部13は、車両が走行を開始すると、所定時間間隔で心拍数と発汗量を検出してECU10に供給するようになっている。
心拍センサは、例えば、ステアリングに配置された電極により、運転中の運転者の手から心拍信号を採取することで心拍数を検出するようになっている。なお、心拍センサは、専用のセンサを手首等の運転者の身体に配置するようにしてもよい。
発汗センサは、ステアリングに配置され、発汗状態によって流れる電流値の変化から発汗状態を検出する。
図6は、生体情報取得部13で取得する生体情報を例示したものである。
生体情報取得部13では、心電位、R−R間隔、心拍、呼吸数、体温、血圧、皮膚電位、失水分量(発汗量)、筋電位、脳波電位等が取得対象となる。
情報提供部14は、ドライバの運転状態に応じた運転操作アシストや警告を行うための運転操作アシスト部、音声出力部、画面出力部を備えている。
図7は、情報提供部14で提供する情報、アシストの内容を例示したものである。
この図7に示されるように、運転操作アシスト部は、ドライバによる運転操作を補正するアシストとして、ハンドル操作アシスト、アクセル操作アシスト、ブレーキ操作アシスト等を行うため、各操作部のトルク値の出力を制御する。例えば、運転者によるハンドル操作にふらつきがある場合にはステアリングが重くなるようにトルク操作をし、ブレーキの踏み力が弱い場合にブレーキの踏み込み量に対する出力が大きくなるようにアシストする。
また、運転者の状態に応じて、音声出力部は警告音声を出力し、画面出力部は警告画面を表示する。
ドライバモデル処理部15は、ドライバモデル作成部151、ドライバモデル記憶部152、ドライバモデル出力部153を備えている。
ドライバモデル作成部151は、ドライバモデル作成装置として機能し、自車両情報取得部11で取得した自車両情報のうち、運転者の状態が正常状態である場合の自車両情報を蓄積し、該正常状態の自車両情報からドライバモデルを作成する。
正常状態の自車両情報は、該情報を取得した際に自車両周辺環境情報取得部12で取得した自車両周辺環境情報から決定されるシチュエーション毎に蓄積され、各シチュエーション毎にドライバモデルが作成される。
ドライバモデル記憶部152は、ドライバモデル作成部151で作成されたドライバモデルが各シチュエーション毎に保存される。
ドライバモデル作成部151では、各シチュエーションに対する自車両情報が所定量蓄積されると、そのシチュエーションのドライバモデルを作成し、ドライバモデル記憶部152に記憶する。そして、新たな自車両情報が取得される毎に、対応するシチュエーションのドライバモデルがそれ以前に蓄積済みの自車両情報と併せて新たにドライバモデルを作成し、ドライバモデルを更新する。なお、ドライバモデルの更新は、対応するシチュエーションの新たな自車両情報を取得する毎ではなく、所定量の追加蓄積がある毎に作成、更新を行うようにしてもよい。
図8はドライバモデル記憶部152の記憶内容を概念的に表したものである。
この図8に示されるように、ドライバモデルは、シチュエーション毎に分類されている。記憶される各ドライバモデルa、b、c、…は、対応するシチュエーションデータ(シチュエーションa、b、c、…)に紐付けされており、システムがドライバモデルを引用する為のタグとして機能する。
こうすることでドライバモデルの検索時に、「ドライバがあるレベルでの疲労具合」のケースのドライバモデルを一括取得しておくなどのキャッシュ操作が可能になる。
ドライバモデル出力部153は、特定のシチュエーションnに対応するドライバモデルnに基づいて、正常状態におけるドライバの操作量、すなわち、シチュエーションnに対するいつもの(正常時の)運転操作量を推定し、出力する。
この推定運転操作量と、現在の自車両情報とを比較することで、後述する運転行動の状態(反応遅れ、ふらつき等)を判断するための基礎データである、運転行動逸脱データが所定時間間隔毎に得られる。
なお、ドライバモデル処理部15におけるドライバモデル作成部151とドライバモデル出力部153の両機能をECU10で実現し、ドライバモデル記憶部152をデータ記憶部16に保存するようにしてもよい。
データ記憶部16には、本実施形態によるドライバモデル作成処理、及び運転操作アシスト処理に必要な各種データやテーブルが格納される。
データ記憶部16は、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、その他各種方法でデータやコンピュータプログラムが記録される記録媒体が含まれる。
記録媒体には、記録内容に応じて異なる媒体を使用するようにしてもよい。
データ記憶部16には、運転行動逸脱データ161、自車両情報162が保存され、また、シチュエーションテーブル163が格納されている。
運転行動逸脱データ161は、現在走行中のシチュエーションnに対してドライバモデルnから推定される正常時の運転操作量と、実際の自車両情報に基づく操作量との差分データであり、現在走行中のシチュエーションnに対して所定時間間隔毎に算出され、保存される。
自車両情報162は、正常状態で走行した際の自車両情報が各シチュエーション毎に蓄積される。この自車両情報が所定量蓄積された次点で、そのシチュエーションに対するドライバモデルが作成される。ドライバモデルは、一度作成された以後は、対応するシチュエーションの自車両情報を取得する毎に更新される。
シチュエーションテーブル163は、取得した自車両情報と自車両周辺環境情報から、対応するシチュエーションa、b、c、…を決定するためのテーブルである。
図9は、シチュエーションデータの内容を概念的に表したものである。
この図9に示されるように、ドライバモデルa、b、c、…に対応する各シチュエーションa、b、c、…毎に、そのシチュエーションとなるためのシチュエーションフラグが設定されている。
シチュエーションフラグは、自車両情報と自車両周辺環境情報における各小項目毎に1つのデータが選択されている。
次に、以上のように構成された運転支援装置による各種処理動作について説明する。
図10は、ドライバの「普段の運転行動」(正常時)のドライバモデルを作成するドライバモデル作成処理の処理動作を表したフローチャートである。
本実施形態において、ドライバモデルの作成は、車両走行中において実行されるが、ドライバの生体情報、自車両情報、自車両周辺環境情報の収集と蓄積を走行中に行い、シチュエーションフラグの設定及びドライバモデルの作成については、車両走行中以外に行うようにしてもよい。
ドライバモデル作成部151は、車両走行中において生体情報取得部13から各時点における生体情報を収集、蓄積する(ステップ10)。なお、生体情報等の各種情報はECU10を介して収集する(以下同じ)。
次いでドライバモデル作成部151は、収集、蓄積した生体情報からその変化状態を監視することで、現在のドライバの状態が正常状態か否かを判断する(ステップ11)。
図11〜図13は、ドライバが正常状態か否かを判断する方法について概念的に表したものである。
図11は、ドライバの心拍数の変動から動揺や焦りに起因する精神的(メンタル)な変化を監視する状態について表したものである。
図11(a)に示されるように、所定の上下の閾値h1とh2間に心拍の測定値が入っている場合には正常な状態(安定している状態)と判断する。
一方、図11(b)に示されるように、心拍の測定値が下側閾値h1以下、又は上側閾値h2以上を検出した場合には動揺や焦りに起因した異常な状態(不安定な状態)と判断する。
なお、本実施形態では図11(b)に示されるように、所定時間内に上下閾値h1、h2間の両側から外れた場合に異常状態と判断するが、いずれか一方の閾値を所定時間超えている場合も異常と判断するようにしてもよい。
図12は、心電図のローレンツプロット解析からメンタルな変化を監視する状態について表したものである。
ローレンツプロット解析では、任意の時刻nにおける心電位のR−R間隔をRRnとし、次の時刻n+1における心電位のR−R間隔をRRn+1とした場合に、横軸をRRnの値、縦軸をRRn+1の値に取ったグラフが作成される。ここで、R−R間隔は、心電位のピーク値から次のピーク値までの時間間隔で、心拍の間隔が該当する。
このローレンツプロット解析によると、極度の緊張状態である場合には、図12(a)に示されるように、心拍間隔が同一間隔となり、プロット点の集合はy=x線の一カ所に集中する。
また適度な緊張状態(適度な注意力がある状態)では、心拍間隔が適度のゆれをもって観測され、図12(b)に示されるように、プロット点の集合はy=x線上に細長くプロットされる。
また、注意力が散漫な状態では、心拍間隔の揺れが大きくなり、図12(c)に示されるように、プロット点の集合もy=x線上で原点方向及びこれと直角方向にも膨らむような集合が観測される。
また、眠気がある状態では、図12(d)に示されるように、プロット点の集合は、心拍間隔はy=x線方向のプロット領域が広がるが、原点側の幅が狭く原点から離れるに従って広くなる傾向がある。
このローレンツプロット解析により、正常な状態(適度な緊張状態)と、正常でない状態(極度の緊張状態、注意力が散漫な状態、眠気がある状態)が判断される。
図13は、取得した生体情報から、交感神経系優位の状態か、副交感神経系優位の状態かによって正常状態か否かを判断する場合について表したものである。
この図13に示されるように、例えば、ドライバの撮像画像から瞳孔の大きさを測定し、その大きさが散大である場合には、交換神経系が最も優位であり極度の緊張状態で注意力が低い可能性があると判断される。逆に、瞳孔の大きさが収縮状態である場合には、副交感神経系が優位な弛緩状態であり、収縮の程度に応じて、注意力が低い、注意力が極めて低い可能性があると判断される。
一方、交換神経系が適度に優位である瞳孔サイズの場合に、適度の緊張状態で注意力が高い正常状態と判断される。
瞳孔のサイズを含め、図13に示した作用項目(心拍数、心臓収縮力等)の各測定項目毎に、極度の緊張、適度の緊張、弛緩状態(注意力が低い)、弛緩状態(注意力が極めて低い)の4状態に区分する為の値が予め決められている。
なお、ドライバモデルの作成においては、正常状態か正常状態でないかについて判断されるが、後述するドライバ生体情報監視処理(図20参照)におけるドライバ生体情報ケース判定(ステップ42)では、極度の緊張状態、適度の緊張状態、注意力が散漫な状態、弛緩状態、眠気がある状態の5つの状態が、図11〜図13で説明した方法に基づいて判定される。
以上のように、生体情報からドライバが正常状態か否かを判断し、正常であれば(ステップ11;Y)、ドライバモデル作成部151は、正常ドライバモデル作成用の情報として、正常時の自車両情報と自車両周辺環境情報を、自車両情報取得部11と自車両周辺環境情報取得部12から収集する(ステップ12)。
図14は、交差点を右折する際に自車両情報取得部11と自車両周辺環境情報取得部12で取得される自車両情報と自車両周辺環境情報について例示したものである。
この図14に示されるような交差点を右折する場合には、取得される情報として、道路種別、道路状況、自車速度、自車位置、進行方向、自車側の信号の状態(赤、青、黄等)、前方車両の有無、前方車両の種類、前方車両相対位置、前方車両相対速度、対向車の有無、対向車車種、対向車相対位置、対向車相対速度、歩行者の有無、歩行者の種類、歩行者の位置、歩行者の進行方向、天気、等が取得される。
なお、本実施形態ではこれらの情報について取得し後述のシチュエーションの設定に使用されるが、必ずしもその全てを使用する必要はなく、いずれか一部の情報に基づくシチュエーションの設定を行ってもよく、逆に、より詳細な情報によるシチュエーションの設定を行うようにしてもよい。
ドライバモデル作成部151は、収集した自車両情報と自車両周辺環境情報から、シチュエーションテーブル163(図9参照)に従ってシチュエーションフラグを設定し、収集した正常時の自車両情報を、該当するシチュエーションの自車両情報162に蓄積する(ステップ13)。
次いで、ドライバモデル作成部151は、収集及び蓄積した正常時の自車両情報162に従って、ステップ13で設定したシチュエーションに対応する正常時用の正常ドライバモデルを作成し(ステップ14)、メインルーチンにリターンする。
一方、生体情報からドライバが正常状態か否かを判断し、正常でなければ(ステップ11;N)、ドライバモデル作成部151は、正常時と同様に、異常ドライバモデル作成用の情報として、異常時の自車両情報と自車両周辺環境情報を、自車両情報取得部11と自車両周辺環境情報取得部12から収集する(ステップ15)。
ドライバモデル作成部151は、収集した自車両情報と自車両周辺環境情報から、シチュエーションテーブル163(図9参照)に従ってシチュエーションフラグを設定し、収集した異常時の自車両情報を、該当するシチュエーションの自車両情報162に蓄積する(ステップ16)。
次いで、ドライバモデル作成部151は、収集及び蓄積した異常時の自車両情報162に従って、ステップ16で設定したシチュエーションに対応する異常時用の異常ドライバモデルを作成し(ステップ17)、メインルーチンにリターンする。
なお、本実施形態では生体情報が正常か異常かに応じて正常ドライバモデルと異常ドライバモデルを作成する場合について説明したが、例えば、異常状態として、生体情報が所定の上下の閾値よりも高い、低いのように、生体情報の状態に応じたドライバモデルをそれぞれ作成するようにしてもよい。
ここで、ドライバモデル作成部151によるドライバモデルの作成について説明する。
本実施形態では、ドライバモデルをGMMにより作成する。
図15は、本実施形態における運転支援装置(ドライバモデル作成装置)による、正常時のドライバモデルの作成と、作成したドライバモデルに基づく運転操作量の推定に関する原理を表したものである。
なお、ドライバモデルの作成と運転行動の推定については、特徴量として車速V、前方車両との車間距離Fと、これらの1次の動的特徴量ΔV、ΔF(1階微分値)、2次の動的特徴量ΔΔV、ΔΔF(2階微分値)、及びアクセル操作のドライバモデルとしてアクセル操作量Gと1次の動的特徴量ΔG、ブレーキ操作のドライバモデルとしてブレーキ操作量Bと1次の動的特徴量ΔBを使用する場合について説明するが、特徴量については、自車両情報取得部11で取得した全ての情報のうちの他の情報の組合せを使用して作成するようにしてもよい。
本実施形態の運転支援装置では、アクセル操作量、車速、車間距離等から構成される各シチュエーション毎の走行データ1(自車両情報)を学習データとして、各シチュエーションに対応するGMMによるドライバモデル2をEMアルゴリズムにより予め作成する。
なお、ドライバモデルは各ドライバ毎に作成するようにしてもよい。
そして、ドライバの運転行動(例えば、アクセル操作量)を推定する場合、対応するドライバモデル2を使用し、時刻tにおける走行データ1の測定値(V、F、ΔV、…)3に対する最大事後確率4を計算することで、該ドライバが操作するであろうアクセル操作量5を推定するようになっている。
このようにして推定した各操作量を走行データとして次の操作量を推定し、各時刻毎の実測値(自車両情報)と比較することで運転行動逸脱データが算出される。
この例の運転支援装置では、ドライバは現在の車速、車間距離、及びそれらの1次、2次の動的特徴量に基づいてアクセルペダルとブレーキペダルの操作量を決めているとの仮定に基づいている。
以下、ドライバモデルの作成と運転行動の推定の原理について詳細に説明する。
(A)ドライバモデルの学習
GMMを用いたドライバモデル2では、学習データを必要とし、特徴量として走行データ1(自車両情報)を使用した。
走行データ1は、所定の測定間隔s(sは任意であるが本実施形態ではs=0.1秒)毎の時系列データを使用する。
走行データ1は、ドライバモデル作成の対象となるドライバが実際に運転したデータであり、実際にドライバが運転している際にリアルタイムで測定、収集した走行データ1を使用する。また、予め測定し蓄積しておいた走行データ1を使用することで、オフラインの学習を行うようにしてもよい。
本実施形態の運転支援装置では、各ドライバごとにGMMを作成することで、各ドライバの特性に合ったモデル化が可能となる。
ドライバモデルの特徴量(走行データ1)としては、上述したように、車速、車間距離、及びそれらの1次、2次の動的特徴量とアクセルペダル操作量、及びアクセルペダル操作量の1次の動的特徴量が使用される。
このように、特徴量に動的特徴量を加えてモデル化することで、前後の時間関係を考慮することになり、滑らかで自然性の高い推定結果を得ることができる。
なお、説明では、1次及び2次の動的特徴量を使用した場合について説明するが、1次の動的特徴量だけ使用するようにしてもよい。
同様に、ブレーキペダルの操作量、その他の各種操作量に関するドライバモデル化も行われる。
なお、アクセルペダル用、ブレーキペダル用等の複数のドライバモデルを作成する場合には、アクセルペダル操作量、ブレーキペダル操作量等以外のデータ(V、F、ΔV、ΔF、…)は同一のデータを使用してもよい。
本実施形態において、走行データ1のうち動的特徴量についてはアクセル操作量、車速、車間距離の測定値から計算により求めているが、実際に測定するようにしてもよい。
そして、本実施形態では、走行データ1に対する混合ガウス分布(GMM)を計算することで、ドライバモデル2を作成する。
すなわち、走行データ1に対する同時確率密度分布をEMアルゴリズムを使用して算出し、算出した同時確率密度関数のパラメータ={λi,→μi,Σi|i=1,2,3,…M}をGMMによるドライバモデル2としてデータベース等の記憶手段に記憶しておく。
ここで、λiは重みを、→μiは平均ベクトル群を、Σiは分散共分散行列群を、Mは混合数を表す。また、→μiのように前に→を表示したものはベクトルを意味する。
このように、本実施形態のGMMでは特徴次元間の相関も考慮して、全共分散行列を用いている。
なお、EMアルゴリズムとしては、例えば、中川聖一著、「確率モデルによる音声認識」(電子情報通信学会 1988、P51〜P54)に従って、混合ガウス分布のEMアルゴリズムによる推定を行う。
(B)運転行動(アクセルペダル操作量、ブレーキペダル操作量等の各種操作量)の推定
ドライバは現在の車速、車間距離、及びそれらの1次、2次の動的特徴量に基づいてアクセルペダルとブレーキペダルの操作量を決めているという仮定に基づき、ペダルの操作量等の運動行動を推定する。
すなわち、特徴量の同時分布から、与えられた条件下において最も確率の高いアクセルペダル操作量等の運動行動を推定する。
これは、条件付確率の最大化の問題であり、最大事後確率の計算による。
例えば、アクセルペダル操作量∧G(t)と、ブレーキペダル操作量∧B(t)は、y(t)が与えられた条件で条件付き確率を最大にする値x(t)の推定であり、最大事後確率として、それぞれ次の式(1)、(2)で計算される。
∧G(t)=arg max p(G|ΔG,V(t),F(t),ΔV(t),ΔF(t),ΔΔV(t),ΔΔF(t)) 式(1)
∧B(t)=arg max p(B|ΔB,V(t),F(t),ΔV(t),ΔF(t),ΔΔV(t),ΔΔF(t)) 式(2)
ここで、∧G(t)のように、前に∧を表示したものは推定値であることを意味する。
また、
p(G|ΔG,V,F,ΔV,ΔF,ΔΔV,ΔΔF)
={p(G,V,F,ΔV,ΔF,ΔΔV,ΔΔF,ΔG)}/{∫∫…∫p(G,V,F,ΔV,ΔF,ΔΔV,ΔΔF,ΔG)dΔG,dV,dF,dΔV,dΔF,dΔΔV,dΔΔF}
p(B|ΔB,V,F,ΔV,ΔF,ΔΔV,ΔΔF)
={p(B,V,F,ΔV,ΔF,ΔΔV,ΔΔF,ΔB)}/{∫∫…∫p(B,V,F,ΔV,ΔF,ΔΔV,ΔΔF,ΔB)dΔB,dV,dF,dΔV,dΔF,dΔΔV,dΔΔF}
である。
式(1)、(2)において、tは時刻、G,B,V,F,Δはそれぞれ、アクセルペダル操作量、ブレーキペダル操作量、車速、車間距離、及び動的特徴量を表す。
ただし、条件付確率を最大にするアクセルペダル及びブレーキペダルの値は、最小値から最大値までの区間において、ある刻み幅(例えば、0から10000まで100刻み)で数値積分を行うことにより確率を算出し、その確率が最大となったときのアクセルペダル及びブレーキペダルの値を推定結果としてもよい。
図16は、最大事後確率による運転行動の推定に関する概略を表したものである。
この図16では、簡単のため、ある時刻tの特徴量y(t)が与えられたときに→x(t)を推定する場合を示している。
以上のようにして各シチュエーション毎に作成されたドライバモデルを使用して、ドライバの運転行動の状態を特定するドライバ運転行動監視処理について説明する。
図17は、ドライバ運転行動監視処理の処理動作を表したフローチャートである。
ECU10は、自車両情報と自車両周辺環境情報を、自車両情報取得部11と自車両周辺環境情報取得部12から収集する(ステップ20)。
次に、ECU10は、図18(a)に示されるように、取得した自車両情報と自車両周辺環境情報を元に、シチュエーションフラグを設定する(ステップ21)。
そしてECU10は、設定したシチュエーションフラグを元に、シチュエーションテーブル163とマッチング処理を行い、取得した自車両周辺環境情報等の現状に適合するシチュエーションを検索することで、対応するドライバモデルが存在するか否かを判断する(ステップ22)。
対応するドライバモデルが存在しない場合には(ステップ22;N)メインルーチンにリターンする。
一方、図18(b)に示されるように、現状に適合するシチュエーションが検索され、対応するドライバモデルが存在する場合(ステップ22;Y)、ECU10は、適合するシチュエーションに紐付けされたドライバモデルをドライバモデル記憶部152から読み出し、ドライバモデル出力部153に出力する(ステップ23)。
次に、ECU10は、自車両情報取得部11で時刻tにおいて取得した自車両情報(実測値)を初期値(t)としてドライバモデル出力部153に入力する(ステップ24)。
すると、ドライバモデル出力部153は、時刻tにおける自車両情報(t)をドライバモデルに入力し、最大事後確率を計算することで時刻t+1における運転行動データ(操作量)の推定値「t+1」をECU10に出力する(ステップ25)。
ついでECU10は、現在(時刻t+1)における自車両情報(t+1)を取得し(ステップ26)、時刻t+1における運転行動逸脱データ(「t+1」−(t+1))を算出して運転行動逸脱データ161に記憶する(ステップ27)。
そしてECU10は、記憶した運転行動逸脱データ161が所定数蓄積したか否かを判断し(ステップ28)、所定数未満であれば(ステップ28;N)、ステップ25で推定した操作量の推定値「t+1」を(t)としてドライバモデルに入力し(ステップ29)、ステップ25に移行することで、更に次時刻の運転行動逸脱データ161の蓄積を継続する(ステップ25〜27)。
一方、所定数の運転行動逸脱データ161が蓄積されると(ステップ28;Y)、ECU10は、運転行動逸脱データ161の状態から運転行動逸脱傾向を判断し、出力して(ステップ30)、メインルーチンにリターンする。
本実施形態では、運転行動の逸脱傾向としては、「反応速度の遅れ」の有無と、「操作のふらつき」の有無の2項目について判断する。
図19は、ドライバモデル出力部153から出力された正常状態における運転操作量(いつもの運転)の推定値と、現在の運転の操作量(自車両情報)とを概念的に比較したものである。
この図19において、ドライバモデルから出力された運転操作量(いつもの運転)は、ドライバモデルに現在の運転操作量の初期値を入力し、ドライバが正常時において普段取る運転行動として最も確率の高い操作量の出力値を表したもので、正常時であれば通常このような運転をするはず(操作量であるはず)である、という仮想の操作量を表している。
この仮想の操作量に対して、現在の運転の操作量を照らし合わせて反応速度の遅れと操作のふらつきの傾向を判断する。
例えば、図19(a)に示すように、ドライバモデルで推定した操作量は時間経過と共に増加する場合において、所定時間経過後に自車両情報による操作量が自車両情報取得部11で取得される場合には、反応速度の遅れ傾向があると判断される。
また、図19(b)に示すように、ドライバモデルで推定した操作量と比較して、取得される自車両情報による操作量が時間経過と共に増加したり、減少したりする場合で増加、減少量(運転行動逸脱データの絶対値)が所定値以上である場合には、運転操作にふらつきがあるものと判断される。
一方、ドライバモデルで推定した操作量と、取得される自車両情報による操作量とがほぼ一致する場合、すなわち、運転行動逸脱データの絶対値が所定値以下の状態が継続する場合には、反応遅れ、ふらつき共にない正常状態と判断される。
次に、走行中におけるドライバの生体情報の監視処理について図20のフローチャートに従って説明する。
まず、ECU10は、車両走行中において生体情報取得部13から各時点における生体情報を収集、蓄積する(ステップ41)
次いでECU10は、収集、蓄積した生体情報からその変化状態を監視することで、図11〜図13で説明した方法と同様の方法により、現在のドライバ生体情報の状態(ケース)を判定し(ステップ42)、メインルーチンにリターンする。
なお、以上説明したドライバ生体情報監視処理は、図10で説明した走行中におけるドライバモデル作成処理におけるドライバ生体情報収集(ステップ10)と、ドライバ生体情報の変化が正常化否かの判断(ステップ11)で兼用することが可能である。
この場合、ドライバモデル作成処理では、ステップ11でドライバの状態が正常状態であることを監視しているのに対して、図10において説明したように、正常状態でない場合にどの状態に該当しているのかについても図11〜図13に従って判定し、出力する。
なお、該判定を兼用する場合には、ドライバモデル作成部151、ECU10のいずれかがその判定を行う。
また、図21(a)、(b)に示されるように、ドライバの目の状態から正常状態と、眠気、疲労状態を判定するようにしてもよい。
この目の状態からの判定は、ドライバモデル作成処理(ステップ11)、及びドライバ生体情報監視処理(ステップ42)の何れか一方、又は双方において使用するようにしてもよい。
具体的には、図21(a)に示すように、ドライバの状態として、瞬き回数、瞬き時間、瞼の開度、視線の動きを画像処理により検出し、その値や状態に応じて眠気の状態を判定する。
また、図21(b)に示すように、瞬き回数が増大している場合や、瞼の動きが痙攣している場合、目をこすっている場合、目頭をもんでいる場合に、疲労していると判定する。
図22は、ドライバの運転状態及び生体情報ケースに基づく運転支援処理の動作を表したフローチャートである。
ECU10は、ドライバの状態として、ドライバ運転行動監視処理(図17)のステップ30で判断され出力された運転行動逸脱傾向を取得する(ステップ51)と共に、ドライバ生体情報監視処理(図20)のステップ42で判定され出力されたドライバ生体情報ケースを取得する(ステップ52)。
そして、ECU10は、取得した運転行動逸脱傾向と生体情報ケースとから、運転支援の内容を決定しドライバへのアプローチを行い(ステップ53)、メインルーチンにリターンする。
図23は、取得した運転行動と生体情報ケースとから推定されるドライバの状態(a)と、推定されるドライバの状態に対応して行う運転支援の内容を表にしたものである。
なお、図23(b)の表は、ECU10のROMに格納されている。
図23(a)に示すように、各運転行動(反応遅れ、ふらつき、反応遅れ+ふらつき、両者なし)と、各生体情報ケース(極度の緊張状態、適度な緊張状態、注意力が散漫な状態、弛緩状態、眠気がある状態)との組合せに応じて、何かに気を取られていた、疲れてきた、漫然運転、眠気、焦り、よそ見等といったドライバの状態が推定される。
そして、これら各組合せから推定される各状態に対応して、図23(b)に示されるように、ECU10は、音声や振動による注意喚起、施設情報を提供して休憩を勧める、注意喚起+α1、情報を提供して気分を紛らわす、等の運転支援を情報提供部14から行う。
なお、図23における運転支援のうち、ECU10は+α1に対して、運転以外に集中して危険なため、注意の喚起を促すと共に前方車両との車間距離を自動的に大きく開ける制御などを行う。
また、ECU10は、+α2に対して、運転に集中するよう注意喚起を行うと共に、ドライバが何に対して運転が疎かになるほど負荷を感じているのか、会話機能やセンサを用いてリサーチし、一服させるための休憩を案内したり、悩み相談に乗ったり、ドライバが抱える問題を改善する動作を行う。
またECU10は、+α3に対して、目を覚ますよう注意喚起を行うと共に、すぐに休憩を取らせるなどの案内を行う。
また、ECU10は、注意喚起の内容として、運転操作や生体情報の何がどう問題であったから警告している、などのドライバの納得を得やすくするための具体的な説明を行っても良い。
以上、本発明のドライバモデル作成装置及び運転支援装置における1実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、説明した実施形態では、判定した運転行動と生体情報ケースとから運転支援の内容を決定する場合について説明したが、判定した運転行動から運転支援内容を決定するようにしてもよい。
本願発明の1実施形態におけるドライバモデル作成装置を適用した運転支援装置の構成図である。 自車両情報取得部で取得する自車両情報を例示した説明図である。 車両周辺情報取得部で取得する車両周辺環境情報を例示した説明図である。 道路情報取得部で取得する車両周辺環境情報を例示した説明図である。 ネットワーク部で取得する車両周辺環境情報を例示した説明図である。 生体情報取得部で取得する生体情報を例示した説明図である。 情報提供部で提供する情報、アシストの内容を例示した説明図である。 ドライバモデル記憶部の記憶内容を概念的に表した説明図である。 シチュエーションデータの内容を概念的に表した説明図である。 ドライバの「普段の運転行動」(正常時)のドライバモデルを作成するドライバモデル作成処理の処理動作を表したフローチャートである。 ドライバの心拍数の変動からメンタルな変化を監視する状態について表した説明図である。 心電図のローレンツプロット解析からメンタルな変化を監視する状態について表した説明図である。 取得した生体情報から、正常状態か否かを判断する場合について表した説明図である。 交差点を右折する際に自車両情報取得部と自車両周辺環境情報取得部で取得される自車両情報と自車両周辺環境情報について例示した説明図である。 ドライバモデルの生成と、生成したドライバモデルに基づく運転行動の推定に関する原理を表した説明図である。 最大事後確率による運転行動の推定に関する概略を表した説明図である。 ドライバ運転行動監視処理の処理動作を表したフローチャートである。 自車両情報と自車両周辺環境情報からシチュエーションフラグの設定と、適合するシチュエーションの検索についての説明図である。 ドライバモデル出力部から出力された正常状態における運転操作量(いつもの運転)の推定値と、現在の運転の操作量(自車両情報)とを概念的に比較した説明図である。 走行中におけるドライバの生体情報の監視処理についてのフローチャートである。 ドライバの目の状態から正常状態と、眠気、疲労状態を判定する場合の説明図である。 ドライバ運転状態及び生体情報ケースに基づく運転支援処理の動作を表したフローチャートである。 取得した運転行動と生体情報ケースとから推定されるドライバの状態と、推定されるドライバの状態に対応して行う運転支援の内容を表にした説明図である。
符号の説明
10 ECU
11 自車両情報取得部
12 自車両周辺環境情報取得部
121 車両周辺情報取得部
122 道路情報取得部
123 ネットワーク部
13 生体情報取得部
14 情報提供部
15 ドライバモデル処理部
151 ドライバモデル作成部
152 ドライバモデル記憶部
153 ドライバモデル出力部
16 データ記憶部

Claims (9)

  1. 運転者の状態を判断する状態判断手段と、
    車両走行における運転操作情報を取得する運転操作情報取得手段と、
    前記取得した運転操作情報に基づいて運転者の状態に応じた運転操作のドライバモデルを作成するドライバモデル作成手段と、
    を具備したことを特徴とするドライバモデル作成装置。
  2. 前記状態判断手段は、少なくとも運転者の状態が正常か否かを判断する、
    ことを特徴とする請求項1に記載のドライバモデル作成装置。
  3. 特定の走行環境を検出する走行環境取得手段と、
    走行環境毎に前記運転操作情報を蓄積し、
    前記ドライバモデル作成手段は、前記走行環境毎にドライバモデルを作成する、ことを特徴とする請求項1又は請求項2に記載のドライバモデル作成装置。
  4. 運転者の生体情報を取得する生体情報取得手段を備え、
    前記状態判断手段は、前記取得した生体情報に基づいて運転者の状態を判断する、
    ことを特徴とする請求項1、請求項2又は請求項3に記載のドライバモデル作成装置。
  5. 正常状態における運転操作のドライバモデルを取得するドライバモデル取得手段と、
    前記取得したドライバモデルを使用し、正常状態で通常運転される運転操作を推定する運転操作推定手段と、
    前記推定した運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定する運転行動判定手段と、
    前記判定した運転行動に応じた運転支援を行う運転支援手段と、
    を具備したことを特徴とする運転支援装置。
  6. 前記ドライバモデル取得手段は、走行環境毎に作成された正常状態における運転操作のドライバモデルから、現在の走行環境に対応するドライバモデルを取得する、
    ことを特徴とする請求項5に記載の運転支援装置。
  7. 運転者の生体情報から運転者の状態を判定する運転者状態判定手段を備え、
    前記運転支援手段は、前記判定した運転行動と前記判定した運転者状態とに応じた運転支援を行うことを特徴とする請求項5又は請求項6に記載の運転支援装置。
  8. 運転支援手段は、判定内容に応じて、音声又は画像による注意喚起、情報提供、振動、休憩所の案内のうちの少なくとも1以上の運転支援を行う、ことを特徴とする請求項5、請求項6、又は請求項7に記載の運転支援装置。
  9. 正常状態における運転操作のドライバモデルを取得するドライバモデル取得手段と、
    前記取得したドライバモデルを使用し、正常状態で通常運転される運転操作を推定する運転操作推定手段と、
    前記推定した運転操作と、現在の運転操作情報に基づく運転操作とから、ドライバの運転行動を判定する運転行動判定手段と、
    を具備したことを特徴とする運転行動判定装置。
JP2006101053A 2005-12-28 2006-03-31 運転支援装置及び運転行動判定装置 Active JP4791874B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006101053A JP4791874B2 (ja) 2006-03-31 2006-03-31 運転支援装置及び運転行動判定装置
CN2006800499780A CN101389521B (zh) 2005-12-28 2006-12-27 驾驶行动推定装置、驾驶支援装置、车辆评价系统
EP06843423A EP1997705B1 (en) 2005-12-28 2006-12-27 Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
PCT/JP2006/326041 WO2007077867A1 (ja) 2005-12-28 2006-12-27 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
US12/087,130 US8140241B2 (en) 2005-12-28 2006-12-27 Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006101053A JP4791874B2 (ja) 2006-03-31 2006-03-31 運転支援装置及び運転行動判定装置

Publications (2)

Publication Number Publication Date
JP2007272834A true JP2007272834A (ja) 2007-10-18
JP4791874B2 JP4791874B2 (ja) 2011-10-12

Family

ID=38675539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006101053A Active JP4791874B2 (ja) 2005-12-28 2006-03-31 運転支援装置及び運転行動判定装置

Country Status (1)

Country Link
JP (1) JP4791874B2 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108004A (ja) * 2006-10-24 2008-05-08 Terumo Corp 心拍ゆらぎ検出システムおよび情報処理方法
JP2009205645A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd ドライバモデル作成装置
JP2009205646A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd 運転支援装置
JP2009234442A (ja) * 2008-03-27 2009-10-15 Equos Research Co Ltd 運転操作支援装置
JP2009251814A (ja) * 2008-04-03 2009-10-29 Xanavi Informatics Corp 車載用運転評価装置、運転評価方法
JP2010092424A (ja) * 2008-10-10 2010-04-22 Denso Corp 自動車の運転支援装置及び運転支援方法
JP2010198120A (ja) * 2009-02-23 2010-09-09 Nissan Motor Co Ltd 運転状態判定装置及び運転状態判定方法
JP2011053798A (ja) * 2009-08-31 2011-03-17 Denso Corp 運転環境判定装置,運転状況推定装置,運転支援装置
JP2011059269A (ja) * 2009-09-08 2011-03-24 Shinshu Univ 自動車運転認知行動評価装置
JP2013503079A (ja) * 2009-08-31 2013-01-31 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム 乗物又は交通の制御方法及びシステム
JP2013517053A (ja) * 2010-01-14 2013-05-16 ベンチャー ゲイン リミテッド ライアビリティー カンパニー 人間の健康の監視のための多変量残差に基づく健康指標
KR20140002373A (ko) * 2012-06-29 2014-01-08 현대자동차주식회사 운전패턴학습을 통한 운전자 상태 감시 장치 및 방법
JP2014102538A (ja) * 2012-11-16 2014-06-05 Honda Motor Co Ltd 運転者状態推定装置
JP2014102539A (ja) * 2012-11-16 2014-06-05 Honda Motor Co Ltd 運転者状態推定装置
JP2014234153A (ja) * 2013-05-30 2014-12-15 現代自動車株式会社 運転者の短期運転性向を判断する装置及び方法
KR101519217B1 (ko) * 2013-09-13 2015-05-11 현대자동차주식회사 부주의 운전 판정 장치 및 그 방법
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
JP2016091056A (ja) * 2014-10-29 2016-05-23 株式会社デンソー ドライバ状態診断装置
JP2016145020A (ja) * 2015-01-30 2016-08-12 本田技研工業株式会社 環境認識システム
JP2016215658A (ja) * 2015-05-14 2016-12-22 アルパイン株式会社 自動運転装置および自動運転システム
US9658243B2 (en) 2012-11-16 2017-05-23 Honda Motor Co., Ltd. System for alarming a driver using a driver state estimation device
JP2018071511A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両の制御装置
JP2018068927A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両用操作期間推定装置
JP2018071510A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両の制御装置
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
WO2018179406A1 (ja) * 2017-03-31 2018-10-04 本田技研工業株式会社 車載装置、情報管理サーバ、情報管理システム、および方法
JP2018167647A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム
JP2018169706A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム
JP2019507443A (ja) * 2016-03-01 2019-03-14 ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance 自動車両のドライバーを監視するための個別化装置及び方法
WO2019176356A1 (ja) * 2018-03-14 2019-09-19 クラリオン株式会社 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
CN112550298A (zh) * 2019-09-26 2021-03-26 上海汽车集团股份有限公司 驾驶行为评价方法、装置及存储介质
JP2022520344A (ja) * 2019-07-02 2022-03-30 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 メッセージプッシュ方法、コンピュータプログラム及びサーバ
DE112019007472T5 (de) 2019-06-18 2022-04-14 Mitsubishi Electric Corporation Fahrerzustandsschätzvorrichtung, Fahrerzustandsschätzverfahren, und Lernverfahren

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862864B (zh) * 2017-10-18 2021-06-15 南京航空航天大学 基于驾驶习惯和交通路况的行驶工况智能预测估计方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594600A (ja) * 1991-10-01 1993-04-16 Nissan Motor Co Ltd 車両用接近判定装置
JPH08132931A (ja) * 1994-11-14 1996-05-28 Toyota Motor Corp 車両用走行制御装置
JPH1199848A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 車両挙動推定装置
JP2000020898A (ja) * 1998-06-30 2000-01-21 Fujitsu Ltd 走行支援装置、車線変更可否判断装置、その方法及び記録媒体
JP2002140786A (ja) * 2000-11-01 2002-05-17 Nec Corp 危険度評価装置
JP2002157673A (ja) * 2000-11-22 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit 道路交通評価装置
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2004114954A (ja) * 2002-09-27 2004-04-15 Nissan Motor Co Ltd 車両用運転操作補助装置
JP2005092285A (ja) * 2003-09-12 2005-04-07 Toyota Central Res & Dev Lab Inc 車両運転状態推定装置、及びドライバの車両運転特性推定装置
JP2005125819A (ja) * 2003-10-21 2005-05-19 Toyota Motor Corp ドライバモデル構築方法、操作予測方法および操作予測装置
JP2005178628A (ja) * 2003-12-19 2005-07-07 Toyota Motor Corp 車両の統合制御システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594600A (ja) * 1991-10-01 1993-04-16 Nissan Motor Co Ltd 車両用接近判定装置
JPH08132931A (ja) * 1994-11-14 1996-05-28 Toyota Motor Corp 車両用走行制御装置
JPH1199848A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 車両挙動推定装置
JP2000020898A (ja) * 1998-06-30 2000-01-21 Fujitsu Ltd 走行支援装置、車線変更可否判断装置、その方法及び記録媒体
JP2002140786A (ja) * 2000-11-01 2002-05-17 Nec Corp 危険度評価装置
JP2002157673A (ja) * 2000-11-22 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit 道路交通評価装置
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2004114954A (ja) * 2002-09-27 2004-04-15 Nissan Motor Co Ltd 車両用運転操作補助装置
JP2005092285A (ja) * 2003-09-12 2005-04-07 Toyota Central Res & Dev Lab Inc 車両運転状態推定装置、及びドライバの車両運転特性推定装置
JP2005125819A (ja) * 2003-10-21 2005-05-19 Toyota Motor Corp ドライバモデル構築方法、操作予測方法および操作予測装置
JP2005178628A (ja) * 2003-12-19 2005-07-07 Toyota Motor Corp 車両の統合制御システム

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108004A (ja) * 2006-10-24 2008-05-08 Terumo Corp 心拍ゆらぎ検出システムおよび情報処理方法
JP2009205645A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd ドライバモデル作成装置
JP2009205646A (ja) * 2008-02-29 2009-09-10 Equos Research Co Ltd 運転支援装置
JP2009234442A (ja) * 2008-03-27 2009-10-15 Equos Research Co Ltd 運転操作支援装置
JP2009251814A (ja) * 2008-04-03 2009-10-29 Xanavi Informatics Corp 車載用運転評価装置、運転評価方法
JP2010092424A (ja) * 2008-10-10 2010-04-22 Denso Corp 自動車の運転支援装置及び運転支援方法
JP2010198120A (ja) * 2009-02-23 2010-09-09 Nissan Motor Co Ltd 運転状態判定装置及び運転状態判定方法
JP2011053798A (ja) * 2009-08-31 2011-03-17 Denso Corp 運転環境判定装置,運転状況推定装置,運転支援装置
JP2013503079A (ja) * 2009-08-31 2013-01-31 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム 乗物又は交通の制御方法及びシステム
JP2011059269A (ja) * 2009-09-08 2011-03-24 Shinshu Univ 自動車運転認知行動評価装置
JP2013517053A (ja) * 2010-01-14 2013-05-16 ベンチャー ゲイン リミテッド ライアビリティー カンパニー 人間の健康の監視のための多変量残差に基づく健康指標
KR20140002373A (ko) * 2012-06-29 2014-01-08 현대자동차주식회사 운전패턴학습을 통한 운전자 상태 감시 장치 및 방법
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
JP2014102538A (ja) * 2012-11-16 2014-06-05 Honda Motor Co Ltd 運転者状態推定装置
JP2014102539A (ja) * 2012-11-16 2014-06-05 Honda Motor Co Ltd 運転者状態推定装置
US9658243B2 (en) 2012-11-16 2017-05-23 Honda Motor Co., Ltd. System for alarming a driver using a driver state estimation device
JP2014234153A (ja) * 2013-05-30 2014-12-15 現代自動車株式会社 運転者の短期運転性向を判断する装置及び方法
KR101519217B1 (ko) * 2013-09-13 2015-05-11 현대자동차주식회사 부주의 운전 판정 장치 및 그 방법
US9415778B2 (en) 2013-09-13 2016-08-16 Hyundai Motor Company Apparatus and method for determining careless driving
JP2016091056A (ja) * 2014-10-29 2016-05-23 株式会社デンソー ドライバ状態診断装置
JP2016145020A (ja) * 2015-01-30 2016-08-12 本田技研工業株式会社 環境認識システム
JP2016215658A (ja) * 2015-05-14 2016-12-22 アルパイン株式会社 自動運転装置および自動運転システム
JP2019507443A (ja) * 2016-03-01 2019-03-14 ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance 自動車両のドライバーを監視するための個別化装置及び方法
JP2018068927A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両用操作期間推定装置
JP2018071510A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両の制御装置
JP2018071511A (ja) * 2016-11-04 2018-05-10 マツダ株式会社 車両の制御装置
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018167647A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム
JP2018169706A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム
JPWO2018179406A1 (ja) * 2017-03-31 2020-05-21 本田技研工業株式会社 車載装置、情報管理サーバ、情報管理システム、および方法
WO2018179406A1 (ja) * 2017-03-31 2018-10-04 本田技研工業株式会社 車載装置、情報管理サーバ、情報管理システム、および方法
US11203347B2 (en) 2017-03-31 2021-12-21 Honda Motor Co., Ltd. In-vehicle device, information management server, information management system, and method
CN110431610A (zh) * 2017-03-31 2019-11-08 本田技研工业株式会社 车载装置、信息管理服务器、信息管理系统及方法
WO2019176356A1 (ja) * 2018-03-14 2019-09-19 クラリオン株式会社 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
JP2019159147A (ja) * 2018-03-14 2019-09-19 クラリオン株式会社 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
JP7100471B2 (ja) 2018-03-14 2022-07-13 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
US11498576B2 (en) 2018-03-14 2022-11-15 Clarion Co., Ltd. Onboard device, traveling state estimation method, server device, information processing method, and traveling state estimation system
DE112019007472T5 (de) 2019-06-18 2022-04-14 Mitsubishi Electric Corporation Fahrerzustandsschätzvorrichtung, Fahrerzustandsschätzverfahren, und Lernverfahren
JP2022520344A (ja) * 2019-07-02 2022-03-30 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 メッセージプッシュ方法、コンピュータプログラム及びサーバ
US11743357B2 (en) 2019-07-02 2023-08-29 Tencent Technologies (Shenzhen) Company Limited Message pushing method, storage medium, and server
CN112550298A (zh) * 2019-09-26 2021-03-26 上海汽车集团股份有限公司 驾驶行为评价方法、装置及存储介质

Also Published As

Publication number Publication date
JP4791874B2 (ja) 2011-10-12

Similar Documents

Publication Publication Date Title
JP4791874B2 (ja) 運転支援装置及び運転行動判定装置
US8140241B2 (en) Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device
JP7032966B2 (ja) 車両安全支援装置および方法
Kashevnik et al. Cloud-based driver monitoring system using a smartphone
CN108394414B (zh) 清醒度判定系统以及清醒度判定方法
EP3779921A1 (en) Information processing device, moving apparatus, method, and program
US20130135092A1 (en) Driving behavior analysis and warning system and method thereof
CN106462027B (zh) 控制机动车辆中的车辆系统的方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3220368A1 (en) System and method for providing context-specific vehicular driver interactions
JP2008056059A (ja) 運転者状態推定装置及び運転支援装置
JP7459634B2 (ja) ドライバ異常判定システム
JP5041160B2 (ja) 運転支援装置
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
US10077055B2 (en) System and method for determining the information transfer rate between a driver and vehicle
KR101993537B1 (ko) 차량 운전자의 졸음상태 판단 방법 및 장치
JP7459633B2 (ja) ドライバ異常判定装置
Ponomarev et al. Adaptation and personalization in driver assistance systems
Ahir et al. Driver inattention monitoring system: A review
JP2021167163A (ja) ドライバ異常判定装置
Jayapradha et al. Driver drowsiness and alcohol detection
Dababneh et al. Driver vigilance level detection systems: A literature survey
Shome et al. Driver drowsiness detection system using DLib
WO2024062769A1 (ja) ドライバー支援装置、ドライバー支援システム及びドライバー支援方法
Khan et al. Accident-Avoidance System using latest Sensing Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110722

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4791874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350