JP2015128989A - Driver emotion-based drive support device - Google Patents
Driver emotion-based drive support device Download PDFInfo
- Publication number
- JP2015128989A JP2015128989A JP2015002119A JP2015002119A JP2015128989A JP 2015128989 A JP2015128989 A JP 2015128989A JP 2015002119 A JP2015002119 A JP 2015002119A JP 2015002119 A JP2015002119 A JP 2015002119A JP 2015128989 A JP2015128989 A JP 2015128989A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- driving
- emotion
- vehicle
- skill
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ドライバ感情に基づく運転支援装置に関する。 The present invention relates to a driving support device based on driver emotion.
車両には、運転者の運転を支援する運転支援装置が搭載される傾向にある。例えば、特許文献1には、運転者の運転技量に応じて運転操作の補助を行うものが提案され、特許文献2には、運転者の認知状態に基づいて運転者に提示すべき情報を決定するものが提案されている。これにより、運転者は、運転支援を受けて的確な運転を行うことができる。
Vehicles tend to be equipped with driving assistance devices that assist the driving of the driver. For example,
しかし、上記いずれの特許文献においても、運転支援に関し、運転者の運転支援を受けた際の感情、意思、思い等が考慮されておらず、それらを無視して、設定通りの運転支援が実行される。このため、低い運転技量の運転者が運転技量を高めたいと思っている場合や運転支援に満足していない場合でも、運転支援装置が勝手に運転支援を行ってしまい、運転支援装置は運転技量を向上させる機会を奪うことになる。 However, in any of the above patent documents, the driver's feelings, intentions, thoughts, etc. when receiving driving assistance are not taken into account, and driving assistance according to the setting is executed by ignoring them. Is done. For this reason, even if a driver with low driving skill wants to improve driving skill or is not satisfied with driving assistance, the driving assistance device will provide driving assistance without permission. Take away the opportunity to improve.
一方、本発明者は、特定の感情と運転技量の向上との間の一定の関係に着目している。特定感情のうちでも、特に楽しさ(自己実現)は、運転技量の向上との間で、図1に示すように、「楽しいから運転技量が向上し、運転技量が向上するから楽しくなる」というループ状の関係を作り出すことになり、運転者を楽しい状態にすれば、効果的に運転技量を向上させることができるからである。また、その効果的な運転技量の向上を通じて、CO2の削減、交通事故の減少等に貢献できることになるからでもある。 On the other hand, this inventor pays attention to the fixed relationship between a specific emotion and the improvement of driving skill. Among specific emotions, especially enjoyment (self-fulfillment) is between the improvement of driving skill and, as shown in FIG. 1, "It is fun because driving skill improves and driving skill improves" This is because if the driver creates a loop-like relationship and makes the driver enjoyable, the driving skill can be improved effectively. It is also possible to contribute to the reduction of CO2 and the reduction of traffic accidents through the effective improvement of driving skills.
本発明は、このような事情に鑑みてなされたもので、その技術的課題は、複数の異なる運転支援それぞれについて、運転者が楽しい感情となるようにしたドライバ感情に基づく運転支援装置を提供することにある。 The present invention has been made in view of such circumstances, and its technical problem is to provide a driving assistance device based on driver emotions that makes the driver have a pleasant emotion for each of a plurality of different driving assistances. There is.
前記技術的課題を達成するために本発明装置においては、次のような解決手法を採択してある。すなわち、請求項1に記載のように、
車両の外部環境により運転者の運転操作に要求される環境難易度を算出する環境難易度算出手段と、
運転者の運転操作に基づく運転技量を評価する運転技量評価手段と、
外部環境と運転技量とをパラメータとして、運転者の感情を推定するための感情マップを設定する感情マップ設定手段と、
前記環境難易度算出手段により算出された環境難易度と前記運転技量評価手段により評価された運転技量とを前記感情マップ設定手段により設定された感情マップに照合することにより得られる運転者の感情に基づいて、運転支援を行う運転支援手段と、
を備え、
前記感情マップは、複数の異なる運転支援に応じて複数設定され、
前記運転支援手段は、前記複数の感情マップのそれぞれから得られる運転者の感情が楽しい感情となるように運転支援を行う、
ようにしてある。
In order to achieve the above technical problem, the following solution is adopted in the device of the present invention. That is, as described in
An environmental difficulty level calculation means for calculating the environmental difficulty level required for the driving operation of the driver by the external environment of the vehicle;
Driving skill evaluation means for evaluating the driving skill based on the driving operation of the driver;
An emotion map setting means for setting an emotion map for estimating the driver's emotion using the external environment and driving skill as parameters;
The driver's emotion obtained by comparing the environmental difficulty calculated by the environmental difficulty calculation means and the driving skill evaluated by the driving skill evaluation means with the emotion map set by the emotion map setting means. Based on driving support means for driving support,
With
A plurality of emotion maps are set according to a plurality of different driving assistances,
The driving support means performs driving support so that a driver's emotion obtained from each of the plurality of emotion maps becomes a pleasant emotion.
It is like that.
上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項2以下に記載のとおりである。すなわち、
前記複数の感情マップが、車両軌跡に関するものと車幅間隔に関するものと運転操作に関するものとされている、ようにしてある(請求項2対応)。
A preferred mode based on the above solution is as described in
The plurality of emotion maps are related to a vehicle trajectory, a vehicle width interval, and a driving operation (corresponding to claim 2).
前記運転支援手段が、
車両軌跡に関しては、駐車までの車両軌跡を表示することにより運転支援を行ない、
車幅間隔に関しては、自車両と障害物との距離を表示することにより運転支援を行い、
運転操作に関しては、自動操作により運転支援を行う、
ようにしてある(請求項3対応)。
The driving support means is
Regarding vehicle trajectory, driving assistance is provided by displaying the vehicle trajectory until parking,
Regarding the vehicle width interval, driving assistance is provided by displaying the distance between the vehicle and the obstacle,
As for driving operations, driving assistance is provided by automatic operation.
(Corresponding to claim 3).
前記運転支援手段が、
車両軌跡に関しては、駐車までの車両軌跡の表示タイミングを変更することにより運転支援によるアシスト量を変更し、
車幅間隔に関しては、自車両と障害物との距離の表示タイミングを変更することにより運転支援によるアシスト量を変更し、
運転操作に関しては、自動操作の操作タイミングを変更することにより運転支援によるアシスト量を変更する、
ようにしてある(請求項4対応)。
The driving support means is
Regarding the vehicle trajectory, the assist amount by driving assistance is changed by changing the display timing of the vehicle trajectory until parking,
Regarding the vehicle width interval, change the assist amount by driving assistance by changing the display timing of the distance between the vehicle and the obstacle,
For driving operation, change the assist amount by driving assistance by changing the operation timing of automatic operation,
(Corresponding to claim 4).
本発明によれば、複数の異なる運転支援それぞれについて、運転者が楽しい感情をもつようにすることができる。 According to the present invention, the driver can have a pleasant emotion for each of a plurality of different driving assistances.
以下本発明の実施形態について、図面に基づいて説明する。
(本発明の運転支援全般の実施形態)
図2において、符号1は車両(自車)であり、この車両1には、運転技量の育成を行う運転技量育成装置としての運転支援装置2が搭載されている。この運転支援装置2には、図3に示すように、外部情報取得装置3と、車両情報取得装置4と、ドライバー行動取得装置5と、ドライバー感情取得装置6と、情報通信装置7と、車載制御装置8と、が備えられており、これらにより、運転支援装置2は、運転支援として、駐車支援、レーンキープ支援、車間距離支援等を行うことができる。
Embodiments of the present invention will be described below with reference to the drawings.
(Embodiment of general driving support of the present invention)
In FIG. 2,
外部情報取得装置3は、駐車スペース、障害物等の外部情報を取得するものであり、具体的には、カメラやレーダが外部情報取得装置3として用いられる。車両情報取得装置4は、車速、舵角、アクセル開度、ブレーキスイッチ信号等の車両情報を取得するものであり、具体的には、舵角センサー等のセンサ類が車両情報取得装置4として用いられる。ドライバー行動取得装置5は、ドライバー(運転者)の視線等をドライバー行動情報として取得するものであり、具体的には、車室内カメラ等がドライバー行動取得装置5として用いられる。ドライバー感情取得装置6は、ドライバーの表情、音声、発汗、脳波や脳内血流等に基づきドライバーの感情を取得するものであり、ドライバーの表情を取得する場合には、車室内カメラが用いられる。本実施形態においては、1つの車室内カメラ14がドライバー行動取得装置5とドライバー感情取得装置6とを兼ねている(図2参照)。情報通信装置7は、外部サービスセンタ(インフラ)9との間で情報を送受信するものである。車載制御装置8は、情報処理装置10と、情報記憶装置11と、を備えている。情報処理装置10は、前記外部情報取得装置3、車両情報取得装置4、ドライバー行動取得装置5、ドライバー感情取得装置6、情報通信装置7から各種情報を入力情報として受け入れて、運転支援を行うための制御又は表示信号を、操舵アシストアクチュエータ、ブレーキアシストアクチュエータ等の車両駆動装置12又はディスプレイ等の情報表示装置13に出力することになっている。また、情報記憶装置11は、ドライバー行動データ部11a,ドライバー技能データ部11b,ドライバー感情マップ部11cを備えており(後述の図10参照)、それら各々は、それらが受け持つ特有のデータをそれぞれ保存する。
The external
前記車載制御装置8は、そこでの処理に基づき、ドライバーにとって楽しいと感じる「楽しい領域PA」での運転支援が実現されることになっている。楽しいと感じる運転支援は、その支援された運転に関し、運転技量の向上をもたらすからである(図1参照)。
The vehicle-mounted
先ず、上記車載制御装置8の制御の概念的内容について、図4に基づき説明する。
車載制御装置8は、短期期間周期の処理と、その短期期間周期よりも長期の長期期間周期の処理とを行う。
First, the conceptual contents of the control of the in-
The in-
短期期間周期の処理は、運転支援を行う必要があるか、運転支援を行う場合には、どのような運転支援が適切かを判定し、それを実行することを目的としており、そのため、その短期期間周期の処理は、例えば100msec毎の割り込み処理により実施される。 The purpose of the short-term period processing is to determine whether or not driving assistance is necessary or what kind of driving assistance is appropriate when driving assistance is performed. The processing of the period cycle is performed by interrupt processing every 100 msec, for example.
この短期期間周期の処理においては、先ず、S(Sはステップを示す。)51で、環境難易度算出が行われる。すなわち、S51においては、外部情報取得装置3と車両情報取得装置4により検出された検出データが読み込まれると共に、共有データDB1から、障害物等の外部情報とそれに対応付けされている環境難易度との対応関係データが読み込まれる。そして、その対応関係データに検出データを用いることにより現在の車両の外部の状況に応じた環境難易度が算出され、その環境難易度は共有データDB1に保存される。
別の態様として、上記環境難易度算出に際して、車載制御装置8は、共有データDB1や外部サービスセンタから外部環境の難易度を直接、取得したり、或いは、例えば、駐車支援の場合、駐車場の情報として、駐車(空き)スペース情報、駐車スペースへ駐車するための車両軌跡や切り返し回数、駐車スペースの障害物の有無等を外部サービスセンタから、又はそれらを直接的に取得して、それに基づき外部環境難易度を算出してもよい。尚、この場合、外部環境難易度算出の結果、その算出データを共有化した方がよいものについては、他の車両の利用に供すべく、外部サービスセンタに送信される。
In the process of this short-term period, first, the environmental difficulty level calculation is performed in S (S indicates a step) 51. That is, in S51, detection data detected by the external
As another aspect, when calculating the environmental difficulty level, the in-
次に、S52において、共有データDB2に記憶されている運転技量が読み込まれる。この運転技量は、ドライバー行動取得装置5により検出されたデータが共有データDB2に記憶された後、それが取り出されて後述の長期期間周期の処理に基づき算出されたものであって、再び、共有データDB2に記憶されたものである。本実施形態においては、記憶された運転技量のうち、例えば直近のものが用いられる(読み出される)。
なお、共有データDB1、DB2は、車載制御装置8の情報記憶装置11に設けても、情報通信装置7を介して送受信することを条件に外部サービスセンタ9に設けてもよく、また、環境難易度の算出や運転技量の算出は、外部サービスセンタにて実施するようにしてもよい。
Next, in S52, the driving skill stored in the shared data DB2 is read. This driving skill is calculated based on the long-term period processing described later after the data detected by the driver
The shared data DB1, DB2 may be provided in the
上記環境難易度算出と運転技量の読込みとを終えると、S53において、運転支援の選定と実行とが行われる。この運転支援の選定においては、先ず、ドライバー感情マップ(環境難易度と運転技量との座標系中に、「楽しい領域PA」を設定したもの)が、個別データDB4より読み込まれる。ドライバー感情マップは、図5に示すように、アシスト(運転支援)量aaを算出するためのもので、後述の長期期間周期の処理において、ドライバーの個々に応じたものとして作成されるものである。具体的には、ドライバー感情マップは、図5に示すように、運転技量と環境難易度に対するドライバーの感情をマップとしたものであり、そのドライバー感情マップにおいては、ドライバーが運転支援を受けて楽しいと感じる「楽しい領域PA」と、不安に感じる「不安領域PB」と、退屈に感じる「退屈領域PC」とが、境界線AL1とAL2とによって区分けされている。
When the calculation of the environmental difficulty level and the reading of the driving skill are finished, selection and execution of driving assistance are performed in S53. In selecting the driving assistance, first, a driver emotion map (in which a “fun area PA” is set in the coordinate system of the environmental difficulty level and the driving skill) is read from the
次に、運転支援の選定に際し、ドライバー感情マップにおいて、アシスト量aaが求められる。そのアシスト量aaを求めるに当たっては、S51により求められた現在の車両の環境難易度DR1とS52により読み込まれたドライバーの現在の運転技量DT1とにより、当初座標点P1が求められ、運転技量DT1の破線上において、「楽しい領域PA」の境界線AL1とAL2の中心線AL3上に設けられた基準値P5までの差分が求められる。この差分が、アシスト量aaとされる。 Next, when selecting driving assistance, an assist amount aa is obtained in the driver emotion map. In obtaining the assist amount aa, the initial coordinate point P1 is obtained from the current environmental difficulty level DR1 of the vehicle obtained in S51 and the current driving skill DT1 of the driver read in S52, and the driving skill DT1 is calculated. On the broken line, the difference to the reference value P5 provided on the center line AL3 of the boundary lines AL1 and AL2 of the “fun area PA” is obtained. This difference is the assist amount aa.
次に、上記アシスト量aaに応じた運転支援内容が選択され、それが実行される。すなわち、環境難易度DR1と運転技量DT1に応じて、環境難易度を運転技量に応じたアシスト量aaにより実質的に低くすることができることから、そのドライバーの運転技量に応じたアシスト量aa(選択された運転支援内容)を実行することによりドライバーを「楽しい領域PA」内に位置させ、ドライバーを楽しいと感じられるようにするのである。なお、図5中に示すように、環境難易度=アシスト量+運転技量の関係があることから、ドライバーの運転技量は、環境難易度からアシスト量を差し引くことにより求めることができる。 Next, the driving assistance content corresponding to the assist amount aa is selected and executed. That is, according to the environmental difficulty level DR1 and the driving skill DT1, the environmental difficulty level can be substantially reduced by the assist amount aa corresponding to the driving skill, so that the assist amount aa (selection according to the driving skill of the driver is selected) The driver is positioned in the “fun area PA” by executing the driving assistance content), so that the driver can feel fun. As shown in FIG. 5, since there is a relationship of environmental difficulty = assist amount + driving skill, the driving skill of the driver can be obtained by subtracting the assist amount from the environmental difficulty level.
アシスト量aaに応じた運転支援内容に関しては、運転支援が例えば駐車支援である場合には、運転技量を、車両軌跡のイメージに関する技量、車幅間隔のイメージに関する技量、運転操作に関する技量に分類できることから、それに伴い、アシスト量aaもそれらに応じたものとなる。この場合、アシスト量aaは、車両軌跡のイメージに関する技量については、駐車までの車両軌跡の表示のきめ細かさ、表示タイミング等が該当し、その表示のきめ細かさが増し、表示タイミングが早くなるほどアシスト量aaが大きくなる。すなわち、アシスト量が大きくなるにつれて、目標軌跡からのズレが小さい早期のときから目標軌跡やアドバイスが表示されるようになる。車幅間隔のイメージに関する技量については、自車1と障害物との距離表示を表示するタイミング等がアシスト量aaに該当し、そのアシスト量aaは、その表示タイミングが早くなるほど大きくなる。すなわち、アシスト量が大きくなるにつれて、車間距離が大きいときから車間距離が表示されるようになる。運転操作に関する技量については、車両の各自動操作システムの操作タイミング等がアシスト量aaに該当し、そのアシスト量aaは、その操作タイミングが早くなるほど大きくなる。すなわち、アシスト量が大きくなるにつれて、自動操舵や自動ブレーキの作動タイミングが早期化されるようになる。
Regarding the driving assistance contents corresponding to the assist amount aa, when the driving assistance is, for example, parking assistance, the driving skill can be classified into a skill related to the image of the vehicle trajectory, a skill related to the image of the vehicle width interval, and a skill related to the driving operation. Accordingly, the assist amount aa also corresponds to them. In this case, the assist amount aa corresponds to the fineness of the display of the vehicle trajectory until parking, the display timing, and the like for the skill relating to the image of the vehicle trajectory, and the assist amount increases as the display fineness increases and the display timing becomes earlier. aa increases. That is, as the assist amount increases, the target locus and advice are displayed from an early stage when the deviation from the target locus is small. Regarding the skill relating to the image of the vehicle width interval, the timing of displaying the distance display between the
また、アシスト量aaに関しては、アシスト量aaを変化させて、各運転技量についてドライバーの感情を計測したところ、一定環境難易度の下では、図7に示すようになった。その図7によれば、各運転技量のいずれの場合についても、運転技量が低いほど、「楽しい領域PA」に属するために必要となるアシスト量aa(図7中の矢印の一例参照)は大きくなる傾向を示した。この場合、「楽しい領域PA」は、「楽しさ」と「安心感」とについて、ドライバーの感情を検出し、その両者の最上位部分が重なる部分をもって該当する領域とした。 Further, regarding the assist amount aa, when the driver's emotion was measured for each driving skill by changing the assist amount aa, it was as shown in FIG. 7 under a certain environmental difficulty level. According to FIG. 7, in any case of each driving skill, the lower the driving skill, the larger the assist amount aa (see the example of the arrow in FIG. 7) required to belong to the “fun area PA”. Showed a tendency to become. In this case, the “fun area PA” is an area in which the driver's emotions are detected for “fun” and “reassurance”, and the uppermost part of the two overlaps.
S53において、運転支援が実行されると、S54において、その際におけるドライバーの感情・心理が推定される。ドライバーの感情を通じて運転支援が適切か否か判断し、運転支援修正の有無を判断するためである。この場合、共有データDB3には、ドライバーの感情・心理とドライバーの生体情報との対応関係データが予め記憶されており、車載制御装置8は、その対応関係データを取り込み、それに、ドライバー感情取得装置6により検出された検出データを用いることにより、その際におけるドライバーの感情・心理を推定する。
このとき、取得されたドライバーの感情とその際のアシスト量aaが共有データDB3と個別データDB4へ保存される。
なお、この場合、車載制御装置8は、外部サービスセンタから感情と生体情報との対応関係に関する情報を受け取り、ドライバーの生態情報と外部サービスセンタからの情報とに基づき、ドライバーの感情を推定することとしてもよい。
When driving support is executed in S53, the emotion / psychology of the driver at that time is estimated in S54. This is because it is determined whether or not driving support is appropriate through the driver's feelings, and whether or not driving support is corrected. In this case, the shared
At this time, the acquired driver's emotion and the assist amount aa at that time are stored in the shared
In this case, the in-
S54にて、ドライバーの感情・心理が推定されると、S55において、それにより、ドライバーが楽しさを感じているか否かが判別される。ドライバーが楽しさを感じていなければ、効果的な運転技量の向上を図ることができないからである。このS55においては、ドライバーが楽しいと感じていることが推定される場合は、ドライバー感情マップ(図5参照)がドライバーに適合しているとして、アシスト量aaの処理は修正を受けることなく終了する。その一方、S55において、ドライバーが楽しさを感じていない場合には、S56へ移行して運転支援の修正がなされる。 When the driver's emotion / psychology is estimated in S54, it is determined in S55 whether or not the driver feels pleasure. This is because effective driving skills cannot be improved unless the driver feels fun. In S55, when it is estimated that the driver feels fun, the processing of the assist amount aa is terminated without being corrected, assuming that the driver emotion map (see FIG. 5) is suitable for the driver. . On the other hand, if the driver does not feel fun in S55, the process proceeds to S56 and the driving assistance is corrected.
S56の運転支援の修正においては、例えば、図6に示すように、ドライバー感情マップがドライバーに適合しておらず、基準点P5において、ドライバーの感情が「不安」状態であると検出されたときには(図6中の黒点は、基準点P5が「不安」状態であることを示す)、そのことと、そのときのアシスト量aaとが、ともに個別データDB4へ記憶される。そして、予め、決められた補正量Δaaにより、2回目のアシスト量aa+Δaaが求められ、S53へ移行して、再度、その2回目のアシスト量aa+Δaaによる運転支援が実行され、その際のドライバーの感情がS54において推定される。このようにして、ドライバー感情が「楽しい」状態と推定されるようになるまで、S54〜S56,S53が繰り返し実行され、そのときのドライバー感情とアシスト量が個別データDB4へ記憶される。(図6において、1回目のアシスト量aaにおける基準点P5(黒点)は「不安」状態、2回目のアシスト量aa+Δaaにおける基準点P5’(黒点)は「不安」状態、3回目のアシスト量aa+2Δaaにおける基準点P5’’(白点)は「楽しい」状態を表す)。
このような結果、ドライバーは、運転支援を受けて、楽しい状態で運転できることになり、ドライバーの運転技量は、図6に示すように、運転技量DT1からDT2へと次第に高まることになる。
In the correction of the driving support in S56, for example, as shown in FIG. 6, when it is detected that the driver emotion map is not suitable for the driver and the driver's emotion is in an “anxiety” state at the reference point P5. (The black point in FIG. 6 indicates that the reference point P5 is in an “uneasy” state), and this and the assist amount aa at that time are both stored in the individual data DB4. Then, a second assist amount aa + Δaa is obtained based on a predetermined correction amount Δaa, the process proceeds to S53, and driving assistance based on the second assist amount aa + Δaa is executed again. Is estimated in S54. In this way, S54 to S56 and S53 are repeatedly executed until the driver emotion is estimated to be “fun”, and the driver emotion and the assist amount at that time are stored in the individual data DB4. (In FIG. 6, the reference point P5 (black point) at the first assist amount aa is in the “anxiety” state, the reference point P5 ′ (black point) at the second assist amount aa + Δaa is in the “anxiety” state, and the third assist amount aa + 2Δaa. The reference point P5 ″ (white point) in “represents a“ fun ”state).
As a result, the driver can receive driving assistance and drive in a fun state, and the driving skill of the driver gradually increases from driving skill DT1 to DT2, as shown in FIG.
次に、車載制御装置8による長期期間周期の処理について説明する。
長期期間周期の処理は、ドライバーの感情マップの作成、修正を目的としており、このドライバーの感情マップの作成・修正は、例えば1週間毎に、前述の短期期間周期の処理により得られたデータ(蓄積データ)を利用して行われる。このため、車載制御装置8には、運転支援の度に短期期間周期の処理毎のデータ等が保存される。
Next, the process of the long period period by the vehicle-mounted
The processing of the long period cycle is aimed at creating and correcting the emotion map of the driver, and the creation and correction of the driver emotion map is performed, for example, every week by using the data ( (Accumulated data). For this reason, the vehicle-mounted
具体的に説明する。先ず、図4に示すように、S61において、過去1週間の間に実施された各運転支援についての環境難易度が共有データDB1から読み出される。この環境難易度は、各運転支援(短期期間周期の処理)の際に、蓄積データの一つとして共有データDB1に記憶されたものである。
This will be specifically described. First, as shown in FIG. 4, in S61, the environmental difficulty level for each driving support implemented during the past week is read from the shared data DB1. This environmental difficulty level is stored in the shared
次に、S62へ移行して、過去1週間の間に実施した各運転支援時における運転技量評価が行われる。車載制御装置8には、過去1週間の間に実施された各運転支援について、その際におけるお手本データ、ドライバーの操作に応じた車速等が保存されており、それらが共有データDB2から読み出され、そのお手本データとの比較により、お手本データに対するドライバーの操作の近接度が判断される。この近接度が高い(近い)ほど、ドライバーの運転技量が高いと評価され、それが共有データDB2に保存される。例えば、運転支援が駐車支援である場合には、駐車スペースに駐車した際におけるお手本データとのずれ量が求められ、そのずれ量が少ないほど、ドライバーの運転技量が高いと評価され、それが保存される。
なお、上記方法に代えて、個別データDB4に記憶されているドライバー感情マップにおいて、「環境難易度=アシスト量+運転技量」により、環境難易度からアシスト量を差し引くことで求めても良い。
Next, the process proceeds to S62, and the driving skill evaluation at the time of each driving support performed during the past one week is performed. The in-
Instead of the above method, the driver emotion map stored in the
次に、S63に移行して、感情・心理推定が行われる。車載制御装置8には、過去1週間の間に実施された各運転支援について、その際における各ドライバーの感情データが共有データDB3に保存されており、それらが読み出され、車載制御装置8は、その各感情データを「楽しさ」と「退屈」と「不安」に区分する。このため、運転支援の際(短期期間周期の処理の際)には、車室内カメラ等によりドライバーの表情を検出してもよいし、「楽しさ」と「退屈」に関しては、車室内カメラにより検出し、「不安」に関しては、発汗センサ、脳波、音声等により検出するようにしてもよい。
Next, the process proceeds to S63 where emotion / psychological estimation is performed. In the in-
次に、S64に移行して、ドライバー個人の特性学習、すなわち、ドライバー感情マップが各ドライバに適合するように、ドライバー感情マップの修正が行われる。このドライバー感情マップの修正には、上記環境難易度算出(S61)、運転技量評価(S62)、感情・心理推定(S63)に基づくデータ(1週間の間に蓄えられた各運転支援データ等)が利用され、そのドライバー感情マップの修正は1週間毎に行われる。 Next, the process proceeds to S64, and the driver emotion map is corrected so that the driver's individual characteristic learning, that is, the driver emotion map matches each driver. The driver emotion map is corrected by calculating the environmental difficulty (S61), driving skill evaluation (S62), and data based on emotion / psychological estimation (S63) (such as driving support data stored during one week). Is used, and the driver emotion map is revised every week.
具体的に説明すれば、次のようになる。例えば図8に示すように、ある環境難易度についての運転支援の際に、その運転支援時における運転技量がDT1である下で(S62で評価)、初回のアシスト量aaにより座標がP5となっても、ドライバーの感情が「不安」状態(図8中、●で表す)にあり、2回目のアシスト量aa+Δaaにより座標がP5’になっても、ドライバーの感情が「不安」状態(図8中、●で表す)にあり、3回目のアシスト量aa+2Δaaにより座標がP5’’になって初めて、ドライバーの感情が「楽しい」状態(図8の○で表す)になったときには(図5,図6も参照)、運転技量DT1において、「楽しい領域PA」と「不安領域PB」の境界が、P5’とP5’’の中間に存在すると判断される。 Specifically, it is as follows. For example, as shown in FIG. 8, when driving assistance for a certain environmental difficulty level, the driving skill at the time of driving assistance is DT1 (evaluated in S62), and the coordinates are P5 due to the initial assistance amount aa. However, even if the driver's emotion is in the “anxiety” state (represented by ● in FIG. 8) and the coordinates are P5 ′ due to the second assist amount aa + Δaa, the driver's emotion is in the “anxiety” state (FIG. 8). When the driver's emotion is in a “fun” state (represented by a circle in FIG. 8) for the first time when the coordinate is P5 ″ due to the third assist amount aa + 2Δaa (FIG. 5). In the driving skill DT1, it is determined that the boundary between the “fun area PA” and the “anxiety area PB” exists between P5 ′ and P5 ″.
このような処理は、他の運転支援データ(1週間の間に蓄えられた各運転支援データ等)についても同様に行われる。別の環境難易度についての運転支援の際に、その運転支援時における運転技量がDT2である下で(S62で評価)、初回のアシスト量aaにより座標がP6となっても、ドライバーの感情が「不安」状態(図8中、●で表す)にあり、2回目のアシスト量aa+Δaaにより座標がP6’になっても、ドライバーの感情が「不安」状態(図8中、●で表す)にあり、3回目のアシスト量aa+2Δaaにより座標がP6’’になって初めて、ドライバーの感情が「楽しい」状態(図8の○で表す)になったときには、運転技量DT2において、「楽しい領域PA」と「不安領域PB」の境界が、P6’とP6’’の中間に存在すると判断される。 Such processing is similarly performed for other driving assistance data (such as driving assistance data stored for one week). When driving assistance for another environmental difficulty level, when the driving skill at the time of the driving assistance is DT2 (evaluated in S62), the driver's feelings may be felt even if the coordinates are P6 due to the initial assist amount aa. Even if the driver is in an “anxiety” state (represented by ● in FIG. 8) and the coordinates become P6 ′ due to the second assist amount aa + Δaa, the driver's emotion is in an “anxiety” state (represented by ● in FIG. 8). Yes, only when the coordinates become P6 ″ due to the third assist amount aa + 2Δaa, when the driver's emotion is in a “fun” state (indicated by a circle in FIG. 8), in the driving skill DT2, the “fun area PA” And “anxiety region PB” are determined to exist between P6 ′ and P6 ″.
このような処理を終えると、その処理結果を利用し、ドライバーの感情マップの「楽しい領域PA」と「不安領域PB」の境界線AL1は、上記の例で言えば、P5’とP5’’の中間点と、P6’とP6’’の中間点を結ぶ境界線AL1’に修正され、それが個別データDB4に記憶される。そして、これ以降の短期期間周期の処理において、運転支援のアシスト量は、修正された境界線AL1’と元々の境界線AL2により各領域が区分けされたドライバー感情マップにより算出される。 When such processing is finished, the processing result is used, and the boundary line AL1 between the “fun area PA” and the “anxiety area PB” of the driver's emotion map is P5 ′ and P5 ″ in the above example. And the boundary line AL1 ′ connecting the intermediate point between P6 ′ and P6 ″ is stored in the individual data DB4. In the subsequent short-term cycle processing, the driving assistance assist amount is calculated from a driver emotion map in which each region is divided by the corrected boundary line AL1 'and the original boundary line AL2.
上記とは逆に「楽しい領域PA」と、「退屈領域PC」の境界線AL2がドライバーに適合していない場合には、次のように処理される。例えば図9に示すように、ある環境難易度についての運転支援の際に、その運転支援時における運転技量がDT1である下で(S62で評価)、初回のアシスト量aaにより座標がP5となっても、ドライバーの感情が「退屈」状態(図9中、▲で表す)にあり、2回目のアシスト量aa―Δaaにより座標がP5’になっても、ドライバーの感情が「退屈」状態(図9中、▲で表す)にあり、3回目のアシスト量aa―2Δaaにより座標がP5’’になって初めて、ドライバーの感情が「楽しい」状態(図9中、○で表す)になったときには、運転技量DT1において、「楽しい領域PA」と「退屈領域PC」の境界は、P5’とP5’’の中間に存在すると判断される。 Contrary to the above, when the boundary line AL2 between the “fun area PA” and the “bored area PC” does not match the driver, the following processing is performed. For example, as shown in FIG. 9, when driving assistance for a certain environmental difficulty level, the driving skill at the time of driving assistance is DT1 (evaluated in S62), and the coordinates become P5 by the initial assistance amount aa. However, even if the driver's emotion is in the “bored” state (represented by ▲ in FIG. 9) and the coordinates are P5 ′ due to the second assist amount aa−Δaa, the driver's emotion is in the “bored” state ( The driver's emotion became “fun” (represented by a circle in FIG. 9) only after the coordinates became P5 ″ due to the third assist amount aa−2Δaa. Sometimes, in the driving skill DT1, it is determined that the boundary between the “fun area PA” and the “bored area PC” is between P5 ′ and P5 ″.
このような処理は、他の運転支援データ(1週間の間に蓄えられた各運転支援データ等)についても同様に行われる。別の環境難易度についての運転支援の際に、その運転支援時における運転技量がDT2である下で(S62で評価)、初回のアシスト量aaにより座標が座標P7となっても、ドライバーの感情が「退屈」状態(図9中、▲で表す)にあり、2回目のアシスト量aa―Δaaにより座標が座標P7’になっても、ドライバーの感情が「退屈」状態(図9中、▲で表す)にあり、3回目のアシスト量aa―2Δaaにより座標が座標P7’’になって初めて、ドライバーの感情が「楽しい」状態(図9中、○で表す)になったときには、運転技量DT2において、「楽しい領域PA」と「退屈領域PC」の境界は、P7’とP7’’の中間に存在すると判断される。 Such processing is similarly performed for other driving assistance data (such as driving assistance data stored for one week). When driving assistance for another environmental difficulty level, the driving skill at the time of driving assistance is DT2 (evaluated in S62), and the driver's emotions even if the coordinate is set to coordinate P7 by the first assist amount aa Is in a “bored” state (represented by ▲ in FIG. 9), and the driver's emotion is in a “bored” state (in FIG. 9, ▲ in FIG. 9) even if the coordinates become coordinates P7 ′ by the second assist amount aa−Δaa. When the driver's emotion is in a “fun” state (represented by a circle in FIG. 9) for the first time when the coordinates become coordinate P7 ″ by the third assist amount aa−2Δaa. In DT2, it is determined that the boundary between the “fun area PA” and the “bored area PC” exists between P7 ′ and P7 ″.
このような処理を終えると、その処理結果を利用し、ドライバーの感情マップの「楽しい領域PA」と「退屈領域PC」の境界線AL2は、上記の例で言えば、P5’とP5’’の中間点と、P7’とP7’’の中間点を結ぶ境界線AL2’に修正され、それが個別データDB4に記憶される。そして、これ以降の短期期間周期の処理において、運転支援のアシスト量は、修正された境界線AL2’と元々の境界線AL1とにより各領域が区分けされたドライバー感情マップにより算出される。 When such processing is finished, the processing result is used, and the boundary line AL2 between the “fun area PA” and the “boring area PC” of the driver's emotion map is P5 ′ and P5 ″ in the above example. And the boundary line AL2 ′ connecting the intermediate points of P7 ′ and P7 ″ are stored in the individual data DB4. In the subsequent short-term cycle processing, the driving assistance assist amount is calculated by a driver emotion map in which each region is divided by the corrected boundary line AL2 'and the original boundary line AL1.
(駐車支援における実施形態)
次に、上記運転支援として、駐車支援とした場合の実施形態について説明する。
本実施形態においては、運転支援装置2は、運転支援として駐車支援を行うように設定されており、その運転支援装置2には、図10に具体的に示すように、外部情報取得装置3として車外カメラ(以下、同符号3を使用)、車両情報取得装置4として車両情報取得用の各種センサ(以下、同符号4を使用)、ドライバー行動取得装置5として車室内カメラ14、ドライバー感情取得装置6として車室内カメラ14及び発汗センサ6a、情報通信装置7として、駐車場サービスセンタ15の送受信機16との間で送受信を行う送信機7a及び受信機7bがそれぞれ設けられている。さらには、自車位置を検出すべく、GPS(Global Positioning System)センサ17も設けられている。
また、車載制御装置8は、図10に示す具体的構成を有しており、そこでの処理に基づき、ドライバーにとって楽しいと感じる「楽しい領域PA」での駐車支援が実現されることになっている。楽しいと感じる駐車支援は、駐車に関し、運転技量の向上をもたらすからである(図1参照)。
(Embodiment in parking support)
Next, an embodiment in which parking assistance is used as the driving assistance will be described.
In the present embodiment, the driving
Further, the in-
上記内容をなす車載制御装置8は、記憶部18と、駐車スペース・障害物検出部19と、車両1の学習プロセス部20とを備えている。
記憶部18は、自車の車両サイズを記憶すると共に、GPSセンサ17から受け取る自車位置情報を記憶しており、この記憶部18が記憶する自車情報は、送信機7aにより駐車場サービスセンタ15の送受信機16に送信されることになる。
駐車スペース・障害物検出部19には、駐車場の駐車(空き)スペース位置データ、経路上にある障害物情報等が駐車場サービスセンタ15の送受信機15、受信機7bにより送り込まれると共に、車外カメラ3からも障害物情報が入力されることになっており、これら情報に基づき、この駐車スペース・障害物検出部19においては、駐車スペース、障害物が検出される。
The in-
The
The parking space /
車両1の学習プロセス部20は、ドライバー行動記録・分析部21と、お手本データとの比較・分析部22と、ドライバー技量評価部(運転技量評価手段)23と、ドライバー感情マップ作成・修正部(設定手段)24と、を備えており、これらは、本実施形態においては、1週間毎の間隔をあけて作動することになっている。
The
ドライバー行動記録・分析部21には、前記駐車スペース・障害物検出部19の検出結果情報、GPSセンサ17からの自車位置情報、各種センサ4からの車速、舵角、アクセル開度等の各種車両情報、車室内カメラ14(ドライバー行動取得装置5)からのドライバーの視線位置情報が入力され、このドライバー行動記録・分析部21において、これらのドライバー行動情報と車両情報等とからドライバー行動特性等が求められる。そして、このドライバー行動特性等は情報記憶装置11におけるドライバー行動データ部11aに記録(保存)され、そのドライバー行動特性等は、必要に応じて取り出される。
The driver action recording /
お手本データとの比較・分析部22には、ドライバー行動データ部11aからのデータがドライバー行動記録・分析部21を介して入力されると共に、駐車場サービスセンタ15からのお手本データ(駐車までのお手本データ)が入力されることになり、このお手本データとの比較・分析部22において、その両データが比較・分析される。
The comparison /
ドライバー技量評価部(運転技量評価手段)23には、お手本データとの比較・分析部22での分析結果情報が入力され、そのドライバー技量評価部23において、ドライバーの技量が評価される。本実施形態においては、ドライバーの技量として、駐車の際の車両軌跡をイメージする技量、車幅間隔をイメージする技量、運転操作の技量の3種類が評価される。車両軌跡をイメージする技量に関しては、お手本データ(軌跡)とのずれ量に基づいて判断され、車幅間隔をイメージする技量に関しては、駐車時における駐車スペース仕切り線からの逸脱量に基づいて判断される。運転操作の技量に関しては、運転操作時のお手本データのタイミングからのずれ量に基づいて判断される。これらの技量は、ドライバー技能データ部11bに保存され、必要に応じて、そのドライバー技能データ部11bから取り出される。
The driver skill evaluation section (driving skill evaluation means) 23 receives analysis result information from the comparison /
ドライバー感情マップ作成・修正部(設定手段)24には、上記ドライバー技量評価部23でのドライバーの技量評価情報と後述の駐車難易度算出部25での駐車難易度(環境難易度)等が入力されると共に、車室内カメラ14及び発汗センサ6a(ドライバー感情取得装置6、感情検出手段)からのドライバー感情情報が、ドライバー感情検出部28を介して入力されており、これら情報に基づき、ドライバー感情マップとして、図11に示すように、駐車の際の車両軌跡をイメージする技量についての感情マップ(以下、マップAという)、車幅間隔をイメージする技量についての感情マップ(以下、マップBという)、運転操作の技量についての感情マップ(以下、マップCという)が作成(修正)される。このようなマップA、B,Cは、情報記憶装置11におけるドライバー感情マップ部11cに保存され、必要に応じて取り出される。
The driver emotion map creation / correction unit (setting means) 24 inputs the driver skill evaluation information in the driver
また、車載制御装置8は、駐車難易度算出部(駐車難易度算出手段)25、アシスト量算出部(運転者状態特定手段、運転支援選定手段)27、ドライバー感情検出部28、アシスト量修正部(運転者状態特定手段、運転支援修復手段)29、フィードバックお手本教示部30(表示指示手段)と、を備えている。
The in-
駐車難易度算出部25には、駐車スペース・障害物検出部19の検出結果情報が入力されており、駐車難易度算出部25は、その駐車スペース・障害物検出部19の検出結果情報に基づき、駐車スペースの位置から自車までの軌跡を推定し、切り返しの回数、駐車スペース周辺の障害物の有無等から駐車難易度を算出する。この駐車難易度の算出については、駐車場サービスセンタ15が行い、それを車載制御装置8が受け取ってもよい。この駐車難易度算出部25からの出力情報は、情報表示装置13に出力されており、表示装置13は、駐車難易度算出部25からの出力情報に基づき、図12に示すように、駐車スペースを表示することになるが、このとき、駐車スペースへの駐車難易度も併せて表示してもよい。
Detection result information of the parking space /
アシスト量算出部27には、ドライバー技能データ部11bのデータ(運転技量)がドライバー技量評価部23を介して入力されると共に、ドライバー感情マップ部11cの各マップデータがドライバー感情マップ作成・修正部24を介して入力され、さらには、駐車難易度算出部25により求められた駐車難易度も入力される。このアシスト量算出部27においては、図11に示すように、駐車場難易度算出部25が算出した環境難易度とドライバー技能データ部11bにおける各運転技能とに基づき、マップA、B,C上に、当初座標点P1をプロットする。そして、その当初座標点P1が各マップにおける「楽しい領域PA」内に位置するときには、ドライバーが楽しい状態にありドライバーの運転技量の向上を図ることができるとして、アシスト量算出部27は、車両駆動装置12又は表示装置13に制御又は表示信号は出力せず、運転支援を行わないが、図11に示すように、当初座標点P1が各マップにおける「楽しい領域PA」内に位置しないときには、運転支援を行う必要があるとして、当初座標点P1とドライバーのそのときの運転技量の下での「楽しい領域PA」の基準値との差分がアシスト量aa(図11の矢印)として求められ、そのアシスト量aaに応じた運転支援を行うべく、アシスト量算出部27から車両駆動装置12又は表示装置13に制御又は表示信号が出力される。これにより、運転支援として、車両駆動装置12は、自動ブレーキ、自動操舵、自動アクセル等のアシスト駆動を行い、表示装置13は、アシスト表示を行う。
Data (driving skill) of the driver
ドライバー感情検出部28には、車室内カメラ14及び発汗センサ6aからの信号に加えて、アシスト量算出部27からの出力信号が入力されており、ドライバー感情検出部28は、アシスト量算出部27が算出したアシスト量aaに基づく運転支援の際におけるドライバーの感情を検出する。
In addition to signals from the
アシスト量修正部29には、ドライバー感情検出部28からの出力情報(楽しくないこと、不安等のドライバー感情)が入力されており、その出力情報に基づき、前述のアシスト量算出部27でのアシスト量aaの実行(図11参照)によっても、ドライバー感情が、「楽しい」状態と判断されないときには、図6に示すように、ドライバー感情が「楽しい」状態となるまでアシスト量が修正され(aa+Δaa,aa+2Δaa・・・)、その修正されたアシスト量に対応した運転支援を行うべく、アシスト量修正部29は、車両駆動装置12又は表示装置13に制御又は表示信号を出力する。勿論このとき、ドライバー感情を判断するためにドライバー感情検出部28による検出が行われ、その検出結果は記憶される。
The assist
フィードバックお手本教示部(表示指示手段)30には、ドライバー感情検出部28からの出力情報が入力されており、そのフィードバックお手本教示部30は、表示装置13に、駐車結果表示を行わせ、その中で、ドライバーの運転結果の分析内容等を表示させる。
Output information from the driver
上記車両用運転技量育成装置(車載制御装置)の制御例について、図13,図14に示すフローチャートに基づいて具体的に説明する。尚、図13,図14における符号Sは、ステップを示す。 A control example of the vehicle driving skill training device (on-vehicle control device) will be specifically described based on the flowcharts shown in FIGS. 13 and 14. In addition, the code | symbol S in FIG. 13, FIG. 14 shows a step.
運転支援装置2(車載制御装置8)においては、実行タイミングが異なる2つの制御が行われる。一方が、1週間毎の長期期間周期をもって行われるものであり、他方が、100msec毎の短期期間周期をもって行われるものである。 In the driving support device 2 (vehicle-mounted control device 8), two controls with different execution timings are performed. One is performed with a long-period period of every week, and the other is performed with a short-term period of every 100 msec.
先ず、100msec毎の短期期間周期の下での制御について説明する。制御のスタートから100msec毎に、自車情報がインフラとしての駐車場サービスセンタ15(管理サーバー)の送受信機16に発信される(S1,S2)。この自車情報は、自車位置、車両サイズ等である。これに基づき、駐車場サービスセンタ15が駐車スペース情報及びお手本データ(駐車スペースへ駐車するための車両軌跡、切り返し回数情報等)を発信し、これを自車は受信する(S3)。この後、自車1は、車外カメラ3により駐車スペース周辺の障害物(車両等)の位置情報等を検出し(S4)、このS4の情報と駐車場サービスセンタ15からの情報とに基づき、駐車場の難易度を算出する(S5)。図12A〜Dは、駐車場の難易度算出の一例を示している。図12Aから図12Dに向うに従って難易度が高くなっており、この難易度の判断は、駐車場からの駐車スペース情報、駐車スペースへ駐車するための車両軌跡や切り返しの回数、駐車スペース周辺の障害物の有無等の情報の下に行われる。図12A〜Dの各図において、斜線部分は、自車1が駐車するスペースである。
First, control under a short period period every 100 msec will be described. The vehicle information is transmitted to the
駐車場の難易度が算出されると、ドライバーの運転技量が長期期間周期ごとに算出され記憶されているドライバー技能データから読み込まれる(S6)。本実施形態においては、ドライバーの運転技量として、車両軌跡のイメージ、車幅間隔のイメージ、運転操作についてのものが読み込まれる。そして、このドライバーの運転技量が所定値以下か否かが判別される(S7)。運転技量が不足している場合には、安全のために、ドライバーの感情にかかわらずアシストする必要があるからである。判断基準としてのS7の所定値は、この観点から設定されている。このため、S7がYESのときは、S8において、自動運転の運転支援が強制的に行われ、処理が終了する。一方、S7がNOのときには、S10に進み、以降においてドライバー感情マップA,B、Cにより、アシスト量が算出される。 When the difficulty level of the parking lot is calculated, the driving skill of the driver is read from the driver skill data calculated and stored for each long-term period (S6). In the present embodiment, as the driving skill of the driver, an image of a vehicle trajectory, an image of a vehicle width interval, and a driving operation are read. And it is discriminate | determined whether this driver | operator's driving skill is below a predetermined value (S7). This is because when the driving skill is insufficient, it is necessary to assist for safety regardless of the driver's feelings. The predetermined value of S7 as a determination criterion is set from this viewpoint. For this reason, when S7 is YES, in S8, driving assistance of automatic driving is forcibly performed, and the process ends. On the other hand, when S7 is NO, the process proceeds to S10, and the assist amount is calculated from the driver emotion maps A, B, and C thereafter.
S10においては、S6におけるドライバーの各運転技量と、駐車場における駐車スペースに対する駐車難易度とからなる座標点P1が、図11のマップAにおける「楽しい領域PA」に属するか否かが判別される。車両軌跡のイメージの技量に関して、運転支援する必要があるか否かを判断するためである。 In S10, it is determined whether or not the coordinate point P1 composed of each driving skill of the driver in S6 and the parking difficulty level for the parking space in the parking lot belongs to the “fun area PA” in the map A of FIG. . This is to determine whether or not it is necessary to provide driving assistance regarding the skill of the image of the vehicle trajectory.
S10がYESと判定されて、当初座標点P1がマップAの「楽しい領域PA」にあるときには、ドライバーにとって楽しい状態(自己実現の状態)にあることから、車両軌跡に対するアシストは行わず、S11へ移行する。S11においては、車幅間隔のイメージに関する運転支援をすべきか否かを判別すべく、当初座標点P1がマップBにおける「楽しい領域PA」内に属するか否かが判別される。このS11がYESのときは、当初座標点がマップBにおける「楽しい領域PA」内に属しているときであり、このときには、車両間隔に対するアシストは行わず、S12へ移行する。S12においては、運転操作に関する運転支援をすべきか否かを判別すべく、当初座標点P1がマップCにおける「楽しい領域PA」内に属するか否かが判別される。このS12がYESのときは、当初座標点P1がマップCにおける「楽しい領域PA」内に属しているときであり、このときには、運転操作に対するアシストの必要性がないとして、S13における駐車完了判別ステップに進む。 When S10 is determined to be YES and the initial coordinate point P1 is in the “fun area PA” of the map A, the driver is in a fun state (self-fulfilled state), so no assistance is provided for the vehicle trajectory, and the process proceeds to S11. Transition. In S11, it is determined whether or not the initial coordinate point P1 belongs to the “fun area PA” in the map B in order to determine whether or not driving assistance regarding the image of the vehicle width interval should be performed. When this S11 is YES, it is a time when the initial coordinate point belongs to the “fun area PA” in the map B. At this time, the assist to the vehicle interval is not performed, and the process proceeds to S12. In S12, it is determined whether or not the initial coordinate point P1 belongs to the “fun area PA” in the map C in order to determine whether or not driving assistance related to the driving operation should be performed. When this S12 is YES, it is a time when the initial coordinate point P1 belongs to the “fun area PA” in the map C. At this time, it is determined that there is no necessity for assisting the driving operation, and the parking completion determining step in S13. Proceed to
一方、前記S10がNOのときには、車両軌跡のイメージに関して、運転支援する必要があるとして、その車両軌跡のイメージに関するアシスト量aaが、当初座標点P1の環境難易度と、マップAにおける「楽しい領域PA」の基準値との差分に基づき求められ(図15参照)、そのアシスト量aaの大きさに応じた車両軌跡のイメージに関する支援が算出される(S14)。具体的には、車両軌跡のイメージに関するアシスト量aaは、例えば、駐車までの車両軌跡等(車両軌跡、ステアリング角度)の表示のきめ細かさ、また、その表示タイミングと対応関係にあり、そのアシスト量aaは、その値が大きくなるほど、車両軌跡の表示がきめ細くなり、また、その表示タイミングが早くなる。図12は、車両軌跡のイメージに関する運転支援例を示したものであり、車両軌跡(矢印)、ステアリング角度が、運転支援の程度に応じて、表示され、また、表示タイミングが調整される。 On the other hand, when S10 is NO, it is necessary to provide driving assistance with respect to the image of the vehicle trajectory, and the assist amount aa related to the image of the vehicle trajectory corresponds to the environmental difficulty level of the initial coordinate point P1 and the “fun area in the map A”. Based on the difference from the reference value of “PA” (see FIG. 15), assistance regarding the image of the vehicle trajectory according to the magnitude of the assist amount aa is calculated (S14). Specifically, the assist amount aa relating to the image of the vehicle trajectory has a corresponding relationship with, for example, the fineness of display of the vehicle trajectory until parking (vehicle trajectory, steering angle), and the display timing thereof. As the value of aa increases, the display of the vehicle trajectory becomes finer and the display timing thereof becomes earlier. FIG. 12 shows an example of driving assistance related to the image of the vehicle trajectory. The vehicle trajectory (arrow) and the steering angle are displayed according to the degree of driving assistance, and the display timing is adjusted.
上記S14の後、前記S11へ移行し、そのS11において、当初座標点P1がマップBの「楽しい領域」内にあるか否かが判別される。このS11がNOのときには、車幅間隔のイメージに関して運転支援する必要があるとして、その運転支援をどのようにするかを決めるべく、S16において、前記S14と同様の手法により、図16のマップBに示されるように、アシスト量aaが算出され、そのアシスト量aaに応じた車幅間隔のイメージに関する運転支援が算出される(S16)。具体的には、車幅間隔に関するアシスト量aaは、コーナーセンサーや、フロント、サイド、リアの各カメラにより表示される自車と障害物との間の距離の表示タイミングと対応関係にあり、そのアシスト量aaは、その値が大きいほど、その表示タイミングが早くなる。 After S14, the process proceeds to S11, where it is determined whether or not the initial coordinate point P1 is within the “fun area” of the map B. When this S11 is NO, it is necessary to provide driving assistance regarding the image of the vehicle width interval, and in S16, a map B shown in FIG. As shown in FIG. 4, the assist amount aa is calculated, and the driving assistance regarding the image of the vehicle width interval according to the assist amount aa is calculated (S16). Specifically, the assist amount aa related to the vehicle width interval is in correspondence with the display timing of the distance between the vehicle and the obstacle displayed by the corner sensor and the front, side, and rear cameras. As the assist amount aa is larger, the display timing is earlier.
上記S16の後、前記S12へ移行し、そのS12において、当初座標点P1がマップCの「楽しい領域」内にあるか否かが判別される。このS12がNOのときは、当初座標点がマップCにおける「楽しい領域PA」内に属していないときであって運転操作に関して運転支援をすべきときであり、このときには、図17のマップCに示されるように、アシスト量aaが算出される。(S17)。具体的には、車幅間隔に関するアシスト量aaは、車両の自動操作システムの操作タイミングと対応関係にあり、そのアシスト量aaは、その値が大きいほど、その自動操作システムの操作タイミングが早くなる。 After S16, the process proceeds to S12, in which it is determined whether or not the initial coordinate point P1 is within the “fun area” of the map C. When this S12 is NO, it is a time when the initial coordinate point does not belong to the “fun area PA” in the map C and driving assistance should be provided for the driving operation. At this time, the map C in FIG. As shown, the assist amount aa is calculated. (S17). Specifically, the assist amount aa related to the vehicle width interval has a corresponding relationship with the operation timing of the automatic operation system of the vehicle. The larger the value of the assist amount aa, the earlier the operation timing of the automatic operation system. .
そして、上記のS14,S16,S17で求めた運転支援がS15で実行され、その際、その効果を確認すべく、ドライバーの感情・心理が推定され、そのときの駐車場難易度、アシスト量、運転技量、ドライバー感情が記憶される(S18)。このドライバー感情・心理の推定は、車室内カメラ14,発汗センサ6a(ドライバー感情取得装置6)から楽しさ、安心感等の感情を検出し、その検出結果と情報記憶装置11における感情・心理推定用データとの比較・照合によりドライバーの感情度合いを特定する。
なお、S15において実行されるマップAによる「車両軌跡に対するアシスト」と、マップBによる「車幅間隔に対するアシスト」と、マップCによる「運転操作に対するアシスト」は、それぞれ、実施タイミングが異なっており、S18の感情・心理推定は、それぞれのアシストが実施された直後に実施されるため、各アシストが、「楽しい」「不安」「退屈」のいずれであるかが推定される。
Then, the driving assistance obtained in S14, S16, S17 is executed in S15. At that time, in order to confirm the effect, the driver's emotion / psychology is estimated, and the parking lot difficulty, the assist amount, The driving skill and driver feeling are stored (S18). The estimation of the driver emotion / psychology is performed by detecting emotions such as enjoyment and security from the
The execution timing of “assist for vehicle trajectory” by map A executed in S15, “assist for vehicle width interval” by map B, and “assist for driving operation” by map C are different, respectively. Since the emotion / psychological estimation in S18 is performed immediately after each assist is performed, it is estimated whether each assist is “fun”, “anxiety”, or “bored”.
上記S18の後、S27において、各アシストの全てに対し、ドライバー感情が「楽しい」と推定されるかが判別される。このS27がYESであるときには、前記S13へと移行する一方、S27がNOであるときには、S19へ移行して、S27のNOが車両軌跡のアシスト実施直後であるか否かが判別される。S19がYESであるときには、マップAによるアシスト量が不適切であったとしてS22へ移行し、そこでマップAにより、図6にて説明したように、予め決めておいた補正量により、アシスト量が修正される。このS22の処理を終えると、S20へ移行し、S20においても、上記と同様、S27のNOが車幅間隔のアシスト実施直後であるか否かが判別される。S20がYESであるときには、マップBによるアシスト量が不適切であったとしてS23へ移行し、そこでマップBにより、図6にて説明したように、予め決めておいた補正量により、アシスト量が修正される。このS23の処理を終えると、S21へ移行し、S21においても、上記と同様、S27のNOが運転操作のアシスト実施直後であるか否かが判別される。S21がYESであるときには、マップCによるアシスト量が不適切であったとしてS24へ移行し、そこでマップCにより、図6にて説明したように、予め決めておいた補正量により、アシスト量が修正される。このS24の後、再度、S15へ移行し、上記と同様に、S15以降の処理が繰り返し実行される。
なお、S19、S20、S21がNOときには、それぞれ、マップA、マップB、マップCによるアシストが適切であったとして、アシスト量の補正は行わない。
こうして、S27にてYESと判定されるまで、アシスト量の補正が実施され、S27で、YESと判定されると、S13へ移行する。
After S18, in S27, it is determined whether the driver emotion is estimated to be “fun” for all the assists. When S27 is YES, the process proceeds to S13. When S27 is NO, the process proceeds to S19, and it is determined whether or not NO in S27 is immediately after the vehicle track assist is performed. When S19 is YES, it is determined that the assist amount based on the map A is inappropriate, and the process proceeds to S22, where the assist amount is determined based on the predetermined correction amount as described with reference to FIG. Will be corrected. When the process of S22 is completed, the process proceeds to S20, and in S20 as well, it is determined whether or not NO in S27 is immediately after the vehicle width interval assist is performed. When S20 is YES, it is determined that the assist amount based on the map B is inappropriate, and the process proceeds to S23, where the assist amount is determined based on the correction amount determined in advance according to the map B as shown in FIG. Will be corrected. When the process of S23 is completed, the process proceeds to S21. In S21 as well, it is determined whether or not NO in S27 is immediately after the execution of the assist operation. When S21 is YES, it is determined that the assist amount based on the map C is inappropriate, and the process proceeds to S24, where the assist amount is determined based on the correction amount determined in advance according to the map C as described in FIG. Will be corrected. After S24, the process proceeds to S15 again, and the processes after S15 are repeatedly executed as described above.
When S19, S20, and S21 are NO, the assist amount is not corrected assuming that the assistance by the map A, the map B, and the map C is appropriate.
Thus, the assist amount is corrected until YES is determined in S27, and if YES is determined in S27, the process proceeds to S13.
前記S13の駐車完了判別ステップに進むと、そこにおいて、駐車が完了したか否かが判別される。このS13がNOのときには、前記S18に戻される一方、S13がYESのときには、S25において、駐車開始(駐車場の送受信機との送受信開始時)から駐車完了するまでのドライバーの行動データ等がドライバー行動データ部11aに記憶される。この場合、ドライバー行動データとしては、具体的には、駐車場の難易度、ドライバーの操作に応じた車速等の信号、そのときのお手本データ、ドライバー感情等が記憶される。
When the process proceeds to the parking completion determination step of S13, it is determined whether or not parking is completed. When S13 is NO, the process returns to S18. When S13 is YES, in S25, the driver's action data from the start of parking (when transmission / reception to / from the parking lot transmitter / receiver starts) until the completion of parking is performed. It is memorize | stored in the
ドライバーの行動データが記憶されると(S25)、次のS26において、駐車結果表示が行われる。例えば、図18は、表示装置13において、駐車結果の一例を示したものである。その画面上においては、ドライバーの運転結果(実線:f1で示す)と理想の車両軌跡(点線:f0)とから課題や苦手な点を分析し、運転のポイントをアドバイスすることなる。具体的には、表示装置13の画面の左半分で、例えば、B1ではステアリング操作が遅いこと、B2ではバックする際に速度が速すぎること、B3ではステアリング操作量が多いこと、B4では右後方への注意が足りないこと等が表示され、表示装置13の画面の右半分で、駐車結果に関する運転技量の評価が値の大きさをもって示されると共に、その評価となった理由、その駐車結果に基づく指導(対応)内容、さらには、注意喚起内容が表示される。
また、画面中のキャラクターCHが成長することで、運転技量が現在どのくらいかが視覚的にわかるような表示を表示することで、運転技量の向上を促進させてもよい。
When the action data of the driver is stored (S25), the parking result is displayed in the next S26. For example, FIG. 18 shows an example of the parking result in the
Further, by improving the driving skill by displaying a display that visually indicates how much the driving skill is now as the character CH in the screen grows.
次に、1週間毎の長期期間周期の下での制御について図13、図14により説明する。制御のスタートから1週間目又は前回の制御実行から1週間目となると、ドライバー行動データ部11aから当該車両のドライバーの行動データ等が読み出される(S1’、S2’)。具体的には、ドライバー行動データ部11aからは、駐車場の難易度、ドライバーの操作に応じた車速等の信号、そのときのお手本データ、そのときのドライバーの感情等が読み出される。ドライバー行動データ等が読み出されると、それに基づき、ドライバーの運転技量が算出され、そのドライバーの運転技量は、次のS4’に送られると共に、ドライバー技能データ部11bに記憶される(S3’)。S4’では、図8,図9にて説明したと同様にして、ドライバーの感情マップが作成(修正)される。ドライバー感情マップは、前述した如く、算出したドライバー運転技量、ドライバーの感情等により、ドライバー毎に作成(修正)され、それは、ドライバー感情マップ部11cに記憶される。このような一連の処理は、1週間後に再び、繰り返される。
Next, control under a long-term period of every week will be described with reference to FIGS. In the first week from the start of control or in the first week from the previous execution of control, the action data of the driver of the vehicle is read from the driver
以上により、本実施形態においては、ドライバーは、駐車に関し、楽しい状態で運転することができ、そのときの自己実現に基づき運転技量の向上を図ることができる。尚、環境難易度に対する運転技量(当初座標点P1)が退屈領域に位置するときにも、上記と同様の考え方により、運転操作を難しくすること、すなわち、アシスト量を徐々に少なくすることで、運転技量を向上させることができる。 As described above, in this embodiment, the driver can drive in a fun state with respect to parking, and can improve the driving skill based on self-realization at that time. In addition, even when the driving skill (initial coordinate point P1) with respect to the environmental difficulty level is located in the bored region, by making the driving operation difficult, that is, by gradually reducing the assist amount, Driving skill can be improved.
1 車両
2 運転支援装置(車両用運転技量育成装置)
3 車外カメラ(外部情報取得装置)
6 ドライバー感情取得装置(感情検出手段)
6a 発汗センサ(感情検出手段)
8 車載制御装置
14 車室内カメラ(感情検出手段)
23 ドライバー技量評価部(ドライバー技量評価手段)
24 ドライバー感情マップ作成・修正部(設定手段)
25 駐車難易度算出部(環境難易度算出手段)
27 アシスト量算出部(運転者状態特定手段、運転支援選定手段)
28 ドライバー感情検出部(感情検出手段)
29 アシスト量修正部(運転者状態特定手段、運転支援選定手段)
30 フィードバックお手本教示部(表示指示手段)
PA 楽しい領域(技量向上領域)
P1 当初座標点(運転者状態)
P2 移行座標点(運転者状態)
aa アシスト量(ずれ量)
1
3 External camera (external information acquisition device)
6 Driver emotion acquisition device (Emotion detection means)
6a Sweating sensor (Emotion detection means)
8 On-
23 Driver skill evaluation section (driver skill evaluation means)
24 Driver emotion map creation / correction part (setting means)
25 Parking difficulty level calculator (environmental difficulty level calculation means)
27 Assist amount calculation unit (driver state specifying means, driving support selecting means)
28 Driver Emotion Detection Unit (Emotion detection means)
29 Assist amount correction unit (driver state specifying means, driving support selecting means)
30 Feedback model teaching unit (display instruction means)
PA Fun Area (Skill Improvement Area)
P1 Initial coordinate point (driver state)
P2 Transition coordinate point (driver state)
aa Assist amount (deviation amount)
Claims (4)
運転者の運転操作に基づく運転技量を評価する運転技量評価手段と、
外部環境と運転技量とをパラメータとして、運転者の感情を推定するための感情マップを設定する感情マップ設定手段と、
前記環境難易度算出手段により算出された環境難易度と前記運転技量評価手段により評価された運転技量とを前記感情マップ設定手段により設定された感情マップに照合することにより得られる運転者の感情に基づいて、運転支援を行う運転支援手段と、
を備え、
前記感情マップは、複数の異なる運転支援に応じて複数設定され、
前記運転支援手段は、前記複数の感情マップのそれぞれから得られる運転者の感情が楽しい感情となるように運転支援を行う、
ことを特徴とするドライバ感情に基づく運転支援装置。 An environmental difficulty level calculation means for calculating the environmental difficulty level required for the driving operation of the driver by the external environment of the vehicle;
Driving skill evaluation means for evaluating the driving skill based on the driving operation of the driver;
An emotion map setting means for setting an emotion map for estimating the driver's emotion using the external environment and driving skill as parameters;
The driver's emotion obtained by comparing the environmental difficulty calculated by the environmental difficulty calculation means and the driving skill evaluated by the driving skill evaluation means with the emotion map set by the emotion map setting means. Based on driving support means for driving support,
With
A plurality of emotion maps are set according to a plurality of different driving assistances,
The driving support means performs driving support so that a driver's emotion obtained from each of the plurality of emotion maps becomes a pleasant emotion.
A driving support device based on driver emotions characterized by the above.
前記複数の感情マップが、車両軌跡に関するものと車幅間隔に関するものと運転操作に関するものとされている、ことを特徴とするドライバ感情に基づく運転支援装置。 In claim 1,
The driving support device based on driver emotion, wherein the plurality of emotion maps are related to a vehicle trajectory, a vehicle width interval, and a driving operation.
前記運転支援手段が、
車両軌跡に関しては、駐車までの車両軌跡を表示することにより運転支援を行ない、
車幅間隔に関しては、自車両と障害物との距離を表示することにより運転支援を行い、
運転操作に関しては、自動操作により運転支援を行う、
ことを特徴とするドライバ感情に基づく運転支援装置。 In claim 2,
The driving support means is
Regarding vehicle trajectory, driving assistance is provided by displaying the vehicle trajectory until parking,
Regarding the vehicle width interval, driving assistance is provided by displaying the distance between the vehicle and the obstacle,
As for driving operations, driving assistance is provided by automatic operation.
A driving support device based on driver emotions characterized by the above.
前記運転支援手段が、
車両軌跡に関しては、駐車までの車両軌跡の表示タイミングを変更することにより運転支援によるアシスト量を変更し、
車幅間隔に関しては、自車両と障害物との距離の表示タイミングを変更することにより運転支援によるアシスト量を変更し、
運転操作に関しては、自動操作の操作タイミングを変更することにより運転支援によるアシスト量を変更する、
ことを特徴とするドライバ感情に基づく運転支援装置。 In claim 3,
The driving support means is
Regarding the vehicle trajectory, the assist amount by driving assistance is changed by changing the display timing of the vehicle trajectory until parking,
Regarding the vehicle width interval, change the assist amount by driving assistance by changing the display timing of the distance between the vehicle and the obstacle,
For driving operation, change the assist amount by driving assistance by changing the operation timing of automatic operation,
A driving support device based on driver emotions characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015002119A JP5987923B2 (en) | 2015-01-08 | 2015-01-08 | Driving assistance device based on driver emotion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015002119A JP5987923B2 (en) | 2015-01-08 | 2015-01-08 | Driving assistance device based on driver emotion |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014219319A Division JP6149842B2 (en) | 2014-10-28 | 2014-10-28 | Driver emotion estimation apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015128989A true JP2015128989A (en) | 2015-07-16 |
JP5987923B2 JP5987923B2 (en) | 2016-09-07 |
Family
ID=53760098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015002119A Active JP5987923B2 (en) | 2015-01-08 | 2015-01-08 | Driving assistance device based on driver emotion |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5987923B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017109708A (en) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | Vehicle travel support device |
JP2018082805A (en) * | 2016-11-22 | 2018-05-31 | 日産自動車株式会社 | Discomfort discrimination method and discomfort discrimination device |
JP2018086135A (en) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | Operation support system |
JP2019131145A (en) * | 2018-02-02 | 2019-08-08 | 本田技研工業株式会社 | Controller |
US10399592B2 (en) | 2016-07-11 | 2019-09-03 | Denso Corporation | Drive assist device |
CN110431610A (en) * | 2017-03-31 | 2019-11-08 | 本田技研工业株式会社 | Car-mounted device, information management server, information management system and method |
US10648821B2 (en) | 2017-04-17 | 2020-05-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methodologies for route planning |
US10997155B2 (en) | 2018-04-19 | 2021-05-04 | Hyundai Motor Company | Data classification apparatus, vehicle including the same, and control method of the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007512989A (en) * | 2003-05-16 | 2007-05-24 | ダイムラークライスラー・アクチェンゲゼルシャフト | Method and apparatus for adjusting a driver's load in an automobile |
JP2009115717A (en) * | 2007-11-08 | 2009-05-28 | Pioneer Electronic Corp | Navigation system, navigation method, navigation program, and record medium |
JP2009150821A (en) * | 2007-12-21 | 2009-07-09 | Alpine Electronics Inc | Onboard navigation device |
-
2015
- 2015-01-08 JP JP2015002119A patent/JP5987923B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007512989A (en) * | 2003-05-16 | 2007-05-24 | ダイムラークライスラー・アクチェンゲゼルシャフト | Method and apparatus for adjusting a driver's load in an automobile |
JP2009115717A (en) * | 2007-11-08 | 2009-05-28 | Pioneer Electronic Corp | Navigation system, navigation method, navigation program, and record medium |
JP2009150821A (en) * | 2007-12-21 | 2009-07-09 | Alpine Electronics Inc | Onboard navigation device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017109708A (en) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | Vehicle travel support device |
US10399592B2 (en) | 2016-07-11 | 2019-09-03 | Denso Corporation | Drive assist device |
JP2018082805A (en) * | 2016-11-22 | 2018-05-31 | 日産自動車株式会社 | Discomfort discrimination method and discomfort discrimination device |
JP2018086135A (en) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | Operation support system |
CN110431610A (en) * | 2017-03-31 | 2019-11-08 | 本田技研工业株式会社 | Car-mounted device, information management server, information management system and method |
US10648821B2 (en) | 2017-04-17 | 2020-05-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methodologies for route planning |
JP2019131145A (en) * | 2018-02-02 | 2019-08-08 | 本田技研工業株式会社 | Controller |
US10997155B2 (en) | 2018-04-19 | 2021-05-04 | Hyundai Motor Company | Data classification apparatus, vehicle including the same, and control method of the same |
Also Published As
Publication number | Publication date |
---|---|
JP5987923B2 (en) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5987922B2 (en) | Driving assistance device based on driver emotion | |
JP5640511B2 (en) | Driving skill training device for vehicles | |
JP5987923B2 (en) | Driving assistance device based on driver emotion | |
JP6090340B2 (en) | Driver emotion estimation device | |
US10311652B2 (en) | Method and device for modifying the configuration of a driving assistance system of a motor vehicle | |
CN108885836B (en) | Driving assistance device, driving assistance system, driving assistance method, control device, vehicle, and medium | |
KR102137213B1 (en) | Apparatus and method for traning model for autonomous driving, autonomous driving apparatus | |
US10083605B2 (en) | Method and system for assisting a driver in driving a vehicle and vehicle on which such system is mounted | |
CN110214107B (en) | Autonomous vehicle providing driver education | |
JP6149842B2 (en) | Driver emotion estimation apparatus and method | |
JP4765566B2 (en) | Driving behavior evaluation device | |
JP6613290B2 (en) | Driving advice device and driving advice method | |
US9162572B2 (en) | Interactive attentiveness enhancement | |
US20200079359A1 (en) | Automated parking device and automated parking method | |
CN104641406A (en) | Method and system for providing a tutorial message to a driver of a vehicle | |
JP6930152B2 (en) | Autonomous driving system | |
CN107545803B (en) | Intelligent coach system for driving training | |
US20210284131A1 (en) | Method for operating a transportation vehicle and a control unit for carrying out the method | |
US11847562B2 (en) | Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium | |
JP2015084253A (en) | Driver's feeling estimation device | |
JP4225352B2 (en) | Tracking control device | |
CN111315623B (en) | Vehicle control device | |
JP4743251B2 (en) | Tracking control device | |
JP2004338496A (en) | Vehicular traveling control device | |
US20230128580A1 (en) | Method for Carrying Out a Remote-Controlled Parking Maneuver with a Vehicle Using a Mobile Terminal, and System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5987923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |