JP2023155992A - Estimation device, estimation method, and program - Google Patents
Estimation device, estimation method, and program Download PDFInfo
- Publication number
- JP2023155992A JP2023155992A JP2022065550A JP2022065550A JP2023155992A JP 2023155992 A JP2023155992 A JP 2023155992A JP 2022065550 A JP2022065550 A JP 2022065550A JP 2022065550 A JP2022065550 A JP 2022065550A JP 2023155992 A JP2023155992 A JP 2023155992A
- Authority
- JP
- Japan
- Prior art keywords
- response
- driver
- estimation
- unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000004044 response Effects 0.000 claims abstract description 234
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000033001 locomotion Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本発明は、推定装置、推定方法、およびプログラムに関する。 The present invention relates to an estimation device, an estimation method, and a program.
車両等の運転者の眠気や疲労度等を予測して、必要に応じた警告等を行う技術がある。 There is a technology that predicts the drowsiness and fatigue level of a driver of a vehicle, etc., and issues warnings as necessary.
特許文献１には、食事や睡眠に関する質問への回答内容に基づいて運転者の眠気リスクを予測することが記載されている。 Patent Document 1 describes predicting a driver's drowsiness risk based on the answers to questions regarding meals and sleep.
しかしながら、特許文献１の技術によれば、ドライバは、運転者支援装置により毎回繰り返される同じ質問に、その都度答えることとなる。その結果、運転者が質問に飽きてしまったり、毎回決まったパターンの回答をしてしまったりして、予測制度が低下する可能性があった。 However, according to the technique disclosed in Patent Document 1, the driver has to answer the same questions that are repeated each time by the driver support device each time. As a result, there was a possibility that the driver would get bored with the questions or give answers in a fixed pattern each time, leading to a decline in the prediction accuracy.
本発明が解決しようとする課題としては、運転者の応答を通じて運転者の状態を推定するために出力する情報の、自由度を高めることが一例として挙げられる。 An example of the problem to be solved by the present invention is to increase the degree of freedom of information output for estimating the driver's condition based on the driver's responses.
請求項１に記載の発明は、
移動体の運転者に対して応答を求める要応答情報を出力する出力部と、
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置である。
The invention according to claim 1 includes:
an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
The estimation device includes an estimation unit that estimates the state of the driver based on at least one of appropriateness and timing of the response.
請求項１３に記載の発明は、
一以上のコンピュータにより実行される推定方法であって、
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法である。
The invention according to claim 13 is
An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
The estimation method includes an estimating step of estimating the state of the driver based on at least one of appropriateness and timing of the response.
請求項１４に記載の発明は、
請求項１３に記載の推定方法をコンピュータに実行させるプログラムである。
The invention according to claim 14 is
A program that causes a computer to execute the estimation method according to claim 13.
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Note that in all the drawings, similar components are denoted by the same reference numerals, and descriptions thereof will be omitted as appropriate.
（実施形態）
図１は、実施形態に係る推定装置１０の機能構成を例示するブロック図である。本実施形態に係る推定装置１０は、出力部１２０、検出部１４０および推定部１６０を備える。出力部１２０は、移動体の運転者に対して応答を求める要応答情報を出力する。検出部１４０は、要応答情報に対する運転者の応答を検出する。推定部１６０は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。
(Embodiment)
FIG. 1 is a block diagram illustrating the functional configuration of an
本実施形態において、移動体は特に限定されないが、たとえば、車両、飛行体、または船である。車両としては列車、四輪車、二輪車等が挙げられる。飛行体としてはドローン、航空機等が挙げられる。移動体の運転者はその移動体に搭乗していてもよいし、遠隔で移動体を運転していてもよい。本実施形態に係る推定装置１０は、移動体に搭載されてもよいし、移動体に搭載されていなくてもよい。
In this embodiment, the moving object is not particularly limited, but may be, for example, a vehicle, an aircraft, or a ship. Vehicles include trains, four-wheeled vehicles, two-wheeled vehicles, and the like. Examples of flying objects include drones and aircraft. The driver of the moving object may be on board the moving object, or may be driving the moving object remotely. The
要応答情報は、たとえば運転者への問いかけである。問いかけの例としては、質問、提案、呼びかけが挙げられる。要応答情報に対する運転者の応答は、質問等への回答であってもよいし、相槌であってもよい。質問等への回答としては、「はい」、「うん」等の肯定を示す回答、「いいえ」、「いや」等の否定を示す回答、肯定否定以外の回答が挙げられる。要応答情報に対する運転者の応答としては、発声など音による応答、うなずきなど体の動きによる応答等が挙げられる。 The response-required information is, for example, a question to the driver. Examples of inquiries include questions, suggestions, and calls. The driver's response to the response-required information may be an answer to a question or the like, or may be a response. Examples of answers to questions include affirmative answers such as "yes" and "yes," negative answers such as "no" and "no," and answers other than affirmative and negative. The driver's response to the response-required information includes a sound response such as vocalization, a body movement response such as nodding, and the like.
要応答情報の出力はたとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the response required information is, for example, audio output from a speaker or image output from a display.
検出部１４０は、マイクロフォンを用いた音検出、カメラ等を用いた画像検出、センサ等を用いた動き検出等により、運転者の応答を検出できる。
The
推定部１６０は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。したがって、要応答情報の自由度が高く、バリエーションに富んだ問いかけ等を通じて、運転者の状態を推定できる。 Estimating unit 160 estimates the driver's condition based on at least one of the appropriateness and timing of the response. Therefore, the degree of freedom in response information is high, and the driver's condition can be estimated through a wide variety of questions.
運転者の状態とは、たとえば運転者の疲労度または余裕度である。疲労度には眠気の強さが含まれうる。以下においては、疲労度に関する説明の高低を反転させることで、余裕度に関する説明に読み替えることができる。 The driver's condition is, for example, the driver's fatigue level or reserve level. The level of fatigue may include the level of sleepiness. In the following, by reversing the level of the explanation regarding the fatigue level, the explanation can be read as the explanation regarding the margin level.
図２は、本実施形態に係る推定方法の流れを例示するフローチャートである。本実施形態に係る推定方法は、一以上のコンピュータにより実行される。本推定方法は、出力ステップＳ１０、検出ステップＳ２０、および推定ステップＳ３０を含む。出力ステップＳ１０では、移動体の運転者に対して応答を求める要応答情報が出力される。検出ステップＳ２０では、要応答情報の出力に対する運転者の応答が検出される。推定ステップＳ３０では、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態が推定される。 FIG. 2 is a flowchart illustrating the flow of the estimation method according to this embodiment. The estimation method according to this embodiment is executed by one or more computers. This estimation method includes an output step S10, a detection step S20, and an estimation step S30. In output step S10, response-required information requesting a response from the driver of the mobile object is output. In the detection step S20, the driver's response to the output of the response required information is detected. In estimation step S30, the driver's condition is estimated based on at least one of the appropriateness and timing of the response.
本実施形態に係る推定方法は、本実施形態に係る推定装置１０によって実行されうる。
The estimation method according to this embodiment can be executed by the
以上、本実施形態によれば、推定部１６０は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。したがって、バリエーションに富んだ問いかけ等を通じて、運転者の状態を推定できる。 As described above, according to the present embodiment, the estimation unit 160 estimates the driver's condition based on at least one of the appropriateness and timing of the response. Therefore, the driver's condition can be estimated through a wide variety of questions.
（実施例１）
実施例１に係る推定装置１０は、実施形態に係る推定装置１０と同様の構成を有する。本実施例に係る推定装置１０において、推定部１６０は、少なくとも応答のタイミングに基づいて運転者の状態を推定する。本実施例に係る推定装置１０の機能構成は、図１で例示される。以下に詳しく説明する。
(Example 1)
The
本実施例において推定部１６０は、応答のタイミングに基づいて要応答情報の出力に対する応答時間を特定する。そして推定部１６０は、応答時間に基づいて運転者の状態を推定する。 In this embodiment, the estimating unit 160 specifies the response time for outputting the response-required information based on the timing of the response. The estimation unit 160 then estimates the driver's condition based on the response time.
応答時間はたとえば、出力部１２０が要応答情報を出力してから、検出部１４０が運転者の応答を検出するまでの時間である。要応答情報が音声出力される場合、応答時間は具体的には、問いかけ等の出力が終了してから、運転者の応答が始まるまでの時間である。応答時間は、応答の声が発せられるまでの時間であるほか、うなずき等のアクションが開始されるまでの時間でありうる。
The response time is, for example, the time from when the
推定部１６０は、応答時間が所定の時間Ｔより長い場合に、運転者が疲労していると判断する。推定部１６０はさらに、応答時間が、時間Ｔを大きく超過するほど、運転者の疲労度が高いと推定する。時間Ｔは特に限定されないが、たとえば０秒以上１０秒以下である。推定部１６０はたとえば、運転者が疲労状態であるか否かを示す情報、運転者の疲労度、および運転者の余裕度のうち一以上を推定結果として出力することができる。疲労度は、疲労の強さを示す数値や記号等であり得る。余裕度は、余裕の大きさを示す数値や記号等であり得る。 The estimation unit 160 determines that the driver is fatigued when the response time is longer than the predetermined time T. The estimation unit 160 further estimates that the greater the response time exceeds the time T, the higher the driver's fatigue level. The time T is not particularly limited, but is, for example, 0 seconds or more and 10 seconds or less. The estimating unit 160 can output, for example, one or more of information indicating whether the driver is in a fatigued state, the driver's fatigue level, and the driver's margin level as the estimation result. The degree of fatigue may be a numerical value, symbol, etc. indicating the strength of fatigue. The degree of margin may be a numerical value, symbol, etc. that indicates the size of the margin.
なお、推定部１６０は、複数の応答時間の平均を用いて運転者の状態を判定してもよい。すなわち、出力部１２０が複数の要応答情報を出力し、検出部１４０が各要応答情報に対する運転者の応答を検出し、推定部１６０が各応答についての応答時間を特定する。そして、推定部１６０は、特定した複数の応答時間の平均を算出し、平均と時間Ｔを比較することで、運転者の状態を推定する。
Note that the estimation unit 160 may determine the driver's condition using the average of a plurality of response times. That is, the
推定部１６０は、応答時間または応答時間の平均と疲労度との関係を示す参照情報を用いて、疲労度を特定してもよい。参照情報は予め記憶部１００に保持されており、推定部１６０がそれを読み出して用いる事ができる。参照情報はテーブルまたは数式等でありうる。推定部１６０は、特定した応答時間または応答時間の平均に対応する疲労度を参照情報から抽出し、抽出された疲労度をその運転者の疲労度とする。なお、記憶部１００は推定装置１０に備えられていてもよいし、推定装置１０の外部に設けられていてもよい。記憶部１００が推定装置１０の内部に設けられる場合、例えば記憶部１００は、後述するストレージデバイス１０８０を用いて実現される。
The estimation unit 160 may identify the fatigue level using reference information indicating the relationship between the response time or the average response time and the fatigue level. The reference information is held in advance in the
たとえば出力部１２０は、要応答情報として質問を出力する。それに対して運転者が考え込んでしまいすぐに答えられない場合、疲労度が高いと判定される。その場合、出力部１２０はさらに運転者に休憩を促す出力を行う。一方、運転者がすぐに答えられた場合、疲労度は高くないと判定される。その場合、たとえば回答内容に応じた会話が、出力部１２０による出力によって続けられてもよい。たとえば出力部１２０が「昨日の夜何食べましたか？」という質問を要応答情報として出力し、運転者が「オムライスだった。」とすぐに回答したとする。その場合、推定部１６０が疲労度は高くないと判定し、回答内容に含まれるキーワードに基づいて、出力部１２０が「オムライスといえばおすすめ店は・・・」といった情報提示等の出力をさらに行ってもよい。また、推定部１６０が疲労度は高くないと判定した場合、出力部１２０は、運転者のニーズやパーソナリティを特定するための質問や会話を継続してもよい。推定装置１０によれば、このように推定装置１０と運転者との自然な会話のようなやり取りを通じて、運転者の状態を推定することが可能である。推定部１６０は、出力部１２０の出力に対する運転者の応答を検出部１４０が検知する度に、運転者の状態を推定してもよい。ただし、推定部１６０は、出力部１２０の出力に対する運転者の応答を、検出部１４０が検知しても、運転者の状態を推定しないことがあってもよい。
For example, the
推定装置１０のハードウエア構成について以下に説明する。推定装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、推定装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
The hardware configuration of the
図３は、推定装置１０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、推定装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
FIG. 3 is a diagram illustrating a
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボード、マイクロフォン、カメラ、センサなどの入力装置や、ディスプレイ、スピーカーなどの出力装置が接続される。入出力インタフェース１１００が入力装置や出力装置に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
The input/
ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
ストレージデバイス１０８０は、推定装置１０の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
The
以下に本実施例に係る推定装置１０の各機能構成部について詳しく説明する。
Each functional component of the
出力部１２０は、出力する要応答情報を、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する。出力部１２０は、出力部１２０からアクセス可能な記憶部１００に予め保持された複数の要応答情報から、移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて、出力する要応答情報を選択してもよい。この場合、複数の要応答情報のそれぞれは、特定の位置、特定の天候、特定の日付、特定の時刻、および特定の目的地のうちの一つまたは二つ以上の組み合わせと、予め関連付けられている。出力部１２０は、要応答情報を出力する際の、移動体の位置、天候、日付、時刻、および目的地のうちの一つまたは二つ以上の組み合わせに対応する要応答情報を、複数の要応答情報から抽出する。そうすることで、出力する要応答情報を特定する。
The
または、出力部１２０は、移動体の位置、天候、日付、時刻、および目的地の少なくとも一つを入力とし、要応答情報を出力とするモデルを用いて出力する要応答情報を決定してもよい。このモデルは、たとえば機械学習による学習済みモデルであり、ニューラルネットワークを含む。要応答情報は、モデルによって生成されうる。
Alternatively, the
出力部１２０が出力する要応答情報は、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに関連する情報とすることができる。たとえば出力部１２０は、現在および過去の天候に基づき、「こんなにいい天気は久しぶりですよね？」等の要応答情報を選択する。たとえば出力部１２０は、現在の日付および気温に基づき、「すっかり寒くなりましたね。冬は好きですか？」等の要応答情報を選択する。たとえば出力部１２０は、現在の時刻に基づき、「お腹が空いてきてませんか？」等の要応答情報を選択する。たとえば出力部１２０は、現在の移動体の位置に基づき、「この先右側にあるレストランに入りませんか？」等の要応答情報を選択する。たとえば出力部１２０は、目的地に基づき、「目的地のレストランで何を食べますか？」等の要応答情報を選択する。ただし、出力部１２０は、「昨夜は何を食べましたか？」等、現在の移動体の位置、天候、日付、時刻、および目的地のいずれにも関連しない要応答情報を出力してもよい。要応答情報は、たとえば「犬と猫ではどちらが好きですか？」、「うどんとラーメンではどちらをよく食べますか？」等の、運転者のパーソナリティを推定するための質問であってもよい。また、出力部１２０は、複数の質問等を組み合わせて要応答情報を生成してもよい。
The response-required information outputted by the
出力部１２０は、現在の移動体の位置を示す情報を、移動体に搭載されたＧＮＳＳ（Global Navigation Satellite System）の受信機から取得することができる。出力部１２０は、過去および現在の天候情報、および将来の天候の予報情報をたとえば天候情報を提供するサーバから、通信ネットワークを通じて取得することができる。移動体がある目的地に向かってナビゲートされている場合、出力部１２０は、移動体の目的地を示す情報を、移動体のナビゲーションシステム、または自動運転システム等から取得する事ができる。
The
出力部１２０が、出力する要応答情報を、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定することにより、バリエーションに富んだ質問を出力する事ができる。したがって、質問に対する飽きや、回答のパターン化による推定精度低下を避けることができる。
By determining the response required information to be outputted by the
出力部１２０は、要応答情報を出力する。出力部１２０はたとえば、推定装置１０に接続されたスピーカーに対し、要応答情報を音声出力させるための音データを出力する。または出力部１２０は、推定装置１０に接続されたディスプレイに対し、要応答情報を表示させるための画像データを出力する。なお、画像データは静止画のデータであってもよいし、動画を構成するデータであってもよい。これらのスピーカーおよびディスプレイは、運転者に出力情報を認識させることができるよう設けられている。たとえばスピーカーおよびディスプレイは移動体内に設置されている。
The
出力部１２０はさらに、運転者の応答の内容に基づき、出力すべき広告情報を特定し、推定された運転者の状態が所定の条件を満たすとき、特定した広告情報を出力してもよい。応答の内容は、たとえばパーソナリティを特定するための質問に対する回答内容である。パーソナリティには、好みや得意不得意なこと等が含まれる。または、応答の内容は、直近の要応答情報に対する回答内容であり、空腹であることや、やりたいこと等、運転者の気分や状態を示す内容でありうる。所定の条件を満たすときとは、たとえば、運転者の疲労度が高くないときであり、具体的には、推定部１６０が、運転者が疲労状態でないと判定したとき、推定された運転者の疲労度が所定の疲労度未満であるとき、または推定された運転者の余裕度が所定の余裕度以上であるときである。
The
たとえば記憶部１００に予め保持された複数の広告情報のそれぞれに、予め特定のパーソナリティを示す情報が関連付けられている。出力部１２０は、運転者からの応答の内容に基づいて推定したパーソナリティに対応する、広告情報を抽出する。このようにして出力部１２０は、複数の広告情報のうちから、運転者の好みに応じた広告情報を選択して出力することができる。または、出力部１２０は、さらに移動体の位置に基づいて広告情報を特定して出力してもよい。その他、出力部１２０は、地図情報等に基づき広告情報を生成して出力してもよい。
For example, information indicating a specific personality is associated with each of a plurality of pieces of advertising information stored in the
広告情報の出力は、要応答情報の出力と同様、たとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the advertisement information is, like the output of the response required information, for example, an audio output from a speaker or an image output from a display.
検出部１４０は、運転者の応答を検出する。検出部１４０は、運転者の応答として、質問等への回答を検出してもよいし、要応答情報に対する運転者の相槌を検出してもよい。検出部１４０は、推定装置１０に接続されたマイクロフォンから、運転者の発声等を含む音データを取得することができる。このマイクロフォンはたとえば移動体の運転席のダッシュボード、ステアリングホイール等に設けられる。検出部１４０は、取得した音データを既存の技術を用いて解析することにより、要応答情報に対する運転者の応答を検出できる。
The
そのほか、検出部１４０は、推定装置１０に接続されたカメラから運転者の少なくとも一部を含む画像データを取得してもよい。この画像データは、動画を構成しうる。検出部１４０は、取得した画像データを既存の技術を用いて解析する事により、運転者の挙動を認識する。検出部１４０は、運転者のうなずく挙動や首を横に振る挙動を、要応答情報に対する応答として検出する。
In addition, the
移動体には運転者以外の登場者がいる場合がある。検出部１４０が運転者からの応答であることの特定方法について、以下に説明する。検出部１４０は、たとえば画像により運転席に座っている人物の口の動きの有無を検出する。そして、運転席に座っている人物の口が動いているときに得られる音データを特定する。そして、その音データに運転者の声が含まれるとみなす。また、検出部１４０は、このように特定した運転者の発声に基づいて、運転者の声紋を特定してもよい。そうすれば、以後は画像を用いずに音データから運転者の声を特定できる。そのほか、検出部１４０は、複数のマイクロフォンの音データにより声の発生位置を特定することで、運転者の声を特定してもよい。たとえば複数のマイクロフォンのうち、運転席により近いマイクロフォンで得られた音データにおいて、より大きく取得された声を、運転者の声として特定できる。
There may be a person other than the driver in the moving object. The method by which the
検出部１４０は、音声での応答が検出できない場合にのみ画像でうなずきを検出してもよい。また、要応答情報の出力後、所定の時間以内に検出部１４０が運転者の応答が検出できない場合、出力部１２０は再度、同一の要応答情報または、「聞いてる？」等、別の要応答情報を出力して、運転者の応答を促してもよい。または、要応答情報の出力後、所定の時間以内に検出部１４０が運転者の応答が検出できない場合、推定部１６０は運転者の疲労度が高いと判定してもよい。この場合、推定部１６０は、予め定められた疲労度を、運転者の疲労度とする。
The
推定部１６０は、要応答情報の出力タイミングと、その要応答情報に対する運転者の応答タイミングに基づいて、応答時間を特定する。応答時間については上述したとおりである。要応答情報の出力タイミングを示す信号は出力部１２０から取得できる。その他、要応答情報が音声出力される場合には、検出部１４０を通じてマイクロフォンの音データから、要応答情報の出力タイミングが特定されうる。要応答情報が画像出力される場合には、検出部１４０を通じてカメラの画像データから、要応答情報の出力タイミングが特定されうる。一方、推定部１６０は、検出部１４０の検出結果に基づいて、運転者の応答タイミングを特定する。推定部１６０は、要応答情報の出力タイミングから、その要応答情報に対する運転者の応答タイミングまでの時間を応答時間として特定する。
The estimation unit 160 specifies the response time based on the output timing of the response-required information and the driver's response timing to the response-required information. The response time is as described above. A signal indicating the output timing of the response required information can be obtained from the
推定部１６０は、上述した通り、特定した応答時間と所定の時間Ｔを比較することにより、運転者の状態を推定する。または、１６０は、特定した応答時間と上述した参照情報を用いて運転者の状態を推定する。推定部１６０の推定結果に応じて、出力部１２０がさらに運転者に対し、「休憩して下さい」等、休憩を促す情報を出力してもよい。たとえば、推定部１６０が、運転者が疲労状態であると判定した場合、運転者の疲労度が所定の疲労度以上である場合、または運転者の余裕度が所定の余裕度以下である場合、出力部１２０が休憩を促す情報を出力する。一方、推定部１６０が、運転者が疲労状態でないと判定した場合、運転者の疲労度が所定の疲労度未満である場合、または運転者の余裕度が所定の余裕度超過である場合、出力部１２０は休憩を促す情報を出力しない。
As described above, the estimation unit 160 estimates the driver's condition by comparing the specified response time and the predetermined time T. Alternatively, step 160 estimates the driver's condition using the identified response time and the reference information described above. Depending on the estimation result of the estimation section 160, the
休憩を促す情報の出力は、要応答情報の出力と同様、たとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the information urging the user to take a break is, like the output of the response-required information, for example, an audio output from a speaker or an image output from a display.
＜出力タイミングおよび推定タイミング＞
推定装置１０では、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、出力部１２０が要応答情報を出力するタイミングおよび推定部１６０が運転者の状態を推定するタイミングの少なくとも一方が決定されてもよい。具体例としては、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷の大きさが特定される。そして、運転負荷の大きさに基づいて、出力部１２０が要応答情報を出力するタイミングおよび推定部１６０が運転者の状態を推定するタイミングの少なくとも一方が決定される。
<Output timing and estimated timing>
The
図４は運転負荷と、推定装置１０で行われる処理との関係の第１例を示す図である。運転者の運転中、運転負荷が大きい時に要応答情報が出力されると、運転者の疲労以上に運転負荷の影響で応答の遅れ等が生じる可能性がある。そのような影響を抑制するために、出力部１２０は運転負荷が小さい期間中にのみ要応答情報を出力することが好ましい。または、出力部１２０は、運転負荷が中程度の期間中には要応答情報を出力する一方、推定部１６０はその要応答情報への応答を用いた運転者の状態推定を行わないことが好ましい。
FIG. 4 is a diagram showing a first example of the relationship between the operating load and the processing performed by the
本図の例では、出力部１２０は、運転負荷の指数またはレベルが第２閾値未満である時、要応答情報を出力する。そして、推定部１６０は、その要応答情報に対する運転者の応答に基づいて、運転者の状態を推定する。出力部１２０は、運転負荷の指数またはレベルが第２閾値以上かつ第１閾値未満である時には要応答情報を出力しない。または、出力部１２０は、運転負荷の指数またはレベルが第２閾値以上かつ第１閾値未満である時に要応答情報を出力してもよいが、その場合、推定部１６０はその要応答情報への応答を用いた、運転者の状態推定は行わない。そして、出力部１２０は、運転負荷の指数またはレベルが第１閾値以上である時には要応答情報を出力しない。このように、運転負荷に応じて、出力部１２０による要応答情報の出力タイミングや、その要応答情報を用いた推定部１６０による推定タイミングを決定することが好ましい。
In the example of this figure, the
運転負荷の特定方法について以下に説明する。以下では、出力部１２０が運転負荷を特定する例について説明するが、運転負荷の特定は、出力部１２０が行ってもよいし、推定部１６０が同様の方法で行ってもよい。
The method for identifying the operating load will be explained below. Although an example in which the
出力部１２０は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷を特定できる。運転負荷はたとえば運転の困難さと言い換えることもできる。
The
出力部１２０は、以下のように移動体の現在の位置に基づいて運転負荷を特定できる。出力部１２０は、たとえば記憶部１００から移動体周辺の地図情報を取得する。また、出力部１２０は、移動体に搭載されたＧＮＳＳの受信機から、移動体のその時の現在位置を取得する。そして、出力部１２０は、現在位置と地図情報を照らし合わせることにより、移動体がどのような場所を移動しているかを特定する。そして、出力部１２０は、移動体が位置する場所に応じて運転負荷を判定する。たとえば移動体が車両である場合、交差点、高速道路、車線数が多い道、道幅が狭い道、カーブ、繁華街、駐車場、および料金所の少なくともいずれかに位置するときには、それ以外の場所に位置するときよりも運転負荷が大きいと判定される。
The
出力部１２０は、以下のように移動体の周囲の状況に基づいて運転負荷を特定できる。出力部１２０は移動体に搭載されたカメラやセンサ（ミリ波センサやＬｉＤＡＲ等）から、移動体の周囲の状況を示す情報を取得する。そして、移動体の周囲が混雑している場合、路面の凹凸が大きい場合、路面が濡れている場合等に、それ以外の場合よりも運転負荷が大きいと判定する。また、出力部１２０は過去および現在の天候情報を、天候情報を提供するサーバから取得する。または、出力部１２０は移動体に設けられたセンサ等から得られる情報から、現在の天候を特定する。そして、雨、雪、みぞれ等が現在降っている場合、霧が発生している場合等に、その他の場合よりも運転負荷が大きいと判定する。出力部１２０は、降雨量または降雪量等に応じて運転負荷の大きさを特定してもよい。その他、出力部１２０は、現在の時刻に基づき、夜、夕方、明け方等、周囲が暗い時刻においてはそれ以外の時刻よりも運転負荷が大きいと判定する。出力部１２０は暗さに応じて運転負荷の大きさを特定してもよい。
The
出力部１２０は、以下のように移動体内の状況に基づいて運転負荷を特定できる。出力部１２０は、移動体内を撮像するよう設けられたカメラや、移動体内の音を取得するマイクロフォン等から、車内の状況を示す情報を取得する。そして、出力部１２０は、たとえば移動体内で会話が行われている時には、それ以外の時よりも運転負荷が大きいと判定する。
The
出力部１２０は、以下のように移動体の動作に基づいて運転負荷を特定できる。ナビゲーション装置等が交差点における右左折の案内を開始してから、移動体が右左折を終了するまでの期間や、移動体の速度が所定の速度以上である期間は、それ以外の期間よりも運転負荷が大きいと判定してもよい。出力部１２０は、たとえば移動体のステアリングの状態や速度を示す情報を、移動体の制御装置や各種センサ等から取得できる。
The
運転負荷はたとえば、負荷の大きさを示すレベルや指数によって示される。たとえば以上に説明したような複数の要素（移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作等）の組み合わせに基づいて運転負荷のレベルや指数を算出することもできる。たとえば出力部１２０は、要素ごとに運転負荷の高さを示すスコアを算出し、算出された複数のスコアを用いて得られる演算値（たとえば和、重み付け和、または平均として得られる値）を運転負荷の指数とする。また、指数の属する範囲に基づいてレベル分けすることで、運転負荷の指数を運転負荷のレベルに変換してもよい。
The operating load is indicated by, for example, a level or an index indicating the magnitude of the load. For example, the operating load level and index are calculated based on a combination of multiple factors as explained above (the current position of the moving object, the situation around the moving object, the situation inside the moving object, the movement of the moving object, etc.) You can also. For example, the
推定装置１０では、運転者の生体情報を用いて、出力部１２０が要応答情報を出力するタイミングおよび推定部１６０が運転者の状態を推定するタイミングの少なくとも一方が決定されてもよい。生体情報には脈拍、目の動き、まばたき、表情、体の動き等を示す情報が含まれる、生体情報に基づくタイミングで要応答情報の出力等を行うことで、運転者への不要な問いかけを減らし、効果的に状態推定ができる。
In the
たとえば、運転座席やステアリングホイール等のハンドル等には、運転者の生体情報を取得するための一以上のセンサ（脈拍センサや振動センサ等）が設けられている。また、運転席の周囲には、運転者の顔や目を撮影するカメラが設けられている。そのほか、運転者が運転中に生体情報を取得するためのデバイス（リストバンドやゴーグル等のウェアラブルデバイス）を装着するようにしてもよい。出力部１２０はこれらのセンサ、カメラ、デバイス等から、運転者の生体情報を取得することができる。そして、出力部１２０は取得した生体情報を解析し、たとえば疲労が疑われたことをトリガーとして要応答情報を出力する。疲労が疑われるときの例としては、運転開始直後の所定期間内の平均脈拍数に対して、直近の平均脈拍数が所定値以上変化したとき、目がきょろきょろしたとき、まばたきが所定の頻度以上であるとき、疲れた表情であるとき、体を動かす頻度が所定の頻度以上であるとき等が挙げられる。なお、疲れた表情の検知は、顔の画像を既存の技術で解析することで行える。また、出力部１２０は、解析された運転者の状態に応じて、要応答情報の内容を変化させて出力させてもよい。たとえば、運転者が眠気を催していると解析された場合は、「眠くなっていませんか？」と問いかけてもよいし、運転者が緊張していると解析された場合は、「深呼吸してみませんか？」と問いかけるようにしてもよい。
For example, one or more sensors (pulse sensor, vibration sensor, etc.) for acquiring biological information of the driver are provided on a driver's seat, a steering wheel, or the like. Additionally, a camera is installed around the driver's seat to photograph the driver's face and eyes. In addition, the driver may wear a device (wearable device such as a wristband or goggles) for acquiring biometric information while driving. The
たとえば出力部１２０は、運転者が運転を開始して以降、所定の周期で要応答情報の出力の可否を判定する。そして、上述した方法に従い、要応答情報の出力が可能である場合には、出力部１２０は要応答情報を出力する。
For example, the
＜応答時間の補正＞
推定部１６０は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて応答時間を補正し、補正された応答時間に基づいて運転者の状態を推定してもよい。具体例としては、推定部１６０は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷の大きさを特定する。また、推定部１６０は、運転負荷の大きさに基づいて、応答時間を補正する。そして推定部１６０は、補正された応答時間に基づいて運転者の状態を推定する。運転負荷の特定方法は上述した通りである。
<Response time correction>
The estimation unit 160 corrects the response time based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the movement of the moving object, and calculates the response time based on the corrected response time. The driver's condition may also be estimated by As a specific example, the estimation unit 160 specifies the magnitude of the operating load based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the operation of the moving object. do. Furthermore, the estimation unit 160 corrects the response time based on the magnitude of the operating load. The estimation unit 160 then estimates the driver's condition based on the corrected response time. The method for specifying the operating load is as described above.
運転負荷が大きいときには、通常以上に応答に時間を要することが想定される。そのため、運転負荷の重さに応じ、応答時間を補正したうえで、運転者の状態を推定することにより、推定精度を向上させることができる。 When the operating load is heavy, it is assumed that response time will be longer than usual. Therefore, the estimation accuracy can be improved by estimating the driver's condition after correcting the response time according to the weight of the driving load.
図５は、運転負荷と、推定装置１０で行われる処理との関係の第２例を示す図である。本図の例では、出力部１２０は、運転負荷の指数またはレベルが第２閾値未満である時に、要応答情報を出力する。そして、推定部１６０はその要応答情報に対する応答時間に基づいて、上述した通り運転者の状態を推定する。このとき、運転負荷に基づく応答時間の補正は行われない。また、出力部１２０は運転負荷の指数またはレベルが第２閾値以上かつ第１閾値未満である時には要応答情報を出力する。そして推定部１６０はその要応答情報に対する応答時間を特定し、さらにその応答時間を補正する。例として推定部１６０は、特定した応答時間に補正係数を乗ずることで補正を行う。推定部１６０は、補正後の応答時間と所定の時間Ｔを比較することにより運転者の状態を推定する。補正係数はたとえば０．５以上０．８以下である。補正係数は、所定の固定値であってもよいし、運転負荷の大きさに応じた値であってもよい。出力部１２０は、運転負荷の指数またはレベルが第１閾値以上である時には要応答情報を出力しない。
FIG. 5 is a diagram showing a second example of the relationship between the operating load and the processing performed by the
その他、推定部１６０は、運転負荷に応じて推定に用いる時間Ｔまたは参照情報を変えてもよい。この場合、記憶部１００に予め運転負荷ごとの時間Ｔを示す情報または運転負荷ごとの参照情報が保持される。そして推定部１６０が運転不可に応じた時間Ｔまたは参照情報を記憶部１００から読み出して推定に用いる。
In addition, the estimation unit 160 may change the time T or reference information used for estimation depending on the operating load. In this case, information indicating the time T for each operating load or reference information for each operating load is stored in advance in the
その他、推定部１６０は要応答情報の内容ごとに応答時間を補正してもよい。問いかけの内容によっては考える時間に差が出て標準的な応答時間がバラつく可能性があるからである。たとえば予め要応答情報の内容ごとに複数の運転者の応答時間の統計値（たとえば偏差）を取得し、記憶部１００に保持させておく。そして、推定部１６０は、この統計値に基づいて、要応答情報の内容ごとに応答時間を補正する。推定部１６０は補正後の応答時間と所定の時間Ｔを比較することにより運転者の状態を推定する。
In addition, the estimating unit 160 may correct the response time for each content of response-required information. This is because the time required to think about the question may vary depending on the content of the question, and the standard response time may vary. For example, statistical values (for example, deviations) of response times of a plurality of drivers are obtained in advance for each content of response-required information and stored in the
＜基準時間ＴＳ＞
問いかけ等への応答時間には、ある程度の個人差があると考えられる。そこで推定部１６０は、運転者の過去の応答時間に基づく基準時間ＴＳと、運転者の今回の応答時間との比較に基づいて、運転者の状態を推定してもよい。基準時間ＴＳはたとえば、過去に運転者が移動体の運転を開始してから所定時間が経過するまでの間において、検出部１４０により検出された応答のタイミングに基づいて特定された時間である。所定時間はたとえば５分以上３０分以下である。運転を開始してから長時間経過していない間は、運転者が疲労していない状態であるとみなせる。したがって、そのような期間における応答時間を基準時間ＴＳとして用いることで、推定精度を向上させることができる。
<Standard time T S >
It is thought that there are some individual differences in the response time to questions, etc. Therefore, the estimation unit 160 may estimate the driver's condition based on a comparison between the reference time T S based on the driver's past response times and the driver's current response time. The reference time T S is, for example, a time specified based on the timing of a response detected by the
運転者により運転が開始されると、所定時間が経過するまでに、出力部１２０は第１回目の要応答情報を出力する。そして推定部１６０はその要応答情報に対する応答時間を特定し、基準時間ＴＳとして記憶する。その後、その運転者が運転を続けている間、応答時間を特定する度に、推定部１６０は特定した応答時間から基準時間ＴＳを差し引く。そうすることで推定部１６０は応答時間と基準時間ＴＳとの差を算出する。推定部１６０は、算出された差が大きいほど運転者の疲労度が高いと推定する。なお、基準時間ＴＳを、上述した所定の時間Ｔとして用いてもよい。
When the driver starts driving, the
他の例として、基準時間ＴＳは、移動体の位置ごと、時刻ごと、または移動体の位置と時刻との組み合わせごとの、運転者の過去の応答時間の統計値であってもよい。統計値はたとえば平均値である。 As another example, the reference time T S may be a statistical value of the driver's past response time for each location of the moving object, each time, or a combination of the location of the moving object and the time. The statistical value is, for example, an average value.
たとえば運転者が移動体に搭乗してよく通る位置がある場合、その位置において出力部１２０が要応答情報を出力するようにしておく。そして、推定部１６０は、応答時間を特定すると、その応答時間を位置に対応付けて記憶部１００に記憶させる。また、推定部１６０は、その位置で得られた複数の応答時間の平均値をその位置についての基準時間ＴＳとして算出する。そして、次にその位置で要応答情報が出力され、応答時間が特定された時、推定部１６０は、上述したのと同様に、特定された応答時間と、その位置についての基準時間ＴＳとを比較し、運転者の状態を推定する。同じ位置においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。
For example, if there is a position that the driver often passes while riding in a moving body, the
たとえば運転者が日常的に移動体に搭乗していることが多い時間帯がある場合、その時間帯において出力部１２０が要応答情報を出力するようにしておく。なお、時間帯とは、ある時刻からある時刻までの間の期間を意味する。そして、推定部１６０は、応答時間を特定すると、その応答時間を時間帯に対応付けて記憶部１００に記憶させる。また、推定部１６０は、その時間帯に得られた複数の応答時間の平均値をその時間帯についての基準時間ＴＳとして算出する。そして、次にその時間帯で要応答情報が出力され、応答時間が特定された時、推定部１６０は、上述したのと同様に、特定された応答時間と、その時間帯についての基準時間ＴＳとを比較し、運転者の状態を推定する。同じ時間帯においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。
For example, if there is a time period in which the driver is often riding in a moving body on a daily basis, the
たとえば通勤や通学等のために、同じ時刻に同じ位置を通ることが多い場合、その時間帯および位置において出力部１２０が要応答情報を出力するようにしておく。そして、推定部１６０は、応答時間を特定すると、その応答時間を時間帯と位置との組み合わせに対応付けて記憶部１００に記憶させる。また、推定部１６０は、その時間帯かつその位置で得られた複数の応答時間の平均値をその時間帯と位置との組み合わせについての基準時間ＴＳとして算出する。そして、次にその時間帯かつその位置で要応答情報が出力され、応答時間が特定された時、推定部１６０は、上述したのと同様に、特定された応答時間と、その時間帯と位置との組み合わせについての基準時間ＴＳとを比較し、運転者の状態を推定する。同じ時間帯かつ同じ位置においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。
For example, if the user often passes through the same location at the same time due to commuting to work or school, the
なお、記憶部１００には、運転者ごとに特定された基準時間ＴＳの統計値が保持されてもよい。たとえば記憶部１００には個人識別子と声紋を示す情報とが関連付けられてさらに保持されており、運転者が誰であるかはその声紋により、特定される。声紋の代わりに顔認証により個人が特定されてもよい。たとえば運転者が移動体を運転する度に上記のように基準時間ＴＳが特定される。そして、記憶部１００に保持されたその運転者の個人識別子の基準時間ＴＳの統計値が、新たに特定された基準時間ＴＳを用いて更新される。推定部１６０は、その運転者の基準時間ＴＳの統計値を、基準時間ＴＳの代わりに用い、上述した方法と同様にして運転者の状態を推定できる。
Note that the
その他、推定部１６０は、運転者の生体情報をさらに用いて、運転者の状態を推定してもよい。生体情報については上述した通りである。たとえば推定部１６０は、応答時間を用いて疲労度または余裕度を示す第１スコアを算出し、生体情報を用いて疲労度または余裕度を示す第２スコアを算出する。そして、第１スコアと第２スコアとを用いて得られる演算値（たとえば和、重み付け和、または平均として得られる値）を推定結果としてもよい。たとえば推定部１６０は、上述したように疲労が疑われるときにおいて、それ以外のときよりも第２スコアを高くする。 In addition, the estimation unit 160 may further use the driver's biological information to estimate the driver's condition. The biometric information is as described above. For example, the estimation unit 160 uses the response time to calculate a first score indicating the degree of fatigue or the degree of reserve, and uses biological information to calculate a second score indicating the degree of fatigue or the degree of reserve. Then, a calculated value obtained using the first score and the second score (for example, a value obtained as a sum, a weighted sum, or an average) may be used as the estimation result. For example, the estimation unit 160 sets the second score higher when fatigue is suspected as described above than at other times.
推定部１６０は、運転継続時間や、運転負荷を示す指標の積算値等をさらに用いて運転者の状態を推定してもよい。推定部１６０は、運転継続時間が長いほど、疲労度が高いと推定する。また、運転開始からの運転負荷を示す指標の積算値が大きいほど、疲労度が高いと推定する。運転負荷を示す指標は、運転者が運転をしている間、出力部１２０または推定部１６０が所定の周期で算出する。
The estimating unit 160 may further estimate the driver's condition using the driving duration, the integrated value of the index indicating the driving load, and the like. The estimating unit 160 estimates that the longer the driving duration, the higher the fatigue level. Furthermore, it is estimated that the larger the integrated value of the index indicating the operating load from the start of operation, the higher the degree of fatigue. The index indicating the driving load is calculated by the
本実施例によれば、実施形態と同様の作用および効果が得られる。 According to this example, the same functions and effects as those of the embodiment can be obtained.
（実施例２）
実施例２に係る推定装置１０は、実施形態に係る推定装置１０の構成を有する。本実施例に係る推定装置１０は、以下に説明する点を除いて実施例１に係る推定装置１０と同じである。本実施例に係る推定装置１０において推定部１６０は応答の適正さに基づいて運転者の状態を推定する。ここで、応答の適正さとは、たとえば応答のスムーズさおよび応答の正しさの少なくとも一方である。応答のスムーズさとは、たとえば、言いよどみの有無、および言い直しの有無である。応答の正しさとは、たとえば正答か誤答かである。
(Example 2)
The
応答のスムーズさに基づく推定について、以下に説明する。実施例１において説明したのと同様に、出力部１２０は要応答情報を出力する。すると検出部１４０はマイクロフォンから取得した音データを用いて、運転者の応答を検出する。ここで、検出部１４０はさらに、運転者の言いよどみの有無を検出する。言いよどみには「あー」、「うー」、「うーん」、「えー」、「えっと」等の発声が含まれる。また、検出部１４０は、運転者が応答する際の言い直しの有無を検出する。検出部１４０は既存の技術を用いて音データを解析することで言いよどみの有無および言い直しの有無を検出できる。
Estimation based on response smoothness will be explained below. As described in the first embodiment, the
推定部１６０は、検出部１４０から言いよどみの有無を示す情報および言い直しの有無を示す情報を取得する。そして、推定部１６０は、検出部１４０から取得した情報に基づき、言いよどみがないと特定した場合よりも、言いよどみがあると特定した場合に、運転者の疲労度が高いと推定する。また推定部１６０は、検出部１４０から取得した情報に基づき、言い直しがないと特定した場合よりも、言い直しがあると特定した場合に、運転者の疲労度が高いと推定する。
The estimating unit 160 acquires from the detecting
応答の正しさに基づく推定について、以下に説明する。応答の正しさに基づく推定が行われる場合、出力部１２０は、要応答情報として正しい答えが既知である質問を出力する。出力部１２０が出力する要応答情報の例としては「１２ひく４はいくつですか？」、「今日は何曜日ですか？」「あなたの携帯電話の番号を答えて下さい。」、「この車の車検月を答えてください。」等が挙げられる。要応答情報はたとえば、推定装置１０に予め登録されている情報を問う質問や、一般的に答えが定まる問題である。推定装置１０に予め登録されている情報には、運転者に関する情報や移動体に関する情報が含まれる。
The estimation based on the correctness of the response will be explained below. When estimation is performed based on the correctness of the response, the
出力部１２０が予め記憶部１００に保持された複数の要応答情報から選択した要応答情報を出力する場合、各要応答情報には予め正答が関連付けられている。また、要応答情報が出力部１２０で生成される場合、要応答情報の正答も合わせて生成される。なお、一つの要応答情報に対して複数の正答が存在してもよい。
When the
出力部１２０が要応答情報を出力すると、検出部１４０は、その要応答情報に対する運転者による応答を検出する。そのとき、検出部１４０は、応答の内容をあわせて特定する。検出部１４０は、たとえばマイクロフォンから取得した運転者の声を既存の技術を用いて解析することで、回答内容を特定することができる。推定部１６０は、検出部１４０から回答内容を示す情報を取得する。そして、推定部１６０は、回答内容が出力された要応答情報の正答に一致するか否かを判定する。回答内容が出力された要応答情報の正答に一致する場合、推定部１６０は、応答が正しいと特定する。回答内容が出力された要応答情報の正答に一致しない場合、推定部１６０は、応答が正しくないと特定する。推定部１６０は、応答が正しいと特定した場合よりも、正しくないと特定した場合に、運転者の疲労度が高いと推定する。
When the
なお、本実施例に係る推定装置１０は、さらに実施例１で説明した応答時間等に基づいて運転者の状態を推定してもよい。たとえば推定部１６０は、応答時間Ｔｒ、運転開始からの運転継続時間Ｔｄ、運転開始からの運転負荷の積算値Ｒ、言いよどみスコアＳ１、言い直しスコアＳ２、正誤スコアＳ３を特定する。言いよどみがある場合、Ｓ１＝１であり、言いよどみがない場合、Ｓ１＝０である。言い直しがある場合、Ｓ２＝１であり、言い直しがない場合、Ｓ２＝０である。応答が正しくない場合、Ｓ３＝１であり、応答が正しい場合、Ｓ３＝０である。そして、推定部１６０は、「疲労度指数＝ａ×Ｔｒ＋ｂ×Ｔｄ＋ｃ×Ｒ＋ｄ×Ｓ１＋ｅ×Ｓ２＋ｆ×Ｓ３」で示される関係を用いて疲労度指数を算出する。ここで、ａ、ｂ、ｃ、ｄ、ｅ、およびｆはそれぞれ予め定められた定数である。定数としてゼロ、または正の実数を任意に適用することができる。その他、推定部１６０は、実施例１で説明した生体情報等をさらに用いて運転者の状態を推定してもよい。
Note that the
本実施例によれば、実施形態と同様の作用および効果が得られる。 According to this example, the same functions and effects as those of the embodiment can be obtained.
以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments and examples have been described above with reference to the drawings, these are merely illustrative of the present invention, and various configurations other than those described above may be adopted.
以下、参考形態の例を付記する。
１． 移動体の運転者に対して応答を求める要応答情報を出力する出力部と、
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置。
２． １．に記載の推定装置において、
前記出力部は、出力する前記要応答情報を、現在の前記移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する
推定装置。
３． １．または２．に記載の推定装置において、
前記推定部は、前記応答のタイミングに基づいて前記要応答情報の出力に対する応答時間を特定し、
前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
４． ３．に記載の推定装置において、
前記検出部は、前記運転者の応答として、前記要応答情報に対する前記運転者の相槌を検出する
推定装置。
５．３．または４．に記載の推定装置において、
前記推定部は、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記応答時間を補正し、
補正された前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
６． ３．～５．のいずれか一つに記載の推定装置において、
前記推定部は、前記運転者の過去の前記応答時間に基づく基準時間と、前記運転者の今回の前記応答時間との比較に基づいて、前記運転者の状態を推定する
推定装置。
７． ６．に記載の推定装置において、
前記基準時間は、過去に前記運転者が前記移動体の運転を開始してから所定時間が経過するまでの間において、前記検出部により検出された前記応答のタイミングに基づいて特定された時間である
推定装置。
８． ６．に記載の推定装置において、
前記基準時間は、前記移動体の位置ごと、時間帯ごと、または前記移動体の位置と時間帯との組み合わせごとの、前記運転者の過去の前記応答時間の統計値である
推定装置。
９． １．～８．のいずれか一つに記載の推定装置において、
前記推定部は前記応答の適正さに基づいて前記運転者の状態を推定し、
前記応答の適正さは、前記応答のスムーズさおよび前記応答の正しさの少なくとも一方である
推定装置。
１０． １．～９．のいずれか一つに記載の推定装置において、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する
推定装置。
１１． １．～１０．のいずれか一つに記載の推定装置において、
前記運転者の生体情報を用いて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する、
推定装置。
１２． １．～１１．のいずれか一つに記載の推定装置において、
前記出力部は、
前記応答の内容に基づき、出力すべき広告情報を特定し、
推定された前記運転者の状態が所定の条件を満たすとき、特定した前記広告情報を出力する
推定装置。
１３． 一以上のコンピュータにより実行される推定方法であって、
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法。
１４． １３．に記載の推定方法をコンピュータに実行させるプログラム。
Below, examples of reference forms will be added.
1. an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
An estimating device comprising: an estimating unit that estimates a state of the driver based on at least one of appropriateness and timing of the response.
2. 1. In the estimation device described in
The output unit is an estimation device that determines the response required information to be output based on at least one of the current location of the mobile object, weather, date, time, and destination.
3. 1. or 2. In the estimation device described in
The estimation unit specifies a response time for outputting the response required information based on the timing of the response,
An estimation device that estimates a state of the driver based on the response time.
4. 3. In the estimation device described in
The detection unit is an estimation device that detects the driver's response to the response-required information as the driver's response.
5.3. or 4. In the estimation device described in
The estimation unit is
correcting the response time based on at least one of the current position of the moving body, the situation around the moving body, the situation inside the moving body, and the operation of the moving body;
An estimation device that estimates the state of the driver based on the corrected response time.
6. 3. ~5. In the estimation device according to any one of
The estimation unit is an estimation device that estimates the state of the driver based on a comparison between a reference time based on the past response time of the driver and the current response time of the driver.
7. 6. In the estimation device described in
The reference time is a time specified based on the timing of the response detected by the detection unit in the past from when the driver started driving the mobile object until a predetermined time elapses. An estimation device.
8. 6. In the estimation device described in
The reference time is a statistical value of the response time of the driver in the past for each position of the mobile object, for each time period, or for each combination of the position of the mobile object and the time period.
9. 1. ~8. In the estimation device according to any one of
The estimation unit estimates the state of the driver based on the appropriateness of the response,
The appropriateness of the response is at least one of smoothness of the response and correctness of the response.
10. 1. ~9. In the estimation device according to any one of
a timing at which the output unit outputs the response-required information based on at least one of the current position of the mobile body, the situation around the mobile body, the situation inside the mobile body, and the operation of the mobile body; An estimating device that determines at least one timing at which the estimating unit estimates the state of the driver.
11. 1. ~10. In the estimation device according to any one of
determining at least one of the timing at which the output unit outputs the response-required information and the timing at which the estimation unit estimates the state of the driver, using biological information of the driver;
Estimation device.
12. 1. ~11. In the estimation device according to any one of
The output section is
Identifying advertising information to be output based on the content of the response,
An estimation device that outputs the specified advertisement information when the estimated state of the driver satisfies a predetermined condition.
13. An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
an estimating step of estimating a state of the driver based on at least one of appropriateness and timing of the response.
14. 13. A program that causes a computer to execute the estimation method described in .
１０ 推定装置
１００ 記憶部
１２０ 出力部
１４０ 検出部
１６０ 推定部
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
10
Claims (14)
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置。 an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
An estimating device comprising: an estimating unit that estimates a state of the driver based on at least one of appropriateness and timing of the response.
前記出力部は、出力する前記要応答情報を、現在の前記移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する
推定装置。 The estimation device according to claim 1,
The output unit is an estimation device that determines the response required information to be output based on at least one of the current location of the mobile object, weather, date, time, and destination.
前記推定部は、前記応答のタイミングに基づいて前記要応答情報の出力に対する応答時間を特定し、
前記応答時間に基づいて前記運転者の状態を推定する
推定装置。 The estimation device according to claim 1 or 2,
The estimation unit specifies a response time for outputting the response required information based on the timing of the response,
An estimation device that estimates a state of the driver based on the response time.
前記検出部は、前記運転者の応答として、前記要応答情報に対する前記運転者の相槌を検出する
推定装置。 The estimation device according to claim 3,
The detection unit is an estimation device that detects the driver's response to the response-required information as the driver's response.
前記推定部は、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記応答時間を補正し、
補正された前記応答時間に基づいて前記運転者の状態を推定する
推定装置。 The estimation device according to claim 3,
The estimation unit is
correcting the response time based on at least one of the current position of the moving body, the situation around the moving body, the situation inside the moving body, and the operation of the moving body;
An estimation device that estimates the state of the driver based on the corrected response time.
前記推定部は、前記運転者の過去の前記応答時間に基づく基準時間と、前記運転者の今回の前記応答時間との比較に基づいて、前記運転者の状態を推定する
推定装置。 The estimation device according to claim 3,
The estimation unit is an estimation device that estimates the state of the driver based on a comparison between a reference time based on the past response time of the driver and the current response time of the driver.
前記基準時間は、過去に前記運転者が前記移動体の運転を開始してから所定時間が経過するまでの間において、前記検出部により検出された前記応答のタイミングに基づいて特定された時間である
推定装置。 The estimation device according to claim 6,
The reference time is a time specified based on the timing of the response detected by the detection unit in the past from when the driver started driving the mobile object until a predetermined time elapses. An estimation device.
前記基準時間は、前記移動体の位置ごと、時間帯ごと、または前記移動体の位置と時間帯との組み合わせごとの、前記運転者の過去の前記応答時間の統計値である
推定装置。 The estimation device according to claim 6,
The reference time is a statistical value of the response time of the driver in the past for each position of the mobile object, for each time period, or for each combination of the position of the mobile object and the time period.
前記推定部は前記応答の適正さに基づいて前記運転者の状態を推定し、
前記応答の適正さは、前記応答のスムーズさおよび前記応答の正しさの少なくとも一方である
推定装置。 The estimation device according to claim 1 or 2,
The estimation unit estimates the state of the driver based on the appropriateness of the response,
The appropriateness of the response is at least one of smoothness of the response and correctness of the response.
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する
推定装置。 The estimation device according to claim 1 or 2,
a timing at which the output unit outputs the response-required information based on at least one of the current position of the mobile body, the situation around the mobile body, the situation inside the mobile body, and the operation of the mobile body; An estimating device that determines at least one timing at which the estimating unit estimates the state of the driver.
前記運転者の生体情報を用いて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する、
推定装置。 The estimation device according to claim 1 or 2,
determining at least one of the timing at which the output unit outputs the response-required information and the timing at which the estimation unit estimates the state of the driver, using biological information of the driver;
Estimation device.
前記出力部は、
前記応答の内容に基づき、出力すべき広告情報を特定し、
推定された前記運転者の状態が所定の条件を満たすとき、特定した前記広告情報を出力する
推定装置。 The estimation device according to claim 1 or 2,
The output section is
Identifying advertising information to be output based on the content of the response,
An estimation device that outputs the specified advertisement information when the estimated state of the driver satisfies a predetermined condition.
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法。 An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
an estimating step of estimating a state of the driver based on at least one of appropriateness and timing of the response.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022065550A JP2023155992A (en) | 2022-04-12 | 2022-04-12 | Estimation device, estimation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022065550A JP2023155992A (en) | 2022-04-12 | 2022-04-12 | Estimation device, estimation method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023155992A true JP2023155992A (en) | 2023-10-24 |
Family
ID=88421384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022065550A Pending JP2023155992A (en) | 2022-04-12 | 2022-04-12 | Estimation device, estimation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023155992A (en) |
-
2022
- 2022-04-12 JP JP2022065550A patent/JP2023155992A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6552123B2 (en) | Response request device | |
| US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
| JP7092116B2 (en) | Information processing equipment, information processing methods, and programs | |
| EP3675121B1 (en) | Computer-implemented interaction with a user | |
| JP6972629B2 (en) | Information processing equipment, information processing methods, and programs | |
| EP3889740B1 (en) | Affective-cognitive load based digital assistant | |
| JP2017168097A (en) | System and method for providing context-specific vehicular driver interactions | |
| Kashevnik et al. | Multimodal corpus design for audio-visual speech recognition in vehicle cabin | |
| WO2019069999A1 (en) | Sleepiness level prediction device and sleepiness level prediction method | |
| US20230237338A1 (en) | Technique for efficient retrieval of personality data | |
| US20220402517A1 (en) | Systems and methods for increasing the safety of voice conversations between drivers and remote parties | |
| JP2020169956A (en) | Vehicle destination proposal system | |
| US11074915B2 (en) | Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program | |
| Kashevnik et al. | Decision support system for drivers & passengers: Smartphone-based reference model and evaluation | |
| JP2023155992A (en) | Estimation device, estimation method, and program | |
| WO2019198299A1 (en) | Information processing device and information processing method | |
| JP7537259B2 (en) | Attention target sharing device, attention target sharing method | |
| US10915768B2 (en) | Vehicle and method of controlling the same | |
| CN115428093A (en) | Techniques for providing user-adapted services to users | |
| JP7570949B2 (en) | Information processing device, information processing method, and trained model | |
| JP2019191859A (en) | Vehicle information presentation device and vehicle information presentation method | |
| JP7527264B2 (en) | Information processing device, information processing method, program, and information processing system | |
| JP2023118800A (en) | Information processing system, information processing device, information processing method and program | |
| JP2023145199A (en) | Driving support system | |
| JP2024073110A (en) | Control method and information processing apparatus |