JP2018180983A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2018180983A
JP2018180983A JP2017080436A JP2017080436A JP2018180983A JP 2018180983 A JP2018180983 A JP 2018180983A JP 2017080436 A JP2017080436 A JP 2017080436A JP 2017080436 A JP2017080436 A JP 2017080436A JP 2018180983 A JP2018180983 A JP 2018180983A
Authority
JP
Japan
Prior art keywords
user
driving
unit
state
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017080436A
Other languages
Japanese (ja)
Other versions
JP6972629B2 (en
Inventor
健人 中田
Kento Nakada
健人 中田
亮介 古川
ryosuke Furukawa
亮介 古川
拓也 成平
Takuya Narihira
拓也 成平
章 中村
Akira Nakamura
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017080436A priority Critical patent/JP6972629B2/en
Publication of JP2018180983A publication Critical patent/JP2018180983A/en
Priority to JP2021179958A priority patent/JP7527264B2/en
Application granted granted Critical
Publication of JP6972629B2 publication Critical patent/JP6972629B2/en
Priority to JP2024005325A priority patent/JP7658474B2/en
Priority to JP2025050967A priority patent/JP2025098155A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve safety of driving a moving body.SOLUTION: An information processing device includes a diagnosis part that performs diagnosis of suitability for driving of a user before and during driving based on a state of the user driving a moving body. This technology is applicable to, for example, an information processing system, an information processing device, or a moving body supporting a user driving a moving body such as a vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a ship, a construction machine, an agricultural machine.SELECTED DRAWING: Figure 4

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、移動体の運転支援を行う場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。   The present technology relates to an information processing apparatus, an information processing method, and a program, and more particularly to an information processing apparatus, an information processing method, and a program that are suitably used when performing driving support of a moving object.

従来、運転者の運転中の状態を検出するために、運転者の生体情報が用いられている。   Conventionally, in order to detect the driver's driving condition, the driver's biometric information is used.

例えば、運転者の皮膚インピーダンスの安静閉眼時の測定値と通常活動時の測定値の平均値とに基づく補正データにより、運転者の皮膚インピーダンスの測定値を補正し、補正した値に基づいて、運転者の覚醒度の判断を行うことが提案されている(例えば、特許文献1参照)。   For example, the correction value of the skin impedance of the driver is corrected based on the correction value based on the correction value based on the measurement value of the skin impedance of the driver when the eye is at rest and the average value of the measurement during normal activity. It has been proposed to determine the awakening degree of the driver (see, for example, Patent Document 1).

例えば、車両の生体センサにより測定された生体データを、車内の充電器に設置された携帯端末及び公衆ネットワーク回線を介してデータ処理装置に送信し、データ処理装置が、受信した生体データを運転者の携帯端末に送信することが提案されている(例えば、特許文献2参照)。   For example, the biometric data measured by the biometric sensor of the vehicle is transmitted to the data processing apparatus via the portable terminal installed in the charger in the vehicle and the public network line, and the data processing apparatus receives the biometric data received by the driver. It has been proposed to transmit to a mobile terminal of (see, for example, Patent Document 2).

特開平10−80405号公報Japanese Patent Application Laid-Open No. 10-80405 特開2016−140377号公報JP, 2016-140377, A

ところで、車両等の移動体の運転の安全性は、運転者の運転中の状態以外にも様々な要因により影響される。そして、それらの影響をできるだけ考慮して、移動体の運転の安全性を向上させることが望まれている。   By the way, the safety of driving of a mobile body such as a vehicle is influenced by various factors other than the driver's driving condition. Then, it is desirable to improve the safety of the operation of the mobile body by considering the influence as much as possible.

本技術は、このような状況に鑑みてなされたものであり、移動体の運転の安全性を向上させるようにするものである。   The present technology has been made in view of such a situation, and is intended to improve the safety of operation of a mobile.

本技術の一側面の情報処理装置は、予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断部と、前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御部とを備える。   The information processing apparatus according to one aspect of the present technology is directed to the driving of the user based on the pre-driving state of the user driving the moving body and the state of the driving user acquired during driving. And a presentation control unit configured to generate feedback information based on the diagnosis obtained by the diagnosis unit.

運転中の前記ユーザ又は前記移動体の挙動である運転挙動を検出する運転挙動検出部をさらに設け、前記運転挙動検出部の検出対象となる危険運転のレベルを、前記診断の結果に基づいて変化させることができる。   There is further provided a driving behavior detection unit for detecting a driving behavior that is the behavior of the user or the moving body during driving, and the level of dangerous driving to be detected by the driving behavior detection unit is changed based on the result of the diagnosis. It can be done.

前記診断部には、さらに前記運転挙動の検出結果に基づいて、前記診断を行わせることができる。   The diagnosis unit can further cause the diagnosis to be performed based on the detection result of the driving behavior.

前記診断部には、運転前の前記ユーザの状態に基づいて、運転前の前記ユーザの運転に対する適性を診断させ、運転中の前記ユーザの状態及び前記運転挙動の検出結果に基づいて、運転中の前記ユーザの運転に対する適性を診断させることができる。   The diagnosis unit causes the user's suitability for driving before driving to be diagnosed based on the state of the user before driving, and driving is based on the state of the user while driving and the detection result of the driving behavior. It is possible to diagnose the aptitude for driving of the user.

前記診断の結果、及び、前記運転挙動の検出結果のうち少なくとも1つに基づいて、前記ユーザによる前記移動体の運転に関するリスクを予測するリスク予測部をさらに設けることができる。   It is possible to further provide a risk prediction unit that predicts a risk relating to the driving of the mobile object by the user based on at least one of the diagnosis result and the detection result of the driving behavior.

前記フィードバック情報には、前記リスクの内容、及び、前記リスクが予測された根拠を含ませることができる。   The feedback information may include the content of the risk and the basis on which the risk is predicted.

前記リスクが予測された根拠を、前記診断の結果に基づかせることができる。   The basis for which the risk is predicted can be based on the result of the diagnosis.

前記フィードバック情報には、前記リスクの回避案を含ませることができる。   The feedback information may include the risk avoidance plan.

前記診断に基づく前記ユーザの運転の適性度が低くなるほど、前記運転挙動検出部の検出対象となる危険運転のレベルが低くすることができる。   The lower the driving suitability of the user based on the diagnosis, the lower the level of dangerous driving to be detected by the driving behavior detection unit.

前記診断の結果、及び、前記運転挙動の検出結果に基づいて、前記診断を行うモデルの学習を行う学習部をさらに設けることができる。   A learning unit may be further provided to learn a model for performing the diagnosis based on the result of the diagnosis and the detection result of the driving behavior.

前記診断部には、前記ユーザの直近の状態と前記ユーザの標準的な状態との差に基づいて、前記診断を行わせることができる。   The diagnosis unit may perform the diagnosis based on a difference between the latest state of the user and the standard state of the user.

前記診断部には、さらに、前記ユーザの直近の状態と、複数のユーザを含むユーザ集合におけるユーザの平均的な状態との差に基づいて、前記診断を行わせることができる。   The diagnosis unit may further cause the diagnosis to be performed based on a difference between the latest state of the user and the average state of the user in a user group including a plurality of users.

運転前及び運転中の前記ユーザの状態を推定する状態推定部をさらに設け、前記診断部には、前記ユーザの状態の推定結果に基づいて、前記診断を行わせることができる。   A state estimation unit may be provided to estimate the state of the user before and during driving, and the diagnosis unit may make the diagnosis based on the estimation result of the user's state.

前記ユーザの状態には、前記ユーザの生体状態、行動、及び、感情のうち少なくとも1つを含ませることができる。   The state of the user may include at least one of a biological state, an action, and an emotion of the user.

前記診断部には、前記ユーザの運転前及び運転中に取得された前記ユーザの状態を示すデータに基づいて、前記診断を行わせることができる。   The diagnosis unit may perform the diagnosis based on data indicating the state of the user acquired before and during the operation of the user.

本技術の一側面の情報処理方法は、予測されるリスクに基づいて、ユーザに対するリスクの回避案を生成する提示制御ステップと、前記リスクの回避案に対する前記ユーザの反応に基づいて、前記ユーザの従順度を評価する評価ステップと、評価された従順度に基づいてリスクの予測パラメータを調整するリスク予測ステップとを含む。   The information processing method according to one aspect of the present technology is, based on a predicted risk, a presentation control step of generating a risk avoidance plan for the user, and the user's reaction based on the user's reaction to the risk avoidance plan. The evaluation step which evaluates compliance and the risk prediction step which adjusts the prediction parameter of risk based on the evaluated compliance.

本技術の一側面のプログラムは、予測されるリスクに基づいて、ユーザに対するリスクの回避案を生成する提示制御ステップと、前記リスクの回避案に対する前記ユーザの反応に基づいて、前記ユーザの従順度を評価する評価ステップと、評価された従順度に基づいてリスクの予測パラメータを調整するリスク予測ステップとを含む処理をコンピュータに実行させる。   The program according to one aspect of the present technology includes a presentation control step of generating a risk avoidance plan for the user based on the predicted risk, and the user's compliance based on the user's reaction to the risk avoidance plan. To cause the computer to execute processing including an evaluation step of evaluating and a risk prediction step of adjusting a prediction parameter of risk based on the evaluated degree of compliance.

本技術の一側面においては、予測されるリスクに基づいて、ユーザに対するリスクの回避案が生成され、前記リスクの回避案に対する前記ユーザの反応に基づいて、前記ユーザの従順度が評価され、評価された従順度に基づいてリスクの予測パラメータが調整される。   In one aspect of the present technology, a risk avoidance plan for the user is generated based on the predicted risk, and the user's compliance is evaluated and evaluated based on the user's reaction to the risk avoidance plan. Risk prediction parameters are adjusted based on the degree of compliance.

本技術の一側面によれば、ユーザの移動体の運転に対する適性の診断精度が向上する。その結果、移動体の運転の安全性が向上する。   According to one aspect of the present technology, diagnosis accuracy of aptitude for driving a mobile object of a user is improved. As a result, the safety of operation of the mobile unit is improved.

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。   In addition, the effect described here is not necessarily limited, and may be any effect described in the present disclosure.

本技術を適用した情報処理システムの一実施の形態を示すブロック図である。1 is a block diagram illustrating an embodiment of an information processing system to which the present technology is applied. ユーザ端末部の構成例を示すブロック図である。It is a block diagram which shows the structural example of a user terminal part. 車両の構成例を示すブロック図である。It is a block diagram showing an example of composition of vehicles. サーバの構成例を示すブロック図である。It is a block diagram showing an example of composition of a server. サーバにより実行される運転支援処理を説明するためのフローチャートである。It is a flowchart for demonstrating the driving | operation assistance processing performed by a server. サーバにより実行される運転支援処理を説明するためのフローチャートである。It is a flowchart for demonstrating the driving | operation assistance processing performed by a server. ユーザの状態の推定処理を説明するための図である。It is a figure for demonstrating the estimation process of a user's state. ユーザの標準状態パターンの学習方法を説明するための図である。It is a figure for demonstrating the learning method of a user's standard state pattern. ユーザ集合状態パターンの学習方法を説明するための図である。It is a figure for demonstrating the learning method of a user group state pattern. 運転診断の方法の例を説明するための図である。It is a figure for demonstrating the example of the method of driving | operation diagnosis. コンピュータの構成例を示す図である。It is a figure showing an example of composition of a computer.

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
Hereinafter, modes for carrying out the present technology will be described. The description will be made in the following order.
1. Embodiment 2. Modified example 3. Other

<<1.実施の形態>>
<情報処理システムの構成例>
図1は、本技術を適用した情報処理システムの一実施の形態を示すブロック図である。
<< 1. Embodiment >>
<Configuration Example of Information Processing System>
FIG. 1 is a block diagram showing an embodiment of an information processing system to which the present technology is applied.

情報処理システム10は、例えば、テレマティクス技術を用いて、車両の運転支援や自動車保険等のサービスを提供するシステムである。   The information processing system 10 is a system that provides services such as vehicle driving support and automobile insurance using, for example, telematics technology.

情報処理システム10は、ユーザ端末部11、車両12、及び、サーバ13を備える。ユーザ端末部11と車両12は、直接又はネットワーク14を介して通信を行う。サーバ13は、ユーザ端末部11及び車両12と、ネットワーク14を介して通信を行う。   The information processing system 10 includes a user terminal unit 11, a vehicle 12, and a server 13. The user terminal unit 11 and the vehicle 12 communicate directly or via the network 14. The server 13 communicates with the user terminal unit 11 and the vehicle 12 via the network 14.

ユーザ端末部11は、情報処理システム10を利用するユーザが持つ1以上の情報処理端末からなる。例えば、ユーザ端末部11は、モバイル端末及びウエアラブル端末を含み得る。   The user terminal unit 11 includes one or more information processing terminals owned by a user who uses the information processing system 10. For example, the user terminal unit 11 may include a mobile terminal and a wearable terminal.

車両12は、情報処理システム10を利用するユーザが運転する車両である。   The vehicle 12 is a vehicle driven by a user who uses the information processing system 10.

サーバ13は、ネットワーク14を介して、ユーザ端末部11及び車両12と通信を行うことにより、情報処理システム10を利用するユーザに対して、運転支援や自動車保険等のサービスを提供する。   The server 13 communicates with the user terminal unit 11 and the vehicle 12 via the network 14 to provide the user using the information processing system 10 with services such as driving assistance and automobile insurance.

なお、図1では、図を分かりやすくするために、ユーザ端末部11、車両12、及び、サーバ13を1つずつ図示しているが、2つ以上設けることが可能である。例えば、ユーザ端末部11及び車両12は、情報処理システム10を利用するユーザ数とほぼ等しい数だけ設けられる。   Although one user terminal unit 11, one vehicle 12, and one server 13 are illustrated in FIG. 1 in order to make the drawing easy to understand, two or more user terminals may be provided. For example, the user terminal units 11 and the vehicles 12 are provided in approximately the same number as the number of users who use the information processing system 10.

また、以下、説明を簡単にするために、ユーザ端末部11、車両12、及び、サーバ13がネットワーク14を介して通信を行う場合の「ネットワーク14を介して」の記載を省略する。   Also, hereinafter, in order to simplify the description, the description of "via the network 14" in the case where the user terminal unit 11, the vehicle 12, and the server 13 communicate via the network 14 will be omitted.

<ユーザ端末部の構成例>
図2は、ユーザ端末部11の構成例を示すブロック図である。この例では、ユーザ端末部11は、モバイル端末51及びウエアラブル端末52を備える。
<Configuration Example of User Terminal Unit>
FIG. 2 is a block diagram showing a configuration example of the user terminal unit 11. In this example, the user terminal unit 11 includes a mobile terminal 51 and a wearable terminal 52.

モバイル端末51は、例えば、スマートフォン、携帯電話機、タブレット、ノート型のパーソナルコンピュータ、携帯型のゲーム機、携帯型の動画又は音楽再生装置等の携帯型の情報処理端末からなる。   The mobile terminal 51 is made of, for example, a portable information processing terminal such as a smartphone, a mobile phone, a tablet, a laptop personal computer, a portable game machine, a portable video or music player.

モバイル端末51は、GNSS(Global Navigation Satellite System)受信機61、慣性センサ62、環境センサ63、生体センサ64、入力部65、出力部66、制御部67、及び、通信部68を備える。   The mobile terminal 51 includes a GNSS (Global Navigation Satellite System) receiver 61, an inertial sensor 62, an environment sensor 63, a biological sensor 64, an input unit 65, an output unit 66, a control unit 67, and a communication unit 68.

GNSS受信機61は、測位衛星からの電波を受信することにより、モバイル端末51(を持つユーザ)の現在位置を測定し、測定した現在位置を示す位置データを制御部67に供給する。   The GNSS receiver 61 measures the current position of (the user having) the mobile terminal 51 by receiving a radio wave from a positioning satellite, and supplies position data indicating the measured current position to the control unit 67.

慣性センサ62は、モバイル端末51(を持つユーザ)に関する各種の慣性データを検出し、検出した慣性データを制御部67に供給する。慣性センサ62が検出する慣性データは、例えば、加速度、角速度等のうち1以上を含む。   The inertial sensor 62 detects various inertial data related to (the user having the mobile terminal 51), and supplies the detected inertial data to the control unit 67. The inertial data detected by the inertial sensor 62 includes, for example, one or more of an acceleration, an angular velocity, and the like.

環境センサ63は、モバイル端末51(を持つユーザ)の周囲の各種の環境データを検出し、検出した環境データを制御部67に供給する。環境センサ63が検出する環境データは、例えば、地磁気、大気圧、二酸化炭素濃度等のうち1以上を含む。   The environment sensor 63 detects various environment data around (the user having the mobile terminal 51), and supplies the detected environment data to the control unit 67. The environmental data detected by the environmental sensor 63 includes, for example, one or more of geomagnetism, atmospheric pressure, carbon dioxide concentration, and the like.

生体センサ64は、ユーザの各種の生体データを検出し、検出した生体データを制御部67に供給する。生体センサ64が検出する生体データは、例えば、心拍、発汗量、血圧、血中酸素濃度、筋電、体温、体組成、呼気中アルコール濃度、最大酸素摂取量、消費カロリー、声のトーン、会話のスピード等のうちの1以上を含む。   The biometric sensor 64 detects various biometric data of the user, and supplies the detected biometric data to the control unit 67. The biological data detected by the biological sensor 64 is, for example, heart rate, amount of sweat, blood pressure, blood oxygen concentration, myoelectric potential, body temperature, body composition, alcohol concentration in exhalation, maximum oxygen intake, consumed calories, voice tone, conversation Including one or more of speed and the like.

入力部65は、モバイル端末51に各種のデータを入力するための入力装置を備える。例えば、入力部65は、ボタン、スイッチ、キー、タッチパネル、マイクロフォン等のうち1以上を備える。入力部65は、入力データを制御部67に供給する。   The input unit 65 includes an input device for inputting various data to the mobile terminal 51. For example, the input unit 65 includes one or more of a button, a switch, a key, a touch panel, a microphone, and the like. The input unit 65 supplies input data to the control unit 67.

出力部66は、各種の情報やデータを出力するための出力装置を備える。例えば、出力部66は、ディスプレイ、スピーカ、ブザー、バイブレータ等のうち1以上を備える。   The output unit 66 includes an output device for outputting various types of information and data. For example, the output unit 66 includes one or more of a display, a speaker, a buzzer, a vibrator, and the like.

制御部67は、例えば、各種のプロセッサ等の制御装置を備える。制御部67は、GNSS受信機61、慣性センサ62、環境センサ63、生体センサ64、及び、入力部65から供給されるデータ、並びに、通信部68を介して外部から受信したデータ等に基づいて、モバイル端末51の各部の制御や各種の処理を行う。また、制御部67は、各種の処理により得られたデータを出力部66に供給したり、通信部68を介して他の機器に送信したりする。   The control unit 67 includes, for example, control devices such as various processors. The control unit 67 is based on the GNSS receiver 61, the inertial sensor 62, the environment sensor 63, the biometric sensor 64, data supplied from the input unit 65, data received from the outside via the communication unit 68, and the like. , Controls each part of the mobile terminal 51 and performs various processes. Further, the control unit 67 supplies data obtained by various processes to the output unit 66, and transmits the data to another device via the communication unit 68.

通信部68は、所定の通信方式により他の機器(例えば、車両12、サーバ13、ウエアラブル端末52等)との通信を行う。通信部68の通信方式には、無線又は有線の任意の方式を採用することができる。また、通信部68は、複数の通信方式に対応することも可能である。   The communication unit 68 communicates with other devices (for example, the vehicle 12, the server 13, the wearable terminal 52, and the like) by a predetermined communication method. As a communication method of the communication unit 68, any method of wireless or wired can be adopted. The communication unit 68 can also correspond to a plurality of communication methods.

ウエアラブル端末52は、例えば、眼鏡型、腕時計型、ブレスレット型、ネックレス型、ネックバンド型、イヤフォン型、ヘッドセット型、及び、ヘッドマウント型等の任意の形態のウエアラブル端末からなる。   The wearable terminal 52 includes, for example, any type of wearable terminal such as a glasses type, a watch type, a bracelet type, a necklace type, a neckband type, an earphone type, a headset type, and a head mount type.

ウエアラブル端末52は、生体センサ81、入力部82、出力部83、制御部84、及び、通信部85を備える。   The wearable terminal 52 includes a biometric sensor 81, an input unit 82, an output unit 83, a control unit 84, and a communication unit 85.

生体センサ81は、モバイル端末51の生体センサ64と同様に、ユーザの各種の生体データを検出し、検出した生体データを制御部84に供給する。なお、生体センサ81が検出する生体データの種類と、モバイル端末51の生体センサ64が検出する生体データの種類とは重複していても構わない。   Similar to the biometric sensor 64 of the mobile terminal 51, the biometric sensor 81 detects various biometric data of the user, and supplies the detected biometric data to the control unit 84. Note that the type of biological data detected by the biological sensor 81 and the type of biological data detected by the biological sensor 64 of the mobile terminal 51 may overlap.

入力部82は、ウエアラブル端末52に各種のデータを入力するための入力装置を備える。例えば、入力部82は、ボタン、スイッチ、キー、タッチパネル、マイクロフォン等のうち1以上を備える。入力部82は、入力データを制御部67に供給する。   The input unit 82 includes an input device for inputting various data to the wearable terminal 52. For example, the input unit 82 includes one or more of a button, a switch, a key, a touch panel, a microphone, and the like. The input unit 82 supplies input data to the control unit 67.

出力部83は、各種の情報やデータを出力するための出力装置を備える。例えば、出力部83は、ディスプレイ、スピーカ、ブザー、バイブレータ等のうち1以上を備える。   The output unit 83 includes an output device for outputting various types of information and data. For example, the output unit 83 includes one or more of a display, a speaker, a buzzer, a vibrator, and the like.

制御部84は、例えば、各種のプロセッサ等の制御装置を備える。制御部84は、生体センサ81及び入力部82から供給されるデータ、並びに、通信部85を介して外部から受信したデータ等に基づいて、ウエアラブル端末52の各部の制御や各種の処理を行う。また、制御部84は、各種の処理により得られたデータを出力部83に供給したり、通信部85を介して他の機器に送信したりする。   The control unit 84 includes, for example, control devices such as various processors. The control unit 84 controls each part of the wearable terminal 52 and performs various processes based on data supplied from the biometric sensor 81 and the input unit 82, data received from the outside via the communication unit 85, and the like. Further, the control unit 84 supplies data obtained by various processes to the output unit 83, and transmits the data to another device via the communication unit 85.

通信部85は、所定の通信方式により他の機器(例えば、車両12、サーバ13、モバイル端末51等)との通信を行う。通信部85の通信方式には、無線又は有線の任意の方式を採用することができる。また、通信部85は、複数の通信方式に対応することも可能である。   The communication unit 85 communicates with other devices (for example, the vehicle 12, the server 13, the mobile terminal 51, and the like) by a predetermined communication method. As a communication method of the communication unit 85, any method of wireless or wired can be adopted. The communication unit 85 can also support a plurality of communication methods.

<車両の構成例>
図3は、車両12の一部の構成例を示すブロック図である。車両12は、車載システム101を備える。車載システム101は、車両データ取得部111、映像音声取得部112、入力部113、出力部114、制御部115、及び、通信部116を備える。
<Example of Configuration of Vehicle>
FIG. 3 is a block diagram showing a configuration example of a part of the vehicle 12. The vehicle 12 includes an in-vehicle system 101. The in-vehicle system 101 includes a vehicle data acquisition unit 111, a video and audio acquisition unit 112, an input unit 113, an output unit 114, a control unit 115, and a communication unit 116.

車両データ取得部111は、例えば、各種のセンサ、通信機器、制御装置等を備える。車両データ取得部111は、車両12に関する車両データを取得し、取得した車両データを制御部115に供給する。車両データ取得部111が取得する車両データは、例えば、車速、トルク、ステアリング角度、ヨー角、ギアの状態、サイドブレーキの状態、アクセルペダルの踏み込み量、ブレーキペダルの踏み込み量、方向指示器の状態、ライトの状態、タイヤの回転角や回転速度、OBD(On-board Diagnostics)の診断結果を示すデータ(以下、OBDデータと称する)、並びに、ミリ波レーダ及びレーザレーダ等のセンサデータ等のうち1以上を含む。   The vehicle data acquisition unit 111 includes, for example, various sensors, communication devices, control devices, and the like. The vehicle data acquisition unit 111 acquires vehicle data related to the vehicle 12, and supplies the acquired vehicle data to the control unit 115. The vehicle data acquired by the vehicle data acquisition unit 111 is, for example, vehicle speed, torque, steering angle, yaw angle, gear state, side brake state, accelerator pedal depression amount, brake pedal depression amount, direction indicator state , Light rotation state, tire rotation angle and rotation speed, data indicating diagnosis results of OBD (On-board Diagnostics) (hereinafter referred to as OBD data), and sensor data of millimeter wave radar and laser radar etc. Includes one or more.

映像音声取得部112は、例えば、カメラ及びマイクロフォン等を備える。映像音声取得部112が備えるカメラは、通常のカメラ以外にも、例えば、ToF(Time Of Flight)カメラ、ステレオカメラ、赤外線カメラ等の特殊なカメラであってもよい。映像音声取得部112は、例えば、車両12の周囲及び内部の映像及び音声を取得し、取得した映像及び音声を示す映像データ及び音声データを制御部115に供給する。   The video and audio acquisition unit 112 includes, for example, a camera and a microphone. The camera included in the video and audio acquisition unit 112 may be, for example, a special camera such as a ToF (Time Of Flight) camera, a stereo camera, or an infrared camera, in addition to a normal camera. For example, the video and audio acquisition unit 112 acquires video and audio around and inside the vehicle 12, and supplies video data and audio data indicating the acquired video and audio to the control unit 115.

入力部113は、車両12に各種のデータを入力するための入力装置を備える。例えば、入力部113は、ボタン、スイッチ、キー、タッチパネル等のうち1以上を備える。入力部113は、入力データを制御部115に供給する。   The input unit 113 includes an input device for inputting various data to the vehicle 12. For example, the input unit 113 includes one or more of a button, a switch, a key, a touch panel, and the like. The input unit 113 supplies input data to the control unit 115.

出力部114は、各種の情報やデータを出力するための出力装置を備える。例えば、出力部114は、ディスプレイ(例えば、ヘッドアップディスプレイ)、スピーカ、ブザー、バイブレータ、インストルメントパネル等のうち1以上を備える。   The output unit 114 includes an output device for outputting various types of information and data. For example, the output unit 114 includes one or more of a display (for example, a head-up display), a speaker, a buzzer, a vibrator, an instrument panel, and the like.

制御部115は、例えば、ECU(Electronic Control Unit)等の制御装置を備える。制御部115は、車両データ取得部111、映像音声取得部112、及び、入力部113から供給されるデータ、並びに、通信部116を介して外部から受信したデータ等に基づいて、車両12の各部の制御や各種の処理を行う。また、制御部115は、各種の処理により得られたデータを出力部114に供給したり、通信部116を介して他の機器に送信したりする。   The control unit 115 includes, for example, a control device such as an ECU (Electronic Control Unit). The control unit 115 is a unit of the vehicle 12 based on data supplied from the vehicle data acquisition unit 111, the video and audio acquisition unit 112, and the input unit 113, data received from the outside via the communication unit 116, and the like. Control and various processes. Further, the control unit 115 supplies data obtained by various processes to the output unit 114, and transmits the data to another device via the communication unit 116.

通信部116は、所定の通信方式により他の機器(例えば、サーバ13、モバイル端末51、ウエアラブル端末52等)との通信を行う。通信部116の通信方式には、無線又は有線の任意の方式を採用することができる。また、通信部116は、複数の通信方式に対応することも可能である。   The communication unit 116 communicates with other devices (for example, the server 13, the mobile terminal 51, the wearable terminal 52, and the like) by a predetermined communication method. As a communication method of the communication unit 116, any method of wireless or wired can be adopted. The communication unit 116 can also support a plurality of communication methods.

<サーバの構成例>
図4は、サーバ13の構成例を示すブロック図である。サーバ13は、通信部151、状態推定部152、周辺データ取得部153、診断部154、運転挙動検出部155、リスク予測部156、損害予測部157、提示制御部158、評価部159、学習部160、保険料算定部161、及び、記憶部162を備える。
<Example of server configuration>
FIG. 4 is a block diagram showing a configuration example of the server 13. The server 13 includes a communication unit 151, a state estimation unit 152, a peripheral data acquisition unit 153, a diagnosis unit 154, a driving behavior detection unit 155, a risk prediction unit 156, a damage prediction unit 157, a presentation control unit 158, an evaluation unit 159, and a learning unit. 160, a premium calculation unit 161, and a storage unit 162.

通信部151は、所定の通信方式により、ネットワーク14を介して、他の機器(例えば、車両12、モバイル端末51、ウエアラブル端末52、他のサーバ(不図示)等)との通信を行う。通信部151の通信方式には、無線又は有線の任意の方式を採用することができる。また、通信部151は、複数の通信方式に対応することも可能である。   The communication unit 151 communicates with other devices (for example, the vehicle 12, the mobile terminal 51, the wearable terminal 52, another server (not shown), etc.) via the network 14 by a predetermined communication method. As a communication method of the communication unit 151, any method of wireless or wired can be adopted. The communication unit 151 can also support a plurality of communication methods.

状態推定部152は、通信部151を介して、ユーザ端末部11及び車両12からユーザの状態に関するデータを取得する。状態推定部152は、ユーザの状態に関するデータのログである状態データログの生成及び更新を行い、記憶部162に記憶させる。   The state estimation unit 152 acquires data related to the state of the user from the user terminal unit 11 and the vehicle 12 via the communication unit 151. The state estimation unit 152 generates and updates a state data log, which is a log of data related to the state of the user, and stores the state data log in the storage unit 162.

また、状態推定部152は、状態データログに基づいて、記憶部162に記憶されている状態推定モデルを用いて、ユーザの状態の推定処理を行う。ここで、状態推定モデルとは、ユーザの状態の推定に用いるモデルであり、例えば、ユーザ毎に生成される。状態推定部152は、ユーザの状態の推定結果の履歴である推定状態履歴の生成及び更新を行い、記憶部162に記憶させる。   In addition, the state estimation unit 152 performs estimation processing of the state of the user using the state estimation model stored in the storage unit 162 based on the state data log. Here, the state estimation model is a model used to estimate the state of the user, and is generated, for example, for each user. The state estimation unit 152 generates and updates an estimated state history, which is a history of estimation results of the user's state, and stores the estimated state history in the storage unit 162.

周辺データ取得部153は、通信部151を介して、ユーザ端末部11、車両12、及び、他のサーバ(不図示)から受信したデータに基づいて、車両12の周辺の状態を示す周辺データを取得する。周辺データ取得部153は、取得した周辺データを診断部154及びリスク予測部156に供給する。   The peripheral data acquisition unit 153 displays peripheral data indicating the state of the periphery of the vehicle 12 based on data received from the user terminal unit 11, the vehicle 12, and another server (not shown) via the communication unit 151. get. The peripheral data acquisition unit 153 supplies the acquired peripheral data to the diagnosis unit 154 and the risk prediction unit 156.

診断部154は、ユーザの推定状態履歴、運転挙動履歴、及び、運転診断モデルを記憶部162から取得する。ここで、運転挙動履歴とは、運転中のユーザ又は車両12の挙動である運転挙動の検出結果の履歴であり、例えば、ユーザ毎に生成される。また、運転診断モデルとは、ユーザの車両の運転に対する適性を診断する運転診断に用いるモデルであり、例えば、ユーザ毎に生成される。診断部154は、取得した履歴に基づいて、運転診断モデルを用いて、ユーザの運転診断を行う。診断部154は、ユーザの運転診断結果の履歴である運転診断履歴の生成及び更新を行い、記憶部162に記憶させる。   The diagnosis unit 154 acquires the user's estimated state history, the driving behavior history, and the driving diagnosis model from the storage unit 162. Here, the driving behavior history is a history of detection results of the driving behavior which is the behavior of the user or the vehicle 12 while driving, and is generated for each user, for example. Further, the driving diagnosis model is a model used for driving diagnosis for diagnosing the aptitude of the user for driving the vehicle, and is generated for each user, for example. The diagnosis unit 154 performs driving diagnosis of the user using the driving diagnosis model based on the acquired history. The diagnosis unit 154 generates and updates a driving diagnosis history, which is a history of the driving diagnosis result of the user, and stores the driving diagnosis history in the storage unit 162.

運転挙動検出部155は、通信部151を介して、ユーザ端末部11及び車両12からデータを受信する。また、運転挙動検出部155は、ユーザの推定状態履歴及び運転挙動検出モデルを記憶部162から取得する。ここで、運転挙動検出モデルとは、運転挙動の検出に用いるモデルであり、例えば、ユーザ毎に生成される。さらに、運転挙動検出部155は、損害予測部157から、ユーザによる車両の運転に関するリスク、及び、リスクにより発生する損害の予測結果を取得する。運転挙動検出部155は、取得した履歴及びデータ等に基づいて、運転挙動検出モデルを用いて、ユーザの運転挙動の検出処理を行う。運転挙動検出部155は、ユーザの運転挙動の検出結果の履歴である運転挙動履歴の生成及び更新を行い、記憶部162に記憶させる。   The driving behavior detection unit 155 receives data from the user terminal unit 11 and the vehicle 12 via the communication unit 151. Further, the driving behavior detection unit 155 acquires the estimated state history of the user and the driving behavior detection model from the storage unit 162. Here, the driving behavior detection model is a model used to detect the driving behavior, and is generated, for example, for each user. Furthermore, the driving behavior detection unit 155 acquires, from the damage prediction unit 157, the risk relating to the driving of the vehicle by the user and the prediction result of the damage that occurs due to the risk. The driving behavior detection unit 155 detects the driving behavior of the user using the driving behavior detection model based on the acquired history, data, and the like. The driving behavior detection unit 155 generates and updates a driving behavior history, which is a history of detection results of the user's driving behavior, and stores the driving behavior history in the storage unit 162.

リスク予測部156は、ユーザの推定状態履歴、運転診断履歴、運転挙動履歴、及び、リスク予測モデルを記憶部162から取得する。ここで、リスク予測モデルとは、ユーザによる車両12の運転に関するリスクの予測に用いるモデルであり、例えば、ユーザ毎に生成される。リスク予測部156は、取得した履歴に基づいて、リスク予測モデルを用いて、リスク予測を行う。リスク予測部156は、リスクの予測結果を損害予測部157に供給する。   The risk prediction unit 156 acquires the user's estimated state history, the driving diagnosis history, the driving behavior history, and the risk prediction model from the storage unit 162. Here, the risk prediction model is a model used to predict the risk relating to the driving of the vehicle 12 by the user, and is generated, for example, for each user. The risk prediction unit 156 performs risk prediction using the risk prediction model based on the acquired history. The risk prediction unit 156 supplies the prediction result of the risk to the damage prediction unit 157.

損害予測部157は、評価部159により評価されるユーザの従順度を必要に応じて用いながら、リスク予測部156により予測されるリスクにより発生する損害を予測する。ここで、従順度とは、サーバ13からの提案等にユーザが素直に従う度合いである。損害予測部157は、リスク及び損害の予測結果を運転挙動検出部155及び提示制御部158に供給する。   The damage prediction unit 157 predicts the damage caused by the risk predicted by the risk prediction unit 156 while using the degree of user compliance evaluated by the evaluation unit 159 as necessary. Here, the degree of compliance is the degree to which the user follows the proposal from the server 13 and the like. The damage prediction unit 157 supplies the prediction result of the risk and the damage to the driving behavior detection unit 155 and the presentation control unit 158.

提示制御部158は、ユーザの運転診断履歴、及び、保険料算定部161により算定された保険料を記憶部162から取得する。提示制御部158は、リスク及び損害の予測結果、並びに、ユーザの運転診断履歴及び保険料に基づいて、予測されるリスクに関する情報を含み、ユーザに提示されるフィードバック情報を生成する。提示制御部158は、生成したフィードバック情報を、通信部151を介して、ユーザのユーザ端末部11又は車両12に送信することにより、ユーザへのフィードバック情報の提示を制御する。また、提示制御部158は、フィードバック情報を評価部159に供給する。   The presentation control unit 158 acquires, from the storage unit 162, the driving diagnostic history of the user and the premium calculated by the premium calculation unit 161. The presentation control unit 158 generates feedback information to be presented to the user, including information on the predicted risk, based on the prediction result of the risk and damage, and the driving diagnostic history and the premium of the user. The presentation control unit 158 controls the presentation of feedback information to the user by transmitting the generated feedback information to the user terminal unit 11 or the vehicle 12 of the user via the communication unit 151. Also, the presentation control unit 158 supplies feedback information to the evaluation unit 159.

評価部159は、ユーザの推定状態履歴及び運転挙動履歴を記憶部162から取得する。そして、評価部159は、取得した履歴、及び、フィードバック情報に基づいて、ユーザの従順度を評価する。評価部159は、ユーザの従順度を損害予測部157に供給するとともに、記憶部162に記憶させる。   The evaluation unit 159 acquires the estimated state history and the driving behavior history of the user from the storage unit 162. Then, the evaluation unit 159 evaluates the user's compliance based on the acquired history and feedback information. The evaluation unit 159 supplies the degree of compliance of the user to the damage prediction unit 157 and stores the degree of compliance in the storage unit 162.

学習部160は、ユーザの推定状態履歴を記憶部162から取得する。学習部160は、取得した推定状態履歴に基づいて、ユーザの標準的な状態のパターン(以下、標準状態パターンと称する)の学習を行い、得られた標準状態パターンを示すデータを記憶部162に記憶させる。   The learning unit 160 acquires the estimated state history of the user from the storage unit 162. The learning unit 160 learns the pattern of the standard state of the user (hereinafter referred to as a standard state pattern) based on the acquired estimated state history, and stores data indicating the obtained standard state pattern in the storage unit 162. Remember.

また、学習部160は、所定のユーザ集合に含まれる各ユーザの推定状態履歴を記憶部162から取得する。学習部160は、取得した推定状態履歴に基づいて、ユーザ集合内のユーザの平均的な状態のパターン(以下、ユーザ集合状態パターンと称する)の学習を行い、得られたユーザ集合状態パターンを示すデータを記憶部162に記憶させる。   Further, the learning unit 160 acquires, from the storage unit 162, the estimated state history of each user included in a predetermined user set. The learning unit 160 learns an average state pattern of the users in the user set (hereinafter referred to as a user set state pattern) based on the acquired estimated state history, and indicates the obtained user set state pattern. The data is stored in the storage unit 162.

さらに、学習部160は、ユーザの状態データログ、推定状態履歴、運転診断履歴、及び、運転挙動履歴を記憶部162から取得する。学習部160は、取得したログ及び履歴に基づいて、状態推定モデル、運転診断モデル、運転挙動検出モデル、及び、リスク予測モデルの学習を行い、記憶部162に記憶させる。   Furthermore, the learning unit 160 acquires the state data log of the user, the estimated state history, the driving diagnosis history, and the driving behavior history from the storage unit 162. The learning unit 160 learns the state estimation model, the driving diagnosis model, the driving behavior detection model, and the risk prediction model based on the acquired log and history, and causes the storage unit 162 to store the learning result.

保険料算定部161は、ユーザの運転診断履歴、運転挙動履歴、及び、従順度を記憶部162から取得する。保険料算定部161は、取得した履歴及び従順度に基づいて、ユーザの自動車保険の保険料の算定を行う。保険料算定部161は、算定した保険料を示すデータを記憶部162に記憶させる。   The premium calculating unit 161 acquires from the storage unit 162 the driving diagnostic history, the driving behavior history, and the compliance degree of the user. The premium calculating unit 161 calculates the premium of the user's car insurance based on the acquired history and the degree of compliance. The premium calculation unit 161 causes the storage unit 162 to store data indicating the calculated premium.

<運転支援処理>
次に、図5及び図6のフローチャートを参照して、サーバ13により実行される運転支援処理について説明する。
<Driving support processing>
Next, the driving support process executed by the server 13 will be described with reference to the flowcharts of FIGS. 5 and 6.

なお、以下、主に1人の特定のユーザ(以下、注目ユーザと称する)に対する処理を中心に説明するが、実際には注目ユーザ以外の他のユーザに対する処理が並行して行われる。   Although the following description will focus mainly on the processing for one specific user (hereinafter referred to as the target user), in reality, processing for other users other than the target user is performed in parallel.

ステップS1において、サーバ13は、非運転時のユーザ(注目ユーザ)の状態の推定処理を開始する。具体的には、例えば、以下の処理が開始される。   In step S1, the server 13 starts estimation processing of the state of the user (attention user) at the time of non-operation. Specifically, for example, the following processing is started.

状態推定部152は、通信部151が注目ユーザのユーザ端末部11から受信したデータ(例えば、慣性データ、環境データ、生体データ、入力データ等)の中から、注目ユーザの状態に関するデータを取得する。状態推定部152は、各データを取得された時刻とともに記憶部162に記憶させる。これにより、注目ユーザの状態データログが更新される。   The state estimation unit 152 acquires data on the state of the user of interest from among data (for example, inertia data, environment data, biometric data, input data, etc.) received by the communication unit 151 from the user terminal unit 11 of the user of interest. . The state estimation unit 152 causes the storage unit 162 to store each data together with the acquired time. Thereby, the state data log of the noted user is updated.

なお、注目ユーザの状態データログは、注目ユーザ自身の状態に関するデータだけでなく、注目ユーザの周囲の状態に関するデータも含み得る。   Note that the state data log of the user of interest may include not only data regarding the state of the user of interest, but also data regarding the state of the surroundings of the user of interest.

状態推定部152は、直近の所定の期間内の注目ユーザの状態データログに基づいて、記憶部162に記憶されている注目ユーザの状態推定モデルを用いて、注目ユーザの現在の状態を推定する。例えば、状態推定部152は、注目ユーザの現在の状態として、注目ユーザの現在の生体状態、行動、及び、感情を推定する。   The state estimation unit 152 estimates the current state of the user of interest using the state estimation model of the user of interest stored in the storage unit 162 based on the state data log of the user of interest within the most recent predetermined period. . For example, the state estimation unit 152 estimates the current biological condition, behavior, and emotion of the user of interest as the current state of the user of interest.

例えば、図7に例示されるように、状態推定部152は、注目ユーザの状態を示すセンサデータ群の時系列の変化に基づいて、所定の時間のフレーム毎に、注目ユーザの生体状態及び行動を推定する。例えば、注目ユーザの心拍及び発汗量等に基づいて、集中度、覚醒度、疲労度、ストレス度、緊張度、運動の激しさ等の注目ユーザの各種の生体状態が推定される。例えば、注目ユーザの加速度及び角速度、並びに、周囲の気圧等に基づいて、注目ユーザの行動の種類(例えば、静止、歩行、ランニング、サイクリング、階段の上り下り、食事、睡眠等)が推定される。   For example, as illustrated in FIG. 7, the state estimation unit 152 determines, based on the time-series change of the sensor data group indicating the state of the user of interest, the biological condition and action of the user of interest for each frame of a predetermined time. Estimate For example, various living states of the user of interest such as the degree of concentration, alertness, fatigue, stress, tension, exercise intensity and the like are estimated based on the heartbeat and the amount of sweating of the user of interest. For example, the type of action (for example, stillness, walking, running, cycling, climbing up and down stairs, eating, sleeping, etc.) of the user of interest is estimated based on the acceleration and angular velocity of the user of interest and ambient pressure and the like. .

また、例えば、状態推定部152は、注目ユーザの位置データ及び加速度等に基づいて、注目ユーザの移動距離、移動速度、及び、行動範囲等を推定する。   Also, for example, the state estimation unit 152 estimates the moving distance, moving speed, and action range of the user of interest based on the position data and acceleration of the user of interest.

さらに、状態推定部152は、注目ユーザの生体データ、及び、注目ユーザの生体状態の推定結果等に基づいて、注目ユーザの感情を推定する。例えば、状態推定部152は、注目ユーザの喜怒哀楽の度合い、興奮度、焦燥度、不安度等を推定する。   Furthermore, the state estimation unit 152 estimates the emotion of the user of interest based on the biometric data of the user of interest, the estimation result of the biological condition of the user of interest, and the like. For example, the state estimation unit 152 estimates the degree of excitement, excitement, irritability, anxiety and the like of the user of interest.

なお、注目ユーザの生体状態と感情とは、必ずしも全てが明確に分かれるものではなく、重複するものもある。例えば、興奮度は、注目ユーザの生体状態及び感情のいずれでもあり得る。   It is to be noted that the biological condition and the emotion of the user of interest are not necessarily clearly distinguished from one another, and some may overlap. For example, the degree of excitement can be any of the physical condition and emotion of the user of interest.

また、ユーザの状態の推定方法には、任意の方法を採用することができる。さらに、推定するユーザの状態の種類は、上述した例に限定されるものではなく、必要に応じて追加したり、削除したりすることができる。   Further, any method can be adopted as a method of estimating the state of the user. Furthermore, the type of the user's state to be estimated is not limited to the above-described example, and may be added or deleted as needed.

状態推定部152は、推定した注目ユーザの状態を、推定した時刻とともに記憶部162に記憶させる。これにより、注目ユーザの推定状態履歴が更新される。   The state estimation unit 152 stores the estimated state of the noted user in the storage unit 162 together with the estimated time. Thus, the estimated state history of the user of interest is updated.

なお、例えば、図7に例示されるように、推定状態履歴は、覚醒度のようにフレーム毎の数値を時系列に並べたデータや、行動のようにフレーム毎に付与された(行動の種類を示す)ラベルを時系列に並べたデータを含む。   For example, as illustrated in FIG. 7, the estimated state history is assigned data for each frame in a time series, such as the alertness level, or for each frame, such as an action (type of action (type of action (Indicates) containing data arranged in chronological order.

ステップS2において、学習部160は、ユーザ(注目ユーザ)の標準的な状態のパターン(標準状態パターン)を学習するか否かを判定する。例えば、注目ユーザの標準状態パターンの学習は、注目ユーザが情報処理システム10の利用を開始したとき、所定の時間が経過する毎、注目ユーザの推定状態履歴のデータ量が所定の量以上増加する毎等の所定のタイミングで実行される。そして、学習部160は、現在が注目ユーザの標準状態パターンの学習を行うタイミングである場合、注目ユーザの標準状態パターンを学習すると判定し、処理はステップS3に進む。   In step S2, the learning unit 160 determines whether to learn a pattern (standard state pattern) of a standard state of the user (user of interest). For example, when learning the standard state pattern of the user of interest, when the user of interest starts using the information processing system 10, the data amount of the estimated state history of the user of interest increases by a predetermined amount or more each time a predetermined time elapses. It is executed at a predetermined timing such as every time. Then, when it is time to learn the standard state pattern of the user of interest, the learning unit 160 determines that the standard state pattern of the user of interest is learned, and the process proceeds to step S3.

ステップS3において、学習部160は、ユーザ(注目ユーザ)の標準的な状態のパターン(標準状態パターン)を学習する。例えば、学習部160は、図8に例示されるように、注目ユーザの直近の比較的長期の期間内(例えば、月単位、年単位)の推定状態履歴に基づいて、注目ユーザの標準状態パターンを学習する。   In step S3, the learning unit 160 learns a pattern (standard state pattern) of the standard state of the user (user of interest). For example, as illustrated in FIG. 8, the learning unit 160 uses the standard state pattern of the user of interest based on the estimated state history within the last relatively long period of the user of interest (eg, monthly unit, year unit). To learn

例えば、学習部160は、注目ユーザの標準状態パターンとして、以下の各項目の所定の時間(例えば、1分、10分、30分、又は、1時間)の期間毎の平均及び分散等を算出することにより、各項目の所定の期間(例えば、1日)の標準的な推移を示す推移パターンを学習する。例えば、注目ユーザの集中度、覚醒度、疲労度、ストレス度、緊張度、運動の激しさ、心拍、発汗量、運動量、喜怒哀楽の度合い、興奮度、焦燥度、不安度等の1日の標準的な推移パターンが学習される。   For example, the learning unit 160 calculates, as the standard state pattern of the user of interest, an average and a variance for each period of a predetermined time (for example, 1 minute, 10 minutes, 30 minutes, or 1 hour) of the following items. By doing this, a transition pattern indicating a standard transition of a predetermined period (for example, one day) of each item is learned. For example, one day such as concentration, alertness, fatigue, stress, tension, exercise intensity, heart rate, amount of sweating, exercise, degree of emotion, degree of excitement, excitement, anxiety, etc. of the noted user The standard transition pattern of is learned.

また、例えば、学習部160は、注目ユーザの標準状態パターンとして、以下の各項目の1日毎(曜日毎)の平均及び分散等を算出することにより、各項目の所定の期間(例えば、1週間)あたりの標準的な推移パターンを学習する。例えば、睡眠時間、起床時刻、就寝時刻、運動量、移動範囲、食事の回数、食事時間、食事時間帯、運転時間、運転時間帯、通勤時間帯、通学時間帯等の1週間の標準的な推移パターンが学習される。   Also, for example, the learning unit 160 calculates a predetermined period (for example, one week) of each item by calculating the average and the variance, etc. of each item (every day) of the following items as the standard state pattern of the noted user ) Learn standard transition patterns per area. For example, standard transition of one week such as sleep time, wake time, bedtime, exercise amount, movement range, number of meals, meal time, meal time zone, driving time, driving time zone, commuting time zone, attending school time zone, etc. Patterns are learned.

また、学習部160は、注目ユーザの標準状態パターンの比較対象として、所定のユーザ集合内の各ユーザの推定状態履歴に基づいて、ユーザ集合内の平均的な標準状態パターン(ユーザ集合状態パターン)を学習する。   In addition, the learning unit 160 calculates an average standard state pattern (user group state pattern) in the user group based on the estimated state history of each user in the predetermined user group as a comparison target of the standard state pattern of the noted user. To learn

ここで、ユーザ集合には、情報処理システム10の全てのユーザを含めるようにしてもよいし、一部のユーザのみを含めるようにしてもよい。後者の場合、例えば、注目ユーザと類似するユーザからなるユーザ集合としてもよい。ここで、注目ユーザと類似するユーザとは、例えば、注目ユーザと属性(例えば、年齢、性別、職業、住所等)、行動パターン、嗜好等が類似するユーザのことである。また、ユーザ集合に注目ユーザを含めてもよいし、含めなくてもよい。   Here, all of the users of the information processing system 10 may be included in the user set, or only some of the users may be included. In the latter case, for example, it may be a user set consisting of users similar to the user of interest. Here, a user similar to the user of interest is, for example, a user whose attributes (eg, age, gender, occupation, address, etc.), behavior patterns, preferences, etc. are similar to the user of interest. Further, the user set may or may not include the noted user.

例えば、学習部160は、図9に例示されるように、ユーザ集合内の各ユーザの標準状態パターンの平均を集計することにより、ユーザ集合状態パターンを学習する。例えば、各項目の1日の標準的な推移パターンの平均がユーザ集合内において集計されることにより、ユーザ集合内の各項目の平均的な1日の推移パターンが学習される。また、例えば、各項目の1週間の標準的な推移パターンの平均がユーザ集合内において集計されることにより、ユーザ集合内の各項目の平均的な1週間の推移パターンが学習される。   For example, as illustrated in FIG. 9, the learning unit 160 learns the user aggregation state pattern by aggregating the average of the standard state patterns of the respective users in the user aggregation. For example, by averaging the average of standard transition patterns of each item per day in the user set, the average daily transition pattern of each item in the user set is learned. Also, for example, by averaging the standard transition patterns of one week of each item in the user set, the average one week transition pattern of each item in the user set is learned.

学習部160は、注目ユーザの標準状態パターン、及び、ユーザ集合状態パターンの学習結果を示すデータを記憶部162に記憶させる。   The learning unit 160 causes the storage unit 162 to store data indicating the standard state pattern of the user of interest and the learning result of the user aggregation state pattern.

なお、注目ユーザの標準状態パターンの学習と、ユーザ集合状態パターンの学習とを行うタイミングは、必ずしも同期する必要はなく、それぞれ異なるタイミングで行われてもよい。   The learning of the standard state pattern of the user of interest and the learning of the user aggregation state pattern do not necessarily have to be synchronized, and may be performed at different timings.

その後、処理はステップS4に進む。   Thereafter, the process proceeds to step S4.

一方、ステップS2において、注目ユーザの標準状態パターンを学習しないと判定された場合、ステップS3の処理はスキップされ、処理はステップS4に進む。   On the other hand, if it is determined in step S2 that the standard state pattern of the user of interest is not learned, the process of step S3 is skipped, and the process proceeds to step S4.

ステップS4において、診断部154は、非運転時の運転診断を行う。例えば、診断部154は、注目ユーザの推定状態履歴に基づいて、上述した標準状態パターンと同じ項目について、直近の比較的短期の期間内(例えば、1日及び1週間)の推移パターン(以下、直近状態パターンと称する)を検出する。   In step S4, the diagnosis unit 154 performs operation diagnosis during non-operation. For example, based on the estimated state history of the user of interest, the diagnosis unit 154 determines, for the same item as the standard state pattern described above, the transition pattern (for example, one day and one week) within the latest relatively short period Detect the most recent state pattern).

次に、診断部154は、例えば、図10に例示されるように、注目ユーザの直近状態パターンと標準状態パターンとの乖離度を示す乖離度ベクトルx、及び、注目ユーザの直近状態パターンとユーザ集合状態パターンとの乖離度を示す乖離度ベクトルyを算出する。例えば、乖離度ベクトルx及び乖離度ベクトルyは、比較対象となる2つの状態パターンの項目毎の乖離度を正規化した値を含むベクトルされる。   Next, the diagnosis unit 154, for example, as illustrated in FIG. 10, a divergence degree vector x indicating the divergence between the nearest state pattern of the noted user and the standard state pattern, and the nearest state pattern of the noted user and the user A divergence degree vector y indicating the degree of divergence from the aggregate state pattern is calculated. For example, the divergence degree vector x and the divergence degree vector y are vectors including values obtained by normalizing the divergence degree for each item of two state patterns to be compared.

そして、診断部154は、次式(1)の関数fにより表される注目ユーザの運転診断モデルを用いて、注目ユーザの非運転時の運転適性度uを算出する。   Then, using the driving diagnostic model of the user of interest represented by the function f of the following equation (1), the diagnosis unit 154 calculates the driving aptitude degree u of the user of interest when the user is not driving.

u=f(x,y,wx,wy) ・・・(1) u = f (x, y, wx, wy) (1)

なお、wxは、乖離度ベクトルxに対する重みであり、wyは、乖離度ベクトルyに対する重みである。   Note that wx is a weight for the divergence degree vector x, and wy is a weight for the divergence degree vector y.

運転適性度uは、乖離度ベクトルxに含まれる各項目の乖離度が小さくなるほど大きくなる。すなわち、注目ユーザの直近状態パターンが標準状態パターンに近いほど、換言すれば、注目ユーザの直近の状態と標準的な状態との差が小さいほど、より運転に適した状態であると判定される。一方、運転適性度uは、乖離度ベクトルxに含まれる各項目の乖離度が大きくなるほど小さくなる。すなわち、注目ユーザの直近状態パターンが標準状態パターンから遠いほど、換言すれば、注目ユーザの直近の状態と標準的な状態との差が大きいほど、より運転に適していない状態であると判定される。   The driving aptitude degree u increases as the deviation degree of each item included in the deviation degree vector x decreases. That is, as the nearest state pattern of the noted user is closer to the standard state pattern, in other words, as the difference between the nearest state of the noted user and the standard state is smaller, it is determined that the state is more suitable for driving. . On the other hand, the driving aptitude degree u decreases as the degree of deviation of each item included in the degree of deviation vector x increases. That is, it is determined that the closer the state pattern of the noted user is to the standard state pattern, in other words, the larger the difference between the nearest state of the noted user and the standard state, the less suitable the driving is. Ru.

また、運転適性度uは、乖離度ベクトルyに含まれる各項目の乖離度が小さくなるほど大きくなる。すなわち、注目ユーザの直近状態パターンがユーザ集合状態パターンに近いほど、換言すれば、注目ユーザの直近の状態とユーザ集合における平均的な状態との差が小さいほど、より運転に適した状態であると判定される。一方、運転適性度uは、乖離度ベクトルyに含まれる各項目の乖離度が大きくなるほど小さくなる。すなわち、注目ユーザの直近状態パターンがユーザ集合状態パターンから遠いほど、換言すれば、注目ユーザの直近の状態とユーザ集合における平均的な状態との差が大きいほど、より運転に適していない状態であると判定される。   In addition, the driving aptitude degree u increases as the degree of deviation of each item included in the degree of deviation vector y decreases. That is, the closer the state pattern of the user of interest is to the user group state pattern, in other words, the smaller the difference between the state of the user of interest and the average state of the user group, the more suitable for driving. It is determined that On the other hand, the driving aptitude degree u decreases as the degree of deviation of each item included in the degree of deviation vector y increases. That is, as the nearest state pattern of the noted user is further from the user set state pattern, in other words, the larger the difference between the nearest state of the noted user and the average state in the user set, the more unsuitable the driving is. It is determined that there is.

なお、重みwxが大きくなるほど、運転適性度uに対する乖離度ベクトルx(すなわち、注目ユーザの直近状態パターンと標準状態パターンの差)の影響が大きくなる。一方、重みwyが大きくなるほど、運転適性度uに対する乖離度ベクトルy(すなわち、注目ユーザのユーザ集合状態パターンと標準状態パターンの差)の影響が大きくなる。   As the weight wx increases, the influence of the deviation degree vector x (that is, the difference between the nearest state pattern of the user of interest and the standard state pattern) with respect to the driving aptitude degree u increases. On the other hand, as the weight wy increases, the influence of the deviation degree vector y (that is, the difference between the user group state pattern of the user of interest and the standard state pattern) with respect to the driving aptitude degree u increases.

また、例えば、診断部154は、運転適性度uが所定の閾値未満である場合、運転適性度uの低下要因を推定する。例えば、診断部154は、乖離度ベクトルxにおいて、重みwxと乖離度の積が所定の値以上となる項目を抽出する。また、診断部154は、乖離度ベクトルyにおいて、重みwyと乖離度の積が所定の値以上となる項目を抽出する。そして、診断部154は、抽出した各項目について、直近状態パターンと標準状態パターン又はユーザ集合平均パターンとを比較することにより、運転適性度uの低下要因を推定する。   In addition, for example, when the driving aptitude degree u is less than a predetermined threshold value, the diagnosis unit 154 estimates a reduction factor of the driving aptitude degree u. For example, in the divergence degree vector x, the diagnosis unit 154 extracts an item in which the product of the weight wx and the divergence degree is equal to or more than a predetermined value. Further, the diagnosis unit 154 extracts an item in which the product of the weight wy and the degree of divergence is equal to or larger than a predetermined value in the degree of divergence vector y. Then, the diagnosis unit 154 estimates the reduction factor of the driving aptitude degree u by comparing the latest state pattern with the standard state pattern or the user group average pattern for each of the extracted items.

例えば、注目ユーザの直近状態パターンにおける睡眠時間が標準状態パターン又はユーザ集合平均パターンを大幅に下回っている場合、睡眠不足が低下要因であると推定される。   For example, when the sleep time in the latest state pattern of the user of interest is significantly less than the standard state pattern or the user group average pattern, it is estimated that the lack of sleep is a reduction factor.

例えば、注目ユーザの直近状態パターンにおける運動時間、心拍、及び、発汗量のうち1つ以上が標準状態パターン又はユーザ集合平均パターンを大幅に上回っている場合、激しい運動による肉体疲労が低下要因であると推定される。   For example, if one or more of exercise time, heart rate, and amount of sweating in the most recent state pattern of the noted user is significantly greater than the standard state pattern or the user group average pattern, physical fatigue due to heavy exercise is a decreasing factor It is estimated to be.

例えば、注目ユーザの直近状態パターンにおけるストレス度、緊張度、及び、焦燥度のうち1つ以上が、標準状態パターン又はユーザ集合平均パターンを大幅に上回っている場合、注目ユーザの焦りが低下要因であると推定される。   For example, if one or more of the degree of stress, the degree of tension, and the degree of frustration in the nearest state pattern of the noted user is significantly greater than the standard state pattern or the user group average pattern, It is estimated that there is.

なお、運転適性度uが所定の閾値以上の場合、例えば、運転適性度uの低下要因は、特になしとなる。   In addition, when the driving aptitude degree u is more than a predetermined | prescribed threshold value, for example, the fall factor of the driving aptitude degree u will be nothing.

診断部154は、運転適性度u、及び、推定される低下要因を、診断した時刻とともに、注目ユーザの運転の適性の診断結果として記憶部162に記憶させる。これにより、注目ユーザの運転診断履歴が更新される。   The diagnosis unit 154 causes the storage unit 162 to store the driving aptitude degree u and the estimated reduction factor together with the diagnosed time as the diagnosis result of the driving aptitude of the noted user. Thus, the driving diagnosis history of the user of interest is updated.

ステップS5において、リスク予測部156は、リスク予測を行う。具体的には、リスク予測部156は、注目ユーザの運転診断履歴及びリスク予測モデルを記憶部162から取得する。リスク予測部156は、注目ユーザの運転診断履歴に基づいて、注目ユーザのリスク予測モデルを用いて、現時点で注目ユーザが運転を行った場合のリスクを予測する。   In step S5, the risk prediction unit 156 performs risk prediction. Specifically, the risk prediction unit 156 acquires the driving diagnosis history and the risk prediction model of the user of interest from the storage unit 162. The risk prediction unit 156 predicts the risk in the case where the focused user is driving at the present time using the risk prediction model of the focused user based on the driving diagnosis history of the focused user.

例えば、運転適性度uの低下要因が睡眠不足又は肉体疲労である場合、居眠り運転のリスクがあると推定される。   For example, when the factor of decreasing the driving aptitude u is sleep deprivation or physical fatigue, it is estimated that there is a risk of drowsy driving.

例えば、運転適性度uの低下要因が注目ユーザの焦りである場合、例えば、速度オーバーや無理な追い越し等による他車両との衝突又は接触、並びに、注目ユーザの不注意による障害物(例えば、他車両、自転車、歩行者等)との衝突や接触等のリスクがあると推定される。   For example, when the factor of lowering the driving aptitude u is the intimacy of the noted user, for example, a collision or contact with another vehicle due to overspeeding or excessive overtaking, etc., and an obstacle due to the attention of the noted user (eg, other It is estimated that there is a risk of collision or contact with vehicles, bicycles, pedestrians, etc.).

また、リスク予測部156は、予測されるリスクの発生確率を推定する。例えば、注目ユーザの睡眠時間が短いほど、居眠り運転の推定発生確率は高くなる。   Also, the risk prediction unit 156 estimates the occurrence probability of the predicted risk. For example, as the sleep time of the user of interest is shorter, the estimated occurrence probability of drowsy driving is higher.

なお、一般的に、運転適性度uが低くなるほど、予測されるリスク及び発生確率が大きくなる。   Generally, the lower the driving aptitude degree u, the larger the predicted risk and the probability of occurrence.

リスク予測部156は、リスクの予測結果を損害予測部157に供給する。このリスクの予測結果には、予測されるリスク、リスクを予測した根拠(例えば、運転適性度uの低下要因)、及び、リスクの発生確率が含まれる。   The risk prediction unit 156 supplies the prediction result of the risk to the damage prediction unit 157. The risk prediction result includes the predicted risk, the basis for predicting the risk (for example, a factor that decreases the driving aptitude u), and the probability of occurrence of the risk.

ステップS6において、損害予測部157は、損害予測を行う。具体的には、損害予測部157は、リスク予測部156により予測されるリスクにより発生する損害(例えば、リスク/ペナルティ値)を予測する。このとき、リスクの発生確率が加味される。すなわち、発生確率が高いほど、予測される損害が大きくなり、発生確率が低いほど、予測される損害が小さくなる。損害予測部157は、リスク及び損害の予測結果を運転挙動検出部155及び提示制御部158に供給する。   In step S6, the loss prediction unit 157 performs loss prediction. Specifically, the loss prediction unit 157 predicts the damage (for example, the risk / penalty value) generated due to the risk predicted by the risk prediction unit 156. At this time, the risk occurrence probability is taken into consideration. That is, the higher the probability of occurrence, the greater the expected damage, and the lower the probability of occurrence, the smaller the predicted damage. The damage prediction unit 157 supplies the prediction result of the risk and the damage to the driving behavior detection unit 155 and the presentation control unit 158.

ステップS7において、運転挙動検出部155は、運転挙動の検出パラメータを調整する。例えば、運転挙動検出部155は、予測されるリスク及び損害に応じて、各種の運転挙動のうち、危険運転の検出用のパラメータを調整する。   In step S7, the driving behavior detection unit 155 adjusts the detection parameter of the driving behavior. For example, the driving behavior detection unit 155 adjusts a parameter for detection of dangerous driving among various driving behaviors according to the predicted risk and damage.

ここで、危険運転の検出に関わる運転挙動とは、例えば、急発進、急加速、急ブレーキ、及び、急ステアリング等の急操作、蛇行運転、居眠り運転、覚醒度や集中力の低下、脇見運転、前方不注意、速度オーバー、無理な追い越し、車間距離の不足、並びに、障害物への接近等の危険な運転挙動のことである。   Here, the driving behavior related to the detection of the dangerous driving includes, for example, a sudden start, a sudden acceleration, a sudden braking, and a sudden operation such as a sudden steering, meandering driving, drowsy driving, a decrease in arousal level or concentration, wandering driving Dangerous driving behavior such as forward carelessness, speed over, excessive overtaking, lack of distance between vehicles, and approach to obstacles.

また、推定されるリスク及び損害が大きくなるほど、検出対象となる危険運転のレベル(危険度)がより低くなるように、検出パラメータが調整される。これにより、より早期かつより軽微な段階から危険運転が検出されるようになる。   Also, the detection parameters are adjusted such that the level (risk) of the dangerous driving to be detected becomes lower as the estimated risk and damage increase. This allows dangerous driving to be detected from an earlier and lesser stage.

例えば、居眠り運転の発生が予測される場合、より早くユーザの眠気を検出するように、眠気判定における瞬きの回数の閾値が小さくされる。例えば、脇見運転、前方不注意、速度オーバー等の発生が予測される場合、急加速や急ブレーキが検出されやすくなるように、急加速や急ブレーキの検出用の閾値が小さくされる。   For example, when occurrence of drowsy driving is predicted, the threshold value of the number of blinks in the drowsiness determination is reduced so as to detect drowsiness of the user earlier. For example, when occurrence of a look-ahead operation, forward carelessness, overspeed, or the like is predicted, the threshold value for detecting rapid acceleration or sudden braking is decreased so that rapid acceleration or sudden braking is easily detected.

さらに、検出対象となる危険運転のレベルが低くなるほど、予測対象となるリスクのレベル(危険度)が低くなる。すなわち、より早期かつより軽微な段階のリスクが予測されるようになる。   Furthermore, the lower the level of dangerous driving to be detected, the lower the level of risk to be predicted (risk). In other words, earlier and smaller risks can be predicted.

ここで、注目ユーザの運転適性度uにより、検出対象となる危険運転のレベル、及び、予測対象となるリスクのレベルが変化する。例えば、上述したように、一般的に運転適性度uが低くなるほど、予測されるリスク及び損害発生確率が大きくなり、予測される損害も大きくなる。従って、検出対象となる危険運転のレベルがより低くなるように、検出パラメータが調整される。その結果、運転適性度uが低くなるほど、検出対象となる危険運転のレベル、及び、予測対象となるリスクのレベルが低くなる。   Here, the level of the dangerous driving to be detected and the level of the risk to be predicted change according to the driving aptitude degree u of the noted user. For example, as described above, generally, the lower the driving aptitude u, the larger the predicted risk and the probability of damage occurrence, and the larger the predicted damage. Therefore, the detection parameters are adjusted to lower the level of the dangerous operation to be detected. As a result, the lower the driving aptitude degree u, the lower the level of dangerous driving to be detected and the level of risk to be predicted.

ステップS8において、提示制御部158は、ユーザ(注目ユーザ)へのフィードバックを行うか否かを判定する。注目ユーザへのフィードバックは、所定のタイミングで実行される。例えば、注目ユーザのユーザ端末部11からフィードバックの要求が送信されてきたとき、所定の時間が経過する毎、又は、重大なリスクが予測されるとき等のタイミングで、フィードバックが実行される。そして、提示制御部158は、現在が注目ユーザへのフィードバックを行うタイミングである場合、注目ユーザへのフィードバックを行うと判定し、処理はステップS9に進む。   In step S8, the presentation control unit 158 determines whether or not to perform feedback to the user (user of interest). The feedback to the user of interest is performed at a predetermined timing. For example, when a request for feedback is transmitted from the user terminal unit 11 of the user of interest, the feedback is performed each time a predetermined time passes or when a serious risk is predicted. Then, the presentation control unit 158 determines that feedback to the user of interest is to be performed when the current time is the timing of feedback to the user of interest, and the process proceeds to step S9.

ステップS9において、サーバ13は、ユーザ(注目ユーザ)へのフィードバックを行う。具体的には、提示制御部158は、注目ユーザに提示するフィードバック情報を生成する。このフィードバック情報は、例えば、注目ユーザの運転診断の結果、予測されるリスクの内容、運転診断結果の根拠又はリスクを予測した根拠、及び、リスクを避けるための提案(以下、リスク回避案と称する)のうち1つ以上を含む。提示制御部158は、生成したフィードバック情報を、通信部151を介して、注目ユーザのユーザ端末部11に送信する。   In step S9, the server 13 performs feedback to the user (user of interest). Specifically, the presentation control unit 158 generates feedback information to be presented to the user of interest. This feedback information is, for example, the result of the driving diagnosis of the noted user, the content of the predicted risk, the basis of the driving diagnostic result or the basis for predicting the risk, and the proposal for avoiding the risk (hereinafter referred to as a risk avoidance plan Include one or more of The presentation control unit 158 transmits the generated feedback information to the user terminal unit 11 of the user of interest via the communication unit 151.

例えば、注目ユーザのモバイル端末51がフィードバック情報を受信した場合、モバイル端末51の出力部66は、視覚情報(例えば、映像)及び聴覚情報(例えば、音声)のうち少なくとも1つを用いてフィードバック情報を注目ユーザに提示する。また、例えば、注目ユーザのウエアラブル端末52がフィードバック情報を受信した場合、ウエアラブル端末52の出力部83は、視覚情報及び聴覚情報のうち少なくとも1つを用いてフィードバック情報を注目ユーザに提示する。   For example, when the mobile terminal 51 of the user of interest receives the feedback information, the output unit 66 of the mobile terminal 51 uses at least one of visual information (for example, video) and auditory information (for example, audio) for feedback information. Is presented to the noted user. Also, for example, when the wearable terminal 52 of the user of interest receives feedback information, the output unit 83 of the wearable terminal 52 presents feedback information to the user of interest using at least one of visual information and auditory information.

例えば、注目ユーザの睡眠不足が推定されている場合、「寝不足状態です。少し睡眠を取ってから運転することをお勧めします。」のような音声メッセージが出力される。   For example, when it is estimated that the focused user's sleep lacks, a voice message such as "It is a sleepless condition. It is recommended to take a little sleep and then drive" is output.

また、例えば、注目ユーザの運転診断結果として、運転適性度uが所定の段階(例えば、10段階)の値により提示されるともに、その根拠が提示される。   Also, for example, as the driving diagnosis result of the noted user, the driving aptitude degree u is presented by the value of a predetermined stage (for example, 10 stages), and the basis thereof is presented.

さらに、例えば、注目ユーザの状態の推定結果が提示されてもよい。例えば、注目ユーザの喜怒哀楽、興奮度、攻撃性等の感情指数が所定の段階(例えば、10段階)の値より提示されてもよい。   Furthermore, for example, an estimation result of the state of the user of interest may be presented. For example, emotion quotients such as emotions, excitement, aggression and the like of the noted user may be presented from values of predetermined stages (e.g., ten stages).

その後、処理はステップS10に進む。   Thereafter, the process proceeds to step S10.

一方、ステップS8において、注目ユーザへのフィードバックを行わないと判定された場合、ステップS9の処理はスキップされ、処理はステップS10に進む。   On the other hand, if it is determined in step S8 that feedback to the user of interest is not to be performed, the process of step S9 is skipped, and the process proceeds to step S10.

ステップS10において、状態推定部152は、ユーザ(注目ユーザ)が運転を開始したか否かを判定する。具体的には、状態推定部152は、通信部151を介して、注目ユーザのユーザ端末部11及び車両12のうち少なくとも1つから受信したデータに基づいて、注目ユーザが運転を開始したか否かを判定する。   In step S10, the state estimation unit 152 determines whether the user (the noted user) has started driving. Specifically, the state estimation unit 152 determines whether the focused user has started driving based on data received from at least one of the user terminal unit 11 and the vehicle 12 of the focused user via the communication unit 151. Determine if

運転開始の判定処理は、ユーザ端末部11、車両12、及び、サーバ13のいずれで行ってもよい。例えば、モバイル端末51が、注目ユーザの運転認識処理を行ったり、車両12とビーコン同期を行ったりすることにより、運転開始の判定処理を実行するようにしてもよい。また、例えば、車両12の車載表示デバイス等と一体化した計測機器が、運転開始の判定処理を実行するようにしてもよい。   The determination process of the driving start may be performed by any of the user terminal unit 11, the vehicle 12, and the server 13. For example, the mobile terminal 51 may execute the driving start determination process by performing the driving recognition process of the user of interest or performing the beacon synchronization with the vehicle 12. Further, for example, a measurement device integrated with an on-vehicle display device or the like of the vehicle 12 may execute the process of determining the start of driving.

なお、ユーザ端末部11又は車両12で判定処理を行う場合、ユーザ端末部11又は車両12から送信されるデータにその判定結果が含まれ、状態推定部152は、その判定結果に基づいて、注目ユーザが運転を開始したか否かを判定する。   When the determination process is performed by the user terminal unit 11 or the vehicle 12, the determination result is included in the data transmitted from the user terminal unit 11 or the vehicle 12, and the state estimation unit 152 focuses on the determination result. It is determined whether the user has started driving.

そして、注目ユーザが運転を開始していないと判定された場合、処理はステップS2に戻る。その後、ステップS10において、注目ユーザが運転を開始したと判定されるまで、ステップS2乃至ステップS10の処理が繰り返し実行される。これにより、注目ユーザの運転診断、リスク予測、及び、損害予測が適宜行われ、その結果に基づいて、危険運転の検出パラメータの調整や注目ユーザへのフィードバックが行われる。また、注目ユーザの標準状態パターン、及び、ユーザ集合状態パターンが適宜更新される。   Then, if it is determined that the focused user has not started driving, the process returns to step S2. Thereafter, in step S10, the processes of steps S2 to S10 are repeatedly executed until it is determined that the focused user has started driving. As a result, the driving diagnosis, the risk prediction, and the damage prediction of the user of interest are appropriately performed, and adjustment of detection parameters for dangerous driving and feedback to the user of interest are performed based on the results. In addition, the standard state pattern of the noted user and the user aggregation state pattern are updated as appropriate.

一方、ステップS10において、注目ユーザが運転を開始したと判定された場合、処理はステップS11に進む。   On the other hand, when it is determined in step S10 that the focused user has started driving, the process proceeds to step S11.

ステップS11において、サーバ13は、運転時のユーザ(注目ユーザ)の状態の推定処理を開始する。この推定処理は、ステップS1の推定処理と比較して、注目ユーザのユーザ端末部11に加えて、車両12から送信されてくるデータに基づいて、推定処理が行われる点が大きく異なる。   In step S11, the server 13 starts the process of estimating the state of the user (user of interest) at the time of driving. This estimation process is largely different from the estimation process of step S1 in that the estimation process is performed based on data transmitted from the vehicle 12 in addition to the user terminal unit 11 of the user of interest.

例えば、車両12からの映像データに基づいて、注目ユーザの視線、瞬き、表情等が検出され、注目ユーザの集中度、覚醒度、疲労度、感情等の推定に用いられる。また、例えば、車両12からの車両データに基づいて、注目ユーザの運転操作の内容等が推定される。   For example, based on the video data from the vehicle 12, the gaze, blink, expression, etc. of the user of interest are detected, and used to estimate the degree of concentration, arousal, fatigue, emotion, etc. of the user of interest. Further, for example, based on the vehicle data from the vehicle 12, the content of the driving operation of the user of interest is estimated.

さらに、例えば、車両12の走行ルートや注目ユーザが運転している時間帯に基づいて、注目ユーザの状態が推定される。例えば、注目ユーザの心拍数や運動量が急速に上昇した後、通常とは異なる時間帯(例えば、深夜や早朝)に注目ユーザが運転したり、車両12が注目ユーザの日常の生活範囲の圏外を走行したりしている場合、注目ユーザが何らかの緊急事態により焦っていると推定される。   Furthermore, for example, the state of the user of interest is estimated based on the travel route of the vehicle 12 and the time zone in which the user of interest is driving. For example, after the heart rate and the amount of exercise of the user of interest rapidly rise, the user of interest may drive in a time zone different from normal (for example, midnight or early morning) or the vehicle 12 is out of the daily life range of the user of interest When traveling or the like, it is estimated that the user of interest is irritated by an emergency.

また、状態推定部152は、ステップS1の処理と同様に、注目ユーザの状態データログ及び推定状態履歴の更新を適宜行う。   Further, the state estimation unit 152 appropriately updates the state data log and the estimated state history of the user of interest, similarly to the process of step S1.

ステップS12において、周辺データ取得部153は、車両12の周辺データの取得を開始する。例えば、周辺データ取得部153は、ユーザ端末部11又は車両12から送信されてくる位置情報、並びに、通信部151を介して他のサーバ等から受信した地図情報等に基づいて、注目ユーザの車両12の周辺の構造物、道路、渋滞、天候等の状態の検出を行う。また、例えば、周辺データ取得部153は、ユーザ端末部11又は車両12から送信されてくる映像データ、音声データ、及び、センサデータ等に基づいて、車両12周辺の物体(例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等)の検出を行う。なお、ユーザ端末部11又は車両12が、車両12の周辺の物体の検出処理を行い、検出結果をサーバ13に送信するようにしてもよい。   In step S12, the peripheral data acquisition unit 153 starts acquisition of peripheral data of the vehicle 12. For example, based on the position information transmitted from the user terminal unit 11 or the vehicle 12 and the map information received from another server or the like via the communication unit 151, the surrounding data acquisition unit 153 may select the vehicle of the focused user It detects the state of structures, roads, traffic jams, weather, etc. around 12. In addition, for example, the peripheral data acquisition unit 153 may use an object (for example, a vehicle, a person, or the like) around the vehicle 12 based on video data, audio data, sensor data, and the like transmitted from the user terminal unit 11 or the vehicle 12. Detect obstacles, structures, roads, traffic lights, traffic signs, road markings, etc.). The user terminal unit 11 or the vehicle 12 may perform detection processing of an object around the vehicle 12 and transmit the detection result to the server 13.

周辺データ取得部153は、取得した車両12の周辺データを診断部154及びリスク予測部156に供給する。   The peripheral data acquisition unit 153 supplies the acquired peripheral data of the vehicle 12 to the diagnosis unit 154 and the risk prediction unit 156.

ステップS13において、サーバ13は、運転挙動の検出処理を開始する。具体的には、例えば、以下の処理が開始される。   In step S13, the server 13 starts the process of detecting the driving behavior. Specifically, for example, the following processing is started.

運転挙動検出部155は、通信部151が注目ユーザのユーザ端末部11及び車両12から受信したデータのうち、運転挙動(例えば、運転中の注目ユーザ又は車両12の挙動)に関するデータを通信部151から取得する。また、運転挙動検出部155は、取得した運転挙動に関するデータ、記憶部162に記憶されている注目ユーザの推定状態履歴、及び、周辺データ取得部153から取得した車両12の周辺データに基づいて、記憶部162に記憶されている注目ユーザの運転挙動検出モデルを用いて、運転挙動を検出する。すなわち、運転中の注目ユーザの挙動と車両12の挙動が検出される。例えば、車両12の速度、加速度、減速度、ブレーキ操作、ステアリング角度、走行ルート等が検出される。   The driving behavior detection unit 155 transmits data on the driving behavior (for example, the behavior of the watching user or the vehicle 12 during driving) among the data received by the communication unit 151 from the user terminal unit 11 of the watching user and the vehicle 12. Get from In addition, the driving behavior detection unit 155 is based on the acquired data on the driving behavior, the estimated state history of the noted user stored in the storage unit 162, and the peripheral data of the vehicle 12 acquired from the peripheral data acquisition unit 153. Driving behavior is detected using the driving behavior detection model of the user of interest stored in the storage unit 162. That is, the behavior of the user of interest while driving and the behavior of the vehicle 12 are detected. For example, the speed, acceleration, deceleration, brake operation, steering angle, traveling route and the like of the vehicle 12 are detected.

なお、運転中の注目ユーザの挙動の一部は、ステップS11において、状態推定部152により検出(推定)されてもよい。   Note that a part of the behavior of the user of interest while driving may be detected (estimated) by the state estimation unit 152 in step S11.

また、運転挙動の検出は、ユーザ端末部11、車両12、及び、サーバ13のいずれで行われてもよいし、ユーザ端末部11、車両12、及び、サーバ13が分担して行ってもよい。   Further, the detection of the driving behavior may be performed by any of the user terminal unit 11, the vehicle 12, and the server 13, or the user terminal unit 11, the vehicle 12, and the server 13 may be shared and performed. .

次に、運転挙動検出部155は、検出した運転挙動、注目ユーザの推定状態履歴、及び、車両12の周辺データに基づいて、危険運転の検出処理を行う。   Next, the driving behavior detection unit 155 performs dangerous driving detection processing based on the detected driving behavior, the estimated state history of the user of interest, and the peripheral data of the vehicle 12.

例えば、OBD情報等に基づく車両12の速度、ステアリング角度、若しくは、トルク等の急変動、又は、ユーザ端末部12により検出される加速度又は角速度等の急変動により、急操作が検出される。   For example, the sudden operation is detected by a sudden change such as the speed of the vehicle 12 based on the OBD information or the like, a steering angle, or a torque or a sudden change such as an acceleration detected by the user terminal 12 or an angular velocity.

例えば、OBD情報等に基づく車両12の速度、ステアリング角度、若しくは、トルク等の周期的変動、又は、ユーザ端末部12により検出される加速度又は角速度等の周期的変動により、蛇行運転が検出される。   For example, the meandering operation is detected by periodic fluctuation such as the speed of the vehicle 12, steering angle, or torque based on OBD information or the like or periodic fluctuation such as acceleration or angular velocity detected by the user terminal unit 12. .

例えば、ステレオカメラ、レーザレーダ、ミリ波レーダを用いて検出される先行車の位置により、車間距離の不足が検出される。   For example, the shortage of the inter-vehicle distance is detected by the position of the preceding vehicle detected using a stereo camera, a laser radar, and a millimeter wave radar.

ここで、上述したステップS7又は後述するステップS20において調整される検出パラメータが、危険運転の検出処理に用いられる。従って、上述したように、注目ユーザの運転適性度uが低くなるほど、検出対象となる危険運転のレベルが低くなり、より早期かつより軽微な段階から検出対象が危険運転として検出されるようになる。   Here, the detection parameter adjusted in step S7 mentioned above or step S20 mentioned later is used for the detection process of dangerous driving | operation. Therefore, as described above, the lower the driving aptitude degree u of the user of interest, the lower the level of the dangerous driving to be detected, and the detection target is detected as the dangerous driving from an earlier and lighter stage. .

運転挙動検出部155は、運転挙動の検出結果を、検出した時刻とともに記憶部162に記憶させる。これにより、注目ユーザの運転挙動履歴が更新される。   The driving behavior detection unit 155 stores the detection result of the driving behavior in the storage unit 162 together with the detected time. Thus, the driving behavior history of the user of interest is updated.

ステップS14において、診断部154は、運転時の運転診断を行う。例えば、診断部154は、運転開始後の注目ユーザの推定状態履歴、及び、運転挙動履歴に基づいて、記憶部162に記憶されている注目ユーザの運転診断モデルを用いて、運転適性度uを補正する。   In step S14, the diagnosis unit 154 makes a driving diagnosis during driving. For example, based on the estimated state history of the noted user after the start of driving and the driving behavior history, the diagnosis unit 154 uses the driving diagnosis model of the noted user stored in the storage unit 162 to determine the driving aptitude degree u. to correct.

例えば、注目ユーザの集中度又は覚醒度の低下や、注目ユーザの疲労度、ストレス度、又は、緊張度の上昇が発生している場合、運転適性度uが下げられる。一方、例えば、注目ユーザの集中度又は覚醒度の上昇や、注目ユーザの疲労度、ストレス度、又は、緊張度の低下が発生している場合、運転適性度uが上げられる。また、例えば、危険運転が検出されている場合、検出頻度に応じて運転適性度uが下げられる。一方、危険運転が検出されない状態が継続している場合、継続時間に応じて、運転適性度uが上げられる。   For example, the driving aptitude degree u is lowered in the case where the degree of concentration or arousal of the noted user decreases, and the degree of fatigue, stress or tension of the noted user is increased. On the other hand, for example, when the concentration degree or the awakening degree of the user of interest is increased, the degree of fatigue, stress or tension of the user of interest is decreased, the driving aptitude u is raised. Further, for example, when the dangerous driving is detected, the driving aptitude degree u is lowered according to the detection frequency. On the other hand, when the state where the dangerous driving is not detected continues, the driving aptitude degree u is raised according to the continuation time.

なお、ブレーキやアクセルペダルの踏み方の滑らかさ、コーナリングの際のステアリングホイールのさばき方、加速及び減速の滑らかさ等の注目ユーザの運転操作の良し悪しに基づいて、運転適性度uが補正されてもよい。   Note that the driving aptitude factor u is corrected based on the user's attention to driving operation such as how smooth the brakes and accelerator pedals are, how to steer the steering wheel at cornering, and smoothness of acceleration and deceleration. May be

診断部154は、補正後の運転適性度u、及び、推定される低下要因を、診断した時刻とともに、注目ユーザの運転の適性の診断結果として記憶部162に記憶させる。これにより、注目ユーザの運転診断履歴が更新される。   The diagnosis unit 154 causes the storage unit 162 to store the corrected driving aptitude degree u and the estimated reduction factor together with the diagnosed time as the diagnosis result of the driving aptitude of the noted user. Thus, the driving diagnosis history of the user of interest is updated.

ステップS15において、リスク予測部156は、リスク予測を行う。ここで、リスク予測部156は、ステップS5の処理と異なり、注目ユーザの運転診断履歴に加えて、記憶部162に記憶されている注目ユーザの推定状態履歴及び運転挙動履歴をさらに用いて、リスク予測を行う。例えば、注目ユーザの運転適性度uが高くても、危険運転の検出頻度が高くなるほど、及び、検出された危険運転の危険度が高くなるほど、予測されるリスクが大きくなる。一方、例えば、注目ユーザの運転適性度uが低くても、危険運転が検出されない場合、予測されるリスクが小さくなる。このように、実際の注目ユーザの運転中の状態や運転挙動をさらに用いて、リスク予測が行われるため、ステップS5の処理と比較して、リスク予測の精度が向上する。   In step S15, the risk prediction unit 156 performs risk prediction. Here, unlike the process of step S5, the risk prediction unit 156 further uses the estimated state history and driving behavior history of the noted user stored in the storage unit 162 in addition to the driving diagnosis history of the noted user. Make predictions. For example, even if the driving aptitude degree u of the noted user is high, the predicted risk increases as the detection frequency of the dangerous driving increases and as the risk degree of the detected dangerous driving increases. On the other hand, for example, even if the driving aptitude degree u of the noted user is low, when the dangerous driving is not detected, the predicted risk is reduced. As described above, the risk prediction is performed by further using the driving condition and driving behavior of the actual user of interest, so that the accuracy of the risk prediction is improved as compared with the process of step S5.

また、リスク予測部156は、リスク及びその発生確率だけでなく、今後リスクの発生確率が高くなる時刻(以下、リスク上昇時刻と称する)を予測することも可能である。例えば、リスク予測部156は、注目ユーザの集中度、緊張度、又は、覚醒度の時系列の変化に基づいて、それらが所定の閾値を下回る時刻を、リスク上昇時刻として推定する。   Also, the risk prediction unit 156 can predict not only the risk and its occurrence probability but also a time when the risk occurrence probability becomes high (hereinafter referred to as a risk rise time). For example, the risk prediction unit 156 estimates the time at which they fall below a predetermined threshold as the risk increase time, based on the concentration degree of the user of interest, the tension degree, or the time series change of the awakening degree.

リスク予測部156は、リスクの予測結果を損害予測部157に供給する。このリスクの予測結果には、予測されるリスクの内容、リスクを予測した根拠(例えば、運転適性度uの低下要因や危険運転の検出結果)、及び、リスクの発生確率が含まれる。また、必要に応じて、リスク上昇時刻が含まれる。   The risk prediction unit 156 supplies the prediction result of the risk to the damage prediction unit 157. The prediction result of this risk includes the content of the predicted risk, the basis for which the risk was predicted (for example, the cause of the decrease in the driving aptitude degree u and the detection result of the dangerous driving), and the occurrence probability of the risk. In addition, risk rise time is included as needed.

ステップS16において、ステップS6の処理と同様に、損害予測が行われる。ただし、損害予測部157は、ステップS6の処理と異なり、注目ユーザの従順度をさらに用いて、損害予測を行う。すなわち、注目ユーザの従順度が高いほどリスクを回避する可能性が高くなり、従順度が低いほどリスクを回避する可能性が低くなる。従って、従順度が高いほど、予測される損害が小さくなり、従順度が低いほど、予測される損害が大きくなる。損害予測部157は、リスク及び損害の予測結果を運転挙動検出部155及び提示制御部158に供給する。   In step S16, damage prediction is performed as in the process of step S6. However, unlike the process of step S6, the loss prediction unit 157 further performs loss prediction using the degree of compliance of the user of interest. That is, the higher the degree of compliance of the user of interest, the higher the possibility of avoiding the risk, and the lower the degree of compliance, the lower the possibility of avoiding the risk. Thus, the higher the compliance, the smaller the expected damage, and the lower the compliance, the larger the predicted damage. The damage prediction unit 157 supplies the prediction result of the risk and the damage to the driving behavior detection unit 155 and the presentation control unit 158.

ここで、注目ユーザの従順度により、検出対象となる危険運転のレベル、及び、予測対象となるリスクのレベルが変化する。例えば、上述したように、注目ユーザの従順度が低くなるほど、予測されるリスクの損害が大きくなる。従って、検出対象となる危険運転のレベルがより低くなるように、検出パラメータが調整される。その結果、従順度が低くなるほど、検出対象となる危険運転のレベル、及び、予測対象となるリスクのレベルが低くなる。   Here, the level of dangerous driving to be detected and the level of risk to be predicted change depending on the degree of compliance of the noted user. For example, as described above, the lower the compliance of the user of interest, the greater the loss of predicted risk. Therefore, the detection parameters are adjusted to lower the level of the dangerous operation to be detected. As a result, the lower the degree of compliance, the lower the level of dangerous driving to be detected and the level of risk to be predicted.

ステップS17において、提示制御部158は、ユーザ(注目ユーザ)へのフィードバックを行うか否かを判定する。例えば、提示制御部158は、注目ユーザに通知する必要があるリスクの発生が予測されている場合、注目ユーザへのフィードバックを行うと判定し、処理はステップS18に進む。   In step S17, the presentation control unit 158 determines whether to perform feedback to the user (the user of interest). For example, when the occurrence of the risk that needs to be notified to the focused user is predicted, the presentation control unit 158 determines that feedback to the focused user is to be performed, and the process proceeds to step S18.

ステップS18において、ステップS8の処理と同様に、注目ユーザへのフィードバックが行われる。ここで、注目ユーザに提示されるフィードバック情報の具体例について説明する。   In step S18, feedback to the user of interest is performed as in the process of step S8. Here, a specific example of feedback information presented to the user of interest will be described.

例えば、注目ユーザの睡眠不足が推定されている場合に、急操作又は蛇行運転が検出されたとき、危険運転に対する注意喚起が行われる。例えば、注目ユーザのユーザ端末部11又は車両12において、「寝不足状態です。注意して運転してください。」のような音声メッセージが出力される。例えば、「注意して運転してください」の部分がリスク回避案となり、「寝不足状態です」の部分が、リスク回避案を提示する根拠となる。   For example, when the lack of sleep of the user of interest is estimated, when sudden operation or meandering operation is detected, warning for dangerous driving is performed. For example, in the user terminal unit 11 of the user of interest or the vehicle 12, a voice message such as "It is a sleep shortage condition. Please drive with caution." Is output. For example, the part of "Please drive with caution" is a risk aversion plan, and the portion of "insufficient sleep state" is a basis for presenting a risk aversion plan.

例えば、注目ユーザが日常生活の圏外にいると推定される場合、又は、強いストレスを感じていると推定される場合に、前方車両への接近が検出されたとき、危険運転に対する注意喚起が行われる。例えば、注目ユーザのユーザ端末部11又は車両12において、「急いでいませんか?落ち着いて運転しましょう。」のような音声メッセージが出力される。例えば、「落ち着いて運転しましょう」の部分がリスク回避案となり、「急いでいませんか?」の部分が、リスク回避案を提示する根拠となる。   For example, when it is estimated that the noted user is out of the range of daily life, or when it is estimated that he / she feels a strong stress, a warning for dangerous driving is performed when an approach to a forward vehicle is detected. It will be. For example, in the user terminal unit 11 or the vehicle 12 of the user of interest, a voice message such as "Are you in a hurry? Let's calmly drive." Is output. For example, the part of "Let's drive calmly" is a risk aversion plan, and the portion of "is it in a hurry?" Is a basis for presenting a risk abatement plan.

例えば、注目ユーザが運転前に激しい運動をしていたと推定される場合に、注目ユーザの視線の一点集中が検出されたとき、又は、車両12周辺に多数の歩行者が検出されたとき、危険運転のおそれに対する注意喚起が行われる。例えば、注目ユーザのユーザ端末部11又は車両12において、「眠くなっていませんか?周囲に注意して運転してください。」のような音声メッセージが出力される。例えば、「周囲に注意して運転してください」の部分がリスク回避案となり、「眠くなっていませんか?」の部分が、リスク回避案を提示する根拠となる。   For example, when it is estimated that the focused user was doing intense exercise before driving, when one point concentration of the focused user's line of sight is detected, or when a large number of pedestrians are detected around the vehicle 12, A warning will be issued for the fear of driving. For example, in the user terminal unit 11 or the vehicle 12 of the user of interest, a voice message such as "Did you feel sleepy? Drive with attention to the surroundings" is output. For example, the part of "Please drive with caution to the surroundings" is a risk aversion plan, and the portion of "Do you feel sleepy?" Is a basis for presenting a risk aversion plan.

例えば、注目ユーザが日常生活の圏外にいると推定される場合に、又は、注目ユーザの睡眠不足が推定される場合に、高速道路を走行中に急操作又は蛇行運転が検出されたとき、危険運転に対する注意喚起が行われる。例えば、注目ユーザのユーザ端末部11又は車両12において、「次のサービスエリアで休憩してはいかがでしょうか?あなたは昨日寝不足で、現在蛇行運転しています。」のような音声メッセージが出力される。例えば、「次のサービスエリアで休憩してはいかがでしょうか?」の部分がリスク回避案となり、「あなたは昨日寝不足で、現在蛇行運転しています」の部分が、リスク回避案を提示する根拠となる。   For example, when it is estimated that the user of interest is out of the range of daily life, or when the lack of sleep of the user of interest is estimated, a sudden operation or meandering operation is detected while traveling on a freeway. Attention is given to driving. For example, in the user terminal 11 or the vehicle 12 of the user of interest, a voice message such as "How about taking a break in the next service area? Ru. For example, the part of "How would you like to take a break in the next service area" is a risk aversion plan, and the portion of "You are sleepless and you are currently meandering driving" presents a risk abatement plan. It becomes.

例えば、注目ユーザの睡眠不足又は極度の緊張状態が推定される場合に、危険運転が頻繁に検出されたとき、自動車保険の保険料上昇の注意喚起、及び、その原因の提示が行われる。例えば、注目ユーザのユーザ端末部11又は車両12において、「寝不足(又は、緊張)による危険運転が頻発しています。あとx回の危険運転が検出されると、保険料のキャッシュバックの権利を失います。」のような音声メッセージが出力される。例えば、「あとx回の危険運転が検出されると、保険料のキャッシュバックの権利を失います」の部分が注目ユーザへの警告となり、「寝不足(又は、緊張)による危険運転が頻発しています」の部分が、警告を行う根拠となる。   For example, in a case where sleep condition or extreme tension state of a noted user is estimated, when dangerous driving is frequently detected, a warning of a premium increase of automobile insurance and presentation of the cause thereof are performed. For example, in the user terminal 11 or the vehicle 12 of the user of interest, “dangerous driving frequently occurs due to lack of sleep (or tension). If x more dangerous drivings are detected, the premium cashback right A voice message such as "I will lose" is output. For example, the part “I lose the right to premium cashback when the x more dangerous drivings are detected” is a warning to the target user, “the dangerous driving due to lack of sleep (or tension) is occurring frequently "Mass" is the basis for giving a warning.

例えば、注目ユーザが日常生活の圏外の慣れない道を走行していると推定され、疲労によるリスク上昇時刻が推定された場合、「疲れていませんか?サービスエリアAで休憩してはいかがでしょうか?」のような音声メッセージが出力される。なお、サービスエリアAは、リスク上昇時刻になるまでの間に、注目ユーザの車両12が到達可能であると推定されるサービスエリアである。例えば、「サービスエリアAで休憩してはいかがでしょうか?」の部分がリスク回避案となり、「疲れていませんか?」の部分が、リスク回避案を提示する根拠となる。   For example, if it is estimated that the watched user is traveling on an unfamiliar road outside the daily life area and the risk rise time due to fatigue is estimated, “Don't you feel tired? How about taking a break in service area A? A voice message such as “U?” Is output. Note that the service area A is a service area that is estimated to be reachable by the vehicle 12 of the focused user before the risk rise time is reached. For example, the part of "Would you like to take a break in the service area A" is a risk aversion plan, and the portion of "are you tired?" Is a basis for presenting a risk aversion plan.

なお、リスク回避案は、例えば、「60km/hまでスピードを落としてください。」や「すぐに正面を向いてください。」等のように、より具体的な内容にすることも可能である。   In addition, it is also possible to use more specific content, such as "Please lower the speed to 60 km / h." Or "Please turn to the front immediately", for example.

また、提示制御部158は、フィードバック情報を評価部159に供給する。   Also, the presentation control unit 158 supplies feedback information to the evaluation unit 159.

ステップS19において、評価部159は、ユーザ(注目ユーザ)の従順度を評価する。具体的には、評価部159は、注目ユーザに対するフィードバックが行われた後の注目ユーザの推定状態履歴及び運転挙動履歴を記憶部162から取得する。そして、評価部159は、取得した履歴に基づいて、フィードバックに対する注目ユーザの反応(例えば、運転の内容)を検出する。   In step S19, the evaluation unit 159 evaluates the degree of compliance of the user (user of interest). Specifically, the evaluation unit 159 acquires, from the storage unit 162, the estimated state history and the driving behavior history of the user of interest after feedback to the user of interest has been performed. Then, the evaluation unit 159 detects the reaction (for example, the content of driving) of the user of interest to the feedback based on the acquired history.

また、評価部159は、注目ユーザの反応に基づいて、注目ユーザの従順度の評価値を更新する。例えば、今回提示されたフィードバック情報にリスク回避案が含まれており、そのリスク回避案に注目ユーザが従った場合、注目ユーザの従順度は上昇する。また、注目ユーザがリスク回避案に従うまでの時間が短いほど(反応速度が速いほど)、又は、注目ユーザの反応とリスク回避案との差が小さいほど、注目ユーザの従順度の上げ幅が大きくなる。逆に、注目ユーザがリスク回避案に従うまでの時間が長いほど(反応速度が遅いほど)、又は、注目ユーザの反応とリスク回避案との差が大きいほど、注目ユーザの従順度の上げ幅は小さくなる。   Further, the evaluation unit 159 updates the evaluation value of the degree of compliance of the noted user based on the reaction of the noted user. For example, if the feedback information presented this time includes a risk avoidance plan and the attention user follows the risk avoidance plan, the degree of compliance of the attention user increases. In addition, the shorter the time it takes the focused user to follow the risk avoidance plan (the faster the response speed), or the smaller the difference between the focused user's reaction and the risk avoidance plan, the larger the increase in the degree of compliance of the focused user . Conversely, the longer the time it takes the focused user to follow the risk avoidance plan (the slower the response speed), or the greater the difference between the focused user's reaction and the risk avoidance plan, the smaller the increase in the degree of compliance of the focused user Become.

一方、注目ユーザがリスク回避案に従わなかった場合、例えば、注目ユーザがリスク回避案を無視した場合、又は、注目ユーザがリスク回避案とは異なる反応を示した場合、注目ユーザの従順度は低下する。特に、注目ユーザがリスク回避案に従わずに危険運転を行った場合、注目ユーザの従順度の下げ幅は大きくなる。   On the other hand, if the focused user does not follow the risk avoidance plan, for example, if the focused user ignores the risk avoidance plan, or if the focused user responds differently to the risk avoidance plan, then the degree of compliance of the focused user is descend. In particular, when the user of interest performs dangerous driving without following the risk avoidance plan, the degree of decrease in the degree of compliance of the user of interest becomes large.

評価部159は、更新した注目ユーザの従順度を損害予測部157に供給するとともに、記憶部162に記憶させる。   The evaluation unit 159 supplies the updated degree of compliance of the noted user to the damage prediction unit 157 and stores the degree of compliance in the storage unit 162.

その後、処理はステップS20に進む。   Thereafter, the process proceeds to step S20.

一方、ステップS17において、注目ユーザへのフィードバックを行わないと判定された場合、ステップS18及びステップS19の処理はスキップされ、処理はステップS20に進む。   On the other hand, if it is determined in step S17 that feedback to the user of interest is not to be performed, the processes of steps S18 and S19 are skipped, and the process proceeds to step S20.

ステップS20において、ステップS7の処理と同様に、運転挙動の検出パラメータが調整される。   In step S20, the detection parameter of the driving behavior is adjusted as in the process of step S7.

ステップS21において、状態推定部152は、ユーザが運転を停止したか否かを判定する。すなわち、状態推定部152は、ステップS10の運転開始の判定処理と同様に、通信部151を介して注目ユーザのユーザ端末部11及び車両12のうち少なくとも1つから受信したデータに基づいて、注目ユーザが運転を停止したか否かを判定する。   In step S21, the state estimation unit 152 determines whether the user has stopped driving. That is, the state estimation unit 152 focuses on data based on data received from at least one of the user terminal unit 11 of the user of interest and the vehicle 12 via the communication unit 151, similarly to the determination processing of driving start in step S10. It is determined whether the user has stopped driving.

そして、注目ユーザが運転を停止していないと判定された場合、処理はステップS14に戻る。その後、ステップS21において、注目ユーザが運転を停止したと判定されるまで、ステップS14乃至ステップS21の処理が繰り返し実行される。これにより、注目ユーザの運転診断、リスク予測、及び、損害予測が適宜行われ、その結果に基づいて、危険運転の検出パラメータの調整や注目ユーザへのフィードバックが行われる。また、注目ユーザの従順度が適宜更新される。   When it is determined that the focused user has not stopped driving, the process returns to step S14. Thereafter, in step S21, the processes of steps S14 to S21 are repeatedly executed until it is determined that the focused user has stopped driving. As a result, the driving diagnosis, the risk prediction, and the damage prediction of the user of interest are appropriately performed, and adjustment of detection parameters for dangerous driving and feedback to the user of interest are performed based on the results. Further, the degree of compliance of the noted user is updated as appropriate.

一方、ステップS21において、注目ユーザが運転を停止したと判定された場合、処理はステップS22に進む。   On the other hand, when it is determined in step S21 that the user of interest has stopped driving, the process proceeds to step S22.

ステップS22において、ステップS1の処理と同様に、非運転時の注目ユーザの状態の推定処理が開始される。   In step S22, as in the process of step S1, the process of estimating the state of the user of interest during non-operation is started.

ステップS23において、周辺データ取得部153は、車両12の周辺のデータの取得を停止する。   In step S23, the surrounding data acquisition unit 153 stops acquisition of data around the vehicle 12.

ステップS24において、運転挙動検出部155は、運転挙動の検出処理を停止する。   In step S24, the driving behavior detection unit 155 stops the detection processing of the driving behavior.

ステップS25において、学習部160は、学習処理を行う。例えば、学習部160は、記憶部162に記憶されている注目ユーザの状態データログ、推定状態履歴、運転診断履歴、及び、運転挙動履歴に基づいて、状態推定モデル、運転診断モデル、運転挙動検出モデル、及び、リスク予測モデルの学習を行う。   In step S25, the learning unit 160 performs a learning process. For example, the learning unit 160 detects a state estimation model, a driving diagnosis model, and a driving behavior detection based on the state data log of the user of interest, the estimated state history, the driving diagnosis history, and the driving behavior history stored in the storage unit 162. Learn models and risk prediction models.

例えば、運転適性度uが低く評価されたにも関わらず、安全運転が行われた場合、上述した運転診断モデルを表す式(1)の重みwx及び重みwyが小さく設定される。これにより、注目ユーザの運転適性度uが、これまでより高く評価されるようになる。逆に、運転適性度uが高く評価されたにも関わらず、危険運転が頻繁に行われた場合、式(1)の重みwx及び重みwyが大きく設定される。これにより、注目ユーザの運転適性度uが、これまでより低く評価されるようになる。   For example, even if the driving aptitude degree u is evaluated to be low, when the safe driving is performed, the weight wx and the weight wy of the equation (1) representing the driving diagnostic model described above are set small. As a result, the driving aptitude level u of the user of interest can be evaluated higher than ever. Conversely, if dangerous driving is frequently performed even though the driving aptitude degree u is highly evaluated, the weight wx and the weight wy of equation (1) are set large. As a result, the driving aptitude level u of the user of interest can be evaluated lower than before.

また、例えば、注目ユーザの直近状態パターンとユーザ集合状態パターンとの差が大きく、運転適性度uが低く評価されたにも関わらず、安全運転が行われた場合、上述した式(1)の重みwxが大きくされ、重みwyが小さくされる。すなわち、運転診断において、より注目ユーザの直近状態パターンと標準状態パターンとの差が重視されるようになる。   Further, for example, when safe driving is performed despite the fact that the difference between the nearest state pattern of the noted user and the user group state pattern is large and the driving suitability factor u is evaluated to be low, Weight wx is increased and weight wy is decreased. That is, in driving diagnosis, the difference between the closest state pattern of the user of interest and the standard state pattern is more emphasized.

なお、例えば、注目ユーザがサービスの利用を開始した当初は、事前の実験等により得られた平均的なユーザに対応するモデルが使用される。その後、学習処理により、各モデルが、より注目ユーザに適したモデルに更新されていく(個人化される)。   Note that, for example, initially when the focused user starts using the service, a model corresponding to an average user obtained by a previous experiment or the like is used. Thereafter, each model is updated (personalized) to a model more suitable for the user of interest through learning processing.

なお、この学習処理は、必ずしも注目ユーザの運転が終了する毎に行う必要はなく、例えば、所定の期間毎、運転が所定の回数行われる毎、運転時間が所定の時間以上増加する毎等の任意のタイミングで行われるようにしてもよい。また、必ずしも全てのモデルの学習処理を同時に行う必要はなく、モデル毎に異なるタイミングで学習処理を行うようにしてもよい。   Note that this learning process does not have to be performed every time the driving of the user of interest ends, for example, every predetermined period, every time the driving is performed a predetermined number of times, or every time the operating time increases by a predetermined time or more. It may be performed at any timing. Further, it is not necessary to perform learning processing of all models simultaneously, and learning processing may be performed at different timings for each model.

また、例えば、学習部160は、推定状態履歴に示される運転前及び運転中の注目ユーザの疲労度の推移に基づいて、注目ユーザの疲労度を予測する疲労度推定モデルの学習を行ってもよい。例えば、状態推定部152は、疲労度推定モデルを用いて、走行予定ルートの各地点における注目ユーザの疲労度を推定することができる。さらに、例えば、学習部160は、時間帯、天候、渋滞の状況、道路の種類(例えば、一般道又は高速道)等の車両12の周囲の状態を加味して、疲労度推定モデルの学習を行うことにより、疲労度の推定精度を向上させることができる。   Also, for example, the learning unit 160 may learn the fatigue level estimation model for predicting the fatigue level of the user of interest based on the transition of the fatigue level of the user of interest before and during driving shown in the estimated state history. Good. For example, the state estimation unit 152 can estimate the degree of fatigue of the user of interest at each point of the planned travel route using the degree of fatigue estimation model. Furthermore, for example, the learning unit 160 learns the fatigue level estimation model in consideration of the state around the vehicle 12 such as time zone, weather, traffic congestion status, and road type (for example, general road or highway). By doing this, the estimation accuracy of the degree of fatigue can be improved.

また、学習処理の方法には、例えば、ニューラルネットワーク等の機械学習やその他の任意の方法を用いることができる。   In addition, as a method of learning processing, for example, machine learning such as a neural network or any other method can be used.

ステップS26において、保険料算定部161は、ユーザ(注目ユーザ)の保険料の算定を行う。例えば、保険料算定部161は、注目ユーザの自動車保険の保険料又は保険料に対するキャッシュバック金額がリアルタイムに変動する場合、記憶部162に記憶されている注目ユーザの運転診断履歴、運転挙動履歴、及び、従順度に基づいて、保険料又はキャッシュバック金額を更新する。保険料算定部161は、更新した注目ユーザの保険料又はキャッシュバック金額を記憶部162に記憶させる。   In step S26, the premium calculation unit 161 calculates the premium of the user (user of interest). For example, when the premium of the user's insurance or the cashback amount for the premium of the user's insurance changes in real time, the premium calculation unit 161 stores the driving diagnostic history and the driving behavior history of the user of interest stored in the storage unit 162. And, based on the degree of compliance, update the premium or cashback amount. The premium calculating unit 161 stores the updated premium or cashback amount of the noted user in the storage unit 162.

例えば、運転適性度uの平均値がより低いほど、保険料が上がり(又は、キャッシュバック金額が下がり)、運転適性度uの平均値がより高いほど、保険料が下がる(又は、キャッシュバック金額が上がる)。   For example, the lower the average value of the driving aptitude degree u, the higher the premium (or the lower the cashback amount), and the higher the average value of the driving aptitude degree u, the lower the premium (or the cashback amount Go up).

また、例えば、危険運転の頻度又は累積回数が大きいほど、保険料が上がり(又は、キャッシュバック金額が下がり)、危険運転の頻度又は累積回数が小さいほど、保険料が下がる(又は、キャッシュバック金額が上がる)。さらに、例えば、危険運転に対して予測される損害の平均又は合計が高いほど、保険料が上がり(又は、キャッシュバック金額が下がり)、危険運転に対して予測される損害の平均又は合計が低いほど、保険料が下がる(又は、キャッシュバック金額が上がる)。   Also, for example, the premium increases (or the cashback amount decreases) as the frequency or cumulative number of dangerous operations increases, and the premium decreases as the frequency or cumulative number of dangerous operations decreases (or cashback amount) Go up). Furthermore, for example, the higher the average or the total expected losses for dangerous operation, the higher the premium (or the lower the cashback amount) and the lower the average or total expected losses for dangerous operation. As you go, the premium goes down (or the cashback amount goes up).

また、例えば、従順度が低いほど、リスクの低下が期待できないため、保険料が上がり(又は、キャッシュバック金額が下がり)、従順度が高いほど、リスクの低下が期待できるため、保険料が下がる(又は、キャッシュバック金額が上がる)。特に、注目ユーザがリスク回避案に従わずに危険運転を行った場合、例えば、ペナルティとして、保険料の上げ幅(又は、キャッシュバック金額の下げ幅)が大きくなる。   Also, for example, as the degree of compliance is lower, a decrease in risk can not be expected, the premium increases (or the cashback amount decreases), and as the degree of compliance is higher, a decrease in risk can be expected, the premium decreases. (Or the cashback amount goes up). In particular, when the focused user performs dangerous driving without following the risk avoidance plan, for example, the increase in premium (or the decrease in cashback amount) increases as a penalty.

なお、この保険料算定処理は、必ずしも注目ユーザの運転が終了する毎に行う必要はなく、例えば、所定の期間毎、運転が所定の回数行われる毎、運転時間が所定の時間以上増加する毎等の任意のタイミングで行われるようにしてもよい。   Note that this premium calculation process does not have to be performed every time the operation of the user of interest is finished, for example, every predetermined period, every time the operation is performed a predetermined number of times, and every time the operation time increases by a predetermined time or more. Or the like may be performed at any timing such as

また、この保険料算定処理は、例えば、次回の保険の更新時に、保険料の見積もり金額を算定するために実行されてもよい。   Also, this premium calculation process may be executed, for example, to calculate the estimated premium amount at the next insurance renewal.

さらに、例えば、1回の運転毎又は1日単位の自動車保険の場合、この保険料算定処理を運転前に実行することにより、保険料を算定してもよい。この場合、例えば、注目ユーザの運転適性度u及び従順度のうち少なくとも1つを用いて、保険料が算定される。   Furthermore, for example, in the case of automobile insurance for each driving or daily driving, the premium may be calculated by executing this premium calculation processing before driving. In this case, for example, the premium is calculated using at least one of the driving aptitude degree u and the compliance degree of the noted user.

また、算定した保険料又はキャッシュバック金額が、フィードバック情報として注目ユーザに提示されてもよい。   Also, the calculated premium or cashback amount may be presented to the user of interest as feedback information.

その後、処理はステップS2に戻り、ステップS2以降の処理が実行される。   Thereafter, the process returns to step S2, and the processes after step S2 are performed.

例えば、運転挙動は、運転中のユーザの状態だけでなく、運転前のユーザの状態(例えば、行動、生体状態、感情等)に影響される。これに対して、以上のように、ユーザの運転中の状態や運転挙動に加えて、運転前のユーザの状態を複合的に考慮することにより、より適切に運転適性度uが評価される。また、運転適性度uの精度が向上することにより、リスク予測及び損害予測の精度が向上する。その結果、より適切なタイミングで適切なフィードバック情報を提示することができ、安全性が向上し、事故の発生を防止することができる。   For example, the driving behavior is influenced not only by the state of the user while driving but also by the state of the user before driving (e.g., behavior, living state, emotion, etc.). On the other hand, as described above, in addition to the user's driving state and driving behavior, the driving aptitude degree u is more appropriately evaluated by comprehensively considering the user's state before driving. Further, as the accuracy of the driving aptitude degree u is improved, the accuracy of the risk prediction and the damage prediction is improved. As a result, appropriate feedback information can be presented at more appropriate timing, safety can be improved, and occurrence of an accident can be prevented.

また、フィードバック情報に、運転診断の結果の根拠又はリスクを予測した根拠が示されるため、ユーザの納得感が向上し、ユーザがリスク回避案に従う確率が高くなる。また、提示された根拠が誤っている場合、例えば、ユーザがサーバ13に訂正を指示し、学習処理に反映することにより、運転診断モデルやリスク予測モデルの精度が向上する。   Further, since the feedback information indicates the basis of the result of the driving diagnosis or the basis for predicting the risk, the user's sense of satisfaction is improved, and the probability of the user following the risk avoidance plan is increased. Further, if the presented basis is incorrect, for example, the user instructs the server 13 to make a correction and reflects it in the learning process, whereby the accuracy of the driving diagnosis model or the risk prediction model is improved.

さらに、ユーザの従順度を評価し、従順度に基づいて、検出対象となる危険運転のレベル、及び、予測対象となるリスクのレベルが変化することにより、ユーザがより確実にリスクを回避することができるようになる。   Furthermore, the user's degree of compliance is evaluated, and the level of dangerous driving to be detected and the level of risk to be predicted change based on the degree of compliance, and the user can more reliably avoid the risk. Will be able to

また、ユーザの運転挙動だけでなく、運転適性度u及び従順度に基づいて、自動車保険の保険料(キャッシュバック金額を含む)を算定することにより、ユーザ毎により適切な保険料を設定することができる。これにより、例えば、ユーザがリスク回避案に従う動機づけを行うことができ、ユーザがより確実にリスクを回避することができるようになる。   In addition, it is possible to set a more appropriate premium for each user by calculating the insurance premium (including the cashback amount) of automobile insurance based not only on the driving behavior of the user but also on the driving aptitude degree u and the compliance degree. Can. This allows the user, for example, to be motivated to follow the risk avoidance plan, and allows the user to more reliably avoid the risk.

<<2.変形例>>
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
<< 2. Modified example >>
Hereinafter, modifications of the embodiment of the technology according to the present disclosure described above will be described.

<システムの構成に関する変形例>
図1乃至図4の情報処理システム10の構成例は、その一例であり、必要に応じて変更することが可能である。
<Modification on system configuration>
The configuration example of the information processing system 10 in FIGS. 1 to 4 is an example thereof, and can be changed as needed.

例えば、以上の説明では、サーバ13が、ユーザ端末部11及び車両12(車載システム101)から取得したデータに基づいて、ほとんどの処理を行う例を示したが、例えば、ユーザ端末部11、車両12、及び、サーバ13で処理を分担したり、ユーザ端末部11又は車両12が単独で処理を行ったりすることも可能である。   For example, although in the above description, the server 13 performs most of the processing based on the data acquired from the user terminal unit 11 and the vehicle 12 (in-vehicle system 101), for example, the user terminal unit 11 and the vehicle 12 and the server 13 can share processing, or the user terminal unit 11 or the vehicle 12 can perform processing independently.

例えば、ユーザ端末部11及び車両12の少なくとも一方が、サーバ13の処理の一部又は全部を行うようにすることが可能である。   For example, at least one of the user terminal unit 11 and the vehicle 12 can perform part or all of the processing of the server 13.

例えば、ユーザ端末部11及び車両12の少なくとも一方が、状態推定部152、運転挙動検出部155、及び、評価部159の処理の一部又は全部を行い、推定結果及び検出結果をサーバ13に送信するようにしてもよい。   For example, at least one of the user terminal unit 11 and the vehicle 12 performs part or all of the processing of the state estimation unit 152, the driving behavior detection unit 155, and the evaluation unit 159, and transmits the estimation result and the detection result to the server 13. You may do it.

例えば、ユーザ端末部11及び車両12の少なくとも一方が、周辺データ取得部153の処理の一部又は全部を行い、取得した周辺データをサーバ13に送信するようにしてもよい。   For example, at least one of the user terminal unit 11 and the vehicle 12 may perform part or all of the processing of the peripheral data acquisition unit 153 and transmit the acquired peripheral data to the server 13.

例えば、ユーザ端末部11及び車両12の少なくとも一方が、診断部154、リスク予測部156、及び、損害予測部157の処理の一部又は全部を行い、診断結果及び予測結果をサーバ13に送信するようにしてもよい。   For example, at least one of the user terminal unit 11 and the vehicle 12 performs part or all of the processes of the diagnosis unit 154, the risk prediction unit 156, and the damage prediction unit 157, and transmits the diagnosis result and the prediction result to the server 13. You may do so.

また、例えば、運転支援に関する処理をユーザ端末部11で行うようにしてもよい。この場合、ユーザ端末部11は、複数の装置で構成してもよいし、1つの装置で構成してもよい。また、ユーザ端末部11が、車両12から各種のデータ(例えば、車両データ、映像データ、音声データ等)を取得し、処理に用いるようにしてもよいし、車両12からのデータを処理に用いないようにしてもよい。また、運転診断処理にユーザ集合状態パターンを用いてもよいし、用いなくてもよい。ユーザ集合状態パターンを用いる場合、例えば、サーバ13は、各ユーザのユーザ端末部11から取得した各ユーザの標準状態パターンに基づいて、ユーザ集合状態パターンの学習を行う。そして、サーバ13は、ユーザ集合状態パターンを示すデータを各ユーザのユーザ端末部11に送信する。   In addition, for example, processing related to driving support may be performed by the user terminal unit 11. In this case, the user terminal unit 11 may be configured by a plurality of devices or may be configured by one device. Also, the user terminal unit 11 may obtain various data (for example, vehicle data, video data, audio data, etc.) from the vehicle 12 and use it for processing, or use data from the vehicle 12 for processing. It may not be. In addition, the user collection state pattern may or may not be used in the driving diagnosis process. When using the user aggregation state pattern, for example, the server 13 learns the user aggregation state pattern based on the standard state pattern of each user acquired from the user terminal unit 11 of each user. Then, the server 13 transmits data indicating the user aggregation state pattern to the user terminal unit 11 of each user.

この場合、保険料の算定処理は、ユーザ端末部11及びサーバ13のいずれで行ってもよい。ユーザ端末部11が行う場合、例えば、保険料の算定処理を行うアプリケーションプログラムが、サーバ13から提供される。一方、サーバ13が行う場合、例えば、保険料の算定に必要なデータがユーザ端末部11からサーバ13に提供される。   In this case, the calculation of the premium may be performed by either the user terminal unit 11 or the server 13. When the user terminal unit 11 performs, for example, an application program for calculating the premium is provided from the server 13. On the other hand, when the server 13 performs, for example, data necessary for calculating the premium is provided from the user terminal unit 11 to the server 13.

さらに、例えば、運転支援に関する処理のうち、非運転時のユーザの状態の推定処理及び標準状態パターンの学習処理を除くほぼ全ての処理を車両12(車載システム101)で行うようにしてもよい。この場合、例えば、ユーザ端末部11が、非運転時のユーザの状態の推定処理及び標準状態パターンの学習処理を行い、その結果得られる推定状態履歴及び標準状態パターンを示すデータを運転前に車両12に送信する。そして、車両12が、残りの処理を実行する。この場合、運転診断処理にユーザ集合状態パターンを用いてもよいし、用いなくてもよい。ユーザ集合状態パターンを用いる場合、ユーザ集合状態パターンを用いる場合、例えば、サーバ13は、各ユーザのユーザ端末部11から取得した各ユーザの標準状態パターンに基づいて、ユーザ集合状態パターンの学習を行う。そして、サーバ13は、ユーザ集合状態パターンを示すデータを各ユーザのユーザ端末部11又は車両12に送信する。   Furthermore, for example, among the processes related to driving support, almost all the processes except the process of estimating the state of the user during non-driving and the process of learning the standard state pattern may be performed by the vehicle 12 (in-vehicle system 101). In this case, for example, the user terminal unit 11 performs estimation processing of the user's state during non-driving and learning processing of the standard state pattern, and the data indicating the estimated state history and standard state pattern obtained as a result is Send to 12 Then, the vehicle 12 executes the remaining processing. In this case, the user aggregation state pattern may or may not be used in the driving diagnosis process. When using the user aggregation state pattern, when using the user aggregation state pattern, for example, the server 13 learns the user aggregation state pattern based on the standard state pattern of each user acquired from the user terminal unit 11 of each user. . Then, the server 13 transmits data indicating the user aggregation state pattern to the user terminal unit 11 or the vehicle 12 of each user.

この場合、保険料の算定処理は、ユーザ端末部11、車両12、及び、サーバ13のいずれで行ってもよい。ユーザ端末部11又は車両12が行う場合、例えば、保険料の算定処理を行うアプリケーションプログラムが、サーバ13から提供される。一方、サーバ13が行う場合、例えば、保険料の算定に必要なデータがユーザ端末部11及び車両12からサーバ13に提供される。   In this case, the calculation of the premium may be performed by any of the user terminal unit 11, the vehicle 12, and the server 13. In the case where the user terminal unit 11 or the vehicle 12 performs, for example, an application program for performing a premium calculation process is provided from the server 13. On the other hand, when the server 13 performs, for example, data necessary for the calculation of the premium is provided from the user terminal unit 11 and the vehicle 12 to the server 13.

また、例えば、ユーザ端末部11とサーバ13で分担して処理を行うようにしてもよい。この場合、車両12からのデータを処理に用いてもよいし、用いなくてもよい。   Also, for example, the processing may be shared between the user terminal unit 11 and the server 13. In this case, data from the vehicle 12 may or may not be used for processing.

さらに、例えば、車両12とサーバ13で分担して処理を行うようにしてもよい。この場合、例えば、ユーザ端末部11から車両12及びサーバ13に処理に必要なデータ(例えば、ユーザの標準状態パターン及び直近状態パターン等)が提供される。   Furthermore, for example, processing may be shared between the vehicle 12 and the server 13. In this case, for example, data (for example, the standard state pattern and the latest state pattern of the user, etc.) necessary for the processing are provided from the user terminal unit 11 to the vehicle 12 and the server 13.

また、例えば、複数のサーバで処理を分担してもよい。例えば、運転支援に関する処理と保険料算定に関する処理を異なるサーバで行ってもよい。   Also, for example, processing may be shared by a plurality of servers. For example, the processing for driving support and the processing for calculating the premium may be performed by different servers.

さらに、例えば、車両12とサーバ13との間の通信を、ユーザ端末部11を介して行うようにしてもよい。この場合、例えば、車両12からのデータが、いったんユーザ端末部11に送信された後、ユーザ端末部11からサーバ13に転送される。また、サーバ13からのデータが、いったんユーザ端末部11に送信された後、ユーザ端末部11から車両12に転送される。   Furthermore, for example, communication between the vehicle 12 and the server 13 may be performed via the user terminal unit 11. In this case, for example, data from the vehicle 12 is once transmitted to the user terminal unit 11 and then transferred from the user terminal unit 11 to the server 13. Also, after data from the server 13 is once transmitted to the user terminal unit 11, the data is transferred from the user terminal unit 11 to the vehicle 12.

また、例えば、ユーザ端末部11とサーバ13との間の通信を、車両12を介して行うようにしてもよい。この場合、例えば、ユーザ端末部11からのデータが、いったん車両12に送信された後、車両12からサーバ13に転送される。また、サーバ13からのデータが、いったん車両12に送信された後、車両12からユーザ端末部11に転送される。   Also, for example, communication between the user terminal unit 11 and the server 13 may be performed via the vehicle 12. In this case, for example, data from the user terminal unit 11 is transferred to the server 13 from the vehicle 12 after being transmitted to the vehicle 12 once. In addition, after data from the server 13 is once transmitted to the vehicle 12, the data is transferred from the vehicle 12 to the user terminal unit 11.

さらに、例えば、推定状態履歴の代わりに、ユーザの状態を推定する前の状態データログを直接用いて、診断部154の運転診断、リスク予測部156のリスク予測、及び、運転挙動検出部155の運転挙動の検出が行われてもよい。この場合、状態推定部152を削除することが可能である。   Furthermore, for example, instead of the estimated state history, the driving diagnosis of the diagnosis unit 154, the risk prediction of the risk predicting unit 156, and the driving behavior detecting unit 155 are directly used by directly using the state data log before the user's condition is estimated. Detection of driving behavior may be performed. In this case, the state estimation unit 152 can be deleted.

<その他の変形例>
例えば、ユーザの直近状態パターンと標準状態パターン又はユーザ集合平均パターンとの乖離度に加えて、現在のユーザの状態を用いて、運転適性度uを算出するようにしてもよい。例えば、ユーザの直近状態パターンと標準状態パターンとの差が小さくても、例えば、ユーザの覚醒度が低かったり、興奮したり、落ち込んだりしている場合、危険運転が行われる可能性が高い。そこで、例えば、ユーザの状態を示す各項目のうち、運転への影響が大きい項目については、それらの項目の現在の状態(例えば、覚醒度、興奮度、落ち込み度)を、運転適性度uの算出に用いるようにしてもよい。
<Other Modifications>
For example, the driving aptitude degree u may be calculated using the current state of the user in addition to the degree of deviation between the user's nearest state pattern and the standard state pattern or the user aggregate average pattern. For example, even if the difference between the nearest state pattern of the user and the standard state pattern is small, for example, the degree of awakening of the user is low, excited or depressed, there is a high possibility of dangerous driving. Therefore, for example, among items indicating the user's condition, for items having a large influence on driving, the current condition (for example, the awakening degree, the excitement degree, the depression degree) of those items is It may be used for calculation.

また、推定するユーザの状態は、上述した生体状態、行動、及び、感情の3種類に限定されるものではない。例えば、上記の3種類のうち1種類又は2種類のみ推定するようにしてもよいし、他の種類の状態を推定するようにしてもよい。   In addition, the state of the user to be estimated is not limited to the above-described three types of biological state, behavior, and emotion. For example, only one or two of the above three types may be estimated, or other types of states may be estimated.

さらに、例えば、通常は運転に直接影響しないと想定されるユーザの行動を、運転適性度uの算出に用いるようにしてもよい。例えば、ユーザの購買履歴に基づいて、ユーザが通常と異なる傾向のショッピングをした場合(例えば、非常に高価な買い物をした場合)、ユーザの状態(例えば、感情)が通常とは異なることが想定される。そこで、例えば、運転適性度uの算出に、ユーザの購買履歴を用いてもよい。   Furthermore, for example, the user's behavior that is usually assumed not to directly affect the driving may be used to calculate the driving aptitude degree u. For example, based on the user's purchase history, it is assumed that the user's state (for example, emotion) is different from normal when the user makes a shopping having a tendency different from the usual tendency (for example, very expensive shopping) Be done. Therefore, for example, the purchase history of the user may be used to calculate the driving aptitude degree u.

また、例えば、運転適性度uの算出に、非運転時のユーザの状態に基づいて検出されるユーザの能力であって、運転にも影響する能力を用いてもよい。例えば、日常生活の判断能力が高いユーザの運転適性度uが高く設定され、判断能力が低いユーザの運転適性度uが低く設定されるようにしてもよい。   Also, for example, the ability of the user detected based on the state of the user at the time of non-driving may be used to calculate the driving aptitude degree u, and also the ability to affect the driving. For example, the driving aptitude degree u of the user having high judgment ability for daily life may be set high, and the driving aptitude degree u of the user having low judgment ability may be set low.

なお、この場合、例えば、判断能力が高いユーザと低いユーザが同じように車線変更を高頻度に繰り返していても、判断能力が高いユーザに対して予測されるリスクは低くなり、判断能力が低いユーザに対して予測されるリスクは高くなる。ただし、判断能力が高いユーザであっても、車線変更を減らすようにリスク回避案が提示されたにも関わらず、無視して車線変更を繰り返す場合、従順度が低く評価されるため、予測されるリスクは高くなる。   In this case, for example, even if users with high judgment ability and low users repeat lane changes frequently as well, the predicted risk for users with high judgment ability is low and the judgment ability is low. The predicted risk to the user is high. However, even if a user with high judgment ability is presented with a risk aversion plan to reduce lane change, it is predicted that the degree of compliance will be evaluated low if it is ignored and repeated lane change. Risk is high.

さらに、例えば、ユーザの状態の推定結果、運転診断の結果、及び、運転挙動の検出結果のうち1つ又は2つのみに基づいて、リスク予測が行われるようにしてもよい。また、例えば、運転診断の結果を用いてリスク予測が行われる場合、運転前の運転適性度u及び運転中の運転適性度uのうち一方のみを用いるようにしてもよい。   Furthermore, for example, risk prediction may be performed based on only one or two of the estimation result of the user's state, the result of the driving diagnosis, and the detection result of the driving behavior. Furthermore, for example, when risk prediction is performed using the result of driving diagnosis, only one of the driving suitability degree u before driving and the driving suitability degree u during driving may be used.

また、例えば、運転前及び運転中の一方のユーザの状態のみに基づいて、運転診断が行われるようにしてもよい。   Further, for example, the driving diagnosis may be performed based only on the state of one of the user before driving and during driving.

さらに、例えば、事故の発生原因の究明に、推定状態履歴、運転診断履歴、及び、運転挙動履歴を用いることが可能である。例えば、ドライブレコーダに、推定状態履歴、運転診断履歴、及び、運転挙動履歴を記録することにより、事故発生時のユーザ(運転者)の状態や挙動に加えて、運転前のユーザの状態に基づいて、事故の発生原因を究明することが可能になる。   Furthermore, for example, it is possible to use an estimated state history, a driving diagnosis history, and a driving behavior history to find out the cause of the accident. For example, by recording the estimated state history, the driving diagnosis history, and the driving behavior history in the drive recorder, in addition to the user's (driver) 's state and behavior at the time of the accident, based on the user's state before driving. It becomes possible to investigate the cause of the accident.

また、例えば、ユーザ端末部11又は車両12が、他のユーザの運転適性度uやリスクの予測結果等を、他のユーザのユーザ端末部11若しくは車両12、又は、サーバ13から取得できるようにしてもよい。これにより、例えば、運転適性度uが低いユーザが運転する危険車両が近くに存在する場合、例えば、ユーザは、事前にその情報を取得することにより、危険車両による事故に巻き込まれることを回避することができる。   Also, for example, the user terminal unit 11 or the vehicle 12 can acquire the driving aptitude degree u of another user, the prediction result of the risk, and the like from the user terminal unit 11 or the vehicle 12 of the other user or the server 13 May be Thereby, for example, when there is a dangerous vehicle driven by a user whose driving aptitude degree u is low, for example, the user avoids being involved in an accident due to the dangerous vehicle by acquiring the information in advance. be able to.

さらに、状態推定モデル、運転診断モデル、運転挙動検出モデル、及び、リスク予測モデルの個人化は、必ずしも行う必要はなく、所定のアルゴリズム等を用いたモデルを用いるようにしてもよい。また、例えば、上記のモデルの学習をユーザ毎に行わずに、例えば、ユーザ集合全体で行い、各ユーザで共通のモデルを用いるようにしてもよい。   Furthermore, personalization of the state estimation model, the driving diagnosis model, the driving behavior detection model, and the risk prediction model is not necessarily performed, and a model using a predetermined algorithm or the like may be used. Further, for example, instead of performing learning of the above-described model for each user, for example, the entire user set may be performed, and a common model may be used for each user.

また、例えば、ユーザの従順度に基づいて、フィードバック情報の提示方法、提示頻度、及び、提示内容等を変更してもよい。   Also, for example, the method of presenting feedback information, the frequency of presentation, and the content of presentation may be changed based on the degree of compliance of the user.

<適用例>
本技術の運転支援処理は、先に例示した車両以外にも、(例えば、本技術は、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械(トラクター)等の各種の移動体の運転を行う場合にも適用することができる。すなわち、運転前及び運転中のユーザの状態の推定結果を用いて、運転診断、リスク予測、損害予測、ユーザへのフィードバック等を行うことができる。なお、本技術が適用可能な移動体には、場所を移動するもの以外にも、一部の建設機械等(例えば、固定式のクレーン等)の、固定された場所において作業を行う部分等が移動する移動体も含まれる。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転(操作)する移動体も含まれる。
<Example of application>
In addition to the vehicles exemplified above, the driving support process of the present technology (for example, the present technology includes various moving bodies such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machines, agricultural machines (tractors), etc. The present invention can also be applied to cases where driving is performed, that is, driving diagnosis, risk prediction, damage prediction, feedback to the user, etc. can be performed using estimation results of the user's state before and during driving. In addition, the mobile body to which the present technology can be applied is a part that performs work in a fixed place, such as some construction machines (eg, fixed cranes, etc.) other than those moving the place. Mobile bodies to which the present technology can be applied also include, for example, mobile bodies that a user, such as a drone or a robot, remotely operates (operates) without boarding.

また、本技術は、自動車保険以外にも、生命保険、損害保険、医療保険等の各種の保険を提供するシステム及び装置等に適用することができる。例えば、ユーザの推定状態履歴及び従順度に基づいて、各種の保険料(キャッシュバック金額を含む)を算定することができる。具体的には、例えば、生命保険又は医療保険の場合、ユーザ端末部11又はサーバ13が、ユーザの状態推定処理を行い、推定状態履歴を蓄積する。また、ユーザ端末部11又はサーバ13が、推定状態履歴に基づくユーザの生活習慣及び生体状態等に基づいて、病気等のリスクを避けるための提案(リスク回避案)をユーザに提示し、その反応に基づいて、ユーザの従順度を評価する。そして、ユーザ端末部11又はサーバ13が、ユーザの生活習慣及び生体状態、並びに、従順度等に基づいて、生命保険又は医療保険の保険料を算定する。   In addition to automobile insurance, the present technology can be applied to systems and devices that provide various types of insurance such as life insurance, non-life insurance and medical insurance. For example, various types of premiums (including cashback amounts) can be calculated based on the user's estimated state history and compliance. Specifically, for example, in the case of life insurance or medical insurance, the user terminal unit 11 or the server 13 performs the state estimation process of the user and accumulates the estimated state history. In addition, the user terminal unit 11 or the server 13 presents the user with a proposal (risk avoidance plan) for avoiding risks such as illness based on the user's lifestyle and living condition based on the estimated state history, and the reaction thereof Based on the degree of user compliance. Then, the user terminal unit 11 or the server 13 calculates the premium of the life insurance or the medical insurance based on the user's lifestyle and living condition, the compliance degree and the like.

例えば、生活習慣及び生体状態が良いユーザほど、保険料が安くなり、生活習慣及び生体状態が悪いユーザほど、保険料が高くなる。また、従順度が高いユーザほど、保険料が安くなり、従順度が低いユーザほど、保険料が高くなる。このように、ユーザの生活習慣及び生体状態だけでなく、ユーザの従順度を考慮することにより、上述した自動車保険の場合と同様に、ユーザ毎により適切な保険料を設定することができる。   For example, the better the lifestyle and the living condition, the lower the premium, and the worse the lifestyle and the living condition, the higher the premium. Also, the higher the compliance, the lower the premium, and the lower the compliance, the higher the premium. As described above, by considering not only the user's lifestyle and physical condition but also the user's compliance, it is possible to set a more appropriate premium for each user, as in the case of the above-described automobile insurance.

<<3.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
<< 3. Other >>
<Example of computer configuration>
The series of processes described above can be performed by hardware or software. When the series of processes are performed by software, a program that configures the software is installed on a computer. Here, the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.

図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。   FIG. 11 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.

コンピュータにおいて、CPU(Central Processing Unit)401,ROM(Read Only Memory)402,RAM(Random Access Memory)403は、バス404により相互に接続されている。   In the computer, a central processing unit (CPU) 401, a read only memory (ROM) 402, and a random access memory (RAM) 403 are mutually connected by a bus 404.

バス404には、さらに、入出力インターフェース405が接続されている。入出力インターフェース405には、入力部406、出力部407、記録部408、通信部409、及びドライブ410が接続されている。   Further, an input / output interface 405 is connected to the bus 404. An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.

入力部406は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部407は、ディスプレイ、スピーカなどよりなる。記録部408は、ハードディスクや不揮発性のメモリなどよりなる。通信部409は、ネットワークインターフェースなどよりなる。ドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体411を駆動する。   The input unit 406 includes an input switch, a button, a microphone, an imaging device, and the like. The output unit 407 includes a display, a speaker, and the like. The recording unit 408 includes a hard disk, a non-volatile memory, and the like. The communication unit 409 includes a network interface and the like. The drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU401が、例えば、記録部408に記録されているプログラムを、入出力インターフェース405及びバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。   In the computer configured as described above, for example, the CPU 401 loads the program recorded in the recording unit 408 into the RAM 403 via the input / output interface 405 and the bus 404 and executes the program. Processing is performed.

コンピュータ(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体411に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer (CPU 401) can be provided by being recorded on, for example, a removable recording medium 411 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブル記録媒体411をドライブ410に装着することにより、入出力インターフェース405を介して、記録部408にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部409で受信し、記録部408にインストールすることができる。その他、プログラムは、ROM402や記録部408に、あらかじめインストールしておくことができる。   In the computer, the program can be installed in the recording unit 408 via the input / output interface 405 by attaching the removable recording medium 411 to the drive 410. The program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in advance in the ROM 402 or the recording unit 408.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   Note that the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.

また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。   Further, in the present specification, a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   Furthermore, the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present technology.

例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。   For example, the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。   Further, each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。   Furthermore, in the case where a plurality of processes are included in one step, the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.

<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
<Example of combination of configurations>
The present technology can also be configured as follows.

(1)
予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断部と、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御部と
を備える情報処理装置。
(2)
運転中の前記ユーザ又は前記移動体の挙動である運転挙動を検出する運転挙動検出部を
さらに備え、
前記運転挙動検出部の検出対象となる危険運転のレベルが、前記診断の結果に基づいて変化する
前記(1)に記載の情報処理装置。
(3)
前記診断部は、さらに前記運転挙動の検出結果に基づいて、前記診断を行う
前記(2)に記載の情報処理装置。
(4)
前記診断部は、運転前の前記ユーザの状態に基づいて、運転前の前記ユーザの運転に対する適性を診断し、運転中の前記ユーザの状態及び前記運転挙動の検出結果に基づいて、運転中の前記ユーザの運転に対する適性を診断する
前記(3)に記載の情報処理装置。
(5)
前記診断の結果、及び、前記運転挙動の検出結果のうち少なくとも1つに基づいて、前記ユーザによる前記移動体の運転に関するリスクを予測するリスク予測部を
さらに備える前記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記フィードバック情報は、前記リスクの内容、及び、前記リスクが予測された根拠を含む
前記(5)に記載の情報処理装置。
(7)
前記リスクが予測された根拠は、前記診断の結果に基づく
前記(6)に記載の情報処理装置。
(8)
前記フィードバック情報は、前記リスクの回避案を含む
前記(5)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記診断に基づく前記ユーザの運転の適性度が低くなるほど、前記運転挙動検出部の検出対象となる危険運転のレベルが低くなる
前記(2)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記診断の結果、及び、前記運転挙動の検出結果に基づいて、前記診断を行うモデルの学習を行う学習部を
さらに備える前記(2)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記診断部は、前記ユーザの直近の状態と前記ユーザの標準的な状態との差に基づいて、前記診断を行う
前記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記診断部は、さらに、前記ユーザの直近の状態と、複数のユーザを含むユーザ集合におけるユーザの平均的な状態との差に基づいて、前記診断を行う
前記(11)に記載の情報処理装置。
(13)
運転前及び運転中の前記ユーザの状態を推定する状態推定部を
さらに備え、
前記診断部は、前記ユーザの状態の推定結果に基づいて、前記診断を行う
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記ユーザの状態は、前記ユーザの生体状態、行動、及び、感情のうち少なくとも1つを含む
前記(13)に記載の情報処理装置。
(15)
前記診断部は、前記ユーザの運転前及び運転中に取得された前記ユーザの状態を示すデータに基づいて、前記診断を行う
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(16)
予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップと
を含む情報処理方法。
(17)
予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
(1)
A diagnosis unit that diagnoses the suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving, which are acquired in advance;
An information processing apparatus comprising: a presentation control unit that generates feedback information based on a diagnosis obtained by the diagnosis unit.
(2)
The vehicle further includes a driving behavior detection unit that detects a driving behavior that is a behavior of the user or the moving body during driving.
The information processing apparatus according to (1), wherein the level of dangerous driving to be detected by the driving behavior detection unit changes based on the result of the diagnosis.
(3)
The information processing apparatus according to (2), wherein the diagnosis unit further performs the diagnosis based on a detection result of the driving behavior.
(4)
The diagnosis unit diagnoses the aptitude for driving of the user before driving based on the state of the user before driving, and based on the detection result of the state of the user while driving and the driving behavior. The information processing apparatus according to (3), wherein the user's suitability for driving is diagnosed.
(5)
(2) to (4) further including a risk prediction unit that predicts a risk related to the driving of the mobile object by the user based on at least one of the diagnosis result and the detection result of the driving behavior The information processing apparatus according to any one of the above.
(6)
The information processing apparatus according to (5), wherein the feedback information includes the content of the risk and a basis on which the risk is predicted.
(7)
The information processing apparatus according to (6), wherein the basis on which the risk is predicted is based on the result of the diagnosis.
(8)
The information processing apparatus according to any one of (5) to (7), wherein the feedback information includes a plan for avoiding the risk.
(9)
The information processing apparatus according to any one of (2) to (8), wherein the level of dangerous driving to be detected by the driving behavior detection unit decreases as the driving suitability of the user based on the diagnosis decreases.
(10)
The information processing apparatus according to any one of (2) to (9), further including: a learning unit that learns a model that performs the diagnosis based on a result of the diagnosis and a detection result of the driving behavior.
(11)
The information processing apparatus according to any one of (1) to (10), wherein the diagnosis unit performs the diagnosis based on a difference between a latest state of the user and a standard state of the user.
(12)
The information processing apparatus according to (11), wherein the diagnosis unit further performs the diagnosis based on a difference between the latest state of the user and an average state of the user in a user group including a plurality of users. .
(13)
The system further includes a state estimation unit that estimates the state of the user before and during driving.
The information processing apparatus according to any one of (1) to (12), wherein the diagnosis unit performs the diagnosis based on an estimation result of the state of the user.
(14)
The information processing apparatus according to (13), wherein the state of the user includes at least one of a biological state, an action, and an emotion of the user.
(15)
The information processing apparatus according to any one of (1) to (12), wherein the diagnosis unit performs the diagnosis based on data indicating a state of the user acquired before and during driving of the user.
(16)
A diagnosis step of diagnosing a suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving,
A presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit.
(17)
A diagnosis step of diagnosing a suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving,
A program for causing a computer to execute a process including a presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit.

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。   In addition, the effect described in this specification is an illustration to the last, is not limited, and may have other effects.

10 情報処理システム, 11 ユーザ端末部, 12 車両, 13 サーバ, 51 モバイル端末, 52 ウエアラブル端末, 61 GNSS受信機, 62 慣性センサ, 63 環境センサ, 64 生体センサ, 66 出力部, 67 制御部, 81 生体センサ, 83 出力部, 84 制御部, 101 車載システム, 111 車両データ取得部, 112 映像音声取得部, 114 出力部, 115 制御部, 152 状態推定部, 154 診断部, 155 運転挙動検出部, 156 リスク予測部, 157 損害予測部, 158 提示制御部, 159 評価部, 160 学習部, 161 保険料算定部   Reference Signs List 10 information processing system, 11 user terminal unit, 12 vehicle, 13 server, 51 mobile terminal, 52 wearable terminal, 61 GNSS receiver, 62 inertial sensor, 63 environment sensor, 64 biometric sensor, 66 output unit, 67 control unit, 81 Biometric sensor, 83 output unit, 84 control unit, 101 vehicle system, 111 vehicle data acquisition unit, 112 video and audio acquisition unit, 114 output unit, 115 control unit, 152 state estimation unit, 154 diagnosis unit, 155 driving behavior detection unit, 156 risk prediction unit, 157 damage prediction unit, 158 presentation control unit, 159 evaluation unit, 160 learning unit, 161 premium calculation unit

本技術の一側面の情報処理方法は、予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップとを含む。 The information processing method according to one aspect of the present technology is directed to the driving of the user based on the pre-driving state of the user driving the moving body and the state of the driving user acquired during driving. And a presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit .

本技術の一側面のプログラムは、予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップとを含む処理をコンピュータに実行させる。 The program according to one aspect of the present technology is suitable for the user's driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving. A computer is caused to execute processing including a diagnosis step of diagnosis and a presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit .

本技術の一側面においては、予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断が行われ、前記診断部で得られる診断に基づいて、フィードバック情報が生成される。 In one aspect of the present technology , diagnosis of suitability for driving of the user based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving. And feedback information is generated based on the diagnosis obtained by the diagnosis unit.

Claims (17)

予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断部と、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御部と
を備える情報処理装置。
A diagnosis unit that diagnoses the suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving, which are acquired in advance;
An information processing apparatus comprising: a presentation control unit that generates feedback information based on a diagnosis obtained by the diagnosis unit.
運転中の前記ユーザ又は前記移動体の挙動である運転挙動を検出する運転挙動検出部を
さらに備え、
前記運転挙動検出部の検出対象となる危険運転のレベルが、前記診断の結果に基づいて変化する
請求項1に記載の情報処理装置。
The vehicle further includes a driving behavior detection unit that detects a driving behavior that is a behavior of the user or the moving body during driving.
The information processing apparatus according to claim 1, wherein the level of dangerous driving to be detected by the driving behavior detection unit changes based on the result of the diagnosis.
前記診断部は、さらに前記運転挙動の検出結果に基づいて、前記診断を行う
請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, wherein the diagnosis unit performs the diagnosis based on a detection result of the driving behavior.
前記診断部は、運転前の前記ユーザの状態に基づいて、運転前の前記ユーザの運転に対する適性を診断し、運転中の前記ユーザの状態及び前記運転挙動の検出結果に基づいて、運転中の前記ユーザの運転に対する適性を診断する
請求項3に記載の情報処理装置。
The diagnosis unit diagnoses the aptitude for driving of the user before driving based on the state of the user before driving, and based on the detection result of the state of the user while driving and the driving behavior. The information processing apparatus according to claim 3, wherein the aptitude for driving of the user is diagnosed.
前記診断の結果、及び、前記運転挙動の検出結果のうち少なくとも1つに基づいて、前記ユーザによる前記移動体の運転に関するリスクを予測するリスク予測部を
さらに備える請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, further comprising: a risk prediction unit that predicts a risk related to the operation of the mobile object by the user based on at least one of the diagnosis result and the detection result of the driving behavior. .
前記フィードバック情報は、前記リスクの内容、及び、前記リスクが予測された根拠を含む
請求項5に記載の情報処理装置。
The information processing apparatus according to claim 5, wherein the feedback information includes the content of the risk and a basis on which the risk is predicted.
前記リスクが予測された根拠は、前記診断の結果に基づく
請求項6に記載の情報処理装置。
The information processing apparatus according to claim 6, wherein the ground on which the risk is predicted is based on a result of the diagnosis.
前記フィードバック情報は、前記リスクの回避案を含む
請求項5に記載の情報処理装置。
The information processing apparatus according to claim 5, wherein the feedback information includes an avoidance plan for the risk.
前記診断に基づく前記ユーザの運転の適性度が低くなるほど、前記運転挙動検出部の検出対象となる危険運転のレベルが低くなる
請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, wherein the level of dangerous driving to be detected by the driving behavior detection unit is lower as the driving suitability of the user based on the diagnosis is lower.
前記診断の結果、及び、前記運転挙動の検出結果に基づいて、前記診断を行うモデルの学習を行う学習部を
さらに備える請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, further comprising: a learning unit that learns a model to perform the diagnosis based on a result of the diagnosis and a detection result of the driving behavior.
前記診断部は、前記ユーザの直近の状態と前記ユーザの標準的な状態との差に基づいて、前記診断を行う
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the diagnosis unit performs the diagnosis based on a difference between a latest state of the user and a standard state of the user.
前記診断部は、さらに、前記ユーザの直近の状態と、複数のユーザを含むユーザ集合におけるユーザの平均的な状態との差に基づいて、前記診断を行う
請求項11に記載の情報処理装置。
The information processing apparatus according to claim 11, wherein the diagnosis unit further performs the diagnosis based on a difference between a state closest to the user and an average state of the user in a user group including a plurality of users.
運転前及び運転中の前記ユーザの状態を推定する状態推定部を
さらに備え、
前記診断部は、前記ユーザの状態の推定結果に基づいて、前記診断を行う
請求項1に記載の情報処理装置。
The system further includes a state estimation unit that estimates the state of the user before and during driving.
The information processing apparatus according to claim 1, wherein the diagnosis unit performs the diagnosis based on an estimation result of the state of the user.
前記ユーザの状態は、前記ユーザの生体状態、行動、及び、感情のうち少なくとも1つを含む
請求項13に記載の情報処理装置。
The information processing apparatus according to claim 13, wherein the state of the user includes at least one of a biological state, an action, and an emotion of the user.
前記診断部は、前記ユーザの運転前及び運転中に取得された前記ユーザの状態を示すデータに基づいて、前記診断を行う
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the diagnosis unit performs the diagnosis based on data indicating a state of the user acquired before and during driving of the user.
予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップと
を含む情報処理方法。
A diagnosis step of diagnosing a suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving,
A presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit.
予め取得された移動体を運転するユーザの運転前の状態、及び、運転中に取得される当該運転するユーザの状態に基づいて、前記ユーザの運転に対する適性の診断を行う診断ステップと、
前記診断部で得られる診断に基づいて、フィードバック情報を生成する提示制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。
A diagnosis step of diagnosing a suitability of the user for driving based on the pre-driving state of the user driving the moving body and the state of the driving user obtained during driving,
A program for causing a computer to execute a process including a presentation control step of generating feedback information based on the diagnosis obtained by the diagnosis unit.
JP2017080436A 2017-04-14 2017-04-14 Information processing equipment, information processing methods, and programs Active JP6972629B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017080436A JP6972629B2 (en) 2017-04-14 2017-04-14 Information processing equipment, information processing methods, and programs
JP2021179958A JP7527264B2 (en) 2017-04-14 2021-11-04 Information processing device, information processing method, program, and information processing system
JP2024005325A JP7658474B2 (en) 2017-04-14 2024-01-17 Information processing system, information processing device, information processing method, and program
JP2025050967A JP2025098155A (en) 2017-04-14 2025-03-26 Information processing system, information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017080436A JP6972629B2 (en) 2017-04-14 2017-04-14 Information processing equipment, information processing methods, and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021179958A Division JP7527264B2 (en) 2017-04-14 2021-11-04 Information processing device, information processing method, program, and information processing system

Publications (2)

Publication Number Publication Date
JP2018180983A true JP2018180983A (en) 2018-11-15
JP6972629B2 JP6972629B2 (en) 2021-11-24

Family

ID=64276758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017080436A Active JP6972629B2 (en) 2017-04-14 2017-04-14 Information processing equipment, information processing methods, and programs

Country Status (1)

Country Link
JP (1) JP6972629B2 (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123074A (en) * 2019-01-29 2020-08-13 株式会社デンソーテン Violation detection device and violation detection method
JP2020166704A (en) * 2019-03-29 2020-10-08 株式会社Nttドコモ Behavior support device
WO2020225956A1 (en) * 2019-05-09 2020-11-12 株式会社日立物流 System for predicting risk of dangerous driving
JP2020185872A (en) * 2019-05-14 2020-11-19 株式会社デンソー Driver's impatience detection device
JP2020201751A (en) * 2019-06-11 2020-12-17 株式会社Nttドコモ User state estimation device
JP6865896B1 (en) * 2020-01-22 2021-04-28 三菱電機株式会社 Anxiety factor identification device, program and anxiety factor identification method
JP2021103449A (en) * 2019-12-25 2021-07-15 トヨタ自動車株式会社 Information recording and reproducing device, information recording and reproducing program and information recording and reproducing system
JP2021135659A (en) * 2020-02-26 2021-09-13 株式会社ヒューマンキャピタルテクノロジー Condition judgment device and program
JP2021144653A (en) * 2020-03-13 2021-09-24 オムロン株式会社 Driver emotion estimation device, driver emotion estimation system, driver emotion estimation method and driver emotion estimation program
JP2022099251A (en) * 2020-12-22 2022-07-04 株式会社Subaru Safe driving assistance device
WO2022196659A1 (en) * 2021-03-19 2022-09-22 株式会社デンソー Driving support device, driving support method, drive recorder, and driving support control program
JP2022138387A (en) * 2021-03-10 2022-09-26 株式会社デンソーテン Information processing device and information processing method
JP2022138724A (en) * 2021-03-10 2022-09-26 トヨタ自動車株式会社 Display control device and display control method
JP2023004253A (en) * 2021-06-25 2023-01-17 株式会社Jvcケンウッド Driving evaluation control device and driving evaluation control method
WO2023286213A1 (en) * 2021-07-14 2023-01-19 日本電信電話株式会社 Estimation device, method, and program
JPWO2023135738A1 (en) * 2022-01-14 2023-07-20
JP2023542992A (en) * 2020-09-23 2023-10-12 シャンハイ リンカン チュエイン インテリジェント テクノロジー カンパニー リミテッド Intelligent drive control method and device, vehicle, electronic equipment and storage medium
JP2024002437A (en) * 2022-06-24 2024-01-11 本田技研工業株式会社 Driver assisting system
WO2024121972A1 (en) * 2022-12-07 2024-06-13 三菱電機株式会社 Driving aptitude level calculation device, driving aptitude level calculation method, and driving aptitude level calculation system
WO2024257214A1 (en) * 2023-06-13 2024-12-19 日本電気株式会社 Learning device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238858A (en) * 2000-02-22 2001-09-04 Genki Boku Device for monitoring drivers
JP2007203913A (en) * 2006-02-02 2007-08-16 Denso Corp Driving assistance device and driving assistance system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238858A (en) * 2000-02-22 2001-09-04 Genki Boku Device for monitoring drivers
JP2007203913A (en) * 2006-02-02 2007-08-16 Denso Corp Driving assistance device and driving assistance system

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123074A (en) * 2019-01-29 2020-08-13 株式会社デンソーテン Violation detection device and violation detection method
JP7358053B2 (en) 2019-01-29 2023-10-10 株式会社デンソーテン Violation detection device and violation detection method
JP2020166704A (en) * 2019-03-29 2020-10-08 株式会社Nttドコモ Behavior support device
JP2020184248A (en) * 2019-05-09 2020-11-12 株式会社日立物流 A system that predicts the risk of driving danger
WO2020225956A1 (en) * 2019-05-09 2020-11-12 株式会社日立物流 System for predicting risk of dangerous driving
JP7334057B2 (en) 2019-05-09 2023-08-28 ロジスティード株式会社 A system that predicts driving hazards
JP2020185872A (en) * 2019-05-14 2020-11-19 株式会社デンソー Driver's impatience detection device
JP7143813B2 (en) 2019-05-14 2022-09-29 株式会社デンソー Driver impatience detector
JP2020201751A (en) * 2019-06-11 2020-12-17 株式会社Nttドコモ User state estimation device
JP7297240B2 (en) 2019-06-11 2023-06-26 株式会社Nttドコモ User state estimation device
US12195008B2 (en) 2019-12-25 2025-01-14 Toyota Jidosha Kabushiki Kaisha Information recording and reproduction device, a non-transitory storage medium, and information recording and reproduction system
JP2021103449A (en) * 2019-12-25 2021-07-15 トヨタ自動車株式会社 Information recording and reproducing device, information recording and reproducing program and information recording and reproducing system
JP7243616B2 (en) 2019-12-25 2023-03-22 トヨタ自動車株式会社 Information recording/reproducing device, information recording/reproducing program, and information recording/reproducing system
WO2021149200A1 (en) * 2020-01-22 2021-07-29 三菱電機株式会社 Anxiety factor identification device, program, and anxiety factor identification method
JP6865896B1 (en) * 2020-01-22 2021-04-28 三菱電機株式会社 Anxiety factor identification device, program and anxiety factor identification method
JP2021135659A (en) * 2020-02-26 2021-09-13 株式会社ヒューマンキャピタルテクノロジー Condition judgment device and program
JP7477988B2 (en) 2020-02-26 2024-05-02 株式会社リクルート Condition determination device and program
JP2021144653A (en) * 2020-03-13 2021-09-24 オムロン株式会社 Driver emotion estimation device, driver emotion estimation system, driver emotion estimation method and driver emotion estimation program
JP7650964B2 (en) 2020-09-23 2025-03-25 シャンハイ リンカン チュエイン インテリジェント テクノロジー カンパニー リミテッド Intelligent drive control method and device, vehicle, electronic device, and storage medium
JP2023542992A (en) * 2020-09-23 2023-10-12 シャンハイ リンカン チュエイン インテリジェント テクノロジー カンパニー リミテッド Intelligent drive control method and device, vehicle, electronic equipment and storage medium
JP2022099251A (en) * 2020-12-22 2022-07-04 株式会社Subaru Safe driving assistance device
JP2022138387A (en) * 2021-03-10 2022-09-26 株式会社デンソーテン Information processing device and information processing method
JP7501412B2 (en) 2021-03-10 2024-06-18 トヨタ自動車株式会社 Display control device and display control method
JP2022138724A (en) * 2021-03-10 2022-09-26 トヨタ自動車株式会社 Display control device and display control method
WO2022196659A1 (en) * 2021-03-19 2022-09-22 株式会社デンソー Driving support device, driving support method, drive recorder, and driving support control program
JP7585910B2 (en) 2021-03-19 2024-11-19 株式会社デンソー Driving assistance device, driving assistance method, drive recorder, and driving assistance control program
JP2022145251A (en) * 2021-03-19 2022-10-03 株式会社デンソー Driving assistance device, driving assistance method, drive recorder, driving assistance control program
JP2023004253A (en) * 2021-06-25 2023-01-17 株式会社Jvcケンウッド Driving evaluation control device and driving evaluation control method
WO2023286213A1 (en) * 2021-07-14 2023-01-19 日本電信電話株式会社 Estimation device, method, and program
WO2023135738A1 (en) * 2022-01-14 2023-07-20 三菱電機株式会社 Information processing device, estimation system, estimation method, and estimation program
JPWO2023135738A1 (en) * 2022-01-14 2023-07-20
JP2024002437A (en) * 2022-06-24 2024-01-11 本田技研工業株式会社 Driver assisting system
JP7445706B2 (en) 2022-06-24 2024-03-07 本田技研工業株式会社 driver assistance system
WO2024121972A1 (en) * 2022-12-07 2024-06-13 三菱電機株式会社 Driving aptitude level calculation device, driving aptitude level calculation method, and driving aptitude level calculation system
WO2024257214A1 (en) * 2023-06-13 2024-12-19 日本電気株式会社 Learning device

Also Published As

Publication number Publication date
JP6972629B2 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
JP7092116B2 (en) Information processing equipment, information processing methods, and programs
JP6972629B2 (en) Information processing equipment, information processing methods, and programs
CN112041910B (en) Information processing device, mobile device, method and program
JP7288911B2 (en) Information processing device, mobile device, method, and program
US12172652B2 (en) Driver and vehicle monitoring feedback system for an autonomous vehicle
JP7324716B2 (en) Information processing device, mobile device, method, and program
EP3889740B1 (en) Affective-cognitive load based digital assistant
JP7080598B2 (en) Vehicle control device and vehicle control method
JP6962316B2 (en) Information processing equipment, information processing methods, programs, and systems
US9896030B2 (en) System and method for vehicle collision mitigation with vulnerable road user context sensing
JPWO2019202881A1 (en) Information processing equipment, mobile devices, information processing systems, and methods, and programs
JP2021128349A (en) Information processing device, information processing system, information processing method, and program
JP7658474B2 (en) Information processing system, information processing device, information processing method, and program
JP7691795B2 (en) Information processing system, information processing device, information processing method, and program
JP2023135475A (en) Information processing device, information processing method, program, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6972629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151