JP2021072064A

JP2021072064A - Cognitive function diagnostic system

Info

Publication number: JP2021072064A
Application number: JP2019200269A
Authority: JP
Inventors: 真本多; Makoto Honda
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2021-05-06

Abstract

To provide a cognitive function diagnostic system that enables early detection of dementia.SOLUTION: The system includes a history database 229 and a control unit 22 that is accessible to the history database 229, and causes the control unit 22 to execute operations including: storing communication content in the past with a driver in the history database 229; determining whether the same content has been dealt with in the past based on the stored communication content, and in a case where the same content has been dealt with in the past, making a question about the communication content to the driver; and evaluating the cognitive capability of the driver based on response content of the driver to the question.SELECTED DRAWING: Figure 4

Description

本開示は、認知機能診断システムに関する。 The present disclosure relates to a cognitive function diagnostic system.

特許文献１には、車載カメラ、アクセル、ブレーキ等を観測することによってドライバーの車両の運転状況を把握し、信号及び交通標識等の道路に関する情報と照合することによって、信号無視及び制限速度超過等の交通違反の発生を検出する技術が開示されている。ここでは、交通違反の発生回数によってドライバーの認知症リスクを判定している。 In Patent Document 1, the driving situation of the driver's vehicle is grasped by observing an in-vehicle camera, accelerator, brake, etc., and by collating with information on the road such as a signal and a traffic sign, the signal is ignored and the speed limit is exceeded, etc. The technology for detecting the occurrence of traffic violations in Japan is disclosed. Here, the driver's risk of dementia is determined based on the number of traffic violations.

特開２０１９−１２４９７５JP-A-2019-124975

交通違反を起こすのは認知機能が既に劣化した段階であり、従来技術では、ドライバーの認知機能が劣化し始めた早期の段階の検出が困難である。 Traffic violations occur when the cognitive function has already deteriorated, and it is difficult to detect the early stage when the driver's cognitive function begins to deteriorate with the prior art.

かかる事情に鑑みてなされた本開示の目的は、認知症の早期発見をすることにある。 The purpose of this disclosure made in view of such circumstances is to detect dementia at an early stage.

本開示の一実施形態に係る認知機能診断システムは、履歴データベースと、前記データベースにアクセス可能な制御部と、
を備え、
ドライバーとの過去のコミュニケーション内容を前記履歴データベースに記憶することと、
記憶された前記コミュニケーション内容に基づき、過去に同一の内容を取り上げたか判断し、過去に同一の内容を取り上げたことがある場合、前記コミュニケーション内容に係る質問を前記ドライバーにすることと、
前記質問に対する前記ドライバーの回答内容に基づき、前記ドライバーの認知能力を評価することと
を含む動作を前記制御部に実行させる。 The cognitive function diagnostic system according to the embodiment of the present disclosure includes a history database, a control unit that can access the database, and the like.
With
To store the past communication contents with the driver in the history database,
Based on the memorized communication content, it is determined whether the same content has been picked up in the past, and if the same content has been picked up in the past, the question related to the communication content is asked to the driver.
Based on the content of the driver's answer to the question, the control unit is made to perform an operation including evaluating the cognitive ability of the driver.

本開示の一実施形態に係る認知機能診断システムによれば、認知症の早期発見をすることができる。 According to the cognitive function diagnostic system according to the embodiment of the present disclosure, dementia can be detected at an early stage.

本開示の一実施形態に係る認知機能診断システムの構成を示す構成図である。It is a block diagram which shows the structure of the cognitive function diagnosis system which concerns on one Embodiment of this disclosure. 本開示の一実施形態に係る車両側システムの構成を示す図である。It is a figure which shows the structure of the vehicle side system which concerns on one Embodiment of this disclosure. 本開示の一実施形態に係る車載カメラで撮像された画像の一例である。This is an example of an image captured by the vehicle-mounted camera according to the embodiment of the present disclosure. 本開示の一実施形態に係るＥＣＵにおける処理構成を示す図である。It is a figure which shows the processing configuration in the ECU which concerns on one Embodiment of this disclosure. 本開示の別の一実施形態に係る車両側システムの構成を示す図である。It is a figure which shows the structure of the vehicle side system which concerns on another embodiment of this disclosure. 本開示の一実施形態に係る新規物体の検出、提示、及び登録の処理を示すフローチャートである。It is a flowchart which shows the process of detection, presentation, and registration of the new object which concerns on one Embodiment of this disclosure. 本開示の一実施形態に係る再度発見した物体の検出、質問、及びスコア計算・記録に係る処理を示すフローチャートである。It is a flowchart which shows the process which concerns on the detection of the rediscovered object which concerns on one Embodiment of this disclosure, the question, and the score calculation | record. 本開示の一実施形態に係るメール通知に係る処理を示すフローチャートである。It is a flowchart which shows the process which concerns on the mail notification which concerns on one Embodiment of this disclosure.

以下、本開示の実施形態に係る認知機能診断システム１０について、図面を参照して説明する。 Hereinafter, the cognitive function diagnostic system 10 according to the embodiment of the present disclosure will be described with reference to the drawings.

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。 In each figure, the same or corresponding parts are designated by the same reference numerals. In the description of the present embodiment, the description will be omitted or simplified as appropriate for the same or corresponding parts.

図１を参照して、本実施形態に係る認知機能診断システム１０の構成を説明する。 The configuration of the cognitive function diagnosis system 10 according to the present embodiment will be described with reference to FIG.

本実施形態に係る認知機能診断システム１０は、車両側システム２０と、センター側システム３０とを備える。車両側システム２０は概略として、車載カメラ２１と、ＥＣＵ(Electronic Control Unit)２２（制御部２２ともいう。）と、ＤＣＭ(Digital Communication Module)２３と、アンテナ２４とを備える。一例として車載カメラ２１、ＥＣＵ２２、ＤＣＭ２３、及びアンテナ２４は、車両４０に搭載される。本実施の形態において、ＥＣＵ２２には車載カメラ２１で撮像された画像データが入力され、画像処理（物体認識処理）が実行されるものとする。ＤＣＭ２３は、無線通信のための送受信と変復調の機能を備える。センター側システム３０は、アンテナ３１と、無線通信基地局３２と、クラウドシステム３３とを備える。クラウドシステム３３は、例えば大規模なコンピュータセンターである。クラウドシステム３３は、インターネット経由で検索エンジン等、外部のウェブサービスに接続することが可能である。 The cognitive function diagnosis system 10 according to the present embodiment includes a vehicle-side system 20 and a center-side system 30. The vehicle-side system 20 generally includes an in-vehicle camera 21, an ECU (Electronic Control Unit) 22 (also referred to as a control unit 22), a DCM (Digital Communication Module) 23, and an antenna 24. As an example, the vehicle-mounted camera 21, ECU 22, DCM23, and antenna 24 are mounted on the vehicle 40. In the present embodiment, it is assumed that the image data captured by the vehicle-mounted camera 21 is input to the ECU 22 and the image processing (object recognition processing) is executed. The DCM23 has transmission / reception and modulation / demodulation functions for wireless communication. The center side system 30 includes an antenna 31, a wireless communication base station 32, and a cloud system 33. The cloud system 33 is, for example, a large-scale computer center. The cloud system 33 can connect to an external web service such as a search engine via the Internet.

高齢者ドライバーの認知機能は加齢に伴い劣化する傾向がある。認知機能の劣化を早期に検出できれば、検出後にトレーニングを実施することで認知症を予防でき、安全運転を継続できる可能性がある。認知症の初期症状としては記憶障害が挙げられ、初期症状の検出技術の開発が課題であった。本開示の実施形態に係る認知機能診断システム１０は当該課題を解決することを目的としている。概略として本開示の実施形態に係る認知機能診断システム１０は、ドライバーが運転中に見ている前方風景内の物体（店舗の看板等）について音声による問答を行い、ドライバーの短期記憶能力を測定する。ドライバーがある風景を見かけたとき、認知機能診断システム１０はその中に存在する物体を認識し、当該物体に関する情報をドライバーに音声で提示する。しばらくした後、ドライバーが運転中に当該物体を再度見つけた場合、認知機能診断システム１０はその関連情報に関する質問を行い、ドライバーの回答が正解かどうかを判定して、スコアを計算する。スコアが低得点であった場合、短期記憶能力が劣化している可能性があると判定する。 The cognitive function of elderly drivers tends to deteriorate with age. If deterioration of cognitive function can be detected at an early stage, dementia can be prevented by conducting training after detection, and safe driving may be continued. Memory impairment was mentioned as an initial symptom of dementia, and the development of a technique for detecting the initial symptom was an issue. The cognitive function diagnostic system 10 according to the embodiment of the present disclosure aims to solve the problem. As an outline, the cognitive function diagnosis system 10 according to the embodiment of the present disclosure asks and answers by voice about an object (such as a signboard of a store) in the front scenery that the driver is looking at while driving, and measures the driver's short-term memory ability. .. When the driver sees a certain landscape, the cognitive function diagnosis system 10 recognizes an object existing in the landscape and presents information about the object to the driver by voice. After a while, if the driver finds the object again while driving, the cognitive function diagnostic system 10 asks a question about the related information, determines whether the driver's answer is correct, and calculates a score. If the score is low, it is judged that the short-term memory ability may have deteriorated.

図２は、一実施形態に係る車両側システム２０の構成を示す図である。車両側システム２０は、車載カメラ２１と、ＥＣＵ２２と、ＤＣＭ２３と、アンテナ２４と、マイクロフォン２５１と、スピーカ２６１と、ＧＰＳ受信器２７とを備える。 FIG. 2 is a diagram showing a configuration of a vehicle-side system 20 according to an embodiment. The vehicle-side system 20 includes an in-vehicle camera 21, an ECU 22, a DCM 23, an antenna 24, a microphone 251 and a speaker 261 and a GPS receiver 27.

車載カメラ２１は、例えば前方風景を撮像した場合、前方風景の画像データをＥＣＵ２２に出力する。 For example, when the vehicle-mounted camera 21 captures the front landscape, the vehicle-mounted camera 21 outputs the image data of the front landscape to the ECU 22.

ＥＣＵ２２は、画像データを車載カメラ２１から受け取る。またＥＣＵ２２は、ドライバーの発話した音声データをマイクロフォン２５１から受け取る。またＥＣＵ２２は、ＧＰＳ現在位置信号をＧＰＳ受信器２７から受け取る。またＥＣＵ２２は、物体認識処理を実行し結果データを生成する。ＥＣＵ２２は、結果データ、画像データ、及び音声データ等をＤＣＭ２３に出力する。またＥＣＵ２２は、出力音声データをスピーカ２６１に出力する。 The ECU 22 receives the image data from the vehicle-mounted camera 21. Further, the ECU 22 receives the voice data spoken by the driver from the microphone 251. Further, the ECU 22 receives the GPS current position signal from the GPS receiver 27. Further, the ECU 22 executes the object recognition process and generates the result data. The ECU 22 outputs result data, image data, audio data, and the like to the DCM 23. Further, the ECU 22 outputs the output voice data to the speaker 261.

ＤＣＭ２３は、ディジタル信号を入力として受け取る。かかるディジタル信号は、物体認識処理の結果データ、画像データ、音声データ、及びＧＰＳ現在位置信号等を含む。ＤＣＭ２３はディジタル信号を変調して高周波信号を生成し、アンテナ２４を介して当該高周波信号をセンター側システム３０に送信する。またＤＣＭ２３は、アンテナ２４を介して受信した高周波信号を復調して、ディジタル信号を生成する。 The DCM23 receives a digital signal as an input. Such digital signals include result data of object recognition processing, image data, audio data, GPS current position signal, and the like. The DCM 23 modulates the digital signal to generate a high frequency signal, and transmits the high frequency signal to the center side system 30 via the antenna 24. Further, the DCM 23 demodulates the high frequency signal received via the antenna 24 to generate a digital signal.

マイクロフォン２５１は、ドライバーからの発話を集音する。集音された音声データはＥＣＵ２２に出力される。 The microphone 251 collects utterances from the driver. The collected voice data is output to the ECU 22.

スピーカ２６１は、ＥＣＵ２２からの出力音声データを受け取り、ドライバーに向けて音声を出力する。 The speaker 261 receives the output voice data from the ECU 22 and outputs the voice to the driver.

ＧＰＳ受信器２７は、現在位置情報を推定し、現在位置情報に係るＧＰＳ現在位置信号をＥＣＵ２２及びＤＣＭ２３に出力する。 The GPS receiver 27 estimates the current position information and outputs the GPS current position signal related to the current position information to the ECU 22 and the DCM 23.

図３に車載カメラ２１により撮像された画像の一例を示す。この例では、撮像された画像は、レストランの看板（物体）を含む。 FIG. 3 shows an example of an image captured by the vehicle-mounted camera 21. In this example, the captured image includes a restaurant sign (object).

図４にＥＣＵ２２の構成例を示す。ＥＣＵ２２は、物体認識部２２１と、物体関連情報データベース２２２と、提示文・対話生成部２２３と、質問文生成部２２４と、音声合成部２２５と、音声認識部２２６と、意図推定部２２７と、スコア計算部２２８と、履歴データベース２２９とを含む。物体関連情報データベース２２２及び履歴データベース２２９は、ＥＣＵ２２がアクセス可能である。 FIG. 4 shows a configuration example of the ECU 22. The ECU 22 includes an object recognition unit 221, an object-related information database 222, a presentation sentence / dialogue generation unit 223, a question sentence generation unit 224, a voice synthesis unit 225, a voice recognition unit 226, and an intention estimation unit 227. It includes a score calculation unit 228 and a history database 229. The object-related information database 222 and the history database 229 are accessible to the ECU 22.

ＥＣＵ２２による上記の処理は、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等で実行される。物体関連情報データベース２２２及び履歴データベース２２９はＥＣＵ２２内のハードディスク、ＲＯＭ（read only memory）、フラッシュメモリのいずれかに構築される。ＥＣＵ２２の機能は、ソフトウェア又はエージェントにより実現されてもよい。 The above processing by the ECU 22 is executed by a CPU (central processing unit), a GPU (graphics processing unit), an FPGA (field-programmable gate array), an ASIC (application specific integrated circuit), or the like. The object-related information database 222 and the history database 229 are constructed in any of the hard disk, ROM (read only memory), and flash memory in the ECU 22. The function of the ECU 22 may be realized by software or an agent.

物体関連情報データベース２２２は、物体関連情報に係るテーブルを含み、その一例を表１に示す。

The object-related information database 222 includes a table related to the object-related information, and an example thereof is shown in Table 1.

表１に示すテーブルの各レコードは、物体名称、及び関連情報のフィールドを含む。また表１に示すテーブルの各レコードでは、１つの物体名称のフィールドに対して複数の関連情報のフィールドが対応付けられている。例えば、物体名称が「ＸＹＺ看板」のレコードは、関連情報のフィールドとして、「看板のシンボルはＸＹＺマークです」と、「創業者の名前はＡＢＣです」とを含む。 Each record in the table shown in Table 1 contains fields for object names and related information. Further, in each record of the table shown in Table 1, a plurality of related information fields are associated with one object name field. For example, a record whose object name is "XYZ signboard" includes "the signboard symbol is the XYZ mark" and "the founder's name is ABC" as fields of related information.

履歴データベース２２９は、履歴データに係るテーブルを含み、その一例を表２に示す。

The history database 229 includes a table related to the history data, and an example thereof is shown in Table 2.

表２に示すテーブルの各レコードは、物体名称、関連情報、質問文、位置、時刻、質疑回数、及びスコアに係るフィールドを含む。また表２に示すテーブルの各レコードでは、１つの物体名称のフィールドに対して複数の関連情報のフィールドが対応付けられている。例えば、物体名称が「ＸＹＺ看板」のレコードは、関連情報のフィールドとして、「看板のシンボルはＸＹＺマークです」と、「創業者の名前はＡＢＣです」とを含む。またさらに各関連情報に、それぞれ質問文、位置、時刻、質疑回数、及びスコアのフィールドが対応付けられる。 Each record in the table shown in Table 2 contains fields related to object name, related information, question text, position, time, number of questions, and score. Further, in each record of the table shown in Table 2, a plurality of related information fields are associated with one object name field. For example, a record whose object name is "XYZ signboard" includes "the signboard symbol is the XYZ mark" and "the founder's name is ABC" as fields of related information. Further, each related information is associated with a question sentence, a position, a time, a question count, and a score field.

別の実施形態に係る認知機能診断システム１０として、ＥＣＵ２２の構成全体がセンター側システム３０（クラウド側）に配置されてもよい。この場合の車両側システム２０のシステム構成を図５に示す。図５に示すように、車載カメラ２１の画像出力とＧＰＳ受信器２７の出力はディジタル信号としてＤＣＭ２３に入力される。マイクロフォン２５１のアナログ信号出力は増幅器２５２にて増幅後、Ａ／Ｄコンバータ２５３でディジタル信号に変換されてＤＣＭ２３に入力される。ＤＣＭ２３からの音声ディジタル出力は、Ｄ／Ａコンバータ２６３でアナログ信号に変換され、増幅器２６２にて増幅後、スピーカ２６１に入力され、発話される。全体構成の一部、例えば、物体関連情報データベース２２２をセンター側システム３０（クラウド側）に配置することも可能である。 As the cognitive function diagnosis system 10 according to another embodiment, the entire configuration of the ECU 22 may be arranged in the center side system 30 (cloud side). The system configuration of the vehicle side system 20 in this case is shown in FIG. As shown in FIG. 5, the image output of the vehicle-mounted camera 21 and the output of the GPS receiver 27 are input to the DCM 23 as digital signals. The analog signal output of the microphone 251 is amplified by the amplifier 252, converted into a digital signal by the A / D converter 253, and input to the DCM 23. The audio digital output from the DCM23 is converted into an analog signal by the D / A converter 263, amplified by the amplifier 262, input to the speaker 261 and uttered. It is also possible to arrange a part of the whole configuration, for example, the object-related information database 222 in the center side system 30 (cloud side).

ＥＣＵ２２が実行する処理は大きく分けて、（１）新規物体の検出、提示、及び登録に係る処理、（２）再度発見した物体の検出、質問、及びスコア計算・記録に係る処理、並びに（３）メール通知に係る処理がある。これらの動作をそれぞれ、図６〜８のフローチャートを用いて説明する。 The processes executed by the ECU 22 are roughly divided into (1) processes related to detection, presentation, and registration of new objects, (2) processes related to detection of rediscovered objects, questions, and processing related to score calculation / recording, and (3). ) There is a process related to email notification. Each of these operations will be described with reference to the flowcharts of FIGS. 6 to 8.

まず、新規物体の検出、提示、登録に係る処理について、図６に示すフローチャートに基づき説明する。はじめに車載カメラ２１は、前方風景を撮像する（ステップＳ１１０）。次にＥＣＵ２２の物体認識部２２１は、車載カメラ２１で撮像された前方風景について、物体認識処理を実行する（ステップＳ１１１）。物体認識部２２１は、任意の手順で物体認識処理を実施してよいが、例えば、テンプレートパターンマッチング、ＳＶＭ(Support Vector Machine)、ニューラルネットワーク、深層学習等の機械学習アルゴリズムを適用することができる。認識する物体は、例えば、名所・旧跡・高級レストラン・ブランドブティック・スーパーマーケット・ホームセンターの看板、高速道路沿いの広告看板、高級自動車、芸能人、著名人、行列等である。 First, the processes related to the detection, presentation, and registration of a new object will be described based on the flowchart shown in FIG. First, the vehicle-mounted camera 21 captures the front scenery (step S110). Next, the object recognition unit 221 of the ECU 22 executes the object recognition process for the front scenery captured by the vehicle-mounted camera 21 (step S111). The object recognition unit 221 may perform the object recognition process by any procedure, and for example, machine learning algorithms such as template pattern matching, SVM (Support Vector Machine), neural network, and deep learning can be applied. The objects to be recognized are, for example, famous places, historic sites, luxury restaurants, brand boutiques, supermarkets, home improvement signs, advertising signs along highways, luxury cars, entertainers, celebrities, queues, and the like.

また物体認識部２２１は、当該処理によって風景内の物体の名称を推定する。続いて提示文・対話生成部２２３は、物体名称から提示文を作成する（ステップＳ１１２）。例えば提示文は、「ＸＹＺの看板がありますね。」である。音声合成部２２５は、提示文のデータを変換し、音声信号を生成する。ＥＣＵ２２は、当該音声信号に基づき、スピーカ２６１からドライバーに向けて提示文を発話する。 Further, the object recognition unit 221 estimates the name of the object in the landscape by the processing. Subsequently, the presentation sentence / dialogue generation unit 223 creates a presentation sentence from the object name (step S112). For example, the presentation is "There is a XYZ sign." The voice synthesis unit 225 converts the data of the presentation sentence and generates a voice signal. The ECU 22 utters a presentation sentence from the speaker 261 to the driver based on the voice signal.

ドライバーはスピーカ２６１からの発話を聞いて回答する。マイクロフォン２５１は、ドライバーからの発話を集音する。集音された音声データはＥＣＵ２２に出力される。ＥＣＵ２２は当該音声データ、すなわちドライバーの回答の入力音声を取得する。ＥＣＵ２２の音声認識部２２６は、音声データを解析してテキストに変換し、該テキストデータを意図推定部２２７に出力する。意図推定部２２７は、該テキストデータに基づきドライバーの意図を推定する（ステップＳ１１３）。 The driver listens to the utterance from the speaker 261 and answers. The microphone 251 collects utterances from the driver. The collected voice data is output to the ECU 22. The ECU 22 acquires the voice data, that is, the input voice of the driver's answer. The voice recognition unit 226 of the ECU 22 analyzes the voice data, converts it into text, and outputs the text data to the intention estimation unit 227. The intention estimation unit 227 estimates the driver's intention based on the text data (step S113).

続いてＥＣＵ２２は、意図推定部２２７により推定した意図に基づき、ドライバーの回答が肯定的であるか否かを判定する（ステップＳ１１４）。ドライバーの回答が肯定的である場合、プロセスはステップＳ１１５に進む。他方でドライバーの回答が肯定的でない場合、プロセスはステップＳ１１６に進む。 Subsequently, the ECU 22 determines whether or not the driver's answer is positive based on the intention estimated by the intention estimation unit 227 (step S114). If the driver's answer is positive, the process proceeds to step S115. On the other hand, if the driver's answer is not positive, the process proceeds to step S116.

ドライバーの回答が肯定的である場合、本システムはドライバーがシステムからの提示を理解したと認識する。この場合、ＥＣＵ２２は、認識された物体名称を物体関連情報データベース２２２にクエリとして入力し、当該物体の関連情報を取得する（ステップＳ１１５）。他方で、ドライバーの回答が肯定的でなければ、本システムは別の場所の前方風景を撮像する。つまりこの場合、車載カメラ２１が、別の場所の前方風景を撮像する（ステップＳ１１６）。その後プロセスはステップＳ１１１に進む。 If the driver's answer is positive, the system recognizes that the driver understands the offer from the system. In this case, the ECU 22 inputs the recognized object name into the object-related information database 222 as a query, and acquires the related information of the object (step S115). On the other hand, if the driver's answer is not positive, the system captures the landscape ahead of another location. That is, in this case, the vehicle-mounted camera 21 captures the front scenery of another place (step S116). The process then proceeds to step S111.

ステップＳ１１５において物体の関連情報を取得すると、ＥＣＵ２２は、当該関連情報を提示文・対話生成部２２３に入力する。提示文・対話生成部２２３は、関連情報に関する提示文を生成する（ステップＳ１１７）。例えば提示文は、「あの看板のシンボルはＸＹＺマークと呼ばれています。」である。音声合成部２２５は、提示文のデータを変換し、音声信号を生成する。ＥＣＵ２２は、当該音声信号に基づき、スピーカ２６１からドライバーに向けて提示文を発話する。 When the related information of the object is acquired in step S115, the ECU 22 inputs the related information to the presentation sentence / dialogue generation unit 223. The presentation / dialogue generation unit 223 generates a presentation regarding related information (step S117). For example, the presentation is "The symbol of that sign is called the XYZ mark." The voice synthesis unit 225 converts the data of the presentation sentence and generates a voice signal. The ECU 22 utters a presentation sentence from the speaker 261 to the driver based on the voice signal.

ドライバーはスピーカ２６１からの発話を聞いて回答する。マイクロフォン２５１は、ドライバーからの発話を集音する。集音された音声データはＥＣＵ２２に出力される。ＥＣＵ２２は当該音声データ、すなわちドライバーの回答の入力音声を取得する。ＥＣＵ２２の音声認識部２２６は、音声データを解析してテキストに変換し、該テキストデータを意図推定部２２７に出力する。意図推定部２２７は、該テキストデータに基づきドライバーの意図を推定する（ステップＳ１１８）。 The driver listens to the utterance from the speaker 261 and answers. The microphone 251 collects utterances from the driver. The collected voice data is output to the ECU 22. The ECU 22 acquires the voice data, that is, the input voice of the driver's answer. The voice recognition unit 226 of the ECU 22 analyzes the voice data, converts it into text, and outputs the text data to the intention estimation unit 227. The intention estimation unit 227 estimates the driver's intention based on the text data (step S118).

続いてＥＣＵ２２は、意図推定部２２７により推定した意図に基づき、ドライバーの回答が肯定的であるか否かを判定する（ステップＳ１１９）。例えばドライバーが「わかった」と回答した場合、ＥＣＵ２２は肯定的であると判定する。また、ドライバーが提示された情報を繰り返して発話した場合、ＥＣＵ２２は肯定的であると判定する。ドライバーの回答が肯定的である場合、プロセスはステップＳ１２０に進む。他方でドライバーの回答が肯定的でない場合、プロセスはステップＳ１２１に進む。 Subsequently, the ECU 22 determines whether or not the driver's answer is positive based on the intention estimated by the intention estimation unit 227 (step S119). For example, when the driver answers "OK", the ECU 22 determines that it is positive. Further, when the driver repeatedly speaks the presented information, the ECU 22 determines that the information is positive. If the driver's answer is positive, the process proceeds to step S120. On the other hand, if the driver's answer is not positive, the process proceeds to step S121.

ドライバーの回答が肯定的である場合、認知機能診断システム１０はドライバーがシステムからの提示を理解したと認識する。この場合、ＥＣＵ２２は、履歴データベース２２９に物体名称、関連情報、位置情報、及び現在時刻を記録する（ステップＳ１２０）。このようにＥＣＵ２２は、新しく発見した物体の情報を履歴データベース２２９に記録する。なおＥＣＵ２２は、位置情報及び現在時刻をＧＰＳ受信器２７から取得する。他方で、ドライバーの回答が肯定的でなければ、認知機能診断システム１０は別の場所の前方風景を撮像する。つまりこの場合、車載カメラ２１が、別の場所の前方風景を撮像する（ステップＳ１２１）。その後プロセスはステップＳ１１１に進む。 If the driver's answer is positive, the cognitive function diagnostic system 10 recognizes that the driver understands the presentation from the system. In this case, the ECU 22 records the object name, related information, position information, and the current time in the history database 229 (step S120). In this way, the ECU 22 records the information of the newly discovered object in the history database 229. The ECU 22 acquires the position information and the current time from the GPS receiver 27. On the other hand, if the driver's answer is not positive, the cognitive function diagnostic system 10 images the forward landscape of another location. That is, in this case, the vehicle-mounted camera 21 captures the front scenery of another place (step S121). The process then proceeds to step S111.

次に、同じ物体を再度発見した場合の処理について、図７に示すフローチャートに基づき説明する。はじめに車載カメラ２１は、前方風景を撮像する（ステップＳ２１０）。次にＥＣＵ２２の物体認識部２２１は、車載カメラ２１で撮像された前方風景について、物体認識処理を実行する（ステップＳ２１１）。続いてＥＣＵ２２は、推定された物体名称と現在位置情報をクエリとして履歴データベース２２９に入力し、当該物体名称が既に登録されているかを確認する（ステップＳ２１２）。ＥＣＵ２２は、物体名称が履歴データベース２２９に存在するか否かを判定し（ステップＳ２１３）、物体名称が履歴データベース２２９に存在する場合、プロセスはステップＳ２１４に進む。他方で物体名称が履歴データベース２２９に存在しない場合、プロセスはステップＳ２１５に進む。この場合は同じ物体を再度発見した場合に相当しないため、図６にて上述した新規物体の検出、提示、登録に係る処理を実行する（ステップＳ２１５）。 Next, the process when the same object is found again will be described with reference to the flowchart shown in FIG. 7. First, the vehicle-mounted camera 21 captures the front scenery (step S210). Next, the object recognition unit 221 of the ECU 22 executes the object recognition process for the front scenery captured by the vehicle-mounted camera 21 (step S211). Subsequently, the ECU 22 inputs the estimated object name and the current position information as a query into the history database 229, and confirms whether the object name has already been registered (step S212). The ECU 22 determines whether or not the object name exists in the history database 229 (step S213), and if the object name exists in the history database 229, the process proceeds to step S214. On the other hand, if the object name does not exist in the history database 229, the process proceeds to step S215. Since this case does not correspond to the case where the same object is found again, the process related to the detection, presentation, and registration of the new object described above in FIG. 6 is executed (step S215).

物体名称が履歴データベース２２９に存在する場合、ドライバーは過去にこの物体を同一場所で発見したことになる。この場合、提示文・対話生成部２２３は確認文を生成する。例えば確認文は、「ＸＹＺの看板が見えますね。」である。音声合成部２２５は、確認文のデータを変換し、音声信号を生成する。ＥＣＵ２２は、当該音声信号に基づき、スピーカ２６１からドライバーに向けて確認文を発話する（ステップＳ２１４）。 If the object name exists in the history database 229, the driver has found this object in the same place in the past. In this case, the presentation / dialogue generation unit 223 generates a confirmation sentence. For example, the confirmation text is "You can see the XYZ sign." The voice synthesis unit 225 converts the confirmation text data and generates a voice signal. The ECU 22 utters a confirmation sentence from the speaker 261 to the driver based on the voice signal (step S214).

ドライバーはスピーカ２６１からの発話を聞いて回答する。マイクロフォン２５１は、ドライバーからの発話を集音する。集音された音声データはＥＣＵ２２に出力される。ＥＣＵ２２は当該音声データ、すなわちドライバーの回答の入力音声を取得する。ＥＣＵ２２の音声認識部２２６は、音声データを解析してテキストに変換し、該テキストデータを意図推定部２２７に出力する。意図推定部２２７は、該テキストデータに基づきドライバーの意図を推定する（ステップＳ２１６）。 The driver listens to the utterance from the speaker 261 and answers. The microphone 251 collects utterances from the driver. The collected voice data is output to the ECU 22. The ECU 22 acquires the voice data, that is, the input voice of the driver's answer. The voice recognition unit 226 of the ECU 22 analyzes the voice data, converts it into text, and outputs the text data to the intention estimation unit 227. The intention estimation unit 227 estimates the driver's intention based on the text data (step S216).

続いてＥＣＵ２２は、意図推定部２２７により推定した意図に基づき、ドライバーの回答が肯定的であるか否かを判定する（ステップＳ２１７）。ドライバーの回答が肯定的である場合、プロセスはステップＳ２１８に進む。他方でドライバーの回答が肯定的でない場合、プロセスはステップＳ２１５に進む。 Subsequently, the ECU 22 determines whether or not the driver's answer is positive based on the intention estimated by the intention estimation unit 227 (step S217). If the driver's answer is positive, the process proceeds to step S218. On the other hand, if the driver's answer is not positive, the process proceeds to step S215.

ドライバーの回答が肯定的である場合、本システムはドライバーがシステムからの確認を理解したと認識する。この場合、ＥＣＵ２２は、認識された物体名称を物体関連情報データベース２２２にクエリとして入力し、当該物体の関連情報を取得する。当該物体の関連情報を取得するとＥＣＵ２２は、当該関連情報を質問文生成部２２４に入力する。質問文生成部２２４は、関連情報に関する質問文を生成する。例えば質問文は、「あの看板のシンボルの名前は何ですか。」である。音声合成部２２５は、質問文のデータを変換し、音声信号を生成する。ＥＣＵ２２は、当該音声信号に基づき、スピーカ２６１からドライバーに向けて質問文を発話する（ステップＳ２１８）。 If the driver's answer is positive, the system recognizes that the driver understands the confirmation from the system. In this case, the ECU 22 inputs the recognized object name into the object-related information database 222 as a query, and acquires the related information of the object. When the related information of the object is acquired, the ECU 22 inputs the related information to the question sentence generation unit 224. The question sentence generation unit 224 generates a question sentence regarding related information. For example, the question is, "What is the name of the symbol on that sign?" The voice synthesis unit 225 converts the data of the question sentence and generates a voice signal. The ECU 22 utters a question sentence from the speaker 261 to the driver based on the voice signal (step S218).

ドライバーはスピーカ２６１からの発話を聞いて回答する。マイクロフォン２５１は、ドライバーからの発話を集音する。集音された音声データはＥＣＵ２２に出力される。ＥＣＵ２２は当該音声データ、すなわちドライバーの回答の入力音声を取得する。ＥＣＵ２２の音声認識部２２６は、音声データを解析してテキストに変換し、該テキストデータを意図推定部２２７に出力する。意図推定部２２７は、該テキストデータに基づきドライバーの意図を推定する。ＥＣＵ２２は推定した意図から、回答語句を抽出する。またＥＣＵ２２は、履歴データベース２２９から関連情報に係る語句（ここでは「ＸＹＺマーク」）を読み出し、回答語句と照合する（ステップＳ２１９）。ＥＣＵ２２は当該照合に基づき、ドライバーの回答が正解か否かを判定する（ステップＳ２２０）。ドライバーの回答が正解である場合、プロセスはステップＳ２２１に進む。他方でドライバーの回答が正解でない場合、プロセスはステップＳ２２２に進む。 The driver listens to the utterance from the speaker 261 and answers. The microphone 251 collects utterances from the driver. The collected voice data is output to the ECU 22. The ECU 22 acquires the voice data, that is, the input voice of the driver's answer. The voice recognition unit 226 of the ECU 22 analyzes the voice data, converts it into text, and outputs the text data to the intention estimation unit 227. The intention estimation unit 227 estimates the driver's intention based on the text data. The ECU 22 extracts the answer phrase from the estimated intention. Further, the ECU 22 reads a phrase (here, “XYZ mark”) related to the related information from the history database 229 and collates it with the answer phrase (step S219). Based on the collation, the ECU 22 determines whether or not the driver's answer is correct (step S220). If the driver's answer is correct, the process proceeds to step S221. On the other hand, if the driver's answer is not correct, the process proceeds to step S222.

ドライバーの回答が正解である場合、ＥＣＵ２２のスコア計算部２２８は、スコアを１増加させる（ステップＳ２２１）。他方でドライバーの回答が正解でない場合、当該処理はスキップされスコアは変化しない。続いてスコア計算部２２８は、質疑回数を１増加させる（ステップＳ２２２）。スコア計算部２２８は、履歴データベース２２９に物体名称、関連情報、質問文、位置情報、時刻、質疑回数、及びスコアを記録する（ステップＳ２２３）。 If the driver's answer is correct, the score calculation unit 228 of the ECU 22 increases the score by 1 (step S221). On the other hand, if the driver's answer is not correct, the process is skipped and the score does not change. Subsequently, the score calculation unit 228 increases the number of questions by 1 (step S222). The score calculation unit 228 records the object name, related information, question text, position information, time, number of questions and answers, and score in the history database 229 (step S223).

次に、メール通知の処理について、図８に示すフローチャートに基づき説明する。初めにＥＣＵ２２は、履歴データベース２２９から質疑回数及びスコアを読み出す（ステップＳ３１０）。次にＥＣＵ２２は、スコアを質疑回数で除算した値（スコア／質疑回数）を正解率として計算し、当該正解率が予め設定しておいた正解率の閾値よりも高いか否かを判定する（ステップＳ３１１）。正解率が閾値よりも高い場合、プロセスはステップＳ３１２に進む。他方で正解率が閾値よりも高くない場合、プロセスはステップＳ３１３に進む。 Next, the processing of the mail notification will be described based on the flowchart shown in FIG. First, the ECU 22 reads the number of questions and the score from the history database 229 (step S310). Next, the ECU 22 calculates the value obtained by dividing the score by the number of questions (score / number of questions) as the correct answer rate, and determines whether or not the correct answer rate is higher than the preset threshold value of the correct answer rate ( Step S311). If the accuracy rate is higher than the threshold, the process proceeds to step S312. On the other hand, if the accuracy rate is not higher than the threshold, the process proceeds to step S313.

正解率が閾値よりも高い場合、ＥＣＵ２２は、異常がないと判断する。ＥＣＵ２２は、ＤＣＭ２３を介して、無線通信経由でインターネットのサービスを利用して状況報告メールを家族等の関係者に送信する（ステップＳ３１２）。 When the correct answer rate is higher than the threshold value, the ECU 22 determines that there is no abnormality. The ECU 22 transmits a status report mail to a related person such as a family member via an Internet service via wireless communication via the DCM23 (step S312).

他方で正解率が閾値よりも高くない場合、ＥＣＵ２２は、正解率が規定以下であるため記憶障害の予兆があると判断する。ＥＣＵ２２は、ＤＣＭ２３を介して、無線通信経由でインターネットのサービスを利用してメールを家族等の関係者に送信して、注意を喚起する（ステップＳ３１３）。 On the other hand, if the correct answer rate is not higher than the threshold value, the ECU 22 determines that there is a sign of memory impairment because the correct answer rate is below the specified value. The ECU 22 uses the Internet service via wireless communication to send an e-mail to a related person such as a family member via the DCM23 to call attention (step S313).

正解率の閾値は統計的に予め計算される。メール通知は周期的または正解率が閾値以下である場合に実施される。なお認知機能診断システム１０は、閾値で判定する代わりに、長期間の正解率の偏移を記録しておき、急変したときにメール通知を実施するようにしてもよい。あるいは認知機能診断システム１０は、閾値で判定するとともに、長期間の正解率の偏移を記録しておき、急変したときにメール通知を実施するようにしてもよい。 The accuracy rate threshold is statistically pre-calculated. Email notification is performed periodically or when the accuracy rate is below the threshold. In addition, the cognitive function diagnosis system 10 may record a deviation of the correct answer rate for a long period of time instead of determining by a threshold value, and execute an e-mail notification when there is a sudden change. Alternatively, the cognitive function diagnosis system 10 may determine by a threshold value, record a deviation in the correct answer rate for a long period of time, and execute an e-mail notification when there is a sudden change.

上述のように本実施形態では、履歴データベース２２９に記憶された過去のコミュニケーション内容に基づき、過去に同一の内容を取り上げたか判断する。過去に同一の内容を取り上げたことがある場合、コミュニケーション内容に係る質問をドライバーにし、質問に対するドライバーの回答内容に基づき、ドライバーの認知能力を評価する。したがって本実施形態によれば、認知症の早期発見をすることができる。またドライバーはこのような評価結果を基にして自らの認知能力を認識することができ、危険運転の抑制につなげることができる。 As described above, in the present embodiment, it is determined whether or not the same content has been taken up in the past based on the past communication content stored in the history database 229. If the same content has been taken up in the past, the question related to the communication content is used as the driver, and the cognitive ability of the driver is evaluated based on the answer content of the driver to the question. Therefore, according to this embodiment, dementia can be detected at an early stage. In addition, the driver can recognize his / her cognitive ability based on such an evaluation result, which can lead to suppression of dangerous driving.

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present disclosure has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. It should be noted, therefore, that these modifications and modifications are within the scope of this disclosure. For example, the functions and the like included in each configuration or each step and the like can be rearranged so as not to be logically inconsistent, and a plurality of configurations or steps and the like can be combined or divided into one. ..

例えば、上述した実施形態において車両側システム２０において実行される一部の処理動作がセンター側システム３０において実行されてもよい。またセンター側システム３０において実行される少なくとも一部の処理動作が車両側システム２０において実行されてもよい。 For example, some processing operations executed in the vehicle-side system 20 in the above-described embodiment may be executed in the center-side system 30. Further, at least a part of the processing operations executed in the center side system 30 may be executed in the vehicle side system 20.

１０認知機能診断システム
２０車両側システム
２１車載カメラ
２２ＥＣＵ（制御部）
２３ＤＣＭ
２４アンテナ
２５１マイクロフォン
２５２増幅器
２５３Ａ／Ｄコンバータ
２６１スピーカ
２６２増幅器
２６３Ｄ／Ａコンバータ
２７ＧＰＳ受信器
２２１物体認識部
２２２物体関連情報データベース
２２３提示文・対話生成部
２２４質問文生成部
２２５音声合成部
２２６音声認識部
２２７意図推定部
２２８スコア計算部
２２９履歴データベース
３０センター側システム
３１アンテナ
３２無線通信基地局
３３クラウドシステム
４０車両 10 Cognitive function diagnostic system 20 Vehicle side system 21 In-vehicle camera 22 ECU (control unit)
23 DCM
24 Antenna 251 Microphone 252 Amplifier 253 A / D converter 261 Speaker 262 Amplifier 263 D / A converter 27 GPS receiver 221 Object recognition unit 222 Object-related information database 223 Presentation / dialogue generation unit 224 Question text generation unit 225 Speech synthesis unit 226 Voice recognition unit 227 Intention estimation unit 228 Score calculation unit 229 History database 30 Center side system 31 Antenna 32 Wireless communication base station 33 Cloud system 40 Vehicle

Claims

A history database, a control unit that can access the history database, and
With
To store the past communication contents with the driver in the history database,
Based on the memorized communication content, it is determined whether the same content has been picked up in the past, and if the same content has been picked up in the past, the question related to the communication content is asked to the driver.
A cognitive function diagnostic system that causes the control unit to perform an operation including evaluating the cognitive ability of the driver based on the answer contents of the driver to the question.