JP2021108072A - Recommendation system, recommendation method, and program - Google Patents
Recommendation system, recommendation method, and program Download PDFInfo
- Publication number
- JP2021108072A JP2021108072A JP2019239783A JP2019239783A JP2021108072A JP 2021108072 A JP2021108072 A JP 2021108072A JP 2019239783 A JP2019239783 A JP 2019239783A JP 2019239783 A JP2019239783 A JP 2019239783A JP 2021108072 A JP2021108072 A JP 2021108072A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- word
- occupant
- recommended information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 54
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000008451 emotion Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 31
- 230000006854 communication Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Abstract
Description
本発明は、自動運転車両におけるレコメンドシステム、レコメンド方法およびプログラムに関する。 The present invention relates to a recommendation system, a recommendation method and a program in an autonomous driving vehicle.
従来、ユーザが興味を持つと思われる「お勧め情報」を提供するレコメンドシステムが考案されている。
例えば、特許文献１には、チャットメール履歴からのレコメンデーションの記載がある。
Conventionally, a recommendation system has been devised to provide "recommended information" that the user may be interested in.
For example,
詳しくは、特許文献１には、対象者に有給休暇の取得を促す提案情報を通知する労務管理システムであって、チャットやメールの通信履歴情報から、選択した対象者と親密度が高い従業員を対象者が有給休暇を取得するように促す従業員として推定し、対象者に提案情報を通知したことをこの従業員に通知することで、対象者が有給休暇を取得しやすくする労務管理システムの技術が記載されている。
Specifically,
近年、運転者の負担を軽減し、快適な車両の運行を実現するために、自動運転と呼ばれる運転支援技術が鋭意提案されている。
自動運転に係る国際基準では、ドライバ要求タスクの軽重・有無、自動化度の高低に応じて、複数段階にわたるレベルが階層的に設定されている。また、あるレベルのなかでも、自動化を実現するための一群の要件を横並びで実現可能との観点を用いて、複数段階にわたる区分（カテゴリ）が階層的に設定されている。
例えば、レベル４（高度自動運転）やレベル５（完全自動運転）の自動運転では、ドライバが運転操作をオーバーライドする必要はない
In recent years, in order to reduce the burden on the driver and realize comfortable vehicle operation, a driving support technology called automatic driving has been enthusiastically proposed.
In the international standard for autonomous driving, levels over multiple stages are set hierarchically according to the lightness / presence / absence of driver-required tasks and the degree of automation. In addition, even within a certain level, a group of requirements for realizing automation can be realized side by side, and divisions (categories) over a plurality of stages are set hierarchically.
For example, in level 4 (highly automatic driving) and level 5 (fully automatic driving) automatic driving, the driver does not need to override the driving operation.
上記のとおり、レベル４以上の自動運転中においては、ドライバは、運転操作に関わる必要がない。このため、他の乗員と同様に、ドライバが、車両のインフォテイメントシステムを活用することが可能となる。
As described above, the driver does not need to be involved in the driving operation during the automatic driving of
本発明は、ＡＲ（Augmented Reality：拡張現実）ツアー等のインフォテイメントの実行を可能とし、ホットスポット情報等のレコメンドシステムを提供することを目的とする。 An object of the present invention is to enable execution of infotainment such as AR (Augmented Reality) tours and to provide a recommendation system such as hotspot information.
前記課題を解決するため、本発明のレコメンドシステムは、車両の乗員と車外における他者との会話音声を取得する音声取得部と、前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択部と、前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、を備えるようにした。 In order to solve the above-mentioned problems, the recommendation system of the present invention has a voice acquisition unit that acquires a conversation voice between a vehicle occupant and another person outside the vehicle, extracts a predetermined word from the conversation voice, and extracts the extracted words. The language recognition unit that recognizes the meaning, the emotion estimation unit that estimates the emotions of the occupant from the intonation of the conversation voice or the meaning of the extracted word, and the word recognized by the language recognition unit are estimated by the emotion estimation unit. A recommended information selection unit that evaluates according to the feelings of the occupant and requests recommended information for the occupant based on the evaluation of the word, a recommended information display unit that displays the recommended information obtained by the recommended information selection unit to the occupant, and a recommended information display unit. I tried to prepare.
本発明のレコメンドシステムによれば、レベル４以上の自動運転中の車内においても、ドライバおよび乗員は、有用な情報を得ることができ、移動時間を楽しむことができる。
According to the recommendation system of the present invention, the driver and the occupant can obtain useful information and enjoy the traveling time even in the vehicle during automatic driving of
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
実施形態のレコメンドシステムは、自動運転車両１と、自動運転車両１に搭乗している乗員の複数の知人・友人（乗員とは別の他者でもよい）が所有するメンバ端末３と、自動運転車両１とメンバ端末３とが、通信回線により接続するレコメンドサーバー２と、から構成されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The recommendation system of the embodiment includes an autonomous
レコメンドサーバー２は、自動運転車両１の乗員と乗員の知人・友人との間の音声チャットあるいはビデオチャットを中継するとともに、チャットの内容に基づいて、自動運転車両１の乗員の嗜好を評価し、評価に基づいた推奨情報を自動運転車両１に通知する。
そして、自動運転車両１は、通知された推奨情報に対応する画像を、車両のディスプレイに表示する。
The
Then, the autonomous
図１は、実施形態のレコメンドシステムの一例を示すシステム構成図である。
自動運転車両１は、車両の外界（周囲）の物標の分布を検出するカメラ、レーダ、ライダ等のセンサ部１７１の検出結果により、車両の操舵・駆動部１７２を自律制御して、車両を自動運転する運転制御部１７を備えている。
FIG. 1 is a system configuration diagram showing an example of the recommendation system of the embodiment.
The autonomous
ディスプレイ部１０は、地図情報１３１に基づいて自動運転車両１の経路案内を行うナビゲーション部１３が生成したナビゲーション画像と、推奨情報表示部１１により生成されたレコメンドサーバー２から通知された推奨情報に対応する画像とを表示する。ディスプレイ部１０の詳細な画面構成は後述する。
The
チャット情報取得部１５は、乗員識別部１６によりセンサ部１７１の車室内カメラ１７１１で撮像した車室内画像から識別した乗員の識別情報に基づいて、レコメンドサーバー２から乗員の知人・友人のチャット情報（接続情報等）を取得する。
そして、チャット動作部１８により、取得したチャット情報に基づいて、メンバ端末３に接続し、乗員と乗員の知人・友人とのチャット開始を、後述するレコメンドサーバー２のチャット制御部２６に指示する。
The chat
Then, the
ＴＣＵ１２（Telematics Control Unit：テレマティックス制御ユニット）は、移動体通信や路車間通信等の双方向無線の無線通信部である。
乗員と乗員の知人・友人とのチャット音声は、音声入出力部１４により入出力され、音声のストリーム情報がチャット動作部１８によりＴＣＵ１２を介して、メンバ端末３と通信される。ビデオチャットの映像は、車室内カメラ１７１１により撮像され、チャット動作部１８によりＴＣＵ１２を介して、メンバ端末３と通信されるとともに、メンバ端末３からのビデオストリームが、ディスプレイ部１０に表示される。
また、レコメンドサーバー２からの推奨情報は、チャット動作部１８によりＴＣＵ１２を介して受信し、推奨情報表示部１１により対応する画像が生成されて、ディスプレイ部１０に表示される。
The TCU12 (Telematics Control Unit) is a bidirectional wireless communication unit for mobile communication, road-to-vehicle communication, and the like.
The chat voice between the occupant and the occupant's acquaintance / friend is input / output by the voice input /
Further, the recommended information from the
運転制御部１７、チャット情報取得部１５、チャット動作部１８、推奨情報表示部１１等の制御部は、一以上のプロセッサ又は同等の機能を有するハードウェアにより実現され、ＣＰＵ（Central Processing Unit）などのプロセッサ、記憶装置、及び通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、又はＭＰＵ（Micro-Processing Unit）などが組み合わされた構成であってよい。
制御部の各機能は、ＣＰＵのプログラムが実行されることで機能する。
The control units such as the
Each function of the control unit functions by executing a CPU program.
つぎに、レコメンドサーバー２の構成を説明する。
レコメンドサーバー２は、ＣＰＵ、記憶装置、及び通信インターフェースが内部バスによって接続された情報処理装置であり、以下に説明する制御部の各機能は、ＣＰＵのプログラムが実行されることで機能する。
Next, the configuration of the
The
レコメンドサーバー２は、自動運転車両１と少なともひとつのメンバ端末３とのチャット通信を中継するとともに、チャットの内容に基づいて、自動運転車両１の乗員の嗜好を評価し、評価に基づいた推奨情報を自動運転車両１に通知する。
The
通信回線中継部２１は、移動体通信あるいは路車間通信等の双方向無線により自動運転車両１と双方向通信を行うとともに、移動体通信、路車間通信あるいはインターネットを介してメンバ端末３と双方向通信を行って、チャットのストリームを中継する。
音声取得部２２は、通信回線中継部２１から車両の乗員と車外における乗員の知人との会話音声のストリーム情報を取得する制御部である。
言語認識部２３は、音声取得部２２で取得したストリーム情報から所定の単語を抽出するとともに、抽出した単語の意味を認識する制御部である。
The communication
The
The
感情推定部２４は、乗員の知人との会話音声の抑揚もしくは抽出した単語の意味より乗員の感情を推定する制御部である。
推奨情報選択部２５は、言語認識部２３で認識した単語を、感情推定部２４で推定した感情に応じて評価し、評価に基づいて乗員への推奨情報を求める制御部である。
候補単語記憶部２７は、言語認識部２３で抽出さえた単語を記憶する記憶部である。
The
The recommended
The candidate
チャット制御部２６は、通信回線中継部２１を介して指示されたチャット情報取得部１５からの乗員の識別情報に基づいて要求された乗員の知人・友人とのチャットに関する接続情報（チャット情報）の取得要求に基づいて、ＳＮＳ（Social Networking Service）サーバー４から知人・友人の接続情報を取得する制御部である。
チャット制御部２６は、さらに、チャット情報取得部１５からの指示に基づいて、指定されたメンバ端末３とのチャット通信の開始をＳＮＳサーバー４に通知する。
レコメンドサーバー２の詳細は後述する。
The
The
Details of the
ＳＮＳサーバー４は、複数の端末間でリアルタイムに双方向の音声を含むメッセージ通信を行うチャット機能部４１を備え、メッセージ通信をやり取りするメンバの接続情報をメンバリスト４２として備える。
本実施形態では、レコメンドサーバー２をＳＮＳサーバー４とは別に構成する場合について説明するが、レコメンドサーバー２をＳＮＳサーバー４の一つの機能としてもよい。
The
In the present embodiment, the case where the
図２は、自動運転車両１の車室前部構造の一例を表す図である。
図２に示すように、自動運転車両１のディスプレイ部１０は、運転席に正対する位置に設けられるメータパネル５４と、運転席及び助手席にわたって対向するように設けられる、車幅方向（Ｙ方向）に横長のインフォメーションパネル５１と、車幅方向の運転席側に設けられた右側パネル５５Ｒと、車幅方向の助手席側に設けられた左側パネル５５Ｌと、を含む。
FIG. 2 is a diagram showing an example of the passenger compartment front structure of the
As shown in FIG. 2, the
メータパネル５４には、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報等が表示される。
インフォメーションパネル５１には、例えば、自動運転車両１周辺の地図情報、地図上における自動運転車両１の現在位置情報、自動運転車両１の現在の走行路・予定経路に関する交通情報（信号情報を含む）、自動運転車両１の周囲に存する交通参加者（歩行者・自転車・オートバイ・他車両等を含む）に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。また、インフォメーションパネル５１には、推奨情報表示部１１で生成されたレコメンドサーバー２から通知された推奨情報に対応する画像が表示される。
On the
On the
右側パネル５５Ｒには、自動運転車両１の右側に設けたカメラ（不図示）により撮像した車両右側における後方及び下方の画像情報が表示される。
左側パネル５５Lには、自動運転車両１の左側に設けたカメラ（不図示）により撮像した車両左側における後方及び下方の画像情報が表示される。
On the
On the
つぎに、図３のシーケンス図により、実施形態のレコメンドシステムの動作の概要を説明する。
図３は、自動運転車両１とレコメンドサーバー２とメンバ端末３の間のメッセージ通信の経過を示している。
Next, the outline of the operation of the recommendation system of the embodiment will be described with reference to the sequence diagram of FIG.
FIG. 3 shows the progress of message communication between the
ステップＳ３１で、レコメンドサーバー２のチャット制御部２６は、自動運転車両１から乗員識別部１６により識別された乗員（ドライバ）の識別情報（識別子）をメンバリスト要求として通知される。
レコメンドサーバー２のチャット制御部２６は、通知された識別情報（識別子）をＳＮＳサーバー４に通知し、通知された識別子に対応して登録されているメンバリスト４２に記憶されているチャットチャンネルのメンバ名およびメンバ端末３の接続情報をメンバリストとして取得する。
In step S31, the
The
ステップＳ３２で、チャット制御部２６は、ＳＮＳサーバー４から取得したメンバリストを、ステップＳ３１の応答として、自動運転車両１に通知する。
In step S32, the
自動運転車両１のチャット情報取得部１５は、取得したメンバリストをインフォメーションパネル５１（ディスプレイ部１）に表示し、乗員（ドライバ）にチャットを行うメンバの選択を促す。
そして、ステップＳ３３で、チャット動作部１８は、チャット制御部２６に、選択したメンバとの接続指示を通知する。
The chat
Then, in step S33, the
ステップＳ３４で、チャット制御部２６は、ＳＮＳサーバー４に選択されたメンバのメンバ端末３とのチャット接続を指示し、ＳＮＳサーバー４からメンバ端末３にチャット要求を通知する。
In step S34, the
ステップＳ３５で、チャット制御部２６は、メンバ端末３のチャット接続の受諾応答を、ＳＮＳサーバー４から受信する。受諾応答したメンバ端末３は、自動運転車両１とのチャットを待機する。
ステップＳ３４でチャット要求を受信したメンバ端末３が、チャット接続不可能な場合には、ステップＳ３５で、チャット制御部２６に受諾不可の応答を行う。
In step S35, the
If the
ステップＳ３６で、チャット制御部２６は、ステップＳ３３の接続指示に対応する応答として、自動運転車両１に接続応答を通知する。
自動運転車両１は、チャット制御部２６からの接続応答の通知により、メンバ端末３とのチャットを開始する。
In step S36, the
The
レコメンドサーバー２の通信回線中継部２１は、ステップＳ３７で自動運転車両１の音声入出力部１４で取得した車内の音声の音声ストリーム１を受信して、ステップＳ３８でメンバ端末３に音声ストリーム１として転送する。この際に、通信回線中継部２１は、ステップＳ３７とステップＳ３８の音声ストリーム１の中継を低遅延で行う。
また、通信回線中継部２１は、音声ストリーム１のストリーム情報から推奨情報の生成を行うために、ストリーム情報を取得する。
The communication
Further, the communication
ステップＳ３１０で、通信回線中継部２１は、メンバ端末３から音声ストリーム２を受信して、ステップＳ３９で自動運転車両１に音声ストリーム２として転送する。音声ストリーム２を受信した自動運転車両１は、音声入出力部１４により、音声ストリーム２を車内に音声出力する。この際に、通信回線中継部２１は、ステップＳ３１０とステップＳ３９の音声ストリーム２の中継を低遅延で行う。
また、通信回線中継部２１は、音声ストリーム２のストリーム情報から推奨情報の生成を行うために、ストリーム情報を取得する。
In step S310, the communication
Further, the communication
上記のように、レコメンドサーバー２の通信回線中継部２１は、自動運転車両１からメンバ端末３への音声ストリームの中継と、メンバ端末３から自動運転車両１への音声ストリームの中継を行うとともに、音声ストリームを取得して、推奨情報の生成を行う。
As described above, the communication
レコメンドサーバー２の通信回線中継部２１は、ステップＳ３１１とステップＳ３１２とで、自動運転車両１からメンバ端末３への音声ストリーム３を中継し、ステップＳ３１４とステップＳ３１３とで、メンバ端末３から自動運転車両１への音声ストリーム４を中継する。
The communication
ステップＳ３１５で、レコメンドサーバー２は、経過情報をレコメンド情報として自動運転車両１の推奨情報表示部１１に通知する。この経過情報は、詳細を後述するが、通信回線中継部２１で取得した複数の音声ストリームに基づいて求めている推奨情報の選択における途中経過を示している。
In step S315, the
そして、レコメンドサーバー２の通信回線中継部２１は、ステップＳ３１６とステップＳ３１７とで、自動運転車両１からメンバ端末３への音声ストリーム５を中継し、ステップＳ３１９とステップＳ３１８とで、メンバ端末３から自動運転車両１への音声ストリーム６を中継する。
Then, the communication
さらに、レコメンドサーバー２の通信回線中継部２１は、ステップＳ３２０とステップＳ３２１とで、自動運転車両１からメンバ端末３への音声ストリーム７を中継し、ステップＳ３２３とステップＳ３２２とで、メンバ端末３から自動運転車両１への音声ストリーム８を中継する。
Further, the communication
ステップＳ３２４で、ステップＳ３１５と同様に、レコメンドサーバー２は、推奨情報の選択における経過を示す経過情報をレコメンド情報として自動運転車両１の推奨情報表示部１１に通知する。
図３の説明では、レコメンドサーバー２は、音声ストリーム１〜４に基づいて、ステップＳ３１５で経過情報を自動運転車両１に通知し、音声ストリーム５〜８に基づいて、ステップＳ３２４でレコメンド情報（経過情報）を自動運転車両１に通知すると説明した。
In step S324, similarly to step S315, the
In the description of FIG. 3, the
つまり、レコメンドサーバー２は４つの音声ストリームごとにレコメンド情報（経過情報）を自動運転車両１に通知することを説明したが、４つの音声ストリームに限らず、所定数の音声ストリームごとにレコメンド情報（経過情報）を通知すればよい。
また、音声ストリームの数でなく、所定の経過時間ごとにレコメンド情報（経過情報）を通知するようにしてもよい。
That is, it has been explained that the
Further, the recommendation information (progress information) may be notified at a predetermined elapsed time instead of the number of audio streams.
レコメンドサーバー２は、ステップＳ３２４の後、引き続き音声ストリームの中継およびレコメンド情報（経過情報）の通知を行う。
そして、ステップＳ３２５で、レコメンドサーバー２は、取得した音声ストリームに基づいて推奨情報が選択されると、これをレコメンド情報として、自動運転車両１の推奨情報表示部１１に通知する。
After step S324, the
Then, in step S325, when the recommendation information is selected based on the acquired voice stream, the
レコメンドサーバー２は、ステップＳ３２５の後も、引き続き音声ストリームの中継および推奨情報の選択を続ける。
そして、ステップＳ３２６およびステップＳ３２７で、レコメンドサーバー２は、チャットの終了指示により最終の音声ストリームＮの中継を終えると、ステップＳ３２８で、推奨情報の選択における最良評価の推奨情報をレコメンド情報として、自動運転車両１の推奨情報表示部１１に通知する。
以上により、自動運転車両１とレコメンドサーバー２とメンバ端末３の間のメッセージ通信に基づいて推奨情報を通知する処理を終了する。
The
Then, in step S326 and step S327, when the
As described above, the process of notifying the recommended information based on the message communication between the
図３は、自動運転車両１とメンバ端末３が１対１の場合であったが、１対ｎつまり、自動運転車両１と複数のメンバ端末３の場合も同様である。
レコメンドサーバー２は、自動運転車両１と複数のメンバ端末３の音声ストリームを中継するともに、音声ストリームを解析して推奨情報を生成する。
FIG. 3 shows a case where the
The
つぎに、自動運転車両１とレコメンドサーバー２のそれぞれの制御部の詳細動作を説明する。
図４、図５は、自動運転車両１のチャットメンバの選択動作およびチャット制御動作を説明するフロー図である。
Next, detailed operations of the control units of the
4 and 5 are flow charts illustrating a chat member selection operation and a chat control operation of the
まず、図４により、チャット情報取得部１５により乗員（ドライバ）がチャットするメンバを決めるまでの動作について説明する。
ステップＳ４１で、チャット情報取得部１５は、乗員識別部１６により、乗員（ドライバ）の識別情報（識別子）を取得する。
First, with reference to FIG. 4, the operation until the occupant (driver) decides the member to chat with by the chat
In step S41, the chat
詳しくは、乗員識別部１６は、車室内カメラ１７１１により乗員（ドライバ）の撮像画像を取得し、予め乗員の識別子ごとに登録した認証情報に基づいて顔認証を行い、顔認証した乗員（ドライバ）の識別情報（識別子）を取得する。
また、乗員識別部１６は、音声入出力部１４で取得した乗員（ドライバ）の音声に基づいて、予め乗員の識別子ごとに登録した認証情報に基づいて声紋認証により乗員（ドライバ）を識別して、識別情報（識別子）を取得してもよい。
なお、取得する識別情報（識別子）は、複数の乗員の識別情報であってもよい。
Specifically, the
Further, the
The identification information (identifier) to be acquired may be the identification information of a plurality of occupants.
ステップＳ４２で、チャット情報取得部１５は、ＴＣＵ１２を介して、ステップＳ４１で取得した乗員（ドライバ）の識別情報（識別子）をメンバリスト要求として、レコメンドサーバー２のチャット制御部２６に通知する。
そして、チャット情報取得部１５は、チャット制御部２６から、ＳＮＳサーバー４のメンバリスト４２に登録されている、メンバ名およびメンバ端末３の接続情報をチャットのメンバリストとして取得する。
In step S42, the chat
Then, the chat
ステップＳ４３で、チャット情報取得部１５は、取得したメンバリストを推奨情報表示部１１によりインフォメーションパネル５１（ディスプレイ部１０）に表示し、乗員にチャットするメンバの選択を促し、チャットする少なくともひとりのメンバを取得する。
より詳細には、チャット情報取得部１５は、乗員のインフォメーションパネル５１の画面タッチあるいは音声指示により、チャットするメンバを決定する。
In step S43, the chat
More specifically, the chat
ステップＳ４２でチャットのメンバリストを取得する際に、メンバリスト４２のメンバリストを自動運転車両１の位置やチャット頻度等の所定条件によりフィルタリングして、取得したメンバリストとしてもよい。
When acquiring the chat member list in step S42, the member list of the
つぎに、図５により、チャット動作部１８による自動運転車両１のチャット制御動作を説明する。
ステップＳ５１で、チャット動作部１８は、チャット情報取得部１５で選択したチャットするメンバリスト（メンバ名、メンバ端末３の接続情報）を取得する。
そして、ステップＳ５２で、チャット動作部１８は、取得したメンバ分、ステップＳ５３からステップＳ５６までの処理を繰り返す。
Next, the chat control operation of the
In step S51, the
Then, in step S52, the
ステップＳ５３で、チャット動作部１８は、メンバリストのメンバ端末３の接続情報に従い、ＴＣＵ１２を介して、レコメンドサーバー２にメンバ端末３とのチャット要求を通知する。
In step S53, the
ステップＳ５４で、チャット動作部１８は、レコメンドサーバー２を介したメンバ端末３からのチャット可否の応答を判定し、“チャット可”の応答であれば（Ｓ５４の“可”）、ステップＳ５５に進む。“チャット不可”の応答であれば（Ｓ５４の“不可”）、ステップＳ５６に進む。
In step S54, the
ステップＳ５５で、チャット動作部１８は、レコメンドサーバー２を介したメンバ端末３とのチャットを開始するとともに、推奨情報表示部１１を介してインフォメーションパネル５１（ディスプレイ部１０）にメンバ名を表示して、乗員にチャットを開始することを通知する。そして、ステップＳ５６に進む。
In step S55, the
ステップＳ５６で、チャット動作部１８は、取得したメンバ分のステップＳ５３からステップＳ５５の処理を行ったか否かを判定し、行った場合にはステップＳ５７に進む。行っていない場合には、繰り返し処理を継続する。
In step S56, the
ステップＳ５７で、チャット動作部１８は、乗員のチャット終了指示あるいはチャット制御部２６からのチャット終了指示の有無を判定し、終了指示があれば（Ｓ５７のＹｅｓ）、ステップＳ５１２に進む。終了指示がなければ（Ｓ５７のＮｏ）、チャット継続中として、ステップＳ５８に進む。
In step S57, the
ステップＳ５８で、チャット動作部１８は、音声入出力部１４で音声入力中であれば、検出した乗員の音声をストリーム情報として取得する。そして、チャット動作部１８は、メンバ端末３に向けて、中継するレコメンドサーバー２（通信回線中継部２１）に音声ストリームを出力する。
In step S58, the
ステップＳ５９で、チャット動作部１８は、ＴＣＵ１２により音声ストリームを受信中であれば、受信したストリーム情報を音声入出力部１４により車内に音声出力する。
In step S59, if the
ステップＳ５１０で、チャット動作部１８は、ＴＣＵ１２を介して、レコメンドサーバー２から経過情報としてのレコメンド情報を受信した場合には、推奨情報表示部１１により経過情報をインフォメーションパネル５１（ディスプレイ部１０）に表示する。
推奨情報表示部１１による経過情報の表示については後述する。
In step S510, when the
The display of progress information by the recommended
ステップＳ５１１で、チャット動作部１８は、ＴＣＵ１２を介して、レコメンドサーバー２から推奨情報としてのレコメンド情報を受信した場合には、推奨情報表示部１１により推奨情報をインフォメーションパネル５１（ディスプレイ部１０）に表示する。
推奨情報表示部１１によるレコメンド情報（経過情報あるいは推奨情報）の表示については後述する。
In step S511, when the
The display of the recommendation information (progress information or recommended information) by the recommended
図５のフロー図では、ステップＳ５８、ステップＳ５９、ステップＳ５１０、ステップＳ５１１を順次ステップと表記しているが、ステップＳ５７のチャット終了まで、ステップＳ５８、ステップＳ５９、ステップＳ５１０、ステップＳ５１１を随時、行う In the flow chart of FIG. 5, step S58, step S59, step S510, and step S511 are described as sequential steps, but step S58, step S59, step S510, and step S511 are performed at any time until the chat of step S57 ends.
ステップＳ５１２で、チャット動作部１８は、ＴＣＵ１２を介して、レコメンドサーバー２から推奨情報としてのレコメンド情報を受信し、推奨情報表示部１１により推奨情報をインフォメーションパネル５１（ディスプレイ部１０）に表示し、処理を終了する。
推奨情報表示部１１によるレコメンド情報の表示については後述する。
In step S512, the
The display of the recommendation information by the recommended
つぎに、図６により、レコメンドサーバー２における推奨情報の生成処理を詳細に説明する。
図６は、図３の動作シーケンスのステップＳ３７以後の自動運転車両１とメンバ端末３とのチャット中におけるレコメンドサーバー２の処理を示している。
Next, the process of generating recommended information in the
FIG. 6 shows the processing of the
ステップＳ６１で、レコメンドサーバー２のチャット制御部２６は、自動運転車両１とメンバ端末３とのチャットが継続中であるか否かを判定し、チャット継続中であればステップＳ６２からステップＳ６１２までの処理を繰り返す。チャット継続中でなければ、ステップＳ６１３に進む。
In step S61, the
ステップＳ６２で、レコメンドサーバー２の通信回線中継部２１が、自動運転車両１の音声ストリームと、メンバ端末３の音声ストリームとを、双方向中継する。
ステップＳ６３で、レコメンドサーバー２の音声取得部２２が、自動運転車両１の音声ストリームと、メンバ端末３の音声ストリームとを、それぞれ、ストリーム情報として取得する。そして、取得したストリーム情報について以下の処理を行う。
In step S62, the communication
In step S63, the
ステップＳ６４で、レコメンドサーバー２の言語認識部２３が、ストリーム情報をテキスト列に認識デコードし、テキスト列から所定の単語を抽出し、抽出した単語を候補単語記憶部２７に登録する。
詳細は後述するが、候補単語記憶部２７には、推奨情報の評価テーブルが記憶され、抽出した単語が新規の単語であれば、推奨情報の評価テーブルにエントリを作成する。
In step S64, the
Although the details will be described later, the candidate
また、言語認識部２３は、詳しくは、音素と音響特徴量の関係を統計的なモデルで表現した音響モデルと、文字列や単語列が日本語として適切かを評価するモデルである言語モデルと、言語モデルの単語と音響モデルを結びつけるため辞書である発音辞書と、に基づいて、音声波形から成るストリーム情報を音響分析して、テキスト列に認識デコードする。
そして、認識デコードしたテキスト列を形態素解析して、地名、食品名、遊興種別、施設名（店舗名）等の車両移動の目的地候補に関連する単語（形態素）を抽出する。ここで、抽出する単語は複数であってもよい。
Further, in detail, the
Then, the recognized and decoded text string is morphologically analyzed, and words (morphemes) related to the destination candidate of the vehicle movement such as the place name, the food name, the entertainment type, and the facility name (store name) are extracted. Here, the number of words to be extracted may be plural.
言語認識部２３は、ひとつのストリーム情報の中で形態素解析して抽出した複数の単語と、相関性が高い単語をインターネット検索して求め、これを目的地候補に関連する単語としてもよい。
The
ステップＳ６５で、レコメンドサーバー２の感情推定部２４は、ストリーム情報の音声波形の抑揚を求めて感情分析する。または、感情推定部２４は、言語認識部２３で解析したストリーム情報のテキスト列の形態素ごとに感情辞書を参照して、テキスト列の感情値を算出する。
In step S65, the
感情辞書には、「美味しい」「わかるー」「まじでー」「すごいじゃん」等のアクティブな単語・表現が登録されているとともに、「まずい」「値段が高い」等のネガティブな単語・表現が登録され、また、アクティブでもネガティブでもないニュートラルな単語・表現が登録されている。
例えば、アクティブな単語・表現では感情値を“＋１”、ネガティブな単語・表現では感情値を“−1”、ニュートラルな単語・表現では感情値を“０”として、テキスト列の形態素ごとに加算することで、ストリーム情報のテキスト列の感情値を算出する。
Active words / expressions such as "delicious", "understand", "serious", and "amazing" are registered in the emotion dictionary, and negative words / expressions such as "bad" and "expensive" are registered. Is registered, and neutral words / expressions that are neither active nor negative are registered.
For example, the emotion value is set to "+1" for active words / expressions, the emotion value is set to "-1" for negative words / expressions, and the emotion value is set to "0" for neutral words / expressions. By doing so, the emotion value of the text string of the stream information is calculated.
そして、感情推定部２４は、ストリーム情報の感情分析から、ストリーム情報を発声した乗員あるはチャット相手のメンバの感情を推定する。
詳しくは、感情推定部２４は、音声の抑揚が大きなストリーム情報を発した乗員あるいはチャット相手のメンバの感情をアクティブと推定する。また、感情推定部２４は、感情値が“＋”のストリーム情報を発した乗員あるいはチャット相手のメンバの感情をアクティブと推定する。
Then, the
Specifically, the
ステップＳ６６で、推奨情報選択部２５は、ステップＳ６４でストリーム情報から抽出した単語ごとに、推定した乗員あるいはメンバの感情（アクティブ／ネガティブ／ニュートラル）に応じて評点を求め、推奨情報の評価テーブルを更新する。
In step S66, the recommended
なお、ステップＳ６４で、ストリーム情報から複数の単語を抽出し、評価テーブルに登録した場合には、ステップＳ６５で、感情推定部２４は、抽出した単語を含む所定範囲のストリーム情報に基づいて感情値を求めるか、所定範囲のストリーム情報の音声の抑揚を求めて、乗員あるいはメンバの感情を推定する。
When a plurality of words are extracted from the stream information and registered in the evaluation table in step S64, the
また、ステップＳ６５で、感情推定部２４は、自動運転車両１からメンバ端末３への音声ストリームについて、言語認識部２３で解析したストリーム情報のテキスト列を感情分析するか、または、ストリーム情報の音声波形の抑揚を求めて感情分析し、乗員の感情分析を行う。そして、ステップＳ６６で、推奨情報選択部２５は、自動運転車両１からメンバ端末３への音声ストリームに基づいて推定した自動運転車両１の乗員の感情に応じて評点を求め、メンバ端末３から自動運転車両１への音声ストリームのストリーム情報から抽出した単語に基づいて作成された推奨情報の評価テーブルを更新するようにしてもよい。この際に、更新する推奨情報の評価テーブルの単語は、ステップＳ６４で、乗員の感情分析をした音声ストリームから抽出した単語と同一の単語とする。
これにより、推奨情報の精度を向上することができる。
Further, in step S65, the
This makes it possible to improve the accuracy of the recommended information.
ここで、図７により、候補単語記憶部２７の推奨情報の評価テーブルの構成を説明する。
推奨情報の評価テーブルは、ストリーム情報から抽出した単語を記憶する単語列７１と、ストリーム情報ごとの、単語における推定した乗員あるいはメンバの感情に応じた評点を記憶する評点列７２と、単語ごとの評点を合算した評価点列７３と、から成る。
Here, the structure of the evaluation table of the recommended information of the candidate
The evaluation table of the recommended information includes a
単語列７１は、ステップＳ６４で抽出された単語が、単語列７１に登録されていなければ、新たに登録される。
評点列７２は、ステップＳ６３でストリーム情報が取得されるたびに、新規の評点列が追加され、ステップＳ６６で、単語とストリーム情報に対応した欄に評点が記録される。
評価点列７３は、単語ごとに、評点列７２の評点の合計値を既存の評価点に加算して求める。
The
In the
The
上記の単語ごとの評点を、メンバの感情（アクティブ／ネガティブ／ニュートラル）に応じて求めるだけでなく、この単語を抽出したストリーム情報の長さ（会話の長さ）を評価して、長いほど評点を高くしてもよい。 Not only is the score for each of the above words calculated according to the emotions (active / negative / neutral) of the member, but the length of the stream information (conversation length) from which this word is extracted is evaluated, and the longer the score, the better. May be higher.
図６に戻り、ステップＳ６７で、レコメンドサーバー２の推奨情報選択部２５は、所定数のストリーム情報に基づいて推奨情報の評価を行ったか否かを判定する。つまり、推奨情報の評価の途中経過を示す経過情報の通知タイミングであるか否かを判定する。経過情報の通知タイミングである場合には（Ｓ６７のＹｅｓ）、ステップＳ６８に進み、経過情報の通知タイミングでない場合には（Ｓ６７のＮｏ）、ステップＳ６１０に進む。
Returning to FIG. 6, in step S67, the recommended
ステップＳ６７の経過情報の通知タイミングは、所定数のストリーム情報（音声ストリーム）ごとの他に、所定の経過時間ごとに経過情報を通知するようにしてもよい。 As for the notification timing of the progress information in step S67, the progress information may be notified not only for each predetermined number of stream information (voice stream) but also for each predetermined elapsed time.
ステップＳ６８で、推奨情報選択部２５は、図３のステップＳ３１５に対応して、自動運転車両１の推奨情報表示部１１に、推奨情報の評価の経過情報をレコメンド情報として通知する。
詳細には、推奨情報選択部２５は、図７の推奨情報の評価テーブルにおいて、評価点列７３の評価点が“０”より大きい、つまり、アクティブな単語について、その単語と評価点を経過情報とする。具体的には、図７の“カーカフェ”、“ネコカフェ”、“ヨガ”とそれぞれの評価点を経過情報とする。
In step S68, the recommended
Specifically, in the recommended information evaluation table of FIG. 7, the recommended
ステップＳ６９で、推奨情報選択部２５は、図７の推奨情報の評価テーブルにおいて、評点列７２を削除する。これは、ストリーム情報ごとの評点は評価点列７３に加算されているため、評点列７２の保存は不要であることによる。つまり、評点列７２は、評価点を算出するまでの一時保存となっている。
このように一時保存をクリアすることで、候補単語記憶部２７のデータ容量を圧縮することができる。
In step S69, the recommended
By clearing the temporary storage in this way, the data capacity of the candidate
ステップＳ６１０で、推奨情報選択部２５は、図７の推奨情報の評価テーブルにおいて、評価点列７３の評価点の値が所定の閾値以上の単語の有無を判定し、有る場合には（Ｓ６１０の“有”）、ステップＳ６１１に進み、無い場合には（Ｓ６１０の“無”）、ステップＳ６１２に進む。
In step S610, the recommended
ステップＳ６１１で、推奨情報選択部２５は、図３のステップＳ３２５に対応し、図７の推奨情報の評価テーブルにおいて、評価点列７３の評価点の値が所定の閾値以上の単語を推奨情報として、自動運転車両１の推奨情報表示部１１にレコメンド情報（推奨情報）の通知を行う。複数の単語の評価点が閾値以上となった場合には、それぞれの単語を推奨情報とする。
In step S611, the recommended
ステップＳ６１２で、レコメンドサーバー２のチャット制御部２６は、自動運転車両１とメンバ端末３とのチャットが継続中であるか否かを判定し、チャット継続中であればステップＳ６２からステップＳ６１１までの処理を繰り返す。チャット終了であれば、ステップＳ６１３に進む。
In step S612, the
ステップＳ６１３で、推奨情報選択部２５は、図３のステップＳ３２８に対応し、評価点列７３の評価値が最大の単語を推奨情報として、自動運転車両１の推奨情報表示部１１にレコメンド情報（推奨情報）の通知を行う。
具体的には、推奨情報選択部２５は、図７の推奨情報の評価テーブルにおいて、評価点列７３の評価値が最大の“カーカフェ”を推奨情報とする。
In step S613, the recommended
Specifically, the recommended
上記では、感情推定部２４は、感情辞書を参照して、ストリーム情報の感情分析することを説明したが、ストリーム情報をデコードしたテキスト列を、教師あり機械学習モデルにより、感情推定してもよい。
さらに、ストリーム情報を直接、ディープラーニング等のＡＩ（Artificial Intelligence：人工知能）により感情分析してもよい。
In the above, the
Further, the stream information may be directly emotionally analyzed by AI (Artificial Intelligence) such as deep learning.
つぎに、図８により、自動運転車両１の推奨情報表示部１１における経過情報としてのレコメンド情報の表示について詳細に説明する。
ステップＳ８１で、推奨情報表示部１１は、レコメンドサーバー２の推奨情報選択部２５から、推奨情報の評価の経過情報をレコメンド情報として取得する。
この経過情報は、少なくとも一組の推奨情報に関連する単語とその評価点から成る。
Next, with reference to FIG. 8, the display of the recommendation information as the progress information in the recommended
In step S81, the recommended
This progress information consists of at least a set of recommended information-related words and their evaluation points.
ステップＳ８２で、推奨情報表示部１１は、自動運転車両１の車外カメラ（不図示）により車両の前方画像を取得する。
そして、ステップＳ８３で、推奨情報表示部１１は、車両の前方画像に基づいて、３Ｄ市街地図画像１１１（図１１Ａ参照）を生成し、インフォメーションパネル５１（ディスプレイ部１０）に表示する。この３Ｄ市街地図画像１１１は、例えば、車両の前方画像から建物形状を抽出し、壁面をレンダリングして生成する。
In step S82, the recommended
Then, in step S83, the recommended
また、推奨情報表示部１１は、ステップＳ８２とステップＳ８３に替えて、自動運転車両１の現在位置情報に基づいて、ナビゲーション部１３により地図情報１３１の市街地図情報を取得して、３Ｄ市街地図画像１１１としてもよい。
Further, instead of step S82 and step S83, the recommended
ステップＳ８４で、推奨情報表示部１１は、レコメンド情報として取得した経過情報の単語ごとに、ステップＳ８５とステップＳ８６とを経過情報の単語の個数分繰り返す。
In step S84, the recommended
ステップＳ８５で、推奨情報表示部１１は、推奨情報に関連する単語を表示し、ディスプレイ部１０において単語の評価値に比例する表示面積を有するバルーン画像（円画像）を生成する。
そして、ステップＳ８６で、推奨情報表示部１１は、インフォメーションパネル５１に表示した３Ｄ市街地図画像に、バルーン画像をオーバーレイ表示する。
なお、バルーン画像は、推奨情報に関連する単語に替えて、推奨情報に関連する単語に対応する画像を表示するようにしてもよい。
In step S85, the recommended
Then, in step S86, the recommended
In addition, the balloon image may display the image corresponding to the word related to the recommended information instead of the word related to the recommended information.
ステップＳ８７で、推奨情報表示部１１は、経過情報の単語の個数分のバルーン画像の表示を繰り返したら、推奨情報の評価の経過情報としてのレコメンド情報の表示を終了する。
In step S87, the recommended
図１１Ａは、インフォメーションパネル５１に表示するレコメンド情報のひとつである推奨情報の評価における経過情報の表示の一例を示す図である。
経過情報の単語ごとのバルーン画像１１３ａ、１１３ｂ、１１３ｃ、１１３ｄ、１１３ｅが、３Ｄ市街地図画像１１１にオーバーレイ表示される。
バルーン画像１１３ａは、その表示面積が他のバルーン画像（１１３ｂ〜１１３ｅ）より大きくなっているので、推奨情報の評価が高いことが判る。
FIG. 11A is a diagram showing an example of displaying progress information in the evaluation of recommended information, which is one of the recommended information displayed on the
The
Since the display area of the
つぎに、図９により、自動運転車両１の推奨情報表示部１１における推奨情報としてのレコメンド情報の表示について詳細に説明する。
ステップＳ９１で、推奨情報表示部１１は、レコメンドサーバー２の推奨情報選択部２５から、目的地候補を示す推奨情報をレコメンド情報として取得する。
この推奨情報は、少なくとも一つの推奨情報に対応する単語から成る。
Next, with reference to FIG. 9, the display of the recommendation information as the recommended information in the recommended
In step S91, the recommended
This recommendation consists of words corresponding to at least one recommendation.
ステップＳ９２で、推奨情報表示部１１は、レコメンド情報として取得した推奨情報の単語ごとに、ステップＳ９３を単語の個数分繰り返す。
In step S92, the recommended
ステップＳ９３で、推奨情報表示部１１は、推奨情報の単語に対応する名称・住所情報・表示画像を取得し、推奨データとする。
この推奨情報の単語に対応する名称・住所情報・表示画像を取得は、ナビゲーション部１３により、推奨情報の単語をキーに地図情報１３１を検索して名称・住所情報・表示画像を取得する。また、レコメンドサーバー２を介して、推奨情報の単語をキーにインターネット検索して取得してもよい。
In step S93, the recommended
To acquire the name / address information / display image corresponding to the word of the recommended information, the
図１０は、推奨情報の単語に対応する推奨データの構成を示す図である。
推奨データは、推奨情報の単語ごとの、単語に対応する複数組の名称・住所・画像の情報から構成される。
名称は、店舗名や施設名等を示す文字列情報であり、住所はその所在地を示す文字列情報であり、画像は、店舗や施設のイメージを示す画像データの情報である。
FIG. 10 is a diagram showing a structure of recommended data corresponding to a word of recommended information.
The recommended data is composed of a plurality of sets of name, address, and image information corresponding to each word of the recommended information.
The name is character string information indicating a store name, a facility name, or the like, the address is character string information indicating the location, and the image is information of image data indicating an image of the store or facility.
図９にもどり、ステップＳ９４で、推奨情報表示部１１は、レコメンド情報として取得した推奨情報の単語の個数分繰り返したら、ステップＳ９５に進む。
Returning to FIG. 9, in step S94, the recommended
ステップＳ９５で、推奨情報表示部１１は、目的地の候補であるすべての推奨データの住所情報に示される地点を含む地図情報を、地図情報１３１から取得する。
In step S95, the recommended
ステップＳ９６で、推奨情報表示部１１は、自動運転車両１の車外カメラ（不図示）により車両の前方画像１１２（図１１Ｂ参照）を取得し、インフォメーションパネル５１（ディスプレイ部１０）に表示する。
In step S96, the recommended
ステップＳ９７で、推奨情報表示部１１は、レコメンド情報として取得した推奨情報の単語ごとに、ステップＳ９８とステップＳ９９を単語の個数分繰り返す。
In step S97, the recommended
ステップＳ９８で、推奨情報表示部１１は、ステップＳ９５で取得した地図情報に基づいて、ステップＳ９６で取得した前方画像において推奨データの住所に対応する位置にピン立て（マーク）する。
In step S98, the recommended
ステップＳ９９で、推奨情報表示部１１は、ピン立て（マーク）から引き出し線を描いて、前方画像上に、推奨情報に関連するイメージを示す画像データを引き出し表示する。
In step S99, the recommended
ステップＳ９１０で、推奨情報表示部１１は、推奨情報の単語の個数分の推奨情報の画像データの表示を繰り返したら、推奨情報のレコメンド情報の表示を終了する。
In step S910, the recommended
図１１Ｂは、インフォメーションパネル５１に表示するレコメンドのひとつである推奨情報の表示の一例を示す図である。
推奨情報の単語に対応する表示画像１１４ａ、１１４ｂが、車両の前方画像１１２にオーバーレイ表示される。
推奨情報の所在位置がピン立て（マーク）されているので、目的地候補として容易に把握することができる。
FIG. 11B is a diagram showing an example of displaying recommended information, which is one of the recommendations to be displayed on the
The
Since the location of the recommended information is pinned (marked), it can be easily grasped as a destination candidate.
１ 自動運転車両
１０ ディスプレイ部
１３ ナビゲーション部
１３１ 地図情報
１１ 推奨情報表示部
１５ チャット情報取得部
１６ 乗員識別部
１２ ＴＣＵ
１４ 音声入出力部
１７ 運転制御部
１７１ センサ部
１７１１ 車室内カメラ
１７２ 車両操舵・駆動部
１８ チャット動作部
３ メンバ端末
４ ＳＮＳサーバー
２ レコメンドサーバー
２１ 通信回線中継部
２２ 音声取得部
２３ 言語認識部
２４ 感情推定部
２５ 推奨情報選択部
２７ 候補単語記憶部
２６ チャット制御部
1 Self-driving
14 Voice input /
Claims (8)
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、
前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択部と、
前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、
を備えることを特徴とするレコメンドシステム。 A voice acquisition unit that acquires conversation voice between the vehicle occupant and others outside the vehicle,
A language recognition unit that extracts a predetermined word from the conversational voice and recognizes the meaning of the extracted word.
An emotion estimation unit that estimates the emotions of the occupant from the intonation of the conversational voice or the meaning of the extracted word,
A recommended information selection unit that evaluates words recognized by the language recognition unit according to the emotions of the occupant estimated by the emotion estimation unit, and obtains recommended information for the occupant based on the evaluation of the word.
A recommended information display unit that displays the recommended information obtained by the recommended information selection unit to the occupants,
A recommendation system characterized by being equipped with.
ことを特徴とする請求項１に記載のレコメンドシステム。 The recommendation system according to claim 1, wherein the recommended information display unit displays an image corresponding to the recommended information in proportion to a display area on the display unit according to an evaluation value.
前記推奨情報選択部は、前記単語を前記ナビゲーション部における目的地候補の関連キーワードとして、前記単語の評価に基づいて目的地を推奨する
ことを特徴とする請求項１あるいは請求項２に記載のレコメンドシステム。 Equipped with the navigation unit of the vehicle
The recommendation according to claim 1 or 2, wherein the recommendation information selection unit recommends a destination based on the evaluation of the word, using the word as a related keyword of a destination candidate in the navigation unit. system.
前記推奨情報表示部は、前記地図情報を表示するとともに、表示した前記地図情報上に前記単語に関連する施設を表示する
ことを特徴とする請求項３に記載のレコメンドシステム。 The navigation unit has map information and has map information.
The recommendation system according to claim 3, wherein the recommended information display unit displays the map information and displays facilities related to the word on the displayed map information.
前記言語認識部で認識した所定の評価値以上の単語のみを単語保存領域に記憶し、
前記単語の評価が完了したことに伴い、前記車両の乗員と前記知人との会話音声の少なくとも１往復の会話音声において前記単語以外の情報を破棄する
ことを特徴とする請求項１に記載のレコメンドシステム。 The recommended information selection unit is
Only words with a predetermined evaluation value or more recognized by the language recognition unit are stored in the word storage area, and the words are stored in the word storage area.
The recommendation according to claim 1, wherein when the evaluation of the word is completed, information other than the word is discarded in at least one round-trip conversation voice of the conversation voice between the occupant of the vehicle and the acquaintance. system.
前記言語認識部で前記他者から前記乗員への会話音声から認識した単語のみを、前記乗員から前記他者への会話音声に基づいて前記感情推定部で推定した乗員の感情のみに応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める
ことを特徴とする請求項１に記載のレコメンドシステム。 The recommended information selection unit is
Only the words recognized by the language recognition unit from the conversation voice from the other person to the occupant are evaluated according to only the emotion of the occupant estimated by the emotion estimation unit based on the conversation voice from the occupant to the other person. The recommendation system according to claim 1, wherein the recommendation information to the occupant is requested based on the evaluation of the word.
車両の乗員と車外における他者との会話音声を取得する音声取得部と、
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、
前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択部と、
前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、
として機能させるプログラム。 The processor of the recommendation system,
A voice acquisition unit that acquires conversation voice between the vehicle occupant and others outside the vehicle,
A language recognition unit that extracts a predetermined word from the conversational voice and recognizes the meaning of the extracted word.
An emotion estimation unit that estimates the emotions of the occupant from the intonation of the conversational voice or the meaning of the extracted word,
A recommended information selection unit that evaluates words recognized by the language recognition unit according to the emotions of the occupant estimated by the emotion estimation unit, and obtains recommended information for the occupant based on the evaluation of the word.
A recommended information display unit that displays the recommended information obtained by the recommended information selection unit to the occupants,
A program that functions as.
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識ステップと、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定ステップと、
前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択ステップと、
前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示ステップと、
を有するレコメンド方法。 A voice acquisition step to acquire a conversation voice between a vehicle occupant and another person outside the vehicle,
A language recognition step of extracting a predetermined word from the conversational voice and recognizing the meaning of the extracted word,
The emotion estimation step of estimating the occupant's emotion from the intonation of the conversation voice or the meaning of the extracted word, and
A recommended information selection step in which a word recognized by the language recognition unit is evaluated according to the emotion of the occupant estimated by the emotion estimation unit, and recommended information to the occupant is obtained based on the evaluation of the word.
A recommended information display step for displaying the recommended information obtained by the recommended information selection unit to the occupants, and
Recommendation method with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239783A JP7264804B2 (en) | 2019-12-27 | 2019-12-27 | Recommendation system, recommendation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239783A JP7264804B2 (en) | 2019-12-27 | 2019-12-27 | Recommendation system, recommendation method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021108072A true JP2021108072A (en) | 2021-07-29 |
| JP7264804B2 JP7264804B2 (en) | 2023-04-25 |
Family
ID=76968226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019239783A Active JP7264804B2 (en) | 2019-12-27 | 2019-12-27 | Recommendation system, recommendation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7264804B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007086880A (en) * | 2005-09-20 | 2007-04-05 | Denso Corp | Information-providing device for vehicle |
| JP2008256659A (en) * | 2007-04-09 | 2008-10-23 | Toyota Motor Corp | Navigation system for vehicle |
| JP2009294790A (en) * | 2008-06-03 | 2009-12-17 | Denso Corp | System for providing information for vehicle |
| JP2012207940A (en) * | 2011-03-29 | 2012-10-25 | Denso Corp | On-vehicle information presentation apparatus |
| US20160273931A1 (en) * | 2015-03-20 | 2016-09-22 | Bayerische Motoren Werke Aktiengesellschaft | Input Of Navigational Target Data Into A Navigation System |
| JP2017049427A (en) * | 2015-09-01 | 2017-03-09 | カシオ計算機株式会社 | Dialogue control apparatus, dialogue control method, and program |
| JP2018101197A (en) * | 2016-12-19 | 2018-06-28 | シャープ株式会社 | Server, information processing method, network system, and terminal |
| JP2018106530A (en) * | 2016-12-27 | 2018-07-05 | 本田技研工業株式会社 | Driving support apparatus and driving support method |
| US20190130243A1 (en) * | 2017-10-27 | 2019-05-02 | International Business Machines Corporation | Cognitive commuter assistant |
-
2019
- 2019-12-27 JP JP2019239783A patent/JP7264804B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007086880A (en) * | 2005-09-20 | 2007-04-05 | Denso Corp | Information-providing device for vehicle |
| JP2008256659A (en) * | 2007-04-09 | 2008-10-23 | Toyota Motor Corp | Navigation system for vehicle |
| JP2009294790A (en) * | 2008-06-03 | 2009-12-17 | Denso Corp | System for providing information for vehicle |
| JP2012207940A (en) * | 2011-03-29 | 2012-10-25 | Denso Corp | On-vehicle information presentation apparatus |
| US20160273931A1 (en) * | 2015-03-20 | 2016-09-22 | Bayerische Motoren Werke Aktiengesellschaft | Input Of Navigational Target Data Into A Navigation System |
| JP2017049427A (en) * | 2015-09-01 | 2017-03-09 | カシオ計算機株式会社 | Dialogue control apparatus, dialogue control method, and program |
| JP2018101197A (en) * | 2016-12-19 | 2018-06-28 | シャープ株式会社 | Server, information processing method, network system, and terminal |
| JP2018106530A (en) * | 2016-12-27 | 2018-07-05 | 本田技研工業株式会社 | Driving support apparatus and driving support method |
| US20190130243A1 (en) * | 2017-10-27 | 2019-05-02 | International Business Machines Corporation | Cognitive commuter assistant |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7264804B2 (en) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10222225B2 (en) | Navigation systems and associated methods | |
| CN105190607B (en) | Pass through the user training of intelligent digital assistant | |
| KR20190030731A (en) | Command processing using multimode signal analysis | |
| JP2018100936A (en) | On-vehicle device and route information presentation system | |
| JP2023072025A (en) | robot | |
| US20180025283A1 (en) | Information processing apparatus, information processing method, and program | |
| US20190279629A1 (en) | Speech system | |
| JP2019079345A (en) | Information presentation device, information presentation system, and terminal device | |
| US20220365991A1 (en) | Method and apparatus for enhancing a geolocation database | |
| CN111189463A (en) | Information processing apparatus and information processing program | |
| JP6552548B2 (en) | Point proposing device and point proposing method | |
| JPWO2018123057A1 (en) | Information provision system | |
| US11709065B2 (en) | Information providing device, information providing method, and storage medium | |
| CN111746435B (en) | Information providing apparatus, information providing method, and storage medium | |
| WO2017051577A1 (en) | Emotional response inducement system and emotional response inducement method | |
| JP7264804B2 (en) | Recommendation system, recommendation method and program | |
| JP2021107801A (en) | Automatic driving vehicle, image display method and program | |
| JP2023136194A (en) | Information processing device, moving body, control method thereof, program, and storage medium | |
| JP6892220B2 (en) | Navigation devices, navigation methods and programs | |
| JP6945767B2 (en) | Speaker estimation device, receiver estimation method, and receiver estimation program | |
| JP2018060248A (en) | Processing result abnormality detection apparatus, processing result abnormality detection program, processing result abnormality detection method and moving body | |
| JP7309095B2 (en) | Listener Estimation Apparatus, Listener Estimation Method, and Listener Estimation Program | |
| JP2019163984A (en) | Information provider and method for controlling the same | |
| JP2019164475A (en) | Information provider and method for controlling the same | |
| JP2019104354A (en) | Information processing method and information processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7264804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |