JP2017134577A - Information processing unit, information processing server, and information processing method - Google Patents
Information processing unit, information processing server, and information processing method Download PDFInfo
- Publication number
- JP2017134577A JP2017134577A JP2016013269A JP2016013269A JP2017134577A JP 2017134577 A JP2017134577 A JP 2017134577A JP 2016013269 A JP2016013269 A JP 2016013269A JP 2016013269 A JP2016013269 A JP 2016013269A JP 2017134577 A JP2017134577 A JP 2017134577A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- evaluation
- evaluation information
- utterance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title description 2
- 238000011156 evaluation Methods 0.000 claims abstract description 406
- 238000009825 accumulation Methods 0.000 claims abstract description 174
- 238000000605 extraction Methods 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 description 50
- 230000014509 gene expression Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 18
- 230000008451 emotion Effects 0.000 description 13
- 230000002996 emotional effect Effects 0.000 description 12
- 230000008921 facial expression Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 206010012239 Delusion Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
この発明は、発話が行われた地点の評価情報を作成する情報処理装置、情報処理サーバおよび情報処理方法に関するものである。 The present invention relates to an information processing apparatus, an information processing server, and an information processing method for creating evaluation information on a point where an utterance is made.
従来、移動体の搭乗者の発話を認識し、設定されたキーワードが認識された場合に当該キーワードに対応した評価情報を移動体の現在位置情報と組み合わせて蓄積する方法が提案されている。例えば、特許文献１に記載された情報記憶装置は、移動体が所定の地物から所定の範囲内に位置する場合に、移動体の搭乗者の会話を継続的に解析し、発話内容が所定の地物に関するものである場合に、その地物と発話内容とを関連付けて評価情報として記録していた。
Conventionally, there has been proposed a method of recognizing the utterance of a passenger of a mobile object and storing evaluation information corresponding to the keyword in combination with current position information of the mobile object when a set keyword is recognized. For example, the information storage device described in
上記特許文献１によれば、例えば「東京タワー」等の地物の周辺領域に移動体が進入すると搭乗者の発話を受け付けて音声認識を開始するため、搭乗者の発話内容を記録するためには予め辞書等に登録された所定の地物が必要であるという課題があった。そのため、移動体が所定の地物の周辺領域外に位置している場合には、発話内容を記録することができなかった。
また、発話内容が所定の地物に関するものであると判断した場合に、その地物と発話内容とを関連付けて記録するため、所定の地物を見た際に発話する当該地物の過去の状況、当該地物に関する搭乗者の思い出等、所定の地物の現在の状況を反映していない発話内容であっても評価情報として記録してしまうことがある、または登録されていない地物について発話された場合、発話内容を記録することができないという課題があった。
According to
In addition, when it is determined that the utterance content is related to the predetermined feature, the feature and the utterance content are recorded in association with each other, so that the past of the feature to be uttered when the predetermined feature is viewed is recorded. About features that are recorded as evaluation information even if the utterance content does not reflect the current status of a given feature, such as the situation, the passenger's memories about the feature, etc. When uttered, there is a problem that the utterance content cannot be recorded.
この発明は、上記のような課題を解決するためになされたもので、特定の地物が存在するかに関わらずに搭乗者の発話内容を認識し、発話の対象である事象の現在の状況を反映した発話内容を用いて評価情報を作成することを目的とする。 The present invention has been made to solve the above-described problems, and recognizes the utterance content of a passenger regardless of whether a specific feature exists, and the current situation of an event to be uttered. The purpose is to create evaluation information using the utterance content that reflects.
この発明に係る情報処理装置は、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部とを備えるものである。 An information processing apparatus according to the present invention includes an information extraction unit that extracts information from a speech recognition result of an utterance of an occupant of a moving body, a position information acquisition unit that acquires position information of the moving body during utterance, and an information extraction unit The evaluation information creation unit that creates evaluation information that combines the information extracted by the location information acquired by the location information acquisition unit, and the current status of events related to the evaluation information created by the evaluation information creation unit are acquired as reference information A reference information acquisition unit that compares the evaluation information created by the evaluation information creation unit with the reference information acquired by the reference information acquisition unit, and determines whether or not to accumulate the evaluation information It is.
この発明によれば、特定の地物が存在するかに関わらず搭乗者の発話内容を認識し、発話の対象である事象の現在の状況が反映された発話内容を用いて評価情報を作成することができる。 According to this invention, regardless of whether a specific feature exists, the utterance content of the passenger is recognized, and evaluation information is created using the utterance content reflecting the current situation of the event that is the utterance target. be able to.
以下に示す実施の形態１から実施の形態７では、移動体として車両を適用した場合を例に説明を行うが、車両以外にも列車、航空機および船舶等が適用可能である。また、移動体は人でもよく、その場合、移動体の搭乗者とは当該人自信であるものとする。
実施の形態１．
図１は、この発明の実施の形態１に係る情報処理装置１００の構成を示すブロック図である。
情報処理装置１００は、入力部１、音声認識部２、情報抽出部３、キーワードデータベース４、位置情報取得部５、車両情報取得部６、地図データベース７、評価情報作成部８、参照情報取得部９、蓄積判定部１０、蓄積制御部１１および通信部１２を備える。また、情報処理装置１００は、通信部１２、２１を介して蓄積サーバ２００と接続されている。
In
FIG. 1 is a block diagram showing a configuration of
The
入力部１は、マイク等であり、車両内の搭乗者の発話音声を収集する。音声認識部２は、収集された発話音声を文字列等に変換する認識処理を行い、文字列等を音声認識結果として取得する。音声認識部２は、取得した音声認識結果を情報抽出部３に出力する。情報抽出部３は、音声認識結果にキーワードデータベース４に蓄積されたキーワードが含まれている場合に、当該キーワードを抽出し、位置情報取得部５および評価情報作成部８に出力する。なお、情報抽出部３は、音声認識結果からキーワードのみを抽出するものに限らない。例えば、評価情報にキーワードが属するジャンル、「良い／悪い」または「安全／危険」といった評価を示す言葉、または搭乗者の発話内容全てを抽出してもよい。ただし、以下では、情報抽出部３がキーワードを抽出して、ジャンルと合わせて出力するものとして説明する。
The
キーワードデータベース４は、音声認識結果から抽出するためのキーワードを蓄積したものである。キーワードデータベース４の蓄積例を図２に示す。この蓄積例では、キーワードデータベース４は、複数のキーワードをジャンルに関連付けて蓄積している。具体的に、ジャンル「景色」について第１のキーワードとして「きれい」、第２のキーワードとして「いい眺め」、第３のキーワードとして「絶景」を関連付けて蓄積している。例えば、音声認識結果に「きれい」というキーワードが含まれ、情報抽出部３が図２に示すキーワードデータベース４を参照して「きれい」というキーワードを抽出した場合、上述のように、情報抽出部３は、抽出したキーワード「きれい」に加えて、抽出したキーワードが属するジャンル「景色」も合わせて出力する。なお、キーワードデータベース４は、情報処理装置１００外に備えられてもよい。
The
キーワードデータベース４は、キーワードとして、時系列を示す時系列関連キーワード、周辺道路の状況を示す周辺道路交通関連キーワード、周辺の環境の状況を示す周辺自然環境関連キーワード、発話者の感情を示す感情表現キーワード等を蓄積している。時系列関連キーワードは、季節、年月日、時刻、時間帯、曜日、過去・現在・未来を示す概念等のいずれかを表すキーワードである。
周辺道路交通関連キーワードは、周辺の施設、店舗、建造物、車両、歩行者、移動体、道路、車線、道路標識、交差点、高速出入口、信号、踏切、渋滞、規制、事故等、のいずれかを表すキーワードである。
周辺自然環境関連キーワードは、風景、景観、地形、山、川、湖、海、空、天候、気温、風雨、降雪、積雪、台風、地震、津波、噴火、火災、その他の災害等、のいずれかを表すキーワードである。
感情表現関連キーワードは、発話者の感情、感想、感動、情緒、印象、欲求、欲望、想像、妄想、追想、反撃、反響、愛情、驚嘆、落胆、喜怒哀楽、感覚、食感、五感、嗜好、良否、可否、好き嫌い、向き不向き、リピート欲、寸評、比較、ランキング、コメント、評価等のいずれかを表すキーワードである。
The
Peripheral road traffic-related keywords are any of the following facilities: shops, buildings, vehicles, pedestrians, moving objects, roads, lanes, road signs, intersections, high-speed doorways, traffic lights, railroad crossings, traffic jams, regulations, accidents, etc. Is a keyword representing
The surrounding natural environment-related keywords are landscape, landscape, landform, mountain, river, lake, sea, sky, weather, temperature, wind and rain, snowfall, snow cover, typhoon, earthquake, tsunami, eruption, fire, other disasters, etc. It is a keyword that represents.
Emotional expression-related keywords are: speaker's emotion, impression, impression, emotion, impression, desire, desire, imagination, delusion, recollection, counterattack, echo, affection, marvel, discouragement, emotion, emotion, texture, five senses, It is a keyword that represents one of taste, good / bad, good / bad, likes and dislikes, unsuitable for orientation, repeat greed, critical review, comparison, ranking, comment, evaluation, and the like.
位置情報取得部５は、情報抽出部３からキーワードが入力された場合、その時点の日時を発話時の日時情報として取得する。また、位置情報取得部５は、情報抽出部３からキーワードが入力された場合、その時点の車両の位置情報および方位情報を、それぞれ発話時の車両の位置情報および方位情報として取得する。位置情報取得部５は、これらの情報を、例えばＧＰＳ（Global Positioning System）情報、走行方位情報および地図情報等から取得する。位置情報取得部５は、ＧＰＳ情報および走行方位情報を、車両情報取得部６から取得する。位置情報取得部５は、地図情報を地図データベース７から取得する。車両情報取得部６は、図示しない車載機器に搭載されたＧＰＳ受信器から現在の日時および車両の位置情報を含むＧＰＳ情報を取得する。また、車両情報取得部６は、車載機器等から車両の走行位置および走行方位を取得する。また、車両情報取得部６は、車両の周辺状況を示す情報（以下、車両の周辺情報と称する）を取得する。
なお、発話時の日時情報は、位置情報取得部５が情報抽出部３からキーワードが入力された場合に、車両情報取得部６から取得することに替えて、入力部１が発話を取得した日時、音声認識部２が音声認識した日時、情報抽出部３がキーワードを抽出した日時等を、情報処理装置１００内の図示しない時計等から取得してもよい。
When a keyword is input from the
The date and time information at the time of utterance is the date and time when the
地図データベース７は、地図情報を蓄積する。なお、情報処理装置１００は地図データベース７を備えず、情報処理装置１００の外部に設けられた地図データベースから地図情報を取得する構成としてもよい。
評価情報作成部８は、情報抽出部３から入力されたキーワードおよびジャンルと、発話時の日時情報と、発話時の車両の位置情報および方位情報とを組み合わせて評価情報を作成する。
参照情報取得部９は、評価情報作成部８が作成した評価情報が、当該評価情報に含まれるキーワードに関連する事象の現在の状況と関連性があるかを判断するための参照情報を取得する。ここで、参照情報は、当該キーワードに関連する事象の現在の状況、即ち当該事象の現況を示す情報である。この実施の形態１では、参照情報取得部９は、車両情報取得部６から入力される車両の周辺情報から、キーワードに関連する事象の現況を、参照情報として取得する場合を示す。なお、参照情報の詳細については、後述する。
また、ここでは、評価情報作成部８は、評価情報をキーワードおよびジャンルと、発話時の日時情報と、発話時の車両の位置情報および方位情報の組み合わせとしたが、発話時の日時情報と、発話時の車両の方位情報は含まなくともよい。即ち、参照情報取得部９が、参照情報を取得する日時を現在とすれば、評価情報と参照情報との比較が可能である。また、車両の位置情報が分かれば、参照情報取得部９は、参照情報を得ることができる。
The
The evaluation
The reference
Here, the evaluation
蓄積判定部１０は、評価情報作成部８が作成した評価情報と、参照情報取得部９が取得した参照情報とを比較して、評価情報と参照情報の関連性が高く、蓄積すべき情報であるか判定を行う。関連性については、例えば適宜数値化を行い、関連性を示す数値が閾値以上であるか否かを判定する等、何らかの基準を満たすかどうかで判断できるものであれば、どのような手法で行われてもよい。
蓄積制御部１１は、蓄積判定部１０において評価情報が蓄積すべき情報であると判定された場合に、その評価情報を通信部１２を介して蓄積サーバ２００側に出力する。
通信部１２は、Ｗｉ−Ｆｉ（登録商標）、３Ｇ、４Ｇなどの通信規格に準拠した通信網やインターネットなどの公共無線通信網にアクセスし、蓄積サーバ２００と通信を行い、評価情報の送信を行う。また、通信部１２は、外部のネットワークと通信を行い、例えばコンテンツプロバイダからコンテンツプロバイダ情報等を受信する、または車両内外に設置された機器から車両情報等を受信する。
The
When the
The
なお、図１では、情報処理装置１００が入力部１および音声認識部２を備える構成を示したが、入力部１および音声認識部２に相当する機能を、車両に搭載された機器、または搭乗者が携帯する携帯端末で実行し、音声認識結果と、発話時の日時情報とが情報処理装置１００に入力されるように構成してもよい。
Although FIG. 1 shows a configuration in which the
蓄積サーバ２００は、通信部２１、制御部２２および評価情報データベース２３を備える。通信部２１は、情報処理装置１００と通信を行い、情報処理装置１００から評価情報を受信する。評価情報データベース２３は、評価情報を蓄積するものである。制御部２２は、情報処理装置１００から受信した評価情報を評価情報データベース２３に蓄積するための制御を行う。また、制御部２２は、図示しない外部装置から評価情報の取得要求が入力された場合に、この取得要求に基づいて評価情報データベース２３から評価情報を読み出し、対応する外部装置に出力する制御を行う。
The
次に、情報処理装置１００のハードウェア構成例を説明する。
図３は、情報処理装置１００のハードウェア構成例を示す図である。
図３に示すように、情報処理装置１００における入力部１、位置情報取得部５、車両情報取得部６および参照情報取得部９は、外部からの情報を入力する入力装置１０１により実現される。情報処理装置１００におけるキーワードデータベース４および地図データベース７は、メモリ１０３により実現される。情報処理装置１００における通信部１２は、蓄積サーバ２００または外部のネットワークとの間で無線通信を行う無線通信装置１０４により実現される。
また、情報処理装置１００における音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１は、処理回路により実現される。すなわち、音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１は、音声認識結果からキーワードを抽出し、キーワードを含む評価情報と参照情報とを比較し、比較した結果に基づいて評価情報の蓄積を判定し、評価情報の出力を制御するための処理回路を備える。処理回路は、メモリ１０３に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）１０２である。
この音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０３に格納される。ＣＰＵ１０２は、メモリ１０３に記憶されたプログラムを読み出して実行することにより、音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１の各機能を実現する。即ち、音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１は、ＣＰＵ１０２により実行されるときに、後述する図５および図６に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０３を備える。また、これらのプログラムは、音声認識部２、情報抽出部３、評価情報作成部８、蓄積判定部１０および蓄積制御部１１の手順または方法をコンピュータに実行させるものであるともいえる。
Next, a hardware configuration example of the
FIG. 3 is a diagram illustrating a hardware configuration example of the
As illustrated in FIG. 3, the
Further, the
The functions of the
ここで、ＣＰＵ１０２は、例えば、中央処理装置、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１０３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
Here, the
The
図４は、蓄積サーバ２００のハードウェア構成例を示す図である。
図４に示すように、蓄積サーバ２００における評価情報データベース２３は、メモリ２０２により実現される。蓄積サーバ２００における通信部２１は、情報処理装置１００または図示しない外部機器との間で無線通信を行う無線通信装置２０３により実現される。
また、蓄積サーバ２００における制御部２２は、処理回路により実現される。即ち、蓄積サーバ２００は、情報処理装置１００から受信した評価情報を用いて評価情報データベース２３の評価情報を更新し、更新した評価情報を外部機器からの取得要求に応じて送信するための処理回路を備える。処理回路は、メモリ２０２に格納されるプログラムを実行するＣＰＵ２０１である。
この制御部２２の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２０２に格納される。ＣＰＵ２０１は、メモリ２０２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、蓄積サーバ２００は、ＣＰＵ２０１により実行されるときのプログラムを格納するためのメモリ２０２を備える。また、これらのプログラムは、制御部２２の手順または方法をコンピュータに実行させるものであるともいえる。
FIG. 4 is a diagram illustrating a hardware configuration example of the
As shown in FIG. 4, the
Further, the
The function of the
次に、情報処理装置１００の動作について説明する。
図５は、実施の形態１による情報処理装置１００の動作を示すフローチャートである。
なお、入力部１は情報処理装置１００の電源が投入されている間は、常に音声を収集できる状態である。また、図示しない音声収集の開始ボタンが操作されてから一定時間のみ音声を取得するようなもので合ってもよい。
Next, the operation of the
FIG. 5 is a flowchart showing the operation of the
Note that the
入力部１が車両の搭乗者の発話音声を収集すると（ステップＳＴ１０１）、音声認識部２は収集された発話音声の認識処理を行う（ステップＳＴ１０２）。音声認識部２は、音声認識結果を情報抽出部３に出力する。情報抽出部３は、入力された音声認識結果からキーワードの抽出のための処理を行う（ステップＳＴ１０３）。さらに、情報抽出部３は、キーワードが抽出されたか判定を行う（ステップＳＴ１０４）。キーワードが抽出されなかった場合（ステップＳＴ１０４；ＮＯ）、ステップＳＴ１０１の処理に戻り、上述した処理を繰り返す。
When the
一方、キーワードが抽出された場合（ステップＳＴ１０４；ＹＥＳ）、情報抽出部３は、抽出したキーワードを、位置情報取得部５および評価情報作成部８に出力する。位置情報取得部５は、発話時の日時情報における発話時の車両の位置情報および方位情報を取得する（ステップＳＴ１０５）。評価情報作成部８は、ステップＳＴ１０３で抽出されたキーワードと、ステップＳＴ１０５で取得された車両の位置情報および方位情報と、発話時の日時情報とを組み合わせて評価情報を作成する（ステップＳＴ１０６）。参照情報取得部９は、ステップＳＴ１０６で作成された評価情報を評価するための参照情報を取得する（ステップＳＴ１０７）。
On the other hand, when a keyword is extracted (step ST104; YES), the
蓄積判定部１０は、ステップＳＴ１０６で作成された評価情報に含まれるキーワードと、ステップＳＴ１０７で取得された参照情報とを比較し、評価情報と参照情報との関連性を評価する（ステップＳＴ１０８）。蓄積判定部１０は、評価した関連性が閾値以上かどうか等一定の基準を満たすか判定を行う（ステップＳＴ１０９）。関連性が基準を満たす場合（ステップＳＴ１０９；ＹＥＳ）、蓄積制御部１１は評価情報を、通信部１２を介して蓄積サーバ２００に出力し（ステップＳＴ１１０）、ステップＳＴ１０１の処理に戻る。一方、関連性が基準を満たさない場合（ステップＳＴ１０９；ＮＯ）、蓄積判定部１０は評価情報を蓄積しないと判断してステップＳＴ１０１の処理に戻る。
The
次に、参照情報取得部９が取得する参照情報の詳細について説明する。
参照情報取得部９は、車両の周辺情報を、参照情報として取得する。ここでいう車両の周辺とは、評価情報に含まれる発話時の車両の位置情報に示された地点を中心として例えば半径１ｋｍ以内の領域等、発話時の車両の位置を中心として予め設定された領域を示すものとする。また、この実施の形態１では、参照情報取得部９は、周辺情報として、例えば「東京タワー」など地物の特定がされていない搭乗者の発話内容であっても評価することができる情報を取得する。また、参照情報取得部９は、周辺情報として、車両の走行エリアに限定されることなく、どのエリアを走行していても搭乗者の発話内容を評価することができる情報を取得する。具体的には、参照情報取得部９は、参照情報として、コンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも１つを取得する。
Next, details of the reference information acquired by the reference
The reference
コンテンツプロバイダ情報は、通信部１２を介してコンテンツプロバイダから入力される情報である。コンテンツプロバイダ情報は、例えばＶＩＣＳ（Vehicle Information and Communication System、登録商標）情報、天気情報、ヒヤリハット情報、ＳＮＳ（Social Networking Service）情報、路線情報、地図情報、施設情報、観光情報、学校情報、イベント情報、日の出日の入り情報、ストリートビュー等の画像情報等である。
車載カメラ情報は、車両内または車両外に設置された車載カメラが車両の周囲を撮像した撮像画像を画像認識して得られた情報であり、車両情報取得部６で取得される。車載カメラ情報は、例えば、交通状況、障害物状況、天候、看板、路面状況、他の移動体状況等を示す情報である。
地図情報は、地図データベース７から取得される情報である。地図情報は、例えば、施設情報、道路形状、地形データ、舗装状況、鉄道等である。
The content provider information is information input from the content provider via the
The in-vehicle camera information is information obtained by recognizing a captured image obtained by imaging the surroundings of the vehicle by an in-vehicle camera installed inside or outside the vehicle, and is acquired by the vehicle
The map information is information acquired from the
参照情報取得部９は、これらのコンテンツプロバイダ情報、車載カメラ情報、または地図情報を常時取得してもよいし、任意のタイミングで取得して図示しない記憶領域に記憶させてもよい。また、参照情報取得部９は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報から、評価情報に含まれるキーワードに関連する情報のみを取得してもよい。また、参照情報取得部９は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報から、評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関連する情報のみを取得してもよい。このように、参照情報取得部９による周辺情報の取得タイミングおよび取得方法は、適宜設定可能である。
The reference
参照情報取得部９は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも１つを取得すると、まず取得した情報を用いて評価情報との関連性を評価することができるか判断する。
例えば、参照情報取得部９は、評価情報のキーワードのジャンルが「天候」であり、天気情報に関するプロバイダ情報が存在する、または評価情報のキーワードのジャンルが「イベント」であり、イベント情報またはＳＮＳ情報に関するプロバイダ情報が存在すると、評価情報との関連性について評価することができると判断する。
また、参照情報取得部９は、評価情報のキーワードのジャンルが「交通状況」であり、交通状況に関する車載カメラ情報が存在すると、評価情報との関連性について評価することができると判断する。
また、参照情報取得部９は、評価情報のキーワードのジャンルが「道路形状」であり、道路形状に関する地図情報が存在すると、評価情報との関連性について評価することができると判断する。
なお、上記ではキーワードのジャンルを用いて、関連する情報が存在するかを判断する場合を例に示したが、評価情報がキーワードのジャンルを含んでいない場合には、参照情報取得部９が、例えばキーワードデータベース４を参照して、キーワードがどのジャンルに属するか判断し、判断した内容に関する情報が存在するか判断する。例えば、参照情報取得部９は、キーワードが「いい眺め」である場合、ジャンルは「景色」であると判断し、景色に関するコンテンツプロバイダ情報、車載カメラ情報、または地図情報が存在するか判断する。
When the reference
For example, the reference
Further, the reference
The reference
In the above description, the case where it is determined whether or not related information exists using the keyword genre is shown as an example. However, when the evaluation information does not include the keyword genre, the reference
参照情報取得部９は、評価情報との関連性について評価することができると判断した場合に、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報から設定された距離内の領域に関連するコンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも１つを、参照情報として取得する。
When the reference
次に、上記のように取得した参照情報と評価情報との関連性を評価する蓄積判定部１０の詳細について説明する。
蓄積判定部１０は、評価情報作成部８が作成した評価情報のキーワードと、参照情報取得部９が取得した参照情報とを比較して、評価情報と参照情報の関連性を評価する。蓄積判定部１０は、関連性を、例えば評価情報のキーワードと参照情報との一致度、類似度、共通部分の有無または共通部分の割合等のいずれかに基づいて、評価する。
Next, details of the
The
まず、蓄積判定部１０が、評価情報のキーワードと、参照情報取得部９が取得したコンテンツプロバイダ情報との一致度に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「晴れ」であり、参照情報取得部９はコンテンツプロバイダから、評価情報が示す発話時の車両の位置情報を中心とした周辺の天気情報として晴天である確率が９０％との参照情報を取得したとする、この場合、蓄積判定部１０は一致度を９０％と算出する。ここで、例えば、一致度に関して、関連性が高いと判断する閾値が６０％以上と設定されている場合、蓄積判定部１０は算出した一致度９０％が閾値である６０％以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
First, a case where the
次に、蓄積判定部１０が、評価情報のキーワードと、参照情報取得部９が取得したコンテンツプロバイダ情報との類似度に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「きれい」であり、参照情報取得部９は評価情報が示す発話時の車両の位置情報を中心とした周辺の観光情報に山の景色、夜景またはイルミネーション等が見られることを示す情報を取得している場合に、蓄積判定部１０は類似度を「高」と算出する。例えば、類似度に関して、関連性が高いと判断する閾値が類似度「中」以上と設定されている場合、蓄積判定部１０は算出した類似度「高」が閾値である類似度「中」以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
Next, the case where the
次に、蓄積判定部１０が、評価情報のキーワードと、参照情報取得部９が取得した車載カメラ情報との共通部分の割合に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「渋滞」であり、参照情報取得部９は車載カメラ情報から取得した評価情報が示す発話時の車両の位置情報における車両の前方に位置する他の車両の台数に応じて、共通部分の割合を例えば８０％と算出する。例えば、共通部分の割合に関して、関連性が高いと判断する閾値が６０％以上と設定されている場合、蓄積判定部１０は算出した共通部分の割合８０％が閾値である６０％以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
Next, the case where the
次に、蓄積判定部１０が、評価情報のキーワードと、参照情報取得部９が取得した地図情報との共通部分の有無に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「急カーブ」であり、参照情報取得部９は地図情報から取得した評価情報が示す発話時の車両の位置情報が示す地点の道路形状がカーブを示している場合に、蓄積判定部１０は共通部分が「有」と算出する。例えば、共通部分の有無に関して、関連性が高いと判断する基準が共通部分「有」と設定されている場合、蓄積判定部１０は、算出した共通部分「有」であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
Next, a case where the
なお、上述した関連性を評価する際の具体例は、一例であり、評価情報のキーワード、コンテンツプロバイダ情報、車載カメラ情報および地図情報は、種々設定されるものである。また、評価情報のキーワードと参照情報との一致度、類似度、共通部分の有無または共通部分の割合について、例を挙げて示したが、これらに限定されるものではなく、評価情報のキーワードと参照情報との乖離度、共通部分の頻度等に基づいて、評価情報と参照情報の関連性を評価してもよい。
また、評価情報に、発話時の車両の方位情報が含まれ、キーワードは「前」、「後ろ」などが抽出されて含まれている場合には、これらの上方も考慮して関連性を評価することも可能である。
Note that the above-described specific example for evaluating the relevance is an example, and various keywords are set for the evaluation information, content provider information, in-vehicle camera information, and map information. Moreover, although the example of the degree of coincidence between the keyword of the evaluation information and the reference information, the degree of similarity, the presence / absence of the common part, or the ratio of the common part is shown, it is not limited to these. The relevance between the evaluation information and the reference information may be evaluated based on the degree of deviation from the reference information, the frequency of the common part, and the like.
Also, if the evaluation information includes the direction information of the vehicle at the time of utterance and the keywords include “front”, “rear”, etc., the relevance is evaluated in consideration of the above. It is also possible to do.
次に、図５のフローチャートのステップＳＴ１０７からステップＳＴ１０９で示した、参照情報取得部９および蓄積判定部１０の処理をより詳細に説明する。
図６は、実施の形態１に係る情報処理装置１００の参照情報取得部９および蓄積判定部１０の動作を示すフローチャートである。なお、図６のフローチャートでは、参照情報取得部９が、一時格納領域に記憶されているコンテンツプロバイダ情報から参照情報を取得する場合を例に説明する。
Next, the processing of the reference
FIG. 6 is a flowchart showing operations of the reference
参照情報取得部９は、記憶されたコンテンツプロバイダ情報を参照し、評価情報作成部８が作成した評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在するか判定を行う（ステップＳＴ２０１）。評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在しない場合（ステップＳＴ２０１；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在する場合（ステップＳＴ２０１；ＹＥＳ）、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関するコンテンツプロバイダ情報を取得する（ステップＳＴ２０２）。
The reference
参照情報取得部９は、ステップＳＴ２０２で取得したコンテンツプロバイダ情報を参照情報として蓄積判定部１０に出力する（ステップＳＴ２０３）。蓄積判定部１０は、ステップＳＴ２０３で入力された参照情報と、評価情報作成部８が作成した評価情報に含まれるキーワードとの一致度を算出する（ステップＳＴ２０４）。蓄積判定部１０は、ステップＳＴ２０４で算出した一致度が基準を満たしているか判定を行う（ステップＳＴ２０５）。一致度が基準を満たしていない場合（ステップＳＴ２０５；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、一致度が基準を満たしている場合（ステップＳＴ２０５；ＹＥＳ）、蓄積判定部１０は評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ２０６）、図５のフローチャートのステップＳＴ１１０の処理に進む。
The reference
なお、図６のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度に限定されるものではない。上述したように、評価情報のキーワードと参照情報との一致度、類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて評価情報と参照情報の関連性を評価することができる。 In the flowchart of FIG. 6, an example in which the relevance is evaluated using the degree of matching between the keyword of the evaluation information and the reference information is illustrated, but the degree of matching is not limited thereto. As described above, the relevance between evaluation information and reference information using the degree of coincidence, similarity, divergence, presence / absence of common part, ratio of common part, frequency of common part, etc. between the keyword of evaluation information and reference information Can be evaluated.
また、図６のフローチャートでは、コンテンツプロバイダ情報のみを参照して関連性を評価する動作を示したが、コンテンツプロバイダ情報、車載カメラ情報または地図情報を任意で組み合わせた情報を用いて評価情報と参照情報の関連性を評価してもよい。例えば、コンテンツプロバイダ情報および車載カメラ情報を参照情報として、評価情報に含まれるキーワードとの一致度をそれぞれ算出し、コンテンツプロバイダ情報との一致度と、車載カメラ情報との一致度の平均値が、閾値以上であり、基準を満たしているか判定を行うように構成してもよい。 Further, in the flowchart of FIG. 6, the operation of evaluating the relevance by referring only to the content provider information is shown. However, the evaluation information and the reference are referred to using information obtained by arbitrarily combining the content provider information, the in-vehicle camera information, or the map information. Information relevance may be evaluated. For example, using the content provider information and the in-vehicle camera information as reference information, the degree of coincidence with the keyword included in the evaluation information is calculated, and the degree of coincidence with the content provider information and the degree of coincidence with the in-vehicle camera information are You may comprise so that it may be more than a threshold value and the reference | standard is satisfy | filled.
以上のように、この実施の形態１によれば、移動体である車両の搭乗者の発話の音声認識結果からキーワードを抽出する情報抽出部３と、発話時の移動体の位置情報を取得する位置情報取得部５と、キーワードと、発話時の移動体の位置情報および方位情報とを組み合わせた評価情報を作成する評価情報作成部８と、キーワードに関連する事象について、現在の状況を示す情報を参照情報として取得する参照情報取得部９と、評価情報と参照情報とを比較して評価情報を蓄積するか否か判定する蓄積判定部１０とを備えるように構成したので、特定の地物が存在しない場合でも搭乗者の発話内容を認識し、認識結果から抽出されたキーワードに関連する情報のうち現在の状況が反映された参照情報を用いて評価情報を評価して蓄積するか否かを判定することができる。これにより、発話が行われた地点とは関係のない発話、発話の対象である事象の現在の状況を反映していない発話等に基づいて評価情報が蓄積されるのを抑制することができる。その結果、各事象に対する信頼性の高い評価情報を効率的に蓄積することができる。
As described above, according to the first embodiment, the
また、この実施の形態１によれば、参照情報取得部９が、コンテンツプロバイダ情報から参照情報を取得するように構成したので、例えば「東京タワー」など地物を含まない発話等、発話の対象である事象が明確でない発話であっても、キーワードに関連するコンテンツプロバイダ情報を用いて、関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報、または地図データから取得することができない事象に対するものであっても、評価情報と参照情報の関連性を判断して、評価情報を蓄積することができる。
Further, according to the first embodiment, since the reference
また、この実施の形態１によれば、参照情報取得部９が、車載カメラ情報から参照情報を取得するように構成したので、発話の対象である事象が明確でない発話であっても、キーワードに関連する車載カメラ情報を用いて、現在の状況との関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報、または地図データから取得することができない事象に対するものであっても、評価情報の関連性を判断して、評価情報を蓄積することができる。
Moreover, according to this
また、この実施の形態１によれば、参照情報取得部９が、地図情報から参照情報を取得するように構成したので、発話の対象である事象が明確でない発話であっても、キーワードに関連する地図情報を用いて、現在の状況との関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報から取得することができない事象に対するものであっても、評価情報の関連性を判断して、評価情報を蓄積することができる。
Moreover, according to this
実施の形態２．
この実施の形態２では、参照情報として車両情報を用いる構成を示す。なお、実施の形態１で示したコンテンツプロバイダ情報、車載カメラ情報または地図情報の少なくとも１つに替えて、車両情報のみを用いてもよいし、実施の形態１で示したコンテンツプロバイダ情報、車載カメラ情報または地図情報の少なくとも１つの情報と車両情報とを組み合わせて用いてもよい。
実施の形態２に係る情報処理装置１００の構成は、上記実施の形態１の図１に示した情報処理装置１００の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図１を用いて説明する。
In this
The configuration of the
参照情報取得部９は、車両情報取得部６から入力される車両情報を参照情報として取得する。ここでいう車両情報とは、車両の速度、方位、操舵角、ワイパー操作の状態、照明機器の動作状態、空調機器の動作状態、音響機器の動作状態、音響機器が動作している場合に再生中の楽曲の歌詞を示す情報等である。車両情報取得部６は、コントローラー・エリア・ネットワーク（ＣＡＮ）等の公知のネットワークから、車両の速度、操舵角、ブレーキ操作などの車両情報を取得する。
The reference
参照情報取得部９は、車両情報を常時取得してもよいし、任意のタイミングで取得して図示しない記憶領域に記憶させてもよい。また、参照情報取得部９は、評価情報に含まれるキーワードに関連する車両情報のみを取得してもよいし、評価情報に含まれる発話時の車両の位置情報における車両情報のみを取得してもよい。このように、参照情報取得部９の車両情報の取得タイミングおよび取得方法は、適宜設定可能である。
The reference
参照情報取得部９は、車両情報を取得すると、まず取得した情報を用いて評価情報の関連性を評価することができるか判断する。例えば、参照情報取得部９は、評価情報のキーワードのジャンルが「道路形状」であり、車両の操舵角を示す車両情報が存在すると、評価情報と参照情報の関連性について評価することができると判断する。参照情報取得部９は、関連性について評価することができると判断した場合に、評価情報に含まれるキーワードに関連する車両情報であって、且つ評価情報に含まれる発話時の車両の位置情報が示す位置、または発話時の日時情報が示す日時における車両情報を、参照情報として取得する。
When the reference
蓄積判定部１０は、評価情報作成部８が作成した評価情報のキーワードと、参照情報取得部９が取得した参照情報とを比較して、関連性を評価する。例えば、蓄積判定部１０が、評価情報のキーワードと、参照情報取得部９が取得した車両情報との一致度に基づいて、評価情報と参照情報の関連性を評価する場合、評価情報のキーワードが「急カーブ」であり、参照情報の操舵角がほとんど変化していない場合に、一致度を０％と算出する。例えば、一致度に関して、関連性が高いとする閾値が６０％以上と設定されている場合、蓄積判定部１０は算出した一致度０％が閾値である６０％以上でないので、基準を満たしていないと判定し、評価情報と参照情報との関連性が低いと判定する。蓄積判定部１０は、蓄積制御部１１に対して評価情報の蓄積を指示しない。
The
また、蓄積判定部１０は、参照情報として、音響機器が動作していることを示す情報、および発話時に再生中の楽曲の歌詞を示す情報が入力された場合、評価情報のキーワードと、楽曲の歌詞との一致度を算出する。蓄積判定部１０は、算出した一致度が閾値以上と判定した場合に、評価情報は単に車両内で再生中の楽曲の歌詞に関するキーワードを含んでいて蓄積は不要と判断し、蓄積制御部１１に対して評価情報の蓄積を指示しない。
なお、参照情報として車両の速度、方位、操舵角等を用いた判定と、参照情報として楽曲の歌詞を示す情報を用いた判定とを組み合わせて、評価情報との関連性を評価してもよい。
In addition, when the information indicating that the audio device is operating and the information indicating the lyrics of the music being reproduced at the time of utterance are input as the reference information, the
The relevance with the evaluation information may be evaluated by combining the determination using the speed, direction, steering angle, etc. of the vehicle as the reference information and the determination using the information indicating the lyrics of the music as the reference information. .
次に、実施の形態１の図５のフローチャートのステップＳＴ１０７からステップＳＴ１０９の処理について、実施の形態２の参照情報取得部９および蓄積判定部１０を適用した場合の、詳細な動作について説明する。
図７は、実施の形態２に係る情報処理装置１００の参照情報取得部９および蓄積判定部１０の動作を示すフローチャートである。なお、図７のフローチャートでは、参照情報取得部９が、一時格納領域に記憶されている車両情報から参照情報を取得する場合を例に説明する。
Next, detailed operations when the reference
FIG. 7 is a flowchart showing operations of the reference
参照情報取得部９は、記憶された車両情報を参照し、評価情報作成部８が作成した評価情報に含まれるキーワードに関連する車両情報が存在するか判定を行う（ステップＳＴ３０１）。評価情報に含まれるキーワードに関連する車両情報が存在しない場合（ステップＳＴ３０１；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、評価情報に含まれるキーワードに関連する車両情報が存在する場合（ステップＳＴ３０１；ＹＥＳ）、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる車両の位置情報から設定された距離内の領域に関する車両情報を取得する（ステップＳＴ３０２）。
The reference
参照情報取得部９は、ステップＳＴ３０２で取得した車両情報を参照情報として蓄積判定部１０に出力する（ステップＳＴ３０３）。蓄積判定部１０は、ステップＳＴ３０３で入力された参照情報と、評価情報作成部８が作成した評価情報に含まれるキーワードとの一致度を算出する（ステップＳＴ３０４）。蓄積判定部１０は、ステップＳＴ３０４で算出した一致度が基準を満たしているか判定を行う（ステップＳＴ３０５）。一致度が基準を満たしていない場合（ステップＳＴ３０５；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、一致度が基準を満たしている場合（ステップＳＴ３０５；ＹＥＳ）、蓄積判定部１０は評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ３０６）、図５のフローチャートのステップＳＴ１１０の処理に進む。
The reference
なお、図７のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度以外にも、評価情報のキーワードと参照情報との類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて評価情報と参照情報の関連性を評価することができる。 In the flowchart of FIG. 7, an example in which the relevance is evaluated using the degree of coincidence between the keyword of the evaluation information and the reference information is illustrated. However, in addition to the degree of coincidence, the keyword of the evaluation information and the reference information The relevance between the evaluation information and the reference information can be evaluated using the similarity, the divergence, the presence / absence of the common part, the ratio of the common part, the frequency of the common part, or the like.
以上のように、この実施の形態２によれば、参照情報取得部９が、参照情報としてキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関する車両情報を参照情報として取得するように構成したので、特定の地物が存在するかに関わらず搭乗者の発話内容を認識し、車両の挙動を考慮して評価情報が発話の対象である事象の現在の状況が反映されている情報であるか評価することができる。
As described above, according to the second embodiment, the reference
実施の形態３．
この実施の形態３では、蓄積サーバ２００から取得した過去の評価情報を用いて、新たに評価情報作成部８が作成した評価情報を評価する構成を示す。
なお、実施の形態１および実施の形態２で示したコンテンツプロバイダ情報、車載カメラ情報、地図情報または車両情報の少なくとも１つに替えて、過去の評価情報のみを用いてもよいし、実施の形態１および実施の形態２で示したコンテンツプロバイダ情報、車載カメラ情報、地図情報または車両情報の少なくとも１つの情報と過去の評価情報とを組み合わせて用いてもよい。
In the third embodiment, a configuration is shown in which evaluation information newly created by the evaluation
It should be noted that only past evaluation information may be used instead of at least one of the content provider information, the in-vehicle camera information, the map information, or the vehicle information shown in the first and second embodiments, or the second embodiment. The past evaluation information may be used in combination with at least one of the content provider information, the in-vehicle camera information, the map information, or the vehicle information shown in the first and second embodiments.
実施の形態３に係る情報処理装置１００の構成は、上記実施の形態１の図１に示した情報処理装置１００の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図１を用いて説明する。
The configuration of the
参照情報取得部９は、蓄積サーバ２００の評価情報データベース２３に蓄積された過去の評価情報を、参照情報として取得する。参照情報取得部９は、評価情報作成部８が作成した評価情報に含まれる発話時の車両の位置情報を取得し、取得した位置情報と地図データベース７から取得される地図情報とから、評価情報の発話エリアを設定する。参照情報取得部９は、例えば発話時の車両の位置情報が示す地点から半径１ｋｍ以内のエリアを地図情報で特定し、発話エリアとする。
The reference
参照情報取得部９は、設定した評価情報の発話エリア内の位置を示す発話時の車両情報を含む、過去の評価情報の取得要求を、通信部１２を介して蓄積サーバ２００に送信する。この蓄積サーバ２００には、少なくともこの情報処理装置１００を有する全ての車両を対象として収集された評価情報が蓄積されており、取得要求の結果、取得される過去の評価情報には他車両が作成したものも含まれることになる。
参照情報取得部９は、設定した評価情報の発話エリア内の過去の評価情報の取得を要求する際に、現在時刻から５分前までの期間で登録された評価情報のみを検索対象とすると指定してもよいし、前日の同一のタイミング、例えば前日の夕方の２時間で登録された評価情報のみを検索対象とすると指定してもよい。参照情報取得部９が指定する検索対象は任意に設定することができる。
The reference
When the reference
参照情報取得部９は、発話エリア内の過去の評価情報の取得要求に応じて、蓄積サーバ２００から過去の評価情報が送信されると、通信部１２を介してこの過去の評価情報を取得する。参照情報取得部９は、過去の評価情報を取得すると、関連性を評価することができると判断する。一方、参照情報取得部９は、過去の評価情報が取得できなければ関連性を評価することができないと判断する。参照情報取得部９は、評価情報と参照情報の関連性について評価することができると判断した場合に、取得した過去の評価情報を参照情報として蓄積判定部１０に出力する。
The reference
蓄積判定部１０は、評価情報作成部８が作成した評価情報のキーワードと、参照情報取得部９が取得した参照情報とを比較して、関連性を評価する。また、評価情報作成部８が作成した評価情報に相対的な評価を示す表現が含まれていた場合、例えば評価情報が相対的に悪い評価を示す表現であり、参照情報取得部９が取得した参照情報も同様に発話エリア内で相対的に悪い評価を示す表現である割合が８０％を占めている場合、一致度を８０％と算出する。例えば、一致度に関して、関連性が高いとする閾値が６０％以上と設定されている場合、蓄積判定部１０は算出した一致度８０％が閾値である６０％以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。蓄積判定部１０は、蓄積制御部１１に対して評価情報の蓄積を指示する。
The
次に、実施の形態１の図５のフローチャートのステップＳＴ１０７からステップＳＴ１０９の処理について、実施の形態３の参照情報取得部９および蓄積判定部１０を適用した場合の、詳細な動作について説明する。
図８は、実施の形態３に係る情報処理装置１００の参照情報取得部９および蓄積判定部１０の動作を示すフローチャートである。
Next, detailed operations when the reference
FIG. 8 is a flowchart illustrating operations of the reference
参照情報取得部９は、評価情報作成部８が作成した評価情報に含まれる車両の位置情報を取得し、取得した位置情報に基づいて発話エリアを設定する（ステップＳＴ４０１）。参照情報取得部９は、設定した評価情報の発話エリア内の過去の評価情報の取得要求を通信部１２を介して蓄積サーバ２００に出力、即ち送信する（ステップＳＴ４０２）。参照情報取得部９は、取得要求に応じて蓄積サーバ２００から過去の評価情報を受信したか判定を行う（ステップＳＴ４０３）。過去の評価情報を受信しない場合（ステップＳＴ４０３；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、過去の評価情報を受信した場合（ステップＳＴ４０３；ＹＥＳ）、受信した過去の評価情報を参照情報として蓄積判定部１０に出力する（ステップＳＴ４０４）。
The reference
蓄積判定部１０は、ステップＳＴ４０４で入力された参照情報と、評価情報作成部８が作成した評価情報に含まれるキーワードとの一致度を算出する（ステップＳＴ４０５）。蓄積判定部１０は、ステップＳＴ４０５で算出した一致度が基準を満たしているか判定を行う（ステップＳＴ４０６）。一致度が基準を満たしていない場合（ステップＳＴ４０６；ＮＯ）、図５のフローチャートのステップＳＴ１０１の処理に戻る。一方、一致度が基準を満たしている場合（ステップＳＴ４０６；ＹＥＳ）、蓄積判定部１０は評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ４０７）、図５のフローチャートのステップＳＴ１１０の処理に進む。
The
なお、図８のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度以外にも、評価情報のキーワードと参照情報との類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて関連性を評価することができる。
また、キーワード同士の一致度を用いて評価情報と参照情報の関連性を評価するのみではなく、評価情報のジャンル、相対的な評価を示す表現同士の一致度、類似度、乖離度等を用いて評価情報と参照情報の関連性を評価することができる。
In the flowchart of FIG. 8, an example in which the relevance is evaluated using the degree of coincidence between the keyword of the evaluation information and the reference information is shown as an example. The relevance can be evaluated using the similarity, the divergence, the presence / absence of the common part, the ratio of the common part, the frequency of the common part, or the like.
In addition to evaluating the relevance between evaluation information and reference information using the degree of coincidence between keywords, the genre of the evaluation information, the degree of coincidence between expressions showing relative evaluation, the degree of similarity, the degree of deviation, etc. are used. Thus, the relationship between the evaluation information and the reference information can be evaluated.
以上のように、この実施の形態３によれば、参照情報取得部９が、蓄積サーバ２００に蓄積された過去の評価情報を参照情報として取得し、蓄積判定部１０が、取得された参照情報と評価情報とを比較して評価情報と参照情報の関連性を評価するように構成したので、信頼度の高い評価情報を蓄積することができる。
As described above, according to the third embodiment, the reference
なお、上述した実施の形態３の構成に加えて、蓄積判定部１０が評価情報を蓄積すると判定した割合をユーザ毎に蓄積する、または蓄積サーバ２００に蓄積された評価情報に対して「いいね」などの投稿を受け付ける構成としてもよい。
また、蓄積判定部１０が評価情報と参照情報の関連性を評価する場合に、過去のユーザ毎の蓄積率、または評価情報に対する投稿結果を考慮してもよい。
また、蓄積判定部１０が評価情報のユーザ毎の蓄積率を考慮することにより、悪意あるユーザの投稿を抑制する効果もある。
In addition to the configuration of the third embodiment described above, the ratio that the
Further, when the
In addition, the
実施の形態４．
この実施の形態４では、参照情報として搭乗者の属性情報を用いる構成を示す。なお、実施の形態１，２，３で示した参照情報に替えて、搭乗者の属性情報のみを用いてもよいし、実施の形態１，２，３で示した参照情報のいずれか、または全てと搭乗者の属性情報とを組み合わせて用いてもよい。
図９は、この発明の実施の形態４に係る情報処理装置１００ａの構成を示すブロック図である。実施の形態４に係る情報処理装置１００ａは、図１に示した実施の形態１の情報処理装置１００に対して属性情報蓄積部１３および話者特定部１４が追加され、参照情報取得部９および蓄積判定部１０に替えて参照情報取得部９ａおよび蓄積判定部１０ａを備えた構成である。図９において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
In the fourth embodiment, a configuration using passenger attribute information as reference information is shown. Instead of the reference information shown in the first, second, and third embodiments, only the passenger attribute information may be used, either of the reference information shown in the first, second, or third embodiments, or A combination of all and passenger attribute information may be used.
FIG. 9 is a block diagram showing the configuration of the
属性情報蓄積部１３は、搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を記憶する。
属性情報蓄積部１３は、搭乗者の口癖として、例えば「疲れた」、「無理」、「しんどい」、「めんどい」、「やばい」等、特に搭乗者の感情を示す口癖を記憶する。
属性情報蓄積部１３は、搭乗者の趣味嗜好として、例えば車載機器での目的地の設定履歴、車載機器での訪問地点の履歴、視聴するテレビ番組または楽曲、通常の会話から推測される事項等を記憶する。
The attribute
The attribute
The attribute
属性情報蓄積部１３は、発話時の搭乗者の視線情報として、評価情報に含まれるキーワードを発話した搭乗者の、発話時の視線方向を記憶する。まず、発話者の視線方向を取得する方法は種々想定されるが、例えば発話者の特定を行った後、図示しない機器が特定された発話者の車載カメラによる撮像画像から発話時の視線方向を算出する。また、発話者の特定を行う方法としては、図示しない機器が発話音声の特徴量から発話者を特定する話者認識、車載カメラの撮像画像の画像認識を行った認識結果から発話者を特定する話者特定、マイクの指向性から発話者を特定する話者特定等により発話者を特定する。
The attribute
属性情報蓄積部１３は、発話時の搭乗者の表情情報として、評価情報に含まれるキーワードを発話した搭乗者の、発話時の表情を予め設定された感情表現のいずれかに分類した情報を記憶する。
発話者の表情情報を取得する方法は種々想定されるが、例えば図示しない機器が、発話者の特定を行った後、特定された発話者の車載カメラによる撮像画像から発話者の表情を推定し、近似する感情表現に分類する。具体的には、発話者の表情を、喜、怒、哀、楽、怖、恥、好、厭、昂、驚等の感情表現に分類する。
The attribute
There are various methods for obtaining the facial expression information of a speaker. For example, after an apparatus (not shown) identifies a speaker, the facial expression of the speaker is estimated from an image captured by an in-vehicle camera of the identified speaker. Categorize it into an approximate emotional expression. Specifically, the expression of the speaker is classified into emotional expressions such as joy, anger, sorrow, comfort, fear, shame, favor, jealousy, jealousy, and surprise.
話者特定部１４は、収集された発話音声の発話者を特定する。話者特定部１４は、発話音声の特徴量と予め蓄積された搭乗者の発話音声の特徴量とを比較して発話者を特定する方法、車載カメラの撮像画像の画像認識を行って発話者を特定する方法、入力部１を構成するマイクの指向性から発話者の位置を特定して特定された位置に着席している搭乗者を発話者と特定する方法などを用いて、発話音声の発話者を特定する。話者特定部１４が特定した発話者を示す情報は、情報抽出部３に出力される。
The
情報抽出部３は、抽出したキーワードと、発話者を示す情報とを評価情報作成部８に出力する。
The
評価情報作成部８は、情報抽出部３から入力されたキーワードと、発話時の日時情報と、発話時の車両の位置情報および発話時の車両の方位情報と、発話者を示す情報とを組み合わせて評価情報を作成する。
参照情報取得部９ａは、評価情報作成部８が作成した評価情報が、発話者の口癖、発話者の趣味嗜好等に依存する情報でないか判断するための参照情報を取得する。参照情報取得部９ａは、属性情報蓄積部１３から発話者の状態を示す情報を取得する。ここでいう発話者の状態とは、上述した発話者の口癖、発話者の趣味嗜好、発話時の発話者の視線情報、発話時の搭乗者の表情情報等である。
The evaluation
The reference
蓄積判定部１０ａは、評価情報作成部８が作成した評価情報のキーワードと、参照情報取得部９ａが取得した参照情報の発話者の状態を示す情報とを比較して、関連性を評価する。例えば、参照情報が、発話者の口癖を判断するための情報である場合、蓄積判定部１０ａは、参照情報と、評価情報のキーワードとを比較して、発話者の口癖が含まれていた場合には、蓄積制御部１１に対して評価情報の蓄積を指示しない。これにより、個人の癖、個人の偏った発話等に基づく評価情報を蓄積してしまうのを抑制することができる。
また、参照情報が、発話者の趣味嗜好への依存を判断するための情報である場合、蓄積判定部１０ａは、参照情報と、評価情報のキーワードとを比較して、発話者の趣味嗜好が含まれていた場合には、蓄積制御部１１に対して評価情報の蓄積を指示しない。これにより、個人の癖、個人の偏った発話に基づく評価情報を蓄積してしまうのを抑制することができる。
The
When the reference information is information for determining dependence on the taste preference of the speaker, the
また、参照情報が発話者の視線情報である場合、蓄積判定部１０ａは、発話者の視線情報を参照して、発話者の発話時の視線が車外を向いていた場合には、蓄積制御部１１に対して評価情報の蓄積を指示する。なお、視線情報を用いた判定は、その他の情報との比較と組み合わせて実施するのが望ましい。これにより、車外の情報について発話した可能性が高いキーワードを含む評価情報を蓄積することができる。
Further, when the reference information is the speaker's line-of-sight information, the
また、参照情報が発話者の表情情報である場合、蓄積判定部１０ａは、表情情報を用いて発話者の発話時の表情を、予め設定された感情表現のいずれかに分類する。蓄積判定部１０ａは、評価情報のキーワードに含まれる感情表現が、分類した感情表現と一致する場合には、蓄積制御部１１に対して評価情報の蓄積を指示する。これにより、発話者の発話時の表情と、発話内容とが乖離している評価情報を蓄積してしまうのを抑制することができる。
Further, when the reference information is the speaker's facial expression information, the
次に、情報処理装置１００ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
情報処理装置１００ａにおける参照情報取得部９ａは、外部からの情報を入力する図３における入力装置１０１により実現される。また、情報処理装置１００ａにおける属性情報蓄積部１３は、図３で示したメモリ１０３により実現される。また、情報処理装置１００ａにおける蓄積判定部１０ａおよび話者特定部１４は、処理回路により実現される。処理回路は、図３で示したメモリ１０３に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）１０２である。
Next, a hardware configuration example of the
The reference
次に、情報処理装置１００ａが、発話者の状態を示す情報を用いて評価情報を蓄積するか判定を行う動作について説明する。
図１０は、実施の形態４による情報処理装置１００ａの動作を示すフローチャートである。図１０において、図５で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
ステップＳＴ１０１で発話音声が収集されると、ステップＳＴ１０２の発話音声の認識処理と並行して、話者特定部１４が収集された発話音声の発話者を特定する（ステップＳＴ５０１）。話者特定部１４は、特定した発話者を示す情報を情報抽出部３に出力する。情報抽出部３はステップＳＴ１０３およびステップＳＴ１０４の処理によりキーワードを抽出する。情報抽出部３は、抽出したキーワードと、発話者を示す情報とを評価情報作成部８に出力する。位置情報取得部５は、ステップＳＴ１０５の処理により、発話時の日時情報、発話時の車両の位置情報および発話時の車両の方位情報を取得する。評価情報作成部８は、ステップＳＴ１０３で抽出されたキーワードと、発話時の日時情報と、ステップＳＴ１０５で取得された車両の位置情報および方位情報と、ステップＳＴ５０１で特定された発話者を示す情報とを組み合わせて評価情報を作成する（ステップＳＴ５０２）。
Next, an operation in which the
FIG. 10 is a flowchart showing the operation of the
When the speech is collected in step ST101, the
参照情報取得部９ａは、ステップＳＴ５０２で作成された評価情報を評価するための参照情報を、属性情報蓄積部１３等から取得する（ステップＳＴ５０３）。蓄積判定部１０は、ステップＳＴ５０２で作成された評価情報に含まれるキーワードと、ステップＳＴ５０３で取得された参照情報とを比較し、関連性を評価する（ステップＳＴ５０４）。その後、フローチャートはステップＳＴ１０９の処理に進む。
The reference
次に、図１０のフローチャートのステップＳＴ５０３からステップＳＴ１０９で示した、参照情報取得部９ａおよび蓄積判定部１０ａの処理をより詳細に説明する。
図１１は、実施の形態４に係る情報処理装置１００ａの参照情報取得部９ａおよび蓄積判定部１０ａの動作を示すフローチャートである。なお、図１１のフローチャートでは、参照情報取得部９ａが、属性情報蓄積部１３に記憶されている発話者の口癖を示す情報を取得する場合を例に説明する。なお、図１１のフローチャートでは、評価情報にキーワードが含まれている場合を例に説明する。
Next, the processing of the reference
FIG. 11 is a flowchart illustrating operations of the reference
参照情報取得部９ａは、評価情報に含まれる発話者を示す情報から、キーワードの発話者を特定する（ステップＳＴ６０１）。参照情報取得部９ａは、ステップＳＴ６０１で特定した発話者の口癖を示す情報を属性情報蓄積部１３から取得する（ステップＳＴ６０２）。蓄積判定部１０ａは、ステップＳＴ６０２で取得された発話者の口癖を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の口癖が含まれているか判定を行う（ステップＳＴ６０３）。キーワードに発話者の口癖が含まれている場合（ステップＳＴ６０３；ＹＥＳ）、図１０のフローチャートのステップＳＴ１０１に戻る。一方、キーワードに発話者の口癖が含まれていない場合（ステップＳＴ６０３；ＮＯ）、蓄積判定部１０ａは評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ６０４）、図１０のフローチャートのステップＳＴ１１０の処理に進む。
The reference
同様に図１２は、実施の形態４に係る情報処理装置１００ａの参照情報取得部９ａおよび蓄積判定部１０ａの動作を示すフローチャートであり、参照情報取得部９ａが、属性情報蓄積部１３に記憶されている搭乗者の趣味嗜好を示す情報を取得する場合を例に示している。
図１２において、図１１で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部９ａは、ステップＳＴ６０１で特定した発話者の趣味嗜好を示す情報を属性情報蓄積部１３から取得する（ステップＳＴ６１１）。蓄積判定部１０ａは、ステップＳＴ６０５で取得された発話者の趣味嗜好を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の趣味嗜好が含まれているか判定を行う（ステップＳＴ６１２）。キーワードに発話者の趣味嗜好が含まれている場合（ステップＳＴ６１２；ＹＥＳ）、図１０のフローチャートのステップＳＴ１０１に戻る。一方、キーワードに発話者の趣味嗜好が含まれていない場合（ステップＳＴ６１２；ＮＯ）、蓄積判定部１０ａは評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ６０４）、図１０のフローチャートのステップＳＴ１１０の処理に進む。
Similarly, FIG. 12 is a flowchart showing operations of the reference
In FIG. 12, the same steps as those in the flowchart shown in FIG.
The reference
同様に図１３は、実施の形態４に係る情報処理装置１００ａの参照情報取得部９ａおよび蓄積判定部１０ａの動作を示すフローチャートであり、参照情報取得部９ａが、属性情報蓄積部１３に記憶されている搭乗者の視線を示す情報を取得する場合を例に示している。
図１３において、図１１で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部９ａは、ステップＳＴ６０１で特定した発話者の視線を示す情報を属性情報蓄積部１３から取得する（ステップＳＴ６２１）。蓄積判定部１０ａは、ステップＳＴ６２１で取得された発話者の視線を示す情報から、発話者が車外を向いて発話しているか判定を行う（ステップＳＴ６２２）。発話者が車外を向いて発話していない場合（ステップＳＴ６２２；ＮＯ）、図１０のフローチャートのステップＳＴ１０１に戻る。一方、発話者が車外を向いて発話している場合（ステップＳＴ６２２；ＹＥＳ）、蓄積判定部１０ａは評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ６０４）、図１０のフローチャートのステップＳＴ１１０の処理に進む。
蓄積判定部１０ａは、ステップＳＴ６０４の処理が終了すると、参照情報取得部９ａが視線を示す情報と異なる情報を参照情報として取得し、蓄積判定部１０ａが蓄積するか判断する処理に進むように構成してもよい。
Similarly, FIG. 13 is a flowchart showing operations of the reference
In FIG. 13, the same steps as those in the flowchart shown in FIG.
The reference
The
同様に図１４は、実施の形態４に係る情報処理装置１００ａの参照情報取得部９ａおよび蓄積判定部１０ａの動作を示すフローチャートであり、参照情報取得部９ａが、属性情報蓄積部１３に記憶されている搭乗者の感情表現を示す情報を取得する場合を例に示している。
図１４において、図１１で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部９ａは、ステップＳＴ６０１で特定した発話者の感情表現を示す情報を属性情報蓄積部１３から取得する（ステップＳＴ６３１）。蓄積判定部１０ａは、評価情報に含まれるキーワードに発話者の感情表現が含まれるか判定を行う（ステップＳＴ６３２）。発話者の感情表現が含まれない場合（ステップＳＴ６３２；ＮＯ）、図１０のフローチャートのステップＳＴ１０１に戻る。一方、発話者の感情表現が含まれる場合（ステップＳＴ６３２；ＹＥＳ）、ステップＳＴ６３１で取得された発話者の感情表現を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の感情表現を示す情報とキーワードの感情表現が一致するか判定を行う（ステップＳＴ６３３）。感情表現が一致しない場合（ステップＳＴ６３３；ＮＯ）、図１０のフローチャートのステップＳＴ１０１に戻る。一方、感情表現が一致する場合（ステップＳＴ６３３；ＹＥＳ）、蓄積判定部１０ａは評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ６０４）、図１０のフローチャートのステップＳＴ１１０の処理に進む。
Similarly, FIG. 14 is a flowchart showing operations of the reference
In FIG. 14, the same steps as those in the flowchart shown in FIG.
The reference
以上のように、この実施の形態４によれば、搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を記憶する属性情報蓄積部１３と、属性情報蓄積部１３に記憶された情報から参照情報を取得する参照情報取得部９ａと、評価情報作成部８が作成した評価情報と、参照情報取得部９ａが取得した参照情報の発話者の状態を示す情報とを比較して、関連性を評価する蓄積判定部１０ａとを備えるように構成したので、発話者の癖、発話者の偏った発言等による評価情報の蓄積を抑制することができる。また、発話者の感情表現と一致した評価情報を蓄積することができ、信頼度の高い評価情報を蓄積することができる。
As described above, according to the fourth embodiment, the state of the passenger, such as the passenger's mustache, the passenger's hobby preference, the passenger's line of sight information when speaking, the passenger's facial expression information when speaking, and the like are shown. Attribute
なお、上述した実施の形態４では、情報処理装置１００ａが属性情報蓄積部１３を備える構成を示したが、情報処理装置１００ａが、情報処理装置１００ａの外部の機器から搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を取得する構成としてもよい。
In the above-described fourth embodiment, the
実施の形態５．
この実施の形態５では、参照情報として評価情報に含まれるキーワード等に含まれる日時情報または位置情報（以下、それぞれキーワード日時情報、キーワード位置情報という）の少なくとも１つに基づいて評価情報の蓄積を判定する構成を示す。なお、実施の形態１−４で示した参照情報に替えて、キーワード日時情報またはキーワード位置情報のみを用いてもよいし、実施の形態１−４で示した参照情報とキーワード日時情報またはキーワード位置情報の少なくとも１つを組み合わせて用いてもよい。
実施の形態５に係る情報処理装置１００の構成は、上記実施の形態１の図１に示した情報処理装置１００の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図１を用いて説明する。
In this fifth embodiment, evaluation information is accumulated based on at least one of date information or position information (hereinafter referred to as keyword date information and keyword position information, respectively) included in a keyword included in evaluation information as reference information. The structure to determine is shown. Note that only the keyword date information or keyword position information may be used instead of the reference information shown in the embodiment 1-4, or the reference information and the keyword date information or the keyword position shown in the embodiment 1-4. A combination of at least one piece of information may be used.
The configuration of the
参照情報取得部９は、評価情報に含まれるキーワード等に含まれる、キーワード日時情報またはキーワード位置情報の少なくとも１つを参照情報として取得する。評価情報に含まれるキーワード日時情報のうち、日を示す情報としては、例えば、「今日」、「明日」等の相対的な表現、「○月○日」、「○○の日」等の絶対的な表現等がある。また、日時情報のうち、時を示す情報としては、例えば、「今」、「○○分前」等の相対的な表現、「○時○分」、「○時○分○秒」等の絶対的な表現等がある。評価情報に含まれるキーワード位置情報とは、「○○市で」、「○○県の」等の地名表現または番地等の住所表現等である。
The reference
蓄積判定部１０は、参照情報取得部９が取得した参照情報にキーワード日時情報が含まれる場合には、当該評価情報に含まれる発話時の日時情報を取得し、双方の日時情報が同日同時刻を示しているかの判定を行う。ここで、２つ日時情報が同日同時刻を示しているか否かは、同一の日時情報を示しているか否か、あるいは、キーワード日時情報が発話時の日時情報と同日の同時刻を示していると判断可能な表現であるか否か等、ほぼ同一の日時であると判断可能な範囲に含まれる等の条件に基づいて判定する。即ち、厳密に同日同時刻である必要はない。
また、蓄積判定部１０は、参照情報取得部９の参照情報に位置情報が含まれる場合には、評価情報に含まれる発話時の車両の位置情報を取得し、双方の位置情報が同一エリアに存在するか判定を行う。ここで、２つの位置情報が示す位置が同一エリアに存在しているかは、２つの位置情報が設定された領域内、例えば半径１ｋｍ以内に共に存在している等の条件に基づいて判定する。即ち、厳密に位置が一致している必要はない。
When the reference information acquired by the reference
In addition, when the reference information of the reference
次に、実施の形態１の図５のフローチャートのステップＳＴ１０７からステップＳＴ１０９の処理について、実施の形態５の参照情報取得部９および蓄積判定部１０を適用した場合の、詳細な動作について説明する。
図１５は、実施の形態５に係る情報処理装置１００の参照情報取得部９および蓄積判定部１０の動作を示すフローチャートである。
なお、図１５のフローチャートでは、参照情報取得部９が評価情報に含まれるキーワードから日時情報を取得する場合を例に説明する。
Next, detailed operations when the reference
FIG. 15 is a flowchart illustrating operations of the reference
In the flowchart of FIG. 15, a case where the reference
参照情報取得部９は、評価情報作成部８が作成した評価情報に含まれるキーワード日時情報が含まれるか、即ち、当該評価情報にキーワード日時情報が含まれるかの判定を行う（ステップＳＴ７０１）。キーワードに日時情報が含まれない場合（ステップＳＴ７０１；ＮＯ）、図１のフローチャートのステップＳＴ１０１に戻る。一方、キーワード日時情報が含まれる場合（ステップＳＴ７０１；ＹＥＳ）、参照情報取得部９はキーワード日時情報を参照情報として蓄積判定部１０に出力する（ステップＳＴ７０２）。蓄積判定部１０は、キーワード日時情報を含む参照情報が入力されると、評価情報に含まれる発話時の日時情報を取得する（ステップＳＴ７０３）。蓄積判定部１０は、ステップＳＴ７０２で入力された参照情報であるキーワード日時情報と、ステップＳＴ７０３で取得した発話時の日時情報とが同日同時刻を示しているか判定を行う（ステップＳＴ７０４）。２つの日時情報が同日同時刻を示していない場合（ステップＳＴ７０４；ＮＯ）、図１のフローチャートのステップＳＴ１０１の処理に戻る。
一方、２つの日時情報が同日同時刻を示している場合（ステップＳＴ７０４；ＹＥＳ）、蓄積判定部１０は評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ７０５）、図５のフローチャートのステップＳＴ１１０の処理に進む。
The reference
On the other hand, when the two date and time information indicates the same time on the same day (step ST704; YES), the
同様に図１６は、実施の形態５に係る情報処理装置１００の参照情報取得部９および蓄積判定部１０の動作を示すフローチャートであり、参照情報取得部９が、評価情報に含まれるキーワードから位置情報、即ちキーワード位置情報を取得する場合を例に説明する。なお図１５のフローチャートは、評価情報に含まれるキーワードに合わせて、キーワードのジャンル、相対的な評価、または搭乗者の発話内容全ての情報のいずれかを含む場合にも適用可能である。
Similarly, FIG. 16 is a flowchart showing operations of the reference
参照情報取得部９は、評価情報作成部８が作成した評価情報に含まれるキーワードに位置情報が含まれるか、即ちキーワード位置情報が含まれるか否かの判定を行う（ステップＳＴ７１１）。キーワード位置情報が含まれない場合（ステップＳＴ７１１；ＮＯ）、図１のフローチャートのステップＳＴ１０１に戻る。一方、キーワード位置情報が含まれる場合（ステップＳＴ７１１；ＹＥＳ）、参照情報取得部９はキーワード位置情報を参照情報として蓄積判定部１０に出力する（ステップＳＴ７１２）。蓄積判定部１０は、キーワード位置情報を含む参照情報が入力されると、評価情報に含まれる発話時の車両の位置情報を取得する（ステップＳＴ７１３）。
The reference
蓄積判定部１０は、ステップＳＴ７１２で入力された参照情報であるキーワード位置情報と、ステップＳＴ７１３で取得した発話時の位置情報とが同一エリアに存在するか判定を行う（ステップＳＴ７１４）。２つの位置情報が同一エリアに存在していない場合（ステップＳＴ７１４；ＮＯ）、図１のフローチャートのステップＳＴ１０１の処理に戻る。一方、２つの位置情報が同一エリアに存在している場合（ステップＳＴ７１４；ＹＥＳ）、蓄積判定部１０は評価情報を蓄積すると判断し、蓄積制御部１１に出力し（ステップＳＴ７１５）、図５のフローチャートのステップＳＴ１１０の処理に進む。
The
以上のように、この実施の形態５によれば、評価情報作成部８がキーワードを含む情報と発話時の日時情報をさらに組み合わせて評価情報を作成し、参照情報取得部９が評価情報からキーワード日時情報またはキーワード位置情報を参照情報として取得し、蓄積判定部１０が参照情報であるキーワード日時情報またはキーワード位置情報と、評価情報に含まれる発話時の日時情報または発話時の位置情報とを比較し、条件を満たす場合に評価情報を蓄積するように構成したので、現在の状況を示さない評価情報の登録を抑制することができ、蓄積する評価情報の信頼性を向上させることができる。特に、蓄積判定部１０が参照情報の日時情報と発話時の日時情報とを比較することにより、信頼性の高い評価情報を登録することができる。
As described above, according to the fifth embodiment, the evaluation
実施の形態６．
この実施の形態６では、参照情報として電話の通話状態を示す情報を用いる構成を示す。なお、実施の形態１−５で示した参照情報に替えて、電話の通話状態を示す情報のみを用いてもよいし、実施の形態１−５で示した参照情報と電話の通話状態を示す情報とを組み合わせて用いてもよい。
図１７は、この発明の実施の形態６に係る情報処理装置１００ｂの構成を示すブロック図である。実施の形態６に係る情報処理装置１００ｂは、図１に示した実施の形態１の情報処理装置１００に対して話者特定部１４が追加された構成である。図１７において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
In the sixth embodiment, a configuration is shown in which information indicating a telephone call state is used as reference information. Instead of the reference information shown in the embodiment 1-5, only the information indicating the telephone call state may be used, or the reference information and the telephone call state shown in the embodiment 1-5 are shown. It may be used in combination with information.
FIG. 17 is a block diagram showing the configuration of the information processing apparatus 100b according to
話者特定部１４は、収集された発話音声の発話者を特定する。話者特定部１４は、発話音声の特徴量と予め蓄積された搭乗者の発話音声の特徴量とを比較して発話者を特定する方法、車載カメラの撮像画像の画像認識を行って発話者を特定する方法、入力部１を構成するマイクの指向性から発話者の位置を特定して特定された位置に着席している搭乗者を発話者と特定する方法などを用いて、発話音声の発話者を特定する。話者特定部１４が特定した発話者を示す情報は、情報抽出部３に出力される。
The
評価情報作成部８は、情報抽出部３から入力されたキーワードと、発話時の日時情報と、発話時の車両の位置情報および発話時の車両の方位情報と、発話者を示す情報とを組み合わせて評価情報を作成する。
蓄積判定部１０ｂは、発話者の通話状態を示す情報を取得する。発話者の通話状態を示す情報は、例えば車載カメラの撮像画像の画像認識により得られる情報、ハンズフリー通話の使用を示す情報等である。蓄積判定部１０ｂは、この発話者の通話状態を示す情報を、例えば情報処理装置１００ｂの外部の図示しない装置から取得する。蓄積判定部１０ｂは、発話者の通話状態を示す情報を参照して、発話者が通話中である場合には、蓄積制御部１１に対して評価情報の蓄積を指示しない。なお、通話状態を示す情報を用いた判定は、その他の情報との比較と組み合わせて実施するのが望ましい。
The evaluation
The
次に、情報処理装置１００ｂのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
情報処理装置１００ｂにおける蓄積判定部１０ｂおよび話者特定部１４は、処理回路により実現される。処理回路は、図３で示したメモリ１０３に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）１０２である。
Next, a hardware configuration example of the information processing apparatus 100b will be described. Note that the description of the same configuration as that of
The
図１８は、実施の形態６による情報処理装置１００ｂの動作を示すフローチャートである。図１８において、図５で示した実施の形態１のフローチャート同一のステップには同一の符号を付し、説明を省略する。
ステップＳＴ１０１で発話音声が収集されると、ステップＳＴ１０２の発話音声の認識処理と並行して、話者特定部１４が収集された発話音声の発話者を特定する（ステップＳＴ８０１）。話者特定部１４は、特定した発話者を示す情報を情報抽出部３に出力する。情報抽出部３はステップＳＴ１０３およびステップＳＴ１０４の処理によりキーワードを抽出する。情報抽出部３は、抽出したキーワードと、発話者を示す情報とを評価情報作成部８に出力する。位置情報取得部５は、ステップＳＴ１０５の処理により、発話時の日時情報における発話時の車両の位置情報および発話時の車両の方位情報を取得する。評価情報作成部８は、ステップＳＴ１０３で抽出されたキーワードと、発話時の日時情報と、ステップＳＴ１０５で取得された発話時の車両の位置情報および発話時の車両の方位情報と、ステップＳＴ８０１で特定された発話者を示す情報とを組み合わせて評価情報を作成する（ステップＳＴ８０２）。
FIG. 18 is a flowchart showing the operation of the information processing apparatus 100b according to the sixth embodiment. In FIG. 18, the same steps as those in the flowchart of the first embodiment shown in FIG.
When the speech is collected in step ST101, the
参照情報取得部９ａは、ステップＳＴ８０２で作成された評価情報を評価するための参照情報を取得する（ステップＳＴ１０７）。蓄積判定部１０ｂは、ステップＳＴ８０２で作成された評価情報に含まれる発話者を示す情報に示された発話者の通話状態を示す情報を取得する（ステップＳＴ８０３）。蓄積判定部１０ｂは、ステップＳＴ８０３で取得した発話者の通話状態を示す情報を参照して発話者が通話中であるか判定する（ステップＳＴ８０４）。発話者が通話中である場合（ステップＳＴ８０４；ＹＥＳ）、ステップＳＴ１０１の処理に戻る。一方、発話者が通話中でない場合（ステップＳＴ８０４；ＮＯ）、ステップＳＴ１０８の処理に進む。
The reference
以上のように、この実施の形態６では、発話者の通話状態を示す情報を取得し、発話者が通話中である場合には評価情報を蓄積しないと判断する蓄積判定部１０ｂを備えるように構成したので、移動体の外部の発話の可能性が低い通話中の発話に基づく評価情報を蓄積するのを抑制することができ、信頼度の高い評価情報を蓄積することができる。
As described above, the sixth embodiment includes the
実施の形態７．
この実施の形態７では、蓄積サーバ２００の評価情報データベース２３に蓄積された、過去の評価情報を取得し、車両の搭乗者に提示する構成を示す。
In the seventh embodiment, a configuration is shown in which past evaluation information accumulated in the
図１９は、この発明の実施の形態７に係る情報処理装置１００ｃの構成を示すブロック図である。実施の形態７に係る情報処理装置１００ｃは、図１に示した実施の形態１の情報処理装置１００に対して経路情報蓄積部１５、評価情報取得部１６、出力制御部１７および出力部１８が追加された構成である。図１９において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
FIG. 19 is a block diagram showing a configuration of an
経路情報蓄積部１５は、ナビゲーション装置などの車載機器に現在設定されている、目的地までの経路情報を取得して記憶する。また、経路情報蓄積部１５は、車両の過去の走行履歴も記憶する。
The route
評価情報取得部１６は、車両の搭乗者に提示するための過去の評価情報を、通信部１２を介して蓄積サーバ２００から取得する。
評価情報取得部１６は、経路情報蓄積部１５から現在設定されている目的地までの走行経路を取得する。また、車両が目的地を設定しないまま走行している場合、評価情報取得部１６は、経路情報蓄積部１５から車両の過去の走行履歴を取得し、車両情報取得部６から入力される車両の現在位置に基づいて車両の目的地および走行経路を推測する。
評価情報取得部１６は、現在設定されている走行経路、または推測される走行経路に関する過去の評価情報の取得要求を蓄積サーバ２００に出力する。評価情報取得部１６は、評価情報の取得要求に応じて蓄積サーバ２００から送信された評価情報を取得する。評価情報取得部１６は、取得した過去の評価情報を、走行経路と共に出力制御部１７に出力する。
なお、経路情報蓄積部１５は情報処理装置１００ｃ外にあって、評価情報取得部１６は、情報処理装置１００ｃ外の経路情報蓄積部１５からこれらの情報を取得してもよい。
The evaluation
The evaluation
The evaluation
Note that the route
出力制御部１７は、評価情報取得部１６から入力される経路情報に基づいて、過去の評価情報を走行経路上に割り当てる。
出力部１８は、例えばスピーカまたはディスプレイ等であり、出力制御部１７が割り当てた評価情報を各地点で音声出力、または表示出力する。
なお、出力部１８は、情報処理装置１００ｃ外にあってもよい。
The
The
The
通信部１２は、蓄積サーバ２００と通信を行い、評価情報の送信に加えて、評価情報の取得要求を送信し、蓄積サーバ２００の評価情報データベース２３に蓄積された評価情報を受信する。また、通信部１２は、外部のネットワークと通信を行う。
The
上述した評価情報取得部１６および出力制御部１７は、図３で示したハードウェア構成においてＣＰＵ２０１により実現され、経路情報蓄積部１５は、メモリ２０２により実現される。また、出力部１８は、図３では図示していないが、ハードウェア構成における出力装置により実現される。
The evaluation
次に、情報処理装置１００ｃが過去の評価情報を搭乗者に提示するための動作について説明する。
図２０は、実施の形態８に係る情報処理装置１００ａの評価情報の出力の動作を示すフローチャートである。
搭乗者が評価情報の表示指示を入力すると、評価情報取得部１６は、経路情報蓄積部１５を参照し、目的地までの走行経路が設定されているか判定を行う（ステップＳＴ９０１）。目的地までの走行経路が設定されていない場合（ステップＳＴ９０１；ＮＯ）、評価情報取得部１６は、経路情報蓄積部１５に記憶された車両の走行履歴から走行経路を推測する（ステップＳＴ９０２）。目的地までの走行経路が設定されている場合（ステップＳＴ９０１；ＹＥＳ）、およびステップＳＴ９０２で走行経路が推測された場合、評価情報取得部１６は、走行経路に関連する過去の評価情報の取得要求を、通信部１２を介して蓄積サーバ２００に出力、即ち送信する（ステップＳＴ９０３）。
Next, an operation for the
FIG. 20 is a flowchart illustrating an operation of outputting evaluation information of the
When the passenger inputs an instruction to display the evaluation information, the evaluation
評価情報取得部１６は、ステップＳＴ９０３で送信した出力要求に応じて、蓄積サーバ２００から通信部１２を介して過去の評価情報を受信すると（ステップＳＴ９０４）、受信した過去の評価情報と、走行経路とを出力制御部１７に出力する（ステップＳＴ９０５）。出力制御部１７は、過去の評価情報を走行経路上に割り当てる（ステップＳＴ９０６）。出力部１８は、出力制御部１７の割り当てに基づいて、各地点において評価情報を音声出力、または表示出力し（ステップＳＴ９０７）、処理を終了する。
When the evaluation
以上のように、この実施の形態７によれば、移動体の目的地までの経路情報、または移動体の過去の走行履歴を蓄積する経路情報蓄積部１５と、蓄積サーバ２００から過去の評価情報を取得する評価情報取得部１６と、経路情報に基づいて過去の評価情報を走行経路上に割り当てる出力制御部１７および評価情報を対応する地点で出力する出力部１８を備えるように構成したので、過去に蓄積された評価情報を走行経路に沿って表示することができる。
As described above, according to the seventh embodiment, the route
なお、上述した実施の形態１−７で示したいずれかの情報処理装置１００，１００ａ，１００ｂ，１００ｃ機能を、移動体の搭乗者が携帯する携帯端末に搭載し、その携帯端末が評価情報を作成し、評価情報の蓄積を判断するように構成してもよい。
In addition, any one of the
実施の形態８．
この実施の形態８では、上述した実施の形態１−７の機能を備えた情報処理サーバの構成を示す。なお、以下では、実施の形態１の機能を備えた情報処理サーバの例を示すが、実施の形態２−７の機能を備えた情報処理サーバを構成することが可能である。
図２１は、実施の形態８に係る情報処理サーバ３００の構成を示すブロック図である。図２１において実施の形態１−７と同一または相当する部分は、同一の符号を付し説明を省略する。
情報処理サーバ３００は、通信部１２、制御部３０１、キーワードデータベース４、地図データベース７および評価情報データベース２３を備える。
また、制御部３０１は、情報抽出部３、位置情報取得部５、評価情報作成部８、参照情報取得部９、蓄積判定部１０、蓄積制御部１１および出力制御部１７を備える。
情報抽出部３は、情報処理サーバ３００の外部の装置が取得した音声認識結果を取得するものとする。位置情報取得部５は、情報処理サーバ３００の外部の装置が取得した車両情報を取得するものとする。
In this eighth embodiment, a configuration of an information processing server having the functions of the above-described first to seventh embodiments will be described. In the following, an example of an information processing server having the function of the first embodiment is shown, but an information processing server having the function of the second to seventh embodiments can be configured.
FIG. 21 is a block diagram illustrating a configuration of the
The
The
It is assumed that the
情報処理サーバ３００は、蓄積判定部１０が蓄積すると判定した評価情報を、蓄積制御部１１を介して自身の装置内の評価情報データベース２３に蓄積する。
また、情報処理サーバ３００は、通信部２１が他の機器からの送信された評価情報の取得要求を受信すると、に応じて、出力制御部１７が評価情報データベース３０５に蓄積した対応する評価情報を読み出して、通信部２１を介して他の機器に送信する。
The
In addition, when the
以上のように、この実施の形態８によれば、搭乗者の発話の音声認識結果からキーワードを抽出する情報抽出部３と、発話時の移動体の位置情報を取得する位置情報取得部５と、キーワードと、発話時の移動体の位置情報とを組み合わせた評価情報を作成する評価情報作成部８と、キーワードに関連する事象について、現在の状況を示す情報を参照情報として取得する参照情報取得部９と、評価情報と参照情報とを比較して評価情報を蓄積するか否か判定する蓄積判定部１０とを備えるように構成したので、特定の地物が存在しない場合の搭乗者の発話内容を認識し、認識結果から抽出されたキーワードに関連する情報のうち現在の状況が反映された参照情報を用いて評価情報を評価して蓄積するか否かを判定することをできる。これにより、発話が行われた地点とは関係のない発話、発話の対象である事象の現在の状況を反映していない発話等に基づいて評価情報が蓄積されるのを抑制することができる。その結果、各事象に対する信頼性の高い評価情報を効率的に蓄積することができる。
As described above, according to the eighth embodiment, the
なお、上述した実施の形態８では、実施の形態１−７の機能を情報処理サーバ３００が備える構成を示したが、情報処理サーバ３００に限定されることなく、可能であれば図示しない携帯端末が備えて実現してもよい。また、情報処理装置１００、情報処理サーバ３００および図示しない携帯端末が連携して、実施の形態１−７で示した機能を実現してもよい。また、情報処理装置１００と図示しない携帯端末の連携、または情報処理装置１００と情報処理サーバ３００の連携により、実施の形態１−７で示した機能を実現してもよい。
In the above-described eighth embodiment, the configuration in which the
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 In addition to the above, within the scope of the present invention, the present invention can freely combine each embodiment, modify any component of each embodiment, or omit any component of each embodiment. It is.
１ 入力部、２ 音声認識部、３ 情報抽出部、４ キーワードデータベース、５ 位置情報取得部、６ 車両情報取得部、７ 地図データベース、８ 評価情報作成部、９，９ａ 参照情報取得部、１０，１０ａ，１０ｂ 蓄積判定部、１１ 蓄積制御部、１２，２１ 通信部、１３ 属性情報蓄積部、１４ 話者特定部、１５ 経路情報蓄積部、１６ 評価情報取得部、１７ 出力制御部、２２，３０１ 制御部、２３ 評価情報データベース、１００，１００ａ，１００ｂ，１００ｃ 情報処理装置、２００ 蓄積サーバ、３００ 情報処理サーバ。
DESCRIPTION OF
Claims (9)
前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部とを備えた情報処理装置。 An information extraction unit for extracting information from the speech recognition result of the utterance of the mobile passenger;
A position information acquisition unit for acquiring position information of the moving body at the time of the utterance;
An evaluation information creation unit that creates evaluation information that combines the information extracted by the information extraction unit and the position information acquired by the position information acquisition unit;
A reference information acquisition unit that acquires, as reference information, the current state of an event related to the evaluation information created by the evaluation information creation unit;
An information processing apparatus comprising: an accumulation determination unit that compares evaluation information created by the evaluation information creation unit with reference information acquired by the reference information acquisition unit and determines whether to accumulate the evaluation information.
前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者の属性情報を取得することを特徴とする請求項１記載の情報処理装置。 A speaker identifying unit for identifying a speaker among the passengers;
The information processing apparatus according to claim 1, wherein the reference information acquisition unit acquires attribute information of a passenger specified as a speaker by the speaker specifying unit as the reference information.
前記評価情報作成部は、前記キーワードを含む情報と、前記発話時の日時情報をさらに組み合わせて前記評価情報を作成し、
前記参照情報取得部は、前記参照情報として、前記評価情報を構成する前記情報に含まれる日時を示すキーワード日時情報または位置を示すキーワード位置情報の少なくとも１つを取得し、
前記蓄積判定部は、前記評価情報に含まれる前記発話時の日時情報と前記参照情報としての前記キーワード日時情報とを比較する、または前記評価情報に含まれる前記発話時の位置情報と、前記参照情報としての前記キーワード位置情報とを比較することを特徴とする請求項１記載の情報処理装置。 Including keywords as information extracted by the information extraction unit,
The evaluation information creating unit creates the evaluation information by further combining information including the keyword and date information at the time of the utterance,
The reference information acquisition unit acquires, as the reference information, at least one of keyword date information indicating a date and time or keyword position information indicating a position included in the information constituting the evaluation information,
The accumulation determination unit compares the date and time information at the time of utterance included in the evaluation information with the keyword date and time information as the reference information, or the position information at the time of utterance included in the evaluation information and the reference The information processing apparatus according to claim 1, wherein the keyword position information as information is compared.
前記通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
前記通信部を介して入力された前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか判定する蓄積判定部と、
前記蓄積判定部が蓄積すると判定した前記評価情報を蓄積する蓄積部と、
前記通信部を介して前記外部機器から前記評価情報の取得要求が入力された場合に、前記蓄積部に蓄積された評価情報を取得し、前記外部機器に出力するための制御を行う出力制御部とを備えた情報処理サーバ。 A communication unit that communicates with an external device;
An information extraction unit that extracts information from the speech recognition result of the utterance of the mobile passenger input via the communication unit;
A position information acquisition unit for acquiring position information of the mobile body at the time of the utterance input via the communication unit;
An evaluation information creation unit that creates evaluation information that combines the information extracted by the information extraction unit and the position information acquired by the position information acquisition unit;
A reference information acquisition unit that acquires, as reference information, the current state of an event related to the evaluation information created by the evaluation information creation unit;
An accumulation determination unit that compares the evaluation information created by the evaluation information creation unit with the reference information acquired by the reference information acquisition unit, and determines whether to accumulate the evaluation information;
An accumulation unit for accumulating the evaluation information determined to be accumulated by the accumulation determination unit;
An output control unit that performs control for acquiring the evaluation information stored in the storage unit and outputting the evaluation information to the external device when a request for acquiring the evaluation information is input from the external device via the communication unit Information processing server with
移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部として機能させるためのプログラム。 Computer
An information extraction unit for extracting information from the speech recognition result of the utterance of the mobile passenger;
A position information acquisition unit for acquiring position information of the moving body at the time of the utterance;
An evaluation information creation unit that creates evaluation information that combines the information extracted by the information extraction unit and the position information acquired by the position information acquisition unit;
A reference information acquisition unit that acquires, as reference information, the current state of an event related to the evaluation information created by the evaluation information creation unit;
A program for comparing the evaluation information created by the evaluation information creation unit with the reference information acquired by the reference information acquisition unit to function as an accumulation determination unit that determines whether or not to accumulate the evaluation information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016013269A JP6590710B2 (en) | 2016-01-27 | 2016-01-27 | Information processing apparatus, information processing server, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016013269A JP6590710B2 (en) | 2016-01-27 | 2016-01-27 | Information processing apparatus, information processing server, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017134577A true JP2017134577A (en) | 2017-08-03 |
| JP6590710B2 JP6590710B2 (en) | 2019-10-16 |
Family
ID=59503705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016013269A Active JP6590710B2 (en) | 2016-01-27 | 2016-01-27 | Information processing apparatus, information processing server, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6590710B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200651A (en) * | 2018-05-17 | 2019-11-21 | オリンパス株式会社 | Information processor, method for processing information, and program |
| JP2019219859A (en) * | 2018-06-19 | 2019-12-26 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| JP2020034463A (en) * | 2018-08-30 | 2020-03-05 | Ｚホールディングス株式会社 | Evaluation device, method for evaluation, and evaluation program |
| WO2021161377A1 (en) * | 2020-02-10 | 2021-08-19 | 三菱電機株式会社 | Speaker estimation device and speaker estimation method |
| KR20220113619A (en) * | 2021-02-06 | 2022-08-16 | 주식회사 엠에이치엔씨티 | Vehicle black box event detection system during parking and driving, and Event learning method thereof |
| JP7521920B2 (en) | 2020-04-03 | 2024-07-24 | 株式会社Subaru | Driving assistance device and data collection system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007304977A (en) * | 2006-05-12 | 2007-11-22 | Yafoo Japan Corp | Method and system for evaluating contribution information |
| JP2009104319A (en) * | 2007-10-22 | 2009-05-14 | Navitime Japan Co Ltd | Traffic institute failure information and restoration information provision system and information provision server and mobile terminal apparatus and traffic institute failure information and restoration information provision method |
| WO2012011496A1 (en) * | 2010-07-21 | 2012-01-26 | 楽天株式会社 | Server device, submit information processing method, submit information processing program, and recording medium |
| JP2014123403A (en) * | 2014-03-17 | 2014-07-03 | Yahoo Japan Corp | Information providing device and information providing method |
| US20140259189A1 (en) * | 2013-03-11 | 2014-09-11 | Qualcomm Incorporated | Review system |
| WO2015059764A1 (en) * | 2013-10-22 | 2015-04-30 | 三菱電機株式会社 | Server for navigation, navigation system, and navigation method |
| JP2015195030A (en) * | 2014-03-27 | 2015-11-05 | 株式会社電通 | Evacuation support system, evacuation support management program, evacuation support terminal application program, and evacuation support method |
-
2016
- 2016-01-27 JP JP2016013269A patent/JP6590710B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007304977A (en) * | 2006-05-12 | 2007-11-22 | Yafoo Japan Corp | Method and system for evaluating contribution information |
| JP2009104319A (en) * | 2007-10-22 | 2009-05-14 | Navitime Japan Co Ltd | Traffic institute failure information and restoration information provision system and information provision server and mobile terminal apparatus and traffic institute failure information and restoration information provision method |
| WO2012011496A1 (en) * | 2010-07-21 | 2012-01-26 | 楽天株式会社 | Server device, submit information processing method, submit information processing program, and recording medium |
| US20140259189A1 (en) * | 2013-03-11 | 2014-09-11 | Qualcomm Incorporated | Review system |
| WO2015059764A1 (en) * | 2013-10-22 | 2015-04-30 | 三菱電機株式会社 | Server for navigation, navigation system, and navigation method |
| JP2014123403A (en) * | 2014-03-17 | 2014-07-03 | Yahoo Japan Corp | Information providing device and information providing method |
| JP2015195030A (en) * | 2014-03-27 | 2015-11-05 | 株式会社電通 | Evacuation support system, evacuation support management program, evacuation support terminal application program, and evacuation support method |
Non-Patent Citations (1)
| Title |
|---|
| 大本 義正 他２名: "コミュニケーション中の非言語情報に基づく嘘の自動判別", ２００９年度人工知能学会全国大会（第２３回）論文集 ［ＣＤ−ＲＯＭ］, JPN6019031729, 17 June 2009 (2009-06-17), ISSN: 0004097626 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200651A (en) * | 2018-05-17 | 2019-11-21 | オリンパス株式会社 | Information processor, method for processing information, and program |
| JP7064952B2 (en) | 2018-05-17 | 2022-05-11 | オリンパス株式会社 | Information processing equipment, information processing methods and programs |
| JP2019219859A (en) * | 2018-06-19 | 2019-12-26 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
| JP7095431B2 (en) | 2018-06-19 | 2022-07-05 | トヨタ自動車株式会社 | Information processing equipment, information processing method, information processing system |
| JP2020034463A (en) * | 2018-08-30 | 2020-03-05 | Ｚホールディングス株式会社 | Evaluation device, method for evaluation, and evaluation program |
| WO2021161377A1 (en) * | 2020-02-10 | 2021-08-19 | 三菱電機株式会社 | Speaker estimation device and speaker estimation method |
| JPWO2021161377A1 (en) * | 2020-02-10 | 2021-08-19 | ||
| JP7337965B2 (en) | 2020-02-10 | 2023-09-04 | 三菱電機株式会社 | speaker estimation device |
| JP7521920B2 (en) | 2020-04-03 | 2024-07-24 | 株式会社Subaru | Driving assistance device and data collection system |
| KR20220113619A (en) * | 2021-02-06 | 2022-08-16 | 주식회사 엠에이치엔씨티 | Vehicle black box event detection system during parking and driving, and Event learning method thereof |
| KR102468307B1 (en) * | 2021-02-06 | 2022-11-17 | 주식회사 엠에이치엔씨티 | Vehicle black box event detection system during parking and driving, and Event learning method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6590710B2 (en) | 2019-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6590710B2 (en) | Information processing apparatus, information processing server, and program | |
| US10875525B2 (en) | Ability enhancement | |
| KR100819234B1 (en) | Method and apparatus for setting destination in navigation terminal | |
| KR20180070970A (en) | Method and Apparatus for Voice Recognition | |
| JP5677647B2 (en) | Navigation device | |
| US8645143B2 (en) | Systems and methods of performing speech recognition using global positioning (GPS) information | |
| JP4255950B2 (en) | Navigation device | |
| US20100292917A1 (en) | System and method for guiding a user through a surrounding environment | |
| JP2007017990A (en) | Word string recognition device | |
| JP2006195637A (en) | Voice interaction system for vehicle | |
| JP6846617B2 (en) | Information provision method, server, information terminal device, system and voice dialogue system | |
| JP4156563B2 (en) | Word string recognition device | |
| JP2006251298A (en) | Device and method for inputting voice | |
| US12056198B2 (en) | Method and apparatus for enhancing a geolocation database | |
| JPWO2015059764A1 (en) | Navigation server, navigation system, and navigation method | |
| KR20190011458A (en) | Vehicle, mobile for communicate with the vehicle and method for controlling the vehicle | |
| JP7426176B2 (en) | Information processing system, information processing method, information processing program, and server | |
| US9803991B2 (en) | Route guide device and route guide method | |
| JP6956232B2 (en) | Search system, search method, and search program | |
| US10593323B2 (en) | Keyword generation apparatus and keyword generation method | |
| US20180176332A1 (en) | Navigation system with content delivery mechanism and method of operation thereof | |
| JP4497526B2 (en) | NAVIGATION DEVICE, INFORMATION PRESENTATION METHOD, AND NAVIGATION PROGRAM | |
| JP4661379B2 (en) | In-vehicle speech recognition device | |
| JP2023045814A (en) | Navigation device, navigation method and program | |
| JP2022103675A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180502 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6590710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |