JP2020091647A - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP2020091647A
JP2020091647A JP2018228220A JP2018228220A JP2020091647A JP 2020091647 A JP2020091647 A JP 2020091647A JP 2018228220 A JP2018228220 A JP 2018228220A JP 2018228220 A JP2018228220 A JP 2018228220A JP 2020091647 A JP2020091647 A JP 2020091647A
Authority
JP
Japan
Prior art keywords
vehicle
information
hash tag
information processing
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018228220A
Other languages
English (en)
Other versions
JP7176383B2 (ja
Inventor
亮太郎 藤原
Ryotaro Fujiwara
亮太郎 藤原
鈴木　恵子
Keiko Suzuki
恵子 鈴木
真 本多
Makoto Honda
真 本多
智景 久保
Chikage Kubo
智景 久保
亮太 尾首
Ryota Oshu
亮太 尾首
健司 藤木
Kenji Fujiki
健司 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018228220A priority Critical patent/JP7176383B2/ja
Priority to CN201911145293.1A priority patent/CN111277485B/zh
Priority to US16/691,680 priority patent/US11354516B2/en
Publication of JP2020091647A publication Critical patent/JP2020091647A/ja
Application granted granted Critical
Publication of JP7176383B2 publication Critical patent/JP7176383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】操作することなく、ハッシュタグである指定文字列を入力できる情報処理装置を得ること。【解決手段】情報処理装置は、音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成する生成部を備える。この構成によりユーザは操作することなく、ハッシュタグである指定文字列を入力できる。そのため、ユーザの操作（手入力）に基づきハッシュタグを生成する従来技術に比べて、ユーザの負担を大幅に軽減できると共に、入力誤りを抑制できる。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献１には、ユーザが手間を感じることなくハッシュタグの入力を可能とする技術が開示されている。
特開２０１８−７７７８５号公報
しかしながら特許文献１に開示される技術では、情報処理装置を操作しなければハッシュタグを入力することができないという課題があった。
本発明は、上記の点に鑑みてなされたものであって、操作することなく、ハッシュタグである指定文字列を入力できる情報処理装置を得ること目的とする。
上記の課題を解決するため、本発明の実施の形態に係る情報処理装置は、音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成する生成部を備える。
本実施の形態によれば、ハッシュタグを手入力する必要が不要になるため、従来技術に比べて、ユーザの負担を軽減することができる。
また本実施の形態において、
前記生成部は、前記音声情報に基づき前記発話内容に対応する前記指定文字列を生成し、生成した前記指定文字列に、前記車両に設けられるセンサで検出されたデータを紐付けてアップロードするように構成してもよい。
本実施の形態によれば、ハッシュタグ検索を行ったユーザは、発声された地点の状況をより詳細に確認できる。
本発明の他の実施の形態は、表示制御プログラムとして実現可能である。
本発明によれば、操作することなく指定文字列を入力できるという効果を奏する。
本発明の実施の形態に係る情報処理装置の構成を示す図である。 情報処理装置１０の第１動作例を説明するためのフローチャートである。 情報処理装置１０の第２動作例を説明するためのフローチャートである。 ハッシュタグが生成される状況を説明するための図である。 本発明の実施の形態に係る情報処理装置１０を実現するためのハードウェア構成例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。
実施の形態．
図１は本発明の実施の形態に係る情報処理装置１０の構成を示す図である。車両１００には、情報処理装置１０、マイク１、自動車制御用の車載ＥＣＵ（Electronic Control Unit）２、センサ３及び情報処理装置１０が設けられる。以下では「車両１００」を単に「車両」と称する場合がある。なお、情報処理装置１０が適用される車両は、自動車に限定されず、例えばバイク、電車などの自動車以外の乗り物でもよい。
マイク１は、車両の搭乗者が発する音声を振動波形として検出し、検出した振動波形を示す信号を音声情報として出力する音声検出器である。
車載ＥＣＵ２は、例えば車両に設けられるエンジン、セルモータ、ブレーキ、ワイパーなどを制御するコンピュータであり、状況検出部１２に対して車両情報を出力する。車両情報は、例えばエンジンの回転数、アクセルペダルの操作量（アクセル踏み込み量）、ブレーキの操作量（ブレーキ踏み込み量）、ワイパーの作動状態（停止中、動作速度など）、方向指示器の指示方向などを示す情報である。車載ＥＣＵ２から出力される車両情報は、これらに限定されるものではない。
センサ３は、例えばＧＰＳ（Global Positioning System）センサ、車載カメラ、車載レーダなどの検出器である。センサ３の種類は、これらに限定されるものではない。センサ３は、これらのセンサで検出された情報をセンサ情報として、状況検出部１２へ出力する。
情報処理装置１０は、通信ネットワーク２００を介して、データセンタ３００と通信可能に接続される。データセンタ３００には、端末装置４００が接続される。端末装置４００には、Facebook（登録商標）、twitter（登録商標）、Instagram（登録商標）等のＳＮＳ（Social Networking Service）サイトにアクセスするためのサービスアプリがインストールされている。端末装置４００は、サービスアプリを起動することで、ハッシュタグを利用して、所定の情報を検索することができる。例えば、ユーザが端末装置４００で「＃豪雨」を検索すると、データセンタ３００ではこのハッシュタグに紐付く情報が検索され、検索された情報が端末装置４００に提供される。以下では情報処理装置１０の構成に具体的に説明する。
情報処理装置１０は、音声情報、車両情報、センサ情報などに基づきハッシュタグを生成するように構成されている。情報処理装置１０は、音声検出部１１、状況検出部１２、ハッシュタグ管理部１３、ハッシュタグ生成部１４及び通信制御部１５を備える。
音声検出部１１は、例えば、マイク１から出力される音声情報を含まれる周波数成分を解析することによって発話内容に対応する情報を特定して、ハッシュタグ生成部１４に出力する。発声内容に対応する情報を特定する方法は、特開２０１７−１２６８６１などに開示されるように公知であるため、説明を割愛する。
状況検出部１２は、車載ＥＣＵ２からの車両情報、センサ３からのセンサ情報などに基づき、車両の運転状況や周囲状況を示す情報を生成し、ハッシュタグ生成部１４へ出力する。例えば、ワイパーが低速で動作している場合、小雨が降っている可能性が高い。この場合、状況検出部１２は、後述する検出条件管理部３０１で設定された検出条件にワイパーの動作速度を照合することにより、小雨が降っていると判定したとき、当該判定情報を状況検出情報として出力する。また、急ブレーキが踏まれた場合、例えば見通しの悪い交差点などで人や車が飛び出してきたために車両が急停止した可能性が高い。この場合、状況検出部１２は、検出条件管理部３０１で設定された検出条件にブレーキの操作量を照合することにより、交通事故が発生しやすい場所であると判定したとき、当該判定情報を状況検出情報として出力する。また、センサ３がＧＰＳセンサである場合、状況検出部１２は、ＧＰＳセンサからの位置情報に基づき車両の現在位置と進行方向とを特定し、特定した現在位置と進行方向の情報を状況検出情報として出力する。
ハッシュタグ管理部１３は、音声検出部１１からの音声内容、状況検出部１２からの状況検出情報などが、ハッシュタグ検索され易くなるようにするため、音声内容、車両情報などを抽象化したハッシュタグを管理する。例えば、音声内容が「少し雨が降っている」、「霧雨だ」などの場合、これらの発話内容を抽象化した「♯小雨」というハッシュタグの作成ルールを予め設定しておくことによって、ハッシュタグ検索がし易くなる。また、状況検出情報がワイパーの動作状態に対応したものである場合、ワイパーの動作速度に対応するハッシュタグの作成ルールを予め設定しておくことによって、車両情報をハッシュタグ検索に活用することもできる。
ハッシュタグ管理部１３は、ハッシュタグリストを備え、このハッシュタグリストを参照することによって、音声内容、車両情報、センサ情報などに対応するハッシュタグを出力するように構成してもよいし、入力された音声内容及び状況検出情報を学習することによって、対応するハッシュタグを自動で生成する学習器として構成してもよい。
ハッシュタグリストは、例えば複数の音声内容と、それらの音声内容のそれぞれを抽象化した複数のハッシュタグとを対応付けたテーブル情報でもよいし、複数の車両情報と、それらの車両情報のそれぞれを抽象化した複数のハッシュタグとを対応付けたテーブル情報でもよい。具体的には、「太陽が反射してまぶしい」、「西日だ」などの音声内容には「♯まぶしい」、「♯西日」などのハッシュタグが対応付けられ、「あぶない信号無視だ」などの音声内容には「♯あぶない」、「♯交差点」などのハッシュタグが対応付けられている。また「少し雨が降っている」、「霧雨だ」などの音声内容には「♯小雨」、「♯にわか雨」などのハッシュタグが対応付けられ、「ゲリラ豪雨だ」、「突然豪雨になった」などの音声内容には「♯ゲリラ豪雨」などのハッシュタグが対応付けられている。
また、ワイパーが低速で動作していることを示す状況検出情報（ワイパー低速運転）には「♯小雨」、「♯にわか雨」などのハッシュタグが対応付けられ、ワイパーが高速で動作していることを示す状況検出情報（ワイパー高速運転）には「♯大雨」、「♯豪雨」などのハッシュタグが対応付けられている。また、急ブレーキが踏まれたことを示す状況検出情報（ブレーキ踏み込み量大）には「♯あぶない」、「♯交差点」などのハッシュタグが対応付けられている。なお、ハッシュタグリストの内容はこれらに限定されるものではない。
ハッシュタグ管理部１３が学習器の場合、例えば、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習などの機械学習が行われる。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習方法は、回帰分析、ｋ平均法、ブートストラップ法など、公知の手法を用いることができるため、ここでは詳細な説明は割愛する。
ハッシュタグ生成部１４は、ハッシュタグ管理部１３を参照することによって、音声情報、状況検出情報などに対応する指定文字列であるハッシュタグを生成して出力する生成部である。例えば、音声内容が「少し雨が降っている」、「霧雨だ」などの場合、「♯小雨」、「♯にわか雨」などのハッシュタグが生成される。また、停止状態のワイパーが短時間で高速動作した場合に検出される状況検出情報に基づき、「ゲリラ豪雨」と判断される場合には、「♯ゲリラ豪雨」というハッシュタグが生成される。
また、ハッシュタグ生成部１４は、音声情報と状況検出情報とを組み合わせて、ハッシュタグを生成するように構成してよい。例えば、音声内容が「雨だ」などの場合でも、停止状態のワイパーが短時間で高速動作した場合に検出される状況検出情報に基づき「ゲリラ豪雨」と判断される場合には、「♯ゲリラ豪雨」というハッシュタグが生成される。
また、ハッシュタグ生成部１４は、音声内容が「まぶしい」の場合、この音声が検出されたときの車両の位置及び進行方向を示すデータを紐付けた「♯まぶしい」というハッシュタグを生成するように構成してよい。この場合、ハッシュタグ検索をしたユーザは、「まぶしい」と発話された場所が例えば上り車線の特定の場所であることを確認できる。
また、ハッシュタグ生成部１４は、音声内容が「まぶしい」の場合、この音声が検出されたときに撮像された動画の撮像データを紐付けた「♯まぶしい」というハッシュタグを生成するように構成してよい。この場合、ハッシュタグ検索をしたユーザは、「まぶしい」と発声された地点の状況をリアルタイムに確認できる。
また、ハッシュタグ生成部１４は、音声内容が「虹だ」の場合、この音声が検出されたときに撮像された静止画の撮像データを紐付けた「♯虹」というハッシュタグを生成するように構成してよい。この場合、ハッシュタグ検索をしたユーザは、データ通信量の上昇を抑制しながら虹の様子を確認できる。
通信制御部１５は、通信ネットワーク２００との間で無線通信又は有線通信により情報を授受するインターフェイスである。通信ネットワーク２００は、インターネット、携帯端末用のネットワークなどである。通信制御部１５は、ハッシュタグ生成部１４で生成されたハッシュタグを、通信ネットワーク２００を介して、データセンタ３００に送信すると共に、データセンタ３００から送信された検出条件を受信して、状況検出部１２に送信する。
次にデータセンタ３００の構成を説明する。データセンタ３００は、検出条件管理部３０１、データ格納部３０２、ハッシュタグ検索部３０３、通信制御部３０４、ハッシュタグ更新部３０５及び外部連携部３０６を備える。
通信制御部３０４は、通信ネットワーク２００との間で無線通信又は有線通信により情報を授受するインターフェイスである。
検出条件管理部３０１は、状況検出部１２の検出条件を管理する。例えば、ワイパーが低速で動作している場合、小雨が降っている可能性が高いため、そのような状況であることを、状況検出部１２に検出させる必要がある。そのため、検出条件管理部３０１には、車両情報の種類、車両情報の値などに対応する検出条件が複数設定されている。これらの検出条件は、通信制御部３０４、通信ネットワーク２００及び通信制御部１５を介して、状況検出部１２に入力される。検出条件管理部３０１の検出条件は、車両情報の種類などに応じて変更が可能である。
データ格納部３０２には、ハッシュタグ生成部１４で生成された複数のハッシュタグが格納される。ハッシュタグ検索部３０３は、データ格納部３０２を参照することにより、端末装置４００で検索されたハッシュタグを読み出す。ハッシュタグ更新部３０５は、ハッシュタグ管理部１３に格納される情報を更新する機能である。外部連携部３０６は、端末装置４００との間で無線通信又は有線通信により情報を授受するインターフェイスである。
次に図２を用いて情報処理装置１０の第１動作を説明する。図２は情報処理装置１０の第１動作例を説明するためのフローチャートである。音声検出部１１によって発話内容が検出されると（ステップＳ１）、ハッシュタグ生成部１４が例えばハッシュタグ管理部１３を格納されるハッシュタグリストを参照することにより（ステップＳ２）、発話内容に対応するハッシュタグが生成される（ステップＳ３）。
車両情報及びセンサ情報の少なくとも一方が取得されると（ステップＳ４）、ステップＳ３で生成されたハッシュタグに状況検出情報、例えば音声が検出されたときの車両の位置及び進行方向を示すデータが紐付けられて、データセンタ３００へ送信される（ステップＳ５）。このハッシュタグを受信したデータセンタ３００は、データ格納部３０２にハッシュタグを格納する（ステップＳ６）。端末装置でハッシュタグ検索が行われると、関連するハッシュタグの検索が開始され（ステップＳ７）、検索結果であるハッシュタグが端末装置４００に送信される。端末装置４００にはこのハッシュタグに対応する情報が表示される（ステップＳ８）。
次に図３を用いて情報処理装置１０の第２動作を説明する。図３は情報処理装置１０の第２動作例を説明するためのフローチャートである。ステップＳ１１において、状況検出部１２で検出された車両情報が検出条件に合致したか否かが判断され、車両情報が検出条件に合致した場合（ステップＳ１１，Ｙｅｓ）、ハッシュタグ生成部１４が例えばハッシュタグ管理部１３を格納されるハッシュタグリストを参照することにより、車両情報に対応するハッシュタグが生成される（ステップＳ１２）。
ステップＳ１３において、例えば車両情報が検出された時点から一定時間経過するまでの間に、音声検出部１１で発話内容が検出されたか否かが判断される。発話内容が検出されない場合（ステップＳ１３，Ｎｏ）、ステップＳ１２で生成されたハッシュタグがデータセンタ３００へ送信され、データセンタ３００のデータ格納部３０２に格納される。
発話内容が検出された場合（ステップＳ１３，Ｙｅｓ）、ハッシュタグ生成部１４が例えばハッシュタグ管理部１３を格納されるハッシュタグリストを参照することにより、発話内容に対応するハッシュタグが生成される（ステップＳ１４）。ステップＳ１５では、ステップＳ１４で生成されたハッシュタグに状況検出情報、例えば音声が検出されたときの車両の位置及び進行方向を示すデータが紐付けられて、データセンタ３００へ送信され、データセンタ３００のデータ格納部３０２に格納される。ステップＳ６以降の処理動作は図２に示される処理動作を同様のため、説明を割愛する。
なお、情報処理装置１０の動作例はこれらの限定されるものではなく、例えば音声検出部１１で発話内容が検出されたときに、車両情報が検出された場合でも、発話内容に対応するハッシュタグのみをデータセンタ３００へ送信するように構成してもよい。このように構成される場合でも、ハッシュタグを手入力する必要が不要になるため、従来技術に比べて、ユーザの負担を軽減することができる。
図４はハッシュタグが生成される状況を説明するための図である。図４に示される道路の上り車線には、車両１００と、車両１００の数キロ後方に位置する車両１００Ａとが走行中であり、下り車線には、車両１００Ｂが走行中である。上り車線を走行中の車両が特定の場所Ａを通過するとき、特定の場所Ａには近隣のビルの窓で反射した太陽光が照りつけるため、車両１００の運転手がまぶしいと感じる状況であるとする。
特定の場所Ａを通過するときに車両１００の運転手が「まぶしい」と発声した場合、その発話内容に基づき「♯まぶしい」というハッシュタグが生成される。また、ＧＰＳなどのセンサ３から出力されるセンサ情報に基づき、車両の移動方向と現在位置が検出されるため、「♯まぶしい」というハッシュタグには、車両の移動方向と現在位置を示す情報が紐付けられる。このようにして生成されたハッシュタグは、データ格納部３０２に格納される。車両１００の後方を走行中の車両１００Ａの搭乗者が、「♯まぶしい」というハッシュタグを利用して関連する情報を検索した場合、車両１００Ａが特定の場所Ａに到達する前に、この先にまぶしい場所があることを知得できる。なお、下り車線を走行中の車両１００Ｂは車両１００の走行車線と異なる車線を走行しているため、車両１００Ｂの搭乗者が「♯まぶしい」というハッシュタグを利用して関連する情報を検索しても、車両１００Ｂの搭乗者には、車両１００Ａの搭乗者が閲覧する情報と同じものは提供されない。
この場合、情報処理装置１０は、「まぶしい」と発声されたときに、車載カメラで特定の場所Ａ付近を撮像し、その撮像データを「♯まぶしい」というハッシュタグに対応付けて、データセンタ３００にアップロードするように構成してもよい。これにより、後続の車両１００Ａの搭乗者は、特定の場所Ａの風景を確認できるため、その状況をより詳細に確認できる。
また、情報処理装置１０は、「あぶない」と発声されたときには、「あぶない」と発声された前後数十秒間に撮像された撮像データを「♯あぶない」というハッシュタグに対応付けて、データセンタ３００にアップロードするように構成してもよい。これにより、ハッシュタグ検索をしたユーザは、交通事故が発生し易い見通しの悪い交差点などの状況を、詳細に確認できる。
また、音声内容が「ゲリラ豪雨」の場合、この音声が検出されたときに撮像された動画の撮像データを「♯ゲリラ豪雨」というハッシュタグに紐付けてもよいし、またマイク１で集音された音（車両に雨が当たる音）をこのハッシュタグに紐付けてもよい。このように構成することによって、ハッシュタグ検索をしたユーザは、ゲリラ豪雨の状況をリアルタイムに確認できる。
図５は本発明の実施の形態に係る情報処理装置１０を実現するためのハードウェア構成例を示す図である。情報処理装置１０は、ＣＰＵ（Central Processing Unit）、システムＬＳＩ（Large Scale Integration）などのプロセッサ１０Ａと、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで構成されるメモリ１０Ｂと、入出力インターフェイス１０Ｃとにより実現可能である。なお、プロセッサ１０Ａは、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）といった演算手段であってもよい。プロセッサ１０Ａ、メモリ１０Ｂ及び入出力インターフェイス１０Ｃは、バス１０Ｄに接続され、バス１０Ｄを介して、情報の受け渡しを相互に行うことが可能である。入出力インターフェイス１０Ｃは、ハッシュタグ生成部１４と通信ネットワーク２００との間で情報の送受信を行う。情報処理装置１０を実現する場合、情報処理装置１０用のプログラムをメモリ１０Ｂに格納しておき、このプログラムをプロセッサ１０Ａが実行することにより、情報処理装置１０の音声検出部１１、状況検出部１２、ハッシュタグ管理部１３、ハッシュタグ生成部１４などが実現される。
なお、本実施の形態に係る情報処理装置１０は、車両に設けられるナビゲーション装置、音声認識装置などに限定されず、スマートフォン、タブレット端末、携帯電話、パーソナルコンピュータなどでもよい。
以上に説明したように、本発明の実施の形態に係る情報処理装置１０は、音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成する生成部（ハッシュタグ生成部１４）を備える。車両の運転中は機器操作することが困難であり、さらに機器に表示された情報を見ることが困難であるが、情報処理装置１０によれば、操作することなく指定文字列であるハッシュタグを容易に入力できる。そのため、ユーザの操作（手入力）に基づきハッシュタグを生成する従来技術に比べて、ユーザの負担を大幅に軽減できると共に、入力誤りを抑制できる。
またハッシュタグ生成部１４は、音声情報に基づき発話内容に対応する指定文字列を生成し、生成した指定文字列に、車両に設けられるセンサで検出されたデータを紐付けてアップロードするように構成してもよい。この構成により、ハッシュタグ検索を行ったユーザは、発声された地点の状況をより詳細に確認できるようになる。
また本実施の形態に係る情報処理装置プログラムは、音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成するステップをコンピュータに実行させる。本実施の形態に係る情報処理装置プログラムによれば、ユーザの操作（手入力）に基づきハッシュタグを生成する従来技術に比べて、ユーザの負担を大幅に軽減できると共に、入力誤りを抑制できる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
１：マイク
２：車載ＥＣＵ
３：センサ
１０：情報処理装置
１０Ａ：プロセッサ
１０Ｂ：メモリ
１０Ｃ：入出力インターフェイス
１０Ｄ：バス
１１：音声検出部
１２：状況検出部
１３：ハッシュタグ管理部
１４：ハッシュタグ生成部
１５：通信制御部
１００：車両
１００Ａ：車両
１００Ｂ：車両
２００：通信ネットワーク
３００：データセンタ
３０１：検出条件管理部
３０２：データ格納部
３０３：ハッシュタグ検索部
３０４：通信制御部
３０５：ハッシュタグ更新部
３０６：外部連携部
４００：端末装置

Claims (3)

  1. 音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成する生成部を備える、
    情報処理装置。
  2. 前記生成部は、前記音声情報に基づき前記発話内容に対応する前記指定文字列を生成し、生成した前記指定文字列に、前記車両に設けられるセンサで検出されたデータを紐付けてアップロードする請求項１に記載の情報処理装置。
  3. 音声検出部で検出される発話内容に対応する音声情報と、車両から得られる車両情報との少なくとも一方に基づき、指定文字列を生成するステップを
    をコンピュータに実行させる情報処理プログラム。
JP2018228220A 2018-12-05 2018-12-05 情報処理装置及び情報処理プログラム Active JP7176383B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018228220A JP7176383B2 (ja) 2018-12-05 2018-12-05 情報処理装置及び情報処理プログラム
CN201911145293.1A CN111277485B (zh) 2018-12-05 2019-11-21 信息处理装置以及记录介质
US16/691,680 US11354516B2 (en) 2018-12-05 2019-11-22 Information processor and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018228220A JP7176383B2 (ja) 2018-12-05 2018-12-05 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020091647A true JP2020091647A (ja) 2020-06-11
JP7176383B2 JP7176383B2 (ja) 2022-11-22

Family

ID=70971005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018228220A Active JP7176383B2 (ja) 2018-12-05 2018-12-05 情報処理装置及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11354516B2 (ja)
JP (1) JP7176383B2 (ja)
CN (1) CN111277485B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897996B (zh) * 2020-08-10 2023-10-31 北京达佳互联信息技术有限公司 话题标签推荐方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308848A (ja) * 2005-04-28 2006-11-09 Honda Motor Co Ltd 車両機器制御装置
JP2012008969A (ja) * 2010-06-28 2012-01-12 Honda Motor Co Ltd 携帯機器と連携した車載機器を用いてコンテンツを自動的に投稿するためのシステム
US20130332162A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Systems and Methods for Recognizing Textual Identifiers Within a Plurality of Words
WO2015059764A1 (ja) * 2013-10-22 2015-04-30 三菱電機株式会社 ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
US20150220992A1 (en) * 2014-02-05 2015-08-06 Wendell Brown Presenting an advertisement in a vehicle
JP2015146550A (ja) * 2014-02-04 2015-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015219225A (ja) * 2014-05-21 2015-12-07 クラリオン株式会社 支援システム、及び支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029985B2 (ja) * 2013-01-11 2016-11-24 クラリオン株式会社 情報処理装置、操作システム、および、情報処理装置の操作方法
US10284651B2 (en) * 2014-02-27 2019-05-07 Harman International Industries, Incorporated Data aggregation and delivery
JP6444128B2 (ja) * 2014-10-10 2018-12-26 クラリオン株式会社 検索システム
US9838347B2 (en) * 2015-03-11 2017-12-05 Microsoft Technology Licensing, Llc Tags in communication environments
JP2017126861A (ja) 2016-01-13 2017-07-20 大和ハウス工業株式会社 映像表示システム及び映像表示方法
JP6501747B2 (ja) 2016-11-11 2019-04-17 Ｎｅｃパーソナルコンピュータ株式会社 情報処理システム、サーバ、および情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308848A (ja) * 2005-04-28 2006-11-09 Honda Motor Co Ltd 車両機器制御装置
JP2012008969A (ja) * 2010-06-28 2012-01-12 Honda Motor Co Ltd 携帯機器と連携した車載機器を用いてコンテンツを自動的に投稿するためのシステム
US20130332162A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Systems and Methods for Recognizing Textual Identifiers Within a Plurality of Words
WO2015059764A1 (ja) * 2013-10-22 2015-04-30 三菱電機株式会社 ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
JP2015146550A (ja) * 2014-02-04 2015-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150220992A1 (en) * 2014-02-05 2015-08-06 Wendell Brown Presenting an advertisement in a vehicle
JP2015219225A (ja) * 2014-05-21 2015-12-07 クラリオン株式会社 支援システム、及び支援装置

Also Published As

Publication number Publication date
CN111277485B (zh) 2022-08-02
CN111277485A (zh) 2020-06-12
JP7176383B2 (ja) 2022-11-22
US11354516B2 (en) 2022-06-07
US20200184010A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7399075B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9544412B2 (en) Voice profile-based in-vehicle infotainment identity identification
US10964210B1 (en) Processing system having a machine learning engine for providing a customized driving assistance output
US20190120649A1 (en) Dialogue system, vehicle including the dialogue system, and accident information processing method
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
US20170169814A1 (en) Text rule based multi-accent speech recognition with single acoustic model and automatic accent detection
JP6612707B2 (ja) 情報提供装置
JP6173477B2 (ja) ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
JP2015089697A (ja) 車両用音声認識装置
WO2020072501A1 (en) Roadside assistance system
US11532303B2 (en) Agent apparatus, agent system, and server device
JP2015074315A (ja) 車載中継装置及び車載通信システム
CN112581750A (zh) 车辆行驶控制方法、装置、可读存储介质及电子设备
JP7176383B2 (ja) 情報処理装置及び情報処理プログラム
KR101657655B1 (ko) 차량 및 그 제어 방법
CN111739525A (zh) 智能体装置、智能体装置的控制方法及存储介质
US20220208187A1 (en) Information processing device, information processing method, and storage medium
JP2018059721A (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
US11437035B2 (en) Agent device, method for controlling agent device, and storage medium
US20200320997A1 (en) Agent apparatus, agent apparatus control method, and storage medium
US11542744B2 (en) Agent device, agent device control method, and storage medium
JP2019125039A (ja) 判定装置、判定方法及びプログラム
US11874129B2 (en) Apparatus and method for servicing personalized information based on user interest
JP2023548675A (ja) ナビゲーションセッション中の運転イベント音の検出と処理
US20240025416A1 (en) In-vehicle soundscape and melody generation system and method using continuously interpreted spatial contextualized information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R151 Written notification of patent or utility model registration

Ref document number: 7176383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151