JP2018124805A - 車載情報端末及び情報検索プログラム - Google Patents

車載情報端末及び情報検索プログラム Download PDF

Info

Publication number
JP2018124805A
JP2018124805A JP2017016625A JP2017016625A JP2018124805A JP 2018124805 A JP2018124805 A JP 2018124805A JP 2017016625 A JP2017016625 A JP 2017016625A JP 2017016625 A JP2017016625 A JP 2017016625A JP 2018124805 A JP2018124805 A JP 2018124805A
Authority
JP
Japan
Prior art keywords
vehicle
voice
search
information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017016625A
Other languages
English (en)
Inventor
大樹 山下
Daiki Yamashita
大樹 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017016625A priority Critical patent/JP2018124805A/ja
Priority to DE102018101567.4A priority patent/DE102018101567A1/de
Priority to CN201810067905.9A priority patent/CN108376057A/zh
Priority to KR1020180010487A priority patent/KR20190044473A/ko
Priority to US15/883,683 priority patent/US20180218047A1/en
Publication of JP2018124805A publication Critical patent/JP2018124805A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/243Natural language query formulation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを両立することを可能にした車載情報端末及び情報検索プログラムを提供する。
【解決手段】車載情報端末100は、入力された音声を認識する認識処理部110と、認識処理部110により認識された音声の内容に基づく情報の検索を行う検索処理部140とを備える。そして、検索処理部140は、車両の速度が所定の閾値以上であるときには、音声の入力後に情報の検索を自動的に開始する一方で、車両の速度が所定の閾値未満であるときには、音声の入力後に入力操作部30を通じて開始操作が行われたことを条件に情報の検索を開始する。
【選択図】図1

Description

本発明は、車載情報端末及び情報検索プログラムに関する。
従来、音声入力されたキーワードに基づき情報の検索を行う情報端末が広く知られている。例えば特許文献1に記載の情報端末は、音声入力されたデータを音声認識機能を通じて文字データに変換し、この変換した文字データを検索用のキーワードとして生成する。そして、この生成したキーワードをウェブ検索サーバに送信し、ウェブ検索サーバから受信した情報の検索結果を表示部に表示する。これにより、ユーザは検索したいキーワードを情報端末に向けて喋るだけという簡易な方法で、情報の検索結果を自動的に取得することが可能となる。
また、この情報端末では、音声入力されたキーワードを一旦表示部に表示し、この表示に基づきユーザが適宜キーワードを修正した上で、キーワードをウェブ検索サーバに送信する。これにより、ユーザの意図とは異なるキーワードがウェブ検索サーバに送信され難くなり、情報検索の精度を高めることが可能となる。
特開2004−265217号公報
しかしながら、上記文献に記載の情報端末を車両に搭載する場合、車両の走行状況によっては、音声入力されたキーワードの表示を運転者が確認してキーワードを修正することが困難なこともある。すなわち、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを両立する上で、なお改善の余地を残している。
本発明は、このような実情に鑑みてなされたものであり、その目的は、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを両立することを可能にした車載情報端末及び情報検索プログラムを提供することにある。
上記課題を解決する車載情報端末は、車両に搭載され、入力された音声に基づき情報の検索を行う車載情報端末であって、入力された音声を認識する認識処理部と、前記認識処理部により認識された音声の内容に基づく情報の検索を行う検索処理部とを備え、前記検索処理部は、車両の速度が所定の閾値以上であるときには、音声の入力後に前記情報の検索を自動的に開始する一方で、車両の速度が前記所定の閾値未満であるときには、音声の入力後に入力操作部を通じて開始操作が行われたことを条件に前記情報の検索を開始する。
また、上記課題を解決する情報検索プログラムは、コンピュータに、車両に搭載された音声入力部を通じて入力された音声を認識する音声認識処理と、前記音声認識処理により認識された音声の内容に基づく情報の検索を行う検索処理とを実行させ、前記検索処理では、車両の速度が所定の閾値以上であるときには、音声の入力後に前記情報の検索を自動的に開始させる一方で、車両の速度が前記所定の閾値未満であるときには、音声の入力後に入力操作部を通じて開始操作が行われたことを条件に前記情報の検索を開始させる。
上記構成によれば、車両の速度が比較的速いときには、車両の運転者が入力操作部を通じて情報検索の開始操作を行う余裕が無いと考えられることから、開始操作の有無に関わらず、入力された音声に基づく情報の検索を自動的に開始する。その一方で、車両の速度が比較的遅いときには、車両の運転者が入力操作部を通じて情報検索の開始操作を行う余裕があると考えられることから、開始操作が行われたことを条件に、入力された音声に基づく情報の検索を開始する。すなわち、車両の走行状況に応じて入力された音声に基づく情報の検索を自動的に開始するか否かを切り替える。これにより、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを両立することができる。
上記車載情報端末において、前記検索処理部は、車両の速度が前記所定の閾値以上であるとき、音声の入力後に待機時間が経過したことを条件に、前記認識処理部により認識された音声の内容に基づく前記情報の検索を自動的に開始することが好ましい。
上記構成によれば、車両の速度が比較的速いときであっても、情報の検索を自動的に開始する前の時点で、入力された音声の内容を運転者が確認するための待機時間が確保される。これにより、運転者の意図に沿わない音声の内容に基づき情報の検索が開始されてしまうことを抑制できる。
上記車載情報端末において、前記検索処理部は、音声の入力後に待機時間が経過するまでの間に、車両の速度が前記所定の閾値未満の値から前記所定の閾値以上の値に切り替わったときには、車両の速度が切り替わった時点から待機時間が経過した時点で前記情報の検索を自動的に開始することが好ましい。
例えば交差点での車両の発進時等、音声を入力してから待機時間が経過するまでの間に、車両の速度が増大する傾向をもって車両の走行状況が大きく変化するときには、運転者が情報検索の開始操作を行う余裕が途中から無くなるものと考えられる。そのため、上記構成では、このような場合、運転者の余裕が無くなった時点から入力された音声の内容を運転者が確認するための待機時間を確保しつつも、入力操作部を通じた開始操作の有無に関わらず、入力された音声に基づく情報の検索を開始する。これにより、音声の入力後における車両の走行状況の変化を考慮しつつ、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを好適に両立することができる。
上記車載情報端末において、前記検索処理部は、車両の速度が前記所定の閾値未満であるとき、音声の入力後に待機時間が経過するまでの間に前記入力操作部を通じて開始操作が行われないときには、前記認識処理部により認識された音声のデータを破棄することが好ましい。
上記構成によれば、車両の運転者が入力操作部を通じて情報検索の開始操作を行う余裕があるにも関わらず、音声を入力してから一定の時間が経過しても運転者から何らの意思表示が無いときには、認識された音声のデータを破棄して新たな音声を入力する機会を確保する。これにより、運転者の意図に沿うかたちで音声入力に基づく情報検索の操作性をより一層向上させることができる。
上記車載情報端末において、前記検索処理部は、音声の入力後に待機時間が経過するまでの間に、車両の速度が前記所定の閾値以上の値から前記所定の閾値未満の値に切り替わった場合であって、車両の速度が切り替わった時点から待機時間が経過するまでの間に前記入力操作部を通じて開始操作が行われないときには、前記認識処理部により認識された音声のデータを破棄することが好ましい。
例えば交差点での車両の停車時等、音声を入力してから待機時間が経過するまでの間に、車両の速度が減少する傾向をもって車両の走行状況が大きく変化するときには、運転者が情報検索の開始操作を行う余裕が途中から確保されるものと考えられる。そのため、上記構成では、運転者の余裕が確保された時点から一定の時間が経過しても運転者から何らの意思表示が無いときには、認識された音声のデータを破棄して新たな音声を入力する機会を確保する。これにより、音声の入力後における車両の走行状況の変化を考慮しつつ、運転者の意図に沿うかたちで音声入力に基づく情報検索の操作性をより一層向上させることができる。
上記車載情報端末において、前記所定の閾値は、車両の走行状況が走行中及び停車中の何れであるかについての判定の基準となる車両の速度であることが好ましい。
一般に、車両の走行状況が走行中及び停車中のいずれであるかに応じて、車両の運転者が入力操作部を通じて情報検索の開始操作を行う上での余裕の大きさは大きく異なる。この点、上記構成では、車両の走行状況が走行中及び停車中の何れであるかに応じて情報の検索を自動的に開始するか否かを切り替える。これにより、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とをより一層好適に両立することができる。
車載情報端末の一実施の形態の概略構成を示すブロック図。 (a)〜(e)は、情報検索の処理の過程を説明するための模式図。 同実施の形態の車載情報端末が実行する情報検索処理の処理内容を示すフローチャート。 (a)〜(g)は、車両の走行状況と情報検索の開始タイミングとの対応関係を示す模式図。
本実施の形態の車載情報端末は、車両の運転者から入力された音声に基づき情報の検索を行う。この車載情報端末では、車両の速度に基づき車両の走行状況を判定し、車両が走行中であると判定したときには、音声の入力後に情報の検索を自動的に開始する。その一方で、車載情報端末は、車両が停車中であると判定したときには、音声の入力後に車両の運転者により開始操作が行われたことを条件に情報の検索を開始する。そして、車載情報端末は、情報の検索を開始したときには車両の運転者から入力された音声に基づき検索の対象となるキーワードを生成するとともに、生成したキーワードを外部サーバに送信する。その後、車載情報端末は、外部サーバから情報の検索結果を受信したときには、受信した情報の検索結果を表示装置に出力して車両の運転者に提示する。
具体的には、図1に示すように、本実施の形態の車載情報端末100が搭載される車両は、マイク10、車速センサ20、入力操作部30、表示装置200、無線通信部210を備えており、これらの要素は車載情報端末100に対して電気的に接続されている。
車載情報端末100は、車両に設けられたマイク10を通じて運転者が発した音声の信号が入力される認識処理部110を備えている。認識処理部110は、例えば、マイク10から入力される音声を一定の時間幅を有する複数の区間に分割するとともに、分割した区間に含まれる音声の特徴ベクトルを予め用意した音声パターンの特徴ベクトルに対してDP(Dynamic Programming)マッチング等を行うことにより照合する。そして、認識処理部110は、特徴ベクトルの類似度が最も高い音声パターンをその区間において発生された音声の内容であると認識するとともに、認識した音声の内容をテキストデータに変換する。また、認識処理部110は、変換したテキストデータを検索処理部140に出力する。
また、車載情報端末100は、車速センサ20から入力される車両の速度に基づき、車両の走行状況を判定する走行状況判定部120を備えている。走行状況判定部120は、車両の速度が所定の閾値以上であるときには車両が走行中であると判定し、車両の速度が所定の閾値未満であるときには車両が停車中であると判定する。すなわち、所定の閾値は、車両の走行状況が走行中及び停車中の何れであるかについての判定の基準となる車両の速度として設定されている。そして、走行状況判定部120は、車両の走行状況に関する判定結果を検索モード設定部130に出力する。
検索モード設定部130は、走行状況判定部120から入力される車両の走行状況に基づき、検索処理部140による情報の検索モードを設定する。より詳細には、検索モード設定部130は、車両が走行中であるときには、音声の入力後に情報の検索を自動的に開始する自動検索モードを情報の検索モードとして設定する。また、検索モード設定部130は、車両が停車中であるときには、音声の入力後に車両の運転者により開始操作が行われたことを条件に情報の検索を開始する手動検索モードを情報の検索モードとして設定する。そして、検索モード設定部130は、情報の検索モードの設定内容を検索処理部140に出力する。
検索処理部140は、検索モード設定部130から入力される情報の検索モードに基づき、認識処理部110から入力されるテキストデータを検索用のキーワードとして情報の検索を行う。なお、検索処理部140は、情報の検索モードが自動検索モード及び手動検索モードの何れであっても、認識処理部110から入力されるテキストデータを表示装置200に出力して表示する。
検索処理部140は、自動検索モードの実行時には、認識処理部110からテキストデータが入力された後、車両の運転者が入力操作部30を通じて情報検索の開始操作を行うまでの間、第1の待機時間が経過するまで待機する。また、検索処理部140は、第1の待機時間が経過するまでの間、ウェブブラウザを起動して情報の検索を行うためのブラウザ画面を表示装置200に出力して表示する。また、検索処理部140は、表示装置200に表示されたブラウザ画面において、検索の対象を表示する検索ボックスに認識処理部110から入力されたテキストデータを表示しつつ、入力操作部30を通じたテキストデータの修正操作を受け付ける。そして、検索処理部140は、テキストデータの修正操作が行われたときには、修正を反映したテキストデータを表示装置200に出力して表示する。なお、テキストデータの修正操作は、運転者が入力操作部30を通じてテキストデータの修正箇所を手動で選択することで行ってもよい。また、テキストデータの修正操作は、運転者が入力操作部30を通じて修正開始の操作を行った後、マイク10を通じて音声を入力し直すことで行ってもよい。
そして、検索処理部140は、第1の待機時間が経過するまでの間に情報検索の開始操作が行われたときには、その開始操作の時点で情報の検索を開始する。その一方で、検索処理部140は、第1の待機時間が経過する間に情報検索の開始操作が行われなかったとしても、認識処理部110からテキストデータが入力された後に第1の待機時間が経過した時点で情報の検索を開始する。
また、検索処理部140は、手動検索モードの実行時には、認識処理部110からテキストデータが入力された後、車両の運転者が入力操作部30を通じて情報検索の開始操作を行うまでの間、第2の待機時間が経過するまで待機する。なお、本実施の形態では、第2の待機時間は、第1の待機時間よりも長く設定されている。また、検索処理部140は、第2の待機時間が経過するまでの間、表示装置200にテキストデータを表示しつつ、入力操作部30を通じたテキストデータの修正操作を受け付ける。そして、検索処理部140は、テキストデータの修正操作が行われたときには、修正を反映したテキストデータを表示装置200に出力して表示する。また、検索処理部140は、第2の待機時間が経過するまでの間に情報検索の開始操作が行われたときには、その開始操作の時点で情報の検索を開始する。その一方で、検索処理部140は、第2の待機時間が経過する間に情報検索の開始操作が行われなかったときには、情報の検索を開始しない。そして、検索処理部140は、認識処理部110から入力されたテキストデータを破棄した上で、認識処理部110からの新たなテキストデータの入力を受け付ける。
なお、自動検索モードの実行時において、第1の待機時間が経過するまでの間に車両が停車したときには、車両の走行状況の変化が走行状況判定部120から検索モード設定部130に入力される。その結果、検索モード設定部130は、情報の検索モードに関する設定内容を自動検索モードから手動検索モードに切り替える。また、検索処理部140は、検索モード設定部130から入力される情報の検索モードが切り替わったときには、第1の待機時間のカウントをリセットし、第2の待機時間のカウントを開始する。そして、検索処理部140は、第2の待機時間が経過するまでの間に情報検索の開始操作が行われたときには、その開始操作の時点で情報の検索を開始する。その一方で、検索処理部140は、第2の待機時間が経過する間に情報検索の開始操作が行われなかったときには、情報の検索を開始しない。この場合、検索処理部140は、認識処理部110から入力されたテキストデータを破棄した上で、認識処理部110からの新たなテキストデータの入力を受け付ける。
また、手動検索モードの実行時において、第2の待機時間が経過するまでの間に車両の走行が開始されたときには、車両の走行状況の変化が走行状況判定部120から検索モード設定部130に入力される。その結果、検索モード設定部130は、情報の検索モードに関する設定内容を手動検索モードから自動検索モードに切り替える。また、検索処理部140は、検索モード設定部130から入力される情報の検索モードが切り替わったときには、第2の待機時間のカウントをリセットし、第1の待機時間のカウントを開始する。そして、検索処理部140は、第1の待機時間が経過するまでの間に情報検索の開始操作が行われたときには、その開始操作の時点で情報の検索を開始する。その一方で、検索処理部140は、第1の待機時間が経過する間に情報検索の開始操作が行われなかったとしても、第1の待機時間が経過した時点で情報の検索を開始する。
その後、検索処理部140は、情報の検索を開始するときには、認識処理部110から入力されたテキストデータを検索用のキーワードとして無線通信部210を通じて外部サーバ300に送信する。一方、外部サーバ300は、検索処理部140から検索用のキーワードを受信したときには、その受信したキーワードを入力として検索エンジンを動作させて情報の検索結果を取得する。また、外部サーバ300は、検索エンジンから取得した検索結果を無線通信部210を通じて検索処理部140に送信する。そして、検索処理部140は、外部サーバ300から受信した情報の検索結果を表示装置200に出力して表示する。
次に、図2を参照して、車載情報端末100が運転者から入力された音声に基づき情報検索を実行する過程で、表示装置200に表示する表示内容の一例を説明する。なお、この例では、表示装置200がタッチパネルにより構成されており、表示装置200の表示画面が入力操作部30として機能する。そして、運転者が表示装置200に表示された操作ボタンを指でタッチ操作することにより各種の操作が行われる。
図2(a)に示すように、車載情報端末100は、まず最初に、情報の検索を行うためのブラウザ画面DPを表示装置200に出力して表示する。同図に示す例では、音声入力を開始する際に用いられる入力開始ボタンB1がブラウザ画面DPにおける左斜め上方となる位置に検索ボックスC1と横並びで表示されている。
そして、図2(b)に示すように、車載情報端末100は、入力開始ボタンB1が運転者によりタッチ操作されると、ブラウザ画面DPを運転者からの音声の入力を促す画面に遷移させる。
続いて、図2(c)に示すように、車載情報端末100は、運転者が発話にてキーワードを入力すると、入力されたキーワードをブラウザ画面DPの検索ボックスC1に表示する。同図に示す例では、車両の走行位置の周辺にある銀行に関する問い合わせを示すキーワードがブラウザ画面DPの検索ボックスC1に表示されている。
この場合、車載情報端末100は、車両が走行中であるときには、運転者が発話にてキーワードを入力した時点から第1の待機時間が経過するまで待機する。この間、車載情報端末100は、運転者が発話にて入力したキーワードをブラウザ画面DPの検索ボックスC1に継続して表示する。そして、車載情報端末100は、運転者が発話にてキーワードを入力した時点から第1の待機時間が経過した時点で、情報の検索を開始する。
その一方で、車載情報端末100は、車両が停車中であるときには、運転者が発話にてキーワードを入力した時点から第2の待機時間が経過するまで待機する。この間、図2(d)に示すように、車載情報端末100は、運転者が発話にて入力したキーワードをブラウザ画面DPの検索ボックスC1に継続して表示する。そして、車載情報端末100は、情報検索を開始する際に用いられる検索開始ボタンB2が運転者によりタッチ操作されると、情報の検索を開始する。なお、同図に示す例では、情報検索を開始する際に用いられる検索開始ボタンB2がブラウザ画面DPにおける右斜め下方となる位置に表示されている。
そして、図2(e)に示すように、車載情報端末100は、情報の検索結果を外部サーバ300から取得すると、その取得した検索結果を表示装置200に出力して表示する。同図に示す例では、車載情報端末100は、車両の走行位置から見て近い位置にある銀行を順に並べて、車両の走行位置からの距離と併せて一覧表示している。
次に、本実施の形態の車載情報端末100が情報検索プログラムに基づいて実行する情報検索処理について、その具体的な処理手順を説明する。なお、車載情報端末100は、図3に示す情報検索処理を所定の周期で実行する。
まず図3に示すように、車載情報端末100は、車両の運転者からマイク10を通じて音声が入力されるまで待機する(ステップS10)。
そして、車載情報端末100は、音声が入力されたときには(ステップS10=YES)、入力された音声を認識処理部110を通じて認識してテキストデータに変換する(ステップS11)。
続いて、車載情報端末100は、車速センサ20から取得した車両の速度が所定の閾値以上であるか否かに基づき、車両が走行中であるか否かを走行状況判定部120を通じて判定する(ステップS12)。
そして、車載情報端末100は、車両が走行中であると判定したときには(ステップS12=YES)、情報の検索モードとして自動検索モードを検索モード設定部130を通じて設定する。
続いて、車載情報端末100は、検索開始ボタンB2が操作されたか否かを検索処理部140を通じて判定する(ステップS14)。そして、車載情報端末100は、検索開始ボタンB2が操作されていないとき(ステップS14=NO)、第1の待機時間が経過するまでの間は(ステップS15=NO)、その処理をステップS12に戻す。
その一方で、車載情報端末100は、第1の待機時間が経過するまでの間に検索開始ボタンB2が操作されたときには(ステップS14=YES)、その処理をステップS20に移行する。また、車載情報端末100は、検索開始ボタンB2が操作されることなく第1の待機時間が経過したときにも(ステップS15=YES)、その処理をステップS20に移行する。
また、車載情報端末100は、先のステップS12において車両が停車中であると判定したときには(ステップS12=NO)、情報の検索モードとして手動検索モードを検索モード設定部130を通じて設定する。
続いて、車載情報端末100は、検索開始ボタンB2が操作されたか否かを検索処理部140を通じて判定する(ステップS17)。そして、車載情報端末100は、検索開始ボタンB2が操作されていないとき(ステップS17=NO)、第2の待機時間が経過するまでの間は(ステップS18=NO)、その処理をステップS12に戻す。
その一方で、車載情報端末100は、第2の待機時間が経過するまでの間に検索開始ボタンB2が操作されたときには(ステップS17=YES)、その処理をステップS20に移行する。また、車載情報端末100は、検索開始ボタンB2が操作されることなく第2の待機時間が経過したときには(ステップS18=YES)、先のステップS11において認識した音声のテキストデータを破棄する(ステップS19)。そして、車載情報端末100は、その処理をステップS10に戻し、マイク10を通じた新たな音声の入力を待機する。
続いて、ステップS20において、車載情報端末100は、先のステップS11において認識した音声のテキストデータを検索キーワードとして、情報の検索を検索処理部140を通じて外部サーバ300に要求する(ステップS20)。
そして以降、車載情報端末100は、外部サーバ300から情報の検索結果を検索処理部140を通じて取得するまで待機する(ステップS21)。そして、車載情報端末100は、外部サーバ300から情報の検索結果を取得したときには(ステップS21=YES)、当該取得した情報の検索結果を検索処理部140から表示装置200に出力して表示した上で(ステップS22)、図3に示す情報検索処理を終了する。
次に、本実施の形態の車載情報端末100の作用について説明する。
図4(a)に示すように、車両が走行中であるときには情報の検索モードとして自動検索モードが設定され、車両が停車中であるときには情報の検索モードとして手動検索モードが設定される。
そして、図4(b)に示すように、車両が走行中であるときに運転者からの音声の入力が行われたときには、情報検索の開始操作が行われなかったとしても、音声の入力が行われてから第1の待機時間が経過した時点で、情報の検索を開始する。すなわち、車両が走行中であるときには、情報検索の開始操作の有無に関わらず、運転者から入力された音声に基づく情報の検索を自動的に開始する。これは、音声の入力が行われてから第1の待機時間が経過するまでの間に情報検索の開始操作が無かったとしても、単に運転者が余裕が無かっただけであり、入力された音声の内容が運転者の意図に即している可能性もあるためである。
特に、本実施の形態では、車両が走行中であるときに運転者からの音声の入力が行われたときに、直ちに情報の検索を開始するのではなく、第1の待機時間が経過するまで待機する。すなわち、車両が走行中であっても、情報の検索を自動的に開始する前の時点で、入力された音声の内容を運転者が確認するための待機時間が確保される。そして、運転者は、入力された音声の内容が運転者の意図に即していないときには、必要に応じて音声の内容を修正することも可能となる。
また、図4(c)に示すように、車両が停車中であるときに運転者からの音声の入力が行われたときには、音声の入力が行われてから第2の待機時間が経過するまでの間に情報検索の開始操作が行われたときには、情報の検索を開始する。その一方で、図4(d)に示すように、音声の入力が行われてから第2の待機時間が経過するまでの間に情報検索の開始操作が行われなかったときには、情報の検索を行わない。すなわち、車両が停車中であって、車両の運転者が余裕があると考えられるときには、情報検索の開始操作があったときに限り、運転者から入力された音声に基づく情報の検索を開始する。これは、車両の運転者は、運転者が余裕がある状態で、第2の待機時間が経過するまでの間に情報検索の開始操作が無かったときには、入力された音声の内容が運転者の意図に即していない可能性が高いためである。
また、図4(e)及び図4(f)に示すように、例えば交差点での車両の停車時等、車両が走行中であるときに運転者からの音声の入力が行われたものの、第1の待機時間が経過する前の時点で車両が停車したときには、車両が停車した時点で第2の待機時間のカウントが開始される。そして、図4(e)に示すように、第2の待機時間が経過するまでの間に情報検索の開始操作が行われなかったときには、情報の検索を行わない。その一方で、図4(f)に示すように、第2の待機時間が経過するまでの間に情報検索が開始操作が行われたときには、情報の検索を開始する。すなわち、車両の走行状況が走行中から停車中に切り替わり、車両の運転者が余裕ができたと考えられると考えられるときには、情報検索の開始操作があったときに限り、運転者から入力された音声に基づく情報の検索を開始する。これは、運転者が余裕がある状態では、第2の待機時間が経過するまでの間における情報検索の開始操作の有無が運転者の意図を的確に反映している可能性が高いためである。
また、図4(g)に示すように、例えば交差点での車両の発進時等、車両が停車中であるときに運転者からの音声の入力が行われたものの、第2の待機時間が経過する前の時点で車両が走行を開始したときには、車両が走行を開始した時点で第1の待機時間のカウントが開始される。そして、第1の待機時間が経過した時点で、情報検索の開始操作が行われなかったとしても、運転者から入力された音声に基づく情報検索を自動的に開始する。すなわち、車両の走行状況が停車中から走行中に切り替わり、車両の運転者が余裕が無くなったと考えられるときには、情報検索の開始操作の有無に関わらず、運転者から入力された音声に基づく情報の検索を開始する。これは、運転者が余裕が無い状態では、第1の待機時間が経過するまでの間における情報検索の開始操作の有無が運転者の意図を的確に反映していない可能性があるためである。
以上説明したように、上記実施の形態によれば、以下に示す効果を得ることができる。
(1)車両の走行状況に応じて入力された音声に基づく情報の検索を自動的に開始するか否かを切り替える。これにより、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを両立することができる。
(2)車両の速度が比較的速いときであっても、情報の検索を自動的に開始する前の時点で、入力された音声の内容を運転者が確認するための待機時間が確保される。これにより、運転者の意図に沿わない音声の内容に基づき情報の検索が開始されてしまうことを抑制できる。
(3)音声を入力してから待機時間が経過するまでの間に、車両の速度が増大する傾向をもって車両の走行状況が大きく変化するときには、入力された音声の内容を運転者が確認するための待機時間を確保しつつも、情報検索の開始操作の有無に関わらず、入力された音声に基づく情報の検索を開始する。これにより、音声の入力後における車両の走行状況の変化を考慮しつつ、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とを好適に両立することができる。
(4)車両の運転者が情報検索の開始操作を行う余裕があるにも関わらず、音声を入力してから一定の時間が経過しても運転者から何らの意思表示が無いときには、認識された音声のデータを破棄して新たな音声を入力する機会を確保する。これにより、運転者の意図に沿うかたちで音声入力に基づく情報検索の操作性をより一層向上させることができる。
(5)音声を入力してから第1の待機時間が経過するまでの間に、車両の速度が減少する傾向をもって車両の走行状況が大きく変化するときには、車両の走行状況が変化した時点から一定の時間が経過しても運転者から何らの意思表示が無いときには、認識された音声のデータを破棄して新たな音声を入力する機会を確保する。これにより、音声の入力後における車両の走行状況の変化を考慮しつつ、運転者の意図に沿うかたちで音声入力に基づく情報検索の操作性をより一層向上させることができる。
(6)車両の走行状況が走行中及び停車中の何れであるかに応じて情報の検索を自動的に開始するか否かを切り替える。これにより、車両の運転操作の操作性と音声入力に基づく情報検索の操作性とをより一層好適に両立することができる。
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、車両が走行中であるときに運転者からの音声の入力が行われたものの、第1の待機時間が経過する前の時点で車両が停車したときには、車両が停車した時点で第2の待機時間のカウントを開始するようにした。ただし、車両が停車した時点でカウントを開始する待機時間は、必ずしも手動検索モードにおける待機時間と同一である必要はなく、手動検索モードにおける待機時間よりも長くてもよいし、同待機時間よりも短くてもよい。また、車両が停車した時点で第1の待機時間のカウントをリセットすることなく、その後に第1の待機時間が経過した時点で入力された音声のテキストデータを破棄するようにしてもよい。また、車両が停車した時点で入力された音声のテキストデータを直ちに破棄するようにしてもよい。
・上記実施の形態においては、車両が停車中であるときに運転者からの音声の入力が行われたものの、第2の待機時間が経過する前の時点で車両が走行を開始したときには、車両が走行を開始した時点で第1の待機時間のカウントを開始するようにした。ただし、車両が走行を開始した時点でカウントを開始する待機時間は、必ずしも自動検索モードにおける待機時間と同一である必要はなく、自動検索モードにおける待機時間よりも長くてもよいし、同待機時間よりも短くてもよい。また、車両が走行を開始した時点で第2の待機時間のカウントをリセットすることなく、その後に第2の待機時間が経過した時点で情報の検索を自動的に開始するようにしてもよい。また、車両が走行を開始した時点で情報の検索を直ちに開始するようにしてもよい。
・上記実施の形態においては、第2の待機時間は、第1の待機時間よりも長く設定されて場合を例に挙げて説明した。ただし、第2の待機時間は第1の待機時間よりも短く設定されてもよいし、これら待機時間が共通であってもよい。
・上記実施の形態においては、車両が停車中であるときに運転者からの音声の入力が行われたときには、音声の入力が行われてから第2の待機時間が経過するまでの間に情報検索の開始操作が行われなかったときには、入力された音声のテキストデータを破棄するようにした。これに代えて、車両が停車中であるときに運転者からの音声の入力が行われたときには、音声の入力が行われてからの経過時間に関わらず、運転者により情報検索の開始操作が行われるまで待機するようにしてもよい。
・上記実施の形態においては、車両が走行中であるときに運転者からの音声の入力が行われたときには、情報検索の開始操作が行われなかったとしても、音声の入力が行われてから第1の待機時間が経過した時点で、情報の検索を自動的に開始するようにした。これに代えて、車両が走行中であるときに運転者からの音声の入力が行われたときには、情報検索の開始操作を行うための待機時間を設けることなく、音声の入力が行われた直後に情報の検索を自動的に開始するようにしてもよい。
・上記実施の形態においては、所定の閾値として、車両が走行中及び停車中の何れであるかの判定の基準となる車両の速度を用いる場合を例に挙げて説明した。ただし、所定の閾値としては、運転者の余裕の度合いの指標となる車両の速度であれば、車両の速度を低速領域と高速領域とに分けたときの境界となる車両の速度であってもよい。
・上記実施の形態においては、情報検索の開始操作として、表示装置200の表示画面上において検索開始ボタンB2をタッチ操作する場合を例に挙げて説明した。ただし、情報検索の開始操作は、必ずしも物理的な接触を伴う操作である必要はなく、例えば運転者の視線移動を画像認識処理により検知したり、運転者からの音声入力を音声認識処理により検知したりすることで情報検索の開始操作を行うようにしてもよい。
10…マイク、20…車速センサ、30…入力操作部、100…車載情報端末、110…認識処理部、120…走行状況判定部、130…検索モード設定部、140…検索処理部、200…表示装置、210…無線通信部、300…外部サーバ。

Claims (7)

  1. 車両に搭載され、入力された音声に基づき情報の検索を行う車載情報端末であって、
    入力された音声を認識する認識処理部と、
    前記認識処理部により認識された音声の内容に基づく情報の検索を行う検索処理部と
    を備え、
    前記検索処理部は、
    車両の速度が所定の閾値以上であるときには、音声の入力後に前記情報の検索を自動的に開始する一方で、車両の速度が前記所定の閾値未満であるときには、音声の入力後に入力操作部を通じて開始操作が行われたことを条件に前記情報の検索を開始する
    ことを特徴とする車載情報端末。
  2. 前記検索処理部は、車両の速度が前記所定の閾値以上であるとき、音声の入力後に待機時間が経過したことを条件に、前記認識処理部により認識された音声の内容に基づく前記情報の検索を自動的に開始する
    請求項1に記載の車載情報端末。
  3. 前記検索処理部は、音声の入力後に待機時間が経過するまでの間に、車両の速度が前記所定の閾値未満の値から前記所定の閾値以上の値に切り替わったときには、車両の速度が切り替わった時点から待機時間が経過した時点で前記情報の検索を自動的に開始する
    請求項2に記載の車載情報端末。
  4. 前記検索処理部は、車両の速度が前記所定の閾値未満であるとき、音声の入力後に待機時間が経過するまでの間に前記入力操作部を通じて開始操作が行われないときには、前記認識処理部により認識された音声のデータを破棄する
    請求項1〜3の何れか一項に記載の車載情報端末。
  5. 前記検索処理部は、音声の入力後に待機時間が経過するまでの間に、車両の速度が前記所定の閾値以上の値から前記所定の閾値未満の値に切り替わった場合であって、車両の速度が切り替わった時点から待機時間が経過するまでの間に前記入力操作部を通じて開始操作が行われないときには、前記認識処理部により認識された音声のデータを破棄する
    請求項4に記載の車載情報端末。
  6. 前記所定の閾値は、車両の走行状況が走行中及び停車中の何れであるかについての判定の基準となる車両の速度である
    請求項1〜5の何れか一項に記載の車載情報端末。
  7. コンピュータに、
    車両に搭載された音声入力部を通じて入力された音声を認識する音声認識処理と、
    前記音声認識処理により認識された音声の内容に基づく情報の検索を行う検索処理と
    を実行させ、
    前記検索処理では、車両の速度が所定の閾値以上であるときには、音声の入力後に前記情報の検索を自動的に開始させる一方で、車両の速度が前記所定の閾値未満であるときには、音声の入力後に入力操作部を通じて開始操作が行われたことを条件に前記情報の検索を開始させる
    ことを特徴とする情報検索プログラム。
JP2017016625A 2017-02-01 2017-02-01 車載情報端末及び情報検索プログラム Pending JP2018124805A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017016625A JP2018124805A (ja) 2017-02-01 2017-02-01 車載情報端末及び情報検索プログラム
DE102018101567.4A DE102018101567A1 (de) 2017-02-01 2018-01-24 Fahrzeuginformationsterminal und computerlesbares Speichermedium, das ein Informationssuchprogramm speichert
CN201810067905.9A CN108376057A (zh) 2017-02-01 2018-01-24 车载信息终端和存储信息搜索程序的计算机可读存储介质
KR1020180010487A KR20190044473A (ko) 2017-02-01 2018-01-29 차량 탑재 정보 단말기 및 정보 검색 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체
US15/883,683 US20180218047A1 (en) 2017-02-01 2018-01-30 In-vehicle information terminal and non-transitory computer-readable storage medium storing information search program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016625A JP2018124805A (ja) 2017-02-01 2017-02-01 車載情報端末及び情報検索プログラム

Publications (1)

Publication Number Publication Date
JP2018124805A true JP2018124805A (ja) 2018-08-09

Family

ID=62843523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016625A Pending JP2018124805A (ja) 2017-02-01 2017-02-01 車載情報端末及び情報検索プログラム

Country Status (5)

Country Link
US (1) US20180218047A1 (ja)
JP (1) JP2018124805A (ja)
KR (1) KR20190044473A (ja)
CN (1) CN108376057A (ja)
DE (1) DE102018101567A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003883A1 (ja) 2018-06-29 2020-01-02 株式会社片岡製作所 細胞処理装置および細胞のレーザ処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3474089B2 (ja) * 1997-11-06 2003-12-08 株式会社デンソー ナビゲーション装置
WO2003078930A1 (fr) * 2002-03-15 2003-09-25 Mitsubishi Denki Kabushiki Kaisha Dispositif de navigation a bord d'un vehicule
JP2004265217A (ja) 2003-03-03 2004-09-24 Nec Corp 音声認識機能を有する移動通信端末とその端末を利用したキーワード検索方法
JP4330924B2 (ja) * 2003-05-14 2009-09-16 本田技研工業株式会社 対話型情報検索システム
JP5217838B2 (ja) * 2008-09-24 2013-06-19 日産自動車株式会社 車載機器の操作装置及び車載機器の操作方法
JP5463922B2 (ja) * 2010-01-12 2014-04-09 株式会社デンソー 車載機
US20130096771A1 (en) * 2011-10-12 2013-04-18 Continental Automotive Systems, Inc. Apparatus and method for control of presentation of media to users of a vehicle
CN103226548A (zh) * 2012-01-30 2013-07-31 北京四维图新科技股份有限公司 一种互联网地图的搜索服务方法、装置和系统
CN104969289B (zh) * 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
JP6011584B2 (ja) * 2014-07-08 2016-10-19 トヨタ自動車株式会社 音声認識装置及び音声認識システム
US10152969B2 (en) * 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003883A1 (ja) 2018-06-29 2020-01-02 株式会社片岡製作所 細胞処理装置および細胞のレーザ処理方法

Also Published As

Publication number Publication date
US20180218047A1 (en) 2018-08-02
CN108376057A (zh) 2018-08-07
KR20190044473A (ko) 2019-04-30
DE102018101567A1 (de) 2018-08-02

Similar Documents

Publication Publication Date Title
KR102022318B1 (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
KR101978687B1 (ko) 터치스크린 단말기에서 문자 입력 방법 및 장치
US8532871B2 (en) Multi-modal vehicle operating device
CN107436691B (zh) 一种输入法进行纠错的方法、客户端、服务器及装置
US20170323641A1 (en) Voice input assistance device, voice input assistance system, and voice input method
WO2021128880A1 (zh) 一种语音识别方法、装置和用于语音识别的装置
EP3142108B1 (en) Reducing latency caused by switching input modalities
CN107544684B (zh) 一种候选词显示方法及装置
JP2015510176A (ja) 入力処理方法及び装置
JP2015153325A (ja) 情報処理装置、操作支援方法及び操作支援プログラム
JP2020003925A (ja) 対話システムの制御方法、対話システム及びプログラム
KR20100062901A (ko) 터치 패턴을 이용한 경로 탐색 방법 및 장치
CN105739679A (zh) 转向盘控制系统
JP2013019958A (ja) 音声認識装置
CN115291724A (zh) 人机交互的方法、装置、存储介质和电子设备
CN104077105B (zh) 一种信息处理方法以及一种电子设备
JP2024505968A (ja) 乗員発話検出方法及び装置、電子機器並びに記憶媒体
JP2018124805A (ja) 車載情報端末及び情報検索プログラム
US9128517B2 (en) Vehicular terminal with input switching
JP6105321B2 (ja) 通信装置、通信システム、通信方法、及び、プログラム
JP2018028733A (ja) 入力装置、入力装置の制御方法、表示装置および入力プログラム
US11164578B2 (en) Voice recognition apparatus, voice recognition method, and non-transitory computer-readable storage medium storing program
US20140297257A1 (en) Motion sensor-based portable automatic interpretation apparatus and control method thereof
US9361859B2 (en) Information processing device, method, and computer program product
JP2015102805A (ja) 音声認識システム、電子装置、サーバー、音声認識方法および音声認識プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203