JP2016062129A - 車両用機器制御装置、制御内容検索方法 - Google Patents

車両用機器制御装置、制御内容検索方法 Download PDF

Info

Publication number
JP2016062129A
JP2016062129A JP2014187164A JP2014187164A JP2016062129A JP 2016062129 A JP2016062129 A JP 2016062129A JP 2014187164 A JP2014187164 A JP 2014187164A JP 2014187164 A JP2014187164 A JP 2014187164A JP 2016062129 A JP2016062129 A JP 2016062129A
Authority
JP
Japan
Prior art keywords
search
unit
search result
screen
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014187164A
Other languages
English (en)
Other versions
JP6432233B2 (ja
Inventor
重明 西橋
Shigeaki Nishihashi
重明 西橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014187164A priority Critical patent/JP6432233B2/ja
Priority to CN201580049160.8A priority patent/CN106716407A/zh
Priority to PCT/JP2015/004498 priority patent/WO2016042725A1/ja
Priority to US15/506,765 priority patent/US10328950B2/en
Priority to DE112015004198.2T priority patent/DE112015004198T5/de
Publication of JP2016062129A publication Critical patent/JP2016062129A/ja
Application granted granted Critical
Publication of JP6432233B2 publication Critical patent/JP6432233B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • B60K2360/113Scrolling through menu items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • B60K2360/115Selection of menu items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • B60K2360/1442Emulation of input devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)

Abstract

【課題】ユーザが、車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減できる車両用機器制御装置、及び、この車両用機器制御装置に適用する制御内容検索方法を提供する。【解決手段】車両で用いられている複数の機器の動作を制御する制御装置1は、検索処理部F7、操作対象推定部F9を備える。検索処理部F7は、ユーザによって入力された検索語を用いて、車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容のうち、検索語に対応付けられている制御内容の検索を行う。操作対象推定部F9は、現在表示装置に表示されている画面の状態に基づいて、ユーザが操作しようとしている操作対象機器を推定する。そして、制御装置1は、検索処理部F7が取得した検索結果を、操作対象機器に関連する度合いが大きい順にソートして表示する。【選択図】図2

Description

本発明は、ユーザから入力された検索語に基づいて車両で用いられている複数の機器の動作を制御する車両用機器制御装置、及び、複数の機器が実行可能な制御内容のうち、ユーザから入力された検索語に関連する制御内容を検索する制御内容検索方法に関する。
従来、オーディオ機器や、空調機器、ナビゲーション装置など、それぞれが所定の機能を実行する複数の機器の動作を、ユーザからの音声入力に基づいて制御する車両用機器制御装置が開示されている(例えば特許文献1)。この種の車両用機器制御装置は、各機器が実行可能な制御内容を実行させるための音声コマンドが予め登録されている。そして、ユーザから音声コマンドが入力された場合には、その音声コマンドに対応付けられている制御内容を特定し、所定の機器にその制御内容を実行させる。すなわち、音声コマンドは、実行させる制御内容を特定するための検索語としての役割を担う。
また、特許文献1では、各機器が提供する機能毎に、ユーザが利用したその機能の使用頻度を蓄積しておき、ユーザが入力した検索語が、複数の機能に対応付けられているものである場合には、複数の機能のうち最も使用頻度の高い機能を検索する。
このようにして特許文献1の車両用機器制御装置は、ユーザが入力した音声コマンドに対応付けられている機能が複数存在する場合であっても、動作させるべき機能及びその機能に実行させる制御内容を特定することができる。
特許第4155383号公報
特許文献1の装置では、それまでの使用頻度が相対的に低い機能の利用をユーザが意図している場合であっても、より使用頻度が高い機能が、ユーザが入力した音声コマンドと対応付けられている場合には、その使用頻度が高い方の機能が優先的に実行される。したがって、ユーザは、それまでの使用頻度を相対的に低い機能を利用したい場合には、意図している機能と他の機能との区別がつく表現で音声入力し直したり、音声入力に代わって、意図する機能を実行させるため入力操作を手で実施したりする必要がある。
このような課題に対し、例えば、ユーザが入力した検索語に関連する制御内容を検索し、その検索結果を、例えばリスト形式で表示する構成(想定構成とする)も考えられる。この想定構成においてユーザは、検索結果のリストから所望の制御内容を選択することで、当該制御内容を実行させることができる。
しかし、ユーザが入力した検索語に関連する検索結果をそのまま表示すると、ユーザにとっては、そのリストから所望の項目を選び出すことが負荷となる恐れがある。例えば、ユーザが入力した検索語と対応付けられている制御内容が多い場合には、検索結果として表示される制御内容も多くなってしまい、その検索結果の中から所望の項目を見つけ出すのが難しくなってしまう。また、運転操作をしているユーザ(すなわちドライバ)は運転操作に集中する必要があるため、ドライバにとっては、いったん検索語の入力した後は、より少ない操作で所望の制御内容を実行させることができる構成となっていることが好ましい。
本発明は、この事情に基づいて成されたものであり、その目的とするところは、ユーザが車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減できる車両用機器制御装置、及び、その車両機器制御装置に適用する制御内容検索方法を提供する。
その目的を達成するための車両用機器制御装置の発明は、車両で用いられている複数の機器の動作を制御する車両用機器制御装置であって、検索のキーワードとして用いる検索語の入力を開始するユーザ操作を受け付ける操作受付部(F5)と、機器が実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶する機能管理データベース(M1)と、操作受付部がユーザ操作を受け付けたことに基づいて、検索語を取得する検索語取得部(F6)と、機能管理データベースに対して、検索語取得部で取得した検索語を用いた検索を行い、当該検索語に対応付けられている制御内容のリストを検索結果として取得する検索処理部(F7)と、操作受付部がユーザ操作を受け付けた時点において表示装置(2)に表示されている画面の状態を表す画面情報を取得する画面情報取得部(F8)と、画面情報取得部が取得した画面情報に基づいて、複数の機器のうち、ユーザが操作しようとしている機器である操作対象機器を推定する操作対象推定部(F9)と、検索処理部が取得した検索結果のうち、操作対象機器が実施する制御内容を、他の機器が実施する制御内容よりも、検索結果を示す画面において優先して表示、又は、優先して実行させる検索結果出力部(F11)と、を備えることを特徴とする。
以上の構成では、操作対象推定部が、検索語の入力を開始する旨のユーザ操作がなされた時の画面の状態に基づいて、ユーザが操作しようとしている機器である操作対象機器を推定する。車両用機器制御装置全体の作動を説明する前に、この操作対象推定部の作動について、先に説明する。
通常、表示装置に表示されている画面は、複数の機器の何れかに対応する画面である。また、検索語の入力を開始する旨のユーザ操作がなされた時の画面とは、検索語を入力し始める直前に受け付けたユーザ操作に応じた画面となっている。すなわち、画面情報とは、ユーザが直前に操作した機器を表す情報となっている。
また、車両で用いられている機器に対してユーザが所定の制御内容を実行させるためには、複数の一連の入力操作をしなければならない場合が多い。そのため、ユーザが直前に操作していた機器とは、引き続き現在も操作しようとしている機器である可能性が、他の機器に比べて高い。すなわち、操作対象推定部は、画面情報を用いることでユーザが操作しようとしている機器を推定することができる。
そして、検索結果出力部は、検索処理部が取得した検索結果のうち、操作対象機器が実施する制御内容を優先して表示、又は実行する。
ここで、検索結果出力部に検索結果を示す画面を表示させる場合には、検索語に対応付けられている制御内容のうち、操作対象推定部が推定した操作対象機器が実施可能な制御内容が、優先的に表示されることになる。この操作対象推定部が推定した操作対象機器とは、前述の通り、ユーザが操作しようとしている可能性が高い機器である。すなわち、ユーザが所望する制御内容が、検索結果を示す画面において優先的に表示されている可能性が高い。
また、少なくとも、検索語の入力を開始する旨のユーザ操作がなされた時の画面が、ユーザが所望の制御内容を実行する機器に対応する画面となっている場合には、ユーザが所望する制御内容が優先的に表示されることになる。このため、表示画面が、ユーザが所望する制御内容を実行する機器に対応する画面となっている時に、検索語の入力を開始した場合には、検索結果が複数存在する場合であっても、ユーザは、所望の制御内容に対応する項目を検索結果の中から見つけ出しやすい。すなわち、上述した車両用機器制御装置は、ユーザが車両で用いられている複数の機器の何れかに対して、所望の制御内容を実行させるために要する手間を低減できる構成となっている。
また、検索結果出力部には、検索結果のうち、操作対象機器が実施する制御内容を優先的に実行させてもよい。ここで実行される制御内容は、前述の通り、ユーザが所望する制御内容となっている可能性が高い。特に、ユーザが検索語の入力を開始するための操作を実施したときの表示画面が、ユーザが所望の制御内容を実行する機器に対応する画面となっている場合には、ユーザが所望する制御内容が実行される。
したがって、この場合も、車両で用いられている複数の機器の何れかに対して、ユーザが所望の制御内容を実行させるために要する手間を低減できる構成となっている。なお、検索結果出力部に、検索結果のうち、操作対象機器が実施する制御内容を優先的に実行させる場合には、検索結果の中からユーザが所望する制御内容を選択する手間を省略することができる。
また、上記目的を達成するための制御内容検索方法の発明は、検索のキーワードとして用いる検索語を取得する検索語取得ステップ(S120)と、車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶している機能管理データベース(M1)に対して、検索語取得部で取得した検索語を用いた検索を行うことで、検索語に対応する制御内容のリストを検索結果として取得する検索ステップ(S130)と、検索語の入力を開始するためのユーザ操作を受け付けた時点において表示装置(2)に表示されている画面の状態を表す画面情報を取得する画面情報取得ステップ(S100)と、画面情報取得ステップで取得した画面情報に基づいて、複数の機器のうち、ユーザが操作しようとしている操作対象機器を推定する操作対象推定ステップ(S110)と、検索ステップで取得した検索結果を、操作対象推定部が推定した操作対象機器に関連する度合いが強い順に並べるソートステップ(S140)と、を備えることを特徴とする。
この制御内容検索方法の発明は、上述した車両用機器制御装置がユーザから入力された検索語に対応する制御内容を検索する方法に対応するものである。したがって、この制御内容検索方法によれば、上述の車両用機器制御装置と同様の効果を奏する。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
本実施形態に係る車両用機器制御システム100の概略的な構成の一例を示すブロック図である。 本実施形態に係る制御装置1の概略的な構成の一例を示すブロック図である。 機能管理データベースM1が記憶している機能管理データの構成の一例である。 表示制御部F4が表示させる種々の画面の構成の一例である。 メインメニュー画面の一例である。 制御装置1が実施する機能検索処理の一例を示すフローチャートである。 車両が停車している場合の検索結果画面の一例である。 車両が走行している場合の検索結果画面の一例である。 エアコン機能画面の一例である。 検索結果画面の一例である。 変形例1における検索結果画面の一例である。 変形例2における検索結果出力部F11の概略的な構成の一例を示すブロック図である。 変形例3における検索結果出力部F11の概略的な構成の一例を示すブロック図である。
以下、本発明の実施形態について図を用いて説明する。図1は、本実施形態に係る車両用機器制御システム100の概略的な構成の一例を示す図である。この車両用機器制御システム100は、車両に搭載された機器や、ユーザによって車室内に持ち込まれた機器といった、車両内においてユーザが利用可能な多種多様な機器を、音声入力や手書き文字入力などによってユーザが操作することを支援するシステムである。
図1に示すように車両用機器制御システム100は、制御装置1、表示装置2、スピーカ3、マイク4、操作部5、車両通信部6、空調装置7、オーディオ機器8、ナビゲーション装置9、広域通信部10、携帯端末11、狭域通信部12を備える。
空調機器(以降、エアコン)7、オーディオ機器8、ナビゲーション装置9が、上述の車両に搭載された機器に該当する。また、携帯端末11は、ユーザに持ち込まれることによって一時的に車載機と連携している機器である。なお、ナビゲーション装置9は、車両に搭載されたものではなく、ユーザによって車室内に持ち込まれたものであっても良い。
制御装置1と、表示装置2、スピーカ3、マイク4、操作部5、車両通信部6、エアコン7、オーディオ機器8、ナビゲーション装置9、広域通信部10、及び狭域通信部12とは、それぞれ相互通信可能に接続されている。また、制御装置1は、後述するように狭域通信部12を介して携帯端末11とも相互通信を実施する。
この車両用機器制御システム100が備える要素のうち、制御装置1が、車両内においてユーザが利用可能な多種多様な機器を制御する役割を担う。すなわち、制御装置1が請求項に記載の車両用機器制御装置に相当する。制御装置1は、操作部5に対してユーザが行った入力操作に基づいて、その入力操作に対応する機器に、その入力操作に対応する制御内容を実行させる。
また、ユーザは、上述した機器が提供する機能以外にも、制御装置1にインストールされている種々のアプリケーションプログラム(以降、アプリ)によって提供される機能も利用することができる。制御装置1にインストールされているアプリによって提供される機能とは、例えばインターネット上に保存されている情報を検索、閲覧などするウェブブラウジング機能などがある。すなわち、制御装置1自身もユーザに所定の機能を提供する装置となりうる。以降では、エアコン7や、オーディオ機器8、ナビゲーション装置9、携帯端末11、及び制御装置1を制御対象とも称する。以下、車両用機器制御システム100が備える各要素について述べる。
表示装置2は、制御装置1からの指示に基づいてテキストや画像を表示する。表示装置2は、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ等を用いて構成することができる。本実施形態において表示装置2は、インストゥルメントパネルの車幅方向中央付近に配置されるセンターディスプレイとする。
他の態様として、表示装置2はインストゥルメントパネルの運転席側の上部に配置されたメータディスプレイであってもよいし、周知のヘッドアップディスプレイであってもよい。また、複数種類のディスプレイを組み合わせて実現されてもよい。
スピーカ3は、制御装置1から入力された電気的な音声信号を音声(単なる音を含む)に変換して出力する。マイク4は、例えば無指向性の小型マイクであり、ユーザが発話した音声や雑音などの周囲の音を集音し、電気的な音声信号に変換して、制御装置1に出力する。マイク4は、例えばステアリングコラムカバーの上面部や運転席側のサンバイザー等のユーザの音声を拾いやすい位置に設けられる。
操作部5は、ユーザが、エアコン7や、オーディオ機器8、ナビゲーション装置9、携帯端末11、及び制御装置1自身などが提供する各種機能の実行させるように制御装置1に対して指示を行うための装置群である。例えば、ユーザは、この操作部5を操作することによって、エアコン7の動作開始/停止を指示したり、設定温度の変更を指示したりすることができる。
本実施形態では一例として操作部5は、ハプティックデバイス51、タッチパッド52、トークスイッチ(以降、スイッチはSWと略す)53を備えているものとする。
ハプティックデバイス51は、表示装置2の画面上に表示されるカーソルの移動、及び当該カーソルが指し示す対象の選択などを行うポインティングデバイスである。より具体的に、ハプティックデバイス51は、カーソルの移動させる方向を指示するための可動部と、カーソルが指し示す対象を選択(決定入力)するための決定スイッチとを備えている。
また、このハプティックデバイス51は、内部にアクチュエータを備えてあって、当該アクチュエータの動作を制御することで、カーソルの移動操作や選択操作に応じた反力をユーザの手に対して付与する。例えば、ユーザが選択可能なボタン画像(以降、ボタン)が表示装置2に表示されている状況において、カーソルがボタン以外の領域からボタン上に移動した時には、ハプティックデバイス51はアクチュエータを動作させることによって、その表示画面内のボタンを触ったかのような触覚をドライバの手に付与する。
タッチパッド52は、平板状のセンサ部を備え、センサ部とユーザの指との間に形成される静電容量の変化に基づいて、センサ部上の指の位置を特定する。また、センサ部上の指の位置の時系列データから、センサ部の表面をなぞった指の軌跡を示す軌跡データを取得する。ユーザは、タッチパッド52のセンサ部上で指を動かすことで、ハプティックデバイス51と同様に、表示画面上のカーソルを移動させたりすることができる。
本実施形態では、制御装置1はタッチパッド52と協働して周知の手書き認識処理を実施する。ユーザは、このタッチパッド52のセンサ部上で文字を手書きすることによって、所望の文字列を入力することができる。このタッチパッド52が請求項に記載の手書き入力装置に相当する。
トークSW53は、ユーザ(運転者)が音声入力を開始する旨を指示するためのスイッチである。ここではトークSW53は一例として、ハプティックデバイス51に設けられた、クリック方式のスイッチとする。トークSW53は、ユーザの操作によってオンに設定されると(すなわち、クリックされると)、オン信号を制御装置1に出力する。これによって、制御装置1はユーザが音声入力を開始する旨の操作を実施したことを検出することができる。
制御装置1は、トークSW53からオン信号が入力されると、音声データを取得するための処理を実施する。ユーザは、トークSW53をオン操作した後、一定時間内(例えば1.5秒以内)に発話し始めることで、その発話した音声を制御装置1に入力することができる。
なお、本実施形態ではトークSW53はハプティックデバイス51と一体化されている構成とするがこれに限らない。他の態様として、トークSW53は、例えば、ステアリングコラムカバーの側面部やシフトレバーの近傍などユーザが操作しやすい位置に設けられてあってもよい。また、トークSW53は、表示画面内に設けられたボタン、言い換えればソフトウェアスイッチであってもよい。
以上、操作部5が備える装置の一例を例示したが、これに限らない。操作部5は、上記の他、メカニカルスイッチや、表示装置2が備える表示パネルに積層されたタッチパネルなどを備えていても良い。なお、ここで例示した全ての装置を備えている必要はない。
車両通信部6は、自車両に搭載されたECU(Electronic Control Unit)や種々のセンサ、及び車両に搭載された機器(例えばエアコン7)から、様々な情報(車両情報とする)を取得する。例えば車両通信部6は、周知の車両内ネットワークを介してECUやセンサ、機器と相互通信を実施することで車両情報を取得すればよい。車両内ネットワークは、車両に搭載されたECUやセンサを接続するネットワークである。車両通信部6が取得した車両情報は制御装置1に逐次提供される。
車両情報には、車両の走行に関わる情報を表す走行状態情報の他、より好ましい形態として、車両外部の環境(天候等)を表す外部環境情報、各機器の設定値などを表す設定情報などが含まれるものとする。走行状態情報に含まれる要素としては、例えば、位置情報や、走行速度(以降、車速)、進行方向、加速度、ステアリングの切れ角、シフトポジション、パーキングブレーキのオン/オフ等といった、自車両の走行状態を表す種々の状態量が該当する。種々の状態量を検出、測定、又は推定する方法は周知の技術を援用すれば良い。
また、外部環境情報とは、天候状態や、道路の混雑度合いを表す渋滞情報などである。雨が降っているか否かは、自車両に搭載された雨滴センサによって検出されればよい。外部環境情報については、広域通信部10を介して外部から取得してもよい。
設定情報とは、エアコン7の設定温度や、ナビゲーション装置9に設定されている目的地、及び、目的地の履歴情報などである。設定情報については、例えば、後述する制御装置1が備える車両情報取得部F3からの指示に基づいて、各機器から取得する。その他、車両情報は、室内温度センサによって検出される車室内の温度や、着座センサの検出結果に基づいて特定される乗員数などの情報(車室内情報とする)を含んでいても良い。
エアコン7は、周知の車載空調装置であって、制御装置1からの指示に基づいて動作し、車室内の温度や湿度を調整する。例えばエアコン7は、車室内の温度がユーザによって指定された値となるように、吹き出す空気の温度を調整する。また、エアコン7は、吹き出し口から吹き出す空気の風量を、目標温度とは独立して制御することもできる。エアコン7が備える機能をまとめてエアコン機能と称する。エアコン7が備える温度調整機能(温度の上げ下げ)や風量を調整する機能などは、エアコン機能が備えるより細かい単位の機能(いわゆるサブ機能)である。
なお、エアコン7は、インストゥルメントパネルの右側に設けられた右側吹き出し口と、左側に設けられた左側吹き出し口を備え、それぞれから吹き出す空気の温度や風量を独立して制御できる構成としてもよい。
オーディオ機器8は、制御装置1からの指示に基づいて、楽曲データベース(以降、データベースはDBと略す)81に保存されている楽曲データを再生し、スピーカ3から音声出力させる。楽曲DB81は、例えば、HDD(Hard Disk Drive)などの周知の記憶媒体を用いて実現されれば良い。また、楽曲データを記憶する記憶装置は、複数種類の記憶媒体を組み合わせて実現されてもよい。
なお、楽曲データは、メタデータとして、その楽曲データが収録されているアルバムの情報や、アーティスト情報、曲名、演奏時間、評価などを含んでいる。楽曲DB81に格納されている複数の楽曲データは、アルバム情報や、アーティスト情報などによって階層的に管理されているものとする。
オーディオ機器8は、上述したように楽曲を再生するだけでなく、ユーザによって指定されたアーティストの楽曲を検索したり、ユーザによって指定されたアルバム及びそのアルバムに収録されている楽曲を検索したりする。オーディオ機器8が備える機能をまとめてオーディオ機能と称する。
ナビゲーション装置9は、周知のナビゲーション装置と同様の機能を備えており、地図DB91に格納されている地図データを用いて、現在地周辺の地図画像を表示装置2に表示させたり、現在地から目的地までの走行を案内する経路案内処理を実施したりする。目的地は、ユーザ操作に基づいて設定される地点である。ナビゲーション装置9が備える機能をまとめてナビゲーション機能と称する。
このナビゲーション装置9が用いる地図データは、道路の接続関係を示す道路データや、地図画像を描画するための描画用データ、施設についての情報を示す施設データなどを備えるものである。施設についての情報とは、施設の名称や、施設のジャンル(飲食店や、ショップ、観光地など)、住所などが該当する。なお、上述した地図データを格納する地図DB91は、周知の記憶媒体を用いて実現されればよい。また、地図DB91を車両に搭載されている必要はなく、後述する広域通信部10を介して車両外部に設けられたサーバから、上述した地図画像の表示などに必要な範囲のデータを取得する構成としてもよい。
広域通信部10は、送受信アンテナを備えてあって、車両外部に設けられた、インターネットに接続している設備と通信をする。制御装置1は、この広域通信部10を介して、インターネットにアクセスすることができる。
携帯端末11は、ユーザによって車室内に持ち込まれた周知の携帯型の情報処理端末である。例えばスマートフォンやタブレット端末などが、携帯端末11に該当する。通常の携帯端末は、制御装置1との通信を確立された場合に、本実施形態における携帯端末11として動作する。
なお、制御装置1と携帯端末11とは、狭域通信部12を介して相互通信を実施する。携帯端末11と制御装置1とが連携している場合に、制御装置1は、携帯端末11の画面を表示装置2に表示させたり、携帯端末11にインストールされているアプリケーションを実行させたりすることができる。携帯端末11が備える機能をまとめて携帯端末機能と称する。
狭域通信部12は、携帯端末11と制御装置1とが相互通信を実施するためのインターフェースとしての役割を担う。携帯端末11と制御装置1とは、例えば、Bluetooth(登録商標)などの近距離無線通信技術によって無線接続されてあってもよいし、有線接続されてあっても良い。
制御装置1は、通常のコンピュータとして構成されており、周知のCPU、ROMやフラッシュメモリなどの不揮発性メモリ、RAMなどの揮発性メモリ、I/O、及びこれらの構成を接続するバスライン(何れも図示略)などを備えている。制御装置1が備える不揮発性メモリには、CPUが種々の処理を実行するためのプログラムやデータが格納されている。
この制御装置1は、機能ブロックとして図2に示すように、ウェブブラウジング部F1、連携機器制御部F2、車両情報取得部F3、表示制御部F4、操作受付部F5、検索語取得部F6、検索処理部F7、画面情報取得部F8、操作対象推定部F9、検索結果整理部F10、及び検索結果出力部F11を備えている。また、制御装置1は、周知の不揮発性の記憶媒体からなる機能管理DBM1、音声認識DBM2、及び文字認識辞書M3を備えている。
ウェブブラウジング部F1は、広域通信部10と協働して、インターネットにアクセスし、操作受付部F5が受け付けたユーザ操作に応じたWebページを取得し、表示装置2に表示させる。なお、ウェブブラウジング部F1は、操作受付部F5がWebページを閲覧する旨のユーザ操作を受け付けた場合に起動する。このウェブブラウジング部F1が提供する機能を、以降ではインターネット機能と称する。
連携機器制御部F2は、制御装置1と連携している機器(以降、連携機器)の動作を制御する。ここでの連携機器とは、制御装置1と相互通信可能に接続されてあって、それぞれ所定の機能を提供する機器である。すなわち本実施形態では、エアコン7、オーディオ機器8、ナビゲーション装置9、及び携帯端末11が、連携機器に該当する。
この連携機器制御部F2は、後述する操作受付部F5が受け付けたユーザ操作(音声入力を含む)に基づいて、そのユーザ操作に対応する制御対象に対して、ユーザ操作に対応する制御内容を実行するように指示する。
車両情報取得部F3は、車両通信部6から車両情報を取得する。なお、車両情報取得部F3は、車両通信部6に対して連携機器に設定されている設定値などの設定情報を取得するように要求することで、設定情報も取得する。
さらに、車両情報取得部F3は、取得した車両情報(特に走行状態情報)に基づいて、車両が走行しているか否かを判定する。例えば、車速が所定の閾値(例えば3km/h)以上となっている場合には走行していると判定し、車速が所定の閾値未満となっている場合には走行していないと判定する。また、シフトポジションが駐車ポジションとなっている場合や、パーキングブレーキがオンとなっている場合に自車両は走行していないと判定してもよい。
機能管理DBM1は、各連携機器や制御装置1自身が実行可能な制御内容と、各制御内容に関連する単語とを対応付けたデータ(機能管理データとする)を記憶している。各連携機器や制御装置1自身が実行可能な制御内容とは、ユーザが制御装置1及び連携機器に指示可能な制御内容を意味する。
この機能管理DBM1が記憶している機能管理データの構成の一例を図3に示す。図3に示すように、機能管理データにおいて、ユーザが制御装置1及び連携機器に指示可能な制御内容は、その制御内容を実行する機器(又は機能)毎に区別して管理される。
より具体的に、機能管理データは、最も上位の階層であるメイン機能リストLmn、メイン機能リストに従属する制御内容リストLsbを備えている。メイン機能リストLmnは、種々の制御対象に対応する機能(メイン機能とする)のリストである。すなわち、メイン機能リストLmnは、オーディオ機能や、エアコン機能、ナビゲーション機能、インターネット機能、携帯端末機能などに対応する項目を備える。
また、制御内容リストLsbは、各メイン機能が実施可能な制御内容のリストである。すなわち、この制御内容リストLsbに含まれる制御内容とは、各メイン機能が備えるサブ機能に相当するものである。
例えば、オーディオ機能が実施する制御内容としては、楽曲DB81からユーザが任意のアーティストの曲を検索するアーティスト検索処理や、任意のアルバムに収録されている曲を検索するアルバム検索処理などがある。なお、この制御内容リストLsb自体も階層的な構造となっていても良い。各制御内容は、その制御内容を実施するメイン機能と対応付けられている。
また、各制御内容は、その制御内容を表す予め定められた少なくとも1つの単語と対応付けられている。例えば、図3に示すように機能管理DBM1は、エアコン機能が備える制御内容「温度を上げる」は、「上げる」、「アップ」、「寒い」、「暖かく」といった単語と対応付けて記憶している。また、オーディオ機能が備える「アーティスト検索」は、楽曲データに含まれる種々のアーティスト名の全てと対応付けられている。アーティスト名は、適宜、楽曲データが保存されている領域を検索することで取得すればよい。
ナビゲーション機能が備える制御内容「目的地設定」は、地図データの施設データに含まれる各施設名称と対応付けられている。なお、施設名称は、適宜、施設データを検索することで取得すればよい。インターネット機能の制御内容「検索」については、全ての単語(又はフレーズ)と対応付けられているものとする。
ところで、一般的に、車載装置には、車両が走行中である場合には所定の制御内容の実行を禁止する機能(すなわち走行強制機能)が組み込まれている。本実施形態の制御装置1もまた、車両が走行中である場合には、制御内容リストLsbに含まれる制御内容のうちの一部の実行を禁止する走行強制機能を備えているものとする。機能管理DBM1は、この走行強制機能の対象とする制御内容のリストを記憶している。本実施形態では一例として、インターネットによる検索処理を走行強制機能の対象とする。
表示制御部F4は、表示装置2の表示画面を制御する。表示制御部F4が表示させる種々の画面としては、ユーザが、操作する制御対象(メイン機能)を選択するためのメインメニュー画面や、オーディオ機能に対応する画面などがある。オーディオ機能画面は、オーディオ機能が備えるサブ機能のうち、ユーザが所望のサブ機能を選択するための画面である。
表示制御部F4が表示装置2に表示させる種々の画面は、図4に示すように、表示制御部F4が表示装置2に表示させる種々の画面はツリー状に構成されている。より具体的には、最も上位の画面として前述のメインメニュー画面を備えている。そのメインメニュー画面に従属する画面として、オーディオ機能画面や、エアコン機能画面、ナビゲーション機能画面等といった、ユーザが指示入力可能な制御対象のそれぞれに対応する画面を備える。
なお、エアコン機能画面は、エアコン7を操作するための画面であって、例えばエアコン7の設定温度や風量などを調整するための画面である。ナビゲーション機能画面は、ナビゲーション装置9に対応する画面であって、ナビゲーション装置9が備える機能のうち、ユーザが所望の機能を選択するための画面である。
また、表示制御部F4が表示させる画面には、画面毎に識別番号(画面IDとする)が設定されている。表示制御部F4は、この画面IDによって、現在表示させている画面を特定したり、次に表示させる画面を特定したりすることができる。例えば、図4は一例として、メインメニュー画面の画面IDがG100であり、オーディオ機能画面の画面IDがG110であり、エアコン機能画面の画面IDがG120であることを示している。
さらに、表示制御部F4が表示させる各画面には、ユーザによって選択可能な少なくとも1つのボタンが配置されている。ユーザは、画面に設けられたボタンを選択していることによって、画面を別の画面に遷移させたり、種々の制御内容を実行させたりすることができる。すなわち、ボタンはユーザが所望する制御内容を特定するための選択肢としての機能を備える。ボタンには、ボタン毎に固有のボタンIDが設定されてあって、ボタンIDは、遷移先の画面の画面IDや、制御対象とする機器や、その制御内容などと対応付けられている。表示制御部F4は、次に説明する操作受付部F5と協働して、表示画面を遷移させていく。
ここで、図5に示すメインメニュー画面の一例を用いて、画面に設けられているボタンの作動について説明する。図5に示すようにメインメニュー画面は、ユーザによって選択可能なボタンB11〜15を備えている。ボタンB11〜15は何れも、ユーザが制御対象を選択するためのボタンである。より具体的に、ボタンB11は、オーディオ機器8が備えるサブ機能を実行させるための一連の入力操作をユーザが開始するためのボタンであって、当該ボタンがユーザに選択された場合には、表示制御部F4は、オーディオ機能画面を表示装置2に表示させる。
また、ボタンB12は、エアコン7を操作するためのボタンであって、ボタンB13はナビゲーション装置9を操作するためのボタンである。ボタンB14は、ウェブブラウジング部F1を起動し、インターネットを利用するためのボタンである。ボタンB15は、携帯端末11が備える機能の利用を開始するためのボタンである。
ユーザは操作部5を操作することによって、表示画面内のカーソルCurを移動させることができる。図5はカーソルがボタンB11上に存在している状態を表している。カーソルCurが指し示しているボタンは、他のボタンとは異なる表示態様で表示することで強調表示される。以降では、カーソルCurが指し示しているボタンを、仮選択されているボタンと称する。
ユーザは、任意のボタンを仮選択している状態でハプティックデバイス51の決定ボタンを押下することで、そのボタンを選択することができる。すなわち、図5に示す状態において、ユーザはハプティックデバイスの決定ボタンを押下することで、表示画面をオーディオ機能画面に遷移させる。
メインメニュー画面から分岐した、ユーザが操作可能な制御対象が備える種々の画面は、より下位の画面となるに従って、より具体的な機能を選択するための画面となっていく。最終的には、ユーザが所望する制御内容を実行指示するための画面を介して、指示された制御内容を実行していることを示す画面となる。なお、表示制御部F4は、以上で述べた画面の他にも、検索結果出力部F11からの指示に基づいて後述する検索結果画面を表示する。
操作受付部F5は、ユーザが操作部5に対して行った操作を受け付ける。例えば、ユーザがハプティックデバイス51に対して、表示画面内のカーソルを移動させる操作を行った場合には、その操作量に応じて表示画面内のカーソルの位置を動かすように表示制御部F4に要求する。
また、ユーザが、表示画面に表示しているボタンを選択する操作を実施した場合には、その選択操作に応じた別の画面に遷移するように表示制御部F4に要求する。より具体的には、操作部5からユーザが決定操作を実施したことを示す制御信号を取得すると、現在のカーソル位置からユーザが選択したボタンを特定する。そして、そのボタンIDに対応する画面IDを特定し、その画面に遷移するように表示制御部F4に要求する。
さらに、ユーザによって選択されたボタンが、所定の制御対象に対して所定のサブ機能(すなわち制御内容)の実行を指示するものである場合には、そのユーザによって選択されたボタンに対応する制御内容を実行させる。なお、画面が備えるボタンの位置は、画面毎に予め設定されてあって、現在表示している画面IDとカーソル位置から、操作受付部F5は、ユーザが選択したボタンのボタンIDを特定することができる。
その他、操作受付部F5は、タッチパッド52を用いた文字入力を開始する旨のユーザ操作や、タッチパッド52を用いた文字入力を終了する旨のユーザ操作を受け付ける。また、トークSW53から入力される制御信号に基づいて、音声入力を開始する旨のユーザ操作を受け付ける。これらのユーザ操作が、請求項に記載の、検索語の入力を開始するユーザ操作に相当する。
検索語取得部F6は、後述する機能検索処理に用いる検索語を取得する。なお、検索語は少なくとも1つの単語を含んでいればよく、複数の単語を含んだフレーズであってもよい。
本実施形態において検索語取得部F6は、ユーザの発話に基づいて検索語を取得する音声認識部F61と、タッチパッド52を介して検索語を取得する手書き認識部F62を備えている。なお、本実施形態では音声認識部F61と手書き認識部F62の両方を備えている構成を例示しているが、他の態様として、何れか一方のみを備える構成であってもよい。
より具体的に、音声認識部F61は、トークSW53から入力される制御信号に基づいて、ユーザをクリックされたことを検出すると、音声入力待機状態となった後に、マイク4を介してユーザが発話した音声データを取得する。そして、その音声データに対して、音声認識DBM2に格納されている種々のデータを用いて周知の音声認識処理を実施し、音声データに対応するテキストデータを取得する。このテキストデータが検索語に相当する。
音声認識DBM2には、音声認識処理に必要なデータとして、例えば、人間の発声の小さな単位(音素)の音響特徴が記述されている音響モデル、音素の音響特徴と単語とを対応付ける認識辞書、単語間の連接関係を表現する言語モデルなどが格納されている。
なお、本実施形態では、制御装置1が音声認識DBM2を備え、自装置内で音声認識処理を実施する態様を例示するが、これに限らない。音声認識処理は、車両に外部に設けられたセンターで実施されても良い。
例えば、検索語取得部F6はユーザから入力された音声データを広域通信部10を介して当該センターに送信する。そしてセンターは、受信した音声データに対して音声認識処理を実施して音声データをテキストデータに変換し、制御装置1に返送する。このような態様によれば、制御装置1が備える機能を簡略化することができるとともに、制御装置1が音声認識DBM2を備えていなくても、ユーザは音声入力によって検索語を入力することができる。
手書き認識部F62は、タッチパッド52を用いた文字入力を開始する旨のユーザ操作を受け付けると、タッチパッド52が取得した指の軌跡データに基づいて周知の文字認識処理を実施して、ユーザが入力した軌跡データに対応する文字を特定する。そして、文字入力が完了したことを示すユーザ操作を受け付けるまでに順次特定した文字を並べた文字列を検索語として取得する。
手書き文字の認識方法は周知の方法を援用すればよい。例えば、字形による文字認識(いわゆるオフライン認識)方式と、筆跡による文字認識(いわゆるオンライン認識)方式を組み合わせた認識方式を採用する構成とすればよい。なお、制御装置1が備える文字認識辞書M3は、文字の形状パターンを示すデータなどの、文字認識処理に用いるデータを収録したものである。
この手書き認識部F62が実施する文字認識処理は、音声認識部F61と同様に、車両外部に設けられたセンターで実施されても良い。すなわち、検索語取得部F6は、タッチパッド52が取得した指の軌跡データをセンターに送信し、センターが当該軌跡データに対して文字認識処理を実施して文字を特定する構成としてもよい。センターが特定した文字は逐次制御装置1に返送されても良いし、文字入力が完了したことを示すユーザ操作を受け付けた場合に、文字列として返送されてもよい。
検索処理部F7は、機能管理DBM1に対して、検索語取得部F6が取得した検索語を用いて検索を実施する。より具体的には、検索語に一致する単語と対応付けられている制御内容を検索する。ここでの一致とは、完全な一致に限らず、部分一致であってもよい。また、検索処理部F7は、検索語に類似する別の表現を用いて検索を行ってもよい。
そして、検索処理部F7は、検索語に一致する単語と対応付けられている制御内容のリストを検索結果として取得する。また、制御内容の種類によっては、検索語に一致する単語を制御パラメータとして必要とするものも存在しうる。そのような場合には、検索語に一致する単語も、サブ機能と対応付けて取得する。
例えば、検索処理部F7は、HDDに格納されている楽曲データのアーティストの中に、検索語と部分一致する名称のアーティストが存在する場合には、そのアーティストの曲を検索するといった制御内容を検索結果の1つとして取得する。
また、検索処理部F7は、施設データの中に、検索語と部分一致する名称の施設が存在する場合には、その施設を、ナビゲーション機能の目的地として設定するといった制御内容を検索結果の1つとして取得する。
画面情報取得部F8は、表示制御部F4から、表示装置2に表示している画面についての情報(画面情報とする)を取得する。ここでの画面情報とは、画面IDや、仮選択中のボタンのボタンIDなどが該当する。画面IDが請求項に記載の画面種別情報に相当する。また、ボタンIDが請求項に記載の選択対象情報に相当する。
操作対象推定部F9は、画面情報取得部F8が取得した画面情報に基づいて、ユーザが利用しようとしている機能(操作対象機能とする)を推定する。操作対象機能とは、メイン機能に相当する概念においては、ユーザが操作しようとしている機器(すなわち操作対象機器)を意味する。また、現在の表示画面が、メイン機能が備えるサブ機能を選択する画面となっており、その画面が備えるボタンのうちの1つが仮選択中となっている場合には、操作対象機能は、サブ機能(すなわち制御内容)のレベルまで具体化することができる。
例えば操作対象推定部F9は、画面情報に含まれる画面IDに対応する制御対象が提供するメイン機能を、ユーザが操作しようとしている制御対象機能と見なす。また、操作対象推定部F9は、画面情報に仮選択中のボタンのボタンIDが含まれている場合には、そのボタンIDに対応する制御内容を、ユーザが実行させようとしている制御内容であると推定する。この仮選択中のボタンのボタンIDに対応する制御内容が請求項に記載の制御内容候補に相当する。
検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能に基づいて整理する。ここでの検索結果の整理とは、検索結果を所定の規則に基づいて並び替えたり(いわゆるソート処理)、所定の条件に合致する制御内容を除外することで検索結果の数を絞り込んだりすることを指す。
本実施形態では一例として検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソートする。関連性の高さは例えば次のように決定すればよい。まず、制御対象機能が提供する制御内容であって、かつ、仮選択中のボタンのボタンIDに対応する制御内容と一致する制御内容が、検索結果の中に存在する場合には、その制御内容が操作対象機能と最も関連性が高いと判断する。その次に関連性が高いと判断する制御内容は、制御対象機能が実施する制御内容である。そして、制御対象機能とは別のメイン機能が実施する制御内容は、最も制御対象機能との関連性が低いと判断する。
例えば、操作対象機能がオーディオ機能であって、検索結果にオーディオ機能に属する制御内容が含まれている場合には、そのオーディオ機能に属する制御内容を、他のメイン機能に属する制御内容よりも、検索結果の上位に配置する。なお、操作対象機能との関連性が同じレベルの制御内容については、検索時に発見された順や、名称順などで並べればよい。
また、検索結果整理部F10は、車両情報取得部F3が取得した車両情報に基づいて、検索結果を絞り込む。より具体的には、車両情報取得部F3が、車両情報に基づいて車両が走行中であると判定している場合には、検索結果から、走行中における実行を禁止されている制御内容に該当する項目を除外する。車両情報取得部F3が、車両情報に基づいて車両が走行中ではないと判定している場合には、検索結果に対しては何もしない。
検索結果出力部F11は、より細かい機能ブロックとして検索結果表示指示部F111を備える。検索結果表示指示部F111は、検索結果整理部F10が整理した検索結果のリストを表す検索結果画面を表示するように表示制御部F4に指示する。なお、検索結果画面の元となる画像自体は、例えば表示制御部F4が生成すれば良い。より具体的には、検索結果表示指示部F111が検索結果整理部F10によって整理された検索結果を表すデータを、表示制御部F4に提供し、表示制御部F4がその検索結果データに基づいて検索結果画面の元となる画像を生成し、表示装置2に表示させる。この検索結果画面の一例や、検索結果表示指示部F111の作動については、後述する。
次に、図6に示すフローチャートを用いて、制御装置1が実施する機能検索処理について説明する。機能検索処理とは、ユーザが入力した検索語に関連する制御内容を検索し、その検索結果を表示装置2に表示するための一連の処理である。図6に示すフローチャートは、例えば、操作受付部F5が、検索語を入力するためのユーザ操作を受け付けた場合に開始すればよい。ここでの検索語を入力するためのユーザ操作とは、タッチパッド52を用いた文字入力を開始する旨のユーザ操作や、音声入力を開始する旨のユーザ操作を指す。図6に示す機能検索処理が、請求項に記載の制御内容検索方法に対応する処理である。
まず、ステップS100では画面情報取得部F8が、現在の表示画面の画面情報を取得してステップS110に移る。このステップS100が請求項に記載の画面情報取得ステップに相当する。
ステップS110では操作対象推定部F9が、ステップS100で画面情報取得部F8が取得した画面情報に基づいて、操作対象機能を推定し、ステップS120に移る。このステップS110が請求項に記載の操作対象推定ステップに相当する。
ステップS120では、検索語取得部F6が検索語を取得してステップS130に移る。例えば、本フローが音声入力を開始する旨のユーザ操作をトリガとして開始された場合には、音声認識部F61が音声認識処理を実施することで、検索語を取得する。また、本フローがタッチパッド52を用いた文字入力を開始する旨のユーザ操作をトリガとして開始された場合には、手書き認識部F62がタッチパッド52に対してユーザが実施した入力操作に基づいて検索語を取得する。このステップS120が請求項に記載の検索語取得ステップに相当する。
ステップS130では検索処理部F7が、機能管理DBM1に対して検索語取得部F6が取得した検索語を用いて検索を実施し、検索語に一致する単語と対応付けられている制御内容のリストを検索結果として取得する。ステップS130での処理が完了すると、ステップS140に移る。このステップS130が請求項に記載の検索ステップに相当する。
ステップS140では検索結果整理部F10が、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソートしてステップS150に移る。このステップS140が請求項に記載のソートステップに相当する。
ステップS150では車両情報取得部F3が車両情報を取得してステップS159に移る。ステップS159では車両情報取得部F3が、車両情報に基づいて車両が走行しているか否かの判定を行う。ここで、車両情報取得部F3が、車両が走行していると判定した場合には、ステップS159がYESとなってステップS160に移る。一方、車両情報取得部F3が、車両が走行していると判定した場合には、ステップS159がNOとなってステップS180に移る。
ステップS160では検索結果整理部F10が、検索結果に含まれている制御内容のうち、走行強制の対象として定義されているものを除外してステップS170に移る。ステップS170では検索結果整理部F10が、検索結果を1画面で表示できる数に絞ってステップS180に移る。なお、1画面内に表示できる検索結果の数は、予め定められていれば良い。
ステップS180では検索結果表示指示部F111が、以上の処理で得られた検索結果を示す画面を表示するように表示制御部F4に要求する。そして、表示制御部F4が検索結果画面を表示させ、本フローを終了する。
次に、種々の状況における機能検索処理の作動の具体例について述べる。なお、以降においてオーディオ機器8が備えるHDDには、「ABC EFG Band」という名称のアーティストの楽曲が収録されており、また、地図データには「ABC HIJ Mart」という名称の施設、及び「ABC KLM Foods」という名称の施設についての情報が収録されているものとする。さらに、その他、「ABC」という単語と対応付けられている制御内容が機能管理DBM1に複数格納されているものとする。
まず、車両が停車中である場合であって、現在の表示画面が図5に示す状態であると想定して、機能検索処理の作動について述べる。図5に示す画面の状態とは、メインメニュー画面において、オーディオ機器8を操作するためのボタンB11が仮選択中となっている状態を指す。
このような状況においてユーザがトークSW53をクリックして「ABC」と発話すると、音声認識部F61がマイクから入力された音声データに対して音声認識処理を実施することで、「ABC」という検索語を取得する(ステップS120)。そして、検索処理部F7は、検索語「ABC」と一致する単語と対応づく制御内容を検索結果として取得する(ステップS130)。
より具体的には、オーディオ機能が備えるアーティスト名としてヒットした「ABC EFG Band」の曲を検索するといった制御内容、施設の名称としてヒットした「ABC HIJ Mart」や「ABC KLM Foods」を、ナビゲーション機能の目的地として設定するといった制御内容、インターネット機能において「ABC」を検索するといった制御内容などを取得する。
一方、画面情報取得部F8は、画面情報として、メインメニュー画面においてボタンB11が仮選択中であることを取得し(ステップS100)、操作対象推定部F9は、操作対象機能はオーディオ機能であると推定している(ステップS110)。
したがって、検索結果整理部F10は検索処理部F7が取得した検索結果を、オーディオ機能に関連するものが、検索結果のリストにおいてより上位となるように並べ替える(ステップS140)。ここで車両は停車中であることから、ステップS159はNOとなって、検索結果表示指示部F111は、ステップS140でソートされた検索結果を表す検索結果画面を表示させる。
図7に、上述した処理の結果表示される検索結果画面の一例を示す。車両が停車中である場合に表示する検索結果画面は、検索結果として得られた全ての制御内容に対応する項目を、リスト形式で表示する画面である。検索結果画面として最初に表示される画面に表示されていない項目については、ユーザは、スクロールバーSbrが備えるスクロールボックスSbxをスライドさせることで表示させることができる。
本実施形態の構成によれば、図7に示すように、検索結果のうち、操作対象推定部F9が推定した操作対象機能「オーディオ機能」に関連する項目である、「ABC EFG Band」の曲を検索するといった制御内容に対応する項目が、図7に示すように検索結果画面において一番上に表示される。すなわち、検索結果のうち、操作対象推定部F9が推定した操作対象機能「オーディオ機能」に関連する項目が優先的に表示される。
以上では、車両が停車している場合の作動について説明した。次に、車両が走行中の場合の作動について説明する。なお、車両が走行中であること以外については、上述した状況と同じとする。
車両が走行中である場合、ステップS159がYESとなって、検索結果整理部F10は、操作対象機能に関連するものが上位となるように並び替えた検索結果のリストから、走行強制機能の対象に該当する項目を除外する。本実施形態では、インターネットでの検索機能を走行強制機能の対象としている。したがって、検索結果から、インターネットで「ABC」を検索する項目を除外する。また、検索結果整理部F10は、検索結果に含まれる項目の数を1画面内に表示できる数に絞り込む。
ここで、車両が走行中である場合に表示される検索結果画面の一例を図8に示す。車両が走行中であっても、操作対象機能に関連する項目は、優先的に上位に表示される。ただし、車両が走行中である場合に表示する検索結果画面は、図7に示す検索結果画面とは異なり、スクロールバーSbr及びスクロールボックスSbxを備えない。すなわち、1画面で表示できる範囲の検索結果を表示する。また、走行強制機能の対象となっている制御内容に対応する項目も表示されない。
このような構成とすることで、検索結果画面に含まれる情報量を低減でき、ユーザが、検索結果画面に所望の制御内容が含まれているか否かの判断をしやすくすることができる。また、検索結果にユーザが所望の制御内容が含まれている場合には、その制御内容を見つけやすくすることができる。
なお、以上では、「オーディオ機能」を操作対象機能とした場合を例示したが、別の状況として、「ナビゲーション機能」が操作対象機能と推定されている場合には、「ABC HIJ Mart」や「ABC KLM Foods」を経路案内処理の目的地に設定する制御内容に対応する項目が、優先して表示される。
また、別の状況として、現在の表示画面が図9に示すようにエアコン機能画面となっており、かつ、温度を上昇させるためのボタンB21が仮選択中となっている状況での、機能検索処理の作動について説明する。車両は停車しているものとする。
このような状況においてユーザがトークSW53を押下して「アップ」と発話した場合には、検索処理部F7は、検索語「アップ」に対応付く制御内容を検索結果として取得する。なお、ここでは、現在の表示画面がエアコン機能画面となっていることから、操作対象推定部F9は、操作対象機能は「エアコン機能」であると推定する。また、仮選択中のボタンが設定温度を上昇させるためのボタンB21となっていることから、より具体的に、操作対象機能は、エアコン機能が備える温度上昇機能であると推定する。
この操作対象推定部F9の推定結果を受けて、検索結果整理部F10は、検索結果のリストにおいて、エアコン7の設定温度を上昇させる制御内容が最も操作対象機能との関連性が大きいと判断する。また、風量を上昇させる制御内容もまた、同じエアコン機能が備えるサブ機能に相当する制御内容であるため、操作対象機能との関連性は、設定温度を上昇させる制御内容に次いで高いと判断する。
一方、オーディオ機能が実施可能な音量を上昇させる制御内容は、操作対象機能とは別の機器が提供する制御内容であるため、操作対象機能との関連性は相対的に低いと判断する。検索結果整理部F10は、以上の判断に基づいて、検索結果をソートする。
検索結果表示指示部F111は、検索結果整理部F10がソートした検索結果に対応する検索結果画面を表示させる。すなわち、図10に示すように、エアコンの設定温度を上昇させる制御内容に対応する項目を最も上位に配置し、その次に風量を上昇させる制御内容に対応する項目を配置した検索結果画面を表示する。
以上の構成によれば、ユーザは、例えばオーディオ機能に対して所望の制御内容を実行させたい場合には、メインメニュー画面においてオーディオ機能画面に遷移するためのボタンを仮選択している場合や、オーディオ機能画面に従属する画面が表示されている場合に、所望の制御内容に対応する検索語を入力すれば良い。
そのような場合、検索語と一致する単語と対応付けられている制御内容が複数存在する場合であっても、オーディオ機能に属する制御内容が優先して表示されるため、ユーザは所望の制御内容を見つけやすい。したがって、ユーザが所望する制御内容をより実行させやすい構成となっている。
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
<変形例1>
以上では、車両が走行中である場合には、検索結果出力部F11は走行強制の対象となっている制御内容を除外した検索結果を表示する態様を例示したが、これに限らない。例えば、検索結果整理部F10は、操作対象機能に関連する度合いが強い順に並び替えた検索結果を検索結果出力部F11に提供する。
そして、検索結果表示指示部F111は、ソート済みの検索結果のうち、走行強制機能の対象となっている制御内容を、走行強制機能の対象となっていない制御内容とは異なる表示態様で表示させる。また、検索結果画面において、走行強制機能の対象となっている制御内容に対応する項目については、ユーザが選択できないものとして処理する。この変形例1における車両が走行中の場合の検索結果画面の一例を、図11に示す。
図11は、操作対象機能が「インターネット機能」となっている場合の検索結果画面である。この変形例1の態様によれば、検索語「ABC」に一致する情報をインターネットで検索する制御内容に対応する項目C21は、この図11に示すように、操作対象機能に対応する制御内容であるため、検索結果画面の一番上に表示される。しかし、車両が走行中であるため、ボタンとして機能を備えず、また、選択不可能な項目であることがユーザに分かるように表示される。
このような構成によれば、ユーザは、所望の制御内容が検索結果に含まれていることを認識するとともに、走行中であるため実行させることが出来ないことも認識することができる。
<変形例2>
以上では、検索結果整理部F10が整理した検索結果を利用する方法として、検索結果表示指示部F111が表示制御部F4と協働し、検索結果のリストを表す検索結果画面を表示する態様を例示したが、これに限らない。検索結果画面の表示を省略し、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させてもよい。検索結果出力部F11は、検索結果整理部F10が整理した検索結果のうち、最も上位のものを実行させる検索結果出力部が備える機能を、検索結果実行指示部F112とする(図12参照)。
なお、ここでの検索結果とは、車両が走行中である場合であっても、走行強制機能の対象となっている制御内容を除外する前の検索結果とする。そして、仮に検索結果整理部F10によって並び替えられた検索結果において最も上位に制御内容が走行強制機能の対象となっている制御内容である場合には、ユーザに対して、実施しようとした制御内容が走行中であるため実施できない旨を通知するようにする。
もちろん、車両が走行中である場合の他の態様として、ソート済みの検索結果からさらに走行強制機能の対象となっている制御内容を除外した状態において最も上位の制御内容を検索結果出力部F11が実行する態様としても良い。
<変形例3>
また、検索結果画面を表示する場合と、検索結果画面の表示を省略して、自動的に実行する場合とは、併存していてもよい。すなわち、検索結果出力部F11は検索結果表示指示部F111と検索結果実行指示部F112の両方を備えていても良い。また、その場合、検索結果出力部F11は、検索結果画面を表示させるか、又は、検索結果画面の表示を省略して検索結果の自動的に実行させるかを選択する出力態様選択部F113(図13参照)を備える構成とすればよい。すなわち、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択する。以降では、出力態様選択部F113は、検索結果表示指示部F111を動作させるか、又は、検索結果実行指示部F112を動作させるかを選択することを、出力態様を選択する、と表現する。
例えば、制御装置1の構成を、ユーザが、検索結果画面を表示させるか、又は、検索結果画面の表示を省略して検索結果の自動的に実行させるかといった動作モードを予め設定できる構成とする。そして、出力態様選択部F113は、ユーザによって設定された動作モードに従って、出力態様を決定すればよい。
また、出力態様選択部F113は、ユーザから入力された検索語が含む単語の属性に基づいて、出力態様を選択してもよい。例えば、検索語が、特許文献1に開示されるような、機器の機能を指定する機能語と、その機能の実行内容を指示する指示語の両方を含んでいる場合には、検索結果実行指示部F112を動作させればよい。一方、検索語が、機能語及び指示語の何れか一方しか含んでいない場合には、検索結果表示指示部F111を動作させれば良い。
さらに、出力態様選択部F113は、検索処理部F7が取得した検索結果に含まれる制御内容の数に応じて、出力態様を選択してもよい。例えば、検索処理部F7が取得した検索結果が1つしか存在しない場合には、検索結果実行指示部F112を動作させる。一方、検索処理部F7が取得した検索結果が2つ以上存在する場合には、検索結果表示指示部F111を動作させる。このような態様によれば、ユーザによって、実行させるべき制御内容が一意に定められるほど十分な情報を含む検索語が入力された場合には、検索結果画面を省略して実行する。
<変形例4>
また、検索結果整理部F10は、検索処理部F7による検索結果を、操作対象推定部F9が推定した操作対象機能と関連性が高い順にソート(1次ソートとする)した後に、さらに、車両情報取得部F3が取得した車両情報に基づいてソート(2次ソートとする)してもよい。
この変形例4を実施するための構成として、機能管理DBM1は、管理する制御内容のうち、所定の状況(雨天や渋滞など)と関連性が高い制御内容については、その制御内容と関連性が高い状況と対応付けて記憶している。また、検索結果整理部F10は、車両情報取得部F3が取得した車両情報から、現在が予め登録されている所定の状況(雨天や渋滞など)であるか否かを判定する機能を備えているものとする。
例えば、エアコン7が、デフロスタ(曇り抑止機能)の実行という制御内容を備えている場合には、機能管理DBM1は、この制御内容と、雨天であるという状況とを対応付けて記憶している。また、検索結果整理部F10は、車両情報として、雨が降っていることを示す情報が取得されている場合には、現在が雨天であると判定する。
そして、ユーザが「エアコン設定」という検索語を入力した場合に、かつ、雨が降っている場合には、検索結果整理部F10は、1次ソートした後の検索結果においてデフロスタの実行という制御内容を、より上位に配置する。
なお、2次ソートによって順番が繰り上がる制御内容は、検索結果のうち、現在の車両情報が示す状態と対応付けられているものだけとする。すなわち、検索結果のうち、現在の車両情報が示す状態と対応付けられていない制御内容の上下関係については、1次ソートのままとする。
100 車両用機器制御システム、1 制御装置(車両用機器制御装置)、2 表示装置、5 操作部、7 エアコン、8 オーディオ機器、9 ナビゲーション装置、11 携帯端末、52 タッチパッド(手書き入力装置)81 楽曲データベース、91 地図データベース、F1 ウェブブラウジング部、F2 連携機器制御部、F3 車両情報取得部、F4 表示制御部、F5 操作受付部、F6 検索語取得部、F61 音声認識部、F62 手書き認識部、F7 検索処理部、F8 画面情報取得部、F9 操作対象推定部、F10 検索結果整理部、F11 検索結果出力部、F111 検索結果表示指示部、F112 検索結果実行指示部、F113 出力態様選択部、M1 機能管理データベース、Lmn メイン機能リスト、Lsb 制御内容リスト、M2 音声認識データベース、M3 文字認識辞書

Claims (10)

  1. 車両で用いられている複数の機器の動作を制御する車両用機器制御装置であって、
    検索のキーワードとして用いる検索語の入力を開始するユーザ操作を受け付ける操作受付部(F5)と、
    前記機器が実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶する機能管理データベース(M1)と、
    前記操作受付部が前記ユーザ操作を受け付けたことに基づいて、前記検索語を取得する検索語取得部(F6)と、
    前記機能管理データベースに対して、前記検索語取得部で取得した前記検索語を用いた検索を行い、当該検索語に対応付けられている前記制御内容のリストを検索結果として取得する検索処理部(F7)と、
    前記操作受付部が前記ユーザ操作を受け付けた時点において表示装置(2)に表示されている画面の状態を表す画面情報を取得する画面情報取得部(F8)と、
    前記画面情報取得部が取得した前記画面情報に基づいて、複数の前記機器のうち、ユーザが操作しようとしている前記機器である操作対象機器を推定する操作対象推定部(F9)と、
    前記検索処理部が取得した前記検索結果のうち、前記操作対象機器が実施する前記制御内容を、他の前記機器が実施する前記制御内容よりも、前記検索結果を示す画面において優先して表示させる、又は、優先して実行させる検索結果出力部(F11)と、を備えることを特徴とする車両用機器制御装置。
  2. 請求項1において、
    前記検索処理部が取得した前記検索結果を、前記操作対象推定部の推定結果に基づいて整理する検索結果整理部(F10)を備え、
    前記検索結果出力部は、前記検索結果整理部によって整理された前記検索結果を示す検索結果画面を、前記表示装置に表示させる検索結果表示指示部(F111)を備えることを特徴とする車両用機器制御装置。
  3. 請求項2において、
    前記検索結果整理部は、前記検索処理部が取得した前記検索結果を、前記操作対象推定部によって特定された前記操作対象機器に関連する度合いが強い順に並べることを特徴とする車両用機器制御装置。
  4. 請求項3において、
    前記表示装置に表示される画面には、ユーザによって選択される選択肢が含まれており、
    前記画面情報は、現在表示されている画面の種別を表す画面種別情報と、その画面内においてユーザによって選択されている選択肢を表す選択対象情報と、を含み、
    前記操作対象推定部は、前記画面種別情報に基づいて前記操作対象機器を特定するとともに、前記選択対象情報に基づいて前記操作対象機器が実行可能な前記制御内容のうち、ユーザが実行させようとしている前記制御内容である制御内容候補を推定し、
    前記検索結果整理部は、前記検索処理部が取得した前記検索結果に、前記制御内容候補が含まれている場合には、前記検索結果においてその制御内容候補を前記検索結果において最も上位に配置することを特徴とする車両用機器制御装置。
  5. 請求項2から4の何れか1項において、
    自車両が走行しているか否かを表す情報を含む車両情報を取得する車両情報取得部(F3)を備え、
    複数の前記制御内容の中には、自車両が走行中である場合には、その実行が禁止されている前記制御内容が含まれており、
    前記検索結果表示指示部は、自車両が走行中である場合には、前記検索結果のうち、走行中における実行が禁止されているものを除外した前記検索結果画面を表示させることを特徴とする車両用機器制御装置。
  6. 請求項2から4の何れか1項において、
    自車両が走行しているか否かを表す情報を含む車両情報を取得する車両情報取得部(F3)を備え、
    複数の前記制御内容の中には、自車両が走行中である場合には、その実行が禁止されている前記制御内容が含まれており、
    前記検索結果表示指示部は、
    自車両が走行中である場合には、前記検索結果のうち、走行中における実行が禁止されているものについては、その制御内容を実行させることが出来ないことをユーザが認識できるように、走行中において実行可能な制御内容とは異なる表示態様で表示させることを特徴とする車両用機器制御装置。
  7. 請求項5又は6において、
    前記車両情報は、自車両の走行状態を表す走行状態情報と、自車両の外部の環境を表す外部環境情報と、を含み、
    前記検索結果整理部は、前記車両情報取得部が取得した前記車両情報に基づいて、前記検索処理部が取得した前記検索結果を整理することを特徴とする車両用機器制御装置。
  8. 請求項2から7の何れか1項において
    前記検索結果出力部は、
    前記検索結果整理部によって整理された前記検索結果のうち、最も上位のものを実行させる検索結果実行指示部(F112)と、
    前記検索語に含まれる単語の種類、及びユーザによる操作の少なくとも何れか一方に基づいて、前記検索結果画面を表示させるか否かを選択する出力態様選択部(F113)と、を備え、
    前記検索結果実行指示部は、前記出力態様選択部が前記検索結果を表示させないことを選択した場合に、前記検索結果整理部によって整理された前記検索結果のうち最も上位のものを実行させ、
    前記検索結果表示指示部は、前記出力態様選択部が前記検索結果を表示させることを選択した場合に、前記検索結果整理部によって整理された前記検索結果を表示させることを特徴とする車両用機器制御装置。
  9. 請求項1から8の何れか1項において、
    前記検索語取得部は、ユーザが入力した音声に対して音声認識処理を実施することによって前記検索語を取得する音声認識部(F61)と、手書きによる文字入力を受け付ける手書き入力装置(52)に対してユーザが行った入力操作に基づいて前記検索語を取得する手書き認識部(F62)の少なくとも何れか一方を備えることを特徴とする車両用機器制御装置。
  10. 検索のキーワードとして用いる検索語を取得する検索語取得ステップ(S120)と、
    車両で用いられている複数の機器がそれぞれ実行可能な複数の制御内容を、その制御内容を表す少なくとも1つの単語と対応付けて記憶している機能管理データベース(M1)に対して、前記検索語取得ステップで取得した前記検索語を用いた検索を行うことで、前記検索語に対応する前記制御内容のリストを検索結果として取得する検索ステップ(S130)と、
    前記検索語の入力を開始するためのユーザ操作を受け付けた時点における表示装置(2)の画面の状態を表す画面情報を取得する画面情報取得ステップ(S100)と、
    前記画面情報取得ステップで取得した前記画面情報に基づいて、複数の前記機器のうち、ユーザが操作しようとしている操作対象機器を推定する操作対象推定ステップ(S110)と、
    前記検索ステップで取得した前記検索結果を、前記操作対象推定ステップで推定した前記操作対象機器に関連する度合いが強い順に並べるソートステップ(S140)と、を備えることを特徴とする制御内容検索方法。
JP2014187164A 2014-09-15 2014-09-15 車両用機器制御装置、制御内容検索方法 Expired - Fee Related JP6432233B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014187164A JP6432233B2 (ja) 2014-09-15 2014-09-15 車両用機器制御装置、制御内容検索方法
CN201580049160.8A CN106716407A (zh) 2014-09-15 2015-09-04 车辆用设备控制装置、控制内容检索方法
PCT/JP2015/004498 WO2016042725A1 (ja) 2014-09-15 2015-09-04 車両用機器制御装置、制御内容検索方法
US15/506,765 US10328950B2 (en) 2014-09-15 2015-09-04 Vehicle equipment control device and method of searching for control content
DE112015004198.2T DE112015004198T5 (de) 2014-09-15 2015-09-04 Fahrzeugausrüstungssteuerungsvorrichtung und verfahren zum suchen nach steuerungsinhalt

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014187164A JP6432233B2 (ja) 2014-09-15 2014-09-15 車両用機器制御装置、制御内容検索方法

Publications (2)

Publication Number Publication Date
JP2016062129A true JP2016062129A (ja) 2016-04-25
JP6432233B2 JP6432233B2 (ja) 2018-12-05

Family

ID=55532783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014187164A Expired - Fee Related JP6432233B2 (ja) 2014-09-15 2014-09-15 車両用機器制御装置、制御内容検索方法

Country Status (5)

Country Link
US (1) US10328950B2 (ja)
JP (1) JP6432233B2 (ja)
CN (1) CN106716407A (ja)
DE (1) DE112015004198T5 (ja)
WO (1) WO2016042725A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018073300A (ja) * 2016-11-02 2018-05-10 株式会社ぐるなび 情報提供方法、情報提供プログラム、及び情報提供装置
JP2018180030A (ja) * 2017-04-03 2018-11-15 三菱電機株式会社 操作装置および操作方法
JP2019029032A (ja) * 2018-10-17 2019-02-21 株式会社ぐるなび 情報提供方法、情報提供プログラム、及び情報提供装置
JP2019086599A (ja) * 2017-11-03 2019-06-06 アルパイン株式会社 音声認識装置
WO2019163011A1 (ja) * 2018-02-21 2019-08-29 三菱電機株式会社 表示制御装置および表示制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6432233B2 (ja) * 2014-09-15 2018-12-05 株式会社デンソー 車両用機器制御装置、制御内容検索方法
DE102016218011A1 (de) 2016-09-20 2018-03-22 Volkswagen Aktiengesellschaft Benutzerschnittstelle für den Zugriff auf eine Menge von Funktionen, Verfahren und computerlesbares Speichermedium zum Bereitstellen einer Benutzerschnittstelle für den Zugriff auf eine Menge von Funktionen
CN106891724B (zh) * 2017-01-22 2022-05-03 斑马信息科技有限公司 汽车主控屏系统及方法
WO2019239582A1 (ja) * 2018-06-15 2019-12-19 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラム
JP2020166840A (ja) * 2019-03-26 2020-10-08 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
JP7351276B2 (ja) * 2020-09-15 2023-09-27 トヨタ自動車株式会社 表示制御装置、表示制御方法及び表示制御システム
CN113183976A (zh) * 2021-04-30 2021-07-30 广东以诺通讯有限公司 一种汽车系统控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178898A (ja) * 2004-12-24 2006-07-06 Mitsubishi Electric Corp 地点検索装置
JP2006343829A (ja) * 2005-06-07 2006-12-21 Denso Corp 車両周辺撮影装置および車両周辺撮影方法
JP2010247799A (ja) * 2009-04-20 2010-11-04 Denso Corp 車載装置の制御システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4155383B2 (ja) 2001-03-05 2008-09-24 アルパイン株式会社 音声認識機器操作装置
JP4304952B2 (ja) * 2002-10-07 2009-07-29 三菱電機株式会社 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム
JP4135142B2 (ja) * 2003-02-20 2008-08-20 日産自動車株式会社 車両用表示制御装置
US7362236B2 (en) * 2004-12-06 2008-04-22 Itron, Inc. Mobile utility data collection system with voice technology, such as for data collection relating to an electric, gas, or water utility
US8280742B2 (en) * 2005-12-16 2012-10-02 Panasonic Corporation Input device and input method for mobile body
JP2009180914A (ja) 2008-01-30 2009-08-13 Tokai Rika Co Ltd 音声認識機器操作装置
US9311917B2 (en) * 2009-01-21 2016-04-12 International Business Machines Corporation Machine, system and method for user-guided teaching of deictic references and referent objects of deictic references to a conversational command and control system
JP5156672B2 (ja) 2009-03-13 2013-03-06 株式会社デンソーアイティーラボラトリ 携帯端末、コンテンツ提供方法およびプログラム
CN101782833B (zh) * 2009-04-30 2012-05-23 广东国笔科技股份有限公司 一种智能操作系统及方法
CN101655876A (zh) * 2009-09-17 2010-02-24 广东国笔科技股份有限公司 一种基于语义分析的智能检索系统及方法
CN101673186B (zh) * 2009-10-19 2011-08-31 广东国笔科技股份有限公司 一种基于关键词输入的智能操作系统及方法
JP5272919B2 (ja) * 2009-06-18 2013-08-28 株式会社デンソー 施設検索表示装置
JP5522273B2 (ja) * 2011-01-26 2014-06-18 日産自動車株式会社 車載情報機器の操作装置
JP5408810B2 (ja) 2011-06-24 2014-02-05 アイシン・エィ・ダブリュ株式会社 音声認識制御システム、音声認識制御方法、及び音声認識制御プログラム
US20150358396A1 (en) * 2013-04-30 2015-12-10 Mitsubishi Electric Corporation Information presentation device, information distribution device, and the information presentation method
JP6432233B2 (ja) * 2014-09-15 2018-12-05 株式会社デンソー 車両用機器制御装置、制御内容検索方法
US9544412B2 (en) * 2015-03-09 2017-01-10 Ford Global Technologies, Llc Voice profile-based in-vehicle infotainment identity identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178898A (ja) * 2004-12-24 2006-07-06 Mitsubishi Electric Corp 地点検索装置
JP2006343829A (ja) * 2005-06-07 2006-12-21 Denso Corp 車両周辺撮影装置および車両周辺撮影方法
JP2010247799A (ja) * 2009-04-20 2010-11-04 Denso Corp 車載装置の制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
平山 高嗣: "情報コンシェルジェ:Mind Probingに基づくマルチモーダルインタラクションシステム", 電子情報通信学会技術研究報告, vol. Vol.111 No.190, JPN6018012190, 19 August 2011 (2011-08-19), JP, pages 55−60ページ *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018073300A (ja) * 2016-11-02 2018-05-10 株式会社ぐるなび 情報提供方法、情報提供プログラム、及び情報提供装置
JP2018180030A (ja) * 2017-04-03 2018-11-15 三菱電機株式会社 操作装置および操作方法
JP2019086599A (ja) * 2017-11-03 2019-06-06 アルパイン株式会社 音声認識装置
WO2019163011A1 (ja) * 2018-02-21 2019-08-29 三菱電機株式会社 表示制御装置および表示制御方法
US11243741B2 (en) 2018-02-21 2022-02-08 Mitsubishi Electric Corporation Display control device and display control method
JP2019029032A (ja) * 2018-10-17 2019-02-21 株式会社ぐるなび 情報提供方法、情報提供プログラム、及び情報提供装置

Also Published As

Publication number Publication date
US10328950B2 (en) 2019-06-25
US20170274909A1 (en) 2017-09-28
JP6432233B2 (ja) 2018-12-05
DE112015004198T5 (de) 2017-06-01
CN106716407A (zh) 2017-05-24
WO2016042725A1 (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
JP6432233B2 (ja) 車両用機器制御装置、制御内容検索方法
US8538756B2 (en) In-vehicle device and method for modifying display mode of icon indicated on the same
US20080059175A1 (en) Voice recognition method and voice recognition apparatus
US9487167B2 (en) Vehicular speech recognition grammar selection based upon captured or proximity information
KR101647848B1 (ko) 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모드 사용자 인터페이스
US9703472B2 (en) Method and system for operating console with touch screen
JP5522273B2 (ja) 車載情報機器の操作装置
JP4736982B2 (ja) 作動制御装置、プログラム
JP6604151B2 (ja) 音声認識制御システム
JP2017090613A (ja) 音声認識制御システム
US9495088B2 (en) Text entry method with character input slider
WO2016084360A1 (ja) 車両用表示制御装置
US20230315997A9 (en) Dialogue system, a vehicle having the same, and a method of controlling a dialogue system
JP2017081258A (ja) 車両用操作装置
JP2007101892A (ja) 音声認識装置
JP2014065359A (ja) 表示制御装置、表示システム及び表示制御方法
JP3624698B2 (ja) 音声認識装置、その装置を用いたナビゲーションシステム及び自動販売システム
KR20230090510A (ko) 단말기 및 차량
JP2021174237A (ja) 検索制御装置、コンピュータプログラム、および検索システム
KR101741665B1 (ko) 사용자 인터페이스 장치 및 이를 포함하는 차량, 사용자 인터페이스 장치의 제어방법
JP2021174236A (ja) 制御装置、コンピュータプログラム、および制御システム
JP2009180914A (ja) 音声認識機器操作装置
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム
JP6354292B2 (ja) 車両用情報処理装置
WO2023153314A1 (ja) 車内機器制御装置、車内機器制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181022

R151 Written notification of patent or utility model registration

Ref document number: 6432233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees