JP2009180914A

JP2009180914A - Operation unit for voice-recognizing device

Info

Publication number: JP2009180914A
Application number: JP2008019521A
Authority: JP
Inventors: Yoshi Abe; 喜阿部
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2008-01-30
Filing date: 2008-01-30
Publication date: 2009-08-13

Abstract

<P>PROBLEM TO BE SOLVED: To provide an operation unit for a voice-recognizing device, which promptly, conveniently and surely performs functions of a plurality of devices by user's intensive operation. <P>SOLUTION: The operation unit includes: a voice-recognizing section 14 for performing voice-recognition for relating various terms in voice to a function of each of onboard devices 2 to 7; an screen display section 11a in which fixing operation of function implementation of each of the onboard devices is performed by outputting a device menu screen including a device item corresponding to each onboard devices 2 to 7 in a layered structure on a selection menu screen, each of which has a plurality of operation items, and by selecting one operation item on the selection menu screen of a lowest layer; a CPU 10 for relating the voice recognized term to the function in which fixing operation is implemented, for each implementation of fixing operation of function implementation of each of the onboard devices 2 to 7. The CPU 10 relates the term in voice to the selection menu screen according to frequency of the relating, performs operation of the function implementation of each of the onboard devices 2 to 7 on the selection menu screen. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば、車両内に設けられたエアコン機器、オーディオ機器等の各種車載機器を集中管理すべく設けられ、音声認識を介在させることで、ユーザ（車両の運転者等）に当該各車載機器を操作させ、各車載機器の機能を実行させる音声認識機器操作装置に関する。 The present invention is provided to centrally manage various in-vehicle devices such as an air conditioner device and an audio device provided in a vehicle, and each vehicle-mounted device is provided to a user (vehicle driver or the like) by interposing voice recognition. The present invention relates to a voice recognition device operating device that operates a device and executes a function of each in-vehicle device.

従来より、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらの機能を１台に統合した複合機やコンピュータ等のＯＡ機器をユーザに集約的に操作させるために機器操作装置が設けられている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a device operating device has been provided to allow a user to centrally operate OA devices such as a copier, a facsimile machine, a printer device, a scanner device and a multifunction device or a computer in which those functions are integrated into one unit. (For example, refer to Patent Document 1).

この機器操作装置では、階層メニューごとに操作項目を選択可能とし、該操作項目を選択することで当該ＯＡ機器に特定の機能を実行可能としている。
この種の機器操作装置には、ユーザの音声に含まれる指示語に基づいて所定の機能を実行させると共に、同じ指示語が多様な機能に対応している場合には、頻度の高いものを優先させることで指示語毎にユーザの所望する機能を優先的に実行することを可能とした音声認識機器操作装置が知られている（例えば、特許文献２参照）。
特開２００４−９４０５７号公報特開２００２−２５８８９２号公報 In this device operating device, an operation item can be selected for each hierarchical menu, and a specific function can be executed on the OA device by selecting the operation item.
In this type of device operating device, a predetermined function is executed based on an instruction word included in the user's voice, and when the same instruction word corresponds to various functions, the one with higher frequency is given priority. Thus, there is known a voice recognition device operating device that can preferentially execute a function desired by a user for each instruction word (see, for example, Patent Document 2).
JP 2004-94057 A JP 2002-258882 A

しかしながら、この技術では、例えば、「アップ」等の指示語がユーザにより音声として発せられ、当該指示語がオーディオ機器のＣＤプレーヤの音量の上昇について頻度が最も高いものであった場合に、いきなり当該ＣＤプレーヤの音量の上昇機能が実行され、ユーザが所望する機能の実行が迅速に行われるものの、利便性が損なわれる問題点があった。 However, in this technique, for example, when an instruction word such as “up” is uttered by the user as a voice and the instruction word has the highest frequency of the volume increase of the CD player of the audio device, Although the function of increasing the volume of the CD player is executed and the function desired by the user is executed quickly, there is a problem that convenience is impaired.

また、この技術によれば、オーディオ機器の特定の機能を意味する機能語（例えば、「音量」）を、その機能をどのように変化させるかを示す指示語（例えば、「アップ」）に付加し、当該機能語が付加された指示語（この場合、「音量アップ」）から特定の機能を実行させるようにしていることから、処理が複雑化する問題もある。 In addition, according to this technology, a function word (for example, “volume”) meaning a specific function of an audio device is added to an instruction word (for example, “up”) indicating how to change the function. However, since the specific function is executed from the instruction word (in this case, “volume up”) to which the function word is added, there is a problem that the processing becomes complicated.

さらに、この場合、「あげる」、「アップ」、「上昇させる」といった概念を持つ用語の中で、指示語を「アップ」に予め確定させる必要があり、例えば、当該「アップ」と同種の概念の指示語である「あげる」を発言した場合には音声認識が適切に行われない懸念もある。 Further, in this case, among terms having concepts such as “raise”, “up”, and “raise”, it is necessary to preliminarily determine the instruction word as “up”. For example, the same kind of concept as “up” There is also a concern that speech recognition may not be performed properly when saying “I will give” which is the instruction word.

本発明は、上記問題点を解決するためになされたものであって、その目的は、ユーザによる集約的な操作により、複数の機器の機能を迅速、利便性よく、且つ確実に実行させることができる音声認識機器操作装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to execute functions of a plurality of devices quickly, conveniently, and reliably by an intensive operation by a user. An object of the present invention is to provide a voice recognition device operating device that can be used.

上記問題点を解決するために、請求項１に記載の発明は、それぞれが所定の機能を実行する複数の機器を操作すべく設けられ、ユーザの音声に含まれる用語を音声認識することで前記各機器に当該用語に対応する機能を実行させるようにした音声認識機器操作装置であって、ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行う音声認識部と、前記各機器に対応し、それぞれが複数の操作項目を有する選択メニューに階層構造化された機器項目を有する機器メニューを出力するとともに、該階層構造化された各選択メニューの最下層に位置する選択メニューにおいて一の操作項目を選択することで当該各機器の機能実行の確定操作が行なわれるようにした機器メニュー部と、前記各機器の機能実行の確定操作が行なわれる毎に、前記音声認識部で音声認識された用語を、当該確定操作された機能に対応付ける制御部とを具備し、前記制御部は、前記音声認識された用語と確定操作された機能とが対応付けられた頻度に応じて、ユーザの音声に含まれる用語を前記最下層に位置する選択メニューに対応付けるとともに、該最下層に位置する選択メニューにおいて当該ユーザに前記各機器の機能実行の操作を行わせるようにしたこと、を要旨とする。 In order to solve the above problems, the invention according to claim 1 is provided to operate a plurality of devices each of which performs a predetermined function, and recognizes the term included in the user's voice by voice recognition. A voice recognition device operating device that causes each device to execute a function corresponding to the term, and a voice recognition unit that performs voice recognition that associates various terms included in a user's voice with the function of each device; A device menu having a hierarchically structured device item is output to a selection menu corresponding to each device, each having a plurality of operation items, and a selection located at the lowest layer of each hierarchically structured selection menu A device menu section that allows a function execution confirmation operation for each device to be performed by selecting one operation item in the menu, and a function execution confirmation operation for each device. A control unit that associates the term recognized by the voice recognition unit with the confirmed operation function each time the control unit recognizes the speech recognized term and the confirmed operation function. Is associated with a selection menu located in the lowermost layer according to the frequency with which the user is associated, and in the selection menu located in the lowermost layer, the user performs an operation to execute the function of each device. The gist of this is to allow

同構成によれば、音声認識された用語と確定操作された機能とが対応付けられた頻度に応じて、ユーザの音声に含まれる用語を各選択メニューの最下層に位置する選択メニューに対応付けるとともに、該最下層に位置する選択メニューにおいてユーザに各機器の機能実行の確定操作を行わせるようにした。このように各機器にその機能を実行させる場合に、音声認識された用語と当該確定操作された機能とを対応付けし、その対応付けした頻度に従って優先付けすることで、ユーザの音声に含まれる用語が最下層に位置する選択メニューに対応付けられ、当該最下層に位置する選択メニューにおいて各機器の機能実行の操作が行われる。これにより、一の用語が、複数の機能の実行の際に発声され、該複数の機能に対応付けられていた場合に、当該用語が新たに発声されたときに、該用語をユーザの癖や嗜好に応じて複数の機能の内の一の機能に対応付けるとともに、該用語を当該一の機能を実行させる最下層の選択メニューに対応付けることができる。また、これにより、複数の用語が、一の機能の実行の際に発声され、該一の機能に対応付けられていた場合に、当該複数の用語の内のいずれかが新たに発声されたときに、該用語をユーザの癖や嗜好に応じて当該一の機能に対応付けるとともに、該用語を当該一の機能を実行させる最下層の選択メニューに対応付けることができる。以上の結果、該機能を実行しうる最下層に位置する選択メニューにおいて当該ユーザに各機器の機能実行の操作を行わせることができ、複数の機器の各機能が迅速、利便性よく、且つ確実に実行されるようになる。 According to the same configuration, the term included in the user's voice is associated with the selection menu located at the lowest layer of each selection menu according to the frequency with which the recognized term and the confirmed operation function are associated with each other. In the selection menu located at the lowermost layer, the user is allowed to perform an operation for confirming the function execution of each device. Thus, when causing each device to execute the function, the speech-recognized term is associated with the confirmed operation function, and prioritized according to the associated frequency, so that it is included in the user's voice. The term is associated with a selection menu located at the lowest layer, and the function execution operation of each device is performed in the selection menu located at the lowest layer. As a result, when one term is uttered when executing a plurality of functions and is associated with the plurality of functions, when the term is newly uttered, the term According to the preference, the term can be associated with one of a plurality of functions, and the term can be associated with a selection menu at the lowest layer for executing the one function. In addition, when a plurality of terms are uttered at the time of execution of one function and are associated with the one function, any of the plurality of terms is newly uttered. In addition, the term can be associated with the one function according to the user's habits and preferences, and the term can be associated with the selection menu at the lowest layer for executing the one function. As a result, the user can perform the function execution operation of each device in the selection menu located at the lowest layer where the function can be executed, and each function of the plurality of devices can be performed quickly, conveniently and reliably. Will be executed.

請求項２に記載の発明は、請求項１に記載の音声認識機器操作装置において、前記音声認識部は、ケプストラムを特徴パラメータとして、ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行うようにしたことを要旨とする。 According to a second aspect of the present invention, in the voice recognition device operating device according to the first aspect, the voice recognition unit uses a cepstrum as a characteristic parameter to convert various terms contained in a user's voice into functions of the devices. The gist is that the corresponding voice recognition is performed.

同構成によれば、ユーザの音声に含まれる多様な用語を複数の機器の機能に対応付ける音声認識が特徴パラメータとしてのケプストラムを使用することによって簡単且つ確実に行われるようになる。 According to this configuration, voice recognition for associating various terms included in the user's voice with the functions of a plurality of devices can be easily and reliably performed by using the cepstrum as a feature parameter.

請求項３に記載の発明は、請求項１又は請求項２に記載の音声認識機器操作装置において、前記機器メニュー部は、前記機器メニュー及び選択メニューを画面に表示する画面表示部により構成され、該画面表示部において、前記機器メニューの機器項目又は選択メニューの操作項目に触れることで当該機器項目又は操作項目の選択が行われるようにしたこと、を要旨とする。 According to a third aspect of the present invention, in the voice recognition device operating device according to the first or second aspect, the device menu unit includes a screen display unit that displays the device menu and the selection menu on a screen. The gist of the screen display unit is that the device item or the operation item is selected by touching the device item of the device menu or the operation item of the selection menu.

同構成によれば、機器メニュー部は、機器メニュー及び選択メニューを画面に表示する画面表示部を含んで構成され、該画面表示部において、機器メニューの機器項目又は選択メニューの操作項目に触れることで当該機器項目又は操作項目の選択が行われるようにしている。このため、機器項目又は操作項目の選択が視覚を通して的確に行われるようになり、複数の機器の各機能がさらに確実に実行されるようになる。 According to this configuration, the device menu unit includes a screen display unit that displays the device menu and the selection menu on the screen, and the device item of the device menu or the operation item of the selection menu is touched on the screen display unit. In this way, the device item or operation item is selected. For this reason, the selection of the device item or the operation item is accurately performed through vision, and the functions of the plurality of devices are more reliably executed.

請求項４に記載の発明は、請求項３に記載の音声認識機器操作装置において、前記最下層に位置する選択メニューは、前記機器メニュー部に表示される次候補ボタンを選択することで、前記同一の階層に位置する他の選択メニューを表示させるようにしたこと、を要旨とする。 According to a fourth aspect of the present invention, in the voice recognition device operating device according to the third aspect, the selection menu located in the lowermost layer selects the next candidate button displayed in the device menu section, The gist is that another selection menu located in the same hierarchy is displayed.

同構成によれば、最下層に位置する選択メニューは、機器メニュー部に表示される次候補ボタンを選択することで、同一の階層に位置する他の選択メニューを表示させるようにした。このため、最下層に位置する他の選択メニューが、同じく最下層に位置する一の選択メニューにおいてマニュアル操作を行うことで順次表示されるようになり、ユーザが所望する機器の機能をより確実に実行させることができるようになる。 According to this configuration, the selection menu located in the lowest layer is made to display another selection menu located in the same hierarchy by selecting the next candidate button displayed in the device menu section. For this reason, other selection menus located at the bottom layer are sequentially displayed by manual operation on one selection menu located at the same bottom layer, and the function of the device desired by the user is more reliably ensured. Can be executed.

本発明によれば、ユーザによる集約的な操作により、複数の機器の機能を迅速、利便性よく且つ確実に実行させることができる音声認識機器操作装置が提供できるようになる。 According to the present invention, it is possible to provide a voice recognition device operating device capable of executing functions of a plurality of devices quickly, conveniently, and reliably by an intensive operation by a user.

以下、本発明を具体化した実施形態について図面に従って説明する。
図１に示すように、本実施形態の音声認識機器操作装置１は、それぞれが所定の機能を実行する複数の車載機器（車両に搭載された機器）を操作すべく設けられ、車両の運転者・補助者等（以下、「ユーザ」という。）の音声に含まれる用語を音声認識させることで各車載機器に該用語に対応する機能を実行させるようにしたものである。本実施形態では、前記車載機器には、オーディオ機器としてのＣＤドライブ（ＣＤプレーヤ）２、ＭＤドライブ（ＭＤプレーヤ）３、ＦＭラジオ４、及びＡＭラジオ５、エアコン機器としてのエアコン装置６、並びに、その他車載機器７が含まれている。尚、該その他車載機器７としては、カーナビ装置（ＧＰＳ受信機）や、ハイブリッド式自動車に搭載される走行状態表示装置等が含まれる。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, embodiments of the invention will be described with reference to the drawings.
As shown in FIG. 1, the voice recognition device operating device 1 according to the present embodiment is provided to operate a plurality of in-vehicle devices (devices mounted on a vehicle), each of which performs a predetermined function. The terminology included in the voice of an assistant or the like (hereinafter referred to as “user”) is recognized by speech, thereby causing each in-vehicle device to execute a function corresponding to the term. In the present embodiment, the in-vehicle device includes a CD drive (CD player) 2, an MD drive (MD player) 3, an FM radio 4 and an AM radio 5 as audio devices, an air conditioner device 6 as an air conditioner device, and Other on-vehicle equipment 7 is included. The other in-vehicle devices 7 include a car navigation device (GPS receiver), a traveling state display device mounted on a hybrid vehicle, and the like.

前記音声認識機器操作装置１は、図１を参照して、制御部としてのＣＰＵ（中央演算処理装置）１０を有する装置本体１１と、該装置本体１１に電気的に接続された機器メニュー部としてのタッチパネルディスプレイ（画面表示部）１１ａとを備えている。 Referring to FIG. 1, the voice recognition device operating device 1 includes a device main body 11 having a CPU (Central Processing Unit) 10 as a control unit, and a device menu unit electrically connected to the device main body 11. Touch panel display (screen display unit) 11a.

そして、前記装置本体１１は、前記ＣＰＵ１０に電気的に接続され、同ＣＰＵ１０で実行される制御プログラム、及び、同制御プログラムで使用される音声認識のためのデータ構造等の各種データが格納又は記憶される記憶部１０ａと、前記各車載機器を車内ＬＡＮを介してＣＰＵ１０に接続させる通信インターフェイス１２と、前記タッチパネルディスプレイ１１ａとＣＰＵ１０との間に接続され、該ディスプレイ１１ａの表示を制御する表示制御部１３とを備えている。 The apparatus main body 11 is electrically connected to the CPU 10 and stores or stores various data such as a control program executed by the CPU 10 and a data structure for voice recognition used in the control program. Storage unit 10a, communication interface 12 for connecting each in-vehicle device to CPU 10 via in-vehicle LAN, and display control unit connected between touch panel display 11a and CPU 10 for controlling display on display 11a 13.

前記音声認識機器操作装置１は、さらに、前記装置本体１１に電気的に接続され、ユーザが発する音声を集音するマイク１１ｂ、当該装置本体１１により合成された音声を発するスピーカ１１ｃ、及び、車両のステアリング（図示せず）に設置され、同装置本体１１にユーザの音声に含まれる用語を音声認識させるために操作される音声入力Ｓ／Ｗ１１ｄを備えている。この音声入力Ｓ／Ｗ１１ｄは、操作時にオン信号を出力すべく前記ＣＰＵ１０に直接接続されている。 The voice recognition device operating device 1 is further electrically connected to the device main body 11 and collects a microphone 11b that collects a voice uttered by a user, a speaker 11c that emits a voice synthesized by the device main body 11, and a vehicle. Is provided with a voice input S / W 11d that is operated to cause the device main body 11 to recognize a term included in the user's voice. The voice input S / W 11d is directly connected to the CPU 10 to output an ON signal during operation.

そして、前記装置本体１１は、前記ＣＰＵ１０に電気的に接続され、前記マイク１１ｂにより集音された音声に含まれる用語を同ＣＰＵ１０と協働して音声認識を実行し、当該認識結果をＣＰＵ１０に出力する音声認識部１４と、同ＣＰＵ１０で演算され、出力された所定の信号に基づいて音声合成を行い、前記スピーカ１１ｃから音声として発する音声プロセッサ１５とを備えている。 The apparatus main body 11 is electrically connected to the CPU 10, performs speech recognition on the terms included in the sound collected by the microphone 11 b in cooperation with the CPU 10, and sends the recognition result to the CPU 10. A speech recognition unit 14 for outputting, and a speech processor 15 for performing speech synthesis based on a predetermined signal calculated and output by the CPU 10 and emitting as speech from the speaker 11c are provided.

図２に示すように、本実施形態の音声認識機器操作装置１では、前記タッチパネルディスプレイ１１ａは、前記ＣＰＵ１０で実行される制御プログラムによって、前記各車載機器に対応した機器メニュー画面１０１、その下位の階層に位置する選択メニュー画面２０１等、及び、その下位の階層に位置する選択メニュー画面３０１等が画面表示（出力）されるように構成されている。 As shown in FIG. 2, in the voice recognition device operating device 1 of the present embodiment, the touch panel display 11 a is controlled by a control program executed by the CPU 10, and the device menu screen 101 corresponding to each vehicle-mounted device, and its lower level. The selection menu screen 201 and the like located in the hierarchy and the selection menu screen 301 and the like located in the lower hierarchy are configured to be displayed (output).

前記機器メニュー画面１０１には、ユーザの手指が接触することによって選択（操作）される機器項目、具体的には、オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃが含まれている。 The device menu screen 101 includes device items that are selected (operated) by touching the user's finger, specifically, an audio device item 101a, an air conditioner device item 101b, and other in-vehicle device item 101c. Yes.

図３に示すように、前記機器メニュー画面１０１に含まれる、前記オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃは、前記制御プログラムに基づき、それぞれが複数の操作項目（ＣＤプレーヤ項目２０１ａ等）を有する選択メニュー画面２０１等に階層構造化されている（図３においては、その他車載機器項目１０１ｃの階層構造については図示を省略する）。そして、該階層構造化された各選択メニュー画面２０１等の最も下位の階層（以下、「最下層」という。）に位置する選択メニュー画面３０１等において、操作項目（ＣＤプレーヤの再生項目３０１ａ等）（図２参照）をユーザが手指で触れ、選択（操作）することで車載機器としてのＣＤドライブ２（図１参照）の機能実行の確定操作が行なわれるように構成されている。 As shown in FIG. 3, the audio device item 101a, the air conditioner device item 101b, and the other in-vehicle device item 101c included in the device menu screen 101 are each based on the control program. The selection menu screen 201 having items 201a and the like has a hierarchical structure (in FIG. 3, illustration of the hierarchical structure of the other in-vehicle device item 101c is omitted). Then, on the selection menu screen 301 or the like located in the lowest hierarchy (hereinafter referred to as “the lowest layer”) of each selection menu screen 201 or the like having the hierarchical structure, an operation item (CD player playback item 301a or the like). When the user touches and selects (operates) (see FIG. 2), the function execution confirmation operation of the CD drive 2 (see FIG. 1) as the vehicle-mounted device is performed.

具体的には、図２及び図３を参照して、前記機器メニュー画面１０１（機器項目）を第１階層とすれば、その一階層下の第２階層に位置する選択メニュー画面２０１には、操作項目として、ＣＤプレーヤ項目２０１ａ、ＭＤプレーヤ項目２０１ｂ、ＦＭラジオ項目２０１ｃ、及びＡＭラジオ項目２０１ｄが含まれている。尚、この選択メニュー画面２０１は、前記機器メニュー画面１０１においてオーディオ機器項目１０１ａを選択した場合に前記タッチパネルディスプレイ１１ａに表示される画面である。そして、同画面１０１には、さらに、その一階層上の第１階層としての前記機器メニュー画面１０１に復帰するためのキャンセルボタン２０１ｅが含まれている（図２参照）。 Specifically, referring to FIG. 2 and FIG. 3, if the device menu screen 101 (device item) is the first layer, the selection menu screen 201 located in the second layer below that one layer includes: As operation items, a CD player item 201a, an MD player item 201b, an FM radio item 201c, and an AM radio item 201d are included. The selection menu screen 201 is a screen displayed on the touch panel display 11a when the audio device item 101a is selected on the device menu screen 101. The screen 101 further includes a cancel button 201e for returning to the device menu screen 101 as the first layer one level above (see FIG. 2).

そして、第２階層の選択メニュー画面２０１の一階層下であって、且つ、図３に示す階層メニュー（機器メニュー及び選択メニュー）の階層構造において最下層に位置する第３階層としての選択メニュー画面３０１には、操作項目として、前記ＣＤドライブ２の再生項目３０１ａ、停止項目３０１ｂ、早送項目３０１ｃ、早戻項目３０１ｄ、及び曲目選択項目３０１ｅが含まれている。尚、この選択メニュー画面３０１は、前記選択メニュー画面２０１において、ＣＤプレーヤ項目２０１ａを選択した場合に前記タッチパネルディスプレイ１１ａに表示される場合がある画面（選択メニュー画面３０２も候補となる。）である。そして、同画面３０１には、さらに、該画面３０１と同様にＣＤプレーヤ項目２０１ａの下位の階層に位置するとともに同じ第３階層に位置する画面である選択メニュー画面３０２を次候補として切り換えるべく選択される次候補ボタン３０１ｆ、同画面３０１の一階層上の第２階層に位置する選択メニュー画面２０１に戻るべく選択される戻るボタン３０１ｇ、及び、初期画面である前記機器メニュー画面１０１に復帰するべく選択されるキャンセルボタン３０１ｈが含まれている。 Then, the selection menu screen as the third hierarchy that is one level below the selection menu screen 201 of the second hierarchy and that is positioned at the lowest level in the hierarchical structure of the hierarchy menu (device menu and selection menu) shown in FIG. 301 includes a play item 301a, a stop item 301b, a fast-forward item 301c, a fast-rewind item 301d, and a song selection item 301e of the CD drive 2 as operation items. The selection menu screen 301 is a screen that may be displayed on the touch panel display 11a when the CD player item 201a is selected on the selection menu screen 201 (the selection menu screen 302 is also a candidate). . The same screen 301 is further selected to switch the selection menu screen 302, which is a screen located in the lower layer of the CD player item 201a and in the same third layer as the screen 301, as the next candidate. The next candidate button 301f, the return button 301g that is selected to return to the selection menu screen 201 located in the second level on the first level of the screen 301, and the selection to return to the device menu screen 101 that is the initial screen. The cancel button 301h to be executed is included.

図２に示す選択メニュー画面３０１を例とすれば、該階層構造化された機器メニュー画面１０１、選択メニュー画面２０１、及び選択メニュー画面３０１において最下層に位置する選択メニュー画面３０１において再生項目３０１ａを選択することでＣＤドライブ２（図１参照）において、その機能実行の確定操作、つまり、ユーザが再生項目３０１ａに触れることによる音楽ソフトの再生操作が行なわれる。 Taking the selection menu screen 301 shown in FIG. 2 as an example, the playback item 301 a is displayed on the hierarchically structured device menu screen 101, the selection menu screen 201, and the selection menu screen 301 located at the lowest layer in the selection menu screen 301. When the selection is made, in the CD drive 2 (see FIG. 1), the operation for confirming the execution of the function, that is, the music software playback operation by the user touching the playback item 301a is performed.

また、図３に示すように、前記選択メニュー画面３０１と同様、選択メニュー画面２０１の一階層下の第３階層（最下層）に位置する選択メニュー画面３０２には、その操作項目として、ＣＤドライブ２の音量上昇項目３０２ａ及び音量下降項目３０２ｂが含まれる。そして、同画面３０２で音量上昇項目３０２ａを選択することでＣＤドライブ２（図１参照）において音楽ソフトの再生音量の上昇操作が行なわれる。 Further, as shown in FIG. 3, similar to the selection menu screen 301, the selection menu screen 302 positioned at the third layer (lowermost layer) one layer below the selection menu screen 201 has a CD drive as its operation item. Two volume increase items 302a and volume decrease items 302b are included. Then, by selecting the volume increase item 302a on the screen 302, the CD software 2 (see FIG. 1) is operated to increase the playback volume of the music software.

さらに、図３に示すように、選択メニュー画面２０１に含まれる操作項目であるＣＤプレーヤ項目２０１ａ以外の操作項目、即ち、ＭＤプレーヤ項目２０１ｂ、ＦＭラジオ項目２０１ｃ、及びＡＭラジオ項目２０１ｄについても、当該ＣＤプレーヤ項目２０１ａと同様に階層構造化されており、同階層構造化によって、前記ＣＤプレーヤ項目２０１ａと同様な機能が実現されるように構成されている（ＦＭ・ＡＭラジオ項目２０１ｃ，２０１ｄについては、ＣＤプレーヤ項目２０１ａ及びＭＤプレーヤ項目２０１ｂにおける再生項目、停止項目、早送・早戻項目、及び曲目選択項目は、周波数上昇・下降項目が対応する）。本実施形態では、選択メニュー画面３０３，３０５，３０７の各操作項目については、選択メニュー画面３０１における操作項目と対応した符号を付するようにする（例えば、選択メニュー画面３０１の再生項目３０１ａは、選択メニュー画面３０２において、再生項目３０２ａに対応する。）。 Further, as shown in FIG. 3, the operation items other than the CD player item 201a which are operation items included in the selection menu screen 201, that is, the MD player item 201b, the FM radio item 201c, and the AM radio item 201d Similar to the CD player item 201a, it has a hierarchical structure, and the same hierarchical structure realizes the same function as the CD player item 201a (for FM / AM radio items 201c and 201d). In the CD player item 201a and the MD player item 201b, the playback item, stop item, fast forward / reverse item, and program selection item correspond to the frequency increase / decrease item). In this embodiment, each operation item on the selection menu screens 303, 305, and 307 is given a symbol corresponding to the operation item on the selection menu screen 301 (for example, the reproduction item 301a on the selection menu screen 301 is (It corresponds to the reproduction item 302a in the selection menu screen 302).

一方、本実施形態では、図３に示すように、初期画面である前記機器メニュー画面１０１において、エアコン機器項目１０１ｂを選択した場合に前記タッチパネルディスプレイ１１ａに表示される画面であり、選択メニュー画面２０１と同様に第２階層に位置する選択メニュー画面２１１には、操作項目として、車室内を暖房するべく選択される暖房項目２１１ａ、及び、車室内を冷房するべく選択される冷房項目２１１ｂが含まれる。そして、同画面２１１において暖房項目２１１ａを選択した場合には、暖房モードとなり、操作項目として設定温度上昇項目３１１ａ及び設定温度下降項目３１１ｂを含む選択メニュー画面３１１、又は、操作項目として風量上昇項目３１２ａ及び風量下降項目３１２ｂを含む選択メニュー画面３１２のいずれかが前記タッチパネルディスプレイ１１ａに表示されるように構成されている。また、同画面２１１において冷房項目２１１ｂを選択した場合には、冷房モードとなり、操作項目として設定温度上昇項目３１３ａ及び設定温度下降項目３１３ｂを含む選択メニュー画面３１３、又は、操作項目として風量上昇項目３１４ａ及び風量下降項目３１４ｂを含む選択メニュー画面３１４のいずれかが前記タッチパネルディスプレイ１１ａに表示されるように構成されている。尚、これら選択メニュー画面３１１〜３１４は、いずれも、図３に示す階層メニューの階層構造において最下層の第３階層に位置する画面である。 On the other hand, in the present embodiment, as shown in FIG. 3, when the air conditioner device item 101b is selected on the device menu screen 101 which is an initial screen, the screen is displayed on the touch panel display 11a, and the selection menu screen 201 is displayed. Similarly, the selection menu screen 211 located in the second hierarchy includes a heating item 211a selected to heat the vehicle interior and a cooling item 211b selected to cool the vehicle interior as operation items. . When the heating item 211a is selected on the screen 211, the heating mode is set, and the selection menu screen 311 including the set temperature increase item 311a and the set temperature decrease item 311b as operation items, or the air volume increase item 312a as operation items. Any one of the selection menu screens 312 including the air volume lowering item 312b is displayed on the touch panel display 11a. When the cooling item 211b is selected on the screen 211, the cooling mode is set, and the selection menu screen 313 including the set temperature increase item 313a and the set temperature decrease item 313b as the operation items, or the air volume increase item 314a as the operation items. Any one of the selection menu screens 314 including the air volume lowering item 314b is displayed on the touch panel display 11a. Note that these selection menu screens 311 to 314 are all screens located in the third lowest layer in the hierarchical structure of the hierarchical menu shown in FIG.

そして、例えば、選択メニュー画面３１１において設定温度上昇項目３１１ａを選択することで、エアコン装置６（図１参照）の暖房モードで設定温度の上昇操作が行なわれる。 Then, for example, by selecting the set temperature increase item 311a on the selection menu screen 311, the operation for increasing the set temperature is performed in the heating mode of the air conditioner device 6 (see FIG. 1).

本実施形態の音声認識機器操作装置１は、ユーザの音声に含まれる用語を音声認識することで前記各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）に該用語に対応する機能を実行させるようにしたものである。このために、前記音声認識部１４がユーザの音声に含まれる多様な用語を前記各車載機器の機能に対応付けする音声認識を行う。そして、前記ＣＰＵ１０が、図３に示す階層メニューの階層構造における第３階層（最下層）に位置する選択メニュー画面３０１等において、各車載機器の機能実行の確定操作が行なわれる毎に、前記音声認識部１４で音声認識された用語を、当該確定操作された機能に対応付ける。そして、過去に音声認識された用語と確定操作された機能とが対応付けられた頻度（回数）に応じて、ユーザが発する音声に含まれる用語を、前記第３階層（最下層）に位置する選択メニュー画面３０１等に対応付けるとともに、該第３階層に位置する選択メニュー画面３０１等においてユーザに各車載機器の機能実行の確定操作を行わせるようにした点に特徴を有する。 The voice recognition device operating device 1 according to the present embodiment recognizes the terms contained in the user's voice, thereby recognizing each vehicle-mounted device (CD drive 2, MD drive 3, FM radio 4, AM radio 5, air conditioner device 6, Other vehicle-mounted equipment [car navigation system etc.] 7) is made to execute the function corresponding to the term. For this purpose, the voice recognition unit 14 performs voice recognition by associating various terms included in the user's voice with the functions of the in-vehicle devices. Each time the CPU 10 performs a function execution confirmation operation for each in-vehicle device on the selection menu screen 301 or the like located in the third hierarchy (lowermost layer) in the hierarchical structure of the hierarchical menu shown in FIG. The term recognized by the recognition unit 14 is associated with the confirmed operation. The term included in the speech uttered by the user is positioned in the third hierarchy (lowermost layer) according to the frequency (number of times) in which the term recognized in the past and the confirmed function are associated with each other. This is characterized in that it is associated with the selection menu screen 301 and the like, and the user is allowed to perform a function execution confirmation operation for each in-vehicle device on the selection menu screen 301 and the like located in the third hierarchy.

具体的には、前記音声認識部１４及びＣＰＵ１０によって行われる音声認識は、特徴パラメータとして所謂ＬＰＣケプストラムを用いて行うようにしている。即ち、前記ＣＰＵ１０の制御プログラムによって、前記マイク１１ｂから入力された音声に含まれる用語と、前記記憶部１０ａに音声認識のためのデータ構造として記憶させた各用語毎のＬＰＣケプストラム（各用語の音声スペクトルをサンプリング周期毎に逆フーリエ変換することで特徴パラメータ化し、標準パラメータとして登録したもの）とのパターンマッチングを行い、類似度が最も高い用語を認識結果として出力するようにしている。但し、この音声認識部１４及びＣＰＵ１０では、入力された音声に含まれる用語について、テキストデータへの変換に成功した場合には、テキストデータ同士のパターンマッチングが行われるようになっている。 Specifically, the speech recognition performed by the speech recognition unit 14 and the CPU 10 is performed using a so-called LPC cepstrum as a feature parameter. That is, according to the control program of the CPU 10, the terms included in the speech input from the microphone 11b and the LPC cepstrum for each term stored as a data structure for speech recognition in the storage unit 10a (the speech of each term). The spectrum is subjected to inverse Fourier transform for each sampling period to be converted into feature parameters and registered as standard parameters), and the term having the highest similarity is output as a recognition result. However, the speech recognition unit 14 and the CPU 10 perform pattern matching between text data when terms included in the input speech have been successfully converted into text data.

図４に、本実施形態で使用される、入力された音声に含まれる用語と選択メニュー画面３０１等との対応付けのための「音声→選択メニュー」対応付けデータ構造を示す。このデータ構造は、前記ＣＰＵ１０に接続された記憶部１０ａに前記制御プログラムによって使用されうるように記憶されているものである。このデータ構造では、該データ構造を構成し、音声データエントリーでもある各構造体ｎ１〜ｎｉ（ｉ：自然数）は、用語データポインタ及び選択メニューデータポインタをメンバーとして構成されている。該各構造体ｎ１〜ｎｉの先頭には、用語データポインタが参照する音声データのデータ型（データタイプ）に応じて、「０」（テキストデータの場合）又は「１」（特徴パラメータデータの場合）が格納されるデータ型Flagが置かれている。そして、各構造体ｎ１〜ｎｉ−１の末尾には、次の構造体（構造体ｎ２〜ｎｉのいずれか）を指し示すポインタが格納されており、これにより複数の構造体ｎ１〜ｎｉがチェインで連結されている。尚、該チェインの最後の構造体ｎｉの末尾には、同構造体ｎｉが、各構造体ｎ１〜ｎｉのチェインの終末であることを示す「０」がNULL（ヌル）として格納されている。 FIG. 4 shows a “voice → selection menu” association data structure used in this embodiment for associating a term included in the input voice with the selection menu screen 301 and the like. This data structure is stored in the storage unit 10a connected to the CPU 10 so that it can be used by the control program. In this data structure, each of the structures n1 to ni (i: natural number) that constitutes the data structure and is also an audio data entry includes a term data pointer and a selection menu data pointer as members. Each of the structures n1 to ni has “0” (in the case of text data) or “1” (in the case of feature parameter data) depending on the data type (data type) of the audio data referred to by the term data pointer. ) Is stored. At the end of each structure n1 to ni-1, a pointer indicating the next structure (any one of structures n2 to ni) is stored, so that a plurality of structures n1 to ni are chained. It is connected. At the end of the last structure ni of the chain, “0” indicating that the structure ni is the end of the chain of each structure n1 to ni is stored as NULL.

本実施形態では、前記構造体ｎ１及び構造体ｎ２は、用語「あげる」について使用されており、別の構造体ｎ３〜ｎｉは、別の用語（例えば、「アップ」、「上昇させる」等）について使用されている。そして、該構造体ｎ１の用語データポインタは、データ型Flagが「０」であって、「あ・げ・る」のテキストデータが格納されているアドレスを参照するポインタを有している。また、該構造体ｎ２の用語データポインタは、データ型Flagが「０」であって、「あ・げ・る」の特徴パラメータデータ［１］〜［１１］（付加情報を含む。）が格納されているアドレスを参照するポインタを有している。 In the present embodiment, the structure n1 and the structure n2 are used for the term “raise”, and another structure n3 to ni is another term (for example, “up”, “raise”, etc.). Has been used about. The term data pointer of the structure n1 has a pointer that refers to an address where the data type Flag is “0” and the text data of “Agegeru” is stored. Further, the term data pointer of the structure n2 has the data type Flag of “0”, and the characteristic parameter data [1] to [11] (including additional information) of “A • G • R” are stored. It has a pointer to refer to the address that has been set.

本実施形態において、前記構造体ｎ１及び構造体ｎ２の用語データポインタによって参照されるテキストデータ及び特徴パラメータデータは、過去に用語として「あげる」等が音声として使用され、選択メニュー画面３０１の操作項目（ＣＤプレーヤの再生項目３０１ａ等）が選択された時点で後述する選択メニューデータポインタと対応付けされ、確定されたものである。 In the present embodiment, the text data and feature parameter data referred to by the term data pointers of the structures n1 and n2 have been used as voices as a term in the past, and the operation items on the selection menu screen 301 When a (CD player playback item 301a, etc.) is selected, it is associated with a selection menu data pointer described later and confirmed.

一方、前記構造体ｎ１の選択メニューデータポインタによって参照される選択メニューデータ（「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」が機能データとして格納されている。）は、該各機能実行の過去の頻度（回数）とともに、それぞれ構造体ｍ１〜ｍ３とされ、各構造体ｍ１，ｍ２の末尾には、次の構造体（構造体ｍ２，ｍ３のいずれか）を指し示すポインタが格納されている。そして、これにより複数の構造体ｍ１〜ｍ３がチェインで連結されている。尚、該チェインの最後の構造体ｍ３の末尾には、同構造体ｍ３が、各構造体ｍ１〜ｍ３のチェインの終末であることを示す「０」がNULL（ヌル）として格納されている（前記構造体ｎ２の選択メニューデータポインタも同様である。）。 On the other hand, selection menu data referred to by the selection menu data pointer of the structure n1 ("CD player volume increase", "heating set temperature increase", and "MD player volume increase" are stored as function data). Along with the past frequency (number of times) of execution of each function, the structures m1 to m3 are respectively indicated. At the end of each of the structures m1 and m2, the next structure (one of the structures m2 and m3) is indicated. A pointer is stored. Thus, the plurality of structural bodies m1 to m3 are connected by a chain. At the end of the last structure m3 of the chain, “0” indicating that the structure m3 is the chain end of each structure m1 to m3 is stored as NULL (null) ( The same applies to the selection menu data pointer of the structure n2.)

本実施形態では、前記各構造体ｍ１〜ｍ３において、前記選択メニューデータ中の機能データである「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」には、それぞれ、過去に用語として「あげる」が使用されたときに選択されたＣＤドライブ２の音量上昇項目３０２ａ、エアコン装置６の暖房モードにおける設定温度上昇項目３１１ａ、ＭＤドライブ３の音量上昇項目３０４ａの各操作項目が対応している。そして、各構造体ｍ１〜ｍ３は、前記各操作項目が選択された頻度が多い順番（回数１１、回数５、回数２）にてチェインで連結されている。 In this embodiment, in each of the structures m1 to m3, “CD player volume increase”, “heating set temperature increase”, and “MD player volume increase”, which are function data in the selection menu data, The operation items of the volume increase item 302 a of the CD drive 2, the set temperature increase item 311 a in the heating mode of the air conditioner 6, and the volume increase item 304 a of the MD drive 3, which are selected when “raise” is used as the term in FIG. It corresponds. And each structure m1-m3 is connected with the chain in order (number of times 11, number of times 5, number of times 2) with the frequency with which each said operation item was selected.

そして、ユーザにより、「あげる」という用語が音声として発せられ、前記音声認識部１４及びＣＰＵ１０で、「あ・げ・る」のテキストデータへの変換に成功して音声認識が行われた場合には、図４に示す構造体ｎ１（データ型Flag：「０」）が使用され、テキストデータ同士のパターンマッチングが行われる。そして、用語「あげる」が「ＣＤプレーヤ音量上昇」の機能実行について過去に使用された頻度（回数１１）に基づき、「ＣＤプレーヤ音量上昇」の機能実行が優先され、当該機能を実行するための選択メニュー画面３０１が前記タッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは、同選択メニュー画面３０１において、ＣＤドライブ２の音量上昇項目３０２ａの選択を行うことができ、これにより、当該「ＣＤプレーヤ音量上昇」の機能を、迅速、利便性よく、且つ確実に実行させることができるようになる。一方、前記音声認識部１４及びＣＰＵ１０で、音声として発せられた用語「あげる」について、「あ・げ・る」のテキストデータへの変換に失敗した場合でも、図４に示す構造体ｎ２（データ型Flag：「１」）が使用され、特徴パラメータ同士のパターンマッチングが行われる。そして、上述と同様なプロセスを経て、選択メニュー画面３０１が前記タッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは、ＣＤドライブ２の音量上昇項目３０２ａの選択を行うことができ、これにより、当該「ＣＤプレーヤ音量上昇」の機能を、迅速、利便性よく、且つ確実に実行させることができるようになる。 Then, when the user gives the word “raise” as a voice and the voice recognition unit 14 and the CPU 10 have successfully converted the text data of “Agegeru” into voice data and have performed voice recognition. The structure n1 (data type Flag: “0”) shown in FIG. 4 is used to perform pattern matching between text data. The function execution of “CD player volume increase” is prioritized based on the frequency (the number of times 11) used in the past for the function execution of the term “raise” “CD player volume increase”. A selection menu screen 301 is displayed on the touch panel display 11a. Then, the user can select the volume increase item 302a of the CD drive 2 on the selection menu screen 301, and thereby, the function of “CD player volume increase” can be performed quickly, conveniently and reliably. To be able to run. On the other hand, even if the speech recognition unit 14 and the CPU 10 fail to convert the term “raise” uttered as speech into the text data “Agegeru”, the structure n2 (data) shown in FIG. Type Flag: “1”) is used to perform pattern matching between feature parameters. Then, through the same process as described above, the selection menu screen 301 is displayed on the touch panel display 11a. Then, the user can select the volume increase item 302a of the CD drive 2 so that the “CD player volume increase” function can be executed quickly, conveniently and reliably. become.

本実施形態の音声認識機器操作装置１は、以上のように構成されており、以下、図５の動作フローチャート、及び、図１〜図４を参照しつつ、その動作について説明する。尚、本実施形態において、新車購入時には、各用語と車載装置の機能の対応付けについては、一般的なものが設定されている（例えば、「上昇させる」について「ＣＤプレーヤ音量上昇」を対応させている。）。 The voice recognition device operating device 1 of the present embodiment is configured as described above, and the operation will be described below with reference to the operation flowchart of FIG. 5 and FIGS. In the present embodiment, when a new car is purchased, a general one is set as a correspondence between each term and the function of the in-vehicle device (for example, “increase CD player volume” is associated with “increase”). ing.).

即ち、まず、ユーザが車両のエンジンを始動させると、前記装置本体１１に搭載されたＣＰＵ１０が制御プログラムの実行を開始するとともに、前記各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の電源がオンとなる。そして、ステップＳ１において、前記タッチパネルディスプレイ１１ａに、初期画面である前記機器メニュー画面１０１が画面表示される。 That is, first, when the user starts the engine of the vehicle, the CPU 10 mounted on the apparatus main body 11 starts execution of the control program, and each on-vehicle device (CD drive 2, MD drive 3, FM radio 4, The AM radio 5, the air conditioner device 6, and other in-vehicle devices [car navigation device etc.] 7) are turned on. In step S1, the device menu screen 101, which is an initial screen, is displayed on the touch panel display 11a.

次に、ステップＳ２において、音声入力Ｓ／Ｗ１１ｄを操作すると、オン信号がＣＰＵ１０に出力され、ステップＳ３に移行する。一方、音声入力Ｓ／Ｗ１１ｄを操作しないと、ステップＳ１２に移行する。 Next, when the voice input S / W 11d is operated in step S2, an ON signal is output to the CPU 10, and the process proceeds to step S3. On the other hand, if the voice input S / W 11d is not operated, the process proceeds to step S12.

そして、ステップＳ３においては、上述した階層メニュー（選択メニュー画面２０１，３０１等［図２、図３参照］）が前記タッチパネルディスプレイ１１ａに画面表示される状態となる。 In step S3, the above-described hierarchical menu (selection menu screens 201, 301, etc. [see FIGS. 2 and 3]) is displayed on the touch panel display 11a.

続くステップＳ４において、例えば、ユーザがＣＤドライブ２の再生音量を上昇させることを意図し、「あげる」という用語を音声として発すると、当該用語が前記マイク１１ｂを介して集音される。さらに音声認識部１４において、音声（用語）入力の有無が検出されるとともに、前記ＣＰＵ１０の制御プログラム及び図４のデータ構造に基づいて、その用語の音声認識が行われる。 In the subsequent step S4, for example, when the user intends to increase the playback volume of the CD drive 2 and utters the term “raise” as sound, the term is collected via the microphone 11b. Further, the speech recognition unit 14 detects the presence or absence of speech (term) input, and speech recognition of the term is performed based on the control program of the CPU 10 and the data structure of FIG.

さらにその後、ステップＳ５において、前記制御プログラム及びデータ構造に基づいて、過去に用語として「あげる」を使用したときに選択した操作項目（ＣＤプレーヤの音量上昇項目３０２ａ）が選択された頻度が最も多い（回数１１）の「ＣＤプレーヤ音量上昇」が優先的に選ばれる。そして、当該機能を実行するための選択メニュー画面３０２がタッチパネルディスプレイ１１ａに画面表示される。 After that, in step S5, based on the control program and the data structure, the operation item (CD player volume increase item 302a) selected when “raise” is used as a term in the past is most frequently selected. (Number of times 11) “CD player volume increase” is preferentially selected. Then, a selection menu screen 302 for executing the function is displayed on the touch panel display 11a.

ここで、仮にユーザが所望（意図)していた機能がＭＤドライブ３の音量上昇であって、表示された選択メニュー画面３０２が当該機能を実行させるための選択メニュー画面３０４と異なるときには、ステップＳ６において、次候補検索を行うことができる。即ち、図２及び図３を参照して、当該画面３０２上の戻るボタン３０２ｇを操作し、同画面３０２より一階層上の第２階層に位置する選択メニュー画面２０１に戻り、同画面２０１にてＭＤプレーヤ項目２０１ｂを選択し、選択メニュー画面３０３を表示させてから更に次候補ボタン３０３ｆを操作して選択メニュー画面３０４を表示させることができる。そして、同画面３０４でＭＤドライブ３の音量上昇項目３０４ａを選択し、当該機能が実行された場合には、ユーザによって音声として発せられた「あげる」についての音声認識部１４における音声認識結果がＭＤドライブ３の音量上昇機能について確定される。そして、同音声認識結果が、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａにテキストデータ及び特徴パラメータデータ（音声データ）として記憶される。また、このとき同時に、当該ＭＤドライブ３の音量上昇項目３０４ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。 If the function desired (intended) by the user is to increase the volume of the MD drive 3, and the displayed selection menu screen 302 is different from the selection menu screen 304 for executing the function, step S6 is performed. Next candidate search can be performed. That is, referring to FIG. 2 and FIG. 3, the return button 302 g on the screen 302 is operated to return to the selection menu screen 201 located on the second layer one level higher than the screen 302. After selecting the MD player item 201b and displaying the selection menu screen 303, the selection menu screen 304 can be displayed by further operating the next candidate button 303f. Then, when the volume increase item 304a of the MD drive 3 is selected on the same screen 304 and the function is executed, the voice recognition result in the voice recognition unit 14 for “raising” uttered as voice by the user is MD The volume increasing function of the drive 3 is determined. The voice recognition result is stored as text data and feature parameter data (voice data) in the storage unit 10a so as to be referred to by the term data pointers of the structures n1 and n2 in the data structure shown in FIG. Is done. At the same time, the frequency (number of times) of selecting the volume increase item 304a of the MD drive 3 is associated with the audio data and counted up by one.

尚、ステップＳ７において、例えば、選択メニュー画面２０１及び選択メニュー画面３０２のいずれかにおいてキャンセルボタン２０１ｅ又はキャンセルボタン３０２ｈを操作した場合には、初期画面である前記機器メニュー画面１０１に復帰するとともに、ステップＳ１１において、音声入力失敗ＦＬＧがセットされ、図５において、（１）（ステップＳ１５の前）に移行する（この場合は、初期画面からの次候補検索が可能になる。）。 In step S7, for example, when the cancel button 201e or the cancel button 302h is operated on either the selection menu screen 201 or the selection menu screen 302, the apparatus menu screen 101 which is the initial screen is returned to, and the step In S11, the voice input failure FLG is set, and in FIG. 5, the process proceeds to (1) (before step S15) (in this case, the next candidate search from the initial screen becomes possible).

一方、ユーザが所望（意図)していた機能がＣＤドライブ２の音量上昇であって、表示された選択メニュー画面が当該機能を実行させるための選択メニュー画面３０２と一致するときには、選択メニュー画面２０１及び選択メニュー画面３０２のいずれかにおいてキャンセルボタン２０１ｅ又はキャンセルボタン３０２ｈを操作せず、ステップＳ８において、選択メニュー画面３０２でＣＤドライブ２の音量上昇項目３０２ａを選択し、さらにステップＳ９において、当該機能が実行された場合には、ステップＳ１０において、ユーザによって音声として発せられた「あげる」についての音声認識部１４における音声認識結果がＣＤドライブ２の音量上昇機能について確定される。そして、同音声認識結果が、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａにテキストデータ及び特徴パラメータデータ（音声データ）として記憶される。また、このとき同時に、当該ＣＤドライブ２の音量上昇項目３０２ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。 On the other hand, when the function desired (intended) by the user is to increase the volume of the CD drive 2 and the displayed selection menu screen matches the selection menu screen 302 for executing the function, the selection menu screen 201 is displayed. In any one of the selection menu screen 302, the cancel button 201e or the cancel button 302h is not operated, and the volume increase item 302a of the CD drive 2 is selected on the selection menu screen 302 in step S8. If executed, in step S10, the voice recognition result in the voice recognition unit 14 for "raising" uttered as a voice by the user is determined for the volume increasing function of the CD drive 2. The voice recognition result is stored as text data and feature parameter data (voice data) in the storage unit 10a so as to be referred to by the term data pointers of the structures n1 and n2 in the data structure shown in FIG. Is done. At the same time, the frequency (number of times) at which the volume increase item 302a of the CD drive 2 is selected is associated with the audio data and counted up by one.

尚、前記ステップＳ８及びステップＳ９において、新たに「アップ」なる用語をＣＤプレーヤの音量上昇項目３０２ａの選択時に使用した場合には、当該用語「アップ」が音声認識されるとともに、機能データである「ＣＤプレーヤ音量上昇」と対応付けされ、図４のデータ構造中に新規に記憶される。 When the term “up” is newly used at the time of selection of the volume increase item 302a of the CD player in step S8 and step S9, the term “up” is recognized as voice and is function data. It is associated with “CD player volume increase” and is newly stored in the data structure of FIG.

一方、ステップＳ２において、音声入力Ｓ／Ｗ１１ｄを操作せず、ステップＳ１２において、初期画面である前記機器メニュー画面１０１にて、タッチ入力ボタン、即ち、オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃのいずれかを選択した場合には、続くステップＳ１３において、上述した階層メニュー（選択メニュー画面２０１，３０１等［図２、図３参照］）が前記タッチパネルディスプレイ１１ａに画面表示される状態となる。 On the other hand, in step S2, the voice input S / W 11d is not operated, and in step S12, on the device menu screen 101 which is the initial screen, touch input buttons, that is, the audio device item 101a, the air conditioner device item 101b, and the like. When any one of the in-vehicle device items 101c is selected, in the subsequent step S13, the above-described hierarchical menu (selection menu screens 201, 301, etc. [see FIGS. 2 and 3)] is displayed on the touch panel display 11a. It becomes a state.

このステップＳ１２以降では、音声認識機器操作装置１による音声認識を経ることなく、通常のマニュアル操作によって各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の機能実行を行うことができる。尚、ステップＳ１２において、タッチ入力ボタンの操作が行われなかった場合には、ここでの処理を一旦終了する。 In step S12 and subsequent steps, each vehicle-mounted device (CD drive 2, MD drive 3, FM radio 4, AM radio 5, air conditioner 6, etc.) is operated by a normal manual operation without performing voice recognition by the voice recognition device operation device 1. It is possible to execute functions of in-vehicle devices [car navigation system etc.] 7). In step S12, if the touch input button is not operated, the process here is temporarily terminated.

そして、ステップＳ１４において、選択メニュー画面２０１等にてキャンセルボタン２０１ｅを操作すると、前記タッチパネルディスプレイ１１ａに機器メニュー画面１０１が画面表示され、続くステップＳ１５において、次候補検索を行うことができる。即ち、この場合には、初期画面である前記機器メニュー画面１０１に復帰するので、当該画面１０１から任意の機器項目及び操作項目を選択していき、最下層の選択メニュー画面３０１等を表示させてから同画面３０１で操作項目を操作する。続いてステップ１６、Ｓ１７において、前記ステップＳ８，Ｓ９と同様に、当該画面３０１にて操作しうる機能を実行させることができる。この場合は、ステップＳ１１を経由するルートと異なり、音声入力失敗ＦＬＧはセットされていないので、次のステップＳ１８において、音声入力失敗ＦＬＧなしと判断され、ここでの処理を一旦終了する。 When the cancel button 201e is operated on the selection menu screen 201 or the like in step S14, the device menu screen 101 is displayed on the touch panel display 11a, and the next candidate search can be performed in the subsequent step S15. That is, in this case, since the screen returns to the device menu screen 101 which is the initial screen, arbitrary device items and operation items are selected from the screen 101 and the lowermost selection menu screen 301 and the like are displayed. From the same screen 301, the operation item is operated. Subsequently, in steps 16 and S17, the functions that can be operated on the screen 301 can be executed as in steps S8 and S9. In this case, unlike the route via step S11, since the voice input failure FLG is not set, in the next step S18, it is determined that there is no voice input failure FLG, and the process here is temporarily terminated.

一方、ステップＳ１４において、選択メニュー画面２０１等にてキャンセルボタン２０１ｅ等を操作しなかった場合には、ここでの処理を一旦終了する。
また、前述したステップＳ７においてキャンセルボタン２０１ｅ等が操作され、ステップＳ１１において、音声入力失敗ＦＬＧがセットされていた場合には、ステップＳ１１を経由してステップＳ１５に移行し、当該ステップＳ１５において、次候補検索を行うことができる。即ち、初期画面である前記機器メニュー画面１０１から、任意の機器項目及び操作項目を選択していき、最下層の選択メニュー画面３０４等を表示させてから同画面３０４で操作項目を操作し、続くステップ１６、Ｓ１７において、ステップＳ１１を経由しないルートと同様に、当該画面３０４にて操作しうる機能を実行させることができる。この場合は、ステップ１１で音声入力失敗ＦＬＧがセットされているので、次のステップＳ１８において、音声入力失敗ＦＬＧありと判断され、続くステップＳ１９において音声入力失敗ＦＬＧがリセットされる。それととともに、さらに次のステップＳ１０において、音声として発した「あげる」についての音声認識部１４による音声認識結果が、例えば、ＭＤドライブ３の音量上昇機能について確定され、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａに音声データとして記憶される。また、このとき同時に、当該ＭＤドライブ３の音量上昇項目３０４ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。 On the other hand, in step S14, when the cancel button 201e or the like is not operated on the selection menu screen 201 or the like, the processing here is temporarily ended.
If the cancel button 201e or the like is operated in step S7 described above and the voice input failure FLG is set in step S11, the process proceeds to step S15 via step S11. Candidate search can be performed. That is, arbitrary device items and operation items are selected from the device menu screen 101 which is the initial screen, the selection menu screen 304 at the lowest layer is displayed, and the operation items are operated on the same screen 304, followed by In Steps 16 and S17, functions that can be operated on the screen 304 can be executed in the same manner as a route that does not go through Step S11. In this case, since voice input failure FLG is set in step 11, it is determined in step S18 that there is a voice input failure FLG, and in step S19, the voice input failure FLG is reset. At the same time, in the next step S10, the voice recognition result by the voice recognition unit 14 for “raise” uttered as voice is determined for the volume increasing function of the MD drive 3, for example, and in the data structure shown in FIG. It is stored as audio data in the storage unit 10a so as to be referred to by the term data pointers of the structures n1 and n2. At the same time, the frequency (number of times) of selecting the volume increase item 304a of the MD drive 3 is associated with the audio data and counted up by one.

本実施形態の音声認識機器操作装置１によれば、以下のような作用・効果を得ることができる。
（１）音声認識された用語と確定操作された機能とが対応付けられた頻度（回数）に応じて、ユーザの音声に含まれる用語を各選択メニュー画面２０１，３０１（３０２）等の最下層に位置する選択メニュー画面３０１，３０２等に対応付けるとともに、該最下層に位置する選択メニュー画面３０１，３０２等においてユーザに各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の機能実行の確定操作を行わせるようにした。このように各車載機器にその機能を実行させる場合に、音声認識された用語と当該確定操作された機能とを対応付ける。そして、その対応付けした頻度に従って優先付けすることで、ユーザの音声に含まれる用語が各選択メニュー画面２０１，３０１等の最下層に位置する選択メニュー画面３０１に対応付けられ、同画面３０１がタッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは当該最下層に位置する選択メニュー画面３０１において各車載機器の機能実行の操作を行うことができる。 According to the voice recognition device operating device 1 of the present embodiment, the following operations and effects can be obtained.
(1) The term included in the user's voice is displayed in the lowest layer such as each of the selection menu screens 201 and 301 (302) in accordance with the frequency (number of times) in which the recognized term and the confirmed operation function are associated with each other. Are associated with the selection menu screens 301, 302, etc. located on the lowermost layer, and each of the in-vehicle devices (CD drive 2, MD drive 3, FM radio 4, AM radio 5, The air conditioner device 6 and other in-vehicle devices [car navigation system etc.] 7) are allowed to perform a function execution confirmation operation. Thus, when causing each in-vehicle device to execute the function, the speech-recognized term is associated with the confirmed operation function. Then, by prioritizing according to the associated frequency, the terms included in the user's voice are associated with the selection menu screen 301 located at the bottom layer of each selection menu screen 201, 301, etc., and the screen 301 is the touch panel. A screen is displayed on the display 11a. And the user can perform the function execution operation of each in-vehicle device on the selection menu screen 301 located in the lowest layer.

（２）これにより、一の用語（例えば、「あげる」）が、複数の機能（例えば、「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」）の実行の際に発声され、該複数の機能に対応付けられていた場合に、当該用語「あげる」が新たに発声されたときに、当該用語をユーザの癖や嗜好に応じて複数の機能の内の一の機能（例えば、「ＣＤプレーヤ音量上昇」）に対応付ける。そして、それとともに、該用語を当該一の機能を実行させる最下層の選択メニュー画面３０２に対応付け、同画面３０２をタッチパネルディスプレイ１１ａに画面表示することができる。 (2) Thereby, one term (for example, “raise”) is used when a plurality of functions (for example, “CD player volume increase”, “heating set temperature increase”, “MD player volume increase”) are executed. If the term “raise” is newly uttered when it is uttered and associated with the plurality of functions, the term is selected as one of the functions according to the user's habits and preferences. (For example, “CD player volume increase”). At the same time, the term can be associated with the lowermost selection menu screen 302 for executing the one function, and the screen 302 can be displayed on the touch panel display 11a.

（３）また、これにより、複数の用語（例えば、「あげる」、「アップ」、「上昇させる」）が、一の機能（例えば、「ＣＤプレーヤ音量上昇」）の実行の際に発声され、該一の機能に対応付けされていた場合に、当該複数の用語の内のいずれか（例えば、「あげる」）が新たに発声されたときに、該用語「あげる」をユーザの癖や嗜好に応じて当該一の機能に対応付ける。そして、それとともに、該用語を当該一の機能を実行させる最下層の選択メニュー画面３０２等に対応付け、同画面３０２をタッチパネルディスプレイ１１ａに画面表示することができる。 (3) Also, due to this, a plurality of terms (for example, “raise”, “up”, “raise”) are uttered when executing one function (for example, “CD player volume increase”), When it is associated with the one function, when any of the plurality of terms (for example, “raise”) is newly uttered, the term “raise” is given to the user's habit or preference. Corresponding to the one function accordingly. At the same time, the term can be associated with the lowermost selection menu screen 302 for executing the one function, and the screen 302 can be displayed on the touch panel display 11a.

（４）以上の結果、タッチパネルディスプレイ１１ａに画面表示され、該機能を実行しうる最下層に位置する選択メニュー画面３０１，３０２等において当該ユーザが各車載機器の機能実行の操作を行うことができ、複数の車載機器の各機能が迅速、利便性よく、且つ確実に実行されるようになる。 (4) As a result, the user can perform the function execution operation of each in-vehicle device on the selection menu screens 301, 302, etc., which are displayed on the touch panel display 11a and located at the lowest layer where the function can be executed. Each function of a plurality of in-vehicle devices can be executed quickly, conveniently and reliably.

（５）ユーザの音声に含まれる多様な用語（例えば、「あげる」、「アップ」、「上昇させる」）を複数の車載機器の機能に対応付ける音声認識が、特徴パラメータとしてのＬＰＣケプストラムを使用することによって簡単且つ確実に行われるようになる。 (5) Speech recognition that associates various terms (for example, “raise”, “up”, “raise”) included in the user's voice with the functions of a plurality of in-vehicle devices uses the LPC cepstrum as a feature parameter This makes it easy and reliable.

（６）機器メニュー部は、機器メニュー画面１０１、選択メニュー画面３０１等を画面に表示する画面表示部としてのタッチパネルディスプレイ１１ａを含んで構成され、該タッチパネルディスプレイ１１ａにおいて、機器メニュー画面１０１のオーディオ機器項目１０１ａ等又は選択メニュー画面２０１のＣＤプレーヤ項目２０１ａ等に触れることで当該機器項目又は操作項目の選択が行われるようにしている。このため、機器項目又は操作項目の選択が視覚を通して的確に行われるようになり、複数の車載機器の各機能がさらに確実に実行されるようになる。 (6) The device menu section includes a touch panel display 11a as a screen display section for displaying the device menu screen 101, the selection menu screen 301 and the like on the screen. In the touch panel display 11a, the audio device of the device menu screen 101 is displayed. The device item or the operation item is selected by touching the item 101a or the like or the CD player item 201a or the like on the selection menu screen 201. For this reason, selection of an apparatus item or an operation item comes to be performed accurately through vision, and each function of a plurality of in-vehicle devices is more certainly executed.

（７）例えば、最下層に位置する選択メニュー画面３０１は、タッチパネルディスプレイ１１ａに表示される次候補ボタン３０１ｆを選択することで、同一の階層に位置する他の選択メニュー画面３０２を表示させるようにした。このため、最下層に位置する他の選択メニュー画面３０２が、同じく最下層に位置する一の選択メニュー画面３０１においてマニュアル操作を行うことで表示されるようになり、ユーザが所望する車載機器の機能をより確実に実行させることができるようになる。 (7) For example, the selection menu screen 301 located at the lowermost layer displays another selection menu screen 302 located at the same level by selecting the next candidate button 301f displayed on the touch panel display 11a. did. For this reason, another selection menu screen 302 positioned at the lowest layer is displayed by performing manual operation on one selection menu screen 301 also positioned at the lowest layer, and the function of the in-vehicle device desired by the user is displayed. Can be executed more reliably.

尚、上記実施形態は以下のように変形してもよい。
・上記実施形態では、音声認識のための特徴パラメータとしてＬＰＣ（線形予測符号化）ケプストラムを使用した。しかしこれに限られず、メルケプストラムや、その他の特徴パラメータ（パワー等）を使用できることは勿論である。 The above embodiment may be modified as follows.
In the above embodiment, an LPC (linear predictive coding) cepstrum is used as a feature parameter for speech recognition. However, the present invention is not limited to this, and it is a matter of course that a mel cepstrum and other characteristic parameters (power, etc.) can be used.

・上記実施形態では、音声認識機器操作装置１を車両に搭載された複数の車載機器を集約的に操作するものとした。しかしこれに限られず、例えば、同音声認識機器操作装置１は、住宅等の不動産における各種機器（照明機器、冷蔵庫、ＴＶ、エアコン機器等）やＯＡ機器の機能（コピー、ファクシミリ、画像読み取り等）を集約的に操作するためにも使用できる。 In the above-described embodiment, the voice recognition device operating device 1 is configured to collectively operate a plurality of in-vehicle devices mounted on the vehicle. However, the present invention is not limited to this. For example, the voice recognition device operating device 1 is a function of various devices (lighting devices, refrigerators, TVs, air conditioner devices, etc.) and office automation devices in real estate such as houses (copying, facsimile, image reading, etc.). Can also be used to intensively operate

・上記実施形態では、各車載機器の機能実行の確定操作が行われても、何ら通知がなされないように構成しているが、例えば、画面上で操作項目の色を変えることにより、確定操作が実行されたことを通知するようにしてもよいし、音声によって操作項目（ＣＤプレーヤの音量上昇項目３０２ａ等）の読み上げにより通知するようにしてもよい。さらに、この場合、機能実行を確定する前に、例えば、「温度を上げますがよいですね。」等と音声を発してユーザに確認するようにしてもよい。 -In the above embodiment, it is configured so that no notification is made even if the function execution confirmation operation of each in-vehicle device is performed. For example, the confirmation operation is performed by changing the color of the operation item on the screen. May be notified, or may be notified by reading out operation items (such as the volume increase item 302a of the CD player) by voice. Furthermore, in this case, before confirming the execution of the function, for example, a voice such as “Temperature should be raised” may be uttered and confirmed with the user.

・上記実施形態では、機器メニュー部を画面表示部としてのタッチパネルディスプレイ１１ａとし、機器項目又は操作項目の選択を視覚を通して行わせるようにした。しかしこれに限られず、機器項目又は操作項目の選択を聴覚を通して行わせるようにしてもよい。この場合、機器メニュー部としては車両に搭載され、機器メニュー及び選択メニューを音声で出力する音声出力部が使用される。尚、この場合、音声出力部は画面表示部と併用できることは勿論である。 In the above-described embodiment, the device menu part is the touch panel display 11a as the screen display unit, and the selection of the device item or the operation item is made through vision. However, the present invention is not limited to this, and the device item or the operation item may be selected through hearing. In this case, an audio output unit that is mounted on the vehicle and outputs the device menu and the selection menu by voice is used as the device menu unit. In this case, it goes without saying that the audio output unit can be used together with the screen display unit.

さらに、前記した実施形態および変形例より把握できる技術的思想について以下に記載する。
○請求項１〜請求項４のいずれかに記載の音声認識機器操作装置において、前記機器メニュー部は、前記機器メニュー及び選択メニューを音声で出力する音声出力部を含んで構成され、前記音声に対して応答することで当該機器メニューの機器項目又は選択メニューの操作項目の選択が行われるようにした音声認識機器操作装置。 Further, technical ideas that can be grasped from the above-described embodiments and modifications will be described below.
The voice recognition device operating device according to any one of claims 1 to 4, wherein the device menu unit includes a voice output unit that outputs the device menu and the selection menu by voice. A voice recognition device operation device that selects a device item of the device menu or an operation item of the selection menu by responding to the response.

同構成によれば、視覚によらず、音声を介在させて機器メニューの機器項目又は選択メニューの操作項目の選択が行われるので、例えば、車両を運転しながら、複数の車載機器に機能を実行させる必要がある場合に、安全性が高められるようになる。 According to the same configuration, the device item of the device menu or the operation item of the selection menu is selected through audio, regardless of visual sense. For example, a function is executed on a plurality of in-vehicle devices while driving the vehicle. When it is necessary to make it happen, safety is improved.

本発明の実施形態にかかる音声認識機器操作装置の電気的構成を示すブロック図。The block diagram which shows the electric constitution of the speech recognition apparatus operating device concerning embodiment of this invention. 本発明の実施形態にかかる音声認識機器操作装置において、画面表示部に表示される機器メニュー画面及び選択メニュー画面を示す平面図。The top view which shows the apparatus menu screen and selection menu screen which are displayed on a screen display part in the speech recognition apparatus operating device concerning embodiment of this invention. 階層メニュー画面（機器メニュー画面及び選択メニュー画面）の階層構造を示すチャート図。The chart figure which shows the hierarchical structure of a hierarchy menu screen (an apparatus menu screen and a selection menu screen). 「音声→選択メニュー（画面）」対応付けデータ構造を示す模式図。The schematic diagram which shows the "voice-> selection menu (screen)" matching data structure. 本発明の実施形態にかかる音声認識機器操作装置の動作を示すフローチャート図。The flowchart figure which shows operation | movement of the speech recognition apparatus operating device concerning embodiment of this invention.

Explanation of symbols

１…音声認識機器操作装置、１１…機器本体、１０１…機器メニュー画面（階層メニュー画面）、１０１ａ…機器項目、２０１，３０１…選択メニュー画面（階層メニュー画面）、２０１ａ，３０１ａ…操作項目。 DESCRIPTION OF SYMBOLS 1 ... Voice recognition apparatus operation device, 11 ... Apparatus main body, 101 ... Apparatus menu screen (hierarchy menu screen), 101a ... Apparatus item, 201, 301 ... Selection menu screen (hierarchy menu screen), 201a, 301a ... Operation item.

Claims

A voice recognition device that is provided to operate a plurality of devices, each of which performs a predetermined function, and that causes each device to execute a function corresponding to the term by recognizing the term included in the user's voice. An operating device,
A voice recognition unit that performs voice recognition for associating various terms included in the user's voice with the functions of the devices;
A device menu having a hierarchically structured device item is output to a selection menu corresponding to each device, each having a plurality of operation items, and a selection located at the lowest layer of each hierarchically structured selection menu A device menu section in which a function execution confirmation operation is performed by selecting one operation item in the menu;
A control unit that associates a term recognized by the voice recognition unit with the function for which the confirmation operation has been performed each time a function execution confirmation operation is performed on each device;
The control unit associates the term included in the user's voice with the selection menu located at the lowest layer according to the frequency with which the voice-recognized term is associated with the confirmed operation, and A speech recognition apparatus operating device, characterized in that the user performs an operation for executing the function of each apparatus in a selection menu located in a lower layer.

The voice recognition device operating device according to claim 1,
The voice recognition device operation device, wherein the voice recognition unit performs voice recognition using a cepstrum as a characteristic parameter to associate various terms included in a user's voice with functions of the devices.

In the voice recognition apparatus operating device according to claim 1 or 2,
The device menu unit is configured by a screen display unit that displays the device menu and the selection menu on a screen.
A voice recognition device operating device in which the device item or the operation item is selected by touching the device item of the device menu or the operation item of the selection menu in the screen display unit.

In the voice recognition apparatus operating device according to claim 3,
The voice recognition device operating device, wherein the selection menu located at the lowest layer displays another selection menu located at the same level by selecting a next candidate button displayed in the device menu section.