JP2006208460A - Equipment controller of voice recognition type and vehicle - Google Patents

Equipment controller of voice recognition type and vehicle Download PDF

Info

Publication number
JP2006208460A
JP2006208460A JP2005016959A JP2005016959A JP2006208460A JP 2006208460 A JP2006208460 A JP 2006208460A JP 2005016959 A JP2005016959 A JP 2005016959A JP 2005016959 A JP2005016959 A JP 2005016959A JP 2006208460 A JP2006208460 A JP 2006208460A
Authority
JP
Japan
Prior art keywords
control
dialogue
state quantity
state
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005016959A
Other languages
Japanese (ja)
Other versions
JP4722499B2 (en
Inventor
Hisayuki Nagashima
久幸 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005016959A priority Critical patent/JP4722499B2/en
Publication of JP2006208460A publication Critical patent/JP2006208460A/en
Application granted granted Critical
Publication of JP4722499B2 publication Critical patent/JP4722499B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To appropriately perform voice interaction and equipment control in accordance with voice interaction. <P>SOLUTION: An interactive state detecting section 23 detects the interactive state quantity related to interactive states on the basis of the result of analysis of an analysis section 22, for example, the operation information related to the control operation of control equipment 14 extracted from a recognized language, each detection result of voice input condition detected by a voice recognition section 21 and each detection signal outputted from a vehicle state quantity sensor 15 and a speaker state quantity sensor 16. A response function setting section 24 makes interactive control state quantity a1-a10, ..., k1-k10 correspond to each of a plurality of interactive state quantity x<SB>a</SB>to x<SB>k</SB>, integrates interactive control state quantity a1-k1, ..., a10-k10 over the plurality of interactive state quantity x<SB>a</SB>to x<SB>k</SB>detected by the interactive state detecting section 23 to set response functions composed of interactive control state quantity P1 to P10. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、音声認識型機器制御装置および該音声認識型機器制御装置を搭載した車両に関するものである。   The present invention relates to a voice recognition type device control device and a vehicle equipped with the voice recognition type device control device.

従来、例えば作業者の視線や動作等の作業者状態と、作業装置の駆動状態と、作業者周囲の雑音状態とに対する各検出結果に基づき作業者の作業負荷を検知し、検知した作業負荷の大小に応じて音声対話の処理内容や音声認識用の辞書を変更する音声対話装置(例えば、特許文献1参照)が知られている。
特開2003−108191号公報
Conventionally, for example, the worker's workload is detected based on the detection results for the worker state such as the operator's line of sight and movement, the driving state of the working device, and the noise state around the worker. 2. Description of the Related Art A spoken dialogue apparatus (see, for example, Patent Document 1) that changes a voice dialogue processing content or a voice recognition dictionary according to the size is known.
JP 2003-108191 A

ところで、上記従来技術に係る音声対話装置では、単に、作業者の作業負荷の大小に応じて音声対話の処理内容が変更されるだけであるから、音声対話の処理内容に作業者の意志を的確に反映させることができないという問題が生じる。つまり作業負荷の大小と音声対話の処理内容に対する作業者の意志との間には、何等の関連性も認められない場合があり、例えば各種作業負荷が増大した状態であっても、作業者が音声対話に対する作業負荷や優先度を低下させることを望むとは限らず、音声対話の成立度や作業者の理解度等に応じて作業者の意志が多様に変化することになる。このため、作業者状態や作業装置の駆動状態や雑音状態等に対して複数の状態量を検出したとしても、これらの複数の検出結果を作業負荷の大小を検知することに利用するだけでは、多様に変化する作業者の意志を音声対話の制御に的確に反映させることは困難である。
しかも、作業負荷の大小は複数の状態量の検出結果に応じて設定されることから、音声対話の処理内容を制御する際に、作業負荷の大小に応じて単一の制御動作のみ(例えば、応答時間のみの変更や、音量のみの変更や、情報量のみの変更等)を適切に実行することは困難である。
さらに、複数の状態量の検出結果に応じて作業負荷の大小を検知する処理に対し、新たな状態量の検出結果を追加する場合、あるいは、既に利用されている状態量の検出結果を削除する場合には、作業負荷の大小を検知するための処理内容を大幅に変更する必要があり、煩雑な手間がかかるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、音声対話および音声対話に応じた機器制御を適切に実行することが可能な音声認識型機器制御装置および車両を提供することを目的とする。
By the way, in the above-described speech dialogue apparatus according to the prior art, the processing content of the voice dialogue is simply changed according to the workload of the worker, so that the intention of the worker is accurately confirmed in the processing content of the voice dialogue. The problem arises that it cannot be reflected in In other words, there may be no relationship between the magnitude of the workload and the will of the worker with respect to the processing content of the voice conversation. For example, even if the workload is increased, It is not always desired to reduce the workload and priority for voice conversation, and the will of the worker will change variously depending on the degree of establishment of the voice conversation, the understanding level of the worker, and the like. For this reason, even if a plurality of state quantities are detected with respect to the worker state, the driving state of the work device, the noise state, etc., simply using these detection results to detect the magnitude of the workload, It is difficult to accurately reflect the will of workers who change in various ways in the control of spoken dialogue.
In addition, since the magnitude of the workload is set according to the detection results of a plurality of state quantities, when controlling the processing contents of the voice dialogue, only a single control operation is performed according to the magnitude of the workload (for example, It is difficult to appropriately execute only the response time, only the volume, or only the amount of information.
Further, when a new state quantity detection result is added to the process for detecting the magnitude of the work load according to a plurality of state quantity detection results, or the already used state quantity detection result is deleted. In this case, it is necessary to significantly change the processing content for detecting the size of the work load, which causes a problem that it takes troublesome work.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a voice recognition type device control apparatus and a vehicle capable of appropriately executing voice dialogue and device control according to the voice dialogue.

上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の音声認識型機器制御装置は、音声を入力する音声入力手段(例えば、実施の形態での音声入力装置11)と、前記音声入力手段により入力された音声を認識する音声認識手段(例えば、実施の形態での音声認識部21)と、複数の環境状態(例えば、実施の形態での車両の走行状態や運転状態に係る状態量および話者の生理状態や動作状態に係る状態量および音声入力状態)を検出する環境状態検出手段(例えば、実施の形態での車両状態量センサ15、話者状態量センサ16、音声認識部21)と、前記複数の環境状態毎に対応して制御対象を設定し、該制御対象毎の第1制御パラメータ(例えば、実施の形態での対話制御状態量a1〜k1,…,a10〜k10)を前記環境状態検出手段により検出された複数の環境状態毎に応じて算出する第1制御パラメータ算出手段(例えば、実施の形態での応答関数設定部24)と、前記第1制御パラメータ算出手段により算出された前記第1制御パラメータを、制御対象毎に統合して得た値を、制御対象毎の第2制御パラメータ(例えば、実施の形態での対話制御状態量P1,…,P10)として設定する第2制御パラメータ設定手段(例えば、実施の形態での応答関数設定部24が兼ねる)と、前記音声認識手段による認識結果および前記第2制御パラメータ設定手段により設定された制御対象毎の第2制御パラメータに基づき機器(例えば、実施の形態での制御機器14)を制御する機器制御手段(例えば、実施の形態での機器制御部28)とを備えることを特徴としている。   In order to solve the above-described problems and achieve the object, the voice recognition type device control apparatus according to the first aspect of the present invention includes voice input means for inputting voice (for example, the voice input apparatus 11 in the embodiment). ), Voice recognition means for recognizing the voice input by the voice input means (for example, the voice recognition unit 21 in the embodiment), and a plurality of environmental states (for example, the vehicle running state in the embodiment, Environmental state detection means (for example, the vehicle state amount sensor 15 in the embodiment, the speaker state amount sensor) that detects the state amount related to the driving state, the state amount related to the physiological state or the operating state of the speaker, and the voice input state) 16, the voice recognition unit 21), and a control target is set corresponding to each of the plurality of environmental states, and the first control parameter for each control target (for example, dialogue control state quantities a 1 to k 1 in the embodiment) ..., a10 to k10 By the first control parameter calculation means (for example, the response function setting unit 24 in the embodiment) that calculates the value according to each of the plurality of environmental conditions detected by the environmental condition detection means, and the first control parameter calculation means A value obtained by integrating the calculated first control parameter for each control target is set as a second control parameter for each control target (for example, dialogue control state quantities P1,..., P10 in the embodiment). Second control parameter setting means (for example, also serving as the response function setting unit 24 in the embodiment), a recognition result by the voice recognition means, and a second for each control target set by the second control parameter setting means. Device control means (for example, the device control unit 28 in the embodiment) for controlling a device (for example, the control device 14 in the embodiment) based on the control parameter is provided. It is characterized in.

上記構成の音声認識型機器制御装置によれば、複数の環境状態毎に対して少なくとも1つ以上の制御対象を対応させ、各制御対象の第1制御パラメータを、検出された環境状態毎に算出すると共に、検出された複数の環境状態に亘って各制御対象の第1制御パラメータを制御対象毎に統合して第2制御パラメータを設定することにより、各制御対象に対して複数の環境状態を容易に反映させることができる。しかも、制御対象毎の第2パラメータを設定する際に、新たな環境状態の追加あるいは既存の環境状態の削除を行う場合であっても、第2制御パラメータを設定する処理の処理内容(つまり、第1制御パラメータを制御対象毎に統合して第2制御パラメータを設定する処理内容)を大幅に変更する必要が無く、処理内容の汎用性を向上させることができ、適切な機器制御を行うことができる。   According to the voice recognition type device control device having the above configuration, at least one control object is associated with each of a plurality of environmental states, and the first control parameter of each control object is calculated for each detected environmental state. In addition, by integrating the first control parameter of each control object for each control object and setting the second control parameter over a plurality of detected environmental conditions, a plurality of environmental conditions are set for each control object. It can be easily reflected. Moreover, even when a new environmental state is added or an existing environmental state is deleted when setting the second parameter for each control target, the processing content of the process for setting the second control parameter (that is, It is not necessary to significantly change the processing content of integrating the first control parameters for each control target and setting the second control parameter), the versatility of the processing content can be improved, and appropriate device control is performed. Can do.

また、請求項2に記載の本発明の車両は、請求項1に記載の音声認識型機器制御装置を搭載したことを特徴としている。
上記構成の車両によれば、車両および車両の乗員の環境状態が多様かつ頻繁に変動する場合であっても、各種の車載機器を適切に制御することができる。
According to a second aspect of the present invention, there is provided a vehicle according to the present invention, wherein the voice recognition type apparatus control device according to the first aspect is mounted.
According to the vehicle having the above configuration, various in-vehicle devices can be appropriately controlled even when the environmental conditions of the vehicle and the vehicle occupants vary widely and frequently.

以上説明したように、請求項1に記載の本発明の音声認識型機器制御装置によれば、各制御対象に対して複数の環境状態を容易に反映させることができ、適切な機器制御を行うことができると共に、第2制御パラメータを設定する処理の処理内容の汎用性を向上させることができる。
また、請求項2に記載の本発明の車両によれば、車両および車両の乗員の環境状態が多様かつ頻繁に変動する場合であっても、各種の車載機器を適切に制御することができる。
As described above, according to the voice recognition type device control apparatus of the present invention described in claim 1, a plurality of environmental states can be easily reflected on each control target, and appropriate device control is performed. In addition, the versatility of the processing content of the processing for setting the second control parameter can be improved.
In addition, according to the vehicle of the present invention described in claim 2, it is possible to appropriately control various in-vehicle devices even when the environmental conditions of the vehicle and the passengers of the vehicle fluctuate variously and frequently.

以下、本発明の実施形態に係る音声認識型機器制御装置について添付図面を参照しながら説明する。
本実施の形態による音声認識型機器制御装置10は、例えば図1に示すように、車両に搭載され、音声入力装置11と、出力装置12と、電子制御ユニット(ECU)13と、制御機器14と、車両状態量センサ15と、話者状態量センサ16とを備えて構成され、例えばマイク等を具備する音声入力装置11に操作者から入力される音声入力に応じて、さらに、車両状態量センサ15および話者状態量センサ16から出力される各検出信号に基づき、例えばスピーカやディスプレイ等の出力装置12から適宜の応答を出力すると共に、例えばナビゲーション装置、空調装置、音響装置、放送受像装置、通信装置等の車両に搭載された各種の制御機器14の動作を制御する。
Hereinafter, a voice recognition type device control apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.
A voice recognition type device control apparatus 10 according to the present embodiment is mounted on a vehicle as shown in FIG. 1, for example, and includes a voice input device 11, an output device 12, an electronic control unit (ECU) 13, and a control device 14. And a vehicle state quantity sensor 15 and a speaker state quantity sensor 16, for example, in response to a voice input input from the operator to the voice input device 11 having a microphone or the like. Based on each detection signal output from the sensor 15 and the speaker state quantity sensor 16, for example, an appropriate response is output from the output device 12 such as a speaker or a display, and for example, a navigation device, an air conditioner, an acoustic device, and a broadcast receiver. The operation of various control devices 14 mounted on a vehicle such as a communication device is controlled.

なお、車両状態量センサ15は、車両の走行状態や運転状態に係る状態量を検出する各種のセンサ(例えば、車速センサやジャイロセンサ等)や各種のスイッチ(例えば、ブレーキスイッチやワイパースイッチ等)等を備えて構成され、各種のセンサから出力される検出信号や各種のスイッチから出力されるオン/オフ信号を車両状態量として電子制御ユニット(ECU)13へ出力する。
ここで、車速センサは車両の速度(車速)を検出し、ジャイロセンサは水平面内での自車両の向きや鉛直方向に対する傾斜角度(例えば、車両の前後方向軸の鉛直方向に対する傾斜角度や車両重心の上下方向軸回りの回転角であるヨー角等)および傾斜角度の変化量(例えば、ヨーレート等)を検出する。
また、ブレーキスイッチは運転者によるブレーキ操作の有無に係るオン/オフ信号を出力し、ワイパースイッチは降雨や降雪等の天候状態に応じたワイパー作動の有無に係るオン/オフ信号を出力する。
The vehicle state quantity sensor 15 includes various sensors (for example, a vehicle speed sensor and a gyro sensor) that detect state quantities relating to the running state and driving state of the vehicle, and various switches (for example, a brake switch and a wiper switch). The detection signals output from various sensors and the on / off signals output from various switches are output to the electronic control unit (ECU) 13 as vehicle state quantities.
Here, the vehicle speed sensor detects the speed of the vehicle (vehicle speed), and the gyro sensor detects the orientation of the host vehicle in the horizontal plane and the inclination angle with respect to the vertical direction (for example, the inclination angle of the vehicle longitudinal axis and the vehicle center of gravity). And the amount of change in the tilt angle (for example, the yaw rate) is detected.
The brake switch outputs an on / off signal related to the presence or absence of a brake operation by the driver, and the wiper switch outputs an on / off signal related to the presence or absence of a wiper operation according to weather conditions such as rain or snow.

また、話者状態量センサ16は、音声入力を行う操作者の生理状態や動作状態に係る状態量(例えば、発汗量や表情や動作等)を検出する各種のセンサ(例えば、皮膚抵抗センサや画像認識装置等)を備えて構成されている。
例えば皮膚抵抗センサは、ステアリングホイールの表面上に設けられた電極対間の抵抗値を検出することで電極対間に接触する運転者の掌表面の抵抗値に応じた運転者の発汗量を検知する。
また、例えば画像認識装置は、車室内のインストルメントパネルやダッシュボード等に設けられて車室内の乗員を可視光領域や赤外線領域にて撮像可能なCCDカメラやCMOSカメラ等のカメラを備え、カメラにより撮影して得た撮像画像に対して、話者の顔や上半身等を検知対象物とした特徴量算出および形状判別等の認識処理を行い、話者の表情や動作を検知する。
In addition, the speaker state quantity sensor 16 is a sensor for detecting state quantities (for example, sweating amount, facial expression, action, etc.) related to the physiological state and operation state of an operator who performs voice input (for example, a skin resistance sensor, An image recognition device or the like).
For example, the skin resistance sensor detects the amount of sweating by the driver according to the resistance value of the palm surface of the driver contacting between the electrode pair by detecting the resistance value between the electrode pair provided on the surface of the steering wheel. To do.
In addition, for example, the image recognition apparatus includes a camera such as a CCD camera or a CMOS camera that is provided on an instrument panel or dashboard in a vehicle cabin and can capture an occupant in the vehicle cabin in a visible light region or an infrared region. The captured image obtained by the above is subjected to recognition processing such as feature amount calculation and shape discrimination using the speaker's face and upper body as detection objects, and the speaker's facial expression and motion are detected.

そして、電子制御ユニット(ECU)13は、例えば音声認識部21と、解析部22と、対話状態検知部23と、応答関数設定部24と、制御状態量記憶部25と、対話制御部26と、対話データ記憶部27と、機器制御部28とを備えて構成されている。   The electronic control unit (ECU) 13 includes, for example, a voice recognition unit 21, an analysis unit 22, a dialogue state detection unit 23, a response function setting unit 24, a control state amount storage unit 25, and a dialogue control unit 26. The dialogue data storage unit 27 and the device control unit 28 are provided.

音声認識部21は、音声入力装置11を介して操作者から入力される音声入力に対して、予め記憶している語彙データに基づき音声認識処理を行い、音声入力に対応する文字データである認識言語を生成し、この認識言語を、語彙データに対する一致度に応じて設定される音声認識スコアと共に解析部22へ出力する。さらに、音声認識部21は、音声入力状態として、例えば、音声入力の入力タイミングと、音声入力に対する発話音量の時間変化と、単一の発話の継続時間(単発話継続時間)と、音高および音調と、雑音レベルとを検知し、各検知結果を解析部22へ出力する。
解析部22は、音声認識部21にて生成された認識言語を解析し、認識言語の意味内容を把握すると共に、この解析結果を対話状態検知部23へ出力する。例えば、解析部22は、制御機器14の制御動作に係る動作情報を認識言語から抽出し、対話状態検知部23へ出力する。
The voice recognition unit 21 performs voice recognition processing based on vocabulary data stored in advance for voice input input from the operator via the voice input device 11, and recognizes character data corresponding to voice input. A language is generated, and this recognition language is output to the analysis unit 22 together with a speech recognition score set according to the degree of coincidence with the vocabulary data. Furthermore, the voice recognition unit 21, as a voice input state, includes, for example, a voice input timing, a temporal change in the utterance volume with respect to the voice input, a single utterance duration (single utterance duration), a pitch, The tone and the noise level are detected, and each detection result is output to the analysis unit 22.
The analysis unit 22 analyzes the recognition language generated by the speech recognition unit 21, grasps the meaning content of the recognition language, and outputs the analysis result to the dialog state detection unit 23. For example, the analysis unit 22 extracts operation information related to the control operation of the control device 14 from the recognition language, and outputs the operation information to the dialogue state detection unit 23.

対話状態検知部23は、解析部22での解析結果、例えば認識言語から抽出された制御機器14の制御動作に係る動作情報と、解析部22を介して音声認識部21から入力される音声入力状態の各検知結果と、車両状態量センサ15および話者状態量センサ16から出力される各検出信号とに基づき、操作者と音声認識型機器制御装置10との間の対話状態に係る対話状態量を検知し、検知結果を応答関数設定部24へ出力する。
例えば下記表1に示すように、対話状態検知部23は、複数(例えば、11個)の対話状態量として、操作者の音声入力に対する発話音量の変動量x(以下、単に、発話音量xと呼ぶ)と、応答時間xと、単発話継続時間xと、音高または音調の変動量x(以下、単に、音高および音調xと呼ぶ)と、雑音レベルxと、音声認識スコアxと、操作者の動作xと、操作者の表情xと、車両の走行状態xと、操作者の発汗状態xと、対話成立度xとを設定している。
The dialogue state detection unit 23 analyzes the analysis result obtained by the analysis unit 22, for example, operation information related to the control operation of the control device 14 extracted from the recognition language, and voice input input from the voice recognition unit 21 via the analysis unit 22. The dialogue state related to the dialogue state between the operator and the voice recognition type apparatus control device 10 based on each state detection result and each detection signal output from the vehicle state quantity sensor 15 and the speaker state quantity sensor 16 The amount is detected, and the detection result is output to the response function setting unit 24.
For example, as shown in Table 1 below, the conversation state detection unit 23 uses a plurality of (for example, eleven) conversation state amounts as the amount of change in speech volume x a (hereinafter simply referred to as speech volume x) in response to an operator's voice input. and referred to as a), a response time x b, and single talk duration x c, pitch or tone variation amount x d (hereinafter, simply referred to as pitch and tone x d) and the noise level x e , set and voice recognition score x f, the operation x g of the operator, and the facial expression x h of the operator, and the traveling state x i of the vehicle, and sweating state x j of the operator, and the dialogue established degree x k ing.

Figure 2006208460
Figure 2006208460

なお、発話音量xと、単発話継続時間xと、音高および音調xと、雑音レベルxと、音声認識スコアxとは、例えば音声認識部21により検知され、各検知結果は解析部22を介して対話状態検知部23に入力される。また、対話状態検知部23は、出力装置12から出力される対話データの出力タイミングと、例えば音声認識部21により検知されて解析部22を介して入力される音声入力の入力タイミングとに基づき応答時間xを検知する。また、対話状態検知部23は、話者状態量センサ16に具備されるカメラの撮像画像に対する認識結果のうち、例えば出力装置12から出力される対話データに対する操作者の理解度に係る動作(例えば、うなづき等)および表情(例えば、困惑や不満等)を抽出し、操作者の動作xおよび表情xとして設定する。また、対話状態検知部23は、車両状態量センサ15から出力される各検出信号およびオン/オフ信号に基づき、例えば車両の走行状態に応じた運転操作の難易度や余裕度合等を検知し、車両の走行状態xとして設定する。また、操作者の発汗状態xは、話者状態量センサ16に具備される皮膚抵抗センサにより検知され、対話状態検知部23に入力される。また、対話状態検知部23は、出力装置12から出力される対話データに対する音声入力の解析結果、つまり音声入力の意味内容等に基づき対話成立度xを検知する。 Note that the utterance volume x a , the single utterance duration x c , the pitch and tone x d , the noise level x e, and the speech recognition score x f are detected by, for example, the speech recognition unit 21, and each detection result Is input to the dialog state detection unit 23 via the analysis unit 22. The dialogue state detection unit 23 responds based on the output timing of the dialogue data output from the output device 12 and the input timing of the voice input detected by the voice recognition unit 21 and input through the analysis unit 22, for example. Detect time xb . In addition, the dialogue state detection unit 23 performs, for example, an operation related to the degree of understanding of the operator for the dialogue data output from the output device 12 among the recognition results for the captured image of the camera provided in the speaker state quantity sensor 16 (for example, , nodding, etc.) and expression (for example, to extract the embarrassment and frustration, etc.), set as the operation x g and expression x h of the operator. In addition, the dialogue state detection unit 23 detects, for example, the degree of difficulty or margin of the driving operation according to the traveling state of the vehicle, based on each detection signal and on / off signal output from the vehicle state quantity sensor 15, It is set as the running state x i of the vehicle. Further, the sweating state x j of the operator is detected by a skin resistance sensor provided in the speaker state quantity sensor 16 and input to the dialogue state detection unit 23. Further, the dialogue state detection unit 23 detects the dialogue establishment degree x k based on the analysis result of the voice input with respect to the dialogue data output from the output device 12, that is, the meaning content of the voice input.

応答関数設定部24は、対話状態検知部23による検知結果に応じて操作者と音声認識型機器制御装置10との間の対話状態を制御するための応答関数を設定する。
例えば上記表1に示すように、対話状態検知部23により検知される各対話状態量x,…,xに対応して、予め、所定の制御量を有する各対話制御状態量a1〜k1,…,a10〜k10が設定され、制御状態量記憶部25に格納されている。
応答関数設定部24は、先ず、検知された各対話状態量x,…,xの値に応じて、制御状態量記憶部25から検索して得た各対話制御状態量a1〜k1,…,a10〜k10の制御量の値を変更する。
The response function setting unit 24 sets a response function for controlling the dialogue state between the operator and the voice recognition type device control device 10 according to the detection result by the dialogue state detection unit 23.
For example, as shown in Table 1 above, each dialogue control state amount a1 to k1 having a predetermined control amount in advance corresponding to each dialogue state amount x a ,..., X k detected by the dialogue state detection unit 23. ,..., A10 to k10 are set and stored in the control state quantity storage unit 25.
The response function setting unit 24 first sets each of the dialogue control state quantities a1 to k1, obtained by searching the control state quantity storage unit 25 according to the detected values of the dialogue state quantities x a ,..., X k . ..., the value of the control amount a10 to k10 is changed.

例えば発話音量xに対しては、対話データの出力速度である発話速度a1と、音声入力の入力タイミングから対話データの出力タイミングまでの経過時間である応答時間a2と、対話データに含まれる情報量である要求情報量a3とが対応するように設定され、発話音量xの値に応じて変化する所定の制御量の値が設定されている。そして、発話音量xが大きくなることに伴い(つまり、発話音量の変動量が大きくなることに伴い)、操作者の余裕度合が低くなると判断され、操作者が実行する各種動作のうち対話動作の優先度が他の動作(例えば、運転操作等)の優先度に比べて低下するようにして、発話速度a1が低下傾向に変化するように、かつ、応答時間a2が増長傾向に変化するように、かつ、要求情報量a3が減少傾向に変化するように設定される。
また、応答時間xに対しては、応答時間b2と、対話データに含まれる情報の詳細度である情報レベルb4とが対応するように設定されている。そして、応答時間xが短くなることに伴い、操作者が迅速な対話を望んでいると判断され、応答時間b2が短縮傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される。
For example, for speech volume x a, the speech rate a1 is the output speed of the interaction data, and response time a2 is the elapsed time for the output timing of the interaction data from the input timing of the audio input, the information contained in the interaction data and the required amount of information a3 is the amount is set so as to correspond, the value of a predetermined control amount which varies according to the value of the speech volume x a is set. Along with the fact that speech volume x a is large (ie, due to the variation amount of speech volume increases), it is determined that allowance degree of the operator decreases, interaction among the various operations by the operator to perform So that the speech speed a1 changes to a decreasing tendency and the response time a2 changes to an increasing tendency. In addition, the request information amount a3 is set to change in a decreasing trend.
Further, the response time xb is set so that the response time b2 corresponds to the information level b4 which is the level of detail of the information included in the conversation data. As the response time xb becomes shorter, it is determined that the operator wants a quick dialogue, so that the response time b2 changes in a decreasing tendency and the information level b4 changes in a shallow direction. Set to do.

また、単発話継続時間xに対しては、応答時間c2と、一連の対話が終了するまでに要する音声入力および発話データの出力の実行回数であるターン数c5とが対応するように設定されている。そして、単発話継続時間xが長くなることに伴い、音声入力の意味内容の曖昧さが増大すると判断され、応答時間c2が増長傾向に変化するように、かつ、ターン数c5が増加傾向(つまり、確認用の対話データの出力回数が増加傾向)に変化するように設定される。
また、音高および音調xに対しては、応答時間d2と、要求情報量d3とが対応するように設定されている。そして、音高および音調xが大きくなることに伴い(つまり、音高または音調の変動量が大きくなることに伴い)、操作者の余裕度合が低くなると判断され、応答時間d2が増長傾向に変化するように、かつ、要求情報量d3が減少傾向に変化するように設定される。
Further, for the single talk duration x c, and response time c2, and a number of turns c5 is a number of executions of the output of the speech input and speech data required for the sequence of interactions is ended is set to correspond ing. As the single utterance duration x c becomes longer, it is determined that the ambiguity of the meaning content of the voice input increases, so that the response time c2 tends to increase and the number of turns c5 tends to increase ( That is, it is set so that the number of times of output of dialogue data for confirmation changes (in an increasing tendency).
Further, the response time d2 and the requested information amount d3 are set to correspond to the pitch and the tone xd . As the pitch and tone xd increase (that is, as the pitch or tone variation increases), it is determined that the operator's margin is reduced, and the response time d2 tends to increase. The request information amount d3 is set to change so as to change.

また、雑音レベルxに対しては、対話データ音量e8が対応するように設定されている。そして、雑音レベルxが増大することに伴い、対話データ音量e8が増大傾向に変化するように設定される。
また、音声認識スコアxに対しては、応答時間f2と、情報レベルf4と、対話データ音量f8とが対応するように設定されている。そして、音声認識スコアxが低下することに伴い、出力装置12から出力される対話データに対する応答の曖昧さが増大すると判断され、応答時間f2が増長傾向に変化するように、かつ、情報レベルf4が浅くなる方向に変化するように、かつ、対話データ音量f8が増大傾向に変化するように設定される。
Further, with respect to the noise level x e, interaction data volume e8 is set to correspond. Then, as the noise level x e increases, the dialogue data volume e8 is set to change in an increasing tendency.
Further, for the speech recognition score x f, and response time f2, the information level f4, and interaction data volume f8 is set to correspond. Along with the fact that the speech recognition score x f decreases, it is determined that ambiguity of responses to interactive data outputted from the output unit 12 is increased, so that response times f2 is changed to length increasing trend, and the information level The dialogue data volume f8 is set to change in an increasing tendency so that f4 changes in a shallow direction.

また、操作者の動作xおよび表情xに対しては、各要求情報量g3,h3と、各情報レベルg4、h4とが対応するように設定されている。そして、動作xまたは表情xにおいて操作者の理解度の低下を示す状態量が増大することに伴い、要求情報量g3,h3が減少傾向に変化するように、かつ、情報レベルg4、h4が浅くなる方向に変化するように設定される。
また、車両の走行状態xに対しては、ターン数i5と、一連の対話が終了するまでに要する時間である対話継続時間i6と、対話データでの表現の丁寧さi7とが対応するように設定されている。そして、走行状態xにおいて運転操作の負荷の増大や余裕度合の低下を示す状態量が増大することに伴い、ターン数i5が増加傾向(つまり、確認用の対話データの出力数が増加傾向)に変化するように、かつ、対話継続時間i6が短縮傾向に変化するように、かつ、表現の丁寧さi7が低下傾向(つまり、表現が簡潔となる方向)に変化するように設定される。
Also, for the operation x g and expression x h of the operator, and each request information amount g3, h3, and the information level g4, h4 is set to correspond. Along with the fact that the state amount indicating a reduction in the understanding of the operator in the operation x g or expression x h increases, request information amount g3, so h3 is changed to decrease, and information level g4, h4 Is set to change in the direction of shallowness.
Further, for the vehicle running state x i , the number of turns i 5, the dialogue duration i 6 that is the time required for the series of dialogues to end, and the politeness i 7 of the expression in the dialogue data seem to correspond. Is set to Along with the fact that the state amount indicating a reduction in the increase or allowance degree of the load driving operation in the running state x i is increased, the number of turns i5 is increasing (i.e., the output number increasing interaction data for confirmation) So that the dialogue duration i6 changes to a shortening tendency, and the politeness i7 of the expression changes to a decreasing tendency (that is, the direction in which the expression becomes concise).

また、操作者の発汗状態xに対しては、ターン数j5と、対話継続時間j6とが対応するように設定されている。そして、発汗状態xにおいて発汗量が増大することに伴い、ターン数i5が増加傾向(つまり、確認用の対話データの出力数が増加傾向)に変化するように、かつ、対話継続時間i6が短縮傾向に変化するように設定される。
また、対話成立度xに対しては、要求情報量k3と、情報レベルk4と、警報音の有無k9と、音調k10とが対応するように設定されている。そして、対話成立度xが低下することに伴い、要求情報量k3が減少傾向に変化するように、かつ、情報レベルk4が浅くなる方向に変化するように、かつ、警報音の有無k9が有りの状態(例えば、対話データの出力以前のタイミングで警報音が出力される状態)に変化するように、かつ、音調k10が、例えば対話データの所定箇所を強調するようにして、強調傾向に変化するように設定される。
Further, for the perspiration state x j of the operator, the number of turns j5, and interactive duration j6 is set to correspond. Along with the fact that the amount of perspiration in perspiration state x j is increased, the number of turns i5 is increasing (i.e., the output number of interaction data for confirmation increase) to vary, and interaction duration i6 It is set to change to a shortening tendency.
Further, with respect to the interaction established degree x k, the required information amount k3, the information level k4, and the presence or absence of audible alarm k9, and a tone k10 are set so as to correspond. Along with the fact that interaction establishment of x k is lowered, as required amount of information k3 is changed to decrease, and, so as to change the direction in which the information level k4 becomes shallower, and the presence or absence of audible alarm k9 is The tone k10 tends to be emphasized so as to change to a certain state (for example, a state in which an alarm sound is output at a timing before the output of the dialog data) and the tone k10 emphasizes a predetermined portion of the dialog data, for example. Set to change.

そして、応答関数設定部24は、例えば下記数式(1)に示すように、各対話状態量x,…,x毎に所定の各対話制御状態量a1〜a10,…,k1〜k10を行列要素とする列ベクトルf(x),…,f(x)を設定し、これらの列ベクトルf(x),…,f(x)によって構成される行列において、例えば下記表2に示すように、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素を統合して対話制御状態量P1,…,P10を設定し、これらの対話制御状態量P1,…,P10により応答関数F(P)を構成する。 The response function setting unit 24, for example as shown in the following equation (1), each dialogue state quantities x a, ..., each predetermined dialogue control state quantity a1~a10 each x k, ..., a k1~k10 Column vectors f a (x a ),..., F k (x k ) are set as matrix elements, and the matrix constituted by these column vectors f a (x a ),..., F k (x k ) For example, as shown in Table 2 below, the dialogue control state quantities P1,..., P10 are set by integrating the matrix elements for each of the dialogue control state quantities a1 to k1,. A response function F (P) is constituted by the quantities P1,.

Figure 2006208460
Figure 2006208460

Figure 2006208460
Figure 2006208460

なお、単一の対話状態量に対して複数の異なる検知結果が存在する場合には、各検知結果毎に対応する対話制御状態量が統合、あるいは、各検知結果を統合して得た値に対応する対話制御状態量が設定される。例えば図2に示すように、音声入力装置11を構成する複数の第1マイクおよび第2マイクにより検出された各発話音量xa1,xa2が存在する場合には、発話音量xに対する列ベクトルf(x)として、(fa1(xa1)+fa2(xa2))あるいはf(xa1+xa2)が設定される。 When there are multiple different detection results for a single dialogue state quantity, the corresponding dialogue control state quantity for each detection result is integrated or the value obtained by integrating the detection results. The corresponding dialog control state quantity is set. For example, as shown in FIG. 2, when there are utterance volumes x a1 and x a2 detected by a plurality of first microphones and second microphones constituting the voice input device 11, a column vector for the utterance volume x a As f a (x a ), (f a1 (x a1 ) + f a2 (x a2 )) or f a (x a1 + x a2 ) is set.

対話制御部26は、予め対話データ記憶部27に格納された文字データや音声データ等の複数の対話データから、解析部22において把握された意味内容に応じた適宜の対話データを検索し、出力装置12へ出力する。ここで、対話制御部26は、対話データを検索する際、さらに、検索した対話データを出力装置12から出力させる際に、応答関数設定部24により設定された応答関数F(P)に応じた制御を行う。
そして、機器制御部28は、解析部22での解析結果、例えば認識言語から抽出された制御機器14の制御動作に係る動作情報に応じて制御機器14を制御する。
The dialogue control unit 26 searches for and outputs appropriate dialogue data according to the semantic content grasped by the analysis unit 22 from a plurality of dialogue data such as character data and voice data stored in the dialogue data storage unit 27 in advance. Output to the device 12. Here, when the dialogue control unit 26 searches for dialogue data and further outputs the searched dialogue data from the output device 12, the dialogue control unit 26 responds to the response function F (P) set by the response function setting unit 24. Take control.
And the apparatus control part 28 controls the control apparatus 14 according to the analysis information in the analysis part 22, for example, the operation information which concerns on the control action of the control apparatus 14 extracted from the recognition language.

本実施の形態による音声認識型機器制御装置10は上記構成を備えており、次に、この音声認識型機器制御装置10の動作、特に、応答関数F(P)を設定して対話状態を制御する処理について添付図面を参照しながら説明する。
先ず、例えば図3に示すステップS01においては、音声入力装置11を介して操作者から入力された音声入力を取得する。
次に、ステップS02においては、取得した音声入力に対して音声認識処理を実行し、音声入力に対応する文字データである認識言語を生成する。
次に、ステップS03においては、生成された認識言語を解析し、認識言語の意味内容を把握するために必要となる情報、例えば制御機器14の制御動作に係る動作情報を抽出する。
次に、ステップS04においては、複数の対話状態量x,…,xの各検知結果を取得する。
次に、ステップS05においては、後述する応答関数設定処理を実行する。
次に、ステップS06においては、設定された応答関数F(P)を参照しつつ、認識言語の解析結果に応じた対話データを検索する。
次に、ステップS07においては、設定された応答関数F(P)を参照しつつ、検索して得た対話データを出力装置12から出力して、一連の処理を終了する。
The voice recognition type device control apparatus 10 according to the present embodiment has the above-described configuration. Next, the operation of the voice recognition type device control apparatus 10, in particular, the response function F (P) is set to control the conversation state. The processing to be performed will be described with reference to the attached drawings.
First, for example, in step S01 shown in FIG. 3, a voice input input from the operator via the voice input device 11 is acquired.
Next, in step S02, a speech recognition process is executed on the acquired speech input to generate a recognition language that is character data corresponding to the speech input.
Next, in step S03, the generated recognition language is analyzed, and information necessary for grasping the semantic content of the recognition language, for example, operation information related to the control operation of the control device 14 is extracted.
Next, in step S04, each detection result of a plurality of dialogue state quantities x a ,..., X k is acquired.
Next, in step S05, a response function setting process described later is executed.
Next, in step S06, the conversation data corresponding to the analysis result of the recognition language is searched while referring to the set response function F (P).
Next, in step S07, while referring to the set response function F (P), the dialogue data obtained by the search is output from the output device 12, and the series of processes is terminated.

以下に、上述したステップS05での応答関数設定処理の一例、特に、対話状態量として応答時間xが検知された場合について説明する。
先ず、図4に示すステップS11においては、検知した応答時間xが所定上限時間TH(例えば、1.3秒等)よりも長いか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS13に進む。
一方、この判定結果が「YES」の場合には、ステップS12に進む。
そして、ステップS12においては、出力された対話データに対する操作者の理解度の低下や運転操作の負荷の増大等が生じていると判断し、応答時間b2が増長傾向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=+20等)だけ増大させ、かつ、情報レベルb4が浅くなる方向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−20等)だけ減少させ、一連の処理を終了する。
Hereinafter, an example of the response function setting process in step S05 described above, in particular, a case where the response time xb is detected as the conversation state amount will be described.
First, in step S11 shown in FIG. 4, it is determined whether or not the detected response time xb is longer than a predetermined upper limit time TH (for example, 1.3 seconds).
If this determination is “NO”, the flow proceeds to step S 13 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S12.
In step S12, it is determined that there is a decrease in the operator's understanding of the output dialogue data, an increase in the driving operation load, etc., and the control amount is set so that the response time b2 changes in an increasing tendency. Is increased by a predetermined amount (for example, a predetermined amount = + 20 etc. with respect to −100 ≦ control amount ≦ + 100), and the control amount is changed to a predetermined amount (for example, the information level b4 becomes shallower). A predetermined amount = −20 or the like is reduced with respect to −100 ≦ control amount ≦ + 100), and the series of processes is terminated.

そして、ステップS13においては、検知した応答時間xが所定下限時間TL(例えば、0.7秒等)よりも短いか否かを判定する。
この判定結果が「NO」の場合、つまり応答時間xが所定下限時間TL以上かつ所定上限時間TH以下である場合には、ステップS14に進み、このステップS14においては、応答時間b2および情報レベルb4の各制御量が適切であると判断して、各制御量を変更せず、一連の処理を終了する。
一方、この判定結果が「YES」の場合には、ステップS15に進む。
そして、ステップS15においては、操作者が迅速な対話を望んでいると判断し、応答時間b2が短縮傾向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−20等)だけ減少させ、かつ、応答時間b2の短縮に伴い情報レベルb4が浅くなる方向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−10等)だけ減少させ、一連の処理を終了する。
In step S13, it is determined whether or not the detected response time xb is shorter than a predetermined lower limit time TL (for example, 0.7 seconds).
If the determination result is “NO”, that is, if the response time xb is not less than the predetermined lower limit time TL and not more than the predetermined upper limit time TH, the process proceeds to step S14, and in this step S14, the response time b2 and the information level It is determined that each control amount of b4 is appropriate, and each control amount is not changed, and the series of processes is terminated.
On the other hand, if the determination is “YES”, the flow proceeds to step S15.
In step S15, it is determined that the operator desires a quick dialogue, and the control amount is changed to a predetermined amount (for example, −100 ≦ control amount ≦ + 100 so that the response time b2 changes to a shortening tendency). The control amount is reduced by a predetermined amount = −20 or the like, and the control level is changed in a direction in which the information level b4 becomes shallow as the response time b2 is shortened (for example, −100 ≦ control amount ≦ + 100). The predetermined amount = −10 or the like) is decreased, and the series of processes is terminated.

例えば車両始動時に運転者が車両に乗車した後の最初の音声入力が、
(A1)「ルート案内して」
であった場合、この音声入力の意味内容に対応した制御機器14の制御動作の情報として、例えばナビゲーション装置の経路設定に係る制御動作が検索される。
そして、この音声入力に対する応答の対話データが対話データ記憶部27から検索され、例えば、
(A2)「はい、目的地はどちらでしょうか?」
が出力装置12から出力される。
そして、出力装置12から出力された対話データの問い合わせに対する応答として、音声入力が、例えば、
(A3)「成田空港」
であった場合には、この応答に対して各対話状態量x,…,xが検知される。
For example, the first voice input after the driver gets into the vehicle at the start of the vehicle
(A1) “Route guidance”
If it is, the control operation related to the route setting of the navigation device, for example, is searched as information on the control operation of the control device 14 corresponding to the meaning content of the voice input.
Then, dialogue data in response to the voice input is retrieved from the dialogue data storage unit 27, for example,
(A2) “Yes, which is your destination?”
Is output from the output device 12.
Then, as a response to the inquiry about the dialogue data output from the output device 12, voice input is, for example,
(A3) "Narita Airport"
In this case, each dialogue state quantity x a ,..., X k is detected for this response.

ここで、応答時間xが所定下限時間TL(例えば、0.7秒等)よりも短く、操作者が迅速な対話を望んでいると判定されると、例えば図5に示すように、応答時間b2が短縮傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される(例えば、b2←(b2−20)、かつ、b4←(b4−10))。さらに、単発話継続時間xが所定継続時間よりも短く、操作者が迅速な対話を望んでいると判定されると、例えば図5に示すように、応答時間c2が短縮傾向に変化するように、かつ、ターン数c5が減少傾向(つまり、確認用の対話データの出力回数が減少傾向)に変化するように設定される(例えば、c2←(c2−20)、かつ、c5←(c5−20))。
そして、設定された各対話制御状態量b2,b4,c2,c5を行列要素とする列ベクトルf(x),…,f(x)が設定され、これらの列ベクトルf(x),…,f(x)によって構成される行列において、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素が統合されて対話制御状態量P1,…,P10が設定され、これらの対話制御状態量P1,…,P10により応答関数F(P)が設定される。
Here, when it is determined that the response time xb is shorter than a predetermined lower limit time TL (for example, 0.7 seconds, etc.) and the operator desires a quick dialogue, for example, as shown in FIG. It is set so that the time b2 changes in a shortening tendency and the information level b4 changes in a shallow direction (for example, b2 ← (b2-20) and b4 ← (b4-10)). Further, if it is determined that the single utterance duration xc is shorter than the predetermined duration and the operator desires a quick dialogue, for example, as shown in FIG. And the number of turns c5 is set so as to change to a decreasing tendency (that is, the number of confirmation dialog data output times is decreasing) (for example, c2 ← (c2-20) and c5 ← (c5 -20)).
Then, column vectors f a (x a ),..., F k (x k ) having matrix elements as the set dialogue control state quantities b2, b4, c2, and c5 are set, and these column vectors f a ( x a), ..., in a matrix constituted by f k (x k), the dialog control state quantities a1~k1, ..., matrix elements are integrated into each a10~k10 interactively control state quantity P1, ..., P10 Is set, and the response function F (P) is set by these dialogue control state quantities P1,..., P10.

そして、設定された応答関数F(P)に応じた対話データ、例えば応答時間P2が短く、かつ、情報レベルP4が浅く、かつ、ターン数P5が少なくなるような対話データが対話データ記憶部27から検索され、例えば、
(A4)「成田空港まで、最短ルートでご案内します」
が出力装置12から出力される。
Dialog data corresponding to the set response function F (P), for example, dialog data having a short response time P2, a shallow information level P4, and a small number of turns P5, is stored in the dialog data storage unit 27. For example,
(A4) "We will guide you to Narita Airport by the shortest route"
Is output from the output device 12.

また、例えば車両始動時に運転者が車両に乗車した後の最初の音声入力が、
(A1)「ルート案内して」
であった場合、この音声入力の意味内容に対応した制御機器14の制御動作の情報として、例えばナビゲーション装置の経路設定に係る制御動作が検索される。
そして、この音声入力に対する応答の対話データが対話データ記憶部27から検索され、例えば、
(A2)「はい、目的地はどちらでしょうか?」
が出力装置12から出力される。
そして、出力装置12から出力された対話データの問い合わせに対する応答として、音声入力が、例えば、
(B3)「えーっと、成田空港まで生きたい」
であった場合には、この応答に対して各対話状態量x,…,xが検知される。
Also, for example, the first voice input after the driver gets on the vehicle at the time of starting the vehicle,
(A1) “Route guidance”
If it is, the control operation related to the route setting of the navigation device, for example, is searched as information on the control operation of the control device 14 corresponding to the meaning content of the voice input.
Then, dialogue data in response to the voice input is retrieved from the dialogue data storage unit 27, for example,
(A2) “Yes, which is your destination?”
Is output from the output device 12.
Then, as a response to the inquiry about the dialogue data output from the output device 12, voice input is, for example,
(B3) “Well, I want to live to Narita Airport”
In this case, each dialogue state quantity x a ,..., X k is detected for this response.

ここで、応答時間xが所定上限時間TH(例えば、1.3秒等)よりも長いと判定されると、例えば図6に示すように、応答時間b2が増長傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される(例えば、b2←(b2+20)、かつ、b4←(b4−10))。さらに、単発話継続時間xが所定継続時間よりも長いと判定されると、例えば図6に示すように、応答時間c2が増長傾向に変化するように、かつ、ターン数c5が増加傾向(つまり、確認用の対話データの出力回数が増加傾向)に変化するように設定される(例えば、c2←(c2+10)、かつ、c5←(c5+30))。
そして、設定された各対話制御状態量b2,b4,c2,c5を行列要素とする列ベクトルf(x),…,f(x)が設定され、これらの列ベクトルf(x),…,f(x)によって構成される行列において、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素が統合されて対話制御状態量P1,…,P10が設定され、これらの対話制御状態量P1,…,P10により応答関数F(P)が設定される。
Here, if it is determined that the response time xb is longer than a predetermined upper limit time TH (for example, 1.3 seconds), for example, as shown in FIG. 6, the response time b2 changes in an increasing tendency, In addition, the information level b4 is set so as to change in a shallower direction (for example, b2 ← (b2 + 20) and b4 ← (b4-10)). Furthermore, if it is determined that the single utterance duration x c is longer than the predetermined duration, for example, as shown in FIG. 6, the response time c 2 tends to increase and the number of turns c 5 tends to increase ( That is, the confirmation dialog data is output so that the number of output times increases (for example, c2 ← (c2 + 10) and c5 ← (c5 + 30)).
Then, column vectors f a (x a ),..., F k (x k ) having matrix elements as the set dialogue control state quantities b2, b4, c2, and c5 are set, and these column vectors f a ( x a), ..., in a matrix constituted by f k (x k), the dialog control state quantities a1~k1, ..., matrix elements are integrated into each a10~k10 interactively control state quantity P1, ..., P10 Is set, and the response function F (P) is set by these dialogue control state quantities P1,..., P10.

そして、設定された応答関数F(P)に応じた対話データ、例えば応答時間P2が長く、かつ、情報レベルP4が浅く、かつ、ターン数P5が多くなるような対話データが対話データ記憶部27から検索され、例えば、
(B4)「目的地は成田空港で宜しいですか?」
が出力装置12から出力される。
Dialog data corresponding to the set response function F (P), for example, dialog data that has a long response time P2, a shallow information level P4, and a large number of turns P5 is stored in the dialog data storage unit 27. For example,
(B4) “Is the destination right at Narita Airport?”
Is output from the output device 12.

上述したように、本実施の形態による音声認識型機器制御装置10によれば、複数の各対話状態量x,…,x毎に対して少なくとも1つ以上の各対話制御状態量a1〜a10,…,k1〜k10を対応させると共に、検出された複数の対話状態量x,…,xに亘って各対話制御状態量a1〜k1,…,a10〜k10を統合して対話制御状態量P1,…,P10を設定することにより、各対話制御状態量P1,…,P10に対して複数の対話状態量x,…,xを容易に反映させることができる。しかも、各対話制御状態量P1,…,P10を設定する際に、新たな対話状態量の追加あるいは既存の対話状態量の削除を行う場合であっても、各対話制御状態量P1,…,P10を設定する処理の処理内容(つまり、複数の対話状態量x,…,xに亘って各対話制御状態量a1〜k1,…,a10〜k10を統合して各対話制御状態量P1,…,P10を設定する処理内容)を大幅に変更する必要が無く、処理内容の汎用性を向上させることができ、適切な機器制御を行うことができる。 As described above, according to the speech recognition type device controller 10 according to this embodiment, the amount each of the plurality of dialog state x a, ..., at least one or more of the dialogue control state quantity a1~ against each x k a10, ..., causes to correspond to K1~k10, detected plurality of dialog state quantity x a, ..., over x k each interactive control state quantity a1~k1, ..., the dialog control by integrating a10~k10 state quantity P1, ..., by setting P10, the dialogue control state quantity P1, ..., a plurality of dialog state quantity x a with respect to P10, ..., can be easily reflected in the x k. In addition, when setting each dialogue control state quantity P1,..., P10, even when adding a new dialogue state quantity or deleting an existing dialogue state quantity, each dialogue control state quantity P1,. processing contents of the processing of setting the P10 (i.e., a plurality of dialog state quantity x a, ..., x k over by the dialogue control state quantity A1~k1, ..., each interactive control state quantity by integrating A10~k10 P1 ,..., P10) is not required to be significantly changed, the versatility of the processing contents can be improved, and appropriate device control can be performed.

なお、上述した実施の形態では、制御状態量記憶部25に格納された各対話制御状態量a1〜a10,…,k1〜k10の制御量の値を、各対話状態量x,…,xの値に応じて増減させるとしたが、これに限定されず、例えば、各対話制御状態量a1〜a10,…,k1〜k10の制御量の値を、予め各対話状態量x,…,xの値を変数とする適宜の関数により記述したり、各対話制御状態量a1〜a10,…,k1〜k10の制御量の値と各対話状態量x,…,xの値との対応関係を示すマップ等を作成し、制御状態量記憶部25に格納してもよい。 In the embodiment described above, the values of the control amounts of the dialogue control state quantities a1 to a10,..., K1 to k10 stored in the control state quantity storage unit 25 are used as the dialogue state quantities x a ,. Although the increased or decreased in accordance with the value of k, without being limited thereto, for example, the dialogue control state quantity a1 to a10, ..., the value of the control amount of K1~k10, advance the dialog state quantity x a, ... , or described by the appropriate function whose variable is the value of x k, the dialogue control state quantity a1 to a10, ..., the control amount value and the dialog state quantity x a of K1~k10, ..., the value of x k A map or the like showing the correspondence relationship between the control state quantity and the control state quantity storage unit 25 may be created.

本発明の実施形態に係る音声認識型機器制御装置の構成図である。It is a block diagram of the speech recognition type | mold apparatus control apparatus which concerns on embodiment of this invention. 各対話状態量x,…,x(例えば、発話音量x)と、各対話制御状態量P1,…,P10(例えば、発話速度P1および応答時間P2および要求情報量P3)との対応関係の一例を示す図である。Correspondence between each dialogue state quantity x a ,..., X k (for example, utterance volume x a ) and each dialogue control state quantity P1,..., P10 (for example, utterance speed P1, response time P2, and requested information quantity P3) It is a figure which shows an example of a relationship. 本発明の実施形態に係る音声認識型機器制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the speech recognition type | mold apparatus control apparatus which concerns on embodiment of this invention. 図3に示す応答関数設定処理を示すフローチャートである。It is a flowchart which shows the response function setting process shown in FIG. 各対話状態量x,…,x(例えば、応答時間xおよび単発話継続時間x)と、各対話制御状態量P1,…,P10(例えば、応答時間P2および情報レベルP4およびターン数P5)との対応関係の一例を示す図である。Each dialogue state quantity x a ,..., X k (for example, response time x b and single utterance duration x c ) and each dialogue control state quantity P1,..., P10 (for example, response time P2 and information level P4 and turn) It is a figure which shows an example of correspondence with number P5). 各対話状態量x,…,x(例えば、応答時間xおよび単発話継続時間x)と、各対話制御状態量P1,…,P10(例えば、応答時間P2および情報レベルP4およびターン数P5)との対応関係の一例を示す図である。Each dialogue state quantity x a ,..., X k (for example, response time x b and single utterance duration x c ) and each dialogue control state quantity P1,..., P10 (for example, response time P2 and information level P4 and turn) It is a figure which shows an example of correspondence with number P5).

符号の説明Explanation of symbols

10 音声認識型機器制御装置
11 音声入力装置(音声入力手段)
14 制御機器(機器)
15 車両状態量センサ(環境状態検出手段)
16 話者状態量センサ(環境状態検出手段)
21 音声認識部(音声認識手段、環境状態検出手段)
24 応答関数設定部(第1制御パラメータ算出手段、第2制御パラメータ設定手段)
28 機器制御部(機器制御手段)

10 voice recognition type device control device 11 voice input device (voice input means)
14 Control equipment (equipment)
15 Vehicle state quantity sensor (environmental state detection means)
16 Speaker state quantity sensor (environmental state detection means)
21 Voice recognition unit (voice recognition means, environmental state detection means)
24 response function setting unit (first control parameter calculating means, second control parameter setting means)
28 Device control unit (device control means)

Claims (2)

音声を入力する音声入力手段と、
前記音声入力手段により入力された音声を認識する音声認識手段と、
複数の環境状態を検出する環境状態検出手段と、
前記複数の環境状態毎に対応して制御対象を設定し、該制御対象毎の第1制御パラメータを前記環境状態検出手段により検出された複数の環境状態毎に応じて算出する第1制御パラメータ算出手段と、
前記第1制御パラメータ算出手段により算出された前記第1制御パラメータを、制御対象毎に統合して得た値を、制御対象毎の第2制御パラメータとして設定する第2制御パラメータ設定手段と、
前記音声認識手段による認識結果および前記第2制御パラメータ設定手段により設定された制御対象毎の第2制御パラメータに基づき機器を制御する機器制御手段と
を備えることを特徴とする音声認識型機器制御装置。
Voice input means for inputting voice;
Voice recognition means for recognizing the voice input by the voice input means;
Environmental condition detection means for detecting a plurality of environmental conditions;
A first control parameter calculation that sets a control object corresponding to each of the plurality of environmental conditions and calculates a first control parameter for each control object according to each of the plurality of environmental conditions detected by the environmental condition detection means. Means,
Second control parameter setting means for setting, as a second control parameter for each control object, a value obtained by integrating the first control parameter calculated by the first control parameter calculation means for each control object;
A voice recognition type device control apparatus comprising: device control means for controlling a device based on a recognition result by the voice recognition means and a second control parameter for each control target set by the second control parameter setting means. .
請求項1に記載の音声認識型機器制御装置を搭載したことを特徴とする車両。

A vehicle comprising the voice recognition type device control device according to claim 1.

JP2005016959A 2005-01-25 2005-01-25 Voice recognition type device control apparatus and vehicle Expired - Fee Related JP4722499B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005016959A JP4722499B2 (en) 2005-01-25 2005-01-25 Voice recognition type device control apparatus and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005016959A JP4722499B2 (en) 2005-01-25 2005-01-25 Voice recognition type device control apparatus and vehicle

Publications (2)

Publication Number Publication Date
JP2006208460A true JP2006208460A (en) 2006-08-10
JP4722499B2 JP4722499B2 (en) 2011-07-13

Family

ID=36965427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005016959A Expired - Fee Related JP4722499B2 (en) 2005-01-25 2005-01-25 Voice recognition type device control apparatus and vehicle

Country Status (1)

Country Link
JP (1) JP4722499B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215433A (en) * 2014-05-09 2015-12-03 株式会社ナビタイムジャパン Information provision system, terminal device, information provision server, information provision method, and program
US10030878B2 (en) 2013-08-21 2018-07-24 Honeywell International Inc. User interaction with building controller device using a remote server and a duplex connection
US10047970B2 (en) 2013-08-21 2018-08-14 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US10088853B2 (en) 2012-05-02 2018-10-02 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US10145579B2 (en) 2013-05-01 2018-12-04 Honeywell International Inc. Devices and methods for interacting with a control system that is connected to a network
WO2019059094A1 (en) * 2017-09-25 2019-03-28 ヤマハ株式会社 Speech processing method and speech processing device
US10514677B2 (en) 2014-04-11 2019-12-24 Honeywell International Inc. Frameworks and methodologies configured to assist configuring devices supported by a building management system
US11770649B2 (en) 2017-12-06 2023-09-26 Ademco, Inc. Systems and methods for automatic speech recognition
US11841156B2 (en) 2018-06-22 2023-12-12 Honeywell International Inc. Building management system with natural language interface
JP7539756B2 (en) 2020-07-05 2024-08-26 修 濱田 System and method for assessing risk of communication language

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219582A (en) * 1994-01-28 1995-08-18 Fujitsu Ten Ltd On-vehicle voice recognition device
JPH10301595A (en) * 1997-04-24 1998-11-13 Nec Robotics Eng Ltd Voice recognition and response device
JP2000075894A (en) * 1998-09-01 2000-03-14 Ntt Data Corp Method and device for voice recognition, voice interactive system and recording medium
JP2000194386A (en) * 1998-12-24 2000-07-14 Omron Corp Voice recognizing and responsing device
JP2003108191A (en) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc Voice interacting device
JP2004126413A (en) * 2002-10-07 2004-04-22 Mitsubishi Electric Corp On-board controller and program which makes computer perform operation explanation method for the same
JP2004333543A (en) * 2003-04-30 2004-11-25 Matsushita Electric Ind Co Ltd System and method for speech interaction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219582A (en) * 1994-01-28 1995-08-18 Fujitsu Ten Ltd On-vehicle voice recognition device
JPH10301595A (en) * 1997-04-24 1998-11-13 Nec Robotics Eng Ltd Voice recognition and response device
JP2000075894A (en) * 1998-09-01 2000-03-14 Ntt Data Corp Method and device for voice recognition, voice interactive system and recording medium
JP2000194386A (en) * 1998-12-24 2000-07-14 Omron Corp Voice recognizing and responsing device
JP2003108191A (en) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc Voice interacting device
JP2004126413A (en) * 2002-10-07 2004-04-22 Mitsubishi Electric Corp On-board controller and program which makes computer perform operation explanation method for the same
JP2004333543A (en) * 2003-04-30 2004-11-25 Matsushita Electric Ind Co Ltd System and method for speech interaction

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088853B2 (en) 2012-05-02 2018-10-02 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US10508824B2 (en) 2013-05-01 2019-12-17 Ademco Inc. Devices and methods for interacting with a control system that is connected to a network
US10145579B2 (en) 2013-05-01 2018-12-04 Honeywell International Inc. Devices and methods for interacting with a control system that is connected to a network
US10670289B2 (en) 2013-08-21 2020-06-02 Ademco Inc. Devices and methods for interacting with an HVAC controller
US10054327B2 (en) 2013-08-21 2018-08-21 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US10030878B2 (en) 2013-08-21 2018-07-24 Honeywell International Inc. User interaction with building controller device using a remote server and a duplex connection
US11543143B2 (en) 2013-08-21 2023-01-03 Ademco Inc. Devices and methods for interacting with an HVAC controller
US10837667B2 (en) 2013-08-21 2020-11-17 Ademco Inc. Devices and methods for interacting with an HVAC controller
US10047970B2 (en) 2013-08-21 2018-08-14 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US10782043B2 (en) 2013-08-21 2020-09-22 Ademco Inc. User interaction with building controller device using a remote server and a duplex connection
US10514677B2 (en) 2014-04-11 2019-12-24 Honeywell International Inc. Frameworks and methodologies configured to assist configuring devices supported by a building management system
JP2015215433A (en) * 2014-05-09 2015-12-03 株式会社ナビタイムジャパン Information provision system, terminal device, information provision server, information provision method, and program
JP2019060941A (en) * 2017-09-25 2019-04-18 ヤマハ株式会社 Voice processing method
WO2019059094A1 (en) * 2017-09-25 2019-03-28 ヤマハ株式会社 Speech processing method and speech processing device
US11770649B2 (en) 2017-12-06 2023-09-26 Ademco, Inc. Systems and methods for automatic speech recognition
US11841156B2 (en) 2018-06-22 2023-12-12 Honeywell International Inc. Building management system with natural language interface
JP7539756B2 (en) 2020-07-05 2024-08-26 修 濱田 System and method for assessing risk of communication language

Also Published As

Publication number Publication date
JP4722499B2 (en) 2011-07-13

Similar Documents

Publication Publication Date Title
JP4722499B2 (en) Voice recognition type device control apparatus and vehicle
CN106796786B (en) Speech recognition system
US9753459B2 (en) Method for operating a motor vehicle
JP4973722B2 (en) Voice recognition apparatus, voice recognition method, and navigation apparatus
US9230538B2 (en) Voice recognition device and navigation device
JP4894300B2 (en) In-vehicle device adjustment device
JP2008058409A (en) Speech recognizing method and speech recognizing device
JP6146865B2 (en) Audio information providing device
JP2016007989A (en) Vehicle control system and vehicle control method
JP7235441B2 (en) Speech recognition device and speech recognition method
JP4141895B2 (en) Vehicle travel control device
JP4400951B2 (en) In-vehicle speech recognition apparatus and in-vehicle speech recognition control method
JP6385624B2 (en) In-vehicle information processing apparatus, in-vehicle apparatus, and in-vehicle information processing method
JP2016215793A (en) Automatic-driving control apparatus
JP2008309966A (en) Voice input processing device and voice input processing method
EP3842327A1 (en) Information delivery device for open vehicle
US20190371325A1 (en) Voice recognition apparatus, voice recognition method, and non-transitory computer-readable storage medium storing program
JP2009098217A (en) Speech recognition device, navigation device with speech recognition device, speech recognition method, speech recognition program and recording medium
WO2006025106A1 (en) Voice recognition system, voice recognizing method and its program
JP4663342B2 (en) Voice recognition type device controller
JP7233918B2 (en) In-vehicle equipment, communication system
JP4114575B2 (en) Vehicle operation control device
JP7172120B2 (en) Speech recognition device and speech recognition method
JP2004233542A (en) Speech recognition equipment
JP7508290B2 (en) Information providing device and information providing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees