JP2006208460A - Equipment controller of voice recognition type and vehicle - Google Patents
Equipment controller of voice recognition type and vehicle Download PDFInfo
- Publication number
- JP2006208460A JP2006208460A JP2005016959A JP2005016959A JP2006208460A JP 2006208460 A JP2006208460 A JP 2006208460A JP 2005016959 A JP2005016959 A JP 2005016959A JP 2005016959 A JP2005016959 A JP 2005016959A JP 2006208460 A JP2006208460 A JP 2006208460A
- Authority
- JP
- Japan
- Prior art keywords
- control
- dialogue
- state quantity
- state
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
この発明は、音声認識型機器制御装置および該音声認識型機器制御装置を搭載した車両に関するものである。 The present invention relates to a voice recognition type device control device and a vehicle equipped with the voice recognition type device control device.
従来、例えば作業者の視線や動作等の作業者状態と、作業装置の駆動状態と、作業者周囲の雑音状態とに対する各検出結果に基づき作業者の作業負荷を検知し、検知した作業負荷の大小に応じて音声対話の処理内容や音声認識用の辞書を変更する音声対話装置(例えば、特許文献1参照)が知られている。
ところで、上記従来技術に係る音声対話装置では、単に、作業者の作業負荷の大小に応じて音声対話の処理内容が変更されるだけであるから、音声対話の処理内容に作業者の意志を的確に反映させることができないという問題が生じる。つまり作業負荷の大小と音声対話の処理内容に対する作業者の意志との間には、何等の関連性も認められない場合があり、例えば各種作業負荷が増大した状態であっても、作業者が音声対話に対する作業負荷や優先度を低下させることを望むとは限らず、音声対話の成立度や作業者の理解度等に応じて作業者の意志が多様に変化することになる。このため、作業者状態や作業装置の駆動状態や雑音状態等に対して複数の状態量を検出したとしても、これらの複数の検出結果を作業負荷の大小を検知することに利用するだけでは、多様に変化する作業者の意志を音声対話の制御に的確に反映させることは困難である。
しかも、作業負荷の大小は複数の状態量の検出結果に応じて設定されることから、音声対話の処理内容を制御する際に、作業負荷の大小に応じて単一の制御動作のみ(例えば、応答時間のみの変更や、音量のみの変更や、情報量のみの変更等)を適切に実行することは困難である。
さらに、複数の状態量の検出結果に応じて作業負荷の大小を検知する処理に対し、新たな状態量の検出結果を追加する場合、あるいは、既に利用されている状態量の検出結果を削除する場合には、作業負荷の大小を検知するための処理内容を大幅に変更する必要があり、煩雑な手間がかかるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、音声対話および音声対話に応じた機器制御を適切に実行することが可能な音声認識型機器制御装置および車両を提供することを目的とする。
By the way, in the above-described speech dialogue apparatus according to the prior art, the processing content of the voice dialogue is simply changed according to the workload of the worker, so that the intention of the worker is accurately confirmed in the processing content of the voice dialogue. The problem arises that it cannot be reflected in In other words, there may be no relationship between the magnitude of the workload and the will of the worker with respect to the processing content of the voice conversation. For example, even if the workload is increased, It is not always desired to reduce the workload and priority for voice conversation, and the will of the worker will change variously depending on the degree of establishment of the voice conversation, the understanding level of the worker, and the like. For this reason, even if a plurality of state quantities are detected with respect to the worker state, the driving state of the work device, the noise state, etc., simply using these detection results to detect the magnitude of the workload, It is difficult to accurately reflect the will of workers who change in various ways in the control of spoken dialogue.
In addition, since the magnitude of the workload is set according to the detection results of a plurality of state quantities, when controlling the processing contents of the voice dialogue, only a single control operation is performed according to the magnitude of the workload (for example, It is difficult to appropriately execute only the response time, only the volume, or only the amount of information.
Further, when a new state quantity detection result is added to the process for detecting the magnitude of the work load according to a plurality of state quantity detection results, or the already used state quantity detection result is deleted. In this case, it is necessary to significantly change the processing content for detecting the size of the work load, which causes a problem that it takes troublesome work.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a voice recognition type device control apparatus and a vehicle capable of appropriately executing voice dialogue and device control according to the voice dialogue.
上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の音声認識型機器制御装置は、音声を入力する音声入力手段(例えば、実施の形態での音声入力装置11)と、前記音声入力手段により入力された音声を認識する音声認識手段(例えば、実施の形態での音声認識部21)と、複数の環境状態(例えば、実施の形態での車両の走行状態や運転状態に係る状態量および話者の生理状態や動作状態に係る状態量および音声入力状態)を検出する環境状態検出手段(例えば、実施の形態での車両状態量センサ15、話者状態量センサ16、音声認識部21)と、前記複数の環境状態毎に対応して制御対象を設定し、該制御対象毎の第1制御パラメータ(例えば、実施の形態での対話制御状態量a1〜k1,…,a10〜k10)を前記環境状態検出手段により検出された複数の環境状態毎に応じて算出する第1制御パラメータ算出手段(例えば、実施の形態での応答関数設定部24)と、前記第1制御パラメータ算出手段により算出された前記第1制御パラメータを、制御対象毎に統合して得た値を、制御対象毎の第2制御パラメータ(例えば、実施の形態での対話制御状態量P1,…,P10)として設定する第2制御パラメータ設定手段(例えば、実施の形態での応答関数設定部24が兼ねる)と、前記音声認識手段による認識結果および前記第2制御パラメータ設定手段により設定された制御対象毎の第2制御パラメータに基づき機器(例えば、実施の形態での制御機器14)を制御する機器制御手段(例えば、実施の形態での機器制御部28)とを備えることを特徴としている。
In order to solve the above-described problems and achieve the object, the voice recognition type device control apparatus according to the first aspect of the present invention includes voice input means for inputting voice (for example, the
上記構成の音声認識型機器制御装置によれば、複数の環境状態毎に対して少なくとも1つ以上の制御対象を対応させ、各制御対象の第1制御パラメータを、検出された環境状態毎に算出すると共に、検出された複数の環境状態に亘って各制御対象の第1制御パラメータを制御対象毎に統合して第2制御パラメータを設定することにより、各制御対象に対して複数の環境状態を容易に反映させることができる。しかも、制御対象毎の第2パラメータを設定する際に、新たな環境状態の追加あるいは既存の環境状態の削除を行う場合であっても、第2制御パラメータを設定する処理の処理内容(つまり、第1制御パラメータを制御対象毎に統合して第2制御パラメータを設定する処理内容)を大幅に変更する必要が無く、処理内容の汎用性を向上させることができ、適切な機器制御を行うことができる。 According to the voice recognition type device control device having the above configuration, at least one control object is associated with each of a plurality of environmental states, and the first control parameter of each control object is calculated for each detected environmental state. In addition, by integrating the first control parameter of each control object for each control object and setting the second control parameter over a plurality of detected environmental conditions, a plurality of environmental conditions are set for each control object. It can be easily reflected. Moreover, even when a new environmental state is added or an existing environmental state is deleted when setting the second parameter for each control target, the processing content of the process for setting the second control parameter (that is, It is not necessary to significantly change the processing content of integrating the first control parameters for each control target and setting the second control parameter), the versatility of the processing content can be improved, and appropriate device control is performed. Can do.
また、請求項2に記載の本発明の車両は、請求項1に記載の音声認識型機器制御装置を搭載したことを特徴としている。
上記構成の車両によれば、車両および車両の乗員の環境状態が多様かつ頻繁に変動する場合であっても、各種の車載機器を適切に制御することができる。
According to a second aspect of the present invention, there is provided a vehicle according to the present invention, wherein the voice recognition type apparatus control device according to the first aspect is mounted.
According to the vehicle having the above configuration, various in-vehicle devices can be appropriately controlled even when the environmental conditions of the vehicle and the vehicle occupants vary widely and frequently.
以上説明したように、請求項1に記載の本発明の音声認識型機器制御装置によれば、各制御対象に対して複数の環境状態を容易に反映させることができ、適切な機器制御を行うことができると共に、第2制御パラメータを設定する処理の処理内容の汎用性を向上させることができる。
また、請求項2に記載の本発明の車両によれば、車両および車両の乗員の環境状態が多様かつ頻繁に変動する場合であっても、各種の車載機器を適切に制御することができる。
As described above, according to the voice recognition type device control apparatus of the present invention described in claim 1, a plurality of environmental states can be easily reflected on each control target, and appropriate device control is performed. In addition, the versatility of the processing content of the processing for setting the second control parameter can be improved.
In addition, according to the vehicle of the present invention described in claim 2, it is possible to appropriately control various in-vehicle devices even when the environmental conditions of the vehicle and the passengers of the vehicle fluctuate variously and frequently.
以下、本発明の実施形態に係る音声認識型機器制御装置について添付図面を参照しながら説明する。
本実施の形態による音声認識型機器制御装置10は、例えば図1に示すように、車両に搭載され、音声入力装置11と、出力装置12と、電子制御ユニット(ECU)13と、制御機器14と、車両状態量センサ15と、話者状態量センサ16とを備えて構成され、例えばマイク等を具備する音声入力装置11に操作者から入力される音声入力に応じて、さらに、車両状態量センサ15および話者状態量センサ16から出力される各検出信号に基づき、例えばスピーカやディスプレイ等の出力装置12から適宜の応答を出力すると共に、例えばナビゲーション装置、空調装置、音響装置、放送受像装置、通信装置等の車両に搭載された各種の制御機器14の動作を制御する。
Hereinafter, a voice recognition type device control apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.
A voice recognition type
なお、車両状態量センサ15は、車両の走行状態や運転状態に係る状態量を検出する各種のセンサ(例えば、車速センサやジャイロセンサ等)や各種のスイッチ(例えば、ブレーキスイッチやワイパースイッチ等)等を備えて構成され、各種のセンサから出力される検出信号や各種のスイッチから出力されるオン/オフ信号を車両状態量として電子制御ユニット(ECU)13へ出力する。
ここで、車速センサは車両の速度(車速)を検出し、ジャイロセンサは水平面内での自車両の向きや鉛直方向に対する傾斜角度(例えば、車両の前後方向軸の鉛直方向に対する傾斜角度や車両重心の上下方向軸回りの回転角であるヨー角等)および傾斜角度の変化量(例えば、ヨーレート等)を検出する。
また、ブレーキスイッチは運転者によるブレーキ操作の有無に係るオン/オフ信号を出力し、ワイパースイッチは降雨や降雪等の天候状態に応じたワイパー作動の有無に係るオン/オフ信号を出力する。
The vehicle
Here, the vehicle speed sensor detects the speed of the vehicle (vehicle speed), and the gyro sensor detects the orientation of the host vehicle in the horizontal plane and the inclination angle with respect to the vertical direction (for example, the inclination angle of the vehicle longitudinal axis and the vehicle center of gravity). And the amount of change in the tilt angle (for example, the yaw rate) is detected.
The brake switch outputs an on / off signal related to the presence or absence of a brake operation by the driver, and the wiper switch outputs an on / off signal related to the presence or absence of a wiper operation according to weather conditions such as rain or snow.
また、話者状態量センサ16は、音声入力を行う操作者の生理状態や動作状態に係る状態量(例えば、発汗量や表情や動作等)を検出する各種のセンサ(例えば、皮膚抵抗センサや画像認識装置等)を備えて構成されている。
例えば皮膚抵抗センサは、ステアリングホイールの表面上に設けられた電極対間の抵抗値を検出することで電極対間に接触する運転者の掌表面の抵抗値に応じた運転者の発汗量を検知する。
また、例えば画像認識装置は、車室内のインストルメントパネルやダッシュボード等に設けられて車室内の乗員を可視光領域や赤外線領域にて撮像可能なCCDカメラやCMOSカメラ等のカメラを備え、カメラにより撮影して得た撮像画像に対して、話者の顔や上半身等を検知対象物とした特徴量算出および形状判別等の認識処理を行い、話者の表情や動作を検知する。
In addition, the speaker
For example, the skin resistance sensor detects the amount of sweating by the driver according to the resistance value of the palm surface of the driver contacting between the electrode pair by detecting the resistance value between the electrode pair provided on the surface of the steering wheel. To do.
In addition, for example, the image recognition apparatus includes a camera such as a CCD camera or a CMOS camera that is provided on an instrument panel or dashboard in a vehicle cabin and can capture an occupant in the vehicle cabin in a visible light region or an infrared region. The captured image obtained by the above is subjected to recognition processing such as feature amount calculation and shape discrimination using the speaker's face and upper body as detection objects, and the speaker's facial expression and motion are detected.
そして、電子制御ユニット(ECU)13は、例えば音声認識部21と、解析部22と、対話状態検知部23と、応答関数設定部24と、制御状態量記憶部25と、対話制御部26と、対話データ記憶部27と、機器制御部28とを備えて構成されている。
The electronic control unit (ECU) 13 includes, for example, a
音声認識部21は、音声入力装置11を介して操作者から入力される音声入力に対して、予め記憶している語彙データに基づき音声認識処理を行い、音声入力に対応する文字データである認識言語を生成し、この認識言語を、語彙データに対する一致度に応じて設定される音声認識スコアと共に解析部22へ出力する。さらに、音声認識部21は、音声入力状態として、例えば、音声入力の入力タイミングと、音声入力に対する発話音量の時間変化と、単一の発話の継続時間(単発話継続時間)と、音高および音調と、雑音レベルとを検知し、各検知結果を解析部22へ出力する。
解析部22は、音声認識部21にて生成された認識言語を解析し、認識言語の意味内容を把握すると共に、この解析結果を対話状態検知部23へ出力する。例えば、解析部22は、制御機器14の制御動作に係る動作情報を認識言語から抽出し、対話状態検知部23へ出力する。
The
The
対話状態検知部23は、解析部22での解析結果、例えば認識言語から抽出された制御機器14の制御動作に係る動作情報と、解析部22を介して音声認識部21から入力される音声入力状態の各検知結果と、車両状態量センサ15および話者状態量センサ16から出力される各検出信号とに基づき、操作者と音声認識型機器制御装置10との間の対話状態に係る対話状態量を検知し、検知結果を応答関数設定部24へ出力する。
例えば下記表1に示すように、対話状態検知部23は、複数(例えば、11個)の対話状態量として、操作者の音声入力に対する発話音量の変動量xa(以下、単に、発話音量xaと呼ぶ)と、応答時間xbと、単発話継続時間xcと、音高または音調の変動量xd(以下、単に、音高および音調xdと呼ぶ)と、雑音レベルxeと、音声認識スコアxfと、操作者の動作xgと、操作者の表情xhと、車両の走行状態xiと、操作者の発汗状態xjと、対話成立度xkとを設定している。
The dialogue
For example, as shown in Table 1 below, the conversation
なお、発話音量xaと、単発話継続時間xcと、音高および音調xdと、雑音レベルxeと、音声認識スコアxfとは、例えば音声認識部21により検知され、各検知結果は解析部22を介して対話状態検知部23に入力される。また、対話状態検知部23は、出力装置12から出力される対話データの出力タイミングと、例えば音声認識部21により検知されて解析部22を介して入力される音声入力の入力タイミングとに基づき応答時間xbを検知する。また、対話状態検知部23は、話者状態量センサ16に具備されるカメラの撮像画像に対する認識結果のうち、例えば出力装置12から出力される対話データに対する操作者の理解度に係る動作(例えば、うなづき等)および表情(例えば、困惑や不満等)を抽出し、操作者の動作xgおよび表情xhとして設定する。また、対話状態検知部23は、車両状態量センサ15から出力される各検出信号およびオン/オフ信号に基づき、例えば車両の走行状態に応じた運転操作の難易度や余裕度合等を検知し、車両の走行状態xiとして設定する。また、操作者の発汗状態xjは、話者状態量センサ16に具備される皮膚抵抗センサにより検知され、対話状態検知部23に入力される。また、対話状態検知部23は、出力装置12から出力される対話データに対する音声入力の解析結果、つまり音声入力の意味内容等に基づき対話成立度xkを検知する。
Note that the utterance volume x a , the single utterance duration x c , the pitch and tone x d , the noise level x e, and the speech recognition score x f are detected by, for example, the
応答関数設定部24は、対話状態検知部23による検知結果に応じて操作者と音声認識型機器制御装置10との間の対話状態を制御するための応答関数を設定する。
例えば上記表1に示すように、対話状態検知部23により検知される各対話状態量xa,…,xkに対応して、予め、所定の制御量を有する各対話制御状態量a1〜k1,…,a10〜k10が設定され、制御状態量記憶部25に格納されている。
応答関数設定部24は、先ず、検知された各対話状態量xa,…,xkの値に応じて、制御状態量記憶部25から検索して得た各対話制御状態量a1〜k1,…,a10〜k10の制御量の値を変更する。
The response
For example, as shown in Table 1 above, each dialogue control state amount a1 to k1 having a predetermined control amount in advance corresponding to each dialogue state amount x a ,..., X k detected by the dialogue
The response
例えば発話音量xaに対しては、対話データの出力速度である発話速度a1と、音声入力の入力タイミングから対話データの出力タイミングまでの経過時間である応答時間a2と、対話データに含まれる情報量である要求情報量a3とが対応するように設定され、発話音量xaの値に応じて変化する所定の制御量の値が設定されている。そして、発話音量xaが大きくなることに伴い(つまり、発話音量の変動量が大きくなることに伴い)、操作者の余裕度合が低くなると判断され、操作者が実行する各種動作のうち対話動作の優先度が他の動作(例えば、運転操作等)の優先度に比べて低下するようにして、発話速度a1が低下傾向に変化するように、かつ、応答時間a2が増長傾向に変化するように、かつ、要求情報量a3が減少傾向に変化するように設定される。
また、応答時間xbに対しては、応答時間b2と、対話データに含まれる情報の詳細度である情報レベルb4とが対応するように設定されている。そして、応答時間xbが短くなることに伴い、操作者が迅速な対話を望んでいると判断され、応答時間b2が短縮傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される。
For example, for speech volume x a, the speech rate a1 is the output speed of the interaction data, and response time a2 is the elapsed time for the output timing of the interaction data from the input timing of the audio input, the information contained in the interaction data and the required amount of information a3 is the amount is set so as to correspond, the value of a predetermined control amount which varies according to the value of the speech volume x a is set. Along with the fact that speech volume x a is large (ie, due to the variation amount of speech volume increases), it is determined that allowance degree of the operator decreases, interaction among the various operations by the operator to perform So that the speech speed a1 changes to a decreasing tendency and the response time a2 changes to an increasing tendency. In addition, the request information amount a3 is set to change in a decreasing trend.
Further, the response time xb is set so that the response time b2 corresponds to the information level b4 which is the level of detail of the information included in the conversation data. As the response time xb becomes shorter, it is determined that the operator wants a quick dialogue, so that the response time b2 changes in a decreasing tendency and the information level b4 changes in a shallow direction. Set to do.
また、単発話継続時間xcに対しては、応答時間c2と、一連の対話が終了するまでに要する音声入力および発話データの出力の実行回数であるターン数c5とが対応するように設定されている。そして、単発話継続時間xcが長くなることに伴い、音声入力の意味内容の曖昧さが増大すると判断され、応答時間c2が増長傾向に変化するように、かつ、ターン数c5が増加傾向(つまり、確認用の対話データの出力回数が増加傾向)に変化するように設定される。
また、音高および音調xdに対しては、応答時間d2と、要求情報量d3とが対応するように設定されている。そして、音高および音調xdが大きくなることに伴い(つまり、音高または音調の変動量が大きくなることに伴い)、操作者の余裕度合が低くなると判断され、応答時間d2が増長傾向に変化するように、かつ、要求情報量d3が減少傾向に変化するように設定される。
Further, for the single talk duration x c, and response time c2, and a number of turns c5 is a number of executions of the output of the speech input and speech data required for the sequence of interactions is ended is set to correspond ing. As the single utterance duration x c becomes longer, it is determined that the ambiguity of the meaning content of the voice input increases, so that the response time c2 tends to increase and the number of turns c5 tends to increase ( That is, it is set so that the number of times of output of dialogue data for confirmation changes (in an increasing tendency).
Further, the response time d2 and the requested information amount d3 are set to correspond to the pitch and the tone xd . As the pitch and tone xd increase (that is, as the pitch or tone variation increases), it is determined that the operator's margin is reduced, and the response time d2 tends to increase. The request information amount d3 is set to change so as to change.
また、雑音レベルxeに対しては、対話データ音量e8が対応するように設定されている。そして、雑音レベルxeが増大することに伴い、対話データ音量e8が増大傾向に変化するように設定される。
また、音声認識スコアxfに対しては、応答時間f2と、情報レベルf4と、対話データ音量f8とが対応するように設定されている。そして、音声認識スコアxfが低下することに伴い、出力装置12から出力される対話データに対する応答の曖昧さが増大すると判断され、応答時間f2が増長傾向に変化するように、かつ、情報レベルf4が浅くなる方向に変化するように、かつ、対話データ音量f8が増大傾向に変化するように設定される。
Further, with respect to the noise level x e, interaction data volume e8 is set to correspond. Then, as the noise level x e increases, the dialogue data volume e8 is set to change in an increasing tendency.
Further, for the speech recognition score x f, and response time f2, the information level f4, and interaction data volume f8 is set to correspond. Along with the fact that the speech recognition score x f decreases, it is determined that ambiguity of responses to interactive data outputted from the
また、操作者の動作xgおよび表情xhに対しては、各要求情報量g3,h3と、各情報レベルg4、h4とが対応するように設定されている。そして、動作xgまたは表情xhにおいて操作者の理解度の低下を示す状態量が増大することに伴い、要求情報量g3,h3が減少傾向に変化するように、かつ、情報レベルg4、h4が浅くなる方向に変化するように設定される。
また、車両の走行状態xiに対しては、ターン数i5と、一連の対話が終了するまでに要する時間である対話継続時間i6と、対話データでの表現の丁寧さi7とが対応するように設定されている。そして、走行状態xiにおいて運転操作の負荷の増大や余裕度合の低下を示す状態量が増大することに伴い、ターン数i5が増加傾向(つまり、確認用の対話データの出力数が増加傾向)に変化するように、かつ、対話継続時間i6が短縮傾向に変化するように、かつ、表現の丁寧さi7が低下傾向(つまり、表現が簡潔となる方向)に変化するように設定される。
Also, for the operation x g and expression x h of the operator, and each request information amount g3, h3, and the information level g4, h4 is set to correspond. Along with the fact that the state amount indicating a reduction in the understanding of the operator in the operation x g or expression x h increases, request information amount g3, so h3 is changed to decrease, and information level g4, h4 Is set to change in the direction of shallowness.
Further, for the vehicle running state x i , the number of turns i 5, the dialogue duration i 6 that is the time required for the series of dialogues to end, and the politeness i 7 of the expression in the dialogue data seem to correspond. Is set to Along with the fact that the state amount indicating a reduction in the increase or allowance degree of the load driving operation in the running state x i is increased, the number of turns i5 is increasing (i.e., the output number increasing interaction data for confirmation) So that the dialogue duration i6 changes to a shortening tendency, and the politeness i7 of the expression changes to a decreasing tendency (that is, the direction in which the expression becomes concise).
また、操作者の発汗状態xjに対しては、ターン数j5と、対話継続時間j6とが対応するように設定されている。そして、発汗状態xjにおいて発汗量が増大することに伴い、ターン数i5が増加傾向(つまり、確認用の対話データの出力数が増加傾向)に変化するように、かつ、対話継続時間i6が短縮傾向に変化するように設定される。
また、対話成立度xkに対しては、要求情報量k3と、情報レベルk4と、警報音の有無k9と、音調k10とが対応するように設定されている。そして、対話成立度xkが低下することに伴い、要求情報量k3が減少傾向に変化するように、かつ、情報レベルk4が浅くなる方向に変化するように、かつ、警報音の有無k9が有りの状態(例えば、対話データの出力以前のタイミングで警報音が出力される状態)に変化するように、かつ、音調k10が、例えば対話データの所定箇所を強調するようにして、強調傾向に変化するように設定される。
Further, for the perspiration state x j of the operator, the number of turns j5, and interactive duration j6 is set to correspond. Along with the fact that the amount of perspiration in perspiration state x j is increased, the number of turns i5 is increasing (i.e., the output number of interaction data for confirmation increase) to vary, and interaction duration i6 It is set to change to a shortening tendency.
Further, with respect to the interaction established degree x k, the required information amount k3, the information level k4, and the presence or absence of audible alarm k9, and a tone k10 are set so as to correspond. Along with the fact that interaction establishment of x k is lowered, as required amount of information k3 is changed to decrease, and, so as to change the direction in which the information level k4 becomes shallower, and the presence or absence of audible alarm k9 is The tone k10 tends to be emphasized so as to change to a certain state (for example, a state in which an alarm sound is output at a timing before the output of the dialog data) and the tone k10 emphasizes a predetermined portion of the dialog data, for example. Set to change.
そして、応答関数設定部24は、例えば下記数式(1)に示すように、各対話状態量xa,…,xk毎に所定の各対話制御状態量a1〜a10,…,k1〜k10を行列要素とする列ベクトルfa(xa),…,fk(xk)を設定し、これらの列ベクトルfa(xa),…,fk(xk)によって構成される行列において、例えば下記表2に示すように、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素を統合して対話制御状態量P1,…,P10を設定し、これらの対話制御状態量P1,…,P10により応答関数F(P)を構成する。
The response
なお、単一の対話状態量に対して複数の異なる検知結果が存在する場合には、各検知結果毎に対応する対話制御状態量が統合、あるいは、各検知結果を統合して得た値に対応する対話制御状態量が設定される。例えば図2に示すように、音声入力装置11を構成する複数の第1マイクおよび第2マイクにより検出された各発話音量xa1,xa2が存在する場合には、発話音量xaに対する列ベクトルfa(xa)として、(fa1(xa1)+fa2(xa2))あるいはfa(xa1+xa2)が設定される。
When there are multiple different detection results for a single dialogue state quantity, the corresponding dialogue control state quantity for each detection result is integrated or the value obtained by integrating the detection results. The corresponding dialog control state quantity is set. For example, as shown in FIG. 2, when there are utterance volumes x a1 and x a2 detected by a plurality of first microphones and second microphones constituting the
対話制御部26は、予め対話データ記憶部27に格納された文字データや音声データ等の複数の対話データから、解析部22において把握された意味内容に応じた適宜の対話データを検索し、出力装置12へ出力する。ここで、対話制御部26は、対話データを検索する際、さらに、検索した対話データを出力装置12から出力させる際に、応答関数設定部24により設定された応答関数F(P)に応じた制御を行う。
そして、機器制御部28は、解析部22での解析結果、例えば認識言語から抽出された制御機器14の制御動作に係る動作情報に応じて制御機器14を制御する。
The
And the
本実施の形態による音声認識型機器制御装置10は上記構成を備えており、次に、この音声認識型機器制御装置10の動作、特に、応答関数F(P)を設定して対話状態を制御する処理について添付図面を参照しながら説明する。
先ず、例えば図3に示すステップS01においては、音声入力装置11を介して操作者から入力された音声入力を取得する。
次に、ステップS02においては、取得した音声入力に対して音声認識処理を実行し、音声入力に対応する文字データである認識言語を生成する。
次に、ステップS03においては、生成された認識言語を解析し、認識言語の意味内容を把握するために必要となる情報、例えば制御機器14の制御動作に係る動作情報を抽出する。
次に、ステップS04においては、複数の対話状態量xa,…,xkの各検知結果を取得する。
次に、ステップS05においては、後述する応答関数設定処理を実行する。
次に、ステップS06においては、設定された応答関数F(P)を参照しつつ、認識言語の解析結果に応じた対話データを検索する。
次に、ステップS07においては、設定された応答関数F(P)を参照しつつ、検索して得た対話データを出力装置12から出力して、一連の処理を終了する。
The voice recognition type
First, for example, in step S01 shown in FIG. 3, a voice input input from the operator via the
Next, in step S02, a speech recognition process is executed on the acquired speech input to generate a recognition language that is character data corresponding to the speech input.
Next, in step S03, the generated recognition language is analyzed, and information necessary for grasping the semantic content of the recognition language, for example, operation information related to the control operation of the
Next, in step S04, each detection result of a plurality of dialogue state quantities x a ,..., X k is acquired.
Next, in step S05, a response function setting process described later is executed.
Next, in step S06, the conversation data corresponding to the analysis result of the recognition language is searched while referring to the set response function F (P).
Next, in step S07, while referring to the set response function F (P), the dialogue data obtained by the search is output from the
以下に、上述したステップS05での応答関数設定処理の一例、特に、対話状態量として応答時間xbが検知された場合について説明する。
先ず、図4に示すステップS11においては、検知した応答時間xbが所定上限時間TH(例えば、1.3秒等)よりも長いか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS13に進む。
一方、この判定結果が「YES」の場合には、ステップS12に進む。
そして、ステップS12においては、出力された対話データに対する操作者の理解度の低下や運転操作の負荷の増大等が生じていると判断し、応答時間b2が増長傾向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=+20等)だけ増大させ、かつ、情報レベルb4が浅くなる方向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−20等)だけ減少させ、一連の処理を終了する。
Hereinafter, an example of the response function setting process in step S05 described above, in particular, a case where the response time xb is detected as the conversation state amount will be described.
First, in step S11 shown in FIG. 4, it is determined whether or not the detected response time xb is longer than a predetermined upper limit time TH (for example, 1.3 seconds).
If this determination is “NO”, the flow proceeds to step
On the other hand, if the determination is “YES”, the flow proceeds to step S12.
In step S12, it is determined that there is a decrease in the operator's understanding of the output dialogue data, an increase in the driving operation load, etc., and the control amount is set so that the response time b2 changes in an increasing tendency. Is increased by a predetermined amount (for example, a predetermined amount = + 20 etc. with respect to −100 ≦ control amount ≦ + 100), and the control amount is changed to a predetermined amount (for example, the information level b4 becomes shallower). A predetermined amount = −20 or the like is reduced with respect to −100 ≦ control amount ≦ + 100), and the series of processes is terminated.
そして、ステップS13においては、検知した応答時間xbが所定下限時間TL(例えば、0.7秒等)よりも短いか否かを判定する。
この判定結果が「NO」の場合、つまり応答時間xbが所定下限時間TL以上かつ所定上限時間TH以下である場合には、ステップS14に進み、このステップS14においては、応答時間b2および情報レベルb4の各制御量が適切であると判断して、各制御量を変更せず、一連の処理を終了する。
一方、この判定結果が「YES」の場合には、ステップS15に進む。
そして、ステップS15においては、操作者が迅速な対話を望んでいると判断し、応答時間b2が短縮傾向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−20等)だけ減少させ、かつ、応答時間b2の短縮に伴い情報レベルb4が浅くなる方向に変化するようにして制御量を所定量(例えば、−100≦制御量≦+100に対して、所定量=−10等)だけ減少させ、一連の処理を終了する。
In step S13, it is determined whether or not the detected response time xb is shorter than a predetermined lower limit time TL (for example, 0.7 seconds).
If the determination result is “NO”, that is, if the response time xb is not less than the predetermined lower limit time TL and not more than the predetermined upper limit time TH, the process proceeds to step S14, and in this step S14, the response time b2 and the information level It is determined that each control amount of b4 is appropriate, and each control amount is not changed, and the series of processes is terminated.
On the other hand, if the determination is “YES”, the flow proceeds to step S15.
In step S15, it is determined that the operator desires a quick dialogue, and the control amount is changed to a predetermined amount (for example, −100 ≦ control amount ≦ + 100 so that the response time b2 changes to a shortening tendency). The control amount is reduced by a predetermined amount = −20 or the like, and the control level is changed in a direction in which the information level b4 becomes shallow as the response time b2 is shortened (for example, −100 ≦ control amount ≦ + 100). The predetermined amount = −10 or the like) is decreased, and the series of processes is terminated.
例えば車両始動時に運転者が車両に乗車した後の最初の音声入力が、
(A1)「ルート案内して」
であった場合、この音声入力の意味内容に対応した制御機器14の制御動作の情報として、例えばナビゲーション装置の経路設定に係る制御動作が検索される。
そして、この音声入力に対する応答の対話データが対話データ記憶部27から検索され、例えば、
(A2)「はい、目的地はどちらでしょうか?」
が出力装置12から出力される。
そして、出力装置12から出力された対話データの問い合わせに対する応答として、音声入力が、例えば、
(A3)「成田空港」
であった場合には、この応答に対して各対話状態量xa,…,xkが検知される。
For example, the first voice input after the driver gets into the vehicle at the start of the vehicle
(A1) “Route guidance”
If it is, the control operation related to the route setting of the navigation device, for example, is searched as information on the control operation of the
Then, dialogue data in response to the voice input is retrieved from the dialogue
(A2) “Yes, which is your destination?”
Is output from the
Then, as a response to the inquiry about the dialogue data output from the
(A3) "Narita Airport"
In this case, each dialogue state quantity x a ,..., X k is detected for this response.
ここで、応答時間xbが所定下限時間TL(例えば、0.7秒等)よりも短く、操作者が迅速な対話を望んでいると判定されると、例えば図5に示すように、応答時間b2が短縮傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される(例えば、b2←(b2−20)、かつ、b4←(b4−10))。さらに、単発話継続時間xcが所定継続時間よりも短く、操作者が迅速な対話を望んでいると判定されると、例えば図5に示すように、応答時間c2が短縮傾向に変化するように、かつ、ターン数c5が減少傾向(つまり、確認用の対話データの出力回数が減少傾向)に変化するように設定される(例えば、c2←(c2−20)、かつ、c5←(c5−20))。
そして、設定された各対話制御状態量b2,b4,c2,c5を行列要素とする列ベクトルfa(xa),…,fk(xk)が設定され、これらの列ベクトルfa(xa),…,fk(xk)によって構成される行列において、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素が統合されて対話制御状態量P1,…,P10が設定され、これらの対話制御状態量P1,…,P10により応答関数F(P)が設定される。
Here, when it is determined that the response time xb is shorter than a predetermined lower limit time TL (for example, 0.7 seconds, etc.) and the operator desires a quick dialogue, for example, as shown in FIG. It is set so that the time b2 changes in a shortening tendency and the information level b4 changes in a shallow direction (for example, b2 ← (b2-20) and b4 ← (b4-10)). Further, if it is determined that the single utterance duration xc is shorter than the predetermined duration and the operator desires a quick dialogue, for example, as shown in FIG. And the number of turns c5 is set so as to change to a decreasing tendency (that is, the number of confirmation dialog data output times is decreasing) (for example, c2 ← (c2-20) and c5 ← (c5 -20)).
Then, column vectors f a (x a ),..., F k (x k ) having matrix elements as the set dialogue control state quantities b2, b4, c2, and c5 are set, and these column vectors f a ( x a), ..., in a matrix constituted by f k (x k), the dialog control state quantities a1~k1, ..., matrix elements are integrated into each a10~k10 interactively control state quantity P1, ..., P10 Is set, and the response function F (P) is set by these dialogue control state quantities P1,..., P10.
そして、設定された応答関数F(P)に応じた対話データ、例えば応答時間P2が短く、かつ、情報レベルP4が浅く、かつ、ターン数P5が少なくなるような対話データが対話データ記憶部27から検索され、例えば、
(A4)「成田空港まで、最短ルートでご案内します」
が出力装置12から出力される。
Dialog data corresponding to the set response function F (P), for example, dialog data having a short response time P2, a shallow information level P4, and a small number of turns P5, is stored in the dialog
(A4) "We will guide you to Narita Airport by the shortest route"
Is output from the
また、例えば車両始動時に運転者が車両に乗車した後の最初の音声入力が、
(A1)「ルート案内して」
であった場合、この音声入力の意味内容に対応した制御機器14の制御動作の情報として、例えばナビゲーション装置の経路設定に係る制御動作が検索される。
そして、この音声入力に対する応答の対話データが対話データ記憶部27から検索され、例えば、
(A2)「はい、目的地はどちらでしょうか?」
が出力装置12から出力される。
そして、出力装置12から出力された対話データの問い合わせに対する応答として、音声入力が、例えば、
(B3)「えーっと、成田空港まで生きたい」
であった場合には、この応答に対して各対話状態量xa,…,xkが検知される。
Also, for example, the first voice input after the driver gets on the vehicle at the time of starting the vehicle,
(A1) “Route guidance”
If it is, the control operation related to the route setting of the navigation device, for example, is searched as information on the control operation of the
Then, dialogue data in response to the voice input is retrieved from the dialogue
(A2) “Yes, which is your destination?”
Is output from the
Then, as a response to the inquiry about the dialogue data output from the
(B3) “Well, I want to live to Narita Airport”
In this case, each dialogue state quantity x a ,..., X k is detected for this response.
ここで、応答時間xbが所定上限時間TH(例えば、1.3秒等)よりも長いと判定されると、例えば図6に示すように、応答時間b2が増長傾向に変化するように、かつ、情報レベルb4が浅くなる方向に変化するように設定される(例えば、b2←(b2+20)、かつ、b4←(b4−10))。さらに、単発話継続時間xcが所定継続時間よりも長いと判定されると、例えば図6に示すように、応答時間c2が増長傾向に変化するように、かつ、ターン数c5が増加傾向(つまり、確認用の対話データの出力回数が増加傾向)に変化するように設定される(例えば、c2←(c2+10)、かつ、c5←(c5+30))。
そして、設定された各対話制御状態量b2,b4,c2,c5を行列要素とする列ベクトルfa(xa),…,fk(xk)が設定され、これらの列ベクトルfa(xa),…,fk(xk)によって構成される行列において、各対話制御状態量a1〜k1,…,a10〜k10毎に行列要素が統合されて対話制御状態量P1,…,P10が設定され、これらの対話制御状態量P1,…,P10により応答関数F(P)が設定される。
Here, if it is determined that the response time xb is longer than a predetermined upper limit time TH (for example, 1.3 seconds), for example, as shown in FIG. 6, the response time b2 changes in an increasing tendency, In addition, the information level b4 is set so as to change in a shallower direction (for example, b2 ← (b2 + 20) and b4 ← (b4-10)). Furthermore, if it is determined that the single utterance duration x c is longer than the predetermined duration, for example, as shown in FIG. 6, the response time c 2 tends to increase and the number of turns c 5 tends to increase ( That is, the confirmation dialog data is output so that the number of output times increases (for example, c2 ← (c2 + 10) and c5 ← (c5 + 30)).
Then, column vectors f a (x a ),..., F k (x k ) having matrix elements as the set dialogue control state quantities b2, b4, c2, and c5 are set, and these column vectors f a ( x a), ..., in a matrix constituted by f k (x k), the dialog control state quantities a1~k1, ..., matrix elements are integrated into each a10~k10 interactively control state quantity P1, ..., P10 Is set, and the response function F (P) is set by these dialogue control state quantities P1,..., P10.
そして、設定された応答関数F(P)に応じた対話データ、例えば応答時間P2が長く、かつ、情報レベルP4が浅く、かつ、ターン数P5が多くなるような対話データが対話データ記憶部27から検索され、例えば、
(B4)「目的地は成田空港で宜しいですか?」
が出力装置12から出力される。
Dialog data corresponding to the set response function F (P), for example, dialog data that has a long response time P2, a shallow information level P4, and a large number of turns P5 is stored in the dialog
(B4) “Is the destination right at Narita Airport?”
Is output from the
上述したように、本実施の形態による音声認識型機器制御装置10によれば、複数の各対話状態量xa,…,xk毎に対して少なくとも1つ以上の各対話制御状態量a1〜a10,…,k1〜k10を対応させると共に、検出された複数の対話状態量xa,…,xkに亘って各対話制御状態量a1〜k1,…,a10〜k10を統合して対話制御状態量P1,…,P10を設定することにより、各対話制御状態量P1,…,P10に対して複数の対話状態量xa,…,xkを容易に反映させることができる。しかも、各対話制御状態量P1,…,P10を設定する際に、新たな対話状態量の追加あるいは既存の対話状態量の削除を行う場合であっても、各対話制御状態量P1,…,P10を設定する処理の処理内容(つまり、複数の対話状態量xa,…,xkに亘って各対話制御状態量a1〜k1,…,a10〜k10を統合して各対話制御状態量P1,…,P10を設定する処理内容)を大幅に変更する必要が無く、処理内容の汎用性を向上させることができ、適切な機器制御を行うことができる。
As described above, according to the speech recognition
なお、上述した実施の形態では、制御状態量記憶部25に格納された各対話制御状態量a1〜a10,…,k1〜k10の制御量の値を、各対話状態量xa,…,xkの値に応じて増減させるとしたが、これに限定されず、例えば、各対話制御状態量a1〜a10,…,k1〜k10の制御量の値を、予め各対話状態量xa,…,xkの値を変数とする適宜の関数により記述したり、各対話制御状態量a1〜a10,…,k1〜k10の制御量の値と各対話状態量xa,…,xkの値との対応関係を示すマップ等を作成し、制御状態量記憶部25に格納してもよい。
In the embodiment described above, the values of the control amounts of the dialogue control state quantities a1 to a10,..., K1 to k10 stored in the control state
10 音声認識型機器制御装置
11 音声入力装置(音声入力手段)
14 制御機器(機器)
15 車両状態量センサ(環境状態検出手段)
16 話者状態量センサ(環境状態検出手段)
21 音声認識部(音声認識手段、環境状態検出手段)
24 応答関数設定部(第1制御パラメータ算出手段、第2制御パラメータ設定手段)
28 機器制御部(機器制御手段)
10 voice recognition type
14 Control equipment (equipment)
15 Vehicle state quantity sensor (environmental state detection means)
16 Speaker state quantity sensor (environmental state detection means)
21 Voice recognition unit (voice recognition means, environmental state detection means)
24 response function setting unit (first control parameter calculating means, second control parameter setting means)
28 Device control unit (device control means)
Claims (2)
前記音声入力手段により入力された音声を認識する音声認識手段と、
複数の環境状態を検出する環境状態検出手段と、
前記複数の環境状態毎に対応して制御対象を設定し、該制御対象毎の第1制御パラメータを前記環境状態検出手段により検出された複数の環境状態毎に応じて算出する第1制御パラメータ算出手段と、
前記第1制御パラメータ算出手段により算出された前記第1制御パラメータを、制御対象毎に統合して得た値を、制御対象毎の第2制御パラメータとして設定する第2制御パラメータ設定手段と、
前記音声認識手段による認識結果および前記第2制御パラメータ設定手段により設定された制御対象毎の第2制御パラメータに基づき機器を制御する機器制御手段と
を備えることを特徴とする音声認識型機器制御装置。 Voice input means for inputting voice;
Voice recognition means for recognizing the voice input by the voice input means;
Environmental condition detection means for detecting a plurality of environmental conditions;
A first control parameter calculation that sets a control object corresponding to each of the plurality of environmental conditions and calculates a first control parameter for each control object according to each of the plurality of environmental conditions detected by the environmental condition detection means. Means,
Second control parameter setting means for setting, as a second control parameter for each control object, a value obtained by integrating the first control parameter calculated by the first control parameter calculation means for each control object;
A voice recognition type device control apparatus comprising: device control means for controlling a device based on a recognition result by the voice recognition means and a second control parameter for each control target set by the second control parameter setting means. .
A vehicle comprising the voice recognition type device control device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005016959A JP4722499B2 (en) | 2005-01-25 | 2005-01-25 | Voice recognition type device control apparatus and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005016959A JP4722499B2 (en) | 2005-01-25 | 2005-01-25 | Voice recognition type device control apparatus and vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006208460A true JP2006208460A (en) | 2006-08-10 |
JP4722499B2 JP4722499B2 (en) | 2011-07-13 |
Family
ID=36965427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005016959A Expired - Fee Related JP4722499B2 (en) | 2005-01-25 | 2005-01-25 | Voice recognition type device control apparatus and vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4722499B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215433A (en) * | 2014-05-09 | 2015-12-03 | 株式会社ナビタイムジャパン | Information provision system, terminal device, information provision server, information provision method, and program |
US10030878B2 (en) | 2013-08-21 | 2018-07-24 | Honeywell International Inc. | User interaction with building controller device using a remote server and a duplex connection |
US10047970B2 (en) | 2013-08-21 | 2018-08-14 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10088853B2 (en) | 2012-05-02 | 2018-10-02 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10145579B2 (en) | 2013-05-01 | 2018-12-04 | Honeywell International Inc. | Devices and methods for interacting with a control system that is connected to a network |
WO2019059094A1 (en) * | 2017-09-25 | 2019-03-28 | ヤマハ株式会社 | Speech processing method and speech processing device |
US10514677B2 (en) | 2014-04-11 | 2019-12-24 | Honeywell International Inc. | Frameworks and methodologies configured to assist configuring devices supported by a building management system |
US11770649B2 (en) | 2017-12-06 | 2023-09-26 | Ademco, Inc. | Systems and methods for automatic speech recognition |
US11841156B2 (en) | 2018-06-22 | 2023-12-12 | Honeywell International Inc. | Building management system with natural language interface |
JP7539756B2 (en) | 2020-07-05 | 2024-08-26 | 修 濱田 | System and method for assessing risk of communication language |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07219582A (en) * | 1994-01-28 | 1995-08-18 | Fujitsu Ten Ltd | On-vehicle voice recognition device |
JPH10301595A (en) * | 1997-04-24 | 1998-11-13 | Nec Robotics Eng Ltd | Voice recognition and response device |
JP2000075894A (en) * | 1998-09-01 | 2000-03-14 | Ntt Data Corp | Method and device for voice recognition, voice interactive system and recording medium |
JP2000194386A (en) * | 1998-12-24 | 2000-07-14 | Omron Corp | Voice recognizing and responsing device |
JP2003108191A (en) * | 2001-10-01 | 2003-04-11 | Toyota Central Res & Dev Lab Inc | Voice interacting device |
JP2004126413A (en) * | 2002-10-07 | 2004-04-22 | Mitsubishi Electric Corp | On-board controller and program which makes computer perform operation explanation method for the same |
JP2004333543A (en) * | 2003-04-30 | 2004-11-25 | Matsushita Electric Ind Co Ltd | System and method for speech interaction |
-
2005
- 2005-01-25 JP JP2005016959A patent/JP4722499B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07219582A (en) * | 1994-01-28 | 1995-08-18 | Fujitsu Ten Ltd | On-vehicle voice recognition device |
JPH10301595A (en) * | 1997-04-24 | 1998-11-13 | Nec Robotics Eng Ltd | Voice recognition and response device |
JP2000075894A (en) * | 1998-09-01 | 2000-03-14 | Ntt Data Corp | Method and device for voice recognition, voice interactive system and recording medium |
JP2000194386A (en) * | 1998-12-24 | 2000-07-14 | Omron Corp | Voice recognizing and responsing device |
JP2003108191A (en) * | 2001-10-01 | 2003-04-11 | Toyota Central Res & Dev Lab Inc | Voice interacting device |
JP2004126413A (en) * | 2002-10-07 | 2004-04-22 | Mitsubishi Electric Corp | On-board controller and program which makes computer perform operation explanation method for the same |
JP2004333543A (en) * | 2003-04-30 | 2004-11-25 | Matsushita Electric Ind Co Ltd | System and method for speech interaction |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10088853B2 (en) | 2012-05-02 | 2018-10-02 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10508824B2 (en) | 2013-05-01 | 2019-12-17 | Ademco Inc. | Devices and methods for interacting with a control system that is connected to a network |
US10145579B2 (en) | 2013-05-01 | 2018-12-04 | Honeywell International Inc. | Devices and methods for interacting with a control system that is connected to a network |
US10670289B2 (en) | 2013-08-21 | 2020-06-02 | Ademco Inc. | Devices and methods for interacting with an HVAC controller |
US10054327B2 (en) | 2013-08-21 | 2018-08-21 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10030878B2 (en) | 2013-08-21 | 2018-07-24 | Honeywell International Inc. | User interaction with building controller device using a remote server and a duplex connection |
US11543143B2 (en) | 2013-08-21 | 2023-01-03 | Ademco Inc. | Devices and methods for interacting with an HVAC controller |
US10837667B2 (en) | 2013-08-21 | 2020-11-17 | Ademco Inc. | Devices and methods for interacting with an HVAC controller |
US10047970B2 (en) | 2013-08-21 | 2018-08-14 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10782043B2 (en) | 2013-08-21 | 2020-09-22 | Ademco Inc. | User interaction with building controller device using a remote server and a duplex connection |
US10514677B2 (en) | 2014-04-11 | 2019-12-24 | Honeywell International Inc. | Frameworks and methodologies configured to assist configuring devices supported by a building management system |
JP2015215433A (en) * | 2014-05-09 | 2015-12-03 | 株式会社ナビタイムジャパン | Information provision system, terminal device, information provision server, information provision method, and program |
JP2019060941A (en) * | 2017-09-25 | 2019-04-18 | ヤマハ株式会社 | Voice processing method |
WO2019059094A1 (en) * | 2017-09-25 | 2019-03-28 | ヤマハ株式会社 | Speech processing method and speech processing device |
US11770649B2 (en) | 2017-12-06 | 2023-09-26 | Ademco, Inc. | Systems and methods for automatic speech recognition |
US11841156B2 (en) | 2018-06-22 | 2023-12-12 | Honeywell International Inc. | Building management system with natural language interface |
JP7539756B2 (en) | 2020-07-05 | 2024-08-26 | 修 濱田 | System and method for assessing risk of communication language |
Also Published As
Publication number | Publication date |
---|---|
JP4722499B2 (en) | 2011-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4722499B2 (en) | Voice recognition type device control apparatus and vehicle | |
CN106796786B (en) | Speech recognition system | |
US9753459B2 (en) | Method for operating a motor vehicle | |
JP4973722B2 (en) | Voice recognition apparatus, voice recognition method, and navigation apparatus | |
US9230538B2 (en) | Voice recognition device and navigation device | |
JP4894300B2 (en) | In-vehicle device adjustment device | |
JP2008058409A (en) | Speech recognizing method and speech recognizing device | |
JP6146865B2 (en) | Audio information providing device | |
JP2016007989A (en) | Vehicle control system and vehicle control method | |
JP7235441B2 (en) | Speech recognition device and speech recognition method | |
JP4141895B2 (en) | Vehicle travel control device | |
JP4400951B2 (en) | In-vehicle speech recognition apparatus and in-vehicle speech recognition control method | |
JP6385624B2 (en) | In-vehicle information processing apparatus, in-vehicle apparatus, and in-vehicle information processing method | |
JP2016215793A (en) | Automatic-driving control apparatus | |
JP2008309966A (en) | Voice input processing device and voice input processing method | |
EP3842327A1 (en) | Information delivery device for open vehicle | |
US20190371325A1 (en) | Voice recognition apparatus, voice recognition method, and non-transitory computer-readable storage medium storing program | |
JP2009098217A (en) | Speech recognition device, navigation device with speech recognition device, speech recognition method, speech recognition program and recording medium | |
WO2006025106A1 (en) | Voice recognition system, voice recognizing method and its program | |
JP4663342B2 (en) | Voice recognition type device controller | |
JP7233918B2 (en) | In-vehicle equipment, communication system | |
JP4114575B2 (en) | Vehicle operation control device | |
JP7172120B2 (en) | Speech recognition device and speech recognition method | |
JP2004233542A (en) | Speech recognition equipment | |
JP7508290B2 (en) | Information providing device and information providing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110406 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |