JP2017090611A - 音声認識制御システム - Google Patents
音声認識制御システム Download PDFInfo
- Publication number
- JP2017090611A JP2017090611A JP2015219112A JP2015219112A JP2017090611A JP 2017090611 A JP2017090611 A JP 2017090611A JP 2015219112 A JP2015219112 A JP 2015219112A JP 2015219112 A JP2015219112 A JP 2015219112A JP 2017090611 A JP2017090611 A JP 2017090611A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- control
- vehicle
- voice
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007257 malfunction Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】音声認識制御システムに関し、音声コマンドの誤認識や各種制御装置の誤作動を防止して利便性を高める。
【解決手段】音声に基づき、発話者の発話位置及び発話方向を特定する発話状態特定部3を設ける。また、少なくとも発話位置及び発話方向に基づき、制御対象となる車載装置を認識する制御対象認識部4を設ける。さらに、発話位置と発話方向との組み合わせに基づき、制御対象を制御する制御部6を設ける。
【選択図】図2
【解決手段】音声に基づき、発話者の発話位置及び発話方向を特定する発話状態特定部3を設ける。また、少なくとも発話位置及び発話方向に基づき、制御対象となる車載装置を認識する制御対象認識部4を設ける。さらに、発話位置と発話方向との組み合わせに基づき、制御対象を制御する制御部6を設ける。
【選択図】図2
Description
本発明は、車両乗員の音声で車載装置を制御する音声認識制御システムに関する。
従来、音声コマンドを用いて車載装置を制御できるようにした音声認識制御システムが開発されている。すなわち、車両の乗員の音声を入力信号として、各種車載装置(カーナビゲーション装置,エアコン装置,カーオーディオ装置など)の作動状態を制御するものである。一般に、発話された音声は音響モデル(音の波形サンプルと音素との対応関係が規定されたモデル)に基づいて解析され、言語モデル(音素の連なり方が規定されたモデル)に基づいてその意味内容が認識される。このような音声認識技術を利用することで、車載装置をハンズフリーで操作することが可能となる。
一方、車室内には運転手(ドライバー)以外の同乗者が存在することがあるため、発話の主体を区別して認識することが望ましい。そこで、車室内に複数のマイクを設置し、各々のマイクで検出された音声信号の大小や遅れに基づいて、発話者が運転手であるか否かを判断する技術が提案されている。また、音声によるナビゲーション装置の操作入力を運転手のみに許可し、運転手以外はナビゲーション装置を操作できないようにする技術も知られている(特許文献1参照)。このように、発話主体に応じた制御を実施することで、運転手以外の同乗者やカーオーディオ装置の音声による車載装置の誤作動を防止することができる。
しかしながら、単に発話主体を区別して認識しただけでは、同乗者間の会話と音声コマンドとを識別することが難しく、利便性を向上させにくいという課題がある。例えば、運転手が助手席の同乗者に対して「エアコンを作動させるか?」と尋ねたときに、音声認識制御システムがその音声をエアコン装置の作動命令であると誤認識するおそれがある。また、運転手以外の同乗者が存在しない場合であっても、運転手が車外に向けて話しかけたときの音声を誤認識する可能性もある。このように、運転手による発話を認識したとしても、音声コマンドの誤認識や各種制御装置の誤作動が発生しうる。
本件の目的の一つは、上記のような課題に鑑みて創案されたものであり、音声コマンドの誤認識や各種制御装置の誤作動を防止して利便性を高めた音声認識制御システムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。
(1)ここで開示する音声認識制御システムは、車両乗員の音声を入力信号として車載装置を制御する音声認識制御システムである。本システムは、少なくとも前記音声に基づき、発話者の発話位置及び発話方向を特定する発話状態特定部と、少なくとも前記発話位置及び前記発話方向に基づき、制御対象となる前記車載装置を認識する制御対象認識部とを備える。また、前記発話位置と前記発話方向との組み合わせに基づき、前記制御対象を制御する制御部を備える。
前記発話状態特定部は、前記発話位置が運転席であるか否かを特定することが好ましい。また、前記発話状態特定部は、前記発話方向が前記制御対象の方向であるか否かを特定することが好ましい。
(2)車速を検出する車速検出部をさらに備えることが好ましい。この場合、前記制御部が、前記発話位置と前記発話方向と前記車速との組み合わせに基づき、前記制御対象を制御することが好ましい。
(2)車速を検出する車速検出部をさらに備えることが好ましい。この場合、前記制御部が、前記発話位置と前記発話方向と前記車速との組み合わせに基づき、前記制御対象を制御することが好ましい。
(3)前記制御部は、前記車速が高いほど、前記発話方向として特定される範囲を広げることが好ましい。
例えば、車両停止中には、前記発話方向と前記制御対象の方向とが一致しなければ、前記制御対象を制御しないこととする。これに対し、車両走行中には、前記発話方向が前記制御対象の方向から多少ずれていたとしても、前記制御対象を制御することとする。このように、前記制御対象を制御するために許容される前記発話方向と前記制御対象の方向とのずれ量を、前記車速が高いほど大きくすることが好ましい。
例えば、車両停止中には、前記発話方向と前記制御対象の方向とが一致しなければ、前記制御対象を制御しないこととする。これに対し、車両走行中には、前記発話方向が前記制御対象の方向から多少ずれていたとしても、前記制御対象を制御することとする。このように、前記制御対象を制御するために許容される前記発話方向と前記制御対象の方向とのずれ量を、前記車速が高いほど大きくすることが好ましい。
(4)前記制御対象認識部は、運転手が操作可能な第一車載装置と、前記運転手以外の乗員が操作可能な第二車載装置とのうち、前記制御対象がいずれの種類に属するものであるかを認識することが好ましい。この場合、前記制御部は、前記発話位置,前記発話方向,前記車速の組み合わせと前記制御対象の種類とが対応する場合に、前記制御対象を制御することが好ましい。
(5)前記制御部は、前記発話位置が運転席である場合に、前記第一車載装置の制御を実施可能とし、前記第二車載装置の制御を実施不能とすることが好ましい。
(6)前記制御部は、前記発話位置が運転席以外である場合に、前記第二車載装置の制御を実施可能とし、前記第一車載装置の制御を実施不能とすることが好ましい。
(6)前記制御部は、前記発話位置が運転席以外である場合に、前記第二車載装置の制御を実施可能とし、前記第一車載装置の制御を実施不能とすることが好ましい。
(7)前記制御部は、前記発話方向が所定の方向である場合に、前記制御対象を制御することが好ましい。
(8)前記発話状態特定部が、前記音声と車載カメラで撮影された車室内の画像とを併用して、前記発話位置及び前記発話方向を特定することが好ましい。
(8)前記発話状態特定部が、前記音声と車載カメラで撮影された車室内の画像とを併用して、前記発話位置及び前記発話方向を特定することが好ましい。
発話者の発話位置と発話方向とを特定した上で制御対象を制御することで、車載装置に対する作動命令ではない会話による誤認識や制御対象の誤作動を抑制することができる。
図面を参照して、実施形態としての音声認識制御システムについて説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。
[1.装置構成]
本実施形態の音声認識制御システムは、図1に示す車両10に適用される。車両10の車室内には運転席14,助手席15が設けられ、車室前方側にはインパネ(インストルメントパネル,ダッシュボード)が配置される。インパネの車室側に面した部分のうち、運転席14の前方にはステアリング装置や計器類が配置され、助手席15の前方にはグローブボックスが配置される。また、インパネの車幅方向中央には、カーナビ機能やAV機能などのユーザーインターフェースを集約して提供するマルチコミュニケーション型のディスプレイ装置16が搭載される。ディスプレイ装置16の位置は、運転席14に座る運転手の視点では左斜め前方であり、助手席15に座る乗員の視点では右斜め前方である。
本実施形態の音声認識制御システムは、図1に示す車両10に適用される。車両10の車室内には運転席14,助手席15が設けられ、車室前方側にはインパネ(インストルメントパネル,ダッシュボード)が配置される。インパネの車室側に面した部分のうち、運転席14の前方にはステアリング装置や計器類が配置され、助手席15の前方にはグローブボックスが配置される。また、インパネの車幅方向中央には、カーナビ機能やAV機能などのユーザーインターフェースを集約して提供するマルチコミュニケーション型のディスプレイ装置16が搭載される。ディスプレイ装置16の位置は、運転席14に座る運転手の視点では左斜め前方であり、助手席15に座る乗員の視点では右斜め前方である。
ディスプレイ装置16は、タッチパネルを備えた汎用の映像表示装置(表示画面)とCPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを含む電子制御装置(コンピューター)とを備えた電子デバイスである。ディスプレイ装置16は、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13,マルチメディアシステムなどの車載装置に接続されて、各種車載装置の入出力装置として機能しうる。例えば、ナビゲーション装置11から提供される目的地までの経路情報や地図情報,渋滞情報などは、このディスプレイ装置16の表示画面に表示可能とされる。また、このディスプレイ装置16の表示画面には、車載の地上デジタル放送チューナーで受信した番組や、DVD映像コンテンツ,リアビューカメラで撮影された映像,エアコン装置12やカーオーディオ装置13の操作用インターフェースといった、多様な視覚情報が再生,表示可能である。
また、車両10には、乗員の音声を入力信号として各種車載装置を制御する音声認識制御装置1が搭載される。音声認識制御装置1は、CPU,MPU(Micro Processing Unit)などのプロセッサとROM,RAM,不揮発メモリなどを集積した電子デバイス(ECU,電子制御装置)である。ここでいうプロセッサとは、例えば制御ユニット(制御回路)や演算ユニット(演算回路),キャッシュメモリ(レジスタ)などを内蔵する処理装置(プロセッサ)である。また、ROM,RAM及び不揮発メモリは、プログラムや作業中のデータが格納されるメモリ装置である。音声認識制御装置1で実施される制御の内容は、ファームウェアやアプリケーションプログラムとしてROM,RAM,不揮発メモリ,リムーバブルメディア内に記録される。また、プログラムの実行時には、プログラムの内容がRAM内のメモリ空間内に展開され、プロセッサによって実行される。
図2に示すように、音声認識制御装置1の入力装置としては、マイクアレイ21,室内カメラ22,車速センサ23などが挙げられる。マイクアレイ21は、複数のマイクロフォンを所定の配列に並べた音声入力装置であり、室内カメラ22は車室内全体を撮影可能な広角ビデオカメラである。車速センサ23は、車輪の回転速度に応じたパルス信号を出力するセンサである。一方、音声認識制御装置1の出力装置としては、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13,ディスプレイ装置16,ウィンカー17,ワイパー18などが挙げられる。音声認識制御装置1は、マイクアレイ21から入力された音声と室内カメラ22で撮影された画像と車速センサ23で検出されたパルス情報とに基づいて、各種車載装置を制御する。
[2.制御構成]
音声認識制御装置1は、単に乗員の音声だけでなく、その音声を発声した人物の発話方向や車速の状態も考慮して、音声内容を認識するとともに車載装置を制御する機能を持つ。例えば、マイクアレイ21から何らかの音声が入力されると、まずその音声が発せられた位置(発話位置)が特定されるとともに、その音声が発せられた方向(発話方向)が特定される。そして、発話方向が乗員毎に設定された所定の発話範囲内にあれば、発話内容が認識される。このとき、所定の発話範囲は、車速に応じて設定される。また、発話内容の認識結果から、制御対象となる車載装置が認識される。その後、発話位置,発話方向,車速の組み合わせと制御対象の種類とが対応する場合に、その制御対象が実際に制御される。
音声認識制御装置1は、単に乗員の音声だけでなく、その音声を発声した人物の発話方向や車速の状態も考慮して、音声内容を認識するとともに車載装置を制御する機能を持つ。例えば、マイクアレイ21から何らかの音声が入力されると、まずその音声が発せられた位置(発話位置)が特定されるとともに、その音声が発せられた方向(発話方向)が特定される。そして、発話方向が乗員毎に設定された所定の発話範囲内にあれば、発話内容が認識される。このとき、所定の発話範囲は、車速に応じて設定される。また、発話内容の認識結果から、制御対象となる車載装置が認識される。その後、発話位置,発話方向,車速の組み合わせと制御対象の種類とが対応する場合に、その制御対象が実際に制御される。
上記の制御を実施するための要素として、音声認識制御装置1には、車速検出部2,発話状態特定部3,制御対象認識部4,データベース5,制御部6が設けられる。これらは、音声認識制御装置1で実行されるプログラムの一部の機能を示すものであり、ソフトウェアで実現されるものとする。ただし、各機能の一部又は全部をハードウェア(電子制御回路)で実現してもよく、あるいはソフトウェアとハードウェアとを併用して実現してもよい。
車速検出部2は、車速センサ23が出力するパルス信号に基づき、車速を取得(検出,算出)するものである。ここで取得された車速の情報は、発話状態特定部3,制御対象認識部4,制御部6に伝達される。
車速検出部2は、車速センサ23が出力するパルス信号に基づき、車速を取得(検出,算出)するものである。ここで取得された車速の情報は、発話状態特定部3,制御対象認識部4,制御部6に伝達される。
発話状態特定部3は、少なくともマイクアレイ21から入力された音声に基づき、発話者の発話位置及び発話方向を特定するものである。発話位置は、マイクアレイ21で検知された複数の音声信号の大きさや遅れに基づいて特定可能である。あるいは、室内カメラ22で撮影された画像を解析し、画像中に存在する人物の口唇の動きと音声が検出されたタイミングとを比較することでも、発話位置を特定可能である。また、発話方向についても同様であり、マイクアレイ21で検知された複数の音声信号にビームフォーミング処理を施すことで特定可能である。あるいは、室内カメラ22で撮影された画像中における発話者を特定した上で、発話者の顔の向きを検出することでも特定可能である。ここで特定された発話位置及び発話方向の情報は、制御対象認識部4に伝達される。
制御対象認識部4は、発話状態特定部3で特定された発話位置及び発話方向の情報に基づいて、音声内容を認識するものである。ここでは、発話者が所定の発話範囲内に向かって発話している場合に、その発話についての音声認識が実施される。ここでいう所定の発話範囲とは、その発話が音声認識制御システムに対する音声コマンドであると確認できる発話の方向を意味する。本実施形態では、それぞれの乗員からディスプレイ装置16へと向かう方向を含む範囲が、それぞれの乗員の発話範囲として設定される。
例えば、図5(A)に示すように、運転席14に着座する運転手から見て、ディスプレイ装置16の位置が-30度の方向(車両10の前方を基準として左側に+30度の方向)にあるものとする。この場合、運転手の発話範囲は、-30度の方向を含む範囲(例えば-40〜-20度の範囲)に設定される。反対に、助手席15に着座する乗員から見ると、ディスプレイ装置16の位置は右側に+30度の方向となるため、この乗員の発話範囲は、+30度の方向を含む範囲(例えば+20〜+40度の範囲)に設定される。
また、発話範囲は、車速が高いほど拡張されるようになっている。この理由は、車両10の停止中と比較して走行中には、運転手及び乗員が車両前方に視線を向けた状態となりやすいからである。つまり、車両10の停止中と比較して走行中の発話範囲を拡大することで、顔を車両前方に向けたまま音声コマンドを発することが許容されやすくなり、音声入力の利便性が向上する。本実施形態では、運転手の発話範囲が-40〜(-30+A)度の範囲に設定されるとともに、助手席15の乗員の発話範囲が(30-B)〜40度の範囲に設定される。また、図4に示すように、車速が高いほど値A,Bの値が増大する特性を持つように設定される。なお、値Aは値Bよりも常に大きい値に設定される。なぜならば、助手席15の乗員は運転手とは異なり、視線を車両10の前方に向けなくてもよい(すなわち、顔をディスプレイ装置16に向けることを躊躇する必要がない)からである。
制御対象認識部4は、発話方向が発話範囲内にある場合に、発話内容の認識を開始する。このとき、発話内容の文脈が解析され、制御対象となる車載装置の種類が推定されるとともに、制御対象に対する音声コマンドの内容が認識される。音声認識の具体的な手法は任意であり、公知の音声認識技術を採用することができる。例えば、音響モデルに基づいて音声に含まれる音素が解析された後に、言語モデルに基づいて音素の連なりからなる語や句が解析され、その意味内容が認識される。
音声認識が完了すると、制御対象認識部4は、制御対象が第一車載装置であるか、それとも第二車載装置であるかを識別する。第一車載装置とは、運転手が操作可能な車載装置を意味し、例えば運転席14のシートアジャスターやウィンカー17,ワイパー18などが含まれる。また、車両10の停止中に限り、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13などの車載装置も第一車載装置に含まれる。これに対し、第二車載装置とは、運転手以外の乗員が操作可能な車載装置を意味し、例えば助手席15のシートアジャスターがこれに含まれる。また、車両10の走行中には、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13などの車載装置は第二車載装置に含まれる。このように、第一車載装置と第二車載装置との区分は、車両10の走行状態(車速)に応じて変化しうる。ここでの識別結果は、制御部6に伝達される。
データベース5は、音声認識に関する総合的な各種データが記録,保存されたストレージ装置である。ここには、発話位置とその位置における発話範囲との関係が記録,保存されるとともに、車両10の走行状態(車速)と車載装置の種類との関係が記録,保存される。また、データベース5は、発話位置,発話方向,車速の組み合わせと車載装置の種類との対応関係を併せて記録,保存している。データベース5の内容を図3に例示する。この図には、発話位置が運転席14であり、発話方向が-40〜(-30+A)度の範囲内にあって、車両10が走行中である場合には、ウィンカー17やワイパー18の制御が許容されることが示されている。また、ウィンカー17,ワイパー18は、少なくとも発話位置が運転席14でなければ(発話者が運転手でなければ)制御が許容されないことが示されている。
制御部6は、データベース5に記録,保存された関係を用いて制御の可否を判定するものである。ここでは、少なくとも発話位置と発話方向との組み合わせに基づいて、制御対象が制御される。本実施形態では、発話位置,発話方向,車速の組み合わせが、制御対象の種類と対応する場合に、実際に制御対象が制御される。一方、発話位置,発話方向,車速の組み合わせが、制御対象の種類と対応しない場合には、その制御対象が制御されることなく、音声コマンドがキャンセル(取り消し)される。
[3.フローチャート]
図6は、音声認識制御装置1で実施される制御内容を説明するためのフローチャート例である。まず、マイクアレイ21で検出された音声情報,室内カメラ22で撮影された画像情報,車速センサ23からのパルス情報が音声認識制御装置1に入力され(ステップA1)、音声が入力されたか否かが判定される(ステップA2)。ここで、何らかの音声が入力されていると、発話状態特定部3において、少なくともその音声情報に基づき、発話位置と発話方向とが特定される(ステップA3)。また、発話位置が運転席14又は助手席15であれば(ステップA4)、発話方向が所定の発話範囲内にあることを条件として、音声認識が実施される(ステップA5,A6)。一方、発話位置が車両10のドアやインパネ近傍である場合には、カーオーディオ装置13の音声だったものと判断されて、音声認識が不実施とされる(ステップA7)。
図6は、音声認識制御装置1で実施される制御内容を説明するためのフローチャート例である。まず、マイクアレイ21で検出された音声情報,室内カメラ22で撮影された画像情報,車速センサ23からのパルス情報が音声認識制御装置1に入力され(ステップA1)、音声が入力されたか否かが判定される(ステップA2)。ここで、何らかの音声が入力されていると、発話状態特定部3において、少なくともその音声情報に基づき、発話位置と発話方向とが特定される(ステップA3)。また、発話位置が運転席14又は助手席15であれば(ステップA4)、発話方向が所定の発話範囲内にあることを条件として、音声認識が実施される(ステップA5,A6)。一方、発話位置が車両10のドアやインパネ近傍である場合には、カーオーディオ装置13の音声だったものと判断されて、音声認識が不実施とされる(ステップA7)。
音声認識が実施されると、制御対象となる車載装置の種類が推定されるとともに、制御対象に対する音声コマンドの内容が認識される(ステップA8)。その後、発話位置,発話方向,車速の組み合わせが、制御対象の種類と対応するものであるか否かが判定される(ステップA9)。ここで、例えば図3に示すような対応関係がある場合には、その制御対象に対する正当な音声コマンドが入力されたものと判断され、制御部6によって制御対象が実際に制御される(ステップA10)。一方、対応関係がない場合には、その音声コマンドがキャンセルされ、制御が不実施とされる(ステップA11)。
[4.作用]
図5(A)に示すように、車両停止中に運転手がディスプレイ装置16の方向に向かって発声すると、その発声内容が音声認識制御装置1に認識され、制御対象が制御される。また、運転手が助手席15の同乗者と会話している場合には、図5(B)に示すように、発話方向が所定の発話範囲外となることから、音声認識が不実施とされる。これにより、音声コマンドの誤認識や各種制御装置の誤作動が防止される。また、この場合には音声の認識自体が実施されないことから、不必要に音声認識制御装置1が作動するようなことがなくなり、消費電力が削減される。
図5(A)に示すように、車両停止中に運転手がディスプレイ装置16の方向に向かって発声すると、その発声内容が音声認識制御装置1に認識され、制御対象が制御される。また、運転手が助手席15の同乗者と会話している場合には、図5(B)に示すように、発話方向が所定の発話範囲外となることから、音声認識が不実施とされる。これにより、音声コマンドの誤認識や各種制御装置の誤作動が防止される。また、この場合には音声の認識自体が実施されないことから、不必要に音声認識制御装置1が作動するようなことがなくなり、消費電力が削減される。
一方、車両走行中には、車速に応じて値Aが増大し、所定の発話範囲が拡大される。これより、図5(C)に示すように、運転手は車両10の前方を向いた姿勢で音声コマンドを入力することが可能となる。したがって、車両10の運転操作に集中したままの状態で、ウィンカー17やワイパー18を声で操作することができるようになり、各種車載装置の利便性が向上する。
また、図3に示すように、制御対象が実際に制御されるのは、発話位置,発話方向,車速の組み合わせと制御対象の種類とが対応する場合に限られる。これにより、運転手以外の乗員が誤ってウィンカー17を作動させてしまうような事態が回避される。また、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13に対する音声コマンドの入力は、運転手であっても車両停止中に制限されるため、運転手の注意力低下が確実に防止される。
[5.効果]
(1)上記の音声認識制御装置1では、図3に示すように、発話位置と発話方向との組み合わせに基づいて制御対象が実際に制御される。したがって、車載装置に対する作動命令ではない会話による音声コマンドの誤認識や適切でない制御対象の誤作動を抑制することができる。また、発話方向が所定の発話範囲外となる場合には、音声の認識自体が実施されないため、音声認識制御装置1の演算負荷や消費電力を削減することができ、電力の省エネ性能を高めることができる。
(1)上記の音声認識制御装置1では、図3に示すように、発話位置と発話方向との組み合わせに基づいて制御対象が実際に制御される。したがって、車載装置に対する作動命令ではない会話による音声コマンドの誤認識や適切でない制御対象の誤作動を抑制することができる。また、発話方向が所定の発話範囲外となる場合には、音声の認識自体が実施されないため、音声認識制御装置1の演算負荷や消費電力を削減することができ、電力の省エネ性能を高めることができる。
(2)また、上記の音声認識制御装置1では、発話位置及び発話方向だけでなく、車速の情報を併用して制御対象が制御される。このように、車速を考慮することで、車両走行中の操作に制限をかけることができる。例えば、車両走行中は運転手によるナビゲーション装置11の音声入力操作に制限をかける一方、運転手以外によるナビゲーション装置11の音声入力操作を精度良く実施することができる。これにより、車載装置の誤作動を抑制しつつ、利便性を向上させることができる。
(3)特に、上記の音声認識制御装置1では、図4に示すように、車速が高いほど所定の発話範囲が拡大されるようになっている。このような設定により、車両10の前方から目を離すことなく、無理のない姿勢で運転手が音声入力操作を実施することができるようになり、車載装置の誤作動を抑制しながら利便性を高めることができる。
(4)上記の音声認識制御装置1では、制御対象認識部4において、運転手が操作可能な第一車載装置と、運転手以外が操作可能な第二車載装置とが識別される。このように、制御対象とその制御対象を操作可能な乗員の役割との関係をあらかじめ規定しておくことで、適切でない制御対象の誤作動を効果的に防止できる。
(4)上記の音声認識制御装置1では、制御対象認識部4において、運転手が操作可能な第一車載装置と、運転手以外が操作可能な第二車載装置とが識別される。このように、制御対象とその制御対象を操作可能な乗員の役割との関係をあらかじめ規定しておくことで、適切でない制御対象の誤作動を効果的に防止できる。
(5)図3に示すように、運転中の運転手以外による操作が好ましいナビゲーション装置11やエアコン装置12などは、運転手以外の乗員の音声で作動するようにすることで、運転手の運転操作に対する集中力を高めることができ、車両10の快適性能を向上させることができる。また、運転手は走行中にこれらの装置を操作できなくなるため、車両10の安全性能を向上させることができる。
(6)一方、車両10を実際に運転している運転手による操作が好ましいウィンカー17やワイパー18などは、運転手の音声で作動させることができ、運転操作の利便性を向上させることができる。また、運転手以外はこれらの装置を作動させることができないため、誤作動を効果的に防止することができる。
(6)一方、車両10を実際に運転している運転手による操作が好ましいウィンカー17やワイパー18などは、運転手の音声で作動させることができ、運転操作の利便性を向上させることができる。また、運転手以外はこれらの装置を作動させることができないため、誤作動を効果的に防止することができる。
(7)上記の音声認識制御装置1では、ディスプレイ装置16へと向かう方向(所定の方向)を含むように所定の発話範囲が設定されている。これにより、同乗者への会話と音声コマンドとを明確に区別することが可能となり、不必要な音声認識の動作を防止することができる。
(8)また、マイクアレイ21で取得された音声情報だけでなく、室内カメラ22で撮影された画像情報を併用することで、発話位置や発話対象(発話方向)の特定精度を向上させることができる。
(8)また、マイクアレイ21で取得された音声情報だけでなく、室内カメラ22で撮影された画像情報を併用することで、発話位置や発話対象(発話方向)の特定精度を向上させることができる。
[6.変形例]
上述の実施形態では、図3に示すように、一つの発話位置に対して一つの発話方向が規定されたものを例示したが、発話位置と発話方向との対応関係はこれに限定されない。例えば、ワイパー18に対する音声コマンドの発話方向は、ワイパー18が設けられている前方に向かう方向としてもよい。また、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13などについても同様であり、例えばエアコン装置12への発話コマンドは、送風口に向かって発話した場合にのみ有効となるような設定にしてもよい。少なくとも発話位置,発話方向,制御対象の組み合わせに基づいてその制御対象を制御することで、上述の実施形態と同様の効果を奏するものとなる。
上述の実施形態では、図3に示すように、一つの発話位置に対して一つの発話方向が規定されたものを例示したが、発話位置と発話方向との対応関係はこれに限定されない。例えば、ワイパー18に対する音声コマンドの発話方向は、ワイパー18が設けられている前方に向かう方向としてもよい。また、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13などについても同様であり、例えばエアコン装置12への発話コマンドは、送風口に向かって発話した場合にのみ有効となるような設定にしてもよい。少なくとも発話位置,発話方向,制御対象の組み合わせに基づいてその制御対象を制御することで、上述の実施形態と同様の効果を奏するものとなる。
また、上述の実施形態では、音声の認識から制御対象の制御までに至るすべての過程が音声認識制御装置1で統括管理されているが、音声認識制御装置1の機能の一部又は全部を車両10の外部に移設することも考えられる。例えば、音声認識制御装置1をインターネット,携帯電話機の無線通信網,その他のデジタル無線通信網などのネットワークに接続可能とし、ネットワーク上のサーバに音声認識制御装置1の機能の一部又は全部を実装してもよい。これにより、データベース5の管理や更新が容易となり、音声認識精度やジェスチャ認識精度を向上させることができる。
1 音声認識制御装置
2 車速検出部
3 発話状態特定部
4 制御対象認識部
5 データベース
6 制御部
10 車両
11 ナビゲーション装置
12 エアコン装置
13 カーオーディオ装置
14 運転席
15 助手席
16 ディスプレイ装置
17 ウィンカー
18 ワイパー
21 マイクアレイ
22 室内カメラ
23 車速センサ
2 車速検出部
3 発話状態特定部
4 制御対象認識部
5 データベース
6 制御部
10 車両
11 ナビゲーション装置
12 エアコン装置
13 カーオーディオ装置
14 運転席
15 助手席
16 ディスプレイ装置
17 ウィンカー
18 ワイパー
21 マイクアレイ
22 室内カメラ
23 車速センサ
Claims (8)
- 車両乗員の音声を入力信号として車載装置を制御する音声認識制御システムにおいて、
少なくとも前記音声に基づき、発話者の発話位置及び発話方向を特定する発話状態特定部と、
少なくとも前記発話位置及び前記発話方向に基づき、制御対象となる前記車載装置を認識する制御対象認識部と、
前記発話位置と前記発話方向との組み合わせに基づき、前記制御対象を制御する制御部と、
を備えたことを特徴とする、音声認識制御システム。 - 車速を検出する車速検出部をさらに備え、
前記制御部が、前記発話位置と前記発話方向と前記車速との組み合わせに基づき、前記制御対象を制御する
ことを特徴とする、請求項1記載の音声認識制御システム。 - 前記制御部は、前記車速が高いほど、前記発話方向として特定される範囲を広げる
ことを特徴とする、請求項2記載の音声認識制御システム。 - 前記制御対象認識部は、運転手が操作可能な第一車載装置と、前記運転手以外の乗員が操作可能な第二車載装置とのうち、前記制御対象がいずれの種類に属するものであるかを認識し、
前記制御部は、前記発話位置,前記発話方向,前記車速の組み合わせと前記制御対象の種類とが対応する場合に、前記制御対象を制御する
ことを特徴とする、請求項2又は3記載の音声認識制御システム。 - 前記制御部は、前記発話位置が運転席である場合に、前記第一車載装置の制御を実施可能とし、前記第二車載装置の制御を実施不能とする
ことを特徴とする、請求項4記載の音声認識制御システム。 - 前記制御部は、前記発話位置が運転席以外である場合に、前記第二車載装置の制御を実施可能とし、前記第一車載装置の制御を実施不能とする
ことを特徴とする、請求項4又は5記載の音声認識制御システム。 - 前記制御部は、前記発話方向が所定の方向である場合に、前記制御対象を制御する
ことを特徴とする、請求項1〜6の何れか1項に記載の音声認識制御システム。 - 前記発話状態特定部が、前記音声と車載カメラで撮影された車室内の画像とを併用して、前記発話位置及び前記発話方向を特定する
ことを特徴とする、請求項1〜7の何れか1項に記載の音声認識制御システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219112A JP2017090611A (ja) | 2015-11-09 | 2015-11-09 | 音声認識制御システム |
PCT/JP2016/079607 WO2017081960A1 (ja) | 2015-11-09 | 2016-10-05 | 音声認識制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219112A JP2017090611A (ja) | 2015-11-09 | 2015-11-09 | 音声認識制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017090611A true JP2017090611A (ja) | 2017-05-25 |
Family
ID=58695031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015219112A Pending JP2017090611A (ja) | 2015-11-09 | 2015-11-09 | 音声認識制御システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017090611A (ja) |
WO (1) | WO2017081960A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019073255A (ja) * | 2017-10-19 | 2019-05-16 | アイシン精機株式会社 | 運転支援装置 |
KR20190065821A (ko) * | 2017-12-04 | 2019-06-12 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
JP2019137167A (ja) * | 2018-02-08 | 2019-08-22 | 三菱電機株式会社 | 音声出力制御装置、及び音声出力制御プログラム |
WO2019163242A1 (ja) * | 2018-02-20 | 2019-08-29 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
JP2020134426A (ja) * | 2019-02-25 | 2020-08-31 | 本田技研工業株式会社 | 表示装置、および、表示制御方法 |
JP2020527758A (ja) * | 2017-07-25 | 2020-09-10 | グーグル エルエルシー | 発話分類器 |
KR20210005200A (ko) * | 2018-06-01 | 2021-01-13 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
JP2022095768A (ja) * | 2021-08-17 | 2022-06-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | インテリジェントキャビン用の対話方法、装置、機器および媒体 |
WO2022176038A1 (ja) * | 2021-02-17 | 2022-08-25 | 三菱電機株式会社 | 音声認識装置および音声認識方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3466761B1 (en) * | 2017-10-05 | 2020-09-09 | Ningbo Geely Automobile Research & Development Co. Ltd. | A display system and method for a vehicle |
CN112585674A (zh) * | 2018-08-31 | 2021-03-30 | 三菱电机株式会社 | 信息处理装置、信息处理方法和程序 |
JP2020060830A (ja) * | 2018-10-05 | 2020-04-16 | 本田技研工業株式会社 | エージェント装置、エージェント提示方法、およびプログラム |
JP2020080503A (ja) * | 2018-11-14 | 2020-05-28 | 本田技研工業株式会社 | エージェント装置、エージェント提示方法、およびプログラム |
JP2020135110A (ja) * | 2019-02-14 | 2020-08-31 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
WO2022084708A1 (ja) * | 2020-10-22 | 2022-04-28 | 日産自動車株式会社 | 情報処理装置及び情報処理方法 |
JPWO2022084709A1 (ja) * | 2020-10-22 | 2022-04-28 | ||
WO2023062817A1 (ja) * | 2021-10-15 | 2023-04-20 | パイオニア株式会社 | 音声認識装置、制御方法、プログラム及び記憶媒体 |
CN115440208A (zh) * | 2022-04-15 | 2022-12-06 | 北京罗克维尔斯科技有限公司 | 车辆控制方法、装置、设备及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59117610A (ja) * | 1982-12-24 | 1984-07-07 | Nippon Denso Co Ltd | 車載機器制御装置 |
JPH02193198A (ja) * | 1989-01-21 | 1990-07-30 | Ricoh Co Ltd | 自動車用音声制御方式 |
JPH0497400A (ja) * | 1990-08-16 | 1992-03-30 | Fujitsu Ten Ltd | 音声認識装置 |
JP2000347692A (ja) * | 1999-06-07 | 2000-12-15 | Sanyo Electric Co Ltd | 人物検出方法、人物検出装置及びそれを用いた制御システム |
JP2007298592A (ja) * | 2006-04-28 | 2007-11-15 | Fujitsu Ten Ltd | 音声処理装置 |
JP2008309966A (ja) * | 2007-06-13 | 2008-12-25 | Fujitsu Ten Ltd | 音声入力処理装置および音声入力処理方法 |
JP2009025715A (ja) * | 2007-07-23 | 2009-02-05 | Xanavi Informatics Corp | 車載装置および音声認識方法 |
JP2015219441A (ja) * | 2014-05-20 | 2015-12-07 | パナソニックIpマネジメント株式会社 | 操作補助装置および操作補助方法 |
-
2015
- 2015-11-09 JP JP2015219112A patent/JP2017090611A/ja active Pending
-
2016
- 2016-10-05 WO PCT/JP2016/079607 patent/WO2017081960A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59117610A (ja) * | 1982-12-24 | 1984-07-07 | Nippon Denso Co Ltd | 車載機器制御装置 |
JPH02193198A (ja) * | 1989-01-21 | 1990-07-30 | Ricoh Co Ltd | 自動車用音声制御方式 |
JPH0497400A (ja) * | 1990-08-16 | 1992-03-30 | Fujitsu Ten Ltd | 音声認識装置 |
JP2000347692A (ja) * | 1999-06-07 | 2000-12-15 | Sanyo Electric Co Ltd | 人物検出方法、人物検出装置及びそれを用いた制御システム |
JP2007298592A (ja) * | 2006-04-28 | 2007-11-15 | Fujitsu Ten Ltd | 音声処理装置 |
JP2008309966A (ja) * | 2007-06-13 | 2008-12-25 | Fujitsu Ten Ltd | 音声入力処理装置および音声入力処理方法 |
JP2009025715A (ja) * | 2007-07-23 | 2009-02-05 | Xanavi Informatics Corp | 車載装置および音声認識方法 |
JP2015219441A (ja) * | 2014-05-20 | 2015-12-07 | パナソニックIpマネジメント株式会社 | 操作補助装置および操作補助方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020527758A (ja) * | 2017-07-25 | 2020-09-10 | グーグル エルエルシー | 発話分類器 |
JP2020173483A (ja) * | 2017-07-25 | 2020-10-22 | グーグル エルエルシー | 発話分類器 |
JP2019073255A (ja) * | 2017-10-19 | 2019-05-16 | アイシン精機株式会社 | 運転支援装置 |
KR20190065821A (ko) * | 2017-12-04 | 2019-06-12 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
KR102527278B1 (ko) * | 2017-12-04 | 2023-04-28 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
JP7023131B2 (ja) | 2018-02-08 | 2022-02-21 | 三菱電機株式会社 | 音声出力制御装置、及び音声出力制御プログラム |
JP2019137167A (ja) * | 2018-02-08 | 2019-08-22 | 三菱電機株式会社 | 音声出力制御装置、及び音声出力制御プログラム |
WO2019163242A1 (ja) * | 2018-02-20 | 2019-08-29 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US11694675B2 (en) | 2018-02-20 | 2023-07-04 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
KR20210005200A (ko) * | 2018-06-01 | 2021-01-13 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
KR102488285B1 (ko) | 2018-06-01 | 2023-01-13 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
JP7240895B2 (ja) | 2019-02-25 | 2023-03-16 | 本田技研工業株式会社 | 表示装置、および、表示制御方法 |
JP2020134426A (ja) * | 2019-02-25 | 2020-08-31 | 本田技研工業株式会社 | 表示装置、および、表示制御方法 |
WO2022176038A1 (ja) * | 2021-02-17 | 2022-08-25 | 三菱電機株式会社 | 音声認識装置および音声認識方法 |
JP2022095768A (ja) * | 2021-08-17 | 2022-06-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | インテリジェントキャビン用の対話方法、装置、機器および媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2017081960A1 (ja) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017081960A1 (ja) | 音声認識制御システム | |
JP6604151B2 (ja) | 音声認識制御システム | |
US20230178077A1 (en) | Techniques for wake-up work recognition and related systems and methods | |
US11437020B2 (en) | Techniques for spatially selective wake-up word recognition and related systems and methods | |
US20180357040A1 (en) | In-vehicle infotainment with multi-modal interface | |
JP2017090613A (ja) | 音声認識制御システム | |
JP2017090612A (ja) | 音声認識制御システム | |
JP6011584B2 (ja) | 音声認識装置及び音声認識システム | |
JP2017090614A (ja) | 音声認識制御システム | |
US11176948B2 (en) | Agent device, agent presentation method, and storage medium | |
JP6767082B2 (ja) | 車内通話制御装置、車内通話システムおよび車内通話制御方法 | |
CN112397065A (zh) | 语音交互方法、装置、计算机可读存储介质及电子设备 | |
JP6361565B2 (ja) | 車載機器の動作制御装置 | |
JP2010156825A (ja) | 音声出力装置 | |
US11996099B2 (en) | Dialogue system, vehicle, and method of controlling dialogue system | |
CN113157080A (zh) | 用于车辆的指令输入方法、存储介质、系统及车辆 | |
JP2008094228A (ja) | 車両用通話警告装置 | |
CN109243457B (zh) | 基于语音的控制方法、装置、设备及存储介质 | |
JPH11352987A (ja) | 音声認識装置 | |
US20220415318A1 (en) | Voice assistant activation system with context determination based on multimodal data | |
JP2000321080A (ja) | 雑音抑圧装置,音声認識装置及び車両用ナビゲーション装置 | |
JP6332072B2 (ja) | 対話装置 | |
JP7239365B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7407665B2 (ja) | 音声出力制御装置および音声出力制御プログラム | |
US20150039312A1 (en) | Controlling speech dialog using an additional sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200609 |