JP2007266754A - 車両用音声入出力装置および音声入出力装置用プログラム - Google Patents

車両用音声入出力装置および音声入出力装置用プログラム Download PDF

Info

Publication number
JP2007266754A
JP2007266754A JP2006086196A JP2006086196A JP2007266754A JP 2007266754 A JP2007266754 A JP 2007266754A JP 2006086196 A JP2006086196 A JP 2006086196A JP 2006086196 A JP2006086196 A JP 2006086196A JP 2007266754 A JP2007266754 A JP 2007266754A
Authority
JP
Japan
Prior art keywords
speaker
vehicle
directivity
control unit
target direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006086196A
Other languages
English (en)
Other versions
JP4779748B2 (ja
Inventor
Toshifumi Kato
利文 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2006086196A priority Critical patent/JP4779748B2/ja
Publication of JP2007266754A publication Critical patent/JP2007266754A/ja
Application granted granted Critical
Publication of JP4779748B2 publication Critical patent/JP4779748B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】発話者の位置に応じてスピーカの指向性を変化させる。
【解決手段】車両に搭載される車両用音声入力装置が、姿勢に応じた方向に指向性を有する指向性スピーカ15と、その指向性スピーカの姿勢を変える駆動部14と、車両の車室内の複数位置に配置された複数のマイク12、13と、制御部10と、を備え、制御部10は、複数のマイク12、13が受けた音声に基づいて、指向性スピーカ15から話者の頭部への目標方向を推定し、さらに、推定した目標方向に指向性スピーカ15の指向性を向けるよう、駆動部14を制御する。
【選択図】図1

Description

本発明は、車両用音声入出力装置および音声入出力装置用プログラムに関する。
従来、車両用ナビゲーション装置、車両用ハンズフリー装置等、音声入出力機能を備えた装置が車両に多く搭載されている。このような車両用音声入出力装置のための技術として、複数の乗員のうち特定の乗員だけが聞こえるように音声を出力する技術が提案されている。例えば、特許文献1には、複数のスピーカから互いに位相がずれた音声を出力させることで、運転席の乗員の位置でのみ聞こえるような音声出力を実現する技術が開示されている。
また、車両用のものではないが、特許文献2には、複数のスピーカ間の位相のずれを変化させることで、出力した音声が聞こえる位置を変化させる技術が開示されている。
特開2004−1125208号公報 特開平8−221081号公報
また、車室内に複数の乗員がいる場合、それらの乗員のうち発話を行った者のみに聞こえるように音を出力したい場合もある。例えば、特定の乗員がハンズフリー装置を用いて通話しているとき、通話相手の発言を他の乗員に聞かれたくない場合がある。また、ナビゲーション装置に対して音声コマンドを発した特定の乗員だけに、そのコマンドに対する応答音声を聞かせたい場合がある。
本発明は上記点に鑑み、車内の発話者の位置に向けてスピーカの指向性を変化させる技術を提供することを目的とする。
上記目的を達成するための請求項1に記載の発明は、車両に搭載される車両用音声入力装置であって、姿勢に応じた方向に指向性を有する指向性スピーカと 当該指向性スピーカの姿勢を変える駆動部と、当該車両の車室内の複数位置に配置された複数のマイクと、制御部とを備える。そして、当該制御部は、当該複数のマイクが受けた音声に基づいて、当該指向性スピーカから話者の頭部への方向(以下、目標方向という)を推定し、さらに、推定した当該目標方向に当該指向性スピーカの指向性を向けるよう、当該駆動部を制御する。
このようになっているので、指向性スピーカが駆動部によって姿勢を変えられることで、その指向性の方向が、発話者の推定された頭部の方向を向く。したがって、発話者の位置に向けてスピーカの指向性を変化させることができる。
また、請求項2に記載のように、当該複数のマイクは、当該車室内の天井部に取り付けられる第1のマイク群と、当該車室内の天井部以外の部分(以下、別部分という)に取り付けられる第2のマイク群とを備え、当該第1のマイク群のそれぞれは、当該天井部の一列に並ばない3箇所に配置され、当該第2のマイク群のぞれぞれは、当該別部分の一列に並ばない3箇所に配置され、当該制御部は、当該複数のマイクのそれぞれ受けた音声間の時間遅れに基づいて、当該話者の頭部位置を推定し、推定した頭部位置に基づいて、当該目標方向を推定するようになっていてもよい。
このように、天井部とそれ以外の部分とにあるマイク群を用いて頭部位置を推定することで、目標方向を精度よく推定できるようになる。
また、請求項3に記載のように、当該制御部は、当該複数のマイクが受けた音声に基づいて当該目標方向を繰り返し推定し、当該話者本人が発話したか否かを判定し、当該話者本人が発話していると判定したことに基づいて、当該目標方向の変化に当該指向性スピーカの指向性を追従させるよう、当該駆動部を制御するようになっていてもよい。
このように、発話者本人の発話であることを確認してから指向性スピーカの姿勢を変化させることで、当初の発話者以外の乗員が言葉を発したときに、または車内外で音が発生したときに、指向性スピーカが誤ってその方向に指向性を向けてしまうような事態の発生頻度を低減できる。これにより、指向性スピーカによる特定の一人の発話者への追従性の正確度がより高まる。
また、請求項4に記載のように、当該制御部は、当該話者本人が発話したか否かの判定を、推定した当該目標方向に基づいて行うようになっていてもよい。このように、指向性の制御のために推定した目標方向を、本人確認のためにも利用することができる。
また、請求項5に記載のように、当該制御部は、当該話者本人が発話したか否かの判定を、推定した当該目標方向の変化が基準量以下であるか否かに基づいて行うようになっていてもよい。この場合、請求項6に記載のように、当該制御部は、当該制御部が推定する当該目標方向に基づいて当該基準量を変化させるようになっていてもよい。このようになっていることで、車室内の位置毎の特性に応じたよりきめ細かい本人確認が可能となる。
また、請求項7に記載のように、当該制御部は、ユーザによる所定の入力操作があったことに基づいて、当該話者本人が発話したか否かに関わらず、当該目標方向の変化に当該指向性スピーカの指向性を追従させるよう、当該駆動部を制御するようになっていてもよい。このようになっていることで、指向性スピーカの指向性を向けるべき対象の乗員を切り替えることが可能となる。
また、請求項8に記載のように、本発明の特徴は、車両に搭載される音声入出力装置のためのプログラムであって、姿勢に応じた方向に指向性を有する指向性スピーカから話者の頭部への方向(以下、目標方向という)を、当該車両の車室内の複数位置に配置された複数のマイクが受けた音声に基づいて推定する手段、および推定された当該目標方向に、当該指向性スピーカの指向性を向けるよう、当該指向性スピーカの姿勢を変えるための駆動部を制御する手段、としてコンピュータを機能させる音声入出力装置用プログラムとしても捉えることができる。
以下、本発明の一実施形態について説明する。図1に、本実施形態に係るハンズフリー装置1(車両用音声入出力装置の一例に相当する)のハードウェア構成を示す。ハンズフリー装置1は、制御部10、インターフェース11、前部マイク群12、天井マイク群13、駆動部14、狭指向性スピーカ15、広指向性スピーカ16、および操作スイッチ群17を有している。
制御部10は、図示しないCPU、RAM、ROM、I/O等を備えている。このCPUは、ROM中の後述する各種プログラムを読み出して実行し、その実行の際には、RAM中の記憶領域を用いると共に、インターフェース11、前部マイク群12、天井マイク群13、駆動部14、狭指向性スピーカ15、広指向性スピーカ16、および操作スイッチ群17のそれぞれと制御信号のやりとりを、I/Oを介して行う。なお、ROMには、プログラム以外にも、車室内の空間の座標における、前部マイク群12の取り付け位置座標、天井マイク群13の取り付け位置座標、および狭指向性スピーカ15の取り付け位置座標の情報が記録されている。以下、CPUがROM中のプログラムを実行する処理を、制御部10が実行する処理として記載する。
インターフェース11は、制御部10と図示しない携帯電話機とを有線または無線により接続する装置である。無線によって接続する場合、インターフェース11は例えばBluetooth(登録商標)用通信機器であってもよい。
前部マイク群12は、複数のマイクユニットを有している。図2に、車室内前部のダッシュボード21における前部マイク群12の配置を示す。この図に示す通り、前部マイク群12の各マイクユニット12a〜cは、ダッシュボード21の中央正面に、一直線でない配置、より詳しくは正三角形の配置で同一面上に並べられている。マイクユニット12a〜cの相互間の距離は、例えば10センチメートルである。
天井マイク群13は、複数のマイクユニットを有している。図3に、車室内の天井22における天井マイク群13の配置を示す。この図に示す通り、天井マイク群13の各マイクユニット13a〜cは、天井22の中央部に、一直線でない配置、より詳しくは正三角形の配置で同一面上に並べられている。マイクユニット13a〜cの相互間の距離は、例えば10センチメートルである。
駆動部14は、天井22の直下に取り付けられ、狭指向性スピーカ15の姿勢を機械的に変化させる装置である。図4に、この駆動部14の構造の一例および駆動部14と狭指向性スピーカ15の機械的接続関係の一例を示す。この図に示す通り、駆動部14は、第1モータ141、回転部142、第2モータ143、および固定部144を有している。第1モータ141は、天井22の中央部に固定され、制御部10からの制御に基づいて、車両の上下方向を軸として回転部142を回転させる。第2モータ143は、回転部142に固定されている。固定部144は、その一端が第2モータ143に接続されている。この第2モータ143は、制御部10からの制御に基づいて、車両の水平方向を軸として固定部144を回転させる。
狭指向性スピーカ15は、固定部1の端部のうち、第2モータ143と反対側の端部に固定された、狭い指向性を有するスピーカである。狭指向性スピーカ15としては、例えば、超音波を搬送波とし、音声を変調波とする音波を狭い方向(例えばπ/500ステラジアン)に出力する超狭指向性スピーカを用いる。この狭指向性スピーカ15は、その本体に対する指向性の向きが固定されている。したがって、狭指向性スピーカ15は、姿勢が変わると、その姿勢の変化に伴って指向性の向きも変化する。
このような駆動部14および狭指向性スピーカ15の構造により、車両の上から下への向きの軸を極軸とする極座標表示で表現すると、第2モータ143が狭指向性スピーカ15の向きの緯度(θ)を変化させ、第1モータ141が狭指向性スピーカ15の向きの経度(φ)を変化させることができる。したがって制御部10は、狭指向性スピーカ15の指向性の向きを、天井22の下側の任意の方向に向けるよう、駆動部14を介して制御することができる。
広指向性スピーカ16は、車内のどの席に座っている乗員にも聞こえるように音声を出力する、指向性のない、あるいは広い指向性を有するスピーカである。
操作部17は、複数のメカニカルスイッチ等のユーザが操作可能な機器から成り、そのユーザの操作に応じた信号を制御部10に出力する。この操作スイッチ群17は、後述する秘話制御に用いられるためのボタンとして、全員ボタンおよび秘話ボタンを有している。
図5に、制御部10がプログラムを実行することで実現する機能の構成を示す。制御部10は、この図に示すようなハンズフリー制御、ビームフォーミング制御、および秘話制御を、電話通話開始を契機に、並列的に実行するようになっている。制御部10は、電話通話の開始を、インターフェース11を介した携帯電話機からの着信通知、またはユーザによる操作スイッチ群17に対する電話呼び出し操作があったことに基づいて検出し、それに基づいて当該携帯電話機と制御信号をやり取りすることで通話回線を開き、上記制御を開始する。
ハンズフリー制御は、インターフェース11に接続された携帯電話機と音声信号をやり取りすることで、乗員が携帯電話機から手を離したまま通話できるようにするための制御である。具体的には、制御部10は、ハンズフリー制御のためのプログラムを実行することで、主に以下の(A)、(B)の処理を実行する。
(A)インターフェース11を介して当該携帯電話機から受け取った通話相手の音声信号を狭指向性スピーカ15および広指向性スピーカ16のいずれか一方または両方に出力する。
(B)また、前部マイク群12および天井マイク群13のいずれかまたは両方から受けた乗員の発話音声の信号を、通話相手宛ての送信用の音声信号として、インターフェース11を介して当該携帯電話機に出力する。
ビームフォーミング制御は、前部マイク群12および天井マイク群13の各マイクユニットのいずれかまたは両方から受けた音声信号のそれぞれに対して異なる遅延処理を施し、それら遅延処理の結果を合成することで、車室内の特定の位置からの音に対してのみ強い感度を有する音声信号を生成するための制御である。制御部10は、各マイクユニットからの信号をどの程度遅延させるかについては、秘話制御中の後述する話者の口の位置算出の結果に基づいて決定する。
秘話制御は、前部マイク群12および天井マイク群13から受けた乗員の発話音声に基づいて通話者の耳位置(または頭部位置)を推定し、その耳位置に狭指向性スピーカ15の指向性を向ける制御である。この秘話制御のために制御部10がROMから読み出して実行する秘話制御用プログラム100のフローチャートを示す。以下、このフローチャートに沿って制御部10の秘話制御の作動を説明する。
この秘話制御用プログラム100は、大別して3つの部分を有している。第1の部分は、ステップ105、110、115から成る通話者特定部、第2の部分はステップ120、125、130、135、140、145から成る通話者追従部、第3の部分はステップ150、155、160から成る全員通話制御部である。
制御部10は、秘話制御用プログラム100の実行において、まずこの通話者特定部のステップ105において、乗員の発話があるまで待ち、発話があると、続いてステップ110を実行する。発話があるか否かは、前部マイク群12、天井マイク群13からの受信音量が所定の基準値を超えたか否かに基づいて判定する。また、車室内外の雑音による誤認識を提言するために、発話があるか否かは、前部マイク群12、天井マイク群13からの受信音声の信号を周波数解析し、人の声が強い周波数帯における強度が基準より高いか否かで判定するようになっていてもよい。
ステップ110では、話者の耳位置を推定する。具体的には、まず話者の口の位置を算出し、その口の位置より基準長さ上方の位置を、話者の耳の位置として算出する。この基準長さは、例えば、人の口の位置の高さから耳の位置の高さまでの平均距離(例えば数センチ)である。話者の口の位置の算出は、以下のようにして行う。
まず、前部マイク群12におけるマイクユニット12a〜cからの受信音声信号間の遅延時間を算出し、その遅延時間に基づいて、前部マイク群12の位置から見た発話者の口の位置の向きを算出する。それぞれの遅延時間は、前部マイク群12a〜cからの信号のうちから2つの信号を抽出するすべての組み合わせについて、その組み合わせの信号同士の相関関数を算出することで実現できる。このような遅延時間の算出および遅延時間に基づく発話者の方向の算出方法は、例えば特開2001−236092号公報に詳述されている。上述した通り、マイクユニット12a〜cは同一直線上に並んでいないので、前部マイク群12の位置から見た発話者の口方向の上下角および左右角を算出することができる。
続いて、天井マイク群13におけるマイクユニット13a〜cからの受信音声信号間の遅延時間を算出し、その遅延時間に基づいて、天井マイク群13の位置から見た発話者の口の位置の向きを、前部マイク群12の場合と同様に算出する。上述した通り、マイクユニット13a〜cは同一直線上に並んでいないので、天井マイク群13の位置から見た発話者の口方向の前後角および左右角を算出することができる。
続いて、このようにして算出した前部マイク群12からの口の方向および天井マイク群13からの口の方向の交差する点を、口の位置として算出する。なお、この算出は、ROM中の前部マイク群12および天井マイク群13の取り付け位置座標を利用して行う。このようにして、車室内の発話者の口の位置が算出される。
なお、このステップ110において算出した発話者の耳位置は、基準耳位置として、RAMに記録する。
続いてステップ115では、ステップ110で算出した発話者の耳の位置に基づいて、狭指向性スピーカ15のスピーカの指向性を向けるべき方向を算出し、その算出した方向に狭指向性スピーカ15の実際の指向性が向くよう、駆動部14を制御する。具体的には、ROM中の狭指向性スピーカ15の取り付け位置座標から、算出した耳の位置座標への方向を、指向性を向けるべき方向とする。そして、駆動部14の第1モータ141および第2モータ143を制御することで、その方向に狭指向性スピーカ15の実際の指向性を向ける。なおこの際、ハンズフリー制御における通話相手の音声の出力先として、狭指向性スピーカ15のみを用いるようにする。
このようにすることで、通話相手からの音声は、ステップ105で検出された発話の主のみに聞こえるようになる。結果として、この発話者は、電話通話を行う者、すなわち通話者として特定されたことになる。
続いて制御部10は、通話者追従部のステップ120で、「車内で発話があり、かつ、通話相手からの音声が狭指向性スピーカ15から出力されていない」という条件が満たされているか否かを判定し、満たされていれば続いてステップ125を実行し、満たされていなければ続いてステップ140を実行する。車内で発話があるか否かは、ステップ105における場合と同様にして判定する。通話相手からの音声が狭指向性スピーカ15から出力されているか否かは、インターフェース11から通話相手の音声信号を受けているか否かに基づいて判定する。
ステップ125では、ステップ120で検出した発話の主の耳位置を、ステップ110と同じ方法で算出する。
続いてステップ130では、ステップ120で検出した発話の主が、通話者特定部で特定した通話者であるか否かを判定する。具体的には、ステップ125で算出した耳位置と、RAM中に基準耳位置として記憶されている位置とを比較する。そして、それら2つの位置間の距離が基準距離より小さい場合は、発話の主が通話者であると判定し、基準距離より大きい場合は、発話の主が通話者でないと判定する。ここで、基準距離は、あらかじめ決められた一定値(例えば20センチ)であってもよいし、一定の範囲内でランダムに決まる値であってもよいし、各種条件に基づいて変動する値であってもよい。
例えば、基準耳位置が、車室内のどの座席に属するものかに基づいて、基準距離を変化させてもよい。例えば、基準耳位置が運転席に属する場合よりも、基準耳位置が助手席に属する場合の方が基準距離が大きくなってもよい。また、基準耳位置が助手席に属する場合よりも、基準耳位置が後部座席に属する場合の方が基準距離が大きくなってもよい。これは、運転席、助手席、後部座席の順に、乗員の動きやすさが増大するという性質を利用した設定である。なお、「耳位置が座席に属する」とは、耳位置が当該座席の上方の位置に存在することをいう。
また、ハンズフリー装置1が、自車両が走行中か否かを検出できる場合、基準距離は、走行中であるときよりも、走行中でないときの方が大きくなっていてもよい。これは、走行中よりも停止中の方が乗員が動きやすいという性質を利用した設定である。自車両が走行中か否かについては、車両に取り付けられた車速センサに基づいて検出してもよいし、車両のシフトレバーがドライビングポジションにあるかパーキングポジションにあるかに基づいて判定してもよい。
なお、この耳位置のずれが基準よりも大きいか否かを判定することは、狭指向性スピーカ15から耳位置への方向のずれが基準よりも大きいが否かを判定することでもある。
このステップ130で発話の主が通話者であると判定した場合、続いてステップ135を実行し、通話者でないと判定した場合、再度ステップ120を実行する。ステップ135では、ステップ125で算出した耳位置に基づいて、ステップ115と同じ方法で、当該耳位置に狭指向性スピーカ15の指向性を向ける制御を行う。ステップ135の後、制御部10は再度ステップ120を実行する。
ステップ140では、通話者をリセットする旨の乗員による操作があったか否かを判定する。具体的には、操作スイッチ群17の秘話ボタンが押されたか否かを判定する。当該操作があった場合、続いて通話者特定部のステップ105を再度実行し、ない場合、続いてステップ145を実行する。
ステップ145では、秘話を解除する旨の乗員による操作があったか否かを判定する。具体的には、操作スイッチ群17の全員ボタンが押されたか否かを判定する。当該操作があった場合、続いて全員通話制御部のステップ150を実行し、ない場合、再度ステップ120を実行する。
ステップ150では、広指向性スピーカ16を、ハンズフリー通話用のスピーカとして使用するよう設定する。これによって、通話相手の音声が広指向性スピーカ16を通じて乗員全員に聞こえるようになる。
続いてステップ155では、秘話を再開する旨の乗員による操作があったか否かを判定する。具体的には、操作スイッチ群17の秘話ボタンが押されたか否かを判定する。当該操作があった場合、続いてステップ160を実行し、ない場合再度ステップ155を実行する。
ステップ160では、広指向性スピーカ16を、ハンズフリー通話用のスピーカとして使用しないよう設定する。これによって、通話相手の音声は、狭指向性スピーカ15のみから出力される状態に戻る。ステップ160の後、再度通話者特定部のステップ105を実行する。
以上のような秘話制御用プログラム100を制御部10が実行することで、ハンズフリー装置1は、ハンズフリー制御の開始後に最初に発話を行った乗員(ステップ110参照)の耳位置を算出し(ステップ110参照)、その耳位置に狭指向性スピーカ15の指向性を向ける(ステップ115参照)ことで、その乗員を通話者として特定する。
その後、通話者のリセット(ステップ140参照)や秘話の解除の乗員操作(ステップ145)がない限り、通話者の発話のみに対応して(ステップ120、125、130参照)、耳位置に狭指向性スピーカ15の指向性を追従させる(ステップ135参照)。このとき、通話相手からの音声が車室内に出力されている場合(ステップ120参照)や、通話者以外が発話した場合(ステップ130参照)は、それらの音に対応して狭指向性スピーカ15の指向性の向きを変化させることがない。
また、通話者をリセットする操作があると(ステップ140参照)、その後最初に発話した(ステップ105参照)乗員を新たな通話者として特定し(ステップ110、115参照)、その後その新たな通話者に狭指向性スピーカ15の指向性を追従させる(ステップ120、125、130、135参照)。
また、秘話解除の操作があると(ステップ145参照)、広指向性スピーカ16をも出力用のスピーカとして用いることで(ステップ160参照)、全乗員に通話相手の音声が聞こえるようにする。このとき、秘話再開の操作があると(ステップ155参照)、広指向性スピーカ16の使用を停止し(ステップ160参照)、その後最初に発話した(ステップ105参照)乗員を新たな通話者として特定し(ステップ110、115参照)、その後その新たな通話者に狭指向性スピーカ15の指向性を追従させる(ステップ120、125、130、135参照)。
このように、狭指向性スピーカ15が制御部10の制御によって姿勢を変えることで、その指向性の方向が、発話者の推定された頭部の方向に追従する。したがって、通話者の変化する耳位置に応じてスピーカの指向性が変化する。
また、電話通話が始まった直後、最初に発話した乗員が通話者として特定され、その通話者に狭指向性スピーカ15の指向性が追従する。したがって、通話毎に入れ替わる通話者に応じてスピーカの指向性が変化する。
このようになっていることで、通話者以外には煩わしい通話相手からの音声が、通話者のみに聞こえるようになるので、通話者以外の乗車環境が向上する。また、通話者以外の乗員には聞かれたくない通話相手からの音声が、通話者にのみ聞こえるようになるので、通話の秘匿性が高まる。
また、特定された通話者の発話であることを確認してから指向性スピーカ15の姿勢を変化させることで、通話者以外の乗員が言葉を発したときに、または車内外で音が発生したときに、指向性スピーカが誤ってその方向に指向性を向けてしまうような事態の発生頻度を低減できる。これにより、指向性スピーカによる特定の一人の発話者への追従性の正確度がより高まる。
また、通話者が発話したか否かの判定を、推定した話者の耳位置の基準耳位置からの変化が基準量以下であるか否かによって行うことで、指向性の制御のために推定された耳位置を、本人確認のためにも利用することができる。なお、基準耳位置は、ステップ110が実行される度に、すなわち、基準耳位置は、秘話の開始、秘話の再開、秘話における通話者のリセットのうちいずれかがある度に更新される。したがって、基準耳位置は、特定された通話者の初期の耳位置となる。また、基準量は、推定された耳位置がどの座席に属しているものかに基づいて基準量を変化させる。したがって、車室内の座席毎の特性に応じたよりきめ細かい通話者確認が可能となる。
また、乗員による通話者リセットの入力操作があったことに基づいて、それまでの通話者が発話したか否かに関わらず、その操作の直後に発話を行った乗員の耳位置の変化に狭指向性スピーカ15の指向性を追従させるので、狭指向性スピーカ15の指向性を向けるべき対象の乗員を通話中に切り替えることが可能となる。
また、天井とダッシュボードという離れた位置にあるマイク群12、13を用いて話者の頭部位置および耳位置を推定することで、これらの位置を精度よく推定できる。
また、耳位置検出のための前部マイク群12、13を、ハンズフリー通話機能のために兼用できる。
また、狭指向性スピーカ15が天井の中央部に取り付けられているので、障害物に邪魔されることがほとんどなく、どの座席の乗員の耳に対しても指向性を向けることができる。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
例えば、前部マイク群12の取り付け位置座標、天井マイク群13の取り付け位置座標、および狭指向性スピーカ15の取り付け位置座標の情報は、ハンズフリー装置1の車両の装着時に、取り付け者によって、書き換え可能な長期記憶メモリ(例えばフラッシュメモリ、バックアップRAM)に記録されるようになっていてもよい。
また、ステップ130の通話者か否かの判定においては、ステップ125で算出した耳位置の属する座席(運転席、助手席、後部右座席、後部中央座席、後部左座席)と、RAM中に基準耳位置として記憶されている位置の属する座席とが同じであるときに、通話者の発話であると判定するようになっていてもよい。
また、ステップ130の通話者か否かの判定においては、ステップ120で検出した音声の周波数解析を行って、周波数特性が通話者のものより基準以上変化した場合に、通話者以外の乗員が発話していると判定してもよい。この場合、通話者の周波数特性を記憶するため、ステップ105で検出した音声、およびステップ130で通話者のものであると特定した音声を、RAMに順次上書き記録するようになっていてもよい。
また、ステップ135では、ステップ125で算出した耳位置を、新たな基準耳位置としてRAMに上書きしてもよい。この場合、基準位置は通話者の発話がある度に更新されることになる。
また、制御部10は、通話者追従部のステップ120では、車内で発話があるか否かだけを判定するようになっていてもよい。これは、狭指向性スピーカ15から通話相手の音声が出力されていても、その音声を前部マイク群12および天井マイク群13が検出する可能性は低いと考えられるからである。
また、乗員が操作スイッチ群17を操作して秘話制御を行う旨を入力した場合にのみ、秘話制御用プログラム100が実行されるようになっていてもよい。
また、前部マイク群12は、天井部以外であれば、前部以外の位置にあってもよい。
なお、天井マイク群13の位置と狭指向性スピーカ15の位置は、ほぼ同じであってもよい。その場合、前部マイク群12は必ずしも必要でない。この場合には、制御部10は、ステップ110および125では、話者の耳位置でなく、前部マイク群12から話者の耳位置への方向を算出すればよい。そして、ステップ115および135では、算出されたこの方向に、狭指向性スピーカ15の指向性を向けるよう制御すればよい。
また、本発明に用いられる複数のマイクの配置は、例えば、同一面内にない4つのマイクから構成されていてもよい。
また、制御部10が各種プログラムを実行して実現する機能のそれぞれは、当該機能を実現する専用のハードウェアによって実現されていてもよい。
また、本発明の音声入出力装置は、ハンズフリー装置に限らず、車両用ナビゲーション装置等、どのような車両用音声入出力装置として実現されていてもよい。
本発明の実施形態に係るハンズフリー装置1の電気的接続構成を示すブロック図である。 前部マイク群12のダッシュボード21上の取り付け位置を示す図である。 天井マイク群13の天井22における取り付け位置を示す図である。 駆動部14および狭指向性スピーカ15の機械的接続構成を示す図である。 制御部10が実現する機能の構成を概念的に示すブロック図である。 制御部10のCPUが実行する秘話制御用プログラム100のフローチャートである。
符号の説明
1…ハンズフリー装置、10…制御部、11…インターフェース、
12…前部マイク群、13…天井マイク群、14…駆動部、15…狭指向性スピーカ、
16…広指向性スピーカ、17…操作スイッチ群、21…ダッシュボード、
22…天井、100…秘話制御用プログラム、141…第1モータ、142…回転部、
143…第2モータ、144…固定部。

Claims (8)

  1. 車両に搭載される車両用音声入力装置であって、
    姿勢に応じた方向に指向性を有する指向性スピーカと
    前記指向性スピーカの姿勢を変える駆動部と、
    前記車両の車室内の複数位置に配置された複数のマイクと、
    制御部と、を備え、
    前記制御部は、前記複数のマイクが受けた音声に基づいて、前記指向性スピーカから話者の頭部への方向(以下、目標方向という)を推定し、さらに、推定した前記目標方向に前記指向性スピーカの指向性を向けるよう、前記駆動部を制御することを特徴とする車両用音声入出力装置。
  2. 前記複数のマイクは、前記車室内の天井部に取り付けられる第1のマイク群と、前記車室内の天井部以外の部分(以下、別部分という)に取り付けられる第2のマイク群とを備え、
    前記第1のマイク群のそれぞれは、前記天井部の一列に並ばない3箇所に配置され、
    前記第2のマイク群のぞれぞれは、前記別部分の一列に並ばない3箇所に配置され、
    前記制御部は、前記複数のマイクのそれぞれ受けた音声間の時間遅れに基づいて、前記話者の頭部位置を推定し、推定した頭部位置に基づいて、前記目標方向を推定することを特徴とする請求項1に記載の車両用音声入出力装置。
  3. 前記制御部は、前記複数のマイクが受けた音声に基づいて前記目標方向を繰り返し推定し、前記話者本人が発話したか否かを判定し、前記話者本人が発話していると判定したことに基づいて、前記目標方向の変化に前記指向性スピーカの指向性を追従させるよう、前記駆動部を制御することを特徴とする請求項1または2に記載の車両用音声入出力装置。
  4. 前記制御部は、前記話者本人が発話したか否かの判定を、推定した前記目標方向に基づいて行うことを特徴とする請求項3に記載の車両用音声入出力装置。
  5. 前記制御部は、前記話者本人が発話したか否かの判定を、推定した前記目標方向の変化が基準量以下であるか否かに基づいて行うことを特徴とする請求項3に記載の車両用音声入出力装置。
  6. 前記制御部は、前記制御部が推定する前記目標方向に基づいて前記基準量を変化させることを特徴とする請求項5に記載の車両用音声入出力装置。
  7. 前記制御部は、ユーザによる所定の入力操作があったことに基づいて、前記話者本人が発話したか否かに関わらず、前記目標方向の変化に前記指向性スピーカの指向性を追従させるよう、前記駆動部を制御することを特徴とする請求項3ないし6のいずれか1つに記載の車両用音声入出力装置。
  8. 車両に搭載される音声入出力装置のためのプログラムであって、
    姿勢に応じた方向に指向性を有する指向性スピーカから話者の頭部への方向(以下、目標方向という)を、前記車両の車室内の複数位置に配置された複数のマイクが受けた音声に基づいて推定する手段、および
    推定された前記目標方向に、前記指向性スピーカの指向性を向けるよう、前記指向性スピーカの姿勢を変えるための駆動部を制御する手段、としてコンピュータを機能させる音声入出力装置用プログラム。
JP2006086196A 2006-03-27 2006-03-27 車両用音声入出力装置および音声入出力装置用プログラム Expired - Fee Related JP4779748B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006086196A JP4779748B2 (ja) 2006-03-27 2006-03-27 車両用音声入出力装置および音声入出力装置用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006086196A JP4779748B2 (ja) 2006-03-27 2006-03-27 車両用音声入出力装置および音声入出力装置用プログラム

Publications (2)

Publication Number Publication Date
JP2007266754A true JP2007266754A (ja) 2007-10-11
JP4779748B2 JP4779748B2 (ja) 2011-09-28

Family

ID=38639347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006086196A Expired - Fee Related JP4779748B2 (ja) 2006-03-27 2006-03-27 車両用音声入出力装置および音声入出力装置用プログラム

Country Status (1)

Country Link
JP (1) JP4779748B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132381A (ko) * 2009-06-09 2010-12-17 엘지전자 주식회사 차량 내비게이션 방법 및 그 장치
WO2012011255A1 (ja) * 2010-07-23 2012-01-26 Necカシオモバイルコミュニケーションズ株式会社 音響機器および発振ユニット
JP2013029476A (ja) * 2011-07-29 2013-02-07 Casio Comput Co Ltd アラーム装置
JP2013546253A (ja) * 2010-10-25 2013-12-26 クゥアルコム・インコーポレイテッド 記録された音信号に基づく頭部追跡のためのシステム、方法、装置、及びコンピュータ可読媒体
CN104144370A (zh) * 2013-05-06 2014-11-12 象水国际股份有限公司 可追踪目标的扬声装置及其声音输出方法
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
WO2018012589A1 (ja) * 2016-07-13 2018-01-18 ヤマハ株式会社 楽器を用いた音響システム、楽器を用いた音響方法、音響機器、及び音響システム
WO2018043115A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP2019075748A (ja) * 2017-10-18 2019-05-16 株式会社デンソーテン 車載装置、車載音響システムおよび音声出力方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10315661B2 (en) 2016-08-30 2019-06-11 Ford Global Technologies, Llc Speed-based window control
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11310596B2 (en) 2018-09-20 2022-04-19 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207117A (ja) * 1992-01-30 1993-08-13 Mazda Motor Corp マイクロホンの指向性制御装置
JPH11113081A (ja) * 1997-09-30 1999-04-23 Fujitsu Ltd スピーカ装置
JP2001359185A (ja) * 2000-06-13 2001-12-26 Matsushita Electric Ind Co Ltd ハンズフリー装置とその音声信号処理方法
JP2004226656A (ja) * 2003-01-22 2004-08-12 Fujitsu Ltd マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
JP2004529807A (ja) * 2001-05-12 2004-09-30 ダイムラークライスラー・アクチェンゲゼルシャフト 複数のシートを有する自動車
JP2005247181A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd 車載ハンズフリー装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207117A (ja) * 1992-01-30 1993-08-13 Mazda Motor Corp マイクロホンの指向性制御装置
JPH11113081A (ja) * 1997-09-30 1999-04-23 Fujitsu Ltd スピーカ装置
JP2001359185A (ja) * 2000-06-13 2001-12-26 Matsushita Electric Ind Co Ltd ハンズフリー装置とその音声信号処理方法
JP2004529807A (ja) * 2001-05-12 2004-09-30 ダイムラークライスラー・アクチェンゲゼルシャフト 複数のシートを有する自動車
JP2004226656A (ja) * 2003-01-22 2004-08-12 Fujitsu Ltd マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
JP2005247181A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd 車載ハンズフリー装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587105B1 (ko) * 2009-06-09 2016-01-20 엘지전자 주식회사 차량 내비게이션 방법 및 그 장치
KR20100132381A (ko) * 2009-06-09 2010-12-17 엘지전자 주식회사 차량 내비게이션 방법 및 그 장치
CN103004236B (zh) * 2010-07-23 2015-09-09 日本电气株式会社 音频设备和振荡单元
WO2012011255A1 (ja) * 2010-07-23 2012-01-26 Necカシオモバイルコミュニケーションズ株式会社 音響機器および発振ユニット
JP6041382B2 (ja) * 2010-07-23 2016-12-07 日本電気株式会社 音響機器および発振ユニット
CN103004236A (zh) * 2010-07-23 2013-03-27 Nec卡西欧移动通信株式会社 音频设备和振荡单元
US9179214B2 (en) 2010-07-23 2015-11-03 Nec Corporation Audio equipment and oscillation unit
US8855341B2 (en) 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
JP2013546253A (ja) * 2010-10-25 2013-12-26 クゥアルコム・インコーポレイテッド 記録された音信号に基づく頭部追跡のためのシステム、方法、装置、及びコンピュータ可読媒体
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
JP2013029476A (ja) * 2011-07-29 2013-02-07 Casio Comput Co Ltd アラーム装置
CN104144370A (zh) * 2013-05-06 2014-11-12 象水国际股份有限公司 可追踪目标的扬声装置及其声音输出方法
WO2018012589A1 (ja) * 2016-07-13 2018-01-18 ヤマハ株式会社 楽器を用いた音響システム、楽器を用いた音響方法、音響機器、及び音響システム
JPWO2018012589A1 (ja) * 2016-07-13 2019-05-23 ヤマハ株式会社 楽器を用いた音響システム、楽器を用いた音響方法、音響機器、及び音響システム
WO2018043115A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JPWO2018043115A1 (ja) * 2016-08-29 2019-06-24 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US10810973B2 (en) 2016-08-29 2020-10-20 Sony Corporation Information processing device and information processing method
JP2019075748A (ja) * 2017-10-18 2019-05-16 株式会社デンソーテン 車載装置、車載音響システムおよび音声出力方法
JP7049803B2 (ja) 2017-10-18 2022-04-07 株式会社デンソーテン 車載装置および音声出力方法

Also Published As

Publication number Publication date
JP4779748B2 (ja) 2011-09-28

Similar Documents

Publication Publication Date Title
JP4779748B2 (ja) 車両用音声入出力装置および音声入出力装置用プログラム
CN105719645B (zh) 语音识别装置、包括其的车辆和控制语音识别装置的方法
US8214219B2 (en) Speech communications system for a vehicle and method of operating a speech communications system for a vehicle
JP4694700B2 (ja) 話者の方向をトラッキングする方法およびシステム
US20190251973A1 (en) Speech providing method, speech providing system and server
CN108141663B (zh) 集音装置以及集音装置的控制方法
KR102033309B1 (ko) 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법
JP6284331B2 (ja) 会話支援装置、会話支援方法及び会話支援プログラム
WO2016103710A1 (ja) 音声処理装置
JP2004109361A (ja) 指向性設定装置、指向性設定方法及び指向性設定プログラム
WO2016103709A1 (ja) 音声処理装置
JP2009124540A (ja) 車両用通話装置、通話方法
WO2016143340A1 (ja) 音声処理装置及び制御装置
JP7049803B2 (ja) 車載装置および音声出力方法
KR101546709B1 (ko) 음성 인식 장치, 그를 가지는 차량 및 그 방법
KR20060131964A (ko) 차량 무선 통신 인터페이스로의 출력들의 프로세싱을제어하는 방법
JP2001255890A (ja) 音声制御するための装置および方法
KR20070026440A (ko) 차량 무선통신 인터페이스로의 입력들의 처리를 제어하는방법들
JP4410378B2 (ja) 音声認識方法および装置
JP5052241B2 (ja) 車載用の音声処理装置、音声処理システム、及び音声処理方法
Nakadai et al. Robot-audition-based human-machine interface for a car
JP4478146B2 (ja) 音声認識システム、音声認識方法およびそのプログラム
JP2005354223A (ja) 音源情報処理装置、音源情報処理方法、音源情報処理プログラム
JP6606921B2 (ja) 発声方向特定装置
JP6978888B2 (ja) 感度調整装置、車載システム、車用ヘッドレスト及び信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees