JP2019103009A - 指向性制御装置と収音システムおよび指向性制御方法、指向性制御プログラム - Google Patents

Abstract

【課題】収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善する指向性制御装置、収音システム、指向性制御方法および指向性制御プログラムを提供する。【解決手段】本開示に係る指向性制御装置は、音声取得部と、画像取得部と、角度検出部と、音声データ生成部と、指向性決定部とを備える。音声取得部は、収音領域におけるユーザの音声を含む音声の信号を取得する。画像取得部は、ユーザの顔を含む撮像画像を取得する。角度検出部は、画像取得部が取得した撮像画像に基づいて、第１方向とユーザの顔の向きを示す第２方向とがなす角度を検出する。音声データ生成部は、音声取得部が取得した音声の信号に指向性を設定した音声データを生成する。指向性決定部は、角度検出部が検出した角度に応じて、指向性の範囲および指向性の方向を決定する。【選択図】図２

Description

本開示は、ユーザの顔の向きに応じて収音装置における収音の指向性を制御する指向性制御装置およびそれを含む収音システムに関する。また本開示は、指向性制御方法、指向性制御プログラムに関する。

従来、撮像装置が撮像した画像から人の顔を認識し、認識した人が発する音声を、指向性を制御する指向性制御装置を備えた収音装置が知られている。

特開２０１１―７１７０２号公報

従来の指向性制御装置は、実用化のために更なる改善が必要である。

更なる改善を実現するため、本開示に係る指向性制御装置は、音声取得部と、画像取得部と、角度検出部と、音声データ生成部と、指向性決定部とを備える。音声取得部は、収音領域におけるユーザの音声の信号を取得する。画像取得部は、ユーザの顔を含む撮像画像を取得する。角度検出部は、画像取得部が取得した撮像画像に基づいて、第１方向とユーザの顔の向きを示す第２方向とがなす角度を検出する。音声データ生成部は、音声取得部が取得した音声の信号に指向性を設定した音声データを生成する。指向性決定部は、角度検出部が検出した角度に応じて、指向性の範囲および指向性の方向を決定する。

また、本開示に係る収音システムは、ユーザの顔を含む画像を撮像する撮像装置と、収音領域におけるユーザの音声を収音する収音装置と、上記指向性制御装置とを備える。指向性制御装置の音声取得部は、収音装置から音声の信号を取得する。指向性制御装置の画像取得部は、撮像装置から画像を取得する。

また、本開示に係る指向性制御方法では、収音領域におけるユーザの音声の信号を取得する。また、ユーザの顔を含む撮像画像を取得する。取得した撮像画像に基づいて、第１方向とユーザの顔の向きを示す第２方向とがなす角度を検出する。取得した音声の信号に指向性を設定した音声データを生成する。このとき、指向性の範囲および指向性の方向は、検出した角度に応じて決定する。

また、本開示に係る指向性制御プログラムでは、以下の処理を指向性制御装置のコンピュータに実行させる。収音領域におけるユーザの音声の信号を取得する処理を実行させる。また、ユーザの顔を含む撮像画像を取得する処理を実行させる。取得した撮像画像に基づいて、第１方向とユーザの顔の向きを示す第２方向とがなす角度を検出する処理を実行させる。このとき、指向性の範囲および指向性の方向は検出した角度に応じて決定する処理を実行させる。

本開示に係る指向性制御装置は、収音装置が収音した音声の信号のＳＮ比を、人の顔の向きに応じて改善することができる。

種々の実施の形態に係る指向性制御装置の指向特性（ポーラパターン）を示す図 第１の実施の形態に係る収音システムの構成を示すブロック図 第１の実施の形態に係る指向性制御装置を搭載した車両を示す図 （ａ）ユーザの顔が収音装置の方向を向いている場合の指向性の範囲と指向性の方向を示す図、（ｂ）ユーザの顔の向きに伴って変化する指向性の範囲と指向性の方向を示す図 第１の実施の形態に係る指向性制御装置の動作を示すフローチャート ユーザの顔の向きの角度とビームの鋭さの関係を示す図 ユーザの顔が窓の方向を向いている場合の指向性の範囲と指向性の方向を示す図 第２の実施の形態に係る指向性制御装置の動作を示すフローチャート ユーザの顔の向きの角度とビームの鋭さおよびビームの向きの関係を示す図 第２の実施の形態に係る指向性制御装置を搭載した車両を示す図 図１０に示すユーザの位置に対する収音装置の位置において、ユーザの顔が窓の方向を向いている場合の指向性の範囲と指向性の方向を示す図 第３の実施の形態に係る指向性制御装置の動作を示すフローチャート ユーザの顔の向きの変動量とビームの鋭さの関係を示す図

（発明に至った知見）
一般的に人の顔は、顔の輪郭、目、鼻、口の相対位置、顔の色彩などに基づいて認識される。例えば、特許文献１は、収音領域に存在する複数の人が収音装置の方へ顔を向けているか否かを画像に基づいて判定し、収音装置の方へ顔を向けていない人からの音声を収音しないよう収音装置の指向性を制御する技術が開示されている。収音装置の方へ顔を向けていない人による音声は、明瞭な収音が困難である。上記の技術によれば収音装置の方へ顔を向けていない人の音声を取得対象から除外することができる。

上記従来技術では、音声の取得対象であるか否かを人の顔の向きで判断しており、顔の向きに応じて精度良く収音するわけではない。

本発明では、収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善する指向性制御装置、収音システム、指向性制御方法および指向性制御プログラムを提供することを目的とする。

収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善するための指向性制御装置の一態様は、収音領域におけるユーザの音声を含む音声の信号を取得する音声取得部と、前記ユーザの顔が写りこんだ撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する角度検出部と、前記音声取得部が取得した前記音声の信号に指向性を設定した音声データを生成する音声データ生成部と、前記角度検出部が検出した前記角度に応じて、前記指向性の範囲および前記指向性の方向を決定する指向性決定部と、を備える。

例えば、ユーザが収音装置以外の方向を向いている場合は、ユーザの音声は収音装置以外の方向へ発せられる。そのため、ユーザが収音装置の方向を向いて音声を発した場合よりも、収音装置が収音する音声の信号に含まれるユーザの音声の信号が少なくなる。指向性制御装置は、ユーザの顔の向きに応じて収音装置の指向性の範囲および指向性の方向を決定することで、収音装置以外の方向へ発せられるユーザの音声を収音装置が積極的に取得できるように収音装置の指向性を制御できる。したがって、収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善できる。

上記態様において、例えば、前記指向性決定部は、前記角度が大きいほど前記指向性の範囲を広げるとしてもよい。

上記態様において、例えば、前記指向性制御装置は車両に搭載され、前記角度検出部は、前記第１方向を前記車両の進行方向とし、前記第２方向が、前記車両の窓のうち前記ユーザに最も近い窓の方向を示す第３方向と、前記第３方向と反対方向を示す第４方向とのいずれの方向により近いかを検出し、前記指向性決定部は、前記角度検出部が検出した前記角度が第１角度であり前記第２方向が前記第３方向により近い場合は、前記角度が前記第１角度であり前記第２方向が前記第４方向により近い場合より前記指向性の範囲を広げるとしてもよい。

上記態様において、例えば、前記音声取得部は、収音装置から前記音声の前記信号を取得し、前記指向性決定部は、前記第２方向が前記第３方向により近い場合に、前記収音装置と前記ユーザとを結ぶ第１線分および前記収音装置と前記最も近い窓とを結ぶ第２線分を含むように前記指向性の範囲を決定し、前記第１線分と前記第２線分とがなす角度と、前記第１線分と前記進行方向の反対方向とがなす角度との和は前記角度検出部が検出した前記角度と等しいとしてもよい。

上記態様において、例えば、前記指向性決定部が決定する前記指向性の方向は、当該指向性の方向と前記第１線分とがなす角度が前記角度検出部の検出した前記角度の半分となる方向であるとしてもよい。

上記態様において、例えば、前記角度検出部は、所定時間内の前記角度の変動量をさらに検出し、前記指向性決定部は、前記変動量が所定の閾値より小さい場合は、前記指向性の範囲を第１の範囲とし、前記変動量が所定の閾値以上である場合は、前記指向性の範囲を前記第１の範囲より広い第２の範囲としてもよい。

収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善するための収音システムの一態様は、ユーザの顔が写りこんだ画像を撮像する撮像装置と、収音領域における前記ユーザの音声を含む音声を収音する収音装置と、指向性制御装置と、を備え、前記指向性制御装置は、前記収音装置から前記音声の信号を取得する音声取得部と、前記撮像装置から前記画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する角度検出部と、前記音声取得部が取得した前記音声の前記信号に指向性を設定した音声データを生成する音声データ生成部と、前記角度検出部が検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する指向性決定部と、を有する。

収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善するための指向性制御方法の一態様は、収音領域におけるユーザの音声を含む音声の信号を取得し、前記ユーザの顔が写りこんだ撮像画像を取得し、取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出し、取得した前記音声の前記信号に指向性を設定した音声データを生成し、検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する。

収音装置が収音した音声の信号のＳ／Ｎ比を、人の顔の向きに応じて改善するための指向性制御プログラムの一態様は、収音領域におけるユーザの音声を含む音声の信号を取得する処理と、前記ユーザの顔が写りこんだ撮像画像を取得する処理と、取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する処理と、取得した前記音声の前記信号に指向性を設定した音声データを生成する処理と、検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する処理と、を指向性制御装置のコンピュータに実行させる。

以下図面を参照して、本開示の実施の形態を詳しく説明する。なお、各実施の形態において同一または略同一の部分には同一の符号を付し詳細な説明を省略する場合がある。

図１は、種々の実施の形態に係る指向性制御装置の指向特性（以下、ポーラパターン）を示す図である。

以下に述べる実施の形態では、一例として、ポーラパターンにおいて、最大感度を０ｄＢとし、最小感度を−３０ｄＢとした場合に、最大感度から所定の抑圧量未満となる範囲を指向性の範囲とする。指向性の範囲は、ポーラパターンにおいて予め定められた感度閾値ＴＨ以上となる範囲に等しい。なお、指向性の範囲の定義は、これに限定されず、その他の方法で定義されてもよい。

ビーム範囲が設定された場合のポーラパターンを図１（ａ）に示す。図１（ａ）に示すように、指向性制御装置の指向性は、方向Ｄ１の感度が最も大きくなる。

また、例えば、上述した所定の抑圧量を６ｄＢとして定義した場合、図１（ａ）に示したポーラパターンにおける中心角θは、１２０度になる。図１（ａ）に示したポーラパターンでは、中心角θの中央で最大感度になることから、中心角に含まれる範囲は、最大感度の位置を中心として±６０度の範囲である。

また、例えば、上述した所定の抑圧量を６ｄＢとして定義した場合、図１（ｂ）に示したポーラパターンにおける中心角は、９０度になる。図１（ｂ）に示したポーラパターンでは、中心角の中央で最大感度になることから、９０度である中心角は、最大感度の位置を中心として±４５度の範囲である。

また、例えば、上述した所定の抑圧量を６ｄＢとして定義した場合、図１（ｃ）に示したポーラパターンにおける中心角は、６０度になる。図１（ｃ）に示したポーラパターンでは、中心角の中央で最大感度になることから、６０度である中心角は、最大感度の位置を中心として±３０度の範囲である。

なお、本実施の形態では、図１に示したように、最大感度のピークが中心角の中央に存在する場合を例に挙げて説明したが、これに限定されない。例えば、各ポーラパターンにおいて、最大感度のピークは、中心角の中央からずれていてもよい。

（第１の実施の形態）
［１―１．構成］
図２は、第１の実施の形態に係る収音システムの構成を示すブロック図である。この収音システムは、撮像装置１０と、収音装置２０と、外部機器３０と、指向性制御装置１００とを備える。

撮像装置１０は、画像を撮像し、撮像した画像を画像データとして後述する画像取得部１１０に出力する。撮像装置１０は例えばカメラで構成される。

収音装置２０は、収音領域における音声を収音し、収音した音声を音声の信号として後述する音声取得部１２０に出力する。収音装置２０は多数のマイク（図２の第１マイクから第Ｎマイク）を含むマイクアレイにより構成される。ここで、収音領域は例えば収音装置２０の正面に設定され、収音装置２０が音声を収音できる領域であればよい。

外部機器３０は、後述する音声データ生成部１５０から出力される音声データを取得する。外部機器３０としては、例えばカーナビゲーション装置やスピーカ装置などが挙げられる。外部機器３０が音声認識機能を備えるカーナビゲーション装置である場合は、指向性制御装置１００は、カーナビゲーション装置がユーザからの指示を音声認識する際に用いられる。外部機器３０がスピーカ装置である場合は、指向性制御装置１００は、ユーザと離れた位置にいる者に向けてユーザの音声を出力する際に用いられる。

次に指向性制御装置１００の構成について詳細に説明する。図２に示すように、指向性制御装置１００は、音声取得部１２０と、画像取得部１１０と、角度検出部１３０と、指向性決定部１４０と、音声データ生成部１５０とを備える。

音声取得部１２０は、収音装置２０が出力した音声の信号を取得する。この音声はユーザの音声を含んでいる。

画像取得部１１０は、撮像装置１０が出力する画像データから、ユーザの顔が写りこんだ撮像画像の画像データを取得する。ここで、ユーザとは、音声を取得する対象である。

角度検出部１３０は、画像取得部１１０が取得した撮像画像に基づいて、第１方向とユーザの顔の向きを示す第２方向とがなす角度を検出する。ここで、第１方向は、ユーザに対して収音装置２０がどのような位置に設置されるかに応じて定義される。また、角度検出部１３０は、例えば、特開平３−１６７６９８号公報で開示されている方法で角度を検出することができる。ただし、角度検出の方法はこれに限定されない。詳細は後述する。

音声データ生成部１５０は、音声取得部１２０が取得した音声の信号に後述する指向性決定部１４０が決定した指向性の範囲および指向性の方向を設定した音声データを生成する。ここで生成された音声データは外部機器３０へ出力される。

指向性決定部１４０は、角度検出部１３０が検出した角度に応じて、音声データ生成部１５０が生成する音声データの指向性の範囲および指向性の方向を決定する。角度検出部１３０が検出した角度が変わると、ユーザが発する音の広がる方向や範囲が変化するため、指向性決定部１４０は、この変化に応じて指向性の範囲や指向性の角度を変える。

図３は、本実施の形態に係る指向性制御装置１００を搭載した車両１を示す図である。

撮像装置１０および収音装置２０は運転席２の正面に設置され、撮像装置１０は運転席２にいるユーザの顔を含む画像を撮像し、収音装置２０は運転席２にいるユーザの発する音声を収音する。指向性制御装置１００は、指向性決定部１４０が決定した指向性の範囲３００を運転席２に向けて設定する。なお、撮像装置１０および収音装置２０の設置位置は、運転席２の正面の位置の上方、例えば、車両の天井位置、ウィンドシールド上部などであってもよい。また、撮像装置１０および収音装置２０の設置位置は、運転席２の正面の位置の下方、例えば、ダッシュボードの位置、ウィンドシールド下部などであってもよい。

指向性制御装置１００が車両１に搭載されている場合は、第１方向４１は例えば車両１の進行方向とする。以下、ユーザが車両１の運転席２にいる場合を説明する。

図４（ａ）は、ユーザ３の顔が収音装置２０を向いている場合の指向性の範囲３００と指向性の方向３１０を示す図である。ユーザ３が収音装置２０の方を向く場合、第２方向４２は第１方向４１と一致する。このとき、指向性の方向３１０は進行方向の反対方向に設定される。たとえば、指向性の方向３１０は収音装置２０からユーザ３の顔の一部へ向かう方向であってもよい。ユーザ３の顔の一部は、例えば目、鼻、口などである。また、例えば指向性の方向３１０は、音声データの生成に影響を考慮しなくてもよい程度にユーザ３の顔の近傍の空間へ向けてもよい。

図４（ｂ）は、ユーザ３の顔の向きの変化に伴って変化する指向性の範囲３２０と指向性の方向３３０を示す図である。ユーザ３の顔の向きを示す第２方向４２が図４（ｂ）のように変化した場合、図４（ａ）で示した指向性の範囲３００は指向性の範囲３００よりも広い指向性の範囲３２０のように変化し、指向性の方向３１０は指向性の方向３３０のように変化する。なお、指向性決定部１４０は第１方向４１と第２方向４２のなす角度をθ２とすると、θ２が大きいほど指向性の範囲３２０を広く決定してもよい。

[１−２．動作]
図５は、指向性制御装置１００の動作を示すフローチャートである。以下、指向性制御装置１００の動作手順を、図２、図４、図５を参照しながら説明する。

まず撮像装置１０が画像を撮像し、ステップＳ１００で、画像取得部１１０は撮像装置１０が出力する画像データを取得する。

次に、収音装置２０が収音領域におけるユーザの音声を収音する。ステップＳ１０１では、音声取得部１２０は収音装置２０が出力する音声の信号を取得する。

ステップＳ１０２では、ステップＳ１００において画像取得部１１０は撮像装置１０が撮像した画像に、ユーザの顔が含まれているか否かを判断する。画像取得部１１０による顔の検出は、例えば、両目とその間に位置する鼻とを検出することで、１人の人間の顔であると認識する。その他、顔の輪郭、目、鼻、口の相対位置、顔の色彩などによって顔を認識してもよい。このような顔の認識方法は単なる例示であり、認識方法はこれに限定されない。画像取得部１１０が、撮像装置１０の撮像した画像にユーザ３の顔が含まれると判断した場合は（ステップＳ１０２でＹｅｓ）、処理はステップＳ１０４へ進み、ユーザの顔が含まれないと判断した場合は（ステップＳ１０２でＮｏ）、ステップＳ１０３へ進む。

ステップＳ１０３では、指向性決定部１４０は、指向性の方向および範囲を予め定められた固定値に決定する。

ステップＳ１０４では、画像取得部１１０が取得した画像に基づいて角度検出部１３０は、車両１の進行方向を示す第１方向４１とユーザ３の顔の向きを示す第２方向４２とがなす角度であるθ２を検出する。以下、ユーザ３の顔が進行方向より時計回りに（右方向に）向く場合は、θ２を正の値で表し、反時計回りに（左方向に）向く場合は、θ２を負の値で表す。例えばユーザ３の顔が進行方向より時計回りに（右方向に）４５°向く場合は、θ２は＋４５°となる。また、例えばユーザ３の顔が進行方向を向く場合は（図４（ａ））、θ２は±０°となる。ここでは、第２方向４２が第１方向４１に対して左右いずれの方向に向くかを角度検出部１３０が検出する。

ステップＳ１０５では、角度検出部１３０が検出した角度に応じて、指向性決定部１４０は、音声データ生成部１５０が生成する音声データの指向性の範囲および指向性の方向を決定する。

ここで、指向性の範囲および指向性の方向の決定方法について図６を参照しながら説明する。θ２の絶対値が１０°未満である場合、指向性決定部１４０は、ユーザ３の顔が正面を向いていると認識する。θ２の絶対値が１０°未満の場合、指向性決定部１４０は、ゲイン補正量を０ｄＢに設定することで指向性の範囲を決定し、ビームの鋭さは例えば図１（ｃ）に示すパターン３とする。ゲイン補正量とは、音声取得部１２０が取得する音声の信号レベル（信号の大きさ）を補正する値である。ユーザ３の顔が横を向き収音装置２０の方向からずれるに従って、収音装置２０が収音する音声が小さくなる。そのため、収音装置２０が出力する音声の信号レベルが小さくなる。そのため、指向性決定部１４０がゲイン補正量を大きくすることでユーザ３の音声の信号レベルを大きくしてＳ／Ｎ比を向上することができる。また、θ２の絶対値が１０°以上、４５°未満である場合、指向性決定部１４０は、ゲイン補正量を３ｄＢに設定することで指向性の範囲を決定し、ビームの鋭さは例えば図１（ｂ）に示すパターン２とする。また、θ２の絶対値が４５°以上の場合、指向性決定部１４０は、ゲイン補正量を４ｄＢに設定することで指向性の範囲を決定し、ビームの鋭さは例えば図１（ａ）に示すパターン１とする。ここで説明したビームの向きが指向性の方向である。また、ここではビーム鋭さおよびゲイン補正量が変わるθ２の絶対値の閾値を１０°および４５°としたが、これらの数値は一例であり、これに限定されない。

ステップＳ１０６では、音声取得部１２０が取得した音声の信号に指向性決定部１４０が決定した指向性の方向および指向性の範囲を設定した音声データを音声データ生成部１５０が生成する。ユーザの顔の向きに応じてビームの鋭さおよびゲイン補正量を設定するため、音声データ生成部１５０は、ユーザの顔の向きがどのような向きであってもユーザの音声をより多く含んだ音声データを生成することができる。従って、外部機器３０が音声認識機能を備えるカーナビゲーション装置である場合は、ユーザが音声による指示をする際の音声認識の精度を高めることができる。また、外部機器３０がスピーカ装置である場合は、ユーザの顔の向きに関わらず音声を明瞭に出力することができる。

（第２の実施の形態）
［２―１―１．構成］
以下、図２、図３、図７を参照して第２の実施の形態に係る指向性制御装置を説明する。本実施の形態に係る収音システムおよび指向性制御装置の基本構成は図２と同様であり、指向性決定部１４０の動作が異なるため、この点について詳細に説明する。

［２―１―２．動作］
本実施の形態に係る指向性制御装置１００は車両１に設置されており、ユーザ３の顔が窓４の方向を向いているか否かによって指向性決定部１４０が決定する指向性の範囲および指向性の方向が異なる。また、第１方向は車両１の進行方向を示す。また、ユーザ３の顔が窓４の方向を向いていない場合の指向性の範囲および指向性の方向は、第１の実施の形態と同様の方法で決定するため、説明を省略する。

図７は、ユーザ３の顔が窓４の方向を向いている場合の指向性の範囲３４０と指向性の方向３５０を示す図である。

図７において、第２方向４２は、進行方向を示す第１方向４１よりもユーザ３に最も近い窓４の方向を向いている。

ここで、ユーザ３から窓４へ向かう方向を第３方向４３とし、第３方向４３の反対方向を第４方向４４とする。第３方向４３は例えば進行方向（第１方向）から９０°回転して窓４の方向を向く方向とすればよい。また、第４方向４４は第３方向４３の１８０度反対の方向とすればよい。これらの数値は一例であり、これに限定されない。

角度検出部１３０は、第２方向４２が第３方向４３と第４方向４４のいずれの方向により近いかを検出する。角度検出部１３０は、第２方向４２が第３方向４３により近いことを検出した場合、ユーザ３の顔は窓４の方向を向いていると認識する。

角度検出部１３０が、ユーザ３の顔は窓４の方向を向いていると認識した場合、指向性決定部１４０は、第２方向４２が第４方向４４により近い場合より指向性の範囲を広く決定する。すなわち、指向性決定部１４０は、第２方向４２が第３方向４３にθ２だけ向いた場合は、第２方向４２が第４方向４４にθ２だけ向いた場合よりも指向性の範囲３４０を広げる。

また、収音装置２０とユーザ３とを結ぶ線分を第１線分７１とする。また、ユーザ３を始点として第２方向４２に沿って窓４と交わる点と収音装置２０とを結ぶ線分を第２線分７２とする。指向性決定部１４０は、指向性の方向３５０と第１線分７１とがなす角度θ１が、第１線分７１と第２線分７２とがなす角度の半分となるように、指向性の方向３５０を決定する。すなわち、第１線分７１と第２線分７２とがなす角度はθ２に等しくなる。従って、指向性決定部１４０は、ユーザ３の位置とユーザ３の音声が窓４上で反射する位置とから指向性の方向３５０を決定できる。

図８は、本実施の形態に係る指向性制御装置１００の動作を示すフローチャートである。以下、図８、図２、図７を参照しながら指向性制御装置１００の動作手順を説明する。ここでは、第１の実施の形態に係る指向性制御装置１００の動作と同様のステップの説明を省略する。

本実施の形態では、ステップＳ１０４においてユーザ３の顔の向きを検出すると、ステップＳ２０１では、角度検出部１３０は、ユーザ３の顔が窓４の方向を向いているか否かを判断する。角度検出部１３０がユーザ３の顔が窓４の方向を向いていると判断した場合は（ステップＳ２０１でＹｅｓ）、処理はステップＳ２０２へ進み、ユーザ３の顔が窓４の方向を向いていないと判断した場合は（ステップＳ２０１でＮｏ）、ステップＳ１０５へ進む。

ステップＳ２０２では、指向性決定部１４０はユーザ３の顔が窓４の方向を向いていないと認識した場合より指向性の範囲３４０を広く決定する。すなわちステップＳ１０５で決定される指向性の範囲よりも広い指向性の範囲を決定する。従って、ユーザ３が窓４の方向を向いている場合には、音声データ生成部１５０はユーザ３の音声が窓４に反射した反射音の信号も含めて音声データを生成することができる。これにより、ユーザ３が窓４の方向を向いているか否かに応じてユーザ３が発した音声をより正確に音声データとして生成することができる。

ここで、指向性の範囲および指向性の方向の決定方法について図９、図７を参照しながら説明する。図９、図７の説明をする前に、方向Ａと方向Ｂについて定義する。方向Ａは、収音装置２０からユーザ３へ向かう方向である。また、方向Ｂは、収音装置２０からユーザ３へ向かう方向と、収音装置２０から窓４へ向かう方向との間にある方向である。方向Ｂは、収音装置２０からユーザ３へ向かう方向と、収音装置２０から窓４へ向かう方向との間における中心方向であってもよい。また、ユーザ３の顔が進行方向より時計回りに（右方向に）向く場合は、θ２を正の値で表し、反時計回りに（左方向に）向く場合は、θ２を負の値で表す。すなわち、ユーザ３の顔が進行方向よりも窓を向いている場合はθ２を正の値で表し、車室内を向いている場合はθ２を負の値で表す。

θ２が４５°以上である場合、指向性決定部１４０は、ビームの鋭さは例えば図１（ａ）に示すパターン１とし、ビームの向きは方向Ｂへ向け、ゲイン補正量を４ｄＢに設定する。ここで、方向Ｂは図７において、指向性の方向３５０と第１線分７１とがなす角度θ１が、第１線分７１と第２線分７２とがなす角度の半分となる方向である。また、θ２が１０°以上、４５°未満である場合、指向性決定部１４０は、ビームの鋭さを例えば図１（ｂ）に示すパターン２とし、ビームの向きを方向Ｂへ向け、ゲイン補正量を３ｄＢに設定する。θ２の絶対値が１０°未満である場合、指向性決定部１４０は、ユーザ３の顔が正面を向いていると認識する。θ２の絶対値が１０°未満である場合、指向性決定部１４０はビームの鋭さは例えば図１（ｃ）に示すパターン３とし、ビームの向きを方向Ａへ向け、ゲイン補正量を０ｄＢに設定する。ここで、方向Ａは図７において進行方向を示す第１方向４１の反対方向であり、収音装置２０からユーザ３を示す方向である。また、θ２が−４５°より大きく−１０°以下である場合、指向性決定部１４０は、ビームの鋭さは例えば図１（ｃ）に示すパターン３とし、ビームの向きは方向Ａへ向け、ゲイン補正量を２ｄＢに設定する。また、θ２が−４５°以下である場合、指向性決定部１４０は、ビームの鋭さは例えば図１（ｂ）に示すパターン２とし、ビームの向きは方向Ａへ向け、ゲイン補正量を３ｄＢに設定する。

［２―２．配置が異なる場合の動作］
次に、収音装置がユーザの正面でない位置に配置される場合の指向性の範囲および指向性の方向について、収音装置が車両のオーバーヘッドコンソールに配置される場合を一例として、図１０、図１１および図２を参照しながら説明する。

図１０は、本実施の形態に係る指向性制御装置１００を搭載した車両１を示す図である。指向性制御装置１００は、図２に示す指向性決定部１４０が決定した指向性の範囲３００を運転席２に向けて設定する。

図１１は、図１０に示すユーザ３の位置に対する収音装置２０の位置において、ユーザ３の顔が窓４の方向を向いている場合の指向性の範囲３４０と指向性の方向３５０を示す図である。以下、図７と同様の内容については説明を省略し、異なる点について説明する。

図１１において、角度検出部１３０は、第２方向４２が第３方向４３により近いことを検出した場合、ユーザ３の顔が窓４の方向を向いていると認識する。ユーザ３の顔が窓４の方向を向いていると認識すると、指向性決定部１４０は第１線分７１および第２線分７２を含むように指向性の範囲３４０を決定する。従って、音声データ生成部１５０は、ユーザ３の音声と窓４からの反射音を含む音声データを生成することができる。これにより、ユーザ３が窓４の方向を向いているか否かに応じて収音装置２０が収音した音声の信号のＳ／Ｎ比を改善した音声データを音声データ生成部１５０から外部機器３０へ出力できる。

また、指向性の方向３５０と第１線分７１とがなす角度が、第１線分７１と第２線分７２とがなす角度の半分となるように、指向性の方向３５０を決定する。ここで、第１線分７１と第２線分７２とがなす角度と、第１線分７１と進行方向の反対方向９１とがなす角度θ３との和はθ２と等しくなるように、指向性の方向３５０を決定するのが好ましい。従って、音声データ生成部１５０は窓４からの反射音をより正確に反映させた音声データを生成できる。これにより、収音装置２０が設置される位置に関わらず、収音装置２０が収音した音声の信号のＳ／Ｎ比を改善した音声データを音声データ生成部１５０から外部機器３０へ出力できる。これにより、外部機器３０が音声認識機能を備えるカーナビゲーション装置である場合は、ユーザが音声による指示をする際の音声認識の精度を高めることができる。また、外部機器３０がスピーカ装置である場合は、ユーザの顔の向きに関わらず明瞭な音声を出力することができる。

（第３の実施の形態）
［３―１．構成］
以下、第３の実施の形態に係る指向性制御装置を説明する。第３の実施の形態に係る収音システムおよび指向性制御装置の基本構成は図２と同様であり、指向性決定部１４０の動作が異なるため、この点について詳細に説明する。

［３―２．動作］
図１２は、本実施の形態に係る指向性制御装置１００の動作を示すフローチャートである。以下、指向性制御装置１００の動作手順を図２、図４、図１２を参照して説明する。ここでは、第１の実施の形態に係る指向性制御装置１００の動作と同様のステップの説明を省略する。

本実施の形態では、ステップＳ１０４においてユーザ３の顔の向きを検出すると、ステップＳ３０１では、角度検出部１３０は検出した角度の所定時間内の変動量を検出する。角度検出部１３０が検出する角度は、第１方向４１とユーザ３の顔の向きを示す第２方向４２とがなす角度θ２である。すなわち、ステップＳ３０１において角度検出部１３０は、ユーザ３の顔の向きが所定時間内にどれだけ変動したかを検出する。

ステップＳ３０２では、ステップＳ３０１において角度検出部１３０が検出したθ２の変動量に応じて、指向性決定部１４０は指向性の範囲および指向性の方向を決定する。

ここで、指向性の範囲および指向性の方向の決定方法について図１３を参照しながら説明する。θ２の変動量が例えば０．１秒で０°以上、２０°未満変化する場合の角度変動量を「小」とする。このときのビームの鋭さを例えば図１（ｃ）に示すパターン３とする。また、θ２の変動量が例えば０．１秒で２０°以上４５°未満変化する場合の角度変動量を「中」とする。このときのビームの鋭さを例えば図１（ｂ）に示すパターン２とする。また、θ２の変動量が例えば０．１秒で４５°以上変化する場合の角度変動量を「大」とする。このときのビームの鋭さを例えば図１（ａ）に示すパターン１とする。以上のように、θ２の変動量に応じてビームの鋭さを変化させることで、音声データ生成部１５０は、より正確にユーザ３の音声データを生成することができる。また、θ２の変動量が大きい場合は指向性の方向を広くすることで、ユーザ３の音声データを途切れることなく生成することができる。これにより、外部機器３０が音声認識機能を備えるカーナビゲーション装置である場合は、ユーザが音声による指示をする際の音声認識の精度を高めることができる。また、外部機器３０がスピーカ装置である場合は、ユーザの顔の変動量に関わらず明瞭な音声を出力することができる。

（他の実施の形態）
以上、本開示に係る指向性制御装置を、第１、第２および第３の実施の形態に基づいて説明したが、本開示は上記実施の形態及びそれらの変形例に限られない。なお、図４、７、１１は収音装置、ユーザおよび窓を鉛直方向上から水平面に投影した２次元的な図であり、方向、角度および範囲に関する記載は、収音装置、ユーザおよび窓の鉛直方向の位置関係を考慮せず記載している。すなわち、方向、角度および範囲は、前述の水平面において示される方向、角度および範囲である。そのため、鉛直方向を考慮した実際の方向、角度および範囲とは異なる場合がある。

以下、図１０を参照して、他の実施の形態を説明する。他の実施の形態では、収音装置として収音装置２０と収音装置２１を備える。収音装置２１は、収音装置を車両１の後部座席用に設け指向性の範囲３４１を設定する。これにより、図２における外部機器３０が後部座席に設置されるスピーカ装置である場合、収音装置２０において収音したユーザの音声の音声データは、後部座席に座る人に向けて出力され、収音装置２１において収音したユーザの音声の音声データは、運転席に座る人に出力される。これにより、運転席の人と後部座席の人との会話がスムーズに行うことができる。また、指向性制御装置１００と、収音装置２０、２１と、外部機器３０としてスピーカ装置とを含めた収音システムを車両１以外で使用してもよい。例えば、家庭の居間と台所に収音装置を設置し、スピーカ装置を居間に設置する。これにより、居間にいる人と台所にいる人との音声の、Ｓ／Ｎ比を改善した音声データを音声データ生成部が生成することができる。これにより、居間にいる人と台所にいる人がスムーズに会話することができる。

また例えば、第１、第２および第３の実施形態に係る指向性制御装置の部分的な構成、及び下記の変形例に係る構成を、適宜組み合わせて指向性制御装置を構成しても良い。さらに、本発明の技術的思想の範囲を逸脱しない範囲で、指向性制御装置の構成に適宜変更を加えることは可能である。

上記実施の形態で説明した指向性制御装置１００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

上記各実施の形態の各機能ブロックの処理の一部又は全部は、コンピュータプログラムにより実現されるものであってもよい。また、上記実施の形態の各処理を専用回路により実現してもよいし、ソフトウエア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む）により汎用のハードウエアを動作させて実現してもよい。更に、ソフトウエア及び汎用のハードウエアの組み合わせと、専用回路との混在処理により実現しても良い。

また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、本開示の要旨を逸脱しない範囲で、実行順序を入れ替えることができる。

上記指向性制御装置１００で実行される処理方法と、同処理方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリを挙げることができる。コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されてもよい。

本開示は、たとえば、車両においてユーザの音声に指向性を設定した音声データを生成する指向性制御装置に適用可能である。

１ 車両
２ 運転席
３ ユーザ
１０ 撮像装置
２０，２１ 収音装置
３０ 外部機器
４１ 第１方向
４２ 第２方向
４３ 第３方向
４４ 第４方向
７１ 第１線分
７２ 第２線分
９１ 進行方向の反対方向
１００ 指向性制御装置
１１０ 画像取得部
１２０ 音声取得部
１３０ 角度検出部
１４０ 指向性決定部
１５０ 音声データ生成部
３００，３２０，３４０，３４１ 指向性の範囲
３１０，３３０，３５０ 指向性の方向
θ 中心角
θ１ 指向性の方向と第１線分とがなす角度
θ２ 第１方向と第２方向のなす角度
θ３ 第１線分と進行方向の反対方向とがなす角度

Claims (9)

1. 収音領域におけるユーザの音声を含む音声の信号を取得する音声取得部と、
   前記ユーザの顔が写りこんだ撮像画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する角度検出部と、
   前記音声取得部が取得した前記音声の信号に指向性を設定した音声データを生成する音声データ生成部と、
   前記角度検出部が検出した前記角度に応じて、前記指向性の範囲および前記指向性の方向を決定する指向性決定部と、を備えた、
   指向性制御装置。
2. 前記指向性決定部は、前記角度が大きいほど前記指向性の範囲を広げる、
   請求項１に記載の指向性制御装置。
3. 前記指向性制御装置は車両に搭載され、
   前記角度検出部は、前記第１方向を前記車両の進行方向とし、前記第２方向が、前記車両の窓のうち前記ユーザに最も近い窓の方向を示す第３方向と、前記第３方向と反対方向を示す第４方向とのいずれの方向により近いかを検出し、
   前記指向性決定部は、前記角度検出部が検出した前記角度が第１角度であり前記第２方向が前記第３方向により近い場合は、前記角度が前記第１角度であり前記第２方向が前記第４方向により近い場合より前記指向性の範囲を広げる、
   請求項１または２に記載の指向性制御装置。
4. 前記音声取得部は、収音装置から前記音声の前記信号を取得し、
   前記指向性決定部は、前記第２方向が前記第３方向により近い場合に、前記収音装置と前記ユーザとを結ぶ第１線分および前記収音装置と前記最も近い窓とを結ぶ第２線分を含むように前記指向性の範囲を決定し、
   前記第１線分と前記第２線分とがなす角度と、前記第１線分と前記進行方向の反対方向とがなす角度との和は前記角度検出部が検出した前記角度と等しい、
   請求項３に記載の指向性制御装置。
5. 前記指向性決定部が決定する前記指向性の方向は、当該指向性の方向と前記第１線分とがなす角度が前記角度検出部の検出した前記角度の半分となる方向である、
   請求項４に記載の指向性制御装置。
6. 前記角度検出部は、所定時間内の前記角度の変動量をさらに検出し、
   前記指向性決定部は、前記変動量が所定の閾値より小さい場合は、前記指向性の範囲を第１の範囲とし、前記変動量が所定の閾値以上である場合は、前記指向性の範囲を前記第１の範囲より広い第２の範囲とする、
   請求項１から５のいずれか一項に記載の指向性制御装置。
7. ユーザの顔が写りこんだ画像を撮像する撮像装置と、
   収音領域における前記ユーザの音声を含む音声を収音する収音装置と、
   指向性制御装置と、を備え、
   前記指向性制御装置は、
   前記収音装置から前記音声の信号を取得する音声取得部と、
   前記撮像装置から前記画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する角度検出部と、
   前記音声取得部が取得した前記音声の前記信号に指向性を設定した音声データを生成する音声データ生成部と、
   前記角度検出部が検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する指向性決定部と、を有する、
   収音システム。
8. 収音領域におけるユーザの音声を含む音声の信号を取得し、
   前記ユーザの顔が写りこんだ撮像画像を取得し、
   取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出し、
   取得した前記音声の前記信号に指向性を設定した音声データを生成し、
   検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する、
   指向性制御方法。
9. 収音領域におけるユーザの音声を含む音声の信号を取得する処理と、
   前記ユーザの顔が写りこんだ撮像画像を取得する処理と、
   取得した前記撮像画像に基づいて、第１方向と前記ユーザの顔の向きを示す第２方向とがなす角度を検出する処理と、
   取得した前記音声の前記信号に指向性を設定した音声データを生成する処理と、
   検出した前記角度に応じて前記指向性の範囲および前記指向性の方向を決定する処理と、を指向性制御装置のコンピュータに実行させる、
   指向性制御プログラム。

Images