JP2023179092A

JP2023179092A - コミュニケーション支援システム

Info

Publication number: JP2023179092A
Application number: JP2022092156A
Authority: JP
Inventors: 良輔田地; Ryosuke Taji
Original assignee: Alps Alpine Co Ltd
Current assignee: Alps Alpine Co Ltd
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2023-12-19
Also published as: US20230396922A1; CN117198309A; EP4290515A1

Abstract

【課題】大きなロードノイズにも対応できる「コミュニケーション支援システム」を提供する。【解決手段】アシスト帯域を、大きなロードノイズがないときには標準帯域に、大きなロードノイズがあるときには標準帯域に比べ低周波数帯域を含まず高周波数帯域を含む高音帯域とする。前席マイク１１のオーディオデータは、IIRフィルタ３０１でアシスト帯域外の成分がカットされ、ダウンサンプリング部３０２でアシスト帯域の上限の２倍のサンプリング周波数にダウンサンプリングされた後、エコーキャンセラ３０３とハウリングキャンセラ３０４で処理され、アップサンプリング部３０５でアップサンプリングされて後席スピーカ２２に出力される。大きなロードノイズがあるときには、ハウリングキャンセラ３０４の動作を無効化し入力をそのまま出力させる。【選択図】図２

Description

本発明は、自動車車内の異なるエリアにいるユーザ間の発話によるコミュニケーションを支援する技術に関するものである。

自動車車内の異なるエリアにいるユーザ間の発話によるコミュニケーションを支援する技術としては、自動車の第１のエリアのユーザの発話音声を第１のエリアのマイクで収音し、第２のエリアのユーザが明瞭に聞き取れるようにゲインを調整した発話音声を第２のエリアのスピーカから出力する技術が知られている（たとえば、特許文献１）。

また、車内の発話によるコミュニケーションを支援する技術としては、図５ａに示すように、第１エリアのマイク５０１でピックアップしたユーザの音声を第２エリアのスピーカ５１２から出力し、第２エリアのマイク５１１でピックアップしたユーザの音声を第１エリアのスピーカ５０２から出力することにより、第１エリアのユーザと第２エリアのユーザの会話を支援するシステムにおいて、エコーキャンセラ５２０で、第２エリアのスピーカ５１２から第２エリアのマイク５１１にまわりこんだエコーをキャンセルするエコーキャンセルの技術も知られている（たとえば、特許文献２）。

エコーキャンセラ５２０は、第１エリアのマイク５０１の出力を入力とする適応フィルタ５２１と、適応フィルタ５２１の出力と第２エリアのマイク５１１の出力を加算して第１エリアのスピーカ５０２に出力する加算器５２２を備えており、適応フィルタ５２１において加算器５２２の出力をエラーとして適応動作を行うことにより、エコーのキャンセルを行っている。

また、適応フィルタを用いてハウリングをキャンセルするハウリングキャンセラの技術も知られている（たとえば、特許文献３）。
図５ｂは、このようなハウリングキャンセラ５３０を、第１エリアのスピーカ５０２から第２エリアのマイク５１１にまわりこんだ音によるハウリングの発生の抑止に適用した構成を示している。
図示するように、ハウリングキャンセラ５３０は、適応フィルタ５３１と、適応フィルタ５３１の出力と第２エリアのマイク５１１の出力を加算して第１エリアのスピーカ５０２に出力する加算器５３２を備えており、加算器５３２の出力を適応フィルタ５３１の入力とすると共に、適応フィルタ５３１において加算器５３２の出力をエラーとして適応動作を行うことにより、第１エリアのスピーカ５０２から第２エリアのマイク５１１にまわりこんだ音によるハウリングの発生を抑止している。

また、適応フィルタを用いて自動車のロードノイズをキャンセルするロードノイズキャンセラの技術も知られている（たとえば、特許文献４）。
図５ｃは、このようなロードノイズキャンセラ５４０を、第１エリアのユーザに聞こえるロードノイズのキャンセルに適用した構成を示している。
図示するように、ロードノイズキャンセラ５４０は、適応フィルタ５４１と、適応フィルタ５４１の出力と第２エリアのマイク５１１の出力を加算して第１エリアのスピーカ５０２に出力する加算器５４２と、参照信号発生部５４３を備えている。
参照信号発生部５４３は、加速度センサなどのロードノイズと相関する信号を検出するセンサ５５０の出力からノードノイズを模擬する参照信号を生成し出力する。そして、参照信号発生部５４３の出力する参照信号を適応フィルタ５４１の入力とすると共に、適応フィルタ５４１において、第２エリアのマイク５０１の出力をエラーとして適応動作を行うことにより、１エリアのユーザに聞こえるロードノイズを抑制している。

特開２００２-５１３９２号公報特開２０１０-１６５６４号公報特開２００６-２０３５５３号公報特開平６-２６６３７４号公報

自動車の第１のエリアのユーザの発話音声を第１のエリアのマイクで収音し、第２のエリアのスピーカから出力することにより、自動車車内の異なるエリアにいるユーザ間の発話によるコミュニケーションを支援する場合、高速走行によりロードノイズが大きくなると、発話音声がロードノイズに埋もれてしまい、良好な支援を行えなくなる。

また、図５ａ、ｂに示すようにエコーキャンセラやハウリングキャンセラを設けて、第１のエリアのユーザと第２のエリアのユーザ間の相互の会話を支援する場合には、ロードノイズが大きくなると、適応フィルタの適応動作が発散してしまい、適正な支援を行えなくなることがある。

そこで、本発明は、大きなロードノイズが発生しているときにも、異なるエリアにいるユーザ間の発話によるコミュニケーションを良好に支援することを課題とする

前記課題達成のために、本発明は、自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムに、第１のエリアに配置されたマイクである第１エリアマイクと、第２のエリアに配置されたスピーカである第２エリアスピーカと、大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、制御手段と、前記第１エリアマイクでピックアップした音声を前記第２エリアスピーカに中継する音声処理部とを備えたものである。ここで、前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、前記音声処理部に、前記第１エリアマイクでピックアップした音声の、予め設定した周波数帯域である標準帯域の成分の抽出と、抽出した成分の前記第２エリアスピーカへの中継を行わせ、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記音声処理部に、前記第１エリアマイクでピックアップした音声の、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域の成分の抽出と、抽出した成分の前記第２エリアスピーカへの中継を行わせる。

また、前記課題達成のために、本発明は、自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムに、第１のエリアに配置されたマイクである第１エリアマイクと、第２のエリアに配置されたスピーカである第２エリアスピーカと、大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、制御手段と、第１音声処理部とを備えたものである。前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、予め設定した周波数帯域である標準帯域を対象帯域に設定し、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域を対象帯域に設定する。また、前記第１音声処理部は、前記第１エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第２エリアスピーカに出力する。そして、前記第１音声処理部は、前記第１エリアマイクでピックアップした音声を表すオーディオデータを、前記対象帯域の上限の２倍のサンプリング周波数のオーディオデータにダウンサンプリングするダウンサンプリング手段と、ダウンサンプリング手段がダウンサンプリングしたオーディオデータを入力として、当該入力したオーディオデータに含まれる、前記第２エリアスピーカから前記第１エリアマイクに回り込んだ成分をキャンセルするハウリングキャンセル処理を選択的に行い、当該ハウリングキャンセル処理を行ったオーディオデータを出力するハウリングキャンセル手段と、前記ハウリングキャンセル手段が出力したオーディオデータをアップサンプリングして前記第２エリアスピーカに向けて出力するアップサンプリング手段とを備えている。また、前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、前記ハウリングキャンセル手段に前記ハウリングキャンセル処理を行わせ、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記ハウリングキャンセル手段の、前記ハウリングキャンセル処理を停止し、前記ハウリングキャンセル手段に入力したオーディオデータを、そのまま出力させる。

また、前記課題達成のために、本発明は、自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムに、第１のエリアに配置されたマイクである第１エリアマイクと、第１のエリアに配置されたスピーカである第１エリアスピーカと、第２のエリアに配置されたマイクである第２エリアマイクと、第２のエリアに配置されたスピーカである第２エリアスピーカと、大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、制御手段と、第１音声処理部と、第２音声処理部とを備えたものである。前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、予め設定した周波数帯域である標準帯域を対象帯域に設定し、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域を対象帯域に設定する。また、前記第１音声処理部は、前記第１エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第２エリアスピーカに出力し、第２音声処理部は、前記第２エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第１エリアスピーカに出力する。また、前記第１音声処理部は、前記第１エリアマイクでピックアップした音声を表すオーディオデータを、前記対象帯域の上限の２倍のサンプリング周波数のオーディオデータにダウンサンプリングするダウンサンプリング手段と、ダウンサンプリング手段がダウンサンプリングしたオーディオデータに含まれる、前記第１エリアスピーカから前記第１エリアマイクに回り込んだ成分をキャンセルするエコーキャンセル処理を行い、当該エコーキャンセル処理を行ったオーディオデータを出力するエコーキャンセル手段と、前記エコーキャンセル手段が出力したオーディオデータをアップサンプリングして前記第２エリアスピーカに向けて出力するアップサンプリング手段を備えている。

ここで、以上の前記第１音声処理部と前記第２音声処理部を備えたコミュニケーション支援システムには、上記のエコーキャンセル手段と前記ハウリングキャンセル手段の双方を備えてもよい。
また、前記第１音声処理部と前記第２音声処理部を備えたコミュニケーション支援システムには、第２エリアでロードノイズをキャンセルするキャンセル音を、前記第２エリアマイクでピックアップした音声に基づいて生成し、前記第１音声処理部が前記第２エリアスピーカに出力するオーディオデータに加算するロードノイズキャンセル手段を設けてもよい。

以上のようなコミュニケーション支援システムによれば、ロードノイズが大きい期間中は、ロードノイズが集中する低周波数帯域を除外し、音が通りやすい高音の帯域を含めた周波数帯域である高音帯域のみを対象として、マイクでピックアップしたユーザの音声の、他のエリアにいるユーザ用のスピーカへの中継を行うので、大きなロードノイズが発生しているときにも、ユーザ間の発話によるコミュニケーションを比較的に良好に支援することができる。

以上のように、本発明によれば、大きなロードノイズが発生しているときにも、異なるエリアにいるユーザ間の発話によるコミュニケーションを良好に支援することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。本発明の実施形態に係る信号処理プロセッサの構成を示すブロック図である。本発明の実施形態に係るアシスト特性切替処理を示すフローチャートである。本発明の実施形態に係る信号処理プロセッサの他の構成例を示すブロック図である。公知のエコーキャンセラとハウリングキャンセラとロードノイズキャンセラを示す図である。

以下、本発明の実施形態について、自動車の前席のユーザと後席のユーザ間の車内の発話によるコミュニケーションを支援する車載システムへの適用を例にとり説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、車室内の前席エリアのユーザ用のマイクである前席マイク１１、前席エリアのユーザ用のスピーカである前席スピーカ１２、車室内の後席エリアのユーザ用のマイクである後席マイク２１、後席エリアのユーザ用のスピーカである後席スピーカ２２、以上の各部が接続された信号処理プロセッサ３を備えている。また、信号処理プロセッサ３には、自動車の各種状態を検出、管理する外部システム４に接続されている。

ここで、前席マイク１１、後席マイク２１は、ピックアップした音を表す所定のサンプリング周波数のオーディオデータを出力する。また、前席スピーカ１２は、後席スピーカ２２は、入力された所定のサンプリング周波数のオーディオデータが表す音声を放射する。

さて、信号処理プロセッサ３は、後席エリアの後席マイク２１でピックアップした後席エリアのユーザの音声を前席エリアの前席スピーカ１２に出力し、前席エリアの前席マイク１１でピックアップした前席エリアのユーザの音声を後席エリアの後席スピーカ２２に出力することにより、後席エリアのユーザと前席エリアのユーザとの間の会話によるコミュニケーションを支援する。

ここで、後席エリアは、たとえば、図１ｂに示すように、自動車の運転席の後ろの席のエリアであり、後席スピーカ２２や後席マイク２１は後席エリアに配置される。また、前席エリアは、自動車の運転席のエリアであり、前席スピーカ１２や前席マイク１１は前席エリアに配置される。

次に、図２に信号処理プロセッサ３の機能構成を示す。
ここで、各機能部は、ソフトウエア処理により機能が実現されるものであり、各機能部は信号処理プロセッサ３の同じリソースを共用する。
さて、図示するように信号処理プロセッサ３は、機能部として、制御部３１、前席マイク１１でピックアップし後席スピーカ２２に出力する音声を処理する前席音声処理部３２、後席マイク２１でピックアップし前席スピーカ１２に出力する音声を処理する後席音声処理部３３を備えている。

前席音声処理部３２と後席音声処理部３３は、同じ構成を備えており、それぞれ、IIRフィルタ３０１、ダウンサンプリング部３０２、エコーキャンセラ３０３、ハウリングキャンセラ３０４、アップサンプリング部３０５を備えている。
以下、前席音声処理部３２と後席音声処理部３３の動作について説明する。
まず、前席音声処理部３２の各部の動作について説明する。
IIRフィルタ３０１は、前席マイク１１が出力するオーディオデータを入力とする周波数フィルタであり、IIRフィルタ３０１の出力はダウンサンプリング部３０２に出力される。ダウンサンプリング部３０２は、IIRフィルタ３０１から入力するオーディオデータをダウンサンプリングし、そのサンプリング周波数を、より低いサンプリング周波数に変換する。

エコーキャンセラ３０３は、ダウンサンプリング部３０２が出力するオーディオデータから、後席音声処理部３３のダウンサンプリング部３０２が出力するオーディオデータと相関する成分をキャンセルすることにより、前席スピーカ１２から前席マイク１１に回り込んだエコーをキャンセルし出力する。

ここでエコーキャンセラ３０３の構成としては、たとえば、図５ａに示したエコーキャンセラ５２０の構成を用いることができる。
ハウリングキャンセラ３０４は、ダウンサンプリング部３０２が出力するオーディオデータから、ハウリングキャンセラ３０４が既に出力したオーディオデータと相関する成分をキャンセルすることにより、後席スピーカ２２から前席マイク１１に回り込んだ音声成分を除去し、ハウリングの発生を抑止する。

ここで、ハウリングキャンセラ３０４の構成としては、たとえば、図５ｂに示したハウリングキャンセラ５３０の構成を用いることができる。
そして、アップサンプリング部３０５は、ハウリングキャンセラ３０４が出力するオーディオデータを補間によりアップサンプリングし、スピーカの出力用の所定のサンプリング周波数のオーディオデータを生成し、後席スピーカ２２に出力する。
ここで、IIRフィルタ３０１のフィルタ特性、ダウンサンプリング部３０２で行うダウンサンプリング後のオーディオデータのサンプリング周波数、アップサンプリング部３０５で行うアップサンプリングの特性は、制御部３１から制御して変更することができる。
次に、後席音声処理部３３の各部の動作は、以上の前席音声処理部３２の各部の動作の説明において、「前席」と「後席」を入れ替えたものとなる。
以下、制御部３１の動作について説明する。
図３に、制御部３１が行うアシスト特性切替処理の手順を示す。
ここで、以下では、前席マイク１１、後席マイク２１が出力するオーディオデータのサンプリング周波数、前席スピーカ１２、後席スピーカ２２の入力オーディオデータのサンプリング周波数が共に36kHzであるものとして説明を行う。
図示するように、制御部３１は、アシスト特性切替処理において、現在ロードノイズが大きい状態にあるかどうかを調べる（ステップ３０２）。
ここで、ステップ３０２では、前席マイク１１と後席マイク２１の出力に含まれる、相互の相関が大きな1kHz以下の成分のレベルが、所定のしきい値よりも大きい場合に、現在ロードノイズが大きい状態にあると判定する。
もしくは、ステップ３０２では、外部システム４から自動車の車速や回転数の情報を取得し、取得した情報が、自動車が所定時間以上継続して、所定速度以上の高速走行していることを表しているときに、現在ロードノイズが大きい状態にあると判定する。
そして、現在ロードノイズが大きい状態にないと判定したならば（ステップ３０２）、アシスト帯域を標準帯域とする制御を行う（ステップ３０４）。
ここで、アシスト帯域とは、前席マイク１１の出力のうちの信号処理プロセッサ３が後席スピーカ２２への中継の対象とする周波数帯域と、後席マイク２１の出力のうちの信号処理プロセッサ３が前席スピーカ１２への中継の対象とする周波数帯域を示すものである。

標準帯域は、たとえば、1200Hz以下の帯域とする。
標準帯域を1200Hz以下の帯域とした場合、ステップ３０４では、アシスト帯域を1200Hz以下の帯域とするために、IIRフィルタ３０１のフィルタ特性を1200Hz超の周波数帯域の成分をカットするフィルタ特性に設定し、ダウンサンプリング部３０２のダウンサンプリング後のサンプリング周波数を2400Hzとする。

ここで、IIRフィルタ３０１のフィルタ特性を、ダウンサンプリング後のサンプリング周波数の1/2超の周波数低域の成分をカットするように設定することにより、ダウンサンプリング後のオーディオデータに折返しのノイズが表れてしまうことを防ぐアンチエイリアシングが行われる。また、ダウンサンプリング部３０２のダウンサンプリング後のサンプリング周波数を2400Hzとするのは、1200Hz超の不要な周波数帯域を除去するためと、オーディオデータのサンプルレートを減らして以降の処理量を軽減するためである。

また、ステップ３０４では、エコーキャンセラ３０３、ハウリングキャンセラ３０４を、サンプリング周波数2400Hzのオーディオデータを処理するように設定すると共に、アップサンプリング部３０５を、サンプリング周波数2400Hzのオーディオデータを36kHzのオーディオデータにアップサンプリングするように設定する。また、アップサンプリング部３０５において、出力するオーディオデータに1200Hz超の成分が含まれないようにアップサンプリングを行うよう設定する。

そして、現在ロードノイズが大きい状態にあるかどうか、大きい状態にあると判定されるまで繰り返し調べ（ステップ３０６）、大きい状態にあると判定されたならば、ステップ３０８に進む。
一方、ステップ３０２で、現在ロードノイズが大きい状態にあると判定された場合にも、ステップ３０８に進む。
そして、ステップ３０２もしくはステップ３０６からステップ３０８に進んだならば、前席音声処理部３２と後席音声処理部３３のハウリングキャンセラ３０４の動作を無効化する。
ここで、動作を無効化されたハウリングキャンセラ３０４は、入力するオーディオデータをそのまま出力するスルー動作を行う。
そして、次に、アシスト帯域を高音帯域とする制御を行う（ステップ３１０）。
高音帯域は、標準帯域に含まれる低周波数帯域を含まず標準帯域よりも高周波数の帯域を含む周波数帯域とし、たとえば、高音帯域は、1kHzから10kHzまでの帯域とする。
高音帯域を1kHzから10kHzまでの帯域とした場合、ステップ３１０では、アシスト帯域を1kHzから10kHzまでとするために、IIRフィルタ３０１のフィルタ特性を1kHzから10kHzの周波数帯域以外の周波数帯域の成分をカットするフィルタ特性に設定し、ダウンサンプリング部３０２のダウンサンプリング後のサンプリング周波数を20kHzとする。

また、ステップ３１０では、エコーキャンセラ３０３、ハウリングキャンセラ３０４を、サンプリング周波数20kHzのオーディオデータを処理するように設定すると共に、アップサンプリング部３０５を、サンプリング周波数20kHzのオーディオデータを36kHzのオーディオデータにアップサンプリングするように設定する。また、アップサンプリング部３０５において、出力するオーディオデータに1kHzから10kHzの周波数帯域以外の周波数帯域の成分の成分が含まれないようにアップサンプリングを行うよう設定する。

そして、現在ロードノイズが大きい状態にあるかどうか、大きい状態にないと判定されるまで繰り返し調べ（ステップ３１２）、大きい状態にないと判定されたならば、前席音声処理部３２と後席音声処理部３３のハウリングキャンセラ３０４の動作の無効化を解除し（ステップ３１４）、ステップ３０４からの処理に進む。ここで、動作の無効化を解除されたハウリングキャンセラ３０４は、上述したハウリングを抑止する動作を再開する。

以上、制御部３１が行うアシスト特性切替処理について説明した。
このようなアシスト特性切替処理によれば、ロードノイズが大きくないときには、アシスト帯域を標準帯域（たとえば、1200Hz以下の帯域）として、ロードノイズが大きいときにはアシスト帯域を、標準帯域に含まれる低周波数帯域を含まず標準帯域よりも高周波数の帯域を含む高音帯域（たとえば、1kHzから10kHzまでの帯域帯域）として、前席音声処理部３２と後席音声処理部３３の動作を行う。

ここで、発話音声の収音や聞き取りを妨げるロードノイズが大きくないときには、アシスト帯域を低域の周波数帯域としても、自動車の前席のユーザと後席のユーザ間の発話によるコミュニケーションを充分に支援することができる。
また、ロードノイズが大きくないときには、サンプリング周波数が低いオーディオデータを対象としてエコーキャンセラ３０３やハウリングキャンセラ３０４等を動作させるので、信号処理プロセッサ３の処理負荷を小さく抑えることができる。
一方、ロードノイズが大きいときであっても、高域の音声は前席マイク１１や後席マイク２１で比較的良好に前席マイク１１や後席マイク２１でピックアップできると共に、ユーザも比較的良好に聞き取ることができる。
また、ロードノイズは、1kHzよりも低い低周波数帯域に集中するので、この低周波数帯域を処理の対象から除外し、高域の周波数帯域のみを対象として処理を行うことにより、エコーキャンセラ３０３やハウリングキャンセラ３０４の適応フィルタの適応動作の発散の発生は抑止される。

よって、ロードノイズが大きいときにアシスト帯域を標準帯域に含まれる低周波数帯域を含まず標準帯域よりも高周波数の帯域を含む高音帯域（たとえば、1kHzから10kHzまでの帯域帯域）とする本実施形態によれば、ロードノイズが大きいときにも、自動車の前席のユーザと後席のユーザ間の発話によるコミュニケーションを、可及的に良好に支援することができる。

また、本実施形態では、ロードノイズが大きいときには、サンプリング周波数が高いオーディオデータを対象としてエコーキャンセラ３０３等を動作させるため、その分、信号処理プロセッサ３の処理負荷は増えるが、その代わりに、ハウリングキャンセラ３０４の動作を無効化するので、信号処理プロセッサ３の処理負荷の増大は抑制することができる。

ここで、ロードノイズが大きいときには、外乱によりハウリング音がループする経路のS/Nが小さくなり、ハウリングが発生し難くなる。また、通常、スピーカは、高周波数帯域において指向性が高いため、高周波数帯域においてはハウリングが起こりにくい。

したがって、ロードノイズが大きく前席音声処理部３２と後席音声処理部３３で行う中継の対象とする周波数帯域を高音帯域としているときには、ハウリングキャンセラ３０４の動作を無効化しても大きな支障は生じない。
ここで、以上の実施形態における信号処理プロセッサ３の機能部として、ロードノイズをキャンセルするロードノイズキャンセラをさらに設けても良い。
すなわち、この場合には、たとえば、図４に示すように、加速度センサなどのロードノイズと相関する信号を検出するセンサ５の出力と、前席マイク１１の出力とを用いて、前席マイク１１の出力に含まれるロードノイズと相関する成分が最小化されるようにキャンセル音を生成し、後席音声処理部３３が出力するオーディオデータに付加して前席スピーカ１２に出力することにより、前席におけるロードノイズをキャンセルするロードノイズキャンセラ３４１と、センサ５の出力と、後席マイク２１の出力とを用いて、後席マイク２１の出力に含まれるロードノイズと相関する成分が最小化されるようにキャンセル音を生成し、前席音声処理部３２が出力するオーディオデータに付加して後席スピーカ２２に出力することにより、後席におけるロードノイズをキャンセルするロードノイズキャンセラ３４２を設ける。

ここで、ロードノイズキャンセラ３４１/３４２の構成としては、たとえば、図５ｃに示したロードノイズキャンセラ５４０の構成を用いることができる。
また、以上の実施形態では前席と後席での発話によるコミュニケーションの支援への適用を例にとり説明したが、以上の実施形態は、前席と後席以外の任意の座席の組み合わせにおいて、座席間の発話によるコミュニケーションを支援する場合にも同様に適用できる。

また、以上の各実施形態では、エリア数を２としたが、本実施形態は３以上のエリアに対応するように拡張して実施してよい。

３…信号処理プロセッサ、４…外部システム、１１…前席マイク、１２…前席スピーカ、２１…後席マイク、２２…後席スピーカ、３１…制御部、３２…前席音声処理部、３３…後席音声処理部、３０１…フィルタ、３０２…ダウンサンプリング部、３０３…エコーキャンセラ、３０４…ハウリングキャンセラ、３０５…アップサンプリング部。

Claims

自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムであって、
第１のエリアに配置されたマイクである第１エリアマイクと、
第２のエリアに配置されたスピーカである第２エリアスピーカと、
大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、
制御手段と、
前記第１エリアマイクでピックアップした音声を前記第２エリアスピーカに中継する音声処理部とを有し、
前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、前記音声処理部に、前記第１エリアマイクでピックアップした音声の、予め設定した周波数帯域である標準帯域の成分の抽出と、抽出した成分の前記第２エリアスピーカへの中継を行わせ、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記音声処理部に、前記第１エリアマイクでピックアップした音声の、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域の成分の抽出と、抽出した成分の前記第２エリアスピーカへの中継を行わせることを特徴とするコミュニケーション支援システム。
自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムであって、
第１のエリアに配置されたマイクである第１エリアマイクと、
第２のエリアに配置されたスピーカである第２エリアスピーカと、
大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、
制御手段と、
第１音声処理部とを有し、
前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、予め設定した周波数帯域である標準帯域を対象帯域に設定し、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域を対象帯域に設定し、
前記第１音声処理部は、前記第１エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第２エリアスピーカに出力し、
前記第１音声処理部は、
前記第１エリアマイクでピックアップした音声を表すオーディオデータを、前記対象帯域の上限の２倍のサンプリング周波数のオーディオデータにダウンサンプリングするダウンサンプリング手段と、
ダウンサンプリング手段がダウンサンプリングしたオーディオデータを入力として、当該入力したオーディオデータに含まれる、前記第２エリアスピーカから前記第１エリアマイクに回り込んだ成分をキャンセルするハウリングキャンセル処理を選択的に行い、当該ハウリングキャンセル処理を行ったオーディオデータを出力するハウリングキャンセル手段と、
前記ハウリングキャンセル手段が出力したオーディオデータをアップサンプリングして前記第２エリアスピーカに向けて出力するアップサンプリング手段とを有し、
前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、前記ハウリングキャンセル手段に前記ハウリングキャンセル処理を行わせ、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記ハウリングキャンセル手段の、前記ハウリングキャンセル処理を停止し、前記ハウリングキャンセル手段に入力したオーディオデータを、そのまま出力させることを特徴とするコミュニケーション支援システム。
自動車車内の第１のエリアのユーザと第２エリアのユーザとの間の発話によるコミュニケーションを支援するコミュニケーション支援システムであって、
第１のエリアに配置されたマイクである第１エリアマイクと、
第１のエリアに配置されたスピーカである第１エリアスピーカと、
第２のエリアに配置されたマイクである第２エリアマイクと、
第２のエリアに配置されたスピーカである第２エリアスピーカと、
大きなロードノイズが発生中であるかどうかを検出するロードノイズ検出手段と、
制御手段と、
第１音声処理部と、
第２音声処理部とを有し、
前記制御手段は、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出していない期間中、予め設定した周波数帯域である標準帯域を対象帯域に設定し、前記ロードノイズ検出手段が大きなロードノイズが発生中であることを検出している期間中、前記標準帯域の少なくとも低周側の帯域を含まず、前記標準帯域よりも高周波数の帯域を含む、予め設定した周波数帯域である高音帯域を対象帯域に設定し、
前記第１音声処理部は、前記第１エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第２エリアスピーカに出力し、
第２音声処理部は、前記第２エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第１エリアスピーカに出力し、
前記第１音声処理部は、
前記第１エリアマイクでピックアップした音声を表すオーディオデータを、前記対象帯域の上限の２倍のサンプリング周波数のオーディオデータにダウンサンプリングするダウンサンプリング手段と、
ダウンサンプリング手段がダウンサンプリングしたオーディオデータに含まれる、前記第１エリアスピーカから前記第１エリアマイクに回り込んだ成分をキャンセルするエコーキャンセル処理を行い、当該エコーキャンセル処理を行ったオーディオデータを出力するエコーキャンセル手段と、
前記エコーキャンセル手段が出力したオーディオデータをアップサンプリングして前記第２エリアスピーカに向けて出力するアップサンプリング手段を有することを特徴とするコミュニケーション支援システム。
請求項２記載のコミュニケーション支援システムであって、
第２のエリアに配置されたマイクである第２エリアマイクと、
第１のエリアに配置されたスピーカである第１エリアスピーカと、
第２音声処理部とを有し、
第２音声処理部は、前記第２エリアマイクでピックアップした音声の前記対象帯域の成分を抽出し、抽出した成分を表すオーディオデータを前記第１エリアスピーカに出力し、
前記第１音声処理部は、ダウンサンプリング手段がダウンサンプリングしたオーディオデータに含まれる、前記第１エリアスピーカから前記第１エリアマイクに回り込んだ成分をキャンセルするエコーキャンセル処理を行うエコーキャンセル手段を有することを特徴とするコミュニケーション支援システム。
請求項３または４記載のコミュニケーション支援システムであって、
第２エリアでロードノイズをキャンセルするキャンセル音を、前記第２エリアマイクでピックアップした音声に基づいて生成し、前記第１音声処理部が前記第２エリアスピーカに出力するオーディオデータに加算するロードノイズキャンセル手段を有することを特徴とするコミュニケーション支援システム。