JP2023012772A - 車内コミュニケーション支援システム - Google Patents

車内コミュニケーション支援システム Download PDF

Info

Publication number
JP2023012772A
JP2023012772A JP2021116442A JP2021116442A JP2023012772A JP 2023012772 A JP2023012772 A JP 2023012772A JP 2021116442 A JP2021116442 A JP 2021116442A JP 2021116442 A JP2021116442 A JP 2021116442A JP 2023012772 A JP2023012772 A JP 2023012772A
Authority
JP
Japan
Prior art keywords
seat
microphone
output
filter
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021116442A
Other languages
English (en)
Inventor
良輔 田地
Ryosuke Taji
仁幸 田口
Hitoyuki Taguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Alpine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Alpine Co Ltd filed Critical Alps Alpine Co Ltd
Priority to JP2021116442A priority Critical patent/JP2023012772A/ja
Priority to US17/858,248 priority patent/US11956604B2/en
Priority to EP22183438.5A priority patent/EP4120260A1/en
Priority to CN202210817389.3A priority patent/CN115610344A/zh
Publication of JP2023012772A publication Critical patent/JP2023012772A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Abstract

【課題】比較的効率的な構成でスピーカから出力する発話音声のＳＮ比を向上する「車内コミュニケーション支援システム」を提供する。【解決手段】右前席のユーザの音声を右前席音声として、右席処理部１１は、左前席のフットレストに配置された左前席マイクＰＬの出力中の右前席音声を右前席のフットレストの左側に位置する仮想のマイクである右席仮想マイクＰＶＲで収音した右前席音声に変換するフィルタＨＲ１１１、右前席のフットレストの右側に位置する右前席マイクＰＲの出力を遅延して出力する遅延部Ｚ-TR１１２、フィルタＨＲ１１１の出力中の右前席音声を抽出するフィルタＷＲＡ１１３、遅延部Ｚ-TR１１２の出力中の右前席音声を抽出するフィルタＷＲＢ１１４、フィルタＷＲＡ１１３とフィルタＷＲＢ１１４の出力を加算し右前席発話音声信号ＳＲとして出力する右加算器１１５を備えている。【選択図】図３

Description

本発明は、車内の発話によるコミュニケーションを支援する技術に関するものである。
車内の発話によるコミュニケーションを支援する技術としては、自動車の第１の座席に着座したユーザの発話音声をマイクで収音し、第２の座席のユーザが明瞭に聞き取れるようにゲインを調整した発話音声を、オーディオ装置が出力する音楽などの出力音と合成してスピーカから出力する技術が知られている（たとえば、特許文献１）。
また、複数のマイクの出力を、目的音の位相が一致するように遅延時間を調整して合成することにより、複数のマイクを高指向性のマイクとして機能させて、目的音のＳＮ比を向上するマイクロホンアレイの技術も知られている（たとえば、特許文献２）。
また、フィルタを用いて、第１の位置に配置したマイクで収音した目的音を、第２の位置にマイクが配置されていた場合に収音される目的音に変換する技術も知られている（たとえば、特許文献３）。
ここで、この技術では、事前に、第２の位置に実際にマイクを配置し、第１の位置に配置したマイクの出力と第２の位置に配置したマイクの出力との差が最小となる伝達関数を、適応フィルタを用いて求めて上記のフィルタの伝達関数として設定している。
特開２００２-５１３９２号公報 特開平１１-２３４７９０号公報 特開２００１-１４２４６９号公報
上述した車内の発話によるコミュニケーションを支援する技術によれば、スピーカから出力されたオーディオ装置の出力音が収音され、マイクの出力に混入すると、第１の座席のユーザの発話音声のＳＮ比が低下し、第２の座席のユーザが発話音声を聞き取りづらくなる。また、マイクに回りこんだオーディオ装置の出力音の遅延音がスピーカから出力されるため、残響が多くなり車内全体が飽和したような聴感となってしまう。
このような問題は、高指向性のマイクを用いて、第１の座席のユーザの発話音声をＳＮ比良く収音することにより軽減できる。
しかし、高指向性のマイクは、一般的に比較的大型で特異な形状を備えていることより、意匠上の制限や自動車への組み込み上の問題が生じる。一方、マイクロホンアレイを用いて高指向性のマイクを実現することは、マイクの数が増えることによるコスト増や、処理負荷の増大が生じ効率的ではない。
そこで、本発明は、ユーザの発話音声をマイクで収音し他のユーザに向けてスピーカから出力する車内コミュニケーション支援システムにおいて、比較的効率的な構成で、スピーカから出力する発話音声のＳＮ比を向上することを課題とする。
前記課題達成のために、本発明は、左右に並んだ座席である第１席と第２席と、前記第１座席と前記第２の座席と前後方向に並んだ座席である第３の座席とを有する自動車に搭載される、車内コミュニケーション支援システムに、前記第１座席の近くに配置されたマイクである第１マイクと、前記第２座席の近くに配置されたマイクである第２マイクと、前記第３座席に向けて音を出力するスピーカと、前記第１マイクの出力と前記第２マイクの出力を用いて前記スピーカに出力する前記第１座席のユーザの発話音声と前記第２座席のユーザの発話音声を生成する信号処理部とを設けたものである。ここで、前記信号処理部は、前記第１席のユーザの発話位置を音源位置とする音声を第１席音声として、前記第２マイクで収音した第１席音声を、前記第２マイクよりも前記第１席に近い位置にある仮想のマイクである第１席仮想マイクで収音した第１席音声に変換し出力する第１フィルタを備え、前記第１マイクの出力と前記第１フィルタの出力を用いて、前記第１マイクと前記第１席仮想マイクからなる、前記第１席のユーザの発話位置への指向性を前記第１マイクよりも高めた仮想のマイクロホンアレイの出力を、前記スピーカに出力する前記第１座席のユーザの発話音声として生成する。
また、前記課題達成のために、本発明は、左右に並んだ座席である第１席と第２席と、前記第１座席と前記第２の座席と前後方向に並んだ座席である第３の座席とを有する自動車に搭載される、車内コミュニケーション支援システムに、前記第１座席の近くに配置されたマイクである第１マイクと、前記第２座席の近くに配置されたマイクである第２マイクと、前記第３座席に向けて音を出力するスピーカと、前記第１マイクの出力と前記第２マイクの出力を用いて前記スピーカに出力する前記第１座席のユーザの発話音声と前記第２座席のユーザの発話音声を生成する信号処理部とを備えている。ここで、前記信号処理部は、前記第１席のユーザの発話位置を音源位置とする音声を第１席音声として、前記第２マイクで収音した第１席音声を、前記第２マイクよりも前記第１席に近い位置にある仮想のマイクである第１席仮想マイクで収音した第１席音声に変換し出力する第１フィルタと、前記第１フィルタの出力から第１席音声の成分を抽出し出力する第２フィルタと、前記第１マイクの出力を遅延し出力する遅延部と、前記遅延部の出力から第１席音声の成分を抽出し出力する第３フィルタと前記第２フィルタの出力と前記第３フィルタの出力を加算して前記スピーカに出力する前記第１座席のユーザの発話音声を生成する加算部とを備えており、前記遅延部は、前記第２フィルタが出力する第１席音声の成分と、前記第３フィルタが出力する第１席音声の成分との遅延時間が揃うように、前記第１マイクの出力を遅延する。
ここで、前記第１フィルタの伝達関数は、たとえば、事前に、前記第１座席のユーザの発話位置から所定のチューニング用音を出力しながら、前記第１席仮想マイクの位置に配置したマイクである第３マイクで収音し、第２マイクの出力を入力とする第１の適応フィルタの出力と、所定時間遅延させた前記第３マイクの出力との差分をエラーとして、当該第１の適応フィルタの適応動作を行わせ、収束した前記第１の適応フィルタの伝達関数を前記第１フィルタの伝達関数とすることにより設定してよい。
また、前記第２フィルタの伝達関数と前記第３フィルタの伝達関数は、たとえば、事前に、前記第１座席のユーザの発話位置から所定のチューニング用音を出力しながら、前記第１フィルタの出力を入力とする第２の適応フィルタの出力と、所定時間遅延させた前記第１マイクの出力との差分をエラーとして、当該第２の適応フィルタの適応動作を行わせ、収束した前記第２の適応フィルタの伝達関数を前記第２フィルタの伝達関数とし、前記所定時間遅延させた前記第１マイクの出力を入力とする第３の適応フィルタの出力と、前記第１フィルタの出力との差分をエラーとして、当該第３の適応フィルタの適応動作を行わせ、収束した前記第３の適応フィルタの伝達関数を前記第３フィルタの伝達関数とすることにより設定してよい。
また、以上の車内コミュニケーション支援システムは、前記第１マイクを、前記第１座席の左右方向の中央から前記第２座席と反対方向に所定距離離れた位置に配置し、前記第１席仮想マイクの位置は、前記第１座席の左右方向の中央から前記第２座席の方向に前記所定距離離れた位置としてもよい。
また、以上の車内コミュニケーション支援システムは、オーディオコンテンツの音を前記第３席に向けて出力するオーディオ装置を備えていてもよい。
このような車内コミュニケーション支援システムによれば、第１席用のマイクを追加することなく、第２席用に設けられている第２マイクを利用する効率的な構成で、第１席のユーザの発話位置方向への指向性を高め、スピーカから出力する第１席のユーザの発話音声のＳＮ比を向上することができる。また、信号処理部の各フィルタの伝達関数は固定であるので、処理負荷の増大も抑制される。
以上のように、本発明によれば、ユーザの発話音声をマイクで収音し他のユーザに向けてスピーカから出力する車内コミュニケーション支援システムにおいて、比較的効率的な構成で、スピーカから出力する発話音声のＳＮ比を向上することができる。
本発明の実施形態に係る車内コミュニケーション支援システムの構成を示すブロック図である。 本発明の実施形態に係る車内コミュニケーション支援システムのスピーカとマイクの配置を示す図である。 本発明の実施形態に係る信号処理部の構成を示すブロック図である。 本発明の実施形態に係る第１段階のチューニングの構成を示すブロック図である。 本発明の実施形態に係る学習用マイクと学習用スピーカの配置を示す図である。 本発明の実施形態に係る第２段階のチューニングの構成を示すブロック図である。
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る車内コミュニケーション支援システムの構成を示す。
車内コミュニケーション支援システムは、自動車に搭載されるシステムであり、図示するように、右前席マイクＰＲ、左前席マイクＰＬ、信号処理部１、オーディオ装置２、合成処理部３、制御部４、スピーカＳＰを備えている。
図２ａ１、ａ２に示すように、右前席マイクＰＲは自動車の右前席のフットレストの右側に、右前席に着座したユーザの発話音声を収音するように配置され、左前席マイクＰＬは自動車の左前席のフットレストの左側に、左前席に着座したユーザの発話音声を収音するように配置される。
また、スピーカＳＰは、後席に着座したユーザに向けて音を放射するように後席近くに配置されている。
信号処理部１は、右前席マイクＰＲの出力と左前席マイクＰＬの出力より、右前席のユーザの発話音声を右前席マイクＰＲより高ＳＮ比で表す右前席発話音声信号ＳＲと、左前席のユーザの発話音声を左前席マイクＰＬより高ＳＮ比で表す左前席発話音声信号ＳＬとを生成し、合成処理部３に出力する。
合成処理部３は、右前席発話音声信号ＳＲと、右前席発話音声信号ＳＲと、オーディオ装置２が出力する音楽などを表す出力音信号ＳＡとを、それぞれ、制御部４からの制御に従って合成しスピーカＳＰから出力する。
制御部４は、右前席発話音声信号ＳＲと左前席発話音声信号ＳＬとから、右前席のユーザの発話の有無と左前席のユーザの発話の有無とを監視する。
そして、制御部４は、右前席のユーザが発話中は、合成処理部３を、右前席発話音声信号ＳＲを所定のゲインで出力音信号ＳＡに合成してスピーカＳＰに出力するよう制御し、右前席のユーザが発話していないときには、合成処理部３を、右前席発話音声信号ＳＲをミュートして出力音信号ＳＡに合成しないように制御する。また、制御部４は、左前席のユーザが発話中は、合成処理部３を、左前席発話音声信号ＳＬを所定のゲインで出力音信号ＳＡに合成してスピーカＳＰに出力するよう制御し、左前席のユーザが発話していないときには、合成処理部３を、左前席発話音声信号ＳＬをミュートとして出力音信号ＳＡに合成しないように制御する。
ここで、制御部４は、右前席のユーザもしくは左前席のユーザが発話しているときには、合成処理部３に出力音信号ＳＡのゲインを小さくさせる制御を行っても良い。
次に、図３に信号処理部１の構成を示す。
図示するように、信号処理部１は、右前席マイクＰＲの出力と左前席マイクＰＬの出力より右前席発話音声信号ＳＲを生成する右席処理部１１と、左前席マイクＰＬの出力と右前席マイクＰＲの出力より左前席発話音声信号ＳＬを生成する左席処理部１２を備えている。
右前席のユーザの発話位置で発生した音声を右前席音声として、右席処理部１１は、左前席マイクＰＬの出力中の右前席音声を、図２ｂに示すように右前席のフットレストの左側に位置する仮想のマイクである右席仮想マイクＰＶＲで収音した右前席音声に変換するフィルタＨＲ１１１、右前席マイクＰＲの出力を遅延して出力し、当該出力中の右前席音声の遅延時間をフィルタＨＲ１１１の出力中の右前席音声の遅延時間と一致させる遅延部Ｚ-TR１１２、フィルタＨＲ１１１の出力中の右前席音声を抽出するフィルタＷＲＡ１１３、遅延部Ｚ-TR１１２の出力中の右前席音声を抽出するフィルタＷＲＢ１１４、フィルタＷＲＡ１１３とフィルタＷＲＢ１１４の出力を加算し右前席発話音声信号ＳＲとして出力する右加算器１１５を備えている。
ここで、右加算器１１５の加算により、右前席マイクＰＲの出力中の右前席音声と、右前席マイクＰＲと異なる位置にある右席仮想マイクＰＶＲで収音した右前席音声とが加算され、その他の音声成分が相殺されるので、右前席マイクＰＲと右席仮想マイクＰＶＲを用いた、右前席のユーザの発話位置方向への指向性を高めた仮想のマイクロホンアレイが形成され、仮想のマイクロホンアレイが出力する、右前席マイクＰＲの出力よりも右前席音声のＳＮ比が向上した右前席発話音声信号ＳＲがスピーカから出力される。
同様に、左前席のユーザの発話位置で発生した音声を左前席音声として、左席処理部１２は、右前席マイクＰＲの出力中の左前席音声を、図２ｂに示すように左前席のフットレストの右側に位置する仮想のマイクである左席仮想マイクＰＶＬで収音した左前席音声に変換するフィルタＨＬ１２１、左前席マイクＰＬの出力を遅延して出力し、当該出力中の左前席音声の遅延時間をフィルタＨＬ１２１の出力中の左前席音声の遅延時間と一致させる遅延部Ｚ-TL１２２、フィルタＨＬ１２１の出力中の左前席音声を抽出するフィルタＷＬＡ１２３、遅延部Ｚ-TL１２２の出力中の左前席音声を抽出するフィルタＷＬＢ１２４、フィルタＷＬＡ１２３とフィルタＷＬＢ１２４の出力を加算し左前席発話音声信号ＳＬとして出力する左加算器１２５を備えている。
ここで、左加算器１２５の加算により、左前席マイクＰＬの出力中の左前席音声と、左前席マイクＰＬと異なる位置にある左席仮想マイクＰＶＬで収音した左前席音声とが加算され、その他の音声成分が相殺されるので、左前席マイクＰＬと左席仮想マイクＰＶＬを用いた、左前席のユーザの発話位置方向への指向性を高めた仮想のマイクロホンアレイが形成され、仮想のマイクロホンアレイが出力する、左前席マイクＰＬの出力よりも左前席音声のＳＮ比が向上した左前席発話音声信号ＳＬがスピーカから出力される。
ここで、右席処理部１１の、フィルタＨＲ１１１、フィルタＷＲＡ１１３、フィルタＷＲＢ１１４の伝達関数（フィルタ係数）の設定は、予め、フィルタＨＲ１１１の伝達関数を算定する第１段階のチューニングと、フィルタＷＲＡ１１３とフィルタＷＲＢ１１４の伝達関数を算定する第２段階のチューニングを行うと共に、算定された各伝達関数をフィルタＨＲ１１１、フィルタＷＲＡ１１３、フィルタＷＲＢ１１４に設定することにより行う。
第１段階のチューニングは、図４に示す構成によって行う。
図示するように、この構成は、右前席スピーカＴＳＰＲ、右前席学習用マイクＴＰＲ、左前席マイクＰＬ、第１遅延部Ｚ-TA４１、第１加算器４２、第１適応フィルタ４３を備えている。また、第１適応フィルタ４３は、第１可変フィルタ４３１と、ＮＬＭＳなどの適応アルゴリズムにより第１可変フィルタ４３１の伝達関数（フィルタ係数）を更新する第１適応アルゴリズム実行部４３２を備えている。
ここで、図５ａ１、ａ２に示すように、右前席スピーカＴＳＰＲは、右前席のユーザの発話位置に配置したスピーカであり、右前席学習用マイクＴＰＲは、右前席のフットレストの左側、すなわち、右席仮想マイクＰＶＲの位置に配置したマイクである。
さて、第１段階のチューニングは、右前席スピーカＴＳＰＲから所定のチューニング用音声を出力しながら行う。
左前席マイクＰＬで収音した音声は、第１適応フィルタ４３の第１可変フィルタ４３１を通って第１加算器４２に出力される。第１遅延部Ｚ-TA４１は、右前席学習用マイクＴＰＲで収音した音声を遅延して出力し、当該出力中のチューニング用音声の遅延時間を、左前席マイクＰＬの出力中のチューニング用音声の遅延時間と一致させる。
第１加算器４２は、第１遅延部Ｚ-TA４１の出力から、第１可変フィルタ４３１の出力を減算してエラーｅ１として、第１適応フィルタ４３の第１適応アルゴリズム実行部４３２に出力する。
第１適応アルゴリズム実行部４３２は、ＮＬＭＳなどの適応アルゴリズムを実行し、エラーｅ１が最小となるように第１可変フィルタ４３１の伝達関数を更新する。
そして、以上の動作により第１可変フィルタ４３１の伝達関数が収束するのを待つ。第１可変フィルタ４３１の伝達関数が収束したならば、その伝達関数は、左前席マイクＰＬで収音した右前席のユーザの発話位置を音源位置とする音声を、右前席学習用マイクＴＰＲで収音した右前席のユーザの発話位置を音源位置とする音声と可及的に相関が強い（可及的に近似する）音声に変換するもの、すなわち、左前席マイクＰＬの出力中の右前席のユーザの発話位置を音源位置とする音声を、右席仮想マイクＰＶＬで収音した右前席のユーザの発話位置を音源位置とする音声に可及的に変換するものとなっているので、収束した可変フィルタの伝達関数をフィルタＨＲ１１１の伝達関数とする。
次に、第２段階のチューニングは、図６に示す構成によって行う。
図示するように、この構成は、右前席スピーカＴＳＰＲ、左前席マイクＰＬ、右前席マイクＰＲ、第２段階のチューニングで求めた伝達関数を設定したフィルタＨＲ１１１、第２遅延部Ｚ-TB６１、第２適応フィルタ６２、第３適応フィルタ６３、第２加算器６４、第３加算器６５を備えている。
また、第２適応フィルタ６２は、第２可変フィルタ６２１と、ＬＭＳなどの適応アルゴリズムにより第２可変フィルタ６２１の伝達関数（フィルタ係数）を更新する第２適応アルゴリズム実行部６２２を備え、第３適応フィルタ６３は、第３可変フィルタ６３１と、ＬＭＳなどの適応アルゴリズムにより第３可変フィルタ６３１の伝達関数（フィルタ係数）を更新する第３適応アルゴリズム実行部６３２を備えている。
第２段階のチューニングは、右前席スピーカＴＳＰＲから所定のチューニング用音声を出力しながら行う。
左前席マイクＰＬで収音した音声は、フィルタＨＲ１１１、第２適応フィルタ６２の第２可変フィルタ６２１を通って第２加算器６４に出力される。第２遅延部Ｚ-TB６１は、右前席マイクＰＲで収音した音声を遅延して出力し、当該出力中のチューニング用音声の遅延時間を、左前席マイクＰＬの出力中のチューニング用音声の遅延時間と一致させる。そして、第２遅延部Ｚ-TB６１の出力は、第３適応フィルタ６３の第３可変フィルタ６３１を通って第３加算器６５に出力される。
第２加算器６４は、第１遅延部Ｚ-TBの出力から、第２可変フィルタ６２１の出力を減算してエラーｅ２として、第２適応フィルタ６２の第２適応アルゴリズム実行部６２２に出力する。
第２適応アルゴリズム実行部６２２は、ＬＭＳなどの適応アルゴリズムを実行し、エラーｅ２が最小となるように第２可変フィルタ６２１の伝達関数を更新する。
第３加算器６５は、フィルタＨＲ１１１の出力から、第３可変フィルタ６３１の出力を減算してエラーｅ３として、第３適応フィルタ６３の第３適応アルゴリズム実行部６３２に出力する。
第３適応アルゴリズム実行部６３２は、ＬＭＳなどの適応アルゴリズムを実行し、エラーｅ３が最小となるように第３可変フィルタ６３１の伝達関数を更新する。
そして、以上の動作による第２可変フィルタ６２１の伝達関数と第３可変フィルタ６３１の伝達関数の収束を待ち、収束した第２可変フィルタ６２１の伝達関数をフィルタＷＲＡ１１３の伝達関数とし、収束した第３可変フィルタ６３１の伝達関数をフィルタＷＲＢ１１４の伝達関数とする。
ここで、第２可変フィルタ６２１の伝達関数と第３可変フィルタ６３１の伝達関数が収束した状態で、第２可変フィルタ６２１の伝達関数は、右席仮想マイクＰＶＬで収音した音声から、右前席マイクＰＲで収音した音声と最も相関する成分を抽出するものとなっており、第３可変フィルタ６３１の伝達関数は、右前席マイクＰＲで収音した音声から、右席仮想マイクＰＶＬで収音した音声と最も相関する成分を抽出するものとなっており、最も相関する成分は、右前席のユーザの発話位置を音源位置とするチューニング用音声の成分であるので、第２可変フィルタ６２１の伝達関数は、右席仮想マイクＰＶＬで収音した音声から右前席のユーザの発話位置を音源位置とする音声を抽出する伝達関数となっており、第３可変フィルタ６３１の伝達関数は、右右前席マイクＰＲで収音した音声から右前席のユーザの発話位置を音源位置とする音声を抽出する伝達関数となっている。
次に、右左席処理部のフィルタＨＬ１２１、フィルタＷＬＡ１２３、フィルタＷＬＢ１２４の伝達関数（フィルタ係数）の設定も、同様に、予め、フィルタＨＬ１２１の伝達関数を算定する第１段階のチューニングと、フィルタＷＬＡ１２３とフィルタＷＬＢ１２４の伝達関数を算定する第２段階のチューニングを行うと共に、算定された各伝達関数をフィルタＨＬ１２１、フィルタＷＬＡ１２３、フィルタＷＬＢ１２４に設定することにより行う。
左席処理部１２の各フィルタの伝達関数を算定する第１段階のチューニングと第２段階のチューニングの内容は、上述した右席処理部１１の各フィルタの伝達関数を算定する第１段階のチューニングと第２段階のチューニングの説明中の「左」と「右」を置換し、「Ｒ」と「Ｌ」を置換したものとなる。したがって、図５ｂ１、ｂ２に示すように、左席処理部１２のフィルタＨＬ１２１、フィルタＷＬＡ１２３、フィルタＷＬＢ１２４の伝達関数の算定において用いる左前席スピーカＴＳＰＬは、左前席のユーザの発話位置に配置したスピーカとなり、左前席学習用マイクＴＰＬは、左前席のフットレストの右側、すなわち、左席仮想マイクＰＶＬの位置に配置したマイクとなる。
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、各席用のマイクを追加することなく、当該席のマイクに加え他席用に設けられているマイクを利用する効率的な構成で、当該席のユーザの発話位置方向への指向性を高め、スピーカから出力するユーザの発話音声のＳＮ比を向上することができる。また、信号処理部１の各フィルタの伝達関数は固定であるので、処理負荷の増大も抑制される。
なお、以上の車内コミュニケーション支援システムに、右前席マイクＰＲや左前席マイクＰＬで収音された、スピーカに出力した発話音声の成分をキャンセルするエコーキャンセラ等の適応フィルタを用いた他の信号処理部を設けてもよい。このようにしても、信号処理部１の各フィルタの伝達関数を固定としているので、他の信号処理部の動作が適応フィルタと干渉してしまうことはない。
１…信号処理部、２…オーディオ装置、３…合成処理部、４…制御部、１１…右席処理部、１２…左席処理部、４１…第１遅延部Ｚ-TA、４２…第１加算器、４３…第１適応フィルタ、６１…第２遅延部Ｚ-TB、６２…第２適応フィルタ、６３…第３適応フィルタ、６４…第２加算器、６５…第３加算器、１１１…フィルタＨＲ、１１２…遅延部Ｚ-TR、１１３…フィルタＷＲＡ、１１４…フィルタＷＲＢ、１１５…右加算器、１２１…フィルタＨＬ、１２２…遅延部Ｚ-TL、１２３…フィルタＷＬＡ、１２４…フィルタＷＬＢ、１２５…左加算器、４３１…第１可変フィルタ、４３２…第１適応アルゴリズム実行部、６２１…第２可変フィルタ、６２２…第２適応アルゴリズム実行部、６３１…第３可変フィルタ、６３２…第３適応アルゴリズム実行部、ＰＲ…右前席マイク、ＰＬ…左前席マイク、ＳＰ…スピーカ、ＴＰＲ…右前席学習用マイク、ＴＰＬ…左前席学習用マイク、ＴＳＰＬ…左前席スピーカ。

Claims (6)

  1. 左右に並んだ座席である第１席と第２席と、前記第１座席と前記第２の座席と前後方向に並んだ座席である第３の座席とを有する自動車に搭載される、車内コミュニケーション支援システムであって、
    前記第１座席の近くに配置されたマイクである第１マイクと、
    前記第２座席の近くに配置されたマイクである第２マイクと、
    前記第３座席に向けて音を出力するスピーカと、
    前記第１マイクの出力と前記第２マイクの出力を用いて前記スピーカに出力する前記第１座席のユーザの発話音声と前記第２座席のユーザの発話音声を生成する信号処理部とを有し、
    前記信号処理部は、
    前記第１席のユーザの発話位置を音源位置とする音声を第１席音声として、
    前記第２マイクで収音した第１席音声を、前記第２マイクよりも前記第１席に近い位置にある仮想のマイクである第１席仮想マイクで収音した第１席音声に変換し出力する第１フィルタを備え、
    前記第１マイクの出力と前記第１フィルタの出力を用いて、前記第１マイクと前記第１席仮想マイクからなる、前記第１席のユーザの発話位置への指向性を前記第１マイクよりも高めた仮想のマイクロホンアレイの出力を、前記スピーカに出力する前記第１座席のユーザの発話音声として生成することを特徴とする車内コミュニケーション支援システム。
  2. 左右に並んだ座席である第１席と第２席と、前記第１座席と前記第２の座席と前後方向に並んだ座席である第３の座席とを有する自動車に搭載される、車内コミュニケーション支援システムであって、
    前記第１座席の近くに配置されたマイクである第１マイクと、
    前記第２座席の近くに配置されたマイクである第２マイクと、
    前記第３座席に向けて音を出力するスピーカと、
    前記第１マイクの出力と前記第２マイクの出力を用いて前記スピーカに出力する前記第１座席のユーザの発話音声と前記第２座席のユーザの発話音声を生成する信号処理部とを有し、
    前記信号処理部は、
    前記第１席のユーザの発話位置を音源位置とする音声を第１席音声として、
    前記第２マイクで収音した第１席音声を、前記第２マイクよりも前記第１席に近い位置にある仮想のマイクである第１席仮想マイクで収音した第１席音声に変換し出力する第１フィルタと、
    前記第１フィルタの出力から第１席音声の成分を抽出し出力する第２フィルタと、
    前記第１マイクの出力を遅延し出力する遅延部と、
    前記遅延部の出力から第１席音声の成分を抽出し出力する第３フィルタと
    前記第２フィルタの出力と前記第３フィルタの出力を加算して前記スピーカに出力する前記第１座席のユーザの発話音声を生成する加算部とを有し、
    前記遅延部は、前記第２フィルタが出力する第１席音声の成分と、前記第３フィルタが出力する第１席音声の成分との遅延時間が揃うように、前記第１マイクの出力を遅延することを特徴とする車内コミュニケーション支援システム。
  3. 請求項１または２記載の車内コミュニケーション支援システムであって、
    前記第１フィルタの伝達関数は、事前に、
    前記第１座席のユーザの発話位置から所定のチューニング用音を出力しながら、前記第１席仮想マイクの位置に配置したマイクである第３マイクで収音し、第２マイクの出力を入力とする第１の適応フィルタの出力と、所定時間遅延させた前記第３マイクの出力との差分をエラーとして、当該第１の適応フィルタの適応動作を行わせ、収束した前記第１の適応フィルタの伝達関数を前記第１フィルタの伝達関数とする
    ことにより設定されていることを特徴とする車内コミュニケーション支援システムのチューニング方法。
  4. 請求項２記載の車内コミュニケーション支援システムであって、
    前記第２フィルタの伝達関数と前記第３フィルタの伝達関数は、事前に、
    前記第１座席のユーザの発話位置から所定のチューニング用音を出力しながら、前記第１フィルタの出力を入力とする第２の適応フィルタの出力と、所定時間遅延させた前記第１マイクの出力との差分をエラーとして、当該第２の適応フィルタの適応動作を行わせ、収束した前記第２の適応フィルタの伝達関数を前記第２フィルタの伝達関数とし、前記所定時間遅延させた前記第１マイクの出力を入力とする第３の適応フィルタの出力と、前記第１フィルタの出力との差分をエラーとして、当該第３の適応フィルタの適応動作を行わせ、収束した前記第３の適応フィルタの伝達関数を前記第３フィルタの伝達関数とする
    ことにより設定されていることを特徴とする車内コミュニケーション支援システム。
  5. 請求項１、２、３または４記載の車内コミュニケーション支援システムであって、
    前記第１マイクは、前記第１座席の左右方向の中央から前記第２座席と反対方向に所定距離離れた位置に配置されており、
    前記第１席仮想マイクの位置は、前記第１座席の左右方向の中央から前記第２座席の方向に前記所定距離離れた位置であることを特徴とする車内コミュニケーション支援システム。
  6. 請求項１、２、３、４または５記載の車内コミュニケーション支援システムであって、
    オーディオコンテンツの音を前記第３席に向けて出力するオーディオ装置を備えていることを特徴とする車内コミュニケーション支援システム。
JP2021116442A 2021-07-14 2021-07-14 車内コミュニケーション支援システム Pending JP2023012772A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021116442A JP2023012772A (ja) 2021-07-14 2021-07-14 車内コミュニケーション支援システム
US17/858,248 US11956604B2 (en) 2021-07-14 2022-07-06 In-vehicle communication support system
EP22183438.5A EP4120260A1 (en) 2021-07-14 2022-07-06 In-vehicle communication support system
CN202210817389.3A CN115610344A (zh) 2021-07-14 2022-07-12 车内交流辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021116442A JP2023012772A (ja) 2021-07-14 2021-07-14 車内コミュニケーション支援システム

Publications (1)

Publication Number Publication Date
JP2023012772A true JP2023012772A (ja) 2023-01-26

Family

ID=82399386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021116442A Pending JP2023012772A (ja) 2021-07-14 2021-07-14 車内コミュニケーション支援システム

Country Status (4)

Country Link
US (1) US11956604B2 (ja)
EP (1) EP4120260A1 (ja)
JP (1) JP2023012772A (ja)
CN (1) CN115610344A (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344647B2 (ja) 1998-02-18 2002-11-11 富士通株式会社 マイクロホンアレイ装置
DE19938158C1 (de) * 1999-08-16 2001-01-11 Daimler Chrysler Ag Verfahren und Vorrichtung sowie ihre Verwendung zur Kompensation von Verlusten eines akustischen Signals
JP2001142469A (ja) 1999-11-15 2001-05-25 Yanmar Diesel Engine Co Ltd アクティブ消音装置
JP2002051392A (ja) 2000-08-01 2002-02-15 Alpine Electronics Inc 車内会話補助装置
WO2002032356A1 (en) * 2000-10-19 2002-04-25 Lear Corporation Transient processing for communication system
EP1850640B1 (en) * 2006-04-25 2009-06-17 Harman/Becker Automotive Systems GmbH Vehicle communication system
US8731211B2 (en) * 2008-06-13 2014-05-20 Aliphcom Calibrated dual omnidirectional microphone array (DOMA)
US9641934B2 (en) * 2012-01-10 2017-05-02 Nuance Communications, Inc. In-car communication system for multiple acoustic zones
US20170011753A1 (en) * 2014-02-27 2017-01-12 Nuance Communications, Inc. Methods And Apparatus For Adaptive Gain Control In A Communication System
US20160119712A1 (en) * 2014-10-28 2016-04-28 GM Global Technology Operations LLC System and method for in cabin communication
US9947334B2 (en) * 2014-12-12 2018-04-17 Qualcomm Incorporated Enhanced conversational communications in shared acoustic space
US10002601B2 (en) * 2015-12-30 2018-06-19 Qualcomm Incorporated In-vehicle communication signal processing
JP7083576B2 (ja) * 2018-07-13 2022-06-13 アルパイン株式会社 能動型騒音制御システム及び車載オーディオシステム
JP6635394B1 (ja) * 2019-01-29 2020-01-22 パナソニックＩｐマネジメント株式会社 音声処理装置および音声処理方法
WO2021100670A1 (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
US11546689B2 (en) * 2020-10-02 2023-01-03 Ford Global Technologies, Llc Systems and methods for audio processing

Also Published As

Publication number Publication date
US20230018804A1 (en) 2023-01-19
EP4120260A1 (en) 2023-01-18
CN115610344A (zh) 2023-01-17
US11956604B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN108275159B (zh) 语音界面和声乐娱乐系统
US8175290B2 (en) Feedback reduction system
EP1637007B1 (en) Method and system for calibrating microphones
JP2002374589A (ja) 雑音低減のための方法
JP2002502576A (ja) キャビンコミュニケーションシステム
JP2007312364A (ja) 音響信号処理における均等化
JP4402636B2 (ja) オーディオ装置
JP2023012772A (ja) 車内コミュニケーション支援システム
EP3672283B1 (en) Method for improving the spatial hearing perception of a binaural hearing aid
WO2014184866A1 (ja) エコー消去装置
JP4977551B2 (ja) 能動型騒音制御装置
US20220189450A1 (en) Audio processing system and audio processing device
JP7259092B2 (ja) モジュール式エコーキャンセルユニット
JP7449182B2 (ja) 車内コミュニケーション支援システム
JP2012120133A (ja) 相関低減方法、音声信号変換装置および音響再生装置
CN112514416A (zh) 拾音扩音装置、其方法以及程序
EP3933837B1 (en) In-vehicle communication support system
JP7486153B2 (ja) 音声処理装置および音声処理方法
WO2023214571A1 (ja) ビームフォーミング方法、ビームフォーミングシステム
US20230319480A1 (en) Sound field control device and filter determination system
CN117995211A (zh) 语音交流补偿方法、装置、汽车、电子设备及存储介质
JPH06118967A (ja) 適応型雑音低減装置
JP2023124023A (ja) コミュニケーション支援システム
JP2023170080A (ja) 能動型騒音制御システム
JPH05344011A (ja) 雑音低減方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240221