JP2023180483A - マイクシステム - Google Patents

マイクシステム Download PDF

Info

Publication number
JP2023180483A
JP2023180483A JP2022093838A JP2022093838A JP2023180483A JP 2023180483 A JP2023180483 A JP 2023180483A JP 2022093838 A JP2022093838 A JP 2022093838A JP 2022093838 A JP2022093838 A JP 2022093838A JP 2023180483 A JP2023180483 A JP 2023180483A
Authority
JP
Japan
Prior art keywords
sound
threshold
microphone
microphone system
snr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022093838A
Other languages
English (en)
Inventor
友貴 種村
Tomoki Tanemura
剛史 高沢
Takashi Takazawa
義規 土屋
Yoshinori Tsuchiya
正明 川内
Masaaki Kawauchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Mirise Technologies Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Mirise Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp, Mirise Technologies Corp filed Critical Denso Corp
Priority to JP2022093838A priority Critical patent/JP2023180483A/ja
Priority to US18/320,656 priority patent/US20230402049A1/en
Publication of JP2023180483A publication Critical patent/JP2023180483A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】音声認識率の低下を抑制するマイクシステムを提供する。【解決手段】マイクシステムは、少なくとも１つのマイクロフォン４５に音を集音させる。また、マイクシステムは、マイクロフォン４５が配置されている音響空間Ｓｂにて反射される音に関する値ΔＴｒに基づいて、マイクロフォン４５にて集音された音データに含まれる音の種類を、音響空間Ｓｂにいる人の音声の種類と、音声以外であるノイズの種類とに分類する。さらに、マイクシステムは、この分類した音声に関するデータを音声認識装置に出力する。【選択図】図２

Description

本開示は、マイクシステムに関するものである。
従来、特許文献１に記載されているように、対象物の座標および特徴に基づいて、マイクアレイによって取得される音響信号から、対象物からの音響信号を分離する集音処理装置が知られている。
特開２０２１－１２３１４号公報
発明者等の検討によれば、特許文献１に記載された集音処理装置は、対象物の座標および特徴に基づいて対象物からの音響信号を分離するところ、対象物がいる空間にて生じる反射音等の空間によるノイズが考慮されていない。このため、対象物からの音に関するＳＮＲが低下する。これにより、対象物が、例えば、人であるとき、音声に関するＳＮＲが低下するため、対象者に関する音声認識率が低下する。なお、ＳＮＲは、Signal Noise Ratioの略であって、ノイズに対する信号の比である。また、音声認識率は、実際に話した内容の文章と、音声から文字に変換されたときの文章との合致度である。
本開示は、音声認識率の低下を抑制するマイクシステムを提供することを目的とする。
請求項１に記載の発明は、少なくとも１つのマイクロフォン（４５）に音を集音させる集音部（Ｓ４０２）と、マイクロフォンが配置されている空間である音響空間（Ｓｂ）にて反射される音に関する値（ΔＴｒ）に基づいて、マイクロフォンにて集音された音に関するデータである音データに含まれる音の種類を、音響空間にいる人の音声の種類と、音声以外の音であるノイズの種類とに分類するクラスタリング部（Ｓ４０４）と、分類した音声に関するデータを音声認識装置（２０）に出力する出力部（Ｓ４１２）と、を備えるマイクシステムである。
これにより、音響空間にて生じる反射音によるノイズが考慮されて、マイクロフォンにて集音された音から乗員の音声が分類される。このため、分類された音声に含まれるノイズが抑制されることから、音声に関するＳＮＲの低下が抑制される。したがって、音声認識率の低下が抑制される。
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。
第１実施形態のマイクシステムが用いられる車両の構成図。 車両の車室内の音響空間を示す模式図。 マイクシステムの演算装置の構成図。 演算装置の乗員推定部の処理を示すフローチャート。 演算装置の空間推定部の処理を示すフローチャート。 演算装置の車両状態推定部の処理を示すフローチャート。 演算装置のＳＮＲ推定部の処理を示すフローチャート。 発話および各ノイズと音圧との関係を示す図。 周波数および音圧によるクラスタリングを示す図。 ＳＮＲおよび音声認識率の関係を示す図。 マイクロフォンの数およびＳＮＲの関係を示す図。 ノイズの音圧および数とマイクロフォンの数と音声音圧とＳＮＲと応答性との関係図を示す図。 第２、第３実施形態のマイクシステムにおける演算装置の空間推定部の処理を示すフローチャート 第４実施形態のマイクシステムが用いられる車両の構成図。 車両の車室内の音響空間を示す模式図。
以下、実施形態について図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付し、その説明を省略する。
（第１実施形態）
本実施形態のマイクシステム３０は、例えば、車両５に用いられる。まず、この車両５について説明する。
車両５は、図１に示すように、車両システム１０およびマイクシステム３０を備える。車両システム１０は、オーディオ１２、エアコン１４、車速センサ１６、路面センサ１８および音声認識装置２０等を備える。
オーディオ１２は、記録された音源を読み取り、読み取った信号を増幅させる。また、オーディオ１２は、この増幅させた信号に対応する音を車室内に発する。さらに、オーディオ１２は、この車室内に発する音の音圧に応じた信号を後述のマイクシステム３０に出力する。
エアコン１４は、空調装置であって、図示しないフェイス吹出口、フット吹出口、デフロスタ吹出口および送風機等を有する。また、エアコン１４は、車室内の温度および湿度を調整するための空気を図示しないフェイス吹出口、フット吹出口およびデフロスタ吹出口から車室内に向かって送風する。また、エアコン１４は、吹出口モードを示す信号および送風する風量に応じた信号を後述のマイクシステム３０に出力する。なお、フェイス吹出口は、図２に示す車室内の座席６の背もたれ部またはヘッドレストを向いて開口しており、図示しないフェイス吹出口用ドアにより開閉される。フット吹出口は、車室内の座席６の座部またはこの座部の下側を向いて開口しており、図示しないフット吹出口用ドアにより開閉される。デフロスタ吹出口は、車両５の図示しないフロントウィンドウの内面を向いて開口しており、図示しないデフロスタ吹出口用ドアにより開閉される。吹出口モードは、フェイス吹出口、フット吹出口およびデフロスタ吹出口の開閉状態である。
車速センサ１６は、車速を検出し、検出した車速に応じた信号を後述のマイクシステム３０に出力する。なお、車速は、車両５の速さである。
路面センサ１８は、車外カメラやＬｉｄａｒ等を用いることにより、車両５が走行する路面の状態を検出する。例えば、路面センサ１８は、車外カメラによって撮像された画像とパターンマッチングとを用いて、車両５が走行する路面の凹凸を検出することにより、車両５が走行する路面の状態を検出する。また、例えば、路面センサ１８は、Ｌｉｄａｒを用いて、車両５が走行する路面の表面粗さを検出することにより、車両５が走行する路面の状態を検出する。そして、路面センサ１８は、検出した路面状態に応じた信号を後述のマイクシステム３０に出力する。なお、Ｌｉｄａｒは、Light detection and rangingの略である。表面粗さは、例えば、２乗平均平方根高さ、最大山高さ、最大谷高さ、最大高さおよび算出平均高さ等である。
音声認識装置２０は、音声認識エンジン等を用いることにより、後述のマイクシステム３０から出力された音声データを文字データに変換する。また、音声認識装置２０は、例えば、変換した文字データに応じた信号を図示しないディスプレイに出力する。これにより、車室内の乗員の音声に対応する文字が図示しないディスプレイに表示されるとともに、車両５内の図示しない各種システムに文字列に応じた動作をさせる。
マイクシステム３０は、マイクアレイ４０、センサ群５０および演算装置６０を備える。マイクアレイ４０は、図２に示すように、複数配列されたマイクロフォン４５を有することにより集音する。
図１に戻って、センサ群５０は、乗員センサ５２および環境センサ５４を有する。乗員センサ５２は、重量センサ、車内カメラや超音波センサ等を含む。例えば、乗員センサ５２は、座席６に取り付けられた重量センサから車室内の乗員が座席６に座っていることを検出する。また、乗員センサ５２は、車内カメラによって撮像された画像および画像認識や超音波センサから照射される超音波の送受信波を用いる。これらにより、乗員センサ５２は、車室内の乗員位置および乗員人数を検出する。そして、乗員センサ５２は、これらの検出した車室内の乗員位置および乗員人数に応じた信号を後述のマイクシステム３０に出力する。なお、超音波は、周波数が２０ｋＨｚ以上の音波である。また、車室内の乗員位置は、例えば、絶対座標系における乗員の口の位置である。さらに、絶対座標系の基準位置は、例えば、車両５の重心である。
環境センサ５４は、車内カメラや窓開閉センサ等を含む。例えば、環境センサ５４は、環境センサ５４は、車内カメラによって撮像された画像と画像認識とを用いることにより、車室内の音響空間Ｓｂの大きさと、車室内における乗員以外の物の位置、種類および大きさとを検出する。さらに、環境センサ５４は、窓開閉センサを用いることにより、ウィンドウ開度を検出する。そして、環境センサ５４は、これらの検出した車室内の空間の大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とに応じた信号を後述のマイクシステム３０に出力する。なお、車室内における乗員以外の物は、例えば、座席６である。ウィンドウ開度は、車両５のサイドウィンドウの開度である。
演算装置６０は、マイコン等を主体として構成されており、ＣＰＵ、ＲＯＭ、フラッシュメモリ、ＲＡＭ、Ｉ／Ｏ、駆動回路、Ａ／Ｄコンバータおよびこれらの構成を接続するバスライン等を備えている。また、演算装置６０は、図３に示すように、乗員推定部６２、空間推定部６４、車両状態推定部６６およびＳＮＲ推定部６８を機能ブロックとして備えている。
乗員推定部６２は、ＲＯＭに記憶されたプログラムを実行することにより、乗員センサ５２からの信号に基づいて、車室内の乗員位置および乗員人数を推定する。なお、乗員推定部６２の処理の詳細については、後述する。
空間推定部６４は、ＲＯＭに記憶されたプログラムを実行することにより、環境センサ５４からの信号に基づいて、車室内の空間状態を推定する。なお、空間推定部６４の詳細については、後述する。
車両状態推定部６６は、ＲＯＭに記憶されたプログラムを実行することにより、車両システム１０からの信号に基づいて、車両５の状態を推定する。なお、車両状態推定部６６の詳細については、後述する。
ＳＮＲ推定部６８は、集音部、クラスタリング部および出力部に対応する。ＳＮＲ推定部６８は、ＲＯＭに記憶されたプログラムを実行することにより、乗員推定部６２、空間推定部６４および車両状態推定部６６からの信号に基づいて、車室内の乗員の音声データを生成するとともにＳＮＲを算出する。また、ＳＮＲ推定部６８は、この算出したＳＮＲが不十分な値であるとき、集音させるマイクロフォン４５を再度選定する。さらに、ＳＮＲ推定部６８は、この算出したＳＮＲが十分な値であるとき、生成した音声データを後述の音声認識装置２０に出力する。なお、ＳＮＲ推定部６８の詳細については、後述する。
以上のように、車両５は、構成されている。この車両５に用いられるマイクシステム３０は、車室内の音声を認識するとともに、音声認識率の低下を抑制する。次に、マイクシステム３０による車室内の音声認識を説明するため、乗員推定部６２、空間推定部６４、車両状態推定部６６およびＳＮＲ推定部６８のプログラムが実行されたときの各処理について説明する。まず、乗員推定部６２の処理について、図４のフローチャートを参照して説明する。なお、乗員推定部６２のプログラムは、例えば、車両５のイグニッションがオンされたとき、実行される。また、乗員推定部６２のステップＳ１００の処理が開始されてからステップＳ１００の処理に戻るまでの一連の動作の期間を乗員推定部６２の制御周期とする。
ステップＳ１００において、乗員推定部６２は、車室内の乗員位置および乗員人数に応じた信号を乗員センサ５２から取得する。
続いて、ステップＳ１０２において、乗員推定部６２は、ステップＳ１００にて取得した信号から、車室内の乗員位置および乗員人数を推定する。また、乗員推定部６２は、この推定した車室内の乗員位置および乗員人数に応じた信号をＳＮＲ推定部６８に出力する。その後、乗員推定部６２の処理は、ステップＳ１００に戻る。
以上のように、乗員推定部６２は、処理を行う。次に、空間推定部６４の処理について、図５のフローチャートを参照して説明する。なお、空間推定部６４のプログラムは、例えば、車両５のイグニッションがオンされたとき、実行される。また、空間推定部６４のステップＳ２００の処理が開始されてからステップＳ２００の処理に戻るまでの一連の動作の期間を空間推定部６４の制御周期とする。
ステップＳ２００において、空間推定部６４は、車室内の空間の大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とに応じた信号を環境センサ５４から取得する。
続いて、ステップＳ２０２において、空間推定部６４は、ステップＳ２００にて取得した信号から、車室内の音響空間Ｓｂの大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とを推定する。これにより、空間推定部６４は、車室内の音響空間Ｓｂの状態を推定する。また、空間推定部６４は、この推定した車室内の音響空間Ｓｂの状態に応じた信号をＳＮＲ推定部６８に出力する。その後、空間推定部６４の処理は、ステップＳ２００に戻る。
以上のように、空間推定部６４は、処理を行う。次に、車両状態推定部６６の処理について、図６のフローチャートを参照して説明する。なお、車両状態推定部６６のプログラムは、例えば、車両５のイグニッションがオンされたとき、実行される。また、車両状態推定部６６のステップＳ３００の処理が開始されてからステップＳ３００の処理に戻るまでの一連の動作の期間を車両状態推定部６６の制御周期とする。
ステップＳ３００において、車両状態推定部６６は、オーディオ１２の状態、エアコン１４の状態、車両５の速度および車両５が走行する路面の状態に応じた信号を車両システム１０から取得する。具体的には、車両状態推定部６６は、オーディオ１２による音の音圧に応じた信号をオーディオ１２から取得する。また、車両状態推定部６６は、吹出口モードを示す信号および送風する風量に応じた信号をエアコン１４から取得する。さらに、車両状態推定部６６は、車速に応じた信号を車速センサ１６から取得する。また、車両状態推定部６６は、車両５が走行する路面の状態に応じた信号を路面センサ１８から取得する。
続いて、ステップＳ３０２において、車両状態推定部６６は、ステップＳ３００にて取得した信号から、オーディオ１２の状態、エアコン１４の状態、車両５の速度および車両５が走行する路面の状態を推定する。これにより、車両状態推定部６６は、車両５の状態を推定する。また、車両状態推定部６６は、この推定したオーディオ１２の状態、エアコン１４の状態、車両５の速度および車両５が走行する路面の状態に応じた信号をＳＮＲ推定部６８に出力する。
以上のように、車両状態推定部６６は、処理を行う。次に、ＳＮＲ推定部６８の処理について、図７のフローチャートを参照して説明する。なお、ＳＮＲ推定部６８のプログラムは、例えば、車両５のイグニッションがオンされたとき、実行される。また、ＳＮＲ推定部６８のステップＳ４００の処理が開始されてからステップＳ４００の処理に戻るまでの一連の動作の期間をＳＮＲ推定部６８の制御周期とする。
ステップＳ４００において、ＳＮＲ推定部６８は、各種情報を取得する。具体的には、ＳＮＲ推定部６８は、車室内の乗員位置および乗員人数に応じた信号を乗員推定部６２から取得する。また、ＳＮＲ推定部６８は、車室内の音響空間Ｓｂの大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とに応じた信号を空間推定部６４から取得する。さらに、ＳＮＲ推定部６８は、オーディオ１２の音圧、吹出口モード、エアコン１４の風量、車速および車両５が走行する路面の状態に応じた信号を車両状態推定部６６から取得する。
続いて、ステップＳ４０２において、ＳＮＲ推定部６８は、予め選定したマイクロフォン４５または後述のステップＳ４１０にて選定したマイクロフォン４５にて車室内の音を集音させる。また、ＳＮＲ推定部６８は、マイクロフォン４５にて集音された音に対応する音データを生成する。なお、音データは、所定の長さの時間区間分における時間毎の振幅データとされている。
続いて、ステップＳ４０４において、ＳＮＲ推定部６８は、ステップＳ４００にて取得した情報に基づいて、ステップＳ４０２にて生成した音データから、音声とノイズとに分類するとともに、音声の種類およびノイズの種類を分類する。これにより、ＳＮＲ推定部６８は、ステップＳ４０２にて生成した音データをクラスタリングする。
具体的には、まず、ＳＮＲ推定部６８は、音声の種類およびノイズの種類を分類するために、ステップＳ４００にて取得した情報から下記のパラメータを、時刻毎に、音データの時間区間分推定する。
ＳＮＲ推定部６８は、ステップＳ４００にて取得した乗員人数から、音声の数を推定する。さらに、ＳＮＲ推定部６８は、ステップＳ４００にて取得した乗員位置と、予め設定された各マイクロフォン４５の位置と、音速とから、発話時間差ΔＴｓを推定する。なお、発話時間差ΔＴｓは、図２に示すように、マイクロフォン４５間における乗員の発話による音声の到達時間差である。
また、ＳＮＲ推定部６８は、ＦＦＴ等を用いてステップＳ４０２にて生成した音データの周波数解析を行うことにより、周波数成分を推定する。さらに、ＳＮＲ推定部６８は、時間＿周波数解析等を用いて、ステップＳ４０２にて生成した音データから、乗員の発話ピッチＰを推定する。なお、ＦＦＴは、Fast Fourier Transformの略である。発話ピッチＰは、乗員による発話の１音間の間隔である。
また、ＳＮＲ推定部６８は、ステップＳ４００にて取得した物の種類とマップとから、音の吸収度合および遮蔽度合を推定する。さらに、ＳＮＲ推定部６８は、この推定した吸収度合および遮蔽度合と、ステップＳ４００にて取得した車室内の音響空間Ｓｂの大きさ、物の位置および大きさおよびウィンドウ開度と、ステップＳ４０２にて生成した音データと、マップとから、反射時間差ΔＴｒを推定する。なお、音の吸収度合および遮蔽度合を推定するためのマップは、実験やシミュレーション等によって予め設定される。また、図２に示すように、反射時間差ΔＴｒは、同じマイクロフォン４５に対して車室内で反射された音の到達時間差である。さらに、反射時間差ΔＴｒを推定するためのマップは、実験やシミュレーション等によって予め設定される。
また、ＳＮＲ推定部６８は、ステップＳ４０２にて生成した音データとマップとから、乗員の発話による音圧を推定する。さらに、ＳＮＲ推定部６８は、ステップＳ４００にて取得したオーディオ１２の音圧から、オーディオ１２による音圧を推定する。また、ＳＮＲ推定部６８は、ステップＳ４００にて取得したエアコン１４の風量とマップとから、エアコン１４による音圧を推定する。さらに、ＳＮＲ推定部６８は、ステップＳ４００にて取得した車速から、車両５の風切り音による音圧を推定する。なお、図８に示すように、乗員の発話による音圧、エアコン１４の風量および車両５の風切り音を推定するためのマップは、実験やシミュレーション等によって予め設定される。
また、ＳＮＲ推定部６８は、ステップＳ４００にて取得したオーディオ１２の設定状態から、オーディオ１２による音の発生位置を推定する。さらに、ＳＮＲ推定部６８は、この推定したオーディオ１２による音の発生位置と、予め設定された各マイクロフォン４５の位置と、音速とから、オーディオ音時間差ΔＴａを推定する。また、ＳＮＲ推定部６８は、ステップＳ４００にて取得したエアコン１４の風量および吹出口モードとマップとから、エアコン音時間差ΔＴｗを推定する。さらに、ＳＮＲ推定部６８は、ステップＳ４００にて取得した車速と、ウィンドウ開度と、マップとから、走行音時間差ΔＴｃを推定する。なお、オーディオ音時間差ΔＴａは、同じマイクロフォン４５に対してオーディオ１２による音の到達時間差である。エアコン音時間差ΔＴｗは、同じマイクロフォン４５に対してエアコン１４による音の到達時間差である。また、エアコン音時間差ΔＴｗを推定するためのマップは、実験やシミュレーション等によって予め設定される。走行音時間差ΔＴｃは、同じマイクロフォン４５に対して車両５の風切り音の到達時間差である。さらに、走行音時間差ΔＴｃを推定するためのマップは、実験やシミュレーション等によって予め設定される。
また、ＳＮＲ推定部６８は、ステップＳ４００にて取得した車両５が走行する路面の状態と、マップとから、車両５の振動による音圧を推定する。なお、車両５の振動による音圧を推定するためのマップは、実験やシミュレーション等によって予め設定される。
そして、ＳＮＲ推定部６８は、これらの推定した音声の数と、発話時間差ΔＴｓと、音データの周波数成分と、発話ピッチＰと、を用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定した反射時間差ΔＴｒを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定した乗員の発話による音圧を用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定したオーディオ１２による音圧と、エアコン１４による音圧と、車両５の風切り音による音圧と、車両５の振動による音圧とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定したオーディオ音時間差ΔＴａと、エアコン音時間差ΔＴｗと、走行音時間差ΔＴｃとを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。
ここで、例えば、乗員の数が２人であるとする。一方の乗員を第１乗員とする。他方の乗員を第２乗員とする。第１乗員の音声を第１音声Ｘ１とする。第２乗員の音声を第２音声Ｘ２とする。オーディオ１２、エアコン１４、車両５の風切り音および車両５の振動による音を第１ノイズＸｎ１および第２ノイズＸｎ２とする。
また、乗員の数は、音声の種類の数に対応する。さらに、乗員による声、オーディオ１２による音、エアコン１４による音、車両５の風切り音による音、車両５の振動による音の周波数は、それぞれ異なる。したがって、ＳＮＲ推定部６８は、上記にて周波数解析した音データと周波数閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。これにより、例えば、図９に示すように、周波数が周波数閾値以上のものが第１音声Ｘ１および第１ノイズＸｎ１に分類される。さらに、周波数が周波数閾値未満のものが第２音声Ｘ２および第２ノイズＸｎ２に分類される。なお、周波数閾値は、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２が分類されるように、実験やシミュレーション、機械学習等により設定される。
また、乗員による声、オーディオ１２による音、エアコン１４による音、車両５の風切り音による音および車両５の振動による音の音圧は、それぞれ異なる。よって、ＳＮＲ推定部６８は、ステップＳ４０２にて生成した音データの振幅と、上記にて推定した各種音圧と、音圧閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。これにより、例えば、図９に示すように、音圧が音圧閾値以上のものが第１音声Ｘ１および第２ノイズＸｎ２に分類される。さらに、音圧が音圧閾値未満のものが第２音声Ｘ２および第１ノイズＸｎ１に分類される。なお、音圧閾値は、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２が分類されるように、実験やシミュレーション、機械学習等により設定される。
したがって、周波数が周波数閾値以上、かつ、音圧が音圧閾値以上であるものが第１音声Ｘ１に分類される。さらに、周波数が周波数閾値未満、かつ、音圧が音圧閾値未満であるものが第２音声Ｘ２に分類される。また、周波数が周波数閾値以上、かつ、音圧が音圧閾値未満であるものが第１ノイズＸｎ１に分類される。さらに、周波数が周波数閾値未満、かつ、音圧が音圧閾値以上であるものが第２ノイズＸｎ２に分類される。このように、ＳＮＲ推定部６８は、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。なお、図９において、第１音声Ｘ１および第２音声Ｘ２の範囲を示すため、第１音声Ｘ１および第２音声Ｘ２の範囲が斜線ハッチングで示されている。また、第１ノイズＸｎ１および第２ノイズＸｎ２の範囲を示すため、第１ノイズＸｎ１および第２ノイズＸｎ２の範囲が網掛けハッチングで示されている。
また、乗員によって、発話ピッチＰは、異なる。このため、ＳＮＲ推定部６８は、上記にて推定した発話ピッチＰと、ピッチ閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。さらに、乗員によって乗員位置が異なることから、発話時間差ΔＴｓが異なる。よって、ＳＮＲ推定部６８は、上記にて推定した発話時間差ΔＴｓと、発話閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。また、車室内の音響空間Ｓｂの状態によって、乗員の音声およびノイズ音の反響が異なることから、反射時間差ΔＴｒは、それぞれ異なる。したがって、ＳＮＲ推定部６８は、上記にて推定した反射時間差ΔＴｒと、反射閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。さらに、オーディオ１２による音の発生位置によって、オーディオ音時間差ΔＴａが異なる。このため、ＳＮＲ推定部６８は、上記にて推定したオーディオ音時間差ΔＴａと、オーディオ時間差閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。また、吹出口モードによって、エアコン音時間差ΔＴｗが異なる。よって、ＳＮＲ推定部６８は、上記にて推定したエアコン音時間差ΔＴｗと、エアコン時間差閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。さらに、各ウィンドウ開度によって、走行音時間差ΔＴｃが異なる。したがって、ＳＮＲ推定部６８は、上記にて推定した走行音時間差ΔＴｃと、走行音時間差閾値とを用いて、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。これらにより、ＳＮＲ推定部６８は、音データに含まれる音の種類を、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２に分類する。なお、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値、走行音時間差閾値は、第１音声Ｘ１、第２音声Ｘ２、第１ノイズＸｎ１および第２ノイズＸｎ２が分類されるように、実験やシミュレーション、機械学習等により設定される。
そして、ＳＮＲ推定部６８は、このように分類した音声の種類毎の音声データ、例えば、第１音声Ｘ１および第２音声Ｘ２の音声データを、ステップＳ４０２にて生成した音データから抽出することで生成する。
続いて、ステップＳ４０６において、ＳＮＲ推定部６８は、ステップＳ４０４にて生成した音声データ毎のＳＮＲを算出する。具体的には、ＳＮＲ推定部６８は、音声データに関する時間毎の振幅の和を、その音声データのうち乗員が発声していない状態の車室内にて録音された音に関する時間毎の振幅の和で除算する。これにより、ＳＮＲ推定部６８は、音声データ毎のＳＮＲを算出する。
例えば、第１音声Ｘ１に関する時間毎の振幅の和をＳ１とする。第２音声Ｘ２に関する時間毎の振幅の和をＳ２とする。第１音声Ｘ１のうち第１乗員が発声していない状態の車室内にて録音された音に関する時間毎の振幅の和をＮ１とする。第２音声Ｘ２のうち第２乗員が発声していない状態の車室内にて録音された音に関する時間毎の振幅の和をＮ２とする。このとき、第１音声Ｘ１のＳＮＲは、Ｓ１／Ｎ１で表される。また、第２音声Ｘ２のＳＮＲは、Ｓ２／Ｎ２で表される。
続いて、ステップＳ４０８において、ＳＮＲ推定部６８は、ステップＳ４０６にて算出したＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ以上であるか否かを判定する。これにより、ＳＮＲ推定部６８は、ＳＮＲが十分であるか否かを判定する。なお、図１０に示すように、ＳＮＲが大きくなることに伴って、音声認識率が向上する。したがって、ＳＮ閾値ＳＮＲ＿ｔｈは、音声認識率が十分となるように、例えば、音声認識率が８０％以上となるように、実験やシミュレーション等により設定される。
そして、ＳＮＲ推定部６８は、ステップＳ４０６にて算出したＳＮＲのうち乗員のボタン操作等により指定された乗員の音声データのＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ未満であるとき、ＳＮＲが不十分であると判定する。その後、ＳＮＲ推定部６８の処理は、ステップＳ４１０に移行する。また、ＳＮＲ推定部６８は、ステップＳ４０６にて算出したＳＮＲのうち乗員のボタン操作等により指定された乗員の音声データのＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ以上であるとき、ＳＮＲが十分であると判定する。その後、ＳＮＲ推定部６８の処理は、ステップＳ４１２に移行する。なお、ＳＮＲ推定部６８は、指定された乗員の音声データのＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ以上であるとき、ＳＮＲが十分であると判定するところ、これに限定されない。例えば、ＳＮＲ推定部６８は、複数の乗員の音声データがＳＮ閾値ＳＮＲ＿ｔｈ以上であるとき、ＳＮＲが十分であると判定してもよい。
ステップＳ４０８に続くステップＳ４１０において、ＳＮＲが不十分であることから、ＳＮＲ推定部６８は、ＳＮＲを十分にさせるため、集音させるマイクロフォン４５を変更する。これにより、ＳＮＲ推定部６８は、今回制御周期よりも次回制御周期におけるＳＮＲを大きくすることで、ＳＮＲを十分にさせる
ここで、図１１に示すように、ノイズの音圧および数と音声の音圧とが固定されている場合に、マイクロフォン４５の数が多くなることに伴って、ＳＮＲが大きくなる。したがって、ステップＳ４１０において、ＳＮＲ推定部６８は、例えば、集音させるマイクロフォン４５の数を今回制御周期よりも多くするとともに、マイクロフォン４５の増加数を設定する。これにより、次回制御周期におけるＳＮＲは、今回制御周期におけるＳＮＲよりも大きくなる。
また、図１２に示すように、マイクロフォン４５の数と音声の音圧とが固定されている場合に、ノイズの音圧が大きくなることまたはノイズの数が多くなることに伴って、ＳＮＲが低下する。よって、ステップＳ４１０において、ＳＮＲ推定部６８は、例えば、ノイズの種類の数に応じて、集音させるマイクロフォン４５の増加数を変更する。さらに、ステップＳ４１０において、ＳＮＲ推定部６８は、例えば、ノイズの音圧に応じて、集音させるマイクロフォン４５の増加数を変更する。これらにより、次回制御周期におけるＳＮＲは、ＳＮ閾値ＳＮＲ＿ｔｈ以上となりやすくなる。
また、ノイズの音圧および数とマイクロフォン４５の数とが固定されている場合に、乗員による発話の音圧が小さくなることに伴って、ＳＮＲが低下する。したがって、ステップＳ４１０において、ＳＮＲ推定部６８は、例えば、乗員による発話の音圧に応じて、集音させるマイクロフォン４５の増加数を変更する。これにより、次回制御周期におけるＳＮＲは、ＳＮ閾値ＳＮＲ＿ｔｈ以上となりやすくなる。
このように、ＳＮＲ推定部６８は、マイクロフォン４５の数を変更することによって、今回制御周期よりも次回制御周期におけるＳＮＲを大きくする。その後、ＳＮＲ推定部６８の処理は、ステップＳ４００に戻る。
ステップＳ４０８に続くステップＳ４１２において、ＳＮＲが十分であることから、ＳＮＲ推定部６８は、ステップＳ４０４にて生成した音声データのうち指定された乗員の音声データを、音声認識装置２０に出力する。音声認識装置２０は、音声認識エンジン等を用いて、ＳＮＲ推定部６８から出力された音声データを文字データに変換する。また、音声認識装置２０は、例えば、変換した文字データを図示しないディスプレイに出力する。これにより、車室内の乗員の音声に対応する文字が図示しないディスプレイに表示される。その後、ＳＮＲ推定部６８の処理は、ステップＳ４００に戻る。
以上のように、ＳＮＲ推定部６８は、処理を行う。よって、マイクシステム３０では、上記乗員推定部６２、空間推定部６４、車両状態推定部６６およびＳＮＲ推定部６８の処理により、車室内の音声が認識される。次に、マイクシステム３０による音声認識率の低下が抑制されることについて説明する。
ここで、音声に関するＳＮＲの低下について説明する。特許文献１に記載された集音処理装置は、対象物の座標および特徴に基づいて対象物からの音響信号を分離するところ、対象物がいる空間にて生じる反射音等の空間によるノイズが考慮されていない。このため、対象物からの音に関するＳＮＲが低下する。これにより、対象物が、例えば、人であるとき、音声に関するＳＮＲが低下するため、対象者に関する音声認識率が低下する。
また、特開２０２１－１９７６５８号公報に記載された収音装置では、発話側の音源方向と、画像データが示す撮像画像における受聴者の視線方向とから、収音方向が制御される。しかし、特開２０２１－１９７６５８号公報に記載された収音装置においても、音源がいる空間にて生じる反射音等の空間によるノイズが考慮されていない。このため、このため、音源からの音に関するＳＮＲが低下する。これにより、音源が、例えば、人の声であるとき、音声に関するＳＮＲが低下するため、音声認識率が低下する。
これらに対して、本実施形態では、ＳＮＲ推定部６８は、ステップＳ４０４にて、マイクロフォン４５にて集音された音のデータと、反射時間差ΔＴｒとに基づいて、音データに含まれる音の種類を、車室内の乗員の音声の種類と、ノイズの種類とに分類する。なお、反射時間差ΔＴｒは、同じマイクロフォン４５に対して車室内で反射された音の到達時間差であって、音響空間Ｓｂにて反射される音に関する値に対応する。また、乗員は、人に対応する。
これにより、音響空間Ｓｂにて生じる反射音によるノイズが考慮されて、マイクロフォン４５にて集音された音から乗員の音声が分類される。このため、分類された音声に含まれるノイズの増加が抑制されることから、音声に関するＳＮＲの低下が抑制される。したがって、音声認識率の低下が抑制される。
また、第１実施形態のマイクシステム３０では、以下に記載する効果も奏する。
［１－１］ＳＮＲ推定部６８は、ステップＳ４０４にて、オーディオ音時間差ΔＴａ、エアコン音時間差ΔＴｗおよび走行音時間差ΔＴｃに基づいて、音データに含まれる音の種類を、車室内の乗員の音声の種類と、ノイズの種類とに分類する。なお、オーディオ音時間差ΔＴａは、同じマイクロフォン４５に対してオーディオ１２による音の到達時間差であって、同じマイクロフォン４５に対して音響空間Ｓｂにて生じる音声以外の音の到達時間差に対応する。エアコン音時間差ΔＴｗは、同じマイクロフォン４５に対してエアコン１４による音の到達時間差であって、同じマイクロフォン４５に対して音響空間Ｓｂにて生じる音声以外の音の到達時間差に対応する。走行音時間差ΔＴｃは、同じマイクロフォン４５に対して車両５の風切り音の到達時間差であって、同じマイクロフォン４５に対して音響空間Ｓｂにて生じる音声以外の音の到達時間差に対応する。
これにより、音響空間Ｓｂにて生じるオーディオ１２、エアコン１４および風切り音によるノイズが考慮されて、マイクロフォン４５にて集音された音から乗員の音声が分類される。このため、分類された音声に含まれるノイズの増加が抑制されることから、音声に関するＳＮＲの低下が抑制される。したがって、音声認識率の低下が抑制される。
［１－２］ここで、音声およびノイズによって周波数および音圧が異なるとともに、乗員によって発話ピッチＰおよび発話時間差ΔＴｓが異なる。そこで、ＳＮＲ推定部６８は、ステップＳ４０４にて、周波数、音圧、発話ピッチＰおよび発話時間差ΔＴｓに基づいて、音データに含まれる音の種類を、車室内の乗員の音声の種類と、ノイズの種類とに分類する。これにより、音データに含まれる音の種類の分類がされやすくなる。なお、発話時間差ΔＴｓは、マイクロフォン４５間における乗員の発話による音声の到達時間差である。
［１－３］ＳＮＲ推定部６８は、ステップＳ４０４にて、オーディオ１２の状態、エアコン１４の状態、車速および車両５が走行する路面の状態に基づいて、オーディオ音時間差ΔＴａ、エアコン音時間差ΔＴｗおよび走行音時間差ΔＴｃを推定する。また、ＳＮＲ推定部６８は、これらの推定したオーディオ音時間差ΔＴａ、エアコン音時間差ΔＴｗおよび走行音時間差ΔＴｃに基づいて、音データに含まれる音の種類を、車室内の乗員の音声の種類と、ノイズの種類とに分類する。これにより、マイクシステム３０が車両５に用いられる場合に、音響空間Ｓｂにて生じる音声以外の音であるノイズが考慮されて、マイクロフォン４５にて集音された音から乗員の音声が分類される。このため、分類された音声に含まれるノイズの増加が抑制されることから、音声に関するＳＮＲの低下が抑制される。したがって、音声認識率の低下が抑制される。
［１－４］ＳＮＲ推定部６８は、ステップＳ４０８にて、ステップＳ４０６にて算出した各音声データのＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ以上であるか否かを判定する。そして、ＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ未満であるとき、ＳＮＲが不十分であるため、ＳＮＲ推定部６８は、ステップＳ４１０にて、集音させるマイクロフォン４５の数を現時点よりも多くすることにより、音声に関するＳＮＲを大きくさせる。これにより、音声に関するＳＮＲが大きくなることから、音声認識率の低下が抑制される。なお、ＳＮＲ推定部６８は、変更部に対応する。また、現時点は、ＳＮＲがＳＮ閾値ＳＮＲ＿ｔｈ未満であるときに対応する。
［１－５］ここで、上記したように、ノイズの種類の数、ノイズの音圧および音声の音圧に応じて、ＳＮＲは、異なる。また、集音させるマイクロフォン４５の数が多くなることに伴って、ＳＮＲが大きくなるところ、演算負荷が大きくなる音データの入力に対する音声データの出力の応答性が低下する。そこで、ＳＮＲ推定部６８は、ステップＳ４１０にて、ノイズの種類の数、ノイズの音圧および音声の音圧に応じて、集音させるマイクロフォン４５の増加数を変更する。これにより、マイクロフォン４５の増加数が調整されるため、ＳＮＲを十分な値にまで大きくできるとともに、応答性の過剰な低下が抑制される。
（第２実施形態）
第２実施形態では、空間推定部６４およびＳＮＲ推定部６８の処理が第１実施形態と異なる。これ以外は、第１実施形態と同様である。まず、第２実施形態における空間推定部６４の処理について図１３のフローチャートを参照して説明する。
ステップＳ２００において、空間推定部６４は、車室内の音響空間Ｓｂの大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とに応じた信号を環境センサ５４から取得する。
続いて、ステップＳ２０２において、空間推定部６４は、ステップＳ２００にて取得した信号から、車室内の音響空間Ｓｂの大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とを推定する。これにより、空間推定部６４は、車室内の音響空間Ｓｂの状態を推定する。
続いて、ステップＳ２０４において、空間推定部６４は、ステップＳ２０２にて推定した空間状態が変化したか否かを判定する。例えば、空間推定部６４は、今回制御周期における車室内の音響空間Ｓｂの大きさと前回制御周期における車室内の音響空間Ｓｂの大きさとの差の絶対値が閾値以上であるとき、空間状態が変化したと判定する。また、空間推定部６４は、今回制御周期における車室内の物の位置の各座標と前回制御周期における車室内の物の位置の各座標との差の絶対値が閾値以上であるとき、空間状態が変化したと判定する。さらに、空間推定部６４は、今回制御周期における車室内の物の種類が前回制御周期における車室内の物の種類と異なっているとき、空間状態が変化したと判定する。また、空間推定部６４は、今回制御周期における車室内の物の大きさと前回制御周期における車室内の物の大きさとの差の絶対値が閾値以上であるとき、空間状態が変化したと判定する。なお、上記各閾値は、空間状態が変化したと判定されるように、実験やシミュレーション、機械学習等により設定される。
さらに、今回制御周期における車室内の音響空間Ｓｂの大きさと前回制御周期における車室内の音響空間Ｓｂの大きさとの差の絶対値が閾値未満であるとする。また、今回制御周期における車室内の物の位置の各座標と前回制御周期における車室内の物の位置の各座標との差の絶対値が閾値未満であるとする。さらに、今回制御周期における車室内の物の種類が前回制御周期における車室内の物の種類と同じであるとする。また、今回制御周期における車室内の物の大きさと前回制御周期における車室内の物の大きさとの差の絶対値が閾値未満であるとする。このとき、空間推定部６４は、空間状態が変化していないと判定する。
ステップＳ２０４に続くステップＳ２０６において、空間状態が変化していないため、空間推定部６４は、ステップＳ２０２にて推定した車室内の音響空間Ｓｂの状態に応じた信号をＳＮＲ推定部６８に出力する。その後、空間推定部６４の処理は、ステップＳ２００に戻る。
ステップＳ２０４に続くステップＳ２０８において、空間推定部６４は、後述する周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正するための伝達関数Ｇを算出する。
具体的には、空間推定部６４は、スピーカからインパルス音、ホワイトノイズ、Ｍ系列等の基準音を発生させる。また、空間推定部６４は、この発生させた基準音をマイクアレイ４０に集音させる。さらに、空間推定部６４は、マイクアレイ４０にて集音された音の振幅を基準音の振幅で除算することにより、伝達関数Ｇを算出する。なお、基準音は、周波数が２０ｋＨｚ以上の超音波であって、インパルス音、ホワイトノイズ、Ｍ系列等である。また、基準音は、周波数が２０～２０ｋＨｚの可聴音であってもよい。
続いて、ステップＳ２１０において、空間推定部６４は、ステップＳ２０２にて推定した車室内の音響空間Ｓｂの状態に応じた信号に加えて、ステップＳ２０８にて算出した伝達関数Ｇに応じた信号をＳＮＲ推定部６８に出力する。その後、空間推定部６４の処理は、ステップＳ２００に戻る。
以上のように、空間推定部６４は、処理を行う。次に、ＳＮＲ推定部６８の処理について、図７のフローチャートを参照して説明する。
ステップＳ４００において、ＳＮＲ推定部６８は、車室内の音響空間Ｓｂの大きさと、車室内の物の位置、種類および大きさと、ウィンドウ開度とに加えて、伝達関数Ｇに応じた信号を空間推定部６４から取得する。また、ＳＮＲ推定部６８は、車室内の乗員位置および乗員人数に応じた信号を乗員推定部６２から取得する。さらに、ＳＮＲ推定部６８は、オーディオ１２の状態、エアコン１４の状態、車両５の速度および車両５が走行する路面の状態に応じた信号を車両状態推定部６６から取得する。
続いて、ステップＳ４０２において、ＳＮＲ推定部６８は、第１実施形態と同様に、処理を行う。このため、ステップＳ４０２の処理の説明は、省略する。
ステップＳ４０２に続くステップＳ４０４において、ＳＮＲ推定部６８は、第１実施形態と同様に、ステップＳ４０２にて生成した音データの周波数解析を行うとともに、発話時間差ΔＴｓ、発話ピッチＰおよび反射時間差ΔＴｒを推定する。また、ＳＮＲ推定部６８は、乗員の発話による音圧、オーディオ１２による音圧、エアコン１４による音圧、車両５の風切り音による音圧および車両５の振動による音圧を推定する。さらに、ＳＮＲ推定部６８は、オーディオ音時間差ΔＴａ、エアコン音時間差ΔＴｗおよび走行音時間差ΔＴｃを推定する。
また、ＳＮＲ推定部６８は、ステップＳ４００にて取得した伝達関数Ｇと、機械学習とを用いて、周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正する。
そして、ＳＮＲ推定部６８は、周波数解析した音データと補正した周波数閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、ステップＳ４０２にて生成した音データと補正した音圧閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定した発話ピッチＰと、補正したピッチ閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定した発話時間差ΔＴｓと、補正した発話閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定した反射時間差ΔＴｒと、補正した反射閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定したオーディオ音時間差ΔＴａと、補正したオーディオ時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定したエアコン音時間差ΔＴｗと、補正したエアコン時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定した走行音時間差ΔＴｃと、走行音時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。これらにより、ＳＮＲ推定部６８は、各閾値の補正前と比較して音声についてのＳＮＲを大きくする。
続いて、ステップＳ４０８～ステップＳ４１２において、ＳＮＲ推定部６８は、第１実施形態と同様に、処理を行う。このため、ステップＳ４０８～ステップＳ４１２の処理の説明は、省略する。
以上のように、ＳＮＲ推定部６８は、処理を行う。このような処理が行われても、上記第１実施形態と同様の効果を奏する。また、第２実施形態では、以下に記載する効果も奏する。
［２－１］空間推定部６４は、ステップＳ２０８にて、基準音をマイクロフォン４５に集音させたときの基準音の振幅とマイクロフォン４５にて集音された音の振幅との比に関する値である伝達関数Ｇを算出する。また、ＳＮＲ推定部６８は、伝達関数Ｇに基づいて、周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正する。これにより、ＳＮＲ推定部６８は、分類した音声についてのＳＮＲを、補正前と比較して大きくさせる。このため、音声認識率の低下が抑制される。なお、空間推定部６４は、算出部に対応する。
［２－２］基準音は、周波数が２０ｋＨｚ以上の超音波である。また、超音波は、非可聴音である。したがって、伝達関数Ｇを算出する際の乗員の不快感が抑制される。
（第３実施形態）
第３実施形態では、空間推定部６４のステップＳ２０８の処理による伝達関数Ｇの算出が第２実施形態と異なる。これ以外は、第２実施形態と同様である。
ステップＳ２０８において、空間推定部６４は、車室内の乗員位置および乗員人数に応じた信号を乗員推定部６２から取得する。また、空間推定部６４は、これらの取得した乗員位置および乗員人数と、ステップＳ２００にて取得したウィンドウ開度と、マップとから、伝達関数Ｇを算出する。なお、伝達関数Ｇを算出するためのマップは、実験やシミュレーション等により設定される。
以上のように、第３実施形態では、空間推定部６４は、伝達関数Ｇを算出する。このように、伝達関数Ｇが算出されても、上記第１実施形態と同様の効果を奏する。また、第３実施形態では、以下に記載する効果も奏する。
［３－１］空間推定部６４は、ステップＳ２０８にて、乗員位置、乗員人数およびウィンドウ開度に基づく値である伝達関数Ｇを算出する。また、ＳＮＲ推定部６８は、伝達関数Ｇに基づいて、周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正する。これにより、ＳＮＲ推定部６８は、分類した音声についてのＳＮＲを、補正前と比較して大きくさせる。このため、音声認識率の低下が抑制される。
［３－２］乗員推定部６２は、ステップＳ１０２にて、周波数が２０ｋＨｚ以上の超音波の送受信に関する値に基づいて、乗員位置および乗員人数を推定する。また、超音波は、非可聴音である。したがって、伝達関数Ｇを算出するためのパラメータである乗員位置および乗員人数を推定する際の乗員の不快感が抑制される。
（第４実施形態）
第４実施形態では、マイクシステム３０のセンサ群５０は、図１４に示すように、乗員センサ５２および環境センサ５４に加えて、マイク位置センサ５６を有する。また、ＳＮＲ推定部６８のステップＳ４００およびステップＳ４０４の処理が第１実施形態と異なる。これら以外は、第１実施形態と同様である。
マイク位置センサ５６は、図１５に示すように、音響空間Ｓｂ内に配置されている。また、マイク位置センサ５６は、超音波センサ等を用いて、絶対座標系における各マイクロフォン４５の位置を検出する。さらに、マイク位置センサ５６は、この検出した絶対座標系における各マイクロフォン４５の位置に応じた信号をＳＮＲ推定部６８に出力する。次に、ＳＮＲ推定部６８の処理について、図７のフローチャートを参照して説明する。
ステップＳ４００において、ＳＮＲ推定部６８は、乗員推定部６２、空間推定部６４および車両状態推定部６６から情報を取得することに加えて、絶対座標系における各マイクロフォン４５の位置に応じた信号をマイク位置センサ５６から取得する。
続いて、ステップＳ４０２において、ＳＮＲ推定部６８は、第１実施形態と同様に、処理を行う。このため、ステップＳ４０２の処理の説明は、省略する。
ステップＳ４０２に続くステップＳ４０４において、ＳＮＲ推定部６８は、第１実施形態と同様に、ステップＳ４０２にて生成した音データの周波数解析を行うとともに、発話時間差ΔＴｓ、発話ピッチＰおよび反射時間差ΔＴｒを推定する。また、ＳＮＲ推定部６８は、乗員の発話による音圧、オーディオ１２による音圧、エアコン１４による音圧、車両５の風切り音による音圧および車両５の振動による音圧を推定する。さらに、ＳＮＲ推定部６８は、オーディオ音時間差ΔＴａ、エアコン音時間差ΔＴｗおよび走行音時間差ΔＴｃを推定する。
また、ＳＮＲ推定部６８は、ステップＳ４００にて取得した絶対座標系における各マイクロフォン４５の位置と、機械学習とを用いて、周波数閾値、音圧閾値、ピッチ閾値および発話閾値を補正する。さらに、ＳＮＲ推定部６８は、ステップＳ４００にて取得した絶対座標系における各マイクロフォン４５の位置と、機械学習とを用いて、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正する。
そして、ＳＮＲ推定部６８は、周波数解析した音データと補正した周波数閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、ステップＳ４０２にて生成した音データと補正した音圧閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定した発話ピッチＰと、補正したピッチ閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定した発話時間差ΔＴｓと、補正した発話閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定した反射時間差ΔＴｒと、補正した反射閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定したオーディオ音時間差ΔＴａと、補正したオーディオ時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。さらに、ＳＮＲ推定部６８は、上記にて推定したエアコン音時間差ΔＴｗと、補正したエアコン時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。また、ＳＮＲ推定部６８は、上記にて推定した走行音時間差ΔＴｃと、走行音時間差閾値とを用いて、音データに含まれる音の種類を、音声の種類およびノイズの種類に分類する。これらにより、ＳＮＲ推定部６８は、各閾値の補正前と比較して音声についてのＳＮＲを大きくする。
続いて、ステップＳ４０８～ステップＳ４１２において、ＳＮＲ推定部６８は、第１実施形態と同様に、処理を行う。このため、ステップＳ４０８～ステップＳ４１２の処理の説明は、省略する。
以上のように、ＳＮＲ推定部６８は、処理を行う。このように、第４実施形態のＳＮＲ推定部６８による処理が行われても、第１実施形態と同様の効果を奏する。また、第４実施形態では、下記に記載する効果も奏する。
［４］ここで、マイクロフォン４５の位置が変更されると、マイクロフォン４５にて集音される音データが変化するため、音声についてのＳＮＲが変化する。そこで、ＳＮＲ推定部６８は、マイクロフォン４５の位置に基づいて、周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値を補正する。これにより、ＳＮＲ推定部６８は、分類した音声についてのＳＮＲを、補正前と比較して大きくさせる。このため、音声認識率の低下が抑制される。
（他の実施形態）
本開示は、上記実施形態に限定されるものではなく、上記実施形態に対して、適宜変更が可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
本開示に記載の集音部、クラスタリング部、出力部、算出部、変更部、推定部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の集音部、クラスタリング部、出力部、算出部、変更部、推定部およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の集音部、クラスタリング部、出力部、算出部、変更部、推定部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
上記各実施形態では、音声の種類およびノイズの種類を分類するための周波数閾値、音圧閾値、ピッチ閾値、発話閾値、反射閾値、オーディオ時間差閾値、エアコン時間差閾値および走行音時間差閾値の数は、それぞれ１つとされている。これに対して、各閾値の数は、１つであることに限定されないで、２つ以上であってもよい。
上記各実施形態では、音データに含まれる音の種類を音声の種類およびノイズの種類に分類するためのパラメータは、音声の数と、発話時間差ΔＴｓと、音データの周波数成分と、発話ピッチＰと、反射時間差ΔＴｒとである。また、音データに含まれる音の種類を音声の種類およびノイズの種類に分類するためのパラメータは、乗員の発話による音圧と、オーディオ１２による音圧と、エアコン１４による音圧と、車両５の風切り音による音圧と、車両５の振動による音圧とである。さらに、音データに含まれる音の種類を音声の種類およびノイズの種類に分類するためのパラメータは、オーディオ音時間差ΔＴａと、エアコン音時間差ΔＴｗと、走行音時間差ΔＴｃとである。これに対して、ＳＮＲ推定部６８は、上記全てのパラメータを用いて、音データに含まれる音の種類を音声の種類およびノイズの種類に分類することに限定されない。ＳＮＲ推定部６８は、上記パラメータの少なくとも１つを用いて、音データに含まれる音の種類を音声の種類およびノイズの種類に分類してもよい。
上記各実施形態では、音響空間Ｓｂにて反射される音に関する値は、反射時間差ΔＴｒである。これに対して、音響空間Ｓｂにて反射される音に関する値は、反射時間差ΔＴｒであることに限定されない。車室内の音響空間Ｓｂの状態によって、反射音の反射率および減衰率が異なることから、音響空間Ｓｂにて反射される音に関する値は、例えば、音響空間Ｓｂにて反射される音の音圧であってもよい。
上記各実施形態は、適宜組み合わされてもよい。
（本発明の特徴）
［請求項１］
少なくとも１つのマイクロフォン（４５）に音を集音させる集音部（Ｓ４０２）と、
前記マイクロフォンが配置されている空間である音響空間（Ｓｂ）にて反射される音に関する値（ΔＴｒ）に基づいて、前記マイクロフォンにて集音された音に関するデータである音データに含まれる音の種類を、前記音響空間にいる人の音声の種類と、前記音声以外の音であるノイズの種類とに分類するクラスタリング部（Ｓ４０４）と、
分類した前記音声に関するデータを音声認識装置（２０）に出力する出力部（Ｓ４１２）と、
を備えるマイクシステム。
［請求項２］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音の振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記伝達関数に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
［請求項３］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記伝達関数に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
［請求項４］
前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
［請求項５］
前記クラスタリング部は、同じ前記マイクロフォンに対して前記音響空間にて生じる前記音声以外の音の到達時間差に関する値（ΔＴａ、ΔＴｗ、ΔＴｃ）に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項６］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記伝達関数に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
［請求項７］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記伝達関数に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
［請求項８］
前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
［請求項９］
前記クラスタリング部は、前記音データの音圧に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項１０］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記伝達関数に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
［請求項１１］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記伝達関数に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
［請求項１２］
前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
［請求項１３］
前記クラスタリング部は、前記人による発話の１音間の間隔である発話ピッチ（Ｐ）に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項１４］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とを用いて分類し、前記伝達関数に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
［請求項１５］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とに基づいて前記音声の種類と前記ノイズの種類とに分類し、前記伝達関数に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
［請求項１６］
前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
［請求項１７］
前記マイクロフォンは、複数であって、
前記クラスタリング部は、前記マイクロフォン間における前記音声の到達時間差（ΔＴｓ）に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項１８］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記伝達関数に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
［請求項１９］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記伝達関数に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
［請求項２０］
前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
［請求項２１］
前記クラスタリング部は、前記音データの周波数成分に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項２２］
前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記伝達関数に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
［請求項２３］
前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記伝達関数に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
［請求項２４］
前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
［請求項２５］
前記クラスタリング部は、車両（５）のオーディオ（１２）およびエアコン（１４）の状態と、前記車両の速さと、前記車両が走行する路面の状態とに基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
［請求項２６］
前記音声についてのＳＮＲに関する値が閾値（ＳＮＲ＿ｔｈ）未満であるとき、集音させる前記マイクロフォンの数を現時点よりも多くすることにより、分類した前記音声についてのＳＮＲを、集音させる前記マイクロフォンの数を増加させる前と比較して大きくさせる変更部（Ｓ４０８、Ｓ４１０）をさらに備える請求項１ないし２５のいずれか１つに記載のマイクシステム。
［請求項２７］
前記変更部は、前記ノイズの種類の数に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６に記載のマイクシステム。
［請求項２８］
前記変更部は、前記ノイズの音圧に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６または２７に記載のマイクシステム。
［請求項２９］
前記変更部は、前記音声の音圧に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６ないし２８のいずれか１つに記載のマイクシステム。
［請求項３０］
前記基準音は、周波数が２０ｋＨｚ以上の超音波である請求項２、６、１０、１４、１８、２２のいずれか１つに記載のマイクシステム。
［請求項３１］
周波数が２０ｋＨｚ以上の超音波の送受信に関する値に基づいて、前記乗員位置および前記乗員人数を推定する推定部（Ｓ１０２）をさらに備える請求項３、７、１１、１５、１９、２３のいずれか１つに記載のマイクシステム。
［請求項３２］
前記クラスタリング部は、前記音データと、前記音響空間の大きさと、前記音響空間にある物の位置および大きさとに基づいて、前記音響空間にて反射される音に関する値を推定する請求項１ないし３１のいずれか１つに記載のマイクシステム。
１０ 車両システム
３０ マイクシステム
４０ マイクアレイ
４５ マイクロフォン
５０ センサ群
６０ 演算装置
６２ 乗員推定部
６４ 空間推定部
６６ 車両状態推定部
６８ ＳＮＲ推定部

Claims (32)

  1. 少なくとも１つのマイクロフォン（４５）に音を集音させる集音部（Ｓ４０２）と、
    前記マイクロフォンが配置されている空間である音響空間（Ｓｂ）にて反射される音に関する値（ΔＴｒ）に基づいて、前記マイクロフォンにて集音された音に関するデータである音データに含まれる音の種類を、前記音響空間にいる人の音声の種類と、前記音声以外の音であるノイズの種類とに分類するクラスタリング部（Ｓ４０４）と、
    分類した前記音声に関するデータを音声認識装置（２０）に出力する出力部（Ｓ４１２）と、
    を備えるマイクシステム。
  2. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音の振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記伝達関数に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
  3. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記伝達関数に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
  4. 前記クラスタリング部は、前記音響空間にて反射される音に関する値と反射閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記反射閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記反射閾値を補正する前と比較して大きくさせる請求項１に記載のマイクシステム。
  5. 前記クラスタリング部は、同じ前記マイクロフォンに対して前記音響空間にて生じる前記音声以外の音の到達時間差に関する値（ΔＴａ、ΔＴｗ、ΔＴｃ）に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  6. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記伝達関数に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
  7. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記伝達関数に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
  8. 前記クラスタリング部は、前記到達時間差に関する値と時間差閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記時間差閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記時間差閾値を補正する前と比較して大きくさせる請求項５に記載のマイクシステム。
  9. 前記クラスタリング部は、前記音データの音圧に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  10. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記伝達関数に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
  11. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記伝達関数に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
  12. 前記クラスタリング部は、前記音データの音圧に関する値と音圧閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記音圧閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記音圧閾値を補正する前と比較して大きくさせる請求項９に記載のマイクシステム。
  13. 前記クラスタリング部は、前記人による発話の１音間の間隔である発話ピッチ（Ｐ）に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  14. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とを用いて分類し、前記伝達関数に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
  15. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とに基づいて前記音声の種類と前記ノイズの種類とに分類し、前記伝達関数に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
  16. 前記クラスタリング部は、前記発話ピッチに関する値とピッチ閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記ピッチ閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記ピッチ閾値を補正する前と比較して大きくさせる請求項１３に記載のマイクシステム。
  17. 前記マイクロフォンは、複数であって、
    前記クラスタリング部は、前記マイクロフォン間における前記音声の到達時間差（ΔＴｓ）に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  18. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記伝達関数に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
  19. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記伝達関数に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
  20. 前記クラスタリング部は、前記到達時間差に関する値と発話閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記発話閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記発話閾値を補正する前と比較して大きくさせる請求項１７に記載のマイクシステム。
  21. 前記クラスタリング部は、前記音データの周波数成分に関する値に基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  22. 前記マイクシステムは、基準音を前記マイクロフォンに集音させたときの前記基準音の振幅と前記マイクロフォンにて集音された音に振幅との比に関する値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記伝達関数に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
  23. 前記マイクシステムは、車両（５）の乗員位置、乗員人数および前記車両のサイドウィンドウの開度に基づく値である伝達関数（Ｇ）を算出する算出部（Ｓ２０８）をさらに備え、
    前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記伝達関数に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
  24. 前記クラスタリング部は、前記周波数成分に関する値と周波数閾値とを用いて分類し、前記マイクロフォンの位置に基づいて前記周波数閾値を補正することにより、分類した前記音声についてのＳＮＲを、前記周波数閾値を補正する前と比較して大きくさせる請求項２１に記載のマイクシステム。
  25. 前記クラスタリング部は、車両（５）のオーディオ（１２）およびエアコン（１４）の状態と、前記車両の速さと、前記車両が走行する路面の状態とに基づいて、前記音データに含まれる音の種類を、前記音声の種類と前記ノイズの種類とに分類する請求項１に記載のマイクシステム。
  26. 前記音声についてのＳＮＲに関する値が閾値（ＳＮＲ＿ｔｈ）未満であるとき、集音させる前記マイクロフォンの数を現時点よりも多くすることにより、分類した前記音声についてのＳＮＲを、集音させる前記マイクロフォンの数を増加させる前と比較して大きくさせる変更部（Ｓ４０８、Ｓ４１０）をさらに備える請求項１ないし２５のいずれか１つに記載のマイクシステム。
  27. 前記変更部は、前記ノイズの種類の数に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６に記載のマイクシステム。
  28. 前記変更部は、前記ノイズの音圧に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６に記載のマイクシステム。
  29. 前記変更部は、前記音声の音圧に関する値に応じて、集音させる前記マイクロフォンの増加数を変更する請求項２６に記載のマイクシステム。
  30. 前記基準音は、周波数が２０ｋＨｚ以上の超音波である請求項２、６、１０、１４、１８、２２のいずれか１つに記載のマイクシステム。
  31. 周波数が２０ｋＨｚ以上の超音波の送受信に関する値に基づいて、前記乗員位置および前記乗員人数を推定する推定部（Ｓ１０２）をさらに備える請求項３、７、１１、１５、１９、２３のいずれか１つに記載のマイクシステム。
  32. 前記クラスタリング部は、前記音データと、前記音響空間の大きさと、前記音響空間にある物の位置および大きさとに基づいて、前記音響空間にて反射される音に関する値を推定する請求項１ないし５、９、１３、１７、２１のいずれか１つに記載のマイクシステム。
JP2022093838A 2022-06-09 2022-06-09 マイクシステム Pending JP2023180483A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022093838A JP2023180483A (ja) 2022-06-09 2022-06-09 マイクシステム
US18/320,656 US20230402049A1 (en) 2022-06-09 2023-05-19 Microphone system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022093838A JP2023180483A (ja) 2022-06-09 2022-06-09 マイクシステム

Publications (1)

Publication Number Publication Date
JP2023180483A true JP2023180483A (ja) 2023-12-21

Family

ID=89076648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022093838A Pending JP2023180483A (ja) 2022-06-09 2022-06-09 マイクシステム

Country Status (2)

Country Link
US (1) US20230402049A1 (ja)
JP (1) JP2023180483A (ja)

Also Published As

Publication number Publication date
US20230402049A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US9595251B2 (en) Sound placement of comfort zones
TWI442384B (zh) 以麥克風陣列為基礎之語音辨識系統與方法
ES2377056T3 (es) Procedimiento de filtrado de los ruidos laterales no estacionarios para un dispositivo de audio multimicrófono, en particular un dispositivo telefónico "manos libres" para vehículo automóvil
CN105835804B (zh) 用于监测车辆后部乘客就坐区域的方法和设备
KR101669866B1 (ko) 음향 신호 조정
JP5543023B2 (ja) 目的音強調装置およびカーナビゲーションシステム
US9240176B2 (en) Active noise control system and method
US9508344B2 (en) Automatic volume control based on speech recognition
US9959886B2 (en) Spectral comb voice activity detection
JP6352259B2 (ja) 制御装置、及び、制御方法
CN109429144A (zh) 用于消除车厢中的不良风噪声的系统和方法
US11393444B2 (en) Noise suppressor for a vehicle and noise suppressing method for a vehicle
CN106992002A (zh) 用于改进含噪语音识别的动态声学模型切换
US11211080B2 (en) Conversation dependent volume control
CN110865788A (zh) 交通工具通信系统和操作交通工具通信系统的方法
JP2023180483A (ja) マイクシステム
JP6872710B2 (ja) 指向性制御装置および指向性制御方法
JP2005303574A (ja) 音声認識ヘッドセット
JP2009073417A (ja) 騒音制御装置および方法
KR20230084154A (ko) 동적 분류기를 사용한 사용자 음성 활동 검출
JPH07219560A (ja) 能動型騒音制御装置
JP6862797B2 (ja) 会話アシスト装置
JP7337965B2 (ja) 発話者推定装置
US12128843B2 (en) Occupied seat detection device, occupied seat detection method, and non-transitory computer-readable recording medium
WO2021256303A1 (ja) 着座検知装置、着座検知方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240909