JP2020022115A - 集音装置 - Google Patents

集音装置 Download PDF

Info

Publication number
JP2020022115A
JP2020022115A JP2018145954A JP2018145954A JP2020022115A JP 2020022115 A JP2020022115 A JP 2020022115A JP 2018145954 A JP2018145954 A JP 2018145954A JP 2018145954 A JP2018145954 A JP 2018145954A JP 2020022115 A JP2020022115 A JP 2020022115A
Authority
JP
Japan
Prior art keywords
sound
microphone
reflected
passenger
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018145954A
Other languages
English (en)
Other versions
JP7210926B2 (ja
Inventor
小林 和則
Kazunori Kobayashi
和則 小林
翔一郎 齊藤
Shoichiro Saito
翔一郎 齊藤
勝宏 福井
Katsuhiro Fukui
勝宏 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018145954A priority Critical patent/JP7210926B2/ja
Priority to US17/263,867 priority patent/US11479184B2/en
Priority to PCT/JP2019/027247 priority patent/WO2020026727A1/ja
Publication of JP2020022115A publication Critical patent/JP2020022115A/ja
Application granted granted Critical
Publication of JP7210926B2 publication Critical patent/JP7210926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】反射音も活用し、従来よりSN比の高い音声を集音できる集音装置を提供することを目的とする。【解決手段】集音装置は、乗り物に搭載される。集音装置は、乗り物は、搭乗者が着席する座席と、座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとし、搭乗者が発した音である直接音を集音しやすい位置に配置された第一マイクロホンと、搭乗者が発した音が反射構造体により反射した反射音を集音しやすい位置に配置された第二マイクロホンと、を含む。【選択図】図2

Description

本発明は、収音の指向性を制御するビームフォーミングにおいて用いられるマイクロホンを含む集音装置、特に、乗り物に搭載される集音装置に関する。
自動車に搭載される集音装置において、騒音、妨害音に影響されず所望の音声だけを集音する従来技術としてビームフォーミングが知られている(非特許文献1参照)。あらかじめ想定される目的音源方向の感度が一番高くなるようなビームフォーミングを設計し、騒音、妨害音をなるべく拾わない指向性を形成する(図1参照)。このとき、鋭い指向性を形成して、なるべく目的音だけが拾われるようにする。
"自動車内の音声操作やコミュニケーションを快適にする集音技術を開発〜コネクテッドカー時代に求められる低遅延で高音質な音声処理を実現〜 "、[online]、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
しかしながら、自動車内でビームフォーミングを実施すると、フロントガラスなどで強い反射があり、直接音を拾いにくくなることで、SNRの低下を招く場合がある。
本発明は、反射音も活用し、従来よりSN比の高い音声を集音できる集音装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、集音装置は、乗り物に搭載される。集音装置は、乗り物は、搭乗者が着席する座席と、座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとし、搭乗者が発した音である直接音を集音しやすい位置に配置された第一マイクロホンと、搭乗者が発した音が反射構造体により反射した反射音を集音しやすい位置に配置された第二マイクロホンと、を含む。
上記の課題を解決するために、本発明の他の態様によれば、集音装置は、乗り物に搭載される。集音装置は、乗り物は、搭乗者が着席する座席と、座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとし、搭乗者が発した音を強調することを目的とし反射音を対象音として信号処理を行うための音を集音する第三マイクロホンを含み、反射音は搭乗者が発した音が反射構造体に反射して第三マイクロホンに集音された音である。
本発明によれば、従来よりSN比の高い音声を集音できるという効果を奏する。
従来の自動車に搭載される集音装置を説明するための図。 第一実施形態に係る集音装置の機能ブロック図。 第一実施形態に係る集音装置の処理フローの例を示す図。 第一実施形態に係る集音装置の集音方向の例を示す図。 第一実施形態の変形例に係る集音装置の集音方向の例を示す図。 第二実施形態に係る集音装置の機能ブロック図。 第二実施形態に係る集音装置の集音方向の例を示す図。 従来の自動車に搭載される集音装置を説明するための図。 第三実施形態に係る集音装置の機能ブロック図。 第三実施形態に係る集音装置の集音方向の例を示す図。 第四実施形態に係る集音装置の機能ブロック図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態のポイント>
本実施形態では、あらかじめ想定される目的音源方向と、目的音源がフロントガラスなどで反射した反射音の方向(以下、反射音到来方向ともいう)の中間程度の方向の感度が一番高くなるようなビームフォーミングを設計する。指向性幅は、直接音と反射音の両方が入る程度に広くする。
自動車のような狭い空間では、マイクロホンとフロントガラス、サイドガラス等の反射構造体が近い場合も起こりうると想定される。自動車のガラスにより反射された反射音は直接音よりも音源から発せられた音の特徴を残している場合があるため、直接音に代えて/若しくは直接音と合わせて、対象音として扱った方がSNRを向することができる場合がある。そのように反射音を扱うことを想定し、マイクロホンアレイについて、直接音若しくは/及び反射音を精度よく集音できる配置・信号処理について工夫を行った点がポイントである。目的音の反射音も拾うことで、よりSNR向上が図れる。なお、対象音とは強調すべき対象の音と言い換えてもよい。
<第一実施形態>
図2は第一実施形態に係る集音装置の機能ブロック図を、図3はその処理フローを示す。
集音装置は、M個のマイクロホン110−mからなるマイクロホンアレー110と、ビームフォーミング部120と、集音方向決定部130、ビームフォーミングフィルタ設計部140とを含む。
集音装置は、自動車に搭載される。なお、自動車は、搭乗者が着席する座席と、座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとする。例えば、反射構造体は、(i)搭乗者が発した音が1回のみ反射してマイクロホンアレー110に集音されるような構造体であってもよいし、(ii)反射構造物により反射された音(反射音)が、搭乗者が発した音を直接集音したもの(直接音)よりも搭乗者が発した音に近い音としてマイクロホンアレー110に集音される場合があるような構造体であってもよいし、(iii)フロントガラス、座席、天井、サイドガラス等からなる構造体であってもよい。
集音装置は、搭乗者が発した音である直接音と、直接音が反射構造体により反射した反射音とを入力とし、搭乗者が発した音のSN比が高くなるにように収音し、収音信号を出力する。収音信号は、通話や音声操作に用いることができる。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。
集音装置(より詳しく言うと、ビームフォーミング部と、収音方向決定部と、ビームフォーミングフィルタ設計部とからなる構成)は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、集音装置の外部に備える構成としてもよい。
以下、各部について説明する。
<M個のマイクロホン110−mからなるマイクロホンアレー110>
M個のマイクロホン110−mからなるマイクロホンアレー110は、搭乗者が発した音である直接音と、搭乗者が発した音が反射構造体により反射した反射音とを電気信号に変換して収音し(S110)、M個のマイクロホン信号xm(t)を出力する。なお、Mは2以上の整数の何れかであり、m=1,2,…,Mである。M個のマイクロホン110−mの内、少なくとも1つのマイクロホン110−aは直接音を集音しやすい位置に配置され、少なくとも1つのマイクロホン110−bは反射音を集音しやすい位置に配置される。a,bはそれぞれ1,2,…,Mの何れかのであり、a≠bである。tは時刻を示すインデックスである。
<ビームフォーミング部120>
ビームフォーミング部120は、M個のマイクロホン信号xm(t)を入力とし、マイクロホン信号にフィルタを適用し(S120)、フィルタリング後の信号を収音信号y(t)とし、集音装置の出力値として出力する。
本実施形態では、予め、マイクロホンアレーの位置と、搭乗者が発する音の位置(目的音源位置であり、搭乗者が着席する座席位置)とが特定されているため、集音に先立ち、集音方向決定部130でビームを形成する方向(指向性を持つ方向(感度が一番高くなる方向)であり集音方向ともいう)を決定し、ビームフォーミングフィルタ設計部140でフィルタを計算して求めておく。なお、ビームフォーミング技術として遅延和アレーや適応型アレー等が考えられるが、どのようなビームフォーミング技術を用いてもよい(参考文献1)。
(参考文献1)北脇信彦、「ディジタル音声・オーディオ技術 (未来ねっと技術シリーズ)」、電気通信協会、1999年、p.170-182
また、本実施形態で行う信号処理は、時間領域で行ってもよいし、周波数領域で行ってもよく、利用するビームフォーミング技術に合わせて選択すればよい。周波数領域で信号処理を行う場合には、時間領域の信号xm(t)を入力とし図示しない周波数領域変換部において周波数領域の信号Xmに変換(例えばフーリエ変換等)して用いてもよいし、周波数領域の収音信号Yを図示しない時間領域変換部において時間領域の収音信号y(t)に変換(例えば逆フーリエ変換等)して出力してもよい。
<集音方向決定部130>
集音方向決定部130は、マイクロホンアレーの位置及び目的音源位置とを入力とし、集音方向を求め、出力する。
なお、マイクロホンアレーの位置及び目的音源位置は、適切にフィルタが計算できるように適宜設定すればよい。例えば、M個のマイクロホンの位置の中心をマイクロホンアレーの位置とし、平均的な座高の人物が座席に座った場合に想定される搭乗者の口元の位置を目的音源位置とする。
マイクロホンアレーの位置から見た目的音源位置の方向を目的音源方向qともいう(図4参照)。目的音源方向qは、マイクロホンアレーの位置と目的音源位置とから特定することができる。
また、反射音の到来方向pは、マイクロホンアレーの位置、目的音源位置並びに反射構造体の位置及び向き等から予め計算しておき、マイクロホンアレーの位置及び目的音源位置から特定することができるものとする。目的音源方向と反射音の到来方向とから以下のように集音方向を決定する。
例えば、目的音源方向を基準として、集音方向と反射音の到来方向との差分の絶対値が小さくなるように集音方向を変更していき、(i)目的音源方向qに対する感度が所定の値よりも大きく、かつ、(ii)反射音の到来方向pに対する感度が所定の値よりも大きくなる範囲の中で、集音方向を特定する。例えば、集音方向決定部130は、目的音源方向と、反射音の到来方向との中間程度(例えば平均)の方向を集音方向とする。なお、指向性幅を直接音と反射音の両方が入る程度に広くなるようにビームフォーミングフィルタ設計部140において設定する。
図4は本実施形態の集音方向の例を示す図である。
<ビームフォーミングフィルタ設計部140>
ビームフォーミングフィルタ設計部140は、集音方向と指向性幅とを入力とし、入力された集音方向に指向性を持つ、入力された指向性幅のビームを形成するためのフィルタを生成し、ビームフォーミング部120に出力する。
<効果>
以上の構成により、従来よりSN比の高い音声を集音できる。例えば、図1に示すように運転席に着席した人物から発せられた声のみを高いSN比で集音することができる。所定の席に着席した人物から発せられた声をノイズとして取り扱うことで所定の席に着席した人物から発せられた声のみを取り除くことが可能であることは言うまでもない。
<変形例>
本実施形態では、集音装置が搭載される乗り物を自動車としているが、他の乗り物であってもよい。要は、搭乗者が発した音がどこから到来するのかをある程度限定できるように搭乗者が着席する座席があり、搭乗者が発した音を反射させる反射構造体を含む乗り物であればよい。例えば、電車や飛行機等でもよい。
本実施形態の例では、前方の反射構造体(例えば自動車のフロントガラス)からの反射音を集音対象としているが、他の反射音、例えば、座席、天井、サイドガラス等を反射構造体とした反射音を用いてもよい。また、本実施形態では、反射音が1つの例を示しているが二つ以上の反射音を集音対象としてもよい。ただし、反射音を多くし過ぎると目的音以外の音も集音してしまいSN比が悪くなる。要は、目的音のSN比を高めるために、目的音の成分を多く含んだ1つ以上の反射音を集音対象とすればよい。
本実施形態では、M個のマイクロホン110−mの内の少なくとも1つのマイクロホンは、直接音と反射音とを処理対象として信号処理を行うための音を集音するが、反射音のみを処理対象として信号処理を行うための音を集音してもよい。この場合、集音方向決定部130は、マイクロホンアレーの位置及び目的音源位置とを入力とし、反射音の到来方向pを集音方向として求め、出力する。図5はこの変形例の集音方向の例を示す図である。反射音が直接音よりも搭乗者が発した音に近い音としてマイクロホンアレー110に集音される場合には、このような構成によってもSN比を高めることができる。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
本実施形態では、目的音源方向と、反射音の到来方向とを集音方向とする。この場合、2つの集音方向を出力する。
図6は第二実施形態に係る集音装置の機能ブロック図を示す。
集音装置は、M個のマイクロホン110−mからなるマイクロホンアレー110と、ビームフォーミング部120と、集音方向決定部230−1,230−2と、ビームフォーミングフィルタ設計部240とを含む。
<集音方向決定部230−1,230−2>
集音方向決定部230−1は、マイクロホンアレーの位置及び目的音源位置とを入力とし、目的音源方向qを集音方向として求め、出力する。
集音方向決定部230−2は、マイクロホンアレーの位置及び目的音源位置とを入力とし、反射音の到来方向pを集音方向として求め、出力する。目的音源方向q及び反射音の到来方向pの求め方は第一実施形態で説明した通りである。
<ビームフォーミングフィルタ設計部240>
集音方向決定部130は、二つの集音方向(目的音源方向qと反射音の到来方向p)を入力とし、2つの集音方向に指向性を持つ、ビームを形成するためのフィルタを生成し、ビームフォーミング部120に出力する。
図7は本実施形態の集音方向の例を示す図である。
<変形例>
本実施形態では、2つの集音方向に指向性を持つ、ビームを形成するためのフィルタを生成しているが、2つの集音方向にそれぞれ指向性を持つ、ビームを形成するための2つフィルタを生成し、ビームフォーミング部120において、マイクロホン信号に2つのフィルタをそれぞれ適用し、2つのフィルタリング後の信号を得、その平均を収音信号として出力してもよい。
<第三実施形態>
第一実施形態と異なる部分を中心に説明する。
本実施形態では、あらかじめ想定される妨害音源方向の感度が低くなるように、あらかじめ想定される目的音源方向とは異なる方向に指向性の感度が一番高くなるようにビームフォーミングを設計する。
例えば、集音対象の搭乗者とは、異なる搭乗者(集音対象の搭乗者が着席した座席とは異なる座席に着席した搭乗者)が発する音を妨害音とする。
従来は、1列目の座席に着席した搭乗者が発する音を集音するためのマイクロホンアレーと、2列目の座席に着席した搭乗者が発する音を集音するためのマイクロホンアレーとを用意し、それぞれのマイクロホンアレーで1,2列目の座席に着席した搭乗者の方向にビームを形成する(図8参照)。このとき、1列目の座席に着席した搭乗者が発する音を集音するためのマイクロホンアレーにとっては、2列目の座席に着席した搭乗者が発する音が妨害音になり、2列目の座席に着席した搭乗者が発する音を集音するためのマイクロホンアレーにとっては、1列目の座席に着席した搭乗者が発する音が妨害音になる。
本実施形態では、妨害音によるSN比の低下を抑えるために、妨害音源方向の感度が低くなるようにビームを形成する。
<集音方向決定部330>
集音方向決定部330は、マイクロホンアレーの位置、目的音源位置及び妨害音源位置を入力とし、集音方向を求め、出力する(図9参照)。妨害音源位置は、例えば、集音対象の搭乗者が着席する座席とは異なる座席に着席すると想定される搭乗者の口元の位置である。
マイクロホンアレーの位置から見た妨害音源位置の方向を妨害音源方向rともいう。妨害音源方向rは、マイクロホンアレーの位置と妨害音源位置とから特定することができる。
集音方向決定部330は、妨害音源方向rの感度が低くなるように、目的音源方向qとは異なる方向を集音方向とする。例えば、目的音源方向qを基準として、集音方向と妨害音源方向rとの差分の絶対値が大きくなるように集音方向を変更していき、(i)目的音源方向qに対する感度が所定の値よりも大きく、かつ、(ii)妨害音源方向rに対する感度が所定の値よりも小さくなる範囲の中で、集音方向を特定する。
図10は本実施形態の集音方向の例を示す図である。
<変形例>
本実施形態と第一実施形態とを組合せてもよい。この場合、集音方向決定部330は、マイクロホンアレーの位置、目的音源位置及び妨害音源位置を入力とし、集音方向を求め、出力する(図9参照)。例えば、目的音源方向qを基準として、集音方向と反射音の到来方向pとの差分の絶対値が小さく、かつ、集音方向と妨害音源方向rとの差分の絶対値が大きくなるように集音方向を変更していき、(i)目的音源方向qに対する感度が所定の値よりも大きく、かつ、(ii)反射音の到来方向pに対する感度が所定の値よりも大きく、かつ、(iii)妨害音源方向rに対する感度が所定の値よりも小さくなる範囲の中で、集音方向を特定する。
<第四実施形態>
第二実施形態と異なる部分を中心に説明する。
低周波数帯域は鋭い指向性は作れないので、低周波数域は第一実施形態の手法を用い、高周波数帯域は第二実施形態の手法を用いる。このように、周波数帯域ごとに異なる設計パラメータでビームフォーミングのフィルタ設計をする。
上述の特性を利用するため、本実施形態で行う信号処理は、周波数領域で行う。よって、第一実施形態で説明したように、時間領域の信号xm(t)を入力とし図示しない周波数領域変換部において周波数領域の信号Xmに変換(例えばフーリエ変換等)して用い、周波数領域の収音信号Yを図示しない時間領域変換部において時間領域の収音信号y(t)に変換(例えば逆フーリエ変換等)して出力する。
図11は第四実施形態に係る集音装置の機能ブロック図を示す。
集音装置は、M個のマイクロホン110−mからなるマイクロホンアレー110と、ビームフォーミング部420と、集音方向決定部130,230−1,230−2と、ビームフォーミングフィルタ設計部440−1,440−2とを含む。
<ビームフォーミングフィルタ設計部440−1,440−2>
ビームフォーミングフィルタ設計部440−1は、第一実施形態の方法で決定した集音方向(例えば目的音源方向と反射音の到来方向の中間程度の方向)を入力とし、入力された集音方向に指向性を持つビームを形成するための低周波数帯域用のフィルタを生成し、ビームフォーミング部420に出力する。なお、本実施形態の場合の低周波数帯域に限定しているため、直接音と反射音の両方が入る程度に指向性幅は広くなることが想定されるため、別途指向性幅を入力しなくともよい。
ビームフォーミングフィルタ設計部440−2は、第二実施形態の方法で決定した2つの集音方向(目的音源方向qと反射音の到来方向p)を入力とし、2つの集音方向に指向性を持つ、ビームを形成するための高周波数帯域用のフィルタを生成し、ビームフォーミング部420に出力する。
<ビームフォーミング部420>
ビームフォーミング部420は、低周波数帯域のマイクロホン信号XmL)に低周波数帯域用のフィルタを適用し、フィルタリング後の周波数領域の収音信号Y(ωL)を得る。ωLは、低周波数帯域と高周波数帯域とを切り分ける閾値Th以下の周波数番号1,2,…,Thを意味する。
また、ビームフォーミング部420は、高周波数帯域のマイクロホン信号XmH)に高周波数帯域用のフィルタを適用し、フィルタリング後の周波数領域の収音信号Y(ωH)を得る。ωHは、閾値Thより大きい周波数番号Th+1,Th+2,…,Ω(Ωは想定される周波数番号の最大値)を意味する。
ビームフォーミング部420は、収音信号Y(ωL),Y(ωH)を時間領域の収音信号y(t)に変換し、出力する。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 乗り物に搭載される集音装置であって、
    前記乗り物は、搭乗者が着席する座席と、前記座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとし、
    前記搭乗者が発した音である直接音を集音しやすい位置に配置された第一マイクロホンと、
    前記搭乗者が発した音が前記反射構造体により反射した反射音を集音しやすい位置に配置された第二マイクロホンと、を含む、
    集音装置。
  2. 乗り物に搭載される集音装置であって、
    前記乗り物は、搭乗者が着席する座席と、前記座席に着席した搭乗者が発した音を反射させる反射構造体とを含むものとし、
    前記搭乗者が発した音を強調することを目的とし反射音を対象音として信号処理を行うための音を集音する第三マイクロホンを含み、
    前記反射音は前記搭乗者が発した音が前記反射構造体に反射して前記第三マイクロホンに集音された音である、
    集音装置。
  3. 請求項2の集音装置であって、
    前記第三マイクロホンは、直接音と前記反射音とを対象音として信号処理を行うための音を集音し、
    前記直接音は前記搭乗者が発した音が前記第三マイクロホンに直接集音された音である、
    集音装置。
  4. 請求項1または請求項3の何れかの集音装置であって、
    Mを2以上の整数の何れかとし、前記第一マイクロホン及び前記第二マイクロホン、または、前記第三マイクロホンを含むM個のマイクロホンで収音したマイクロホン信号に所定の方向に指向性を持つフィルタを適用し、フィルタリング後の信号を収音信号として得るビームフォーミング部を含み、
    前記所定の方向は、
    (i)目的音源方向と反射音の到来方向との間の方向、
    (ii)目的音源方向と反射音の到来方向、
    (iii)目的音源方向とは異なる方向であって、妨害音源方向の感度が低くなる方向、
    の何れかである、
    集音装置。
  5. 請求項1または請求項3の何れかの集音装置であって、
    Mを2以上の整数の何れかとし、前記第一マイクロホン及び前記第二マイクロホン、または、前記第三マイクロホンを含むM個のマイクロホンで収音した低周波数帯域の周波数領域のマイクロホン信号に所定の第一方向に指向性を持つフィルタを適用し、前記M個のマイクロホンで収音した高周波数帯域の周波数領域のマイクロホン信号に所定の第二方向に指向性を持つフィルタを適用し、フィルタリング後の信号を収音信号として得るビームフォーミング部を含み、
    前記所定の第一方向は目的音源方向と反射音の到来方向との間の方向であり、前記所定の第二方向は目的音源方向と反射音の到来方向である、
    集音装置。
JP2018145954A 2018-08-02 2018-08-02 集音装置 Active JP7210926B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018145954A JP7210926B2 (ja) 2018-08-02 2018-08-02 集音装置
US17/263,867 US11479184B2 (en) 2018-08-02 2019-07-10 Sound collection apparatus
PCT/JP2019/027247 WO2020026727A1 (ja) 2018-08-02 2019-07-10 集音装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018145954A JP7210926B2 (ja) 2018-08-02 2018-08-02 集音装置

Publications (2)

Publication Number Publication Date
JP2020022115A true JP2020022115A (ja) 2020-02-06
JP7210926B2 JP7210926B2 (ja) 2023-01-24

Family

ID=69231700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145954A Active JP7210926B2 (ja) 2018-08-02 2018-08-02 集音装置

Country Status (3)

Country Link
US (1) US11479184B2 (ja)
JP (1) JP7210926B2 (ja)
WO (1) WO2020026727A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187283A (ja) * 2002-11-18 2004-07-02 Matsushita Electric Ind Co Ltd マイクロホン装置および再生装置
JP2008079256A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 音響信号処理装置、音響信号処理方法及びプログラム
JP2010221945A (ja) * 2009-03-25 2010-10-07 Toshiba Corp 信号処理方法、装置及びプログラム
WO2011048813A1 (ja) * 2009-10-21 2011-04-28 パナソニック株式会社 音響処理装置、音響処理方法及び補聴器
WO2012096072A1 (ja) * 2011-01-13 2012-07-19 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラムを格納した記憶媒体、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
JP2013038763A (ja) * 2011-07-11 2013-02-21 Panasonic Corp エコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法
WO2013065088A1 (ja) * 2011-11-02 2013-05-10 三菱電機株式会社 雑音抑圧装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577262B2 (en) 2002-11-18 2009-08-18 Panasonic Corporation Microphone device and audio player

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187283A (ja) * 2002-11-18 2004-07-02 Matsushita Electric Ind Co Ltd マイクロホン装置および再生装置
JP2008079256A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 音響信号処理装置、音響信号処理方法及びプログラム
JP2010221945A (ja) * 2009-03-25 2010-10-07 Toshiba Corp 信号処理方法、装置及びプログラム
WO2011048813A1 (ja) * 2009-10-21 2011-04-28 パナソニック株式会社 音響処理装置、音響処理方法及び補聴器
WO2012096072A1 (ja) * 2011-01-13 2012-07-19 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラムを格納した記憶媒体、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
JP2013038763A (ja) * 2011-07-11 2013-02-21 Panasonic Corp エコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法
WO2013065088A1 (ja) * 2011-11-02 2013-05-10 三菱電機株式会社 雑音抑圧装置

Also Published As

Publication number Publication date
US11479184B2 (en) 2022-10-25
US20210229604A1 (en) 2021-07-29
WO2020026727A1 (ja) 2020-02-06
JP7210926B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
US10123113B2 (en) Selective audio source enhancement
RU2713858C1 (ru) Устройство и способ для обеспечения индивидуальных звуковых зон
CN103517185B (zh) 对在嘈杂环境中操作的多话筒音频设备的声信号降噪的方法
KR101210313B1 (ko) 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
JP5543023B2 (ja) 目的音強調装置およびカーナビゲーションシステム
KR20190085927A (ko) 적응성 빔포밍
CN106031196B (zh) 信号处理装置、方法以及程序
CN111798860B (zh) 音频信号处理方法、装置、设备及存储介质
JP2016048872A (ja) 収音装置
CN111627456B (zh) 噪音排除方法、装置、设备及可读存储介质
US10708702B2 (en) Signal processing method and signal processing device
JP7020554B2 (ja) 会話サポートシステム、その方法、およびプログラム
JP6182169B2 (ja) 収音装置、その方法及びプログラム
WO2020026727A1 (ja) 集音装置
US20190132668A1 (en) Sound reproduction system, mobile object, and sound reproduction method
WO2021070278A1 (ja) 雑音抑圧装置、雑音抑圧方法、及び雑音抑圧プログラム
JP2016149612A (ja) マイクロホン間隔制御装置及びプログラム
CN114402630A (zh) 声音处理系统和声音处理装置
US11894013B2 (en) Sound collection loudspeaker apparatus, method and program for the same
CN112544088B (zh) 拾音扩音装置、其方法以及记录介质
CN113077809B (zh) 一种回声消除方法、装置、设备及存储介质
KR20230156967A (ko) 오디오 줌
CN117686975A (zh) 基于方向修正的声源定位方法、装置、设备、存储介质
CN111863018A (zh) 一种双麦克风下的定向拾音方法及相关装置
CN116129930A (zh) 无参考回路的回声消除装置及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7210926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150