JP2023057964A - ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法 - Google Patents

ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法 Download PDF

Info

Publication number
JP2023057964A
JP2023057964A JP2021167749A JP2021167749A JP2023057964A JP 2023057964 A JP2023057964 A JP 2023057964A JP 2021167749 A JP2021167749 A JP 2021167749A JP 2021167749 A JP2021167749 A JP 2021167749A JP 2023057964 A JP2023057964 A JP 2023057964A
Authority
JP
Japan
Prior art keywords
sound
area
individual
sound pickup
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021167749A
Other languages
English (en)
Inventor
一浩 鬼塚
Kazuhiro Onizuka
絵梨 中野
Eri Nakano
真健 金丸
Masatake Kanamaru
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audio Technica KK
Original Assignee
Audio Technica KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audio Technica KK filed Critical Audio Technica KK
Priority to JP2021167749A priority Critical patent/JP2023057964A/ja
Priority to US17/936,165 priority patent/US20230111227A1/en
Priority to EP22199233.2A priority patent/EP4167599A1/en
Priority to CN202211222961.8A priority patent/CN115967877A/zh
Publication of JP2023057964A publication Critical patent/JP2023057964A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】指向性の演算処理の処理負荷の低減が可能で、かつ、音が収音される領域がフレキシブルに設定可能なビームフォーミングマイクロホンシステムを得る。【解決手段】本発明に係るビームフォーミングマイクロホンシステム1は、複数のマイクロホンユニット11と、所定時間ごとにマイクロホンユニットそれぞれからの収音信号を処理する信号処理部12と、収音領域ごとに収音領域情報と収音領域内に任意に設定されている個別収音領域位置情報とを関連付けて記憶する記憶部13と、を有してなる。信号処理部は、音源位置情報を特定する位置情報特定部121と、音源位置からの音に対応する音信号を生成する信号生成部123と、音源位置が属する個別収音領域の個別収音領域位置情報に基づいて出力チャンネルを割り当てるチャンネル割当部125と、を備える。【選択図】図3

Description

本発明は、ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムと情報処理装置と情報処理方法とに関する。
近年、会議室、教室、または講堂などの室内の天井に取り付けられるシーリングマイクロホンとして、ビームフォーミング技術を応用した収音装置(収音システム)が用いられている。同収音装置は、複数のマイクロホンユニットを備え、各マイクロホンユニットからの信号に基づいて室内の音源の位置を特定する機能を有する。そして、同収音装置は、あたかも鋭い指向性の狭指向性マイクロホンを音源(話者)に向けて音を収音したかのような信号(音源からの音に対応する音信号)を出力する。このとき、同収音装置は、複数のマイクロホンユニットにより構成されるマイクロホンユニット群(マイクロホンアレイ)の指向性を、まるで音源に向けられたビームにより形成したかのように動作する。換言すれば、同収音装置は、音源に追従する指向性を有し、音源に対して強い感度を有する。そのため、このような収音装置は、音源に追従する指向性をビームになぞらえて、ビームフォーミングマイクロホンとも称呼される。
理想的には、ビームフォーミングマイクロホンは、常に室内全域における音源の位置を探索・特定し、特定された音源に向けて同マイクロホンの指向性を向けるかのような動作(指向性の演算処理)を繰り返し求められる。しかしながら、音源の探索処理と指向性の演算処理とが常に必要となるため、そのような演算処理による処理負荷は大きくなる。そのため、同収音装置の動作には処理能力が高い処理デバイス(プロセッサなど)が必要となるだけでなく、熱暴走などの不具合により動作が不安定になり得る。また、演算処理の負荷を低減するために、ビームフォーミングマイクロホンからの音信号が1chの出力チャンネルを介してミキサなどの信号処理装置に出力される場合、信号処理装置には、音源(話者)の切り替わりに追従して異なる音信号が入力される。この構成において、各話者の声の大きさが異なるとき、例えば、音源の切り替わりに合わせて、声が小さい話者に対応する音信号を強め、声が大きい話者に対応する音信号は弱めるなどの信号の調整処理は、困難である。さらに、講堂など収音された音が出力されるスピーカが収音装置と同一の室内に設置されている場合、同収音装置がスピーカからの音を音源と認識して収音すると、ハウリングが発生し得る。
これまでにも、ビームフォーミング技術を応用したマイクロホンアレイ型収音装置(ビームフォーミングマイクロホンシステム)において、これらの課題を解決するための技術が提案されている(例えば、特許文献1、2参照)。
特許文献1に開示された技術では、半球型の探索グリッド(収音領域)のうち、予め指定されたセクタ(領域)が、音の収音が除外される除外セクタとして設定される。除外セクタの範囲は、極角(仰角)と方位角(回転角)とを用いて設定される。そのため、同技術は、特定の方位だけでなく、所定の極角内における全方位に亘り、除外セクタの範囲を設定できる。その結果、同技術は、天井または壁面の天井付近に設置されているノイズ源(プロジェクタやスピーカ)の位置(方位)の特定無しに、ノイズ源からの音の収音を除外する。
しかしながら、同技術では、極角と方位角とを用いて除外セクタが設定されるため、除外セクタの位置と形状とは、制約され得る。また、除外セクタの設定が可能な同技術では、個別に音の収音が望まれる領域(個別収音領域:音源に指向性が向けられる領域)は、除外セクタを除く領域として間接的に設定される。すなわち、同技術は、個別収音領域のフレキシブルな設定に対応できない。また、同技術では、除外セクタ以外の全領域が音源の探索・特定対象である。そのため、同技術を応用したマイクロホンアレイシステムに収音された音に対応する音信号は、1chの出力チャンネルのみを介して出力される。したがって、同技術は、前述の処理負荷を低減できず、前述の信号の調整処理も実行できない。
特許文献2に開示された技術では、収音領域が複数(例えば、4つまたは8つ)の領域(ローブ領域)に分割され、分割された領域ごとに個別の出力チャンネルが設定される。同技術では、領域ごとの音の収音の可否の設定により、音が収音される領域(音源に指向性が向けられる領域)と、音の収音が除外される領域(除外領域)と、が設定可能である。ただし、同技術では、除外領域の数と形状とは、分割された領域の数と形状とに依存する。
また、同技術では、複数の領域それぞれで収音された音は、各領域に対応する個別の出力チャンネルを介して出力される。そのため、出力チャンネルごとに前述した信号の調整処理が可能である。しかしながら、同技術では、分割される領域の数と形状との組み合わせは、同技術が適用されるマイクロホンアレイシステムにおいて予め決まっている。そのため、同技術は、例えば、領域内の小領域、複数の領域に跨る大領域、または、物理的に離れた複数の小領域により構成される飛び領域、などのフレキシブルな領域を設定できない。
さらに、同技術では、分割された領域ごとにローブが形成される(すなわち、指向性の演算処理が実行される)。そのため、同技術では、前述の指向性の演算処理による処理負荷は、大きい。
米国特許出願公開第2020/0068297号明細書 米国特許出願公開第2021/0051397号明細書
本発明は、指向性の演算処理の処理負荷の低減が可能で、かつ、音が収音される領域(指向性が向けられる領域)をフレキシブルに設定可能なビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法とを提供することを目的とする。
本発明に係るビームフォーミングマイクロホンシステムは、複数のマイクロホンユニットと、所定時間ごとに、複数のマイクロホンユニットそれぞれからの収音信号を処理する信号処理部と、複数のマイクロホンユニットが音を音信号として収音可能な収音領域ごとに、収音領域を示す収音領域情報と、収音領域内に任意に設定されている少なくとも1の個別収音領域の位置を示す個別収音領域位置情報と、を関連付けて記憶する記憶部と、を有してなり、信号処理部は、複数のマイクロホンユニットそれぞれからの収音信号に基づいて、個別収音領域における音源の音源位置を示す音源位置情報を特定する位置情報特定部と、複数のマイクロホンユニットそれぞれからの収音信号に基づいて、音源位置からの音に対応する音信号を生成する信号生成部と、音源位置が属する個別収音領域の個別収音領域位置情報に基づいて、複数の出力チャンネルの中から、音信号が出力される1の出力チャンネルを個別収音領域に割り当てるチャンネル割当部と、を備える、ことを特徴とする。
本発明によれば、ビームフォーミングマイクロホンシステムにおいて、指向性の演算処理の処理負荷の低減が可能で、かつ、音が収音される領域(指向性が向けられる領域)がフレキシブルに設定可能である。
本発明に係るビームフォーミングマイクロホンシステムの実施の形態を示すネットワーク構成図である。 図1のビームフォーミングマイクロホンシステムの設置の例を示す模式図である。 図1のビームフォーミングマイクロホンシステムが備えるマイクロホン装置の機能ブロック図である。 本発明に係る情報処理装置の実施の形態を示す機能ブロック図である。 図1のビームフォーミングマイクロホンシステムの動作を示すフローチャートである。 図5の動作に含まれる領域設定処理のフローチャートである。 図6の領域設定処理において、図4の情報処理装置が備える表示部に表示される情報の例を示す模式図である。 図4の情報処理装置が備える記憶部に記憶される情報の例を示す模式図である。 図5の動作に含まれる収音処理のフローチャートである。 図1のビームフォーミングマイクロホンシステムの第1実施例を示す模式図であり、(a)は会議の参加者が発話している状態を示し、(b)は会議の別の参加者が発話している状態を示し、(c)は会議のさらに別の参加者が発話している状態を示す。 図1のビームフォーミングマイクロホンシステムの第2実施例を示す模式図である。 図1のビームフォーミングマイクロホンシステムの第3実施例を示す模式図である。 図1のビームフォーミングマイクロホンシステムの第4実施例を示す模式図である。 図1のビームフォーミングマイクロホンシステムの第5実施例を示す模式図である。 図1のビームフォーミングマイクロホンシステムの第1変形例を示す模式図である。 図1のビームフォーミングマイクロホンシステムの第2変形例を示す模式図である。
以下、図面を参照しながら、本発明に係るビームフォーミングマイクロホンシステム(以下「本システム」という。)と、ビームフォーミングマイクロホンシステムの収音プログラム(以下「本収音プログラム」という。)および設定プログラム(以下「本設定プログラム」という。)と、ビームフォーミングマイクロホンの設定装置(以下「本装置」という。)と、ビームフォーミングマイクロホンの設定方法(以下「本方法」という。)と、の実施の形態について説明する。
本発明は、収音領域内に少なくとも1の個別収音領域を設定し、ビームフォーミング技術(ビームフォーミングマイクロホン技術)を応用して個別収音領域内の音源の位置(音源位置)を特定すると共に音源からの音に対応する音信号を生成し、生成された音信号を音源位置が属する個別収音領域に設定されている出力チャンネルの音信号として処理する。音信号の詳細は、後述する。
「収音領域」は、後述するマイクロホンユニットが音源からの音を音信号として収音可能とする最大の領域である。収音領域の大きさおよび形状は、予め設定されている(本実施の形態では、後述する基準点を頂点とする略円錐状)。
「個別収音領域」は、収音領域の一部または全部を範囲とする領域であり、領域内に音源位置が属しているとき、音源からの音を音信号として収音可能とする領域である。個別収音領域には、対応する出力チャンネルが予め設定されている。その結果、個別収音領域に属する音信号は、個別収音領域に設定されている出力チャンネルの音信号として出力される。
「音源」は、それぞれの個別収音領域において、何らかの音を発している対象(人、物)のうち、最大音量の音を発している対象である。すなわち、音源は、個別収音領域ごとに複数存在し得る。
●ビームフォーミングマイクロホンシステム●
●ビームフォーミングマイクロホンシステムの構成
先ず、本システムの実施の形態について説明する。
図1は、本システムの実施の形態を示すネットワーク構成図である。
図2は、本システム1の設置の例を示す模式図である。
本システム1は、個別収音領域内の音源位置を特定し、音源からの音に対応する音信号を生成し、音源位置が属する個別収音領域に設定されている出力チャンネルの音信号として処理する。本システム1は、マイクロホン装置10と、情報処理装置20と、を有してなる。ここで、情報処理装置20は、本装置の例であり、以下の説明において「本装置20」と記載される。マイクロホン装置10と本装置20とは、例えば、ネットワークNを介して接続され、相互間で情報を送受信する。
ネットワークNは、例えば、LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)のような通信網である。
なお、本発明におけるネットワークは、インターネット、移動体通信網、WAN(Wide Area Network)のような通信網でもよい。この場合、マイクロホン装置は、例えば、通信網を介して遠隔操作可能である。
●マイクロホン装置の構成
図3は、マイクロホン装置10の機能ブロック図である。
マイクロホン装置10は、個別収音領域内の音源位置を特定し、音源からの音に対応する音信号を生成し、音源位置が属する個別収音領域に設定されている出力チャンネルの音信号として出力する。マイクロホン装置10は、例えば、会議室などの室内の天井に設置されているシーリングマイクロホン装置である。マイクロホン装置10は、筐体(不図示。以下同じ。)と、複数のマイクロホンユニット11(1~n:nは整数)と、信号処理部12と、記憶部13と、通信部14と、を備える。以下の説明において、複数のマイクロホンユニット11(1~n)それぞれを区別する必要が無いとき、それぞれは「マイクロホンユニット11」と記載される。ここで、「n」は、例えば、「32」である。
筐体は、マイクロホンユニット11と信号処理部12と記憶部13と通信部14とを収容する。筐体は、例えば、平面視において略正方形の箱状である。
マイクロホンユニット11は、収音領域内の音を収音して、音に対応する電気信号(以下「収音信号」という。)を生成する。マイクロホンユニット11は、例えば、無指向性のマイクロホンユニットである。マイクロホンユニット11(1~n)それぞれは、1のビームフォーミングマイクロホン(マイクロホンアレイ)を構成している。マイクロホンユニット11(1~n)は、例えば、平面視における筐体の中心点を中心とする複数の同心円上に所定の角度間隔でそれぞれ配置されている。マイクロホンユニット11は、筐体に収容されている。
信号処理部12は、マイクロホン装置10の動作を制御すると共に、後述のとおり、マイクロホンユニット11それぞれからの収音信号を処理する。信号処理部12は、例えば、CPU(Central Processing Unit)などの少なくとも1のプロセッサと、CPUの作業領域として機能するRAM(Random access memory)と、本収音プログラムなどの各種情報を記憶するROM(Read Only Memory)と、により構成されている。信号処理部12において、プロセッサがROMに記憶されている各種プログラムを読み出して実行することにより、マイクロホン装置10の動作が制御される。信号処理部12は、筐体に収容されている。信号処理部12は、位置情報特定部121と、音声判定部122と、信号生成部123と、設定部124と、チャンネル割当部125と、を備える。
信号処理部12では、本収音プログラムが動作して、後述する収音処理(S2)を実現する。すなわち、本収音プログラムは、信号処理部12(プロセッサ)を、本発明における位置情報特定部121、音声判定部122、信号生成部123、設定部124およびチャンネル割当部125として機能させる。
位置情報特定部121は、マイクロホンユニット11それぞれからの収音信号に基づいて、個別収音領域における音源位置情報を特定する。位置情報特定部121の具体的な動作は、後述する。
「音源位置情報」は、個別収音領域における音源の位置(音源位置)を示す情報である。音源位置情報は、例えば、マイクロホン装置10に設定されている所定の基準点を原点とする極座標系における座標により示される。
「基準点」は、例えば、複数のマイクロホンユニット11が配置されている同心円の中心点(本実施の形態では、平面視における筐体の中心点)である。
なお、本発明における基準点は、本実施の形態に限定されない。すなわち、例えば、基準点は、筐体の重心でもよく、あるいは、筐体の下面(または上面)の中心点でもよい。
「極座標系における座標」は、本実施の形態では、仰角(極角)と、回転角(方位角)と、により示される。すなわち、本実施の形態では、音源位置は、基準点からの角度(向き)により示される。
なお、極座標系の座標は、仰角(極角)と、回転角(方位角)と、基準点からの距離と、により示されてもよい。
音声判定部122は、マイクロホンユニット11それぞれからの収音信号が話者の音声に対応する音声信号か否かを判定する。音声判定部122の具体的な動作は、後述する。
「話者」は、収音領域において、発話している人である。話者は、本発明における音源の一例である。
信号生成部123は、マイクロホンユニット11それぞれからの収音信号に基づいて、音源位置からの音に対応する音信号を生成する。信号生成部123の動作は、後述する。
「音信号」は、収音信号に対して所定の信号処理が実行された結果生成される信号であって、あたかもマイクロホン装置10(複数のマイクロホンユニット11で構成されるマイクロホンアレイ)が狭指向性を備え、その指向性が音源(話者)に向けられている状態で収音された音に対応する電気信号(オーディオ信号)である。換言すれば、音信号は、音源からの音(音声)が主として収音され、音源以外からの音(話者以外の人の音声、ノイズなど)が抑制された信号である。
設定部124は、収音領域情報に基づいて、マイクロホン装置10の収音領域を画定する。また、設定部124は、入力された個別収音領域位置情報に基づいて、画定された収音領域内に個別収音領域を設定する。設定部124の具体的な動作は、後述する。
「収音領域情報」は、収音領域を示す情報である。収音領域情報は、例えば、マイクロホン装置10の基準点を原点とする極座標系における座標により示される。
「個別収音領域位置情報」は、収音領域における個別収音領域の位置を示す情報である。個別収音領域情報は、例えば、マイクロホン装置10の基準点を原点とする極座標系における座標により示される。
チャンネル割当部125は、個別収音領域位置情報に基づいて、複数の出力チャンネルの中から、音信号が出力される1の出力チャンネルを個別収音領域に割り当てる。チャンネル割当部125の具体的な動作は、後述する。
記憶部13は、マイクロホン装置10の動作に必要な情報(例えば、収音領域情報、個別収音領域位置情報、後述する対応関係情報、など)を記憶する。記憶部13は、例えば、不揮発性メモリにより構成される情報記憶媒体である。
通信部14は、ネットワークNを介して、本装置20との間で情報を送受信する。通信部14は、例えば、パケットの送受信を行う公知の通信インターフェイスである。
●情報処理装置の構成
図4は、本装置20の実施の形態を示す機能ブロック図である。
本装置20は、マイクロホン装置10の設定を行う。本装置20は、例えば、パーソナルコンピュータである。本装置20は、例えば、マイクロホン装置10が設置されている会議室などの室内に設置されている。本装置20は、通信部21と、制御部22と、記憶部23と、操作部24と、表示部25と、を備える。
本装置20では、本設定プログラムが動作して、本設定プログラムが本装置20のハードウェア資源と協働して、後述する本方法を実現する。すなわち、本設定プログラムは、コンピュータを本装置20として機能させる。つまり、本設定プログラムは、コンピュータを収音領域表示部221、領域設定部222、および対応関係設定部223として機能させる。
通信部21は、ネットワークNを介してマイクロホン装置10との間で情報を送受信すると共に、例えば、ケーブルCLを介して外部装置2に音信号を出力する。通信部21は、第1通信部211と第2通信部212とを備える。第1通信部211は、例えば、パケットの送受信を行う公知の通信インターフェイスである。第2通信部212は、例えば、後述する出力チャンネルごとの音信号を外部装置2に出力する公知の出力端子である。ここで、外部装置2は、例えば、会議用の制御装置、レコーダ、または、スピーカである。
制御部22は、本装置20の動作を制御する。制御部22は、例えば、CPUなどの少なくとも1のプロセッサと、CPUの作業領域として機能するRAMと、本設定プログラムなどの各種情報を記憶するROMと、により構成されている。制御部22において、例えば、プロセッサがROMに記憶されている各種プログラムを読み出して実行することにより、本装置20の動作が制御される。制御部22は、収音領域表示部221と、領域設定部222と、対応関係設定部223と、ミキサ部224と、を備える。
収音領域表示部221は、マイクロホン装置10が設置される場所(以下「設置場所」という。)の見取図と、収音領域とを重ねて表示部25に表示させる。収音領域表示部221の具体的な動作は、後述する。
「見取図」は、設置場所(本実施の形態では会議室)を、平面視により視覚的に表す図である。見取図は、例えば、設置場所の設計図または模式図、または、設置場所を天井側から撮像した撮像画像、である。見取図は、見取図を示す見取図情報として、記憶部23に記憶されている。
なお、見取図情報は、例えば、設置場所の平面的な情報(床の長さおよび幅を示す情報など)だけでなく、立体的な情報(床面から天井までの高さを示す情報など)も含んでもよい。
領域設定部222は、操作部24の操作に基づいて、収音領域内に個別収音領域を設定する。領域設定部222は、本発明における候補領域表示部および位置情報設定部として機能する。領域設定部222の具体的な動作は、後述する。
対応関係設定部223は、操作部24の操作に基づいて、個別領域位置情報と出力チャンネル情報との対応関係を設定する。対応関係設定部223の具体的な動作は、後述する。
「出力チャンネル情報」は、複数の出力チャンネルのうち、個別収音領域に設定される(割り当てられる)出力チャンネルを示す情報である。
ミキサ部224は、マイクロホン装置10からの音信号に対して、出力チャンネルごとに増幅・減衰・混合などの信号処理を実行する。すわなち、ミキサ部224は、オーディオ信号に対するミキサ装置として機能する。つまり、本装置20は、オーディオ信号に対するミキサ装置としての機能も備えている。
記憶部23は、本装置20の動作に必要な情報(例えば、見取図情報など)と、マイクロホン装置10に送信する情報(例えば、後述する本方法により生成される収音領域情報、個別収音領域位置情報、対応関係情報、など)、およびマイクロホン装置10から受信する情報(例えば、音信号など)、を記憶する。記憶部23は、例えば、HDDなどの情報記憶媒体である。
「対応関係情報」は、個別領域位置情報と出力チャンネル情報との対応関係を示す情報である。対応関係情報は、個別領域ごとに設定され、記憶されている。
操作部24は、本装置20の使用者により操作されるデバイスである。操作部24は、少なくともマウスなどのポインティングデバイスを含む。
表示部25は、見取図と収音領域と個別収音領域とを重ねて表示する。表示部25は、例えば、液晶ディスプレイである。
なお、本発明における操作部と表示部とは、1のタッチパネルディスプレイにより構成されていてもよい。この場合、タッチパネルは、本発明における表示部としてだけでなく、本発明におけるポインティングデバイス(操作部)としても機能する。
●ビームフォーミングマイクロホンシステムの動作●
次に、図3と図4とを参照しながら、本システム1の動作について説明する。
図5は、本システム1の動作を示すフローチャートである。
本システム1は、領域設定処理(S1)と、収音処理(S2)と、を実行する。
本システム1では、後述のとおり、領域設定処理(S1)において、本装置20がマイクロホン装置10の収音領域を画定し、個別収音領域を設定する。次いで、本システム1では、収音処理(S2)において、マイクロホン装置10が収音領域の音を収音し、音源位置を特定し、音声を判定し、音信号を生成し、および、出力チャンネルごとの音信号を本装置20に出力(伝送)する。
●領域設定処理
先ず、領域設定処理(S1)について説明する。以下の領域設定処理(S1)の説明において、説明の便宜上、見取図と、収音領域と、候補領域と、個別収音領域と、には符号が付されている。
図6は、領域設定処理(S1)のフローチャートである。
図7は、領域設定処理(S1)において表示部25に表示される情報の例を示す模式図である。
「領域設定処理(S1)」は、収音処理(S2)の事前準備として、見取図SFに対する収音領域Rの画定処理と、収音領域Rに対する1以上の個別収音領域IRの設定処理と、を実行する処理である。領域設定処理(S1)は、主に本装置20により実行される。領域設定処理(S1)は、本方法の一例である。
先ず、本装置20の制御部22は、収音領域Rが画定される場所(例えば、会議室)の見取図情報と、マイクロホン装置10の収音領域情報と、を記憶部23から読み出す(S101)。
次いで、収音領域表示部221は、見取図情報と収音領域情報とに基づいて、見取図SFと、収音領域Rの中心点(マイクロホン装置10の基準点)Cと、を重ねて表示部25に表示させる(S102)。
次いで、使用者は、表示部25を見ながら、操作部24(ポインティングデバイス)を介して、収音領域Rの中心点(マイクロホン装置10の基準点)Cの位置を、見取図SFにおいてマイクロホン装置10の設置位置に対応する位置に移動させる。このとき、収音領域表示部221は、移動した中心点Cを表示部25に表示させる(S103)。
次いで、本装置20の使用者は、操作部24を介して、見取図情報に対応する場所の高さ(床面から天井面までの距離)を入力する。このとき、制御部22は、見取図情報に対応する高さを示す情報(高さ情報)を取得する(S104)。高さ情報は、例えば、見取図情報に関連付けられて記憶部23に記憶される。
次いで、収音領域表示部221は、所定の高さ(例えば、床面)、所定の大きさ(例えば、デフォルトに設定されている仰角に対応する大きさ)の収音領域Rと見取図とを重ねて表示部25に表示させる(S105)。
次いで、使用者は、収音領域Rの大きさ(境界)を調節する。具体的には、使用者は、操作部24を介して、収音領域Rの境界を設定する高さを入力(指定)する。次いで、使用者は、表示部25を見ながら、操作部24を介して、その高さにおける収音領域Rの大きさを調節する。このとき、使用者は、必要に応じて、収音領域Rの設定場所の所定の領域(例えば、会議室の隅)の所定の高さ(入力した高さ)において発生させた音の収音状態を確認し、収音領域Rの大きさを微調節する。収音領域表示部221は、使用者に入力された高さにおける収音領域Rを、表示部25に表示させる(S106:収音領域の画定処理)。中心点Cの移動および大きさの調節後の収音領域Rに対応する収音領域情報は、新たな収音領域情報として画定され、例えば、記憶部23に記憶される。
次いで、使用者は、操作部24を介して、個別収音領域IRを設定する(床面からの)高さを入力(指定)する。このとき、制御部22は、個別収音領域IRを設定する高さを示す情報(設定高さ情報)を取得する(S107)。設定高さ情報は、例えば、見取図情報に関連付けられて記憶部23に記憶される。ここで、個別収音領域IRを設定する高さは、例えば、話者の口元が位置すると想定される高さ(例えば、着座の状態では110cm前後、立位の状態では140cm前後)である。
次いで、使用者は、表示部25を見ながら、例えば、操作部24(ポインティングデバイス)を介して、見取図SF内かつ収音領域R内に、任意の数および大きさの小領域を区画する。このとき、領域設定部222は、区画された少なくとも1の小領域を、個別収音領域IRの候補となる1の領域(以下「候補領域CR」という。)として、見取図SFと収音領域Rとに重ねて表示部25に表示させる(S108)。本実施の形態において、小領域の形状は、例えば、矩形である。
なお、小領域の数は、「1」に限定されない。すなわち、例えば、小領域の数は、「2」以上でもよい。このとき、各小領域は(物理的に)離隔して配置されていてもよく、各小領域の一部が接触していてもよい。すなわち、候補領域は、複数の小領域が結合した1の領域で構成されてもよく、あるいは、互いに離隔して配置されている複数の小領域で構成されてもよい。
また、小領域の形状は、矩形に限定されない。すなわち、例えば、小領域の形状は、円形でもよく、いわゆるフリーフォームにより形成された閉じた形状でもよい。
次いで、領域設定部222は、候補領域CRの位置を示す情報(以下「候補領域位置情報」という。)を特定する(S109)。このとき、領域設定部222は、2次元の情報である候補領域CRの座標に高さ情報を加えて3次元の情報である極座標系の座標に変換して、候補領域位置情報を特定する。特定された候補領域位置情報は、収音領域情報に関連付けられて、例えば、記憶部23に記憶される。
次いで、領域設定部222は、例えば、複数の出力チャンネルの選択肢を表示部25に表示させる(S110)。
次いで、使用者は、表示部25を見ながら、操作部24を介して、複数の出力チャンネルの選択肢の中から候補領域CRに対応付けられる出力チャンネルを選択する。このとき、領域設定部222は、選択された出力チャンネルを、候補領域CRに対応する出力チャンネルとして設定する(S111)。
次いで、領域設定部222は、出力チャンネルが設定された候補領域CRを個別収音領域IRとして設定する(S112)。すなわち、領域設定部222は、候補領域位置情報を個別収音領域位置情報として設定する。その結果、設定された個別収音領域位置情報は、対応する出力チャンネル情報に関連付けられて、例えば、記憶部23に記憶される。ここで、処理S107~S112は、本発明における個別収音領域IRの設定処理の一例である。
次いで、領域設定部222は、新たな候補領域CRが区画されているか否かを判定する(S113)。新たな候補領域CRが区画されているとき(S113の「Y」)、領域設定部222は、処理S107~S112を実行する。この場合、1の収音領域Rに対して、複数の個別収音領域IRが設定され、個別収音領域IRごとに出力チャンネルが設定される。
新たな候補領域CRが区画されていないとき(S113の「N」)、対応関係設定部223は、個別収音領域IRごとに、個別収音領域位置情報と、個別収音領域位置情報に対応する出力チャンネル情報と、の対応関係を設定する(S114)。設定された対応関係を示す対応関係情報は、収音領域情報に関連付けられて、例えば、記憶部23に記憶される。すなわち、対応関係情報には、収音領域ごとに、収音領域情報と、少なくとも1の個別収音領域位置情報と、出力チャンネル情報とが関連付けられている。このように記憶部23に記憶されている対応関係情報と収音領域情報とは、例えば、次回の領域設定処理(S1)が実行されるとき、初期設定情報として用いられる。
図8は、記憶部23に記憶されている対応関係情報の例を示す模式図である。
図8において、収音領域情報は、仰角と回転角との2つの角度で示されている。墨塗のマスは、個別収音領域IR(個別収音領域位置情報)を示している。マス内の数字は、個別収音領域位置に設定されている出力チャンネルの識別番号(出力チャンネル情報)を示している。
なお、本発明における対応関係情報は、一例であり、図8に限定されない。すなわち、例えば、本発明における対応関係情報は、相互に関連する複数のテーブルなどにより記憶部に記憶されていてもよい。
図6と図7とに戻る。
次いで、通信部21は、ネットワークNを介して、対応関係情報をマイクロホン装置10に送信する(S115)。本装置20から送信された対応関係情報は、マイクロホン装置10の記憶部13に記憶される。
次いで、マイクロホン装置10の設定部124は、対応関係情報を記憶部13から読み出す(S116)。
次いで、設定部124は、対応関係情報に基づいて、マイクロホン装置10の収音領域Rと個別収音領域IRとを設定する(S117)。すなわち、設定部124は、マイクロホン装置10における収音領域情報と個別収音領域情報とを更新する。
次いで、チャンネル割当部125は、対応関係情報に基づいて、個別収音領域IRに出力チャンネルを割り当てる(S118)。具体的には、チャンネル割当部125は、対応関係情報(すなわち、個別収音領域情報、出力チャンネル情報)を参照し、各個別収音領域IRに設定されている(対応する)1の出力チャンネルを特定する。次いで、チャンネル割当部125は、特定された1の出力チャンネルを音信号が出力される出力チャンネルとして対応する個別収音領域IRに割り当てる。
このように、本装置20は、使用者の操作に基づいて、収音領域Rごとに任意の数および大きさの個別収音領域IRを設定する。すなわち、本装置20は、収音領域Rごとに少なくとも1の個別収音領域IRをフレキシブルに設定可能である。また、本装置20は、個別収音領域IRごとに出力チャンネルを設定して、その対応関係をマイクロホン装置10に送信する。換言すれば、本装置20は、マイクロホン装置10が個別収音領域IRに属する音源からの音に対応する音信号のみ生成・出力するように、マイクロホン装置10の動作を間接的に制御する。すなわち、マイクロホン装置10は、個別収音領域IRに属する音信号を生成するが、個別収音領域IR以外に属する音信号を生成しない。このように、本装置20による個別収音領域IRおよび出力チャンネルの設定により、マイクロホン装置10の音信号の生成は、制御される。その結果、マイクロホン装置10の処理負荷は、常に収音領域全体を探索して音信号を生成する場合と比較して、低減される。
なお、領域設定処理は、収音領域に対応する個別収音領域が設定可能であればよく、本実施の形態に限定されない。すなわち、例えば、領域設定処理において、一部の処理の順序は入れ替わってもよく、一部の処理は実行されなくてもよく、あるいは、他の処理が追加されてもよい。
また、予め見取図情報に高さ情報が含まれている場合、本装置の制御部は、処理S104において、見取図情報に基づいて高さ情報を取得してもよい。
さらに、収音領域の中心点の位置および/または収音領域の大きさは、予め見取図に対応して設定されていてもよい。この場合、本装置は、予め設定されている情報(初期設定情報)に基づいて、処理S103,S106を実行してもよい。
さらにまた、本発明におけるマイクロホン装置は、設置された室内を俯瞰的に撮像可能な撮像装置を備えていてもよい。この場合、撮像装置により撮像された画像は、見取図に代えて用いられてもよい。この構成では、収音領域は、撮像装置のズーム機能と高さ情報とに基づいて設定可能であり、マイクロホン装置の収音可能な最大範囲と撮像可能な最大範囲とをリンクさせることもできる。その結果、収音領域の設定が簡略化できる。
さらにまた、本発明における設定部およびチャンネル割当部の処理S116~S118は、領域設定処理とは別の処理として実行されてもよい。
●収音処理
図9は、収音処理(S2)のフローチャートである。
「収音処理(S2)」は、収音領域において生じた音を常時収音しながら、所定時間ごとに、音源位置の特定処理と、音声の判定処理と、音信号の生成処理と、出力チャンネルごとの音信号の出力処理と、を実行する処理である。収音処理(S2)は、マイクロホン装置10により実行される。
先ず、マイクロホンユニット11それぞれは、収音領域内の音の収音を開始する(S201)。すなわち、マイクロホンユニット11それぞれは、収音された音に対応する収音信号を生成し、同収音信号を信号処理部12に送信する。このとき、信号処理部12は、所定時間ごとに後述する一連の処理(S202~S204)を繰り返し実行する。
「所定時間」は、マイクロホン装置10が後述する一連の処理を実行する時間の間隔である。所定時間は、予め設定されている。本実施の形態において、所定時間は、5msである。すなわち、マイクロホン装置10は、所定時間(5ms)ごとに、後述する一連の処理を実行する。
所定時間ごとに、位置情報特定部121は、マイクロホンユニット11それぞれからの収音信号に基づいて、個別収音領域における音源の音源位置(音源位置情報)を特定(探索)する(S202:音源位置の特定処理)。具体的には、位置情報特定部121は、例えば、公知のビームフォーミングマイクロホン技術を用いて、個別収音領域の探索時の瞬間において最大音量の音を発している音源の音源位置情報を特定する。このとき、位置情報特定部121は、収音領域全体ではなく、収音領域内に設定されている1以上の個別収音領域においてのみ音源位置を特定する。
次いで、音声判定部122は、マイクロホンユニット11それぞれからの収音信号に基づいて、収音信号が話者の音声に対応する音声信号か否かを判定する(S203:音声の判定処理)。具体的には、音声判定部122は、例えば、公知のVAD(Voice Activity Detection)技術を用いて、収音信号が音声信号か否かを判定する。
音声判定部122が「収音信号が音声信号である」と判定したとき(S203の「Y」)、信号生成部123は、マイクロホンユニット11それぞれからの収音信号に基づいて、音源位置からの音(すなわち、話者の音声)に対応する音信号を生成する(S204:音信号の生成処理)。具体的には、信号生成部123は、公知のビームフォーミングマイクロホン技術を応用して、音信号を生成する。このとき、複数のマイクロホンユニット11は、疑似的な狭指向性が音源方向に向けられている1のビームフォーミングマイクロホンを構成している。換言すれば、信号生成部123が音信号を生成したとき、ビームフォーミングマイクロホンの狭指向性(以下単に「指向性」という。)を示す仮想的なビームは、音源方向に向けられている。
一方、音声判定部122が「収音信号が音声信号ではない」と判定したとき(S203の「N」)、収音処理(S2)は、処理S202に戻る。
このように、マイクロホン装置10は、出力チャンネルが設定されていない領域(個別収音量領域以外の領域)に対しては、音源位置の特定、音信号の生成および出力を実行しない。すなわち、マイクロホン装置10は、出力チャンネルが設定されていない領域には、指向性(指向性を示す仮想的なビーム)を向けない。
次いで、信号処理部12は、出力チャンネルごとの音信号を通信部14に出力する(S205)。
次いで、通信部14は、ネットワークNを介して、出力チャンネルごとの音信号を本装置20に送信する(S206)。その結果、本装置20は、ミキサ部224を用いて、出力チャンネルごとの音信号に対して、種々の信号処理を実行できる。種々の信号処理の例として、例えば、声が小さい話者または発話の優先度の高い話者(例えば、会社の社長など)が属している個別収音領域からの音信号のレベルのみを増加させる、不必要な発話(例えば、雑談など)をしている話者が属している個別収音領域からの音信号をミュートまたは一時的に収音対象から除外する、などの信号処理が挙げられる。また、個別収音領域ごとに出力チャンネルが設定されているため、各出力チャンネルに対する自動ゲインシェアリングやエコーキャンセルなどの信号処理も適用可能である。そのため、声が大きい話者が属する個別収音領域からの音信号のレベルが上限を超えるとき、レベルの自動調整が可能となる。
このように、本システム1(本装置20)は、使用者の操作に基づいて、任意の数および大きさの個別収音領域を設定すると共に、個別収音領域ごとに出力チャンネルを設定する。その結果、本システム1では、収音領域において、使用者の操作に基づくフレキシブルな個別収音領域の設定が可能である。
また、本システム1(マイクロホン装置10)は、所定時間(5ms)ごとに、個別収音領域内において話者を特定(探索)し、話者が発話しているときのみ話者に指向性を向ける。すなわち、本システム1は、収音領域全体ではなく、個別収音領域に対してのみ、指向性を向けるための演算処理(以下「指向性の演算処理」という。)を実行する。そのため、本システム1では、収音領域全体に対して指向性の演算処理を実行する従来システム、および、分割された収音領域ごとに指向性の演算処理を実行する従来システム(以下、まとめて「従来システム」という。)よりも、指向性の演算処理の量(回数)が低減される。その結果、本システム1(信号処理部12)の演算処理の処理負荷は、低減される。
なお、収音処理は、所定時間間隔で一連の処理を実行可能であればよく、本実施の形態に限定されない。すなわち、例えば、収音処理において、他の処理が追加されてもよい。
また、収音処理において、本発明におけるマイクロホン装置は、収音領域内において音源位置を特定し、特定された音源位置が個別収音領域のいずれかに属するか否かを判定し、音源位置が個別収音領域に属するときのみ音信号を生成してもよい。この場合、本発明におけるマイクロホン装置(信号処理部)は、例えば、個別収音領域情報と音源位置情報とに基づいて音源位置が個別収音領域に属するか否かを判定する(領域の)判定部として機能する。
●実施例●
次に、図3と図4とを参照しながら、本システム1の実施例について説明する。以下の各実施例の説明において、説明の便宜上、収音領域と、個別収音領域と、個別収音領域に含まれる小領域と、話者(参加者、補助者、議長、議員など)と、には符号が付されている。
●実施例(1)
図10は、本システム1の第1実施例を示す模式図であり、(a)は会議の参加者H1が発話している状態を示し、(b)は参加者H2が発話している状態を示し、(c)は参加者H3が発話している状態を示す。
図10において、マイクロホン装置10は、会議室の天井に設置されている。マイクロホン装置10の収音領域R内には、2つの個別収音領域IR1,IR2が設定されている。個別収音領域IR1には参加者H1,H2が属し、個別収音領域IR2には参加者H3が属している。個別収音領域IR1には出力チャンネル「Ch1」が設定され、個別収音領域IR2には出力チャンネル「Ch2」が設定されている。
この状態において、参加者H1が発話すると、マイクロホン装置10は、参加者(話者)H1の音声に対応する音信号を生成し、同音信号を出力チャンネル「Ch1」の音信号として出力する。このとき、図10(a)に示されるとおり、ビームフォーミングマイクロホンの疑似的な指向性D(以下単に「指向性D」という。)は、参加者H1に向けられている。次いで、参加者H2が発話すると、マイクロホン装置10は、参加者(話者)H2の音声に対応する音信号を生成し、同音信号を出力チャンネル「Ch1」の音信号として出力する。このとき、図10(b)に示されるとおり、指向性Dは、参加者H2に向けられている。このように、2つの音源(参加者H1,H2)が同じ個別収音領域IR1に属していても、音源位置が異なれば、各音源位置に指向性Dが向けられる。その結果、異なる音源からの音信号に同じ出力チャンネル「Ch1」を介して出力されていても、参加者H1,H2それぞれの音声は、明瞭である。次いで、参加者H3が発話すると、マイクロホン装置10は、参加者(話者)H3の音声に対応する音信号を生成し、同音信号を出力チャンネル「Ch2」の音信号として出力する。このとき、図10(c)に示されるとおり、指向性Dは、参加者H3に向けられている。一方、個別収音領域IR1,IR2以外の領域で音(例えば、会議の補助者H4の発話)が生じても、マイクロホン装置10は音信号を生成・出力せず、指向性Dは音源に向けられない。
●実施例(2)
図11は、本システム1の第2実施例を示す模式図である。
図11において、マイクロホン装置10は、会議室の天井に設置されている。マイクロホン装置10の収音領域R内には、2つの個別収音領域IR1,IR2が設定されている。個別収音領域IR1は、離隔して配置されている2つの小領域IR11,IR12を含む。小領域IR11には参加者H1が属し、小領域IR12には参加者H2が属している。個別収音領域IR2には、参加者H3が属している。個別収音領域IR1には出力チャンネル「Ch1」が設定され、個別収音領域IR2には出力チャンネル「Ch2」が設定されている。この状態におけるマイクロホン装置10の動作は、第1実施例と同様である。このように、本システム1では、離隔して配置されている複数(2つ)の小領域IR11,IR12が1つの個別収音領域IR1として設定可能であり、離隔して配置されている複数の小領域IR11,IR12からの音信号それぞれに同じ出力チャンネル「Ch1」が設定可能である。
●実施例(3)
図12は、本システム1の第3実施例を示す模式図である。
図12において、マイクロホン装置10は、会議室の天井に設置されている。マイクロホン装置10の収音領域R内には、3つの個別収音領域IR1,IR2,IR3が設定されている。個別収音領域IR1には参加者H1が属し、個別収音領域IR2には参加者H1,H2が属し、個別収音領域IR3には参加者H3が属している。すなわち、個別収音領域IR2の一部(参加者H1の席に対応する部分)は、個別収音領域IR1と重複して設定されている。参加者H1は、2つの個別収音領域IR1,IR2に属している。個別収音領域IR1には出力チャンネル「Ch1」が設定され、個別収音領域IR2には出力チャンネル「Ch2」が設定され、個別収音領域IR3には出力チャンネル「Ch3」が設定されている。
この状態において、参加者H1が発話すると、マイクロホン装置10は、参加者H1の音声に対応する音信号を生成し、同音信号を出力チャンネル「Ch1」「Ch2」を介して出力する。その結果、例えば、本システム1は、参加者H1,H2の音信号を同じ出力チャンネル「Ch1」を介して出力しつつ、出力チャンネル「Ch2」を介して出力されている参加者H1(会社の社長など)の音信号に対してのみレベルを増減させて(調整して)出力できる。
●実施例(4)
図13は、本システム1の第4実施例を示す模式図である。
図13において、マイクロホン装置10は、講義室の天井に設置されている。マイクロホン装置10の収音領域Rには、2つの個別収音領域IR1,IR2が設定されている。個別収音領域IR1には講演者H1が属し、個別収音領域IR2には複数の聴者H2~Hnが属している。個別収音領域IR1には出力チャンネル「Ch1」が設定され、個別収音領域IR2には出力チャンネル「Ch2」が設定されている。また、講義室のスピーカ(外部装置)2には、個別収音領域IRが設定されていない。
この状態において、例えば、講演者H1の講演時、出力チャンネル「Ch1」はミュートオフされ、出力チャンネル「Ch2」はミュートオンされる。その結果、本装置20は、講演時、聴者H2~Hnからの雑音などのノイズの出力のみをカットすることができる。一方、質疑応答時、例えば、出力チャンネル「Ch1」「Ch2」がミュートオフされる。その結果、本システム1は、質問をしている聴者H2~Hnと応答している講演者H1それぞれの音声(音信号)を異なる出力チャンネル「Ch1」「Ch2」を介して出力できる。また、スピーカ(外部装置)2からの音に対応する音信号は生成されず、スピーカ(外部装置)2からの音に基づくハウリングは生じない。
●実施例(5)
図14は、本システム1の第5実施例を示す模式図である。
図14において、2つのマイクロホン装置10-1,10-2が、議場の天井に設置されている。マイクロホン装置10-1の収音領域R-1には、3つの個別収音領域IR11,IR12,IR13が設定されている。個別収音領域IR12は、離隔して配置されている3つの小領域IR121,IR122,IR123を含む。個別収音領域IR13は、議場の前半部に設定されている。個別収音領域IR11~IR12の全ては、個別収音領域IR13の一部と重複している。一方、マイクロホン装置10-2の収音領域R-2には、2つの個別収音領域IR21,R22が設定されている。収音領域R-2の一部は、収音領域R-1の一部と重複している。個別収音領域IR21は、離隔して配置されている4つの小領域IR211,IR212,IR213,IR214を含む。個別収音領域IR22は、議場の後半部に設定されている。個別収音領域IR21の全ては、個別収音領域IR22の一部と重複している。個別収音領域IR11には、議長H1が属している。小領域IR121~IR123それぞれには議員H2,H3,H4が属し、小領域IR211~IR214には議員H5,H6,H7,H8が属している。
この状態において、本装置20は、2つのマイクロホン装置10-1,10-2から、個別収音領域IR11~IR13,IR21~IR22の音信号を受信できる。そして、本装置20は、例えば、個別収音領域IR11~IR12,IR21それぞれからの音信号のレベルを増減させて(調整して)合成することにより、各議員H1~H8の音声が明瞭な配信用データを生成できる。また、本装置20は、個別収音領域IR13,IR22からの音信号に基づいて、議会全体の音声のバックアップデータを生成できる。このように、本システム1は、議場のような広い室内では、複数のマイクロホン装置10を設置して、マイクロホン装置10ごとに個別収音領域IRを設定できる。
●まとめ
以上説明した実施の形態によれば、本システム1は、複数のマイクロホンユニット11と、収音信号を処理する信号処理部12と、収音領域情報と個別収音領域位置情報とを関連付けて記憶する記憶部13と、を有してなる。信号処理部12は、収音信号に基づいて音源位置情報を特定する位置情報特定部121と、収音信号に基づいて音信号を生成する信号生成部123と、音源位置が属する個別収音領域に対応する1の出力チャンネルを個別収音領域に割り当てるチャンネル割当部125と、を備える。収音領域に対する個別収音領域の位置は、任意に設定されている。この構成によれば、本システム1は、記憶部13に記憶されている個別収音領域位置情報に基づいて、収音領域ごとに任意の数および大きさの個別収音領域を設定する。すなわち、本システム1では、収音領域において、フレキシブルな個別収音領域(指向性が向けられる領域、音源位置が探索される領域)の設定が可能である。また、本システム1は、収音領域全体ではなく、個別収音領域に対してのみ、指向性を向けるための演算処理(指向性の演算処理)を実行する。そのため、本システム1では、従来システムよりも指向性の演算処理の量(回数)が低減され、演算処理の処理負荷が低減される。
また、以上説明した実施の形態によれば、信号生成部123は、音源位置が少なくとも1の個別収音領域のいずれかに属しているときのみ、音信号を生成する。この構成によれば、本システム1は、収音領域全体ではなく、個別収音領域に属している音源に対してのみ指向性の演算処理を実行する(指向性を向ける)。そのため、本システム1では、従来システムよりも指向性の演算処理の量(回数)が低減され、演算処理の処理負荷が低減される。
さらに、以上説明した実施の形態によれば、収音領域内に、複数の個別収音領域が設定されている。チャンネル割当部125は、複数の個別収音領域それぞれに対応する出力チャンネルを割り当てる。この構成によれば、本システム1は、従来システムとは異なり、個別収音領域ごとにフレキシブルに出力チャンネルを設定可能である。すなわち、本システム1では、従来システムよりもフレキシブルに個別収音領域の設定が可能であり、各種要求への応答が1つの操作仕様(ルール)により可能となる。
さらにまた、以上説明した実施の形態によれば、個別収音領域は複数の個別収音領域(第1個別収音領域、第2個別収音領域)を含む。個別収音領域それぞれの一部または全部は、相互に重複可能である。この構成によれば、本システム1では、従来システムよりもフレキシブルに個別収音領域の設定が可能である。
さらにまた、以上説明した実施の形態によれば、個別収音領域は、離隔して配置されている複数の小領域を含む。この構成によれば、本システム1では、複数の収音領域が必ず接している従来システムよりもフレキシブルに個別収音領域の設定が可能である。
さらにまた、以上説明した実施の形態によれば、信号処理部12は、収音信号が音声信号か否かを判定する音声判定部122を備える。音声判定部122が収音信号を音声信号と判定したとき、信号生成部123は、音信号を生成する。この構成によれば、信号生成部123は、音源からの音が音声以外の音(ノイズなど)のとき、指向性の演算処理を実行しない。そのため、本システム1では、演算処理の処理負荷が低減される。
さらにまた、以上説明した実施の形態によれば、複数のマイクロホンユニット11は、1のビームフォーミングマイクロホンを構成する。ビームフォーミングマイクロホンは、信号生成部123が音信号を生成したとき、指向性を音源位置に向けている。この構成によれば、本システム1は、収音領域全体ではなく、個別収音領域に対してのみ指向性を向ける。すなわち、本システム1は、個別収音領域に対してのみ指向性の演算処理を実行する。そのため、本システム1では、演算処理の処理負荷が低減される。
さらにまた、以上説明した実施の形態によれば、記憶部13は、複数の個別収音領域位置情報それぞれと、出力チャンネル情報と、の対応関係を示す対応関係情報を記憶している。チャンネル割当部125は、対応関係情報に基づいて、出力チャンネルを割り当てる。この構成によれば、本システム1では、予め対応関係情報が作成されることにより、収音領域ごとに、個別収音領域それぞれの出力チャンネルがフレキシブルに設定可能である。
さらにまた、以上説明した実施の形態によれば、本システム1は、使用者に操作される操作部24と、対応関係設定部223と、を備える。対応関係設定部223は、個別収音領域位置情報と、記使用者が操作部24を操作することにより任意に設定(選択)される出力チャンネルを示す出力チャンネル情報と、の対応関係を設定する。この構成によれば、本システム1では、使用者の操作部24の操作に基づいて、収音領域ごとに、個別収音領域それぞれの出力チャンネルがフレキシブルに設定可能である。
さらにまた、以上説明した実施の形態によれば、本システム1は、使用者に使用されるポインティングデバイス(操作部24)と、ポインティングデバイスの操作に基づいて個別収音領域を設定する領域設定部222と、を有してなる。領域設定部222は、使用者がポインティングデバイスを操作することにより区画される領域(候補領域)を個別収音領域として設定する。この構成によれば、本システム1では、使用者のポインティングデバイスの操作に基づいて、任意の数、形状および大きさの個別収音領域がフレキシブルに設定可能である。
さらにまた、以上説明した実施の形態によれば、本システム1は、5msごとに、収音領域内の音源位置を特定し、音源からの音に対応する音信号を生成し、音源位置が属する個別収音領域に対応する出力チャンネルを介して音信号を出力する。換言すれば、本システム1は、5msという高速な時間間隔ごとに、個別収音領域に属している音源に対してのみ指向性を向ける。すなわち、本システム1は、5msごとに、指向性の向きを変えることができ、出力チャンネルを切り替えることができる。この構成によれば、本システム1は、ビームフォーミングマイクロホンの1つの仮想的なビームを用いつつ、複数の出力チャンネルをまたいで聴感上シームレスな音を収音することができる。
なお、本装置は、ミキサ部を備えなくてもよい。すなわち、本装置は、ミキサとしての機能を備えなくてもよい。この場合、本システムは、マイクロホン装置と外部装置とに接続されるミキサを備えてもよい。この場合、ミキサは、例えば、出力チャンネルごとの音信号に前述の信号処理を実行して、外部装置に出力してもよい。
また、本発明におけるマイクロホン装置がミキサ機能を備えていてもよい。この場合、本発明におけるマイクロホン装置は、例えば、外部装置と接続され、出力チャンネルごとの音信号に前述の信号処理を実行して外部装置に出力してもよい。
さらに、本装置は、パーソナルコンピュータに限定されない。すなわち、例えば、本装置は、本設定プログラムが動作するスマートホン、またはタブレットPCでもよい。
さらにまた、本発明における信号処理部は、マイクロホンユニットとは異なる筐体に収容されていてもよい。
さらにまた、本発明におけるマイクロホン装置は、音声判定部を備えなくてもよい。この場合、本システムは、収音処理において、音声の判定処理を実行することなく、音信号を生成する。
さらにまた、本発明におけるマイクロホン装置の筐体の形状は、本実施の形態に限定されない。すなわち、例えば、本発明におけるマイクロホン装置の筐体は、平面視において円形の箱状でもよい。
さらにまた、本システムは、収音処理において、音信号を生成することなく収音信号をそのまま出力する個別の出力チャンネルを、収音領域に設定していてもよい。この場合、本システムは、音源の音が強調されていない生の音も収音できる。
さらにまた、本発明における信号処理部および制御部を構成するプロセッサは、CPUに限定されない。すなわち、例えば、プロセッサは、CPUに加えて、または、CPUに代えて、GPU(Graphics Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、または、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されていてもよい。
さらにまた、本発明に係るプログラム(本収音プログラム、本設定プログラム)が記憶される媒体は、ROMに限定されない。すなわち、例えば、本発明に係るプログラムは、記憶部や他の情報記憶媒体(SD(Secure Digital)メモリカード、USB(Universal Serial Bus)メモリなど)に記憶され、信号処理部に提供されていてもよい。
さらにまた、本システムは、収音領域内の少なくとも一部の動画を撮像する複数の撮像装置を備えてもよい。すなわち、例えば、本システムは、複数の個別収音領域それぞれに対応する複数の撮像装置を備えてもよい。この場合、例えば、撮像装置それぞれの撮像範囲(画角)は、対応する個別収音領域全てを撮像するように、本装置により設定される。撮像装置それぞれの撮像範囲の設定は、例えば、対応関係に関連付けられて本装置の記憶部に記憶されている。
図15は、本システムの第1変形例を示す模式図である。
同図は、本システム1Aが、2つの撮像装置31A,32Aを備えることを示す。同図は、撮像装置31A,32Aそれぞれの撮像範囲(画角)を一点鎖線で示す。
図15において、マイクロホン装置10と撮像装置31A,32Aそれぞれは、会議室の天井に設置されている。撮像装置31Aの撮像範囲は個別収音領域IR1全てを撮像するように設定され、撮像装置32Aの撮像範囲は個別収音領域IR2全てを撮像するように設定されている。すなわち、撮像装置31Aは個別収音領域IR1に対応し、撮像装置32Aは個別収音領域IR2に対応している。また、撮像装置31Aの撮像範囲は、撮像装置32Aの撮像範囲と異なる。撮像装置31A,32Aにより撮像された画像は、本装置20Aに送信される。個別収音領域IR1には参加者H1,H2が属し、個別収音領域IR2には参加者H3,H4が属している。ここで、個別収音領域IR1は本発明における第1個別収音領域の一例であり、個別収音領域IR2は本発明における第2個別収音領域の一例である。撮像装置31Aは本発明における第1撮像装置の一例であり、撮像装置32Aは本発明における第2撮像装置の一例である。この状態において、例えば、参加者H1が発話しているとき、本装置20Aは、参加者H1に対応する音信号と共に、撮像装置31Aにより撮像されている画像(以下「第1画像」という。)を出力する。第1画像には、参加者H1,H2が撮像されている。この状態において、参加者H2が発話すると、本装置20Aは、参加者H2に対応する音信号を出力すると共に、第1画像を出力し続ける。一方、参加者H3が発話すると、本装置20Aは、参加者H3に対応する音信号と共に、撮像装置32Aにより撮像されている画像(以下「第2画像」という。)を出力する。第2画像は、参加者H3,H4が撮像されている画像である。このように、話者(参加者H1,H2)が撮像装置31Aの撮像範囲内で切り替わっても、本装置20Aは、話者に応じて出力する音信号のみ生成し、出力する画像は第1画像のまま切り替えない。一方、話者(例えば、参加者H1から参加者H3)が撮像装置31Aの撮像範囲内から別の撮像装置32Aの撮像範囲内に切り替わると、本装置20Aは、出力する画像も第1画像から第2画像に切り替える。この構成では、本システム1Aは、話者の数よりも少ない撮像装置31A,32Aを用いて、同じまたは異なる個別収音領域IRにおいて音源位置が高速(本実施の形態では、5ms)で切り替わっても常に話者が撮像されている画像を出力できる。このように、本システム1Aは、個別収音領域と撮像範囲とを対応付けることにより、話者ごとの撮像装置を必要とすることなく、話者と話者が撮像されている画像とを出力できる。また、本システム1Aは、話者数とは関係なく、撮像装置31A,32Aの撮像範囲を自由に設定できる。
図16は、本システムの第2変形例を示す模式図である。
同図は、本システム1Bが、3つの撮像装置31B,32B,33Bを備えることを示す。同図は、撮像装置31B~33Bそれぞれの撮像範囲を一点鎖線で示す。
図16において、マイクロホン装置10と撮像装置31B~33Bそれぞれは、会議室の天井に設置されている。撮像装置31Bの撮像範囲は個別収音領域IR1全てを撮像するように設定され、撮像装置32Bの撮像範囲は個別収音領域IR2全てを撮像するように設定され、撮像装置33Bの撮像範囲は個別収音領域IR1の一部(後述する参加者H1)を撮像するように設定されている。撮像装置31B~33Bにより撮像された画像は、本装置20Bに送信される。個別収音領域IR1には参加者H1,H2が属し、個別収音領域IR2には参加者H3,H4が属している。ここで、個別収音領域IR1は本発明における第1個別収音領域の例であり、個別収音領域IR2は本発明における第2個別収音領域の一例である。撮像装置31B,33Bは本発明における個別撮像装置(第1撮像装置)の例であり、撮像装置32Bは本発明における第2撮像装置の一例である。この状態において、参加者H2~H4が発話しているときの本システム1Bの動作は、第1変形例における本システム1Aの動作と共通する。一方、参加者H1が発話しているとき、本装置20Bは、参加者H1に対応する音信号と共に、撮像装置31Bおよび/または撮像装置33Bにより撮像されている画像を出力する。この構成では、会社の社長などの重要人物が発話しているとき、本システム1Bは、重要人物のみが撮像されている画像と、重要人物が属している個別収音領域が撮像されている画像と、を出力できる。
なお、本発明における撮像装置の数と配置と撮像範囲とは、各変形例に限定されない。すなわち、例えば、複数の撮像装置のうち、1の撮像装置の撮像範囲は収音領域全体を俯瞰的に撮像するように設定され、他の撮像装置の撮像範囲は対応する個別収音領域を撮像するように設定されていてもよい。
また、各変形例において、本発明におけるマイクロホン装置が各撮像装置を備えていてもよい。
1 ビームフォーミングマイクロホンシステム
10 マイクロホン装置
11 マイクロホンユニット
12 信号処理部
121 位置情報特定部
122 音声判定部
123 信号生成部
124 設定部
125 チャンネル割当部
13 記憶部
20 情報処理装置(コンピュータ)
22 制御部(プロセッサ)
221 収音領域表示部
222 領域設定部
223 対応関係設定部
23 記憶部
24 操作部
25 表示部
31A 撮像装置(第1撮像装置)
32A 撮像装置(第2撮像装置)
31B 撮像装置(第1撮像装置、個別撮像装置)
32B 撮像装置(第2撮像装置)
33B 撮像装置(第1撮像装置、個別撮像装置)

Claims (17)

  1. 複数のマイクロホンユニットと、
    所定時間ごとに、複数の前記マイクロホンユニットそれぞれからの収音信号を処理する信号処理部と、
    複数の前記マイクロホンユニットが音を音信号として収音可能な収音領域ごとに、前記収音領域を示す収音領域情報と、前記収音領域内に任意に設定されている少なくとも1の個別収音領域の位置を示す個別収音領域位置情報と、を関連付けて記憶する記憶部と、
    を有してなり、
    前記信号処理部は、
    複数の前記マイクロホンユニットそれぞれからの前記収音信号に基づいて、前記個別収音領域における音源の音源位置を示す音源位置情報を特定する位置情報特定部と、
    複数の前記マイクロホンユニットそれぞれからの前記収音信号に基づいて、前記音源位置からの前記音に対応する前記音信号を生成する信号生成部と、
    前記音源位置が属する前記個別収音領域の前記個別収音領域位置情報に基づいて、複数の出力チャンネルの中から、前記音信号が出力される1の前記出力チャンネルを前記個別収音領域に割り当てるチャンネル割当部と、
    を備える、
    ことを特徴とするビームフォーミングマイクロホンシステム。
  2. 前記信号生成部は、前記音源位置が少なくとも1の前記個別収音領域のいずれかに属するときのみ、前記音信号を生成する、
    請求項1記載のビームフォーミングマイクロホンシステム。
  3. 前記収音領域内に、複数の前記個別収音領域が設定され、
    前記チャンネル割当部は、複数の前記個別収音領域それぞれに対応する前記出力チャンネルを割り当てる、
    請求項1または2記載のビームフォーミングマイクロホンシステム。
  4. 複数の前記個別収音領域は、
    第1個別収音領域と、
    前記第1個別収音領域とは別に設定される第2個別収音領域と、
    を含み、
    前記第2個別収音領域の一部または全部は、前記第1個別収音領域と重複して設定可能である、
    請求項3記載のビームフォーミングマイクロホンシステム。
  5. 前記個別収音領域は、離隔して配置される複数の小領域を含む、
    請求項1乃至4のいずれかに記載のビームフォーミングマイクロホンシステム。
  6. 前記信号処理部は、
    複数の前記マイクロホンユニットからの前記収音信号が、話者の音声に対応する音声信号か否かを判定する音声判定部、
    を備え、
    前記音声判定部が前記収音信号を前記音声信号と判定したとき、前記信号生成部は、前記音信号を生成する、
    請求項1乃至5のいずれかに記載のビームフォーミングマイクロホンシステム。
  7. 前記記憶部は、前記収音領域ごとに、複数の前記個別収音領域位置情報それぞれと、複数の前記出力チャンネルのいずれかの前記出力チャンネルを示す出力チャンネル情報と、の対応関係を示す対応関係情報を記憶し、
    前記チャンネル割当部は、前記対応関係情報に基づいて、前記出力チャンネルを割り当てる、
    請求項3記載のビームフォーミングマイクロホンシステム。
  8. 使用者に操作される操作部と、
    前記操作部の操作に基づいて、前記収音領域ごとに、前記個別収音領域位置情報と、前記個別収音領域に設定される前記出力チャンネルを示す前記出力チャンネル情報と、の前記対応関係を設定する対応関係設定部と、
    を有してなり、
    前記対応関係設定部は、前記個別収音領域位置情報と、前記使用者が前記操作部を操作することにより任意に設定される前記出力チャンネルを示す前記出力チャンネル情報と、の前記対応関係を設定する、
    請求項7記載のビームフォーミングマイクロホンシステム。
  9. 使用者に操作されるポインティングデバイスと、
    前記ポインティングデバイスの操作に基づいて、前記個別収音領域を設定する領域設定部と、
    を有してなり、
    前記領域設定部は、前記使用者が前記ポインティングデバイスを操作することにより任意に区画される領域を前記個別収音領域として設定する、
    請求項1乃至8のいずれかに記載のビームフォーミングマイクロホンシステム。
  10. 前記所定時間は、5msである、
    請求項1乃至9のいずれかに記載のビームフォーミングマイクロホンシステム。
  11. 前記収音領域内の少なくとも一部を撮像する複数の撮像装置、
    を有してなり、
    複数の前記個別収音領域は、
    第1個別収音領域と、
    前記第1個別収音領域とは別に設定される第2個別収音領域と、
    を含み、
    複数の前記撮像装置は、
    前記第1個別収音領域に対応する第1撮像装置と、
    前記第2個別収音領域に対応する第2撮像装置と、
    を含む、
    請求項3記載のビームフォーミングマイクロホンシステム。
  12. 前記第1撮像装置の撮像範囲は、前記第2撮像装置の撮像範囲と異なる、
    請求項11記載のビームフォーミングマイクロホンシステム。
  13. 前記第1撮像装置は、
    複数の個別撮像装置、
    を含み、
    複数の前記個別撮像装置それぞれの撮像範囲は、前記第1個別収音領域内の異なる領域を含む、
    請求項11または12記載のビームフォーミングマイクロホンシステム。
  14. 複数のマイクロホンユニットにより収音された音に対応する収音信号を出力するために用いられる、ビームフォーミングマイクロホンシステムの収音プログラムであって、
    前記ビームフォーミングマイクロホンシステムは、
    前記収音信号を処理する少なくとも1のプロセッサと、
    複数の前記マイクロホンユニットが前記音を音信号として収音可能な収音領域を示す収音領域情報と、
    前記収音領域内に任意に設定されている少なくとも1の個別収音領域の位置を示す個別収音領域位置情報と、
    前記個別収音領域位置情報と、複数の出力チャンネルのいずれかの前記出力チャンネルを示す出力チャンネル情報と、の対応関係を示す対応関係情報と、
    を記憶する記憶部と、
    を備え、
    少なくとも1の前記プロセッサを、
    前記個別収音領域における音源の音源位置を示す音源位置情報を特定する位置情報特定部、
    複数の前記マイクロホンユニットそれぞれからの前記収音信号に基づいて、前記音源位置からの前記音に対応する前記音信号を生成する信号生成部、
    前記対応関係情報に基づいて、複数の前記出力チャンネルの中から、前記音信号が出力される1の前記出力チャンネルを前記個別収音領域に割り当てるチャンネル割当部、
    として機能させる、
    ことを特徴とするビームフォーミングマイクロホンシステムの収音プログラム。
  15. 複数のマイクロホンユニットの収音領域に含まれる個別収音領域の位置を示す個別収音領域位置情報と、複数の出力チャンネルのいずれかの前記出力チャンネルを示す出力チャンネル情報と、の対応関係を設定するために用いられる、ビームフォーミングマイクロホンシステムの設定プログラムであって、
    前記ビームフォーミングマイクロホンシステムは、
    前記対応関係の設定に用いられるコンピュータ、
    を備え、
    前記コンピュータは、
    前記対応関係を記憶する記憶部と、
    前記マイクロホンユニットが設置される設置場所の見取図を表示する表示部と、
    を備え、
    前記コンピュータを、
    前記見取図と前記収音領域とを重ねて前記表示部に表示させる収音領域表示部、
    前記見取図と前記収音領域と前記個別収音領域の候補領域とを重ねて前記表示部に表示させる候補領域表示部、
    前記候補領域の位置を示す候補領域位置情報を特定し、前記候補領域位置情報を前記個別収音領域位置情報として設定する位置情報設定部、
    前記収音領域ごとに、前記個別収音領域位置情報と、前記個別収音領域に設定される前記出力チャンネルを示す前記出力チャンネル情報と、の前記対応関係を設定する対応関係設定部、
    として機能させる、
    ことを特徴とするビームフォーミングマイクロホンシステムの設定プログラム。
  16. 複数のマイクロホンユニットの収音領域に含まれる個別収音領域の位置を示す個別収音領域位置情報と、複数の出力チャンネルのいずれかの前記出力チャンネルを示す出力チャンネル情報と、の対応関係を設定するビームフォーミングマイクロホンの設定装置であって、
    前記対応関係を記憶する記憶部と、
    前記マイクロホンユニットが設置される設置場所の見取図を表示する表示部と、
    前記見取図と前記収音領域とを重ねて前記表示部に表示させる収音領域表示部と、
    前記見取図と前記収音領域と前記個別収音領域の候補領域とを重ねて前記表示部に表示させる候補領域表示部と、
    前記候補領域の位置を示す候補領域位置情報を特定し、前記候補領域位置情報を前記個別収音領域位置情報として設定する位置情報設定部と、
    前記収音領域ごとに、前記個別収音領域位置情報と、前記個別収音領域に設定される前記出力チャンネルを示す前記出力チャンネル情報と、の前記対応関係を設定する対応関係設定部と、
    を有してなる、
    ことを特徴とするビームフォーミングマイクロホンの設定装置。
  17. 複数のマイクロホンユニットの収音領域に含まれる個別収音領域の位置を示す個別収音領域位置情報と、複数の出力チャンネルのいずれかの前記出力チャンネルを示す出力チャンネル情報と、の対応関係を設定する設定装置により実行されるビームフォーミングマイクロホンシステムの設定方法であって、
    前記設定装置は、
    前記対応関係を記憶する記憶部と、
    前記マイクロホンユニットが設置される設置場所の見取図を表示する表示部と、
    を備え、
    前記設定装置が、
    前記見取図と前記収音領域とを重ねて前記表示部に表示し、
    前記見取図と前記収音領域と前記個別収音領域の候補領域とを重ねて前記表示部に表示し、
    前記候補領域の位置を示す候補領域位置情報を特定し、前記候補領域位置情報を前記個別収音領域位置情報として設定し、
    収音領域ごとに、前記個別収音領域位置情報と、前記個別収音領域に設定される前記出力チャンネルを示す前記出力チャンネル情報と、の前記対応関係を設定する、
    ことを特徴とするビームフォーミングマイクロホンシステムの設定方法。
JP2021167749A 2021-10-12 2021-10-12 ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法 Pending JP2023057964A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021167749A JP2023057964A (ja) 2021-10-12 2021-10-12 ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法
US17/936,165 US20230111227A1 (en) 2021-10-12 2022-09-28 Beamforming microphone system, sound pickup program and setting program for beamforming microphone system, beamforming microphone setting device, and beamforming microphone setting methond
EP22199233.2A EP4167599A1 (en) 2021-10-12 2022-09-30 Beamforming microphone system, sound pickup program and setting program for beamforming microphone system, beamforming microphone setting device, and beamforming microphone setting method
CN202211222961.8A CN115967877A (zh) 2021-10-12 2022-10-08 波束成形麦克风系统、其设定方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021167749A JP2023057964A (ja) 2021-10-12 2021-10-12 ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法

Publications (1)

Publication Number Publication Date
JP2023057964A true JP2023057964A (ja) 2023-04-24

Family

ID=83546820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021167749A Pending JP2023057964A (ja) 2021-10-12 2021-10-12 ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法

Country Status (4)

Country Link
US (1) US20230111227A1 (ja)
EP (1) EP4167599A1 (ja)
JP (1) JP2023057964A (ja)
CN (1) CN115967877A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5369993B2 (ja) * 2008-08-22 2013-12-18 ヤマハ株式会社 録音再生装置
US9154730B2 (en) * 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference
US9451360B2 (en) * 2014-01-14 2016-09-20 Cisco Technology, Inc. Muting a sound source with an array of microphones
US11064291B2 (en) 2015-12-04 2021-07-13 Sennheiser Electronic Gmbh & Co. Kg Microphone array system
JP7334406B2 (ja) * 2018-10-24 2023-08-29 ヤマハ株式会社 アレイマイクロフォンおよび収音方法
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality

Also Published As

Publication number Publication date
EP4167599A1 (en) 2023-04-19
CN115967877A (zh) 2023-04-14
US20230111227A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
US11676618B1 (en) Microphone array with automated adaptive beam tracking
US9578413B2 (en) Audio processing system and audio processing method
US10257611B2 (en) Stereo separation and directional suppression with omni-directional microphones
US10587978B2 (en) Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
EP2953348A1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
US11863942B1 (en) Microphone array with automated adaptive beam tracking
US11638091B2 (en) Microphone array with automated adaptive beam tracking
KR20100035636A (ko) 카메라 스피커폰을 위한 마이크로폰 어레이
US12010484B2 (en) Method, apparatus and computer-readable media to create audio focus regions dissociated from the microphone system for the purpose of optimizing audio processing at precise spatial locations in a 3D space
KR20210035725A (ko) 혼합 오디오 신호를 저장하고 지향성 오디오를 재생하기 위한 방법 및 시스템
JP4882757B2 (ja) 音声会議システム
JP2023057964A (ja) ビームフォーミングマイクロホンシステムとビームフォーミングマイクロホンシステムの収音プログラムおよび設定プログラムとビームフォーミングマイクロホンの設定装置とビームフォーミングマイクロホンの設定方法
KR20190016683A (ko) 마이크로폰 어레이를 이용한 회의록 자동작성장치
US10171906B1 (en) Configurable microphone array and method for configuring a microphone array
US12028178B2 (en) Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms
US20220303149A1 (en) Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms
US20230086490A1 (en) Conferencing systems and methods for room intelligence
JP2019537071A (ja) 分散したマイクロホンからの音声の処理
JP2024040026A (ja) 通信システム、通信装置、プログラム、及び制御方法
CN117319879A (zh) 处理音频数据的方法、装置、设备和存储介质