JP2017521902A - 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード - Google Patents

取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード Download PDF

Info

Publication number
JP2017521902A
JP2017521902A JP2016569604A JP2016569604A JP2017521902A JP 2017521902 A JP2017521902 A JP 2017521902A JP 2016569604 A JP2016569604 A JP 2016569604A JP 2016569604 A JP2016569604 A JP 2016569604A JP 2017521902 A JP2017521902 A JP 2017521902A
Authority
JP
Japan
Prior art keywords
audio
circuit
signal
dasg
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016569604A
Other languages
English (en)
Other versions
JP2017521902A5 (ja
Inventor
シャーマン，ウラディミール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2017521902A publication Critical patent/JP2017521902A/ja
Publication of JP2017521902A5 publication Critical patent/JP2017521902A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/06—Hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Abstract

音響信号の取得、処理及びレンダリングのための関連するコンピュータで実行可能な方法、回路、デバイス、システム及びコードが開示されている。ある実施例によれば、１又はそれ以上の指向性特定音声信号が、２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイ及び音声ストリーム発生器を用いて発生する。音声ストリーム発生器は、光学追跡システムから方向パラメータを受信する。音風景から取得された音響信号を標準化し及び／又はバランスさせるよう構成された音声レンダリングシステムが提供されている。【選択図】図１Ａ

Description

本発明は、一般に、音響信号又は音声取得の分野に関する。本発明は、音声信号の処理に関する。また、本発明は、指向性音響信号の取得、処理及び音声レンダリングのための関連するコンピュータで実行可能な回路、デバイス、システム及びコードに関する。
聴力低下、難聴、聴覚障害、聴力障害は、部分的又は全般的な聴力不全である。小児においては、それは、言語の発達に影響を及ぼし、大人にとって業務に関連する問題を引き起こす可能性がある。それは、遺伝、加齢、騒音にさらされること、疾患、化学物質及び身体的外傷を含む多くの要因によって引き起こされる。聴力テストの結果はデシベルで表されるが、聴力低下は通常、軽度、軽度から中程度、中程度、中等度から重度、重度、又は深刻として記述される。
聴力低下は、通常、人生のある時期に聴力障害を有しなかった者によって誘発される。世界的には、ある程度の聴力低下は、人口の約１０％が冒されている。大きな音、化学物質及び身体的外傷を避けることを含め、聴力低下を防止できる多くの方策がある。
聴力低下により聴力補助を要する者のために、一般に、装着者のために音を増幅するよう設計された電気音響装置である補聴器があり、通常は、会話をより理解できるようにすることを目的としている。ラッパ形補聴器又はイヤホーンとして知られている従来の装置は、音のエネルギを集めて外耳道の中にそれを向けるよう構成された受動的な漏斗状増幅錐体であった。同じような装置が、骨に固定された補聴器、及び人工内耳を含んでいる。
今日まで提供されている全ての補聴器の主要な欠点は、それらが、装着者が聴きたい対象となる音から背景雑音を空間的に分離することが不可能であることである。
体に装着するコンピュータ又はウェアラブルとしても知られているウェアラブルコンピューティングデバイスは、装着者が衣服の下、衣服と共に又は衣服の上に装着する小型の電子デバイスである。ウェアラブルは、汎用又は特殊用途の情報技術及びメディアの発達として発達している。
ウェアラブルコンピューティングデバイスを任意に用いて、音響信号の取得、処理及びレンダリングのための方法、回路、デバイス、システム及び関連するコンピュータを改良する必要性がある。
本発明は、人間の会話及び／又は他の様々なタイプの音といった音響信号の取得のための方法、回路、デバイス、システム及び関連するコンピュータで実行可能なコードを有する。さらなる実施例によれば、本発明は、人間の会話及び／又は他の可聴音といった取得した音響信号を処理し、標準化し、バランスし、及び／又は音声レンダリングするための方法、回路、デバイス、システム及び関連するコンピュータで実行可能なコードを有する。さらなる実施例によれば、本発明は、取得された人間の会話を転写、変換及び／又は図式的にレンダリングするための方法、回路、デバイス、システム及び関連するコンピュータで実行可能なコードを有する。本発明は、光学追跡システムによって識別され及び／又は追跡される音源（例えば人間の話者）の方向に向けた音響信号（例えば音）取得アッセンブリの指向性を動的に対象にするための方法、回路、デバイス、システム及び関連するコンピュータで実行可能なコードを有する。
実施例によれば、（１）その動作及び選択的に指向性を電気信号によって動的に変え得る電気的に構成可能な音響信号（すなわち音）取得アッセンブリと、（２）１又はそれ以上の音源を光学的に追跡し電気信号又はインジケータを音響信号取得アッセンブリに出力して、音響信号取得アッセンブリの動作及び／又は指向性を調整する一方、光学的に追跡された音源以外の方向から、音響信号を情報を実質的に抑制、除去、除外、及び／又はそうでなければマスキングを行う、光学的に追跡された音源の方向から音響信号を取得するよう構成された光学追跡システムとを有する、ウェアラブルなコンピューティングデバイスといったモバイルコンピューティングデバイスが提供される。実施例によれば、光学追跡システムは、ターゲットとなる音源がコンピューティングデバイスに対して移動する際に、その出力電気信号又はインジケータを更新することで、アッセンブリの物理的な移動なしに、音響信号取得アッセンブリの指向性が変化し、移動する音源を追跡するよう構成されている。
ある実施例によれば、モバイル機器が、眼鏡のフレーム及び／又は柄にわたってその中に配置されたマイクロフォンのアレイを有する眼鏡の形態である。このような実施例によれば、光学追跡システムが前方監視光学像センサを有し及び／又は光学追跡システムが内側に向く視線追跡光センサを有する。眼鏡の実施例はまた、眼鏡のユーザインタフェースとして使用されるスマートフォンに眼鏡を有線又はワイヤレスで接続する通信インタフェースを有する。スマートフォンのタッチスクリーンを使用して可能性のある追跡対象を視て、光学追跡システムによって実際に追跡される１又はそれ以上の可能性のある対象を選択し得る。スマートフォンはまた、眼鏡の音響取得アッセンブリを通して取得された会話に関して機械的転写（音声テキスト化）を提供するよう使用される。スマートフォンはまた、眼鏡の音響取得アッセンブリを通して取得される会話に関して機械翻訳を提供するよう使用される。
ある実施例によれば、モバイル機器が、ヘッドフォンの本体及びフレームにわたってその中に配置されたマイクロフォンのアレイを有するヘッドフォンの形態である。ある実施例では、光学追跡システムが、ヘッドフォンの前方に向く面に前方監視光学像センサを有する。ヘッドフォンの実施例はまた、ヘッドフォンのためのユーザインタフェースとして使用されるスマートフォンにヘッドフォンを有線又はワイヤレスで接続する通信インタフェースを有する。スマートフォンのタッチスクリーンを、可能性のある追跡対象を視て光学追跡システムによって追跡するために可能性のある対象を選択するように使用し得る。スマートフォンはまた、ヘッドフォンの音響取得アッセンブリを通して取得された会話に関して機械的転写（音声テキスト化）機能を提供するよう使用される。スマートフォンはまた、ヘッドフォンの音響取得アッセンブリを通して取得される会話に関して機械翻訳を提供するよう使用される。
本発明の態様によれば、光センサで誘導される指向性音声信号（又は音声ストリーム）の発生が提供され、指向性音声信号／ストリームの発生が、（ａ）マイクロフォンの選択、（ｂ）音響ビーム形成回路、及び／又は音響ビームステアリング、のうちの１又はそれ以上を含む。実施例によれば、光センサアッセンブリ（例えば光学素子を備えたＣＣＤ又はＣＭＯＳ）及び追跡回路（例えば画像の特徴の認識及び追跡アルゴリズムを実行するプロセッサ）を有する光学追跡システムは、指向性音声ストリームの発生を誘導するための信号又はインジケータを発生させる。指向性音声信号／ストリーム（「指向性音声信号」としても称される）の発生は、指向性音声ストリーム発生器として構成され又はプログラムされる音声信号処理回路と一体化し又はそうでなければ機能的に関連する音響マイクロフォンアレイで実行される。
本発明のある実施例によれば、互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを有するマイクロフォンアレイを有する電気的に構成可能な音響取得アッセンブリが提供され、それぞれのマイクロフォンが、アナログ又はデジタル音声信号といった電気信号にマイクロフォンに到達する音響信号（すなわち音）を変換するよう構成されている。マイクロフォンアレイは、適合したマイクロフォンセットを有しており、適合したマイクロフォンが、実質的に同一の周波数応答特性を及び／又は指向性特性を有する。マイクロフォンアレイは、無指向性マイクロフォン、多指向性マイクロフォン及び／又は指向性マイクロフォンを有する。
本発明の実施例に係るアレイの指向性マイクロフォンは、アレイの中に配置及び／又は固定されており、異なる指向性を有し、異なる音響信号取得カバー領域を容易にする。マイクロフォンアレイの指向性は、マイクロフォン構造に対して一定であり、又は米国特許出願公開ＵＳ２０１３０１４２３５８Ａ１に示すＭＥＭＳマイクロフォンによって示唆されているように電気的に操作可能である。ある実施例によれば、実施例のアレイのうちの２つの別々の指向性マイクロフォンのそれぞれの音響信号取得カバー領域が、部分的又は完全に重複する。今日知られて又は将来考案される任意の指向性マイクロフォン構造は、本発明の態様に適用可能である。
ある実施例に係るマイクロフォンアレイが、アナログ信号出力又はデジタル信号（例えばＩ２Ｃ又はＩ２Ｓ）出力のいずれかを有する。本発明のある実施例によれば、いくつかのアレイについてアナログ及びデジタルマイクロフォンの組み合わせを有する。アナログマイクロフォンを有する本発明の実施例によれば、アナログマイクロフォンから出力信号をサンプリング且つデジタル化するためのアナログ信号−デジタル信号変換回路（「Ａ／Ｄ」）が提供される。
電気的に構成可能な音響信号取得アッセンブリが、指向性音声ストリーム発生器（ＤＡＳＧ）と一体化しており、これを有し及び／又はそうでなければ電気的に接続されており、ＤＡＳＧは、１又はそれ以上のマイクロフォンアレイからの出力信号を選択し、駆動し、受信し及び／又はサンプリングするよう構成される。ＤＡＳＧは、１又はそれ以上のマイクロフォンアレイからの電気的音声信号出力を、デジタル又はアナログの特定の指向性電気的音声信号に変換するよう構成される。アレイに対する特定の指向性（例えばアレイに接する軸の３０度左）のために発生する（「特定の指向性音声信号」又は「ＤＳＡＳ」とも称される）特定の指向性電気的音声信号は、（ａ）主に特定の方向からマイクロフォンに到達する音響信号からの音響信号情報を有し又は担持し、（ｂ）特定の方向以外の方向からマイクロフォンに到達する音響信号からの音響信号情報を実質的に抑制、除去、除外、欠乏及び／又はそうでなければマスキングするように、発生する及び／又は変調される電気信号である。
ＤＡＳＧは、（ａ）指向性が所定の音響信号ＤＯＡと重複する１又はそれ以上のマイクロフォンアレイの選択及び／又はサンプリングすることによって、（ｂ）所定の音響信号ＤＯＡに向く指向性を備えたビーム形成音声信号に、マイクロフォンアレイ出力信号を音響ビーム形成及び／音響ビーム操作することによって、及び／又は、（ｃ）マイクロフォンアレイの選択、駆動、出力サンプリング、及び選択されたマイクロフォンアレイの出力のビーム形成の組み合わせによって、所定の音響信号ＤＯＡに関するＤＳＡＳにアナログ又はデジタルの出力信号を有するマイクロフォンアレイを変換する。マイクロフォンアレイのいくつかは指向性マイクロフォンであり、ＤＡＳＧが、指向性の特定音声信号の発生にいずれのマイクロフォンを駆動又はそうでなければ利用するのかを選択するマイクロフォン選択回路を有する。追加的に、ＤＡＳＧが１又はそれ以上の信号結合回路を有しており、選択された指向性及び／又は無指向性マイクロフォンからの信号を結合する。ＤＡＳＧは音響ビーム形成回路を有しており、操作可能な指向性を備えた音響的にビーム形成された音声信号を発生し、マイクロフォンアレイから生じる入力音声信号を、ビーム形成回路によって、（ａ）マイクロフォンアレイの全て又はそのサブセットから直接的に、（ｂ）ビーム形成回路に選択されたマイクロフォン出力信号を向けるマイクロフォン選択回路から、（ｃ）マイクロフォン出力信号を結合する信号結合回路から、及び／又は（ｄ）（ａ）乃至（ｃ）のうちのいくつかの組み合わせによって、受信する。
実施例によれば、ＤＡＳＧが、背景雑音減少又は除去機能を有する。このような実施例によれば、意図するＤＯＡに関連するＤＳＡＳの発生中又は発生後に、背景雑音であると評価される音声信号成分が、ＤＳＡＳから差し引かれる。背景雑音は、意図するＤＯＡ以外の指向性を有するマイクロフォンアレイから音声信号をサンプリングすることによって評価される。しかしながら、今日知られており又は将来考案される任意の音響雑音除去回路、アルゴリズム及び／又は技術が、本発明に適用可能であることに留意されたい。
ある実施例に係るデバイスは、１又はそれ以上の音源を光学的に追跡し、デバイスに対する追跡された音源の方向を示す方向インジケータ又は信号を提供するよう構成された光学追跡システム（ＯＴＳ）を有する。光学追跡システムは、光画像センサ及び１又はそれ以上のレンズを備えた光センサアッセンブリを有しており、光センサは、デバイスに又はその中に前向きに配置され、デバイスの正面の場所からの画像情報を取得する。特徴の識別（例えば胴部及び／又は顔の識別）といった画像処理アルゴリズム及び／又は特徴識別追跡アルゴリズムが、人間の顔と行った音源の相対方向を追跡且つ推定するために、専用の又は多目的のいずれかの処理回路によって実行される。さらに、ＯＴＳは、信号、インジケータ又はパラメータの形式で、一度だけ発生するように、断続的に又は実質的に連続的に、デバイスのＤＡＳＧに推定された相対方向を提供するよう構成される。
ある実施例によれば、ＯＴＳが、同時に２又はそれ以上の音源を追跡するよう構成される。このような実施例によれば、ＯＴＳが、追跡されたそれぞれの音源について別々の信号又はインジケータを発生させる。このような実施例によれば、ＤＡＳＧが、追跡されたそれぞれの音源について別々のＤＳＡＳを発生させるよう構成される。各ＤＳＡＳは、（ａ）重複する１又はそれ以上のマイクロフォンの別々のセット、（ｂ）別々の音響ビーム形成処理チェーン、及び／又は（ｃ）（ａ）及び（ｂ）の組み合わせを用いて、発生する。
さらなる実施例によれば、デバイスのユーザの眼に面する光センサアッセンブリが提供される。ユーザの眼の推定された視野角にユーザの眼の画像を変換するよう構成された画像処理アルゴリズムが、専用の又は多目的のいずれかの処理回路によって実行される。視野角の推定は、ユーザによって見られる音源の相対方向をさらに推定するために使用される。さらに、ＯＴＳは、一度だけ発生するように、断続的に又は実質的に連続的に、信号、インジケータ又はパラメータの形式で、デバイスのＤＡＳＧに推定された相対方向を提供するよう構成される。
ある実施例によれば、ＤＳＡＳは、１又はそれ以上のスピーカを駆動する音声レンダリング回路に送信される。ＤＳＡＳはデジタル信号の形式であり、音声レンダリング回路が１又はそれ以上のデジタルアナログ（Ｄ／Ａ）変換器を有する。またレンダリング回路は、調整可能な増幅器、選択的に各スピーカについて別々の増幅器を有する。さらなる実施例によれば、音声レンダリング回路の各音声レンダリング出力チェーンは、（例えば、デジタルフィルタ又はデジタル増幅器を用いて）特定のユーザの耳に特有な信号伝達特性を備えて構成される。
本発明の実施例に係るデバイスが、音声レンダリング回路の出力ポートに接続された１又はそれ以上のスピーカを有する。スピーカと１又はそれ以上の出力ポートとの間の接続は、有線又はワイヤレス（例えばＢｌｕｅｔｏｏｔｈ（登録商標））である。ある実施例によれば、２つのスピーカのそれぞれが、音声レンダリング回路の別々の出力ポートに接続されており、スピーカのそれぞれが、イヤフォン又はヘッドフォンといった耳のインタフェースに一体化又はそうでなければ機能的に関連している。
さらなる実施例に係るデバイスが、例えば眼鏡の眼のプロジェクタの形式のディスプレイアッセンブリを有する。ディスプレイアッセンブリは、デバイスが取得する会話の転写及び／又は変換をユーザに提供する。またディスプレイは、（ａ）追跡する音源の選択、及び（２）いずれの音源にＤＳＡＳが向けられるのかの表示、のためのインタフェースの部分として使用される。
本発明の実施例は、動的に調整可能な音響センサアレイの指向性を調整するための信号を発生させるための光センサ及び回路を有する。
本発明とみなされる内容が、本明細書の結論部分に特に指摘され且つ明瞭に主張されている。しかしながら、本発明は、動作の組織化及び方法の双方に関して、その対象物、態様、及び効果とともに、添付の図面を読んだ場合に以下の詳細な説明を参照することによって、最も良く理解されるであろう。
図１Ａは、本発明の実施例に係る典型的な音響信号取得デバイスの機能的ブロック図を示す。 図１Ｂは、本発明の実施例に係る音響信号取得デバイスの典型的なステップを有するフローチャートを示す。 図２Ａは、眼鏡に関連する本発明の実施例に係るデバイスの図を示す。 図２Ｂは、図２Ａに係るデバイスの典型的な機能的ブロック図を示す。 図２Ｃは、被り物、特にヘッドフォンに関する本発明の実施例に係るデバイスの図を示す。 図３Ａは、実施例に係るデバイスの図解入り使用例を示す。 図３Ｂは、実施例に係るデバイスの図解入り使用例を示す。 図３Ｃは、実施例に係るデバイスの図解入り使用例を示す。 図３Ｄは、実施例に係るデバイスの図解入り使用例を示す。 図４Ａは、アナログマイクロフォン及びデジタルマイクロフォンをそれぞれ有する本発明の実施例の機能的ブロック図を示す。 図４Ｂは、アナログマイクロフォン及びデジタルマイクロフォンをそれぞれ有する本発明の実施例の機能的ブロック図を示す。
説明の簡潔性及び明確性のために、図面に示される要素は、必ずしも等尺で描かれているのでないことが理解されよう。例えば、いくつかの要素の寸法は、明確性のために他の要素に対して誇張されている。さらに、適切であると考えられる場合には、対応する又は類似する要素を表示するために、参照番号が図面間で繰り返されている。
以下の詳細な説明では、多くの特定の詳細が、本発明の完全な理解を提供するために説明されている。しかしながら、当業者は、これらの特定の詳細なしに本発明を実施し得ることを理解するであろう。他の例では、本発明を不明瞭にしないように、良く知られた方法、手法、構成要素及び回路を詳細に説明していない。
それ以外に特に言及しない限り、以下の議論から明らかなように、詳細な説明を通して、「処理する」、「計算する」、「演算する」、「判断する」等といった用語を使用する議論は、コンピュータシステムのレジスタ及び／又はメモリの中の物理量として表されるデータを、コンピュータシステムのメモリ、レジスタ又は他のこのような情報ストレージ、伝達又は表示装置の中の例えば電子的な物理量として同じように表わされる他のデータに操作及び／又は変換する、コンピュータ又はコンピュータシステム、又は同じような電子計算デバイスの動作及び／又は処理に言及する。
本発明の実施例は、ここに記載された演算を実行するための装置を含む。この装置は、所望の目的のために特別に構成されており、又は、それは、コンピュータに記憶されたコンピュータプログラムによって選択的に作動又は再構成される汎用コンピュータを具えている。このようなコンピュータプログラムは、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去書込み可能な読取り専用メモリ（ＥＥＰＲＯＭ）、磁気又は光カードを含む任意のタイプのディスク、又は電子的命令を記憶しコンピュータのシステムバスに結合し得るのに適した他のタイプの媒体といったコンピュータ可読な記憶媒体に記憶されるが、これらに限定されない。
ここで示される処理及び表示は、特定のコンピュータ又は他の装置に本質的に関係するものではない。様々な汎用システムをここで示唆されていることに従ってプログラムとともに使用でき、又はそれは、所望の方法を実行するためのより特殊な装置を構成するのに便利であることが分かっている。さらに、本発明の実施例は、特定のプログラミング言語を参照して説明されてはいない。様々なプログラム言語を使用してここで説明されている本発明の示唆を実行し得ることが理解されよう。
実施例によれば、指向性特定音声信号又は音声データストリームが、マイクロフォンアレイに関連するアナログ及び／又はデジタル回路に、光学追跡システムから得られる１又はそれ以上の方向パラメータを適用することによって発生する。マイクロフォンアレイは、無指向性マイクロフォン、指向性マイクロホン又は双方の組み合わせを有している。光学追跡システムは、１又はそれ以上の対象物の特徴、眼の位置又は双方の組み合わせを追跡する。マイクロフォンアレイに関連するアナログ及び／又はデジタル回路が、マイクロフォン駆動回路、マイクロフォン選択回路、信号調整回路、増幅回路、信号結合回路、信号減算回路、信号フィルタリング回路、アナログ音響ビーム形成回路、アナログデジタル変換器、デジタルフィルタ、デジタル音響ビーム形成回路、及び／又は音声レンダリング回路を有する。
ここで、図１Ａを参照すると、本発明の実施例に係る典型的な音響信号取得デバイスの機能的概略図が示されている。このデバイスは、互いに一定の間隔及び方向を有するマイクロフォンのセット又はアレイを備える音響取得アッセンブリを有する。このアッセンブリは、光学追跡システム（ＯＴＳ）からの音源のターゲット方向信号、インジケータ、パラメータ及びベクトルを受け取る指向性音声信号発生器（ＤＡＳＧ）と一体化しており又はそうでなければ機能的に関連する。ＤＡＳＧは、１又はそれ以上のマイクロフォンアレイを選択するためのマイクロフォン選択回路、選択されたマイクロフォン端子又はポートにアクセスするための切り替え回路、選択されたマイクロフォンを起動且つ駆動させるための起動又は駆動回路を有する。
ある実施例によれば、マイクロフォン選択回路は、ターゲットの方向に対応する指向性を備えた１又はそれ以上のマイクロフォンアレイを選択する。特定の指向性音声ストリーム／信号（ＤＳＡＳ）が、１又はそれ以上の選択された指向性マイクロフォンからのみの信号を有する。代替的に、音響ビーム形成が、１又はそれ以上のマイクロフォンのマイクロフォン出力に適用される。ＤＡＳＧは、例えば、アナログ音響ビーム形成回路といった、ＤＳＡＳを発生させるための音響ビーム形成回路を有する。ＤＡＳＧがデジタル音響ビーム形成回路を有しマイクロフォンがアナログ出力を有する例によれば、ＤＡＳＧはまた、変換するためのアナログデジタル（Ｄ／Ａ）変換器を有する。図４Ａは、本発明の実施例を示しており、マイクロフォンアレイがアナログマイクロフォンであり、ＤＡＳＧが、処理回路（例えば、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、又はプロセッサ）にデジタル音響ビーム形成処理パイプライン動作を有する。図４Ｂは、本発明の実施例を示しており、マイクロフォンアレイがデジタルマイクロフォンであり、ＤＡＳＧが処理回路（例えば、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、又はプロセッサ）にデジタル音響ビーム形成処理パイプライン動作を有する。ある実施例によれば、ビーム形成回路がアナログ及びデジタルビーム形成構成要素の組み合わせを有する。現在知られ又は将来考案される音響ビーム形成回路、技術又は手法は、本発明の態様に適用可能である。
ＯＴＳは、前方監視カメラと一体化し又はこれに結合されており、ＯＴＳの光処理回路が態様識別処理を有しており、デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別する。１又はそれ以上の態様は、人間の胴部、人間の顔、人間の唇、映像表示デバイス、音声表示デバイス、及び任意の潜在的な音響信号源である。ＯＴＳは、１又はそれ以上の識別された態様に対応する方向を示す方向パラメータを見積もるための処理を有する。方向パラメータが、デバイスと識別された物体との間の相対方向を示す。少なくとも１の別々の方向パラメータが、例えば２人又はそれ以上の別々の人間といった２又はそれ以上の別々の物体又は人間のそれぞれに関連する、２又はそれ以上の別々の識別された態様のそれぞれについて発生する。
所定の物体又は人間の所定の識別された態様に関する方向パラメータがＤＡＳＧに使用されて、所定の物体又は人間から発する音響信号を収集する際にマイクロフォンアレイのうちのいずれのマイクロフォンを利用するのかを選択する。所定の物体に関する方向パラメータを使用して、所定の物体又は人間に向かう音響ビームを操作し所定の態様から発する音響信号を収集する際に利用されるビーム形成係数といったビーム形成パラメータを計算する。マイクロフォン選択及びビーム形成パラメータの計算の双方に関して所定の識別された態様に関する方向パラメータを使用し得る。
また、図１Ａの実施例に係るデバイスは、デバイスの装着者の眼の位置を追跡するための視線追跡装置を有する。この視線追跡装置は、装着者の眼を対象とする光学追跡システムを備えて実施し得る。この光学追跡システムは、現在知られた又は将来考案され得る追跡技術を用いて実施し得る。この視線追跡装置は、装着者の追跡される眼の位置によって表示されるデバイスの装着者の視線方向を示す方向パラメータを評価するための処理を有する。
図１Ａの音声レンダリングアッセンブリは、１又はそれ以上の音声スピーカ及び１又はそれ以上のそれぞれを駆動するよう構成された音声信号レンダリング回路（エンジン）を有する。音声信号発生器は、第１の方向の特定音声信号に基づいて１又はそれ以上の音声信号を発生させるよう構成されている。音声信号発生器は、２つのスピーカのそれぞれについて別々の音声信号を発生させるよう構成されており、別々の信号間の相対音量及び相対遅延が、第１の方向の音声信号の到達に基づいている。音声信号発生器は、特定の耳の周波数感度に基づいて音声信号に適応する耳の特定信号カスタム回路を有する。音声信号発生器は、背景雑音抑制回路を有する。
さらなる実施例によれば、ＯＴＳが、（１）デバイスと対象物の識別された態様との間の相対的方向の変化を追跡し、（２）ＤＡＳＧによって使用される少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、よう構成されている。ＯＴＳはまた、２又はそれ以上の識別された態様を追跡し、２又はそれ以上の識別された態様のそれぞれについての別々の方向パラメータを発生させるよう構成されている。図３Ａは、本発明の実施例を示しており、デバイスが眼鏡の形式であり、ＯＴＳが人々を区別する。別々のＤＳＡＳが、追跡された２つの音源（すなわち、人々）について発生する。図３Ｂ乃至３Ｄは、ＯＴＳが静止した音源及び動く音源双方を追跡するシナリオを示しており、追跡された人々（音声取得ターゲット）に関するＤＳＡＳが、これにしたがって調整又は操作される。また、追跡及び特定の音源に関する音声取得を任意に開始及び中断するユーザを示す。
さらなる実施例では、デバイスが、識別された態様のいずれについて方向特定音声信号が発生するのかを装着者が選択し得るよう構成されたユーザインタフェース回路を具える。このインタフェース回路は、（１）機能的に関連するタッチスクリーン、及び（２）頭部装着型光ディスプレイから成る群から選択されるディスプレイを有する。インタフェース回路は、追跡装置からのユーザ入力を受ける。インタフェース回路は、機能的に関連するタッチスクリーンからのユーザ入力を受ける。インタフェース回路は、デバイスに１又はそれ以上の電気式ボタン、スイッチ又はゲージを含んでいる。図１Ａ、２Ａ及び２Ｂ、２Ｃ及び２Ｄは、ユーザインタフェースの部分として使用されるスマートフォンにデバイスを接続するためのインタフェース回路を有する実施例を示す。
図１Ｂは、本発明の実施例に係る音声信号取得デバイスの典型的な工程を有するフローチャートを示す。光学追跡システムが、ＤＳＡＳターゲットとも称される１又はそれ以上の音源を光学的に追跡する。相対的な方向値、パラメータ又はベクトルが、ターゲットとなる音源に関して計算される。指向性音声ストリーム発生器は、特定の指向性音声ストリーム／信号（ＤＳＡＳ）を発生させるのに使用可能にするために、計算され、評価され又はそうでなければ判断されたマイクロフォンアレイを選択し、切り替え、駆動し、及び／又はサンプリングする。選択的に、指向性音声ストリーム発生器は、ターゲットとなる音源の方向に関連するビーム形成パラメータで音響ビーム形成パイプラインを駆動する。音声レンダリングエンジン又は回路が、１又はそれ以上のアナログ信号にＤＳＡＳを（例えばＤ／Ａ）変換して、１又はそれ以上のスピーカを駆動する。選択的に、音声レンダリングエンジン又は回路が、振幅を調整し、スピーカの駆動信号を左右間で遅らせて、ＤＳＡＳのターゲットとなる音源の方向の知覚をリスナーに提供する。
図２Ａは、眼鏡に関する本発明の実施例に係るデバイスの概略図を示す。本実施例によれば、マイクロフォンアレイが、ウェアラブルなマイクロフォンアレイである。マイクロフォンアレイを保持するデバイスは、選択的に眼鏡、ヘッドフォン（図２Ｃ）又は他の被り物の形式で、ウェアラブルなデバイスに組み込まれ又はそうでなければ機能的に関連する。また、光学追跡システムの少なくとも一部が、Ｃａｍ Ｒ及びＣａｍ Ｌとして示すマイクロフォンアレイと同じウェアラブルなデバイスに組み込まれ又はそうでなければ機能的に関連する。光学追跡システム及び／又は関連する回路のうちのいくつか又は全ての部分が、マイクロフォンアレイと同じデバイスの部分である。さらなる実施例によれば、追跡及び／又は信号処理機能の部分を、有線又はワイヤレス通信リンクによってデバイスに接続されたスマートフォンといった機能的に関連するデバイスによって実施し得る。
図２Ａに係るデバイスの典型的な機能的ブロック図である、図２Ｂに示すように、眼鏡は、外部の通信機器とのインタフェースを有する。外部の通信機器は、ＤＳＡＳの中の直接的に取得された会話の転写（音声テキスト化）及び変換を提供する。実施例によれば、ＤＳＡＳは、デバイスの不揮発性メモリ（ＮＶＭ）デバイス又はオンラインデータＮＶＭデバイスに記憶される。ＤＳＡＳは音声テキスト変換エンジンに提供され、この音声テキスト変換エンジンはデバイスの中に組み込まれ、及び／又は機能的に関連する通信機器（例えば、スマートフォン）の一部である。音声テキスト変換エンジンは独立して機能し、又は、グーグルによって提供されるようなオンラインでの音声テキスト変換を利用する。さらなる実施例によれば、ＤＳＡＳ又はそこから取得されるテキストは、例えば、グーグル翻訳エンジンのような言語翻訳エンジンに提供される。音声テキスト変換エンジン及び／又は言語翻訳エンジンの出力は記憶される。音声テキスト変換エンジン及び／又は言語翻訳エンジンの出力は、デバイスのディスプレイ上に表示される。音声テキスト変換エンジン及び／又は言語翻訳エンジンの出力は、スマートフォンといった機能的に関連するデバイスのディスプレイ上に表示され得る。
図２Ｃは、被り物、特にヘッドフォンに関する本発明の実施例に係るデバイスの概略図を示す。本実施例は、眼に投影するディスプレイを含まないことを除いて、眼鏡のそれと同様である。
本発明の特定の態様をここで示し且つ説明したが、多くの修正、置換、変更及び相当するものが、直ちに当業者に想起されるであろう。したがって、添付の特許請求の範囲は、本発明の真の精神に含まれるようなこのような修正及び変更の全てをカバーすることを意図するものであることに留意されたい。

Claims (22)

  1. ウェアラブルデバイスであって、
    互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイであって、それぞれの前記マイクロフォンが、電気信号に音響信号を変換するよう構成された、マイクロフォンアレイと、
    第１の到来方向を有する音響信号に対応する第１の方向の特定音声信号に１又はそれ以上の前記マイクロフォンによる電気信号出力を変換するよう構成された指向性音声ストリーム発生器（ＤＡＳＧ）と、
    光センサ及び光情報処理回路を具える光学追跡システム（ＯＴＳ）であって、前記ＯＴＳが、前記ＤＡＳＧによって使用される少なくとも１の指向性パラメータを発生して、前記第１の方向の特定音声信号を発生するよう構成された、光学追跡システムと、
    を具えることを特徴とするウェアラブルデバイス。
  2. 請求項１に記載のデバイスにおいて、
    前記ＤＡＳＧが音響ビーム形成回路を有することを特徴とするデバイス。
  3. 請求項２に記載のデバイスにおいて、
    前記音響ビーム形成回路がアナログであることを特徴とするデバイス。
  4. 請求項２に記載のデバイスにおいて、
    前記ＤＡＳＧが少なくとも１のアナログデジタル変換器を有しており、前記音響ビーム形成回路がデジタルであることを特徴とするデバイス。
  5. 請求項１に記載のデバイスにおいて、
    前記マイクロフォンの少なくともいくつかが指向性であり、前記ＤＡＳＧがマイクロフォン選択回路を有することを特徴とするデバイス。
  6. 請求項５に記載のデバイスにおいて、
    前記ＤＡＳＧが少なくとも１のアナログデジタル変換器及びデジタル信号組み合わせ回路を有することを特徴とするデバイス。
  7. 請求項６に記載のデバイスにおいて、
    前記デジタル電気信号組み合わせ回路がビーム形成機能を有することを特徴とするデバイス。
  8. 請求項７に記載のデバイスにおいて、
    前記電気信号組み合わせ回路が背景雑音除去処理を有することを特徴とするデバイス。
  9. 請求項１に記載のデバイスにおいて、
    前記ＯＴＳが少なくとも１の前方監視カメラを有しており、
    前記光処理回路が態様識別処理を有して、前記デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別することを特徴とするデバイス。
  10. 請求項９に記載のデバイスにおいて、
    前記１又はそれ以上の態様が、人間の胴部、人間の顔、人間の唇、映像表示デバイス、音声表示デバイス、及び任意の潜在的な音響信号源から成る群から選択されることを特徴とするデバイス。
  11. 請求項１０に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記１又はそれ以上の識別された態様に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
  12. 請求項１に記載のデバイスにおいて、
    前記ＯＴＳが、前記デバイスの装着者の眼の位置を追跡するための視線追跡装置を有することを特徴とするデバイス。
  13. 請求項１２に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記追跡された眼の位置に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
  14. 請求項１に記載のデバイスにおいて、
    さらに、１又はそれ以上の音声スピーカを有する音声レンダリングアッセンブリと、前記１又はそれ以上のスピーカのそれぞれを駆動するよう構成された音声信号発生器とを具えることを特徴とするデバイス。
  15. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、前記第１の方向の特定音声信号に基づいて１又はそれ以上の音声信号を発生させるよう構成されていることを特徴とするデバイス。
  16. 請求項１５に記載のデバイスにおいて、
    前記音声信号発生器が、２つのスピーカのそれぞれについて別々の音声信号を発生させるよう構成されており、
    前記別々の信号間の相対音量及び相対遅延が、前記第１の方向の音響信号の到来に基づいていることを特徴とするデバイス。
  17. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、背景雑音抑制回路を有することを特徴とするデバイス。
  18. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、特定の耳の周波数感度に基づいて音声信号に適応するよう構成された耳の特定信号カスタム回路を有することを特徴とするデバイス。
  19. 請求項１に記載のデバイスにおいて、
    前記ＯＴＳが、
    （１）前記デバイスと識別された態様との間の相対的方向の変化を追跡し、
    （２）前記ＤＡＳＧによって使用される前記少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、
    よう構成されていることを特徴とするデバイス。
  20. 請求項１９に記載のデバイスにおいて、
    前記ＯＴＳが、２又はそれ以上の識別された態様を追跡し、前記２又はそれ以上の識別された態様のそれぞれについての別々の方向パラメータを発生させるよう構成されていることを特徴とするデバイス。
  21. 請求項２０に記載のデバイスにおいて、
    さらに、識別された態様のいずれについて方向特定音声信号が発生するのかを装着者が選択し得るよう構成されたユーザインタフェース回路を具えることを特徴とするデバイス。
  22. 請求項２１に記載のデバイスにおいて、
    前記インタフェース回路が、（１）機能的に関連するタッチスクリーン、及び（２）頭部装着型光ディスプレイから成る群から選択されるディスプレイを有することを特徴とするデバイス。
JP2016569604A 2014-05-26 2015-05-26 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード Pending JP2017521902A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462002990P 2014-05-26 2014-05-26
US62/002,990 2014-05-26
US201462039440P 2014-08-20 2014-08-20
US62/039,440 2014-08-20
PCT/IB2015/053938 WO2015181727A2 (en) 2014-05-26 2015-05-26 Methods circuits devices systems and associated computer executable code for acquiring acoustic signals

Publications (2)

Publication Number Publication Date
JP2017521902A true JP2017521902A (ja) 2017-08-03
JP2017521902A5 JP2017521902A5 (ja) 2018-07-12

Family

ID=54557024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569604A Pending JP2017521902A (ja) 2014-05-26 2015-05-26 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード

Country Status (8)

Country Link
US (3) US9596554B2 (ja)
EP (1) EP3149960A4 (ja)
JP (1) JP2017521902A (ja)
KR (1) KR20170067682A (ja)
CN (1) CN106416292A (ja)
AU (2) AU2015265541A1 (ja)
CA (1) CA2949929A1 (ja)
WO (1) WO2015181727A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113982A (ja) * 2019-01-11 2020-07-27 チェン シアオ ハンＨｓｉａｏ−Ｈａｎ ＣＨＥＮ コミュニケーションサポートシステム
JP2022543827A (ja) * 2019-08-07 2022-10-14 ボーズ・コーポレーション オープンイヤー指向性音響デバイスのアクティブノイズ低減

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015265541A1 (en) 2014-05-26 2017-01-12 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
US10225670B2 (en) 2014-09-12 2019-03-05 Sonova Ag Method for operating a hearing system as well as a hearing system
EP3038383A1 (en) * 2014-12-23 2016-06-29 Oticon A/s Hearing device with image capture capabilities
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) * 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
JP6131989B2 (ja) * 2015-07-07 2017-05-24 沖電気工業株式会社 収音装置、プログラム及び方法
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CA3007511C (en) * 2016-02-04 2023-09-19 Magic Leap, Inc. Technique for directing audio in augmented reality system
WO2017163286A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 収音装置
US10075624B2 (en) 2016-04-28 2018-09-11 Bose Corporation Wearable portable camera
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US10339960B2 (en) 2016-10-13 2019-07-02 International Business Machines Corporation Personal device for hearing degradation monitoring
US10303929B2 (en) * 2016-10-27 2019-05-28 Bose Corporation Facial recognition system
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10841724B1 (en) * 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
WO2018140618A1 (en) 2017-01-27 2018-08-02 Shure Acquisiton Holdings, Inc. Array microphone module and system
IL288137B2 (en) 2017-02-28 2023-09-01 Magic Leap Inc Virtual and real object registration in a mixed reality device
CN107450722A (zh) * 2017-07-12 2017-12-08 深圳纬目信息技术有限公司 一种带有噪音过滤功能的双重交互控制头戴式显示设备和交互方法
WO2019041316A1 (zh) * 2017-09-01 2019-03-07 深圳市台电实业有限公司 一种拾音设备和系统
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
CN109696658B (zh) * 2017-10-23 2021-08-24 京东方科技集团股份有限公司 采集设备、声音采集方法、声源跟踪系统及其方法
US10884104B2 (en) * 2017-12-20 2021-01-05 Ecolink Intelligent Technology, Inc. Monitoring device having 360 degree sensing capabilities
US10586538B2 (en) * 2018-04-25 2020-03-10 Comcast Cable Comminications, LLC Microphone array beamforming control
EP3804356A1 (en) 2018-06-01 2021-04-14 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11070912B2 (en) * 2018-06-22 2021-07-20 Facebook Technologies, Llc Audio system for dynamic determination of personalized acoustic transfer functions
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
WO2020079485A2 (en) 2018-10-15 2020-04-23 Orcam Technologies Ltd. Hearing aid systems and methods
US10728655B1 (en) * 2018-12-17 2020-07-28 Facebook Technologies, Llc Customized sound field for increased privacy
US10854216B2 (en) * 2019-02-15 2020-12-01 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing system
CN109819367A (zh) * 2019-02-21 2019-05-28 日照职业技术学院 一种用于国际商务谈判英汉转换耳机
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US10567898B1 (en) * 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio
US10957299B2 (en) 2019-04-09 2021-03-23 Facebook Technologies, Llc Acoustic transfer function personalization using sound scene analysis and beamforming
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
CN114051637A (zh) 2019-05-31 2022-02-15 舒尔获得控股公司 集成语音及噪声活动检测的低延时自动混波器
US10645520B1 (en) * 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
CN114073101B (zh) 2019-06-28 2023-08-18 斯纳普公司 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形
US10979838B2 (en) * 2019-07-26 2021-04-13 Facebook Technologies, Llc Power reduction via smart microphone selection using environmental intelligence
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11743640B2 (en) 2019-12-31 2023-08-29 Meta Platforms Technologies, Llc Privacy setting for sound leakage control
US11212606B1 (en) 2019-12-31 2021-12-28 Facebook Technologies, Llc Headset sound leakage mitigation
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11432067B2 (en) * 2020-03-23 2022-08-30 Orcam Technologies Ltd. Cancelling noise in an open ear system
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11290837B1 (en) * 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
IT202000029336A1 (it) * 2020-12-01 2022-06-01 Acoesis S R L Metodo di riproduzione di un segnale audio
WO2022164572A1 (en) * 2021-01-28 2022-08-04 Google Llc Head-worn computing device with microphone beam steering
US11785380B2 (en) 2021-01-28 2023-10-10 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11808945B2 (en) 2021-09-07 2023-11-07 Meta Platforms Technologies, Llc Eye data and operation of head mounted device
US11778366B2 (en) * 2021-11-08 2023-10-03 Meta Platforms Technologies, Llc Gaze-guided audio
KR102638322B1 (ko) * 2022-05-30 2024-02-19 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE8529458U1 (ja) 1985-10-16 1987-05-07 Siemens Ag, 1000 Berlin Und 8000 Muenchen, De
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
EP1184676B1 (en) 2000-09-02 2004-05-06 Nokia Corporation System and method for processing a signal being emitted from a target signal source into a noisy environment
US6769767B2 (en) * 2001-04-30 2004-08-03 Qr Spex, Inc. Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices
DE10208468A1 (de) 2002-02-27 2003-09-04 Bsh Bosch Siemens Hausgeraete Elektrisches Gerät, insbesondere Dunstabzugshaube
NL1021485C2 (nl) 2002-09-18 2004-03-22 Stichting Tech Wetenschapp Hoorbril-samenstel.
DE10249416B4 (de) 2002-10-23 2009-07-30 Siemens Audiologische Technik Gmbh Verfahren zum Einstellen und zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät
DE102004000043A1 (de) * 2004-11-17 2006-05-24 Siemens Ag Verfahren zur selektiven Aufnahme eines Schallsignals
JP2009514312A (ja) * 2005-11-01 2009-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響追跡手段を備える補聴器
TWI275203B (en) 2005-12-30 2007-03-01 Inventec Appliances Corp Antenna system of GPS receiver and switching method of antenna
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
DK2629551T3 (en) * 2009-12-29 2015-03-02 Gn Resound As Binaural hearing aid system
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
WO2012083989A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
US20130142358A1 (en) 2011-12-06 2013-06-06 Knowles Electronics, Llc Variable Directivity MEMS Microphone
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9161149B2 (en) * 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
CN105163268B (zh) * 2012-12-22 2020-03-10 华为技术有限公司 一种眼镜式通信装置、系统及方法
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
AU2015265541A1 (en) 2014-05-26 2017-01-12 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113982A (ja) * 2019-01-11 2020-07-27 チェン シアオ ハンＨｓｉａｏ−Ｈａｎ ＣＨＥＮ コミュニケーションサポートシステム
JP7203775B2 (ja) 2019-01-11 2023-01-13 シアオ ハン チェン コミュニケーションサポートシステム
JP2022543827A (ja) * 2019-08-07 2022-10-14 ボーズ・コーポレーション オープンイヤー指向性音響デバイスのアクティブノイズ低減
JP7446409B2 (ja) 2019-08-07 2024-03-08 ボーズ・コーポレーション オープンイヤー指向性音響デバイスのアクティブノイズ低減

Also Published As

Publication number Publication date
US9596554B2 (en) 2017-03-14
WO2015181727A2 (en) 2015-12-03
AU2015265541A1 (en) 2017-01-12
WO2015181727A3 (en) 2016-03-03
US20180070173A1 (en) 2018-03-08
US10097921B2 (en) 2018-10-09
CN106416292A (zh) 2017-02-15
EP3149960A2 (en) 2017-04-05
KR20170067682A (ko) 2017-06-16
US20170180851A1 (en) 2017-06-22
AU2019203605A1 (en) 2019-06-06
EP3149960A4 (en) 2018-01-24
CA2949929A1 (en) 2015-12-03
US20150341734A1 (en) 2015-11-26
US9838785B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
US10097921B2 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
US10820121B2 (en) Hearing device or system adapted for navigation
US10431239B2 (en) Hearing system
CN108600907B (zh) 定位声源的方法、听力装置及听力系统
EP2928214B1 (en) A binaural hearing assistance system comprising binaural noise reduction
CN107690119B (zh) 配置成定位声源的双耳听力系统
US9264824B2 (en) Integration of hearing aids with smart glasses to improve intelligibility in noise
US20170195818A1 (en) Directional sound modification
CN116134838A (zh) 使用个性化声音简档的音频系统
JP6290827B2 (ja) オーディオ信号を処理する方法及び補聴器システム
EP3833043B1 (en) A hearing system comprising a personalized beamformer
WO2023087565A1 (zh) 一种开放式声学装置
US20190306618A1 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
KR20150142925A (ko) 스테레오 음향 입력 장치
US20220103951A1 (en) Machine learning based self-speech removal
JP2023554206A (ja) オープン型音響装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180525

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180531

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190827