JP2015019371A - オーディオ処理装置 - Google Patents
オーディオ処理装置 Download PDFInfo
- Publication number
- JP2015019371A JP2015019371A JP2014141411A JP2014141411A JP2015019371A JP 2015019371 A JP2015019371 A JP 2015019371A JP 2014141411 A JP2014141411 A JP 2014141411A JP 2014141411 A JP2014141411 A JP 2014141411A JP 2015019371 A JP2015019371 A JP 2015019371A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- determining
- audio signal
- poi
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 230000005236 sound signal Effects 0.000 claims abstract description 234
- 230000000007 visual effect Effects 0.000 claims description 140
- 238000000034 method Methods 0.000 claims description 78
- 230000003321 amplification Effects 0.000 claims description 68
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 50
- 230000015654 memory Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 description 31
- 238000004458 analytical method Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 230000002238 attenuated effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Otolaryngology (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
【解決手段】少なくとも一つのオーディオ信号を用いて少なくとも一つの音源を決定するように構成される空間オーディオアナライザと少なくとも一つの音源に関する少なくとも一つのPOI(Point of Interest)位置を決定するように構成される位置決定部と、少なくとも一つの音源に関する少なくとも一つのPOI位置の移動経路を決定するように構成される移動経路決定部と、決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生するように構成される処理部と、を備える。
【選択図】図1
Description
1.音場を収録し、収録した信号から方向情報を解析する。
2.ビデオの収録中に、音声信号を増幅又は減衰させるべく方向情報を指示する。(例えばユーザが画面上でタップすることによって行われる。)
3.音源の方向及び指示された方向に基づき、空間及び方向情報を修正して新たなオーディオ信号を生成する。(例えば所望の方向からの音を増幅することによって行われる。)
・ レコーディング中に、メインのオーディオトラックに加えて、音源の方向に関する情報を示すメタファイルが同時に生成される。オーディオトラックは(例えばステレオやマルチチャネルのオーディオ信号として、又はモノラルのオーディオ信号として)記録され収録される。
・ 再生中に、音源の方向が選択される。(例えば所望の音源を強調して示すユーザインタフェースによって行われる。)
・ 追跡メカニズムを用いて、またレコーディング中に得られたメタデータを用いて、計算された音源の方向が強められたオーディオ信号が生成される。
ここでnbは、b番目のサブ帯域の第1のインデックスである。ある実施形態においては、全てのサブ帯域について次のように方向分析が行われる。まず、二つのチャネルを用いて方向が推定される。(本例のマイク構成においては、チャネル2及び3すなわちマイク2および3が用いられる。)方向分析部は、サブ帯域bについて、二つのチャネルの相関を最大化する遅延値はτbであることを見つける。
のDFT表現は、次の式を用いて、τbに基づいてシフトされることができる。
ある実施形態において、最適な遅延値は次の式で求められる。
ここでReは実部を表し、*は複素共役を表す。また、
は、それぞれ(nb+1-nb)サンプルの長さのベクトルであるとみなされる。ある実施形態において、方向分析部は、遅延値の探索のために時間領域サンプル1個の分解能で、遅延値の探索を行うようにされてもよい。
つまり方向分析部が生成するように構成されるサム信号において、イベントが最初に生じるチャネルのコンテンツは修正なしで加えられ、そのイベントが後で生じるチャネルのコンテンツは、最初のチャネルになるべく合致するようにシフトされる。
ここでFsは信号のサンプリングレートであり、νは空気中の信号の速度である(水中において収録を行う場合には水中の速度である)。
ここでdは、ペアを組むマイク同士の距離を表し、rは音源と音源に最も近いマイクとの間の推定距離を表す。ある実施形態において、方向分析部は、rとして固定値をセットするように構成されうる。例えば、r=2メートルが、安定的な結果をもたらすことがわかっている。
ここでhは正三角形の高さであり、すなわち:
である。
に等しいと考えられる。
ws = 0.15(|θhigh - θlow|)
そして、焦点が当てられるセクタの下端と上端に対応する角度項は(θlow,θhigh)と規定される。また、平滑化ゾーンの下端θLSと上端θHSはそれぞれ次のように規定される。
(θLS = θlow - ws,θHS = θhigh + ws)
ある実施形態において、空間平滑化部は、セクタ及び平滑化ゾーンの情報を、空間平滑化フィルタ生成部に出力するように構成される。
ここでamp(b)は、サブ帯域bに対応する増幅係数である。実施形態によっては、増幅係数はユーザが決めることができる。例えば本明細書で紹介されるユーザインタフェースの例では、スライダを用いて決めることができる。実施形態によっては、全てのサブ帯域b∈{1, B}についての増幅係数を同じとしてもよい。実施形態によっては、音場におけるズーム量に基づいて、サブ帯域毎に生成してもよい。ある実施形態において、amp(b)の値の適切な範囲は0.2から0.8の間である。
ここで、att(b)はサブ帯域bのための減衰係数である。実施形態によっては、減衰量を規定する減衰定数が定められてもよい。これは、ユーザインタフェースからの入力や、ズーム量に基づく計算に基づいて、定められてもよい。減衰係数att(b)の適切な値は0.1から1.0の範囲である。
ここでA(j)はj番目のオーディオチャネルの角度を表し、Δ(j)はチャネルjの角度差を、c1は推定角度に最も近いチャネルのインデックスを表す。
ここでG1及びG2は、それぞれチャネルc1及びc2の比例利得である。チャネルの中間点で、利得値はG1 = G2 = 1/√2に等しくなる。この仮定に基づけば、サブ帯域bのc1及びc2の利得値は次のように決定されうる。
ここで、iはθに最も近いチャネルのインデックスを表す。このチャネルに対しては操作は行われない。すなわち
これは、焦点が当てられている方向から到来する非ドミナントな音源やオリジナルの背景ノイズが減衰させられることを防ぐためである。というのも、これらの音も、合成出力においては、焦点が当てられているものとして聞こえる必要があるからである。
に基づいて、実際のチャネルのスケーリング係数
を決定するように構成されることができる。
は、それぞれチャネルc1,c2,c3のスケーリング係数を表す。
ここで、
は、固定された、"バランスされていない"、各チャネルについてのガンマ値であり、ampsとattsは、それぞれサイド信号の増幅ファクタ及び減衰ファクタである。実施形態によっては、これらの値の好適な値は0.1から0.3の間で変化する。
増幅:
減衰:
ここで、
は、それぞれチャネルc1,c2,c3のスケーリング係数を表す。
それによって、実際のオーディオチャネル信号を得ることができる。
ここでX(z)は、チャネルXの時間領域信号に対応する。
処理は、各サブ帯域bの各周波数ビンに対して個別に行われ、サイド信号S(b)は右チャネルに加えられ、左チャネルからは取り除かれる。
ここで、a(b)の角度符号は変わる。帯域bの角度推定が不確実である場合、この係数にはデフォルト値PR = PL = 1/√2が用いられる。
・ 少なくとも一つの音源のPOI位置を示すオーバーレイ;
・ 少なくとも一つの音源に関する少なくとも一つのPOI位置が、イメージフレームの視野外にあることを強調するオーバーレイ;
・ 少なくとも一つの音源に関する少なくとも一つのPOI位置に基づいて処理中の焦点範囲及び焦点方向を示す、焦点領域オーバーレイ;
・ 少なくとも一つの更なるユーザインタフェース・オーバーレイ要素を生成する状態を示すように構成される処理オーバーレイ;
・ 決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの増幅利得を示すように構成される、焦点増幅オーバーレイ;
・ 決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの減衰の度合いを示すように構成される、焦点減衰オーバーレイ;
・ 焦点当て処理を反転する切り替え状態を表示するように構成される、焦点切替オーバーレイ;
・ 装置の周囲の方向の増幅プロファイルを示すように構成される、焦点増幅プロファイル・オーバーレイ。
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理幅;
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理範囲;
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点増幅ファクタ;
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点減衰ファクタ;
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点外増幅ファクタ;
・ 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点外減衰ファクタ。
[実施形態1]
少なくとも一つのプロセッサと、一つ又は複数のプログラムのためのコンピュータ命令を格納する少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に:
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定することと;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することと;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することと;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することと;
を行わせるように構成される、装置。
[実施形態2]
実施形態1に従う装置であって、少なくとも一つのオーディオ信号を用いて少なくとも一つの音源を決定することは、前記装置に少なくとも、
前記少なくとも一つのオーディオ信号に関連する少なくとも一つのメタファイルであって、音源の位置情報を含むメタファイルを見つけることと;
前記位置情報から少なくとも一つの音源を決定することと;
の少なくともいずれかを行うようにさせ、
さらに、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、前記装置に、前記位置情報に基づいて前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定するようにさせる、装置。
[実施形態3]
実施形態1又は2に従う装置であって、
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、前記装置に少なくとも:
イメージフレームにおいて、視覚イメージに関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのオーディオ信号に関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのユーザ入力位置を決定することにより、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定すること;
の少なくともいずれかをさせる、装置。
[実施形態4]
実施形態1から3のいずれかに従う装置であって、さらに、
表示領域内に、前記少なくとも一つの音源の少なくとも一つの視覚的イメージ要素を提供することと;
前記少なくとも一つの視覚的イメージ要素に関する少なくとも一つのPOI位置を決定することと;
を行うようにされ、ここで、少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、前記装置に、少なくとも一つのビジュアル要素に関連する少なくとも一つのPOI位置として、少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することをさせる、装置。
[実施形態5]
実施形態4に従う装置であって、
表示領域内に、前記少なくとも一つの音源の少なくとも一つの視覚的イメージ要素を提供することは、前記装置に更に、
表示領域内に、イメージフレームから、少なくとも一つの視覚的イメージ要素を含む表示イメージを生成することと;
少なくとも一つの選択入力を提供するように構成されるタッチインタフェース・ディスプレイに、前記表示イメージを表示することと;
を行うようにさせ、
ここで、少なくとも一つの視覚要素のPOI位置を決定することは、前記装置に、少なくとも一つの選択入力に基づいて、前記少なくとも一つのPOI位置を決定するようにさせる、装置。
[実施形態6]
実施形態5に従う装置であって、
前記表示イメージを生成することは、前記装置に、
少なくとも一つのイメージフレームをキャプチャすることと;
少なくとも一つのユーザインタフェース・オーバーレイ要素を生成することと;
少なくとも一つの視覚要素を含む前記表示イメージを生成すべく、前記少なくとも一つのイメージフレームと、前記少なくとも一つのユーザインタフェース・オーバーレイ要素とを結合することと;
を行わせる、装置。
[実施形態7]
実施形態6に従う装置であって、
少なくとも一つのユーザインタフェース・オーバーレイ要素を生成することは、前記装置に、
少なくとも一つの音源のPOI位置を示すオーバーレイを生成することと;
少なくとも一つの音源に関する少なくとも一つのPOI位置が、イメージフレームの視野外にあることを強調するオーバーレイを生成することと;
少なくとも一つの音源に関する少なくとも一つのPOI位置に基づいて処理中の焦点範囲及び焦点方向を示す、焦点領域オーバーレイを生成することと;
少なくとも一つの更なるユーザインタフェース・オーバーレイ要素を生成する状態を示すように構成される処理オーバーレイことと;
決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの増幅利得を示すように構成される、焦点増幅オーバーレイを生成することと;
決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの減衰の度合いを示すように構成される、焦点減衰オーバーレイを生成することと;
焦点当て処理を反転する切り替え状態を表示するように構成される、焦点切替オーバーレイを生成することと;
装置の周囲の方向の増幅プロファイルを示すように構成される、焦点増幅プロファイル・オーバーレイを生成することと;
の少なくともいずれかを行わせる、装置。
[実施形態8]
実施形態1から7のいずれかに従う装置であって、さらに、
少なくとも一つの音源に関する少なくとも一つのPOI位置に関連する少なくとも一つの制御入力を提供するようにされ、
決定された移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することは、前記装置に、前記少なくとも一つの制御入力に基づき少なくとも一つのオーディオ信号を再生させる、装置。
[実施形態9]
実施形態8に従う装置であって、
前記少なくとも一つの位置に関連する少なくとも一つの制御入力を提供することは、前記装置に、
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理幅;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理範囲;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点増幅ファクタ;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点減衰ファクタ;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点外増幅ファクタ;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための焦点外減衰ファクタ;
の少なくともいずれかを提供させるようにする、装置。
[実施形態10]
実施形態1から9のいずれかに従う装置であって、さらに、
前記少なくとも一つのオーディオ信号は少なくとも2つのオーディオ信号を含み、少なくとも一つのオーディオ信号を用いて少なくとも一つの音源を決定することは、前記装置に少なくとも:
前記少なくとも2つのオーディオ信号から、前記少なくとも一つの音源が位置に関する値を含むことを決定することと;
前記少なくとも一つの音源に関する前記一つのPOI位置内に少なくとも一つの音源を決定することと;
の少なくともいずれかを行わせる、装置。
[実施形態11]
実施形態1から10のいずれかに従う装置であって、さらに、
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することは、前記装置に:
前記少なくとも一つのPOI位置において、少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を決定することと;
前記少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴をそれぞれ追跡することと;
前記少なくとも一つの特徴の移動経路を決定することと;
を行わせる、装置。
[実施形態12]
実施形態1から12のいずれかに従う装置であって、前記少なくとも一つのオーディオ信号を、
少なくとも2つのマイク;
装置のメモリ;
少なくとも一つの他の装置;
のいずれかから受け取るように構成される、装置。
[実施形態13]
実施形態3に直接又は間接に従う装置であって、さらに、
前記少なくとも一つの位置が決定される、少なくとも一つのキャプチャされたイメージフレームを、少なくとも一つのカメラ,メモリ,少なくとも一つの他の装置の少なくともいずれかから受け取るように構成される、装置。
[実施形態14]
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定する手段と;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定する手段と;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定する手段と;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生する手段と;
を備える、装置。
[実施形態15]
実施形態14に従う装置であって、
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定する手段は:
前記少なくとも一つのオーディオ信号に関連する少なくとも一つのメタファイルであって、音源の位置情報を含むメタファイルを見つける手段と;
前記位置情報から少なくとも一つの音源を決定する手段と;
の少なくともいずれかを備え、
さらに、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定する手段は、前記位置情報に基づいて前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定する手段を備える、装置。
[実施形態16]
実施形態14又は15に従う装置であって、
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定する手段は、さらに;
イメージフレームにおいて、視覚イメージに関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定する手段と;
少なくとも一つのオーディオ信号に関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定する手段と;
少なくとも一つのユーザ入力位置を決定することにより、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定する手段と;
の少なくともいずれかを備える、装置。
[実施形態17]
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定することと;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することと;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することと;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することと;
を含む、方法。
[実施形態18]
実施形態17に従う方法であって、
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定することは:
前記少なくとも一つのオーディオ信号に関連する少なくとも一つのメタファイルであって、音源の位置情報を含むメタファイルを見つけることと;
前記位置情報から少なくとも一つの音源を決定することと;
の少なくともいずれかを含み、
さらに、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、前記位置情報に基づいて前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することを含む、方法。
[実施形態19]
実施形態17又は18に従う装置であって、
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、さらに;
イメージフレームにおいて、視覚イメージに関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのオーディオ信号に関する少なくとも一つの位置を決定することにより、前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのユーザ入力位置を決定することにより、前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定すること;
の少なくともいずれかを含む、装置。
[実施形態20]
少なくとも一つのオーディオ信号を用いて少なくとも一つの音源を決定するように構成される空間オーディオアナライザと;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定するように構成される位置決定部と;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定するように構成される移動経路決定部と;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより前記少なくとも一つのオーディオ信号を再生するように構成される処理部と;
を備える装置。
Claims (20)
- 少なくとも一つのプロセッサと、一つ又は複数のプログラムのためのコンピュータ命令を格納する少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に:
少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定することと;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することと;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することと;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することと;
を行わせるように構成される、装置。 - 請求項1に記載の装置であって、
前記少なくとも一つの音源は、前記装置に、
前記少なくとも一つのオーディオ信号に関連する少なくとも一つのメタファイルであって、音源の位置情報を含むメタファイルを見つけることと;
前記少なくとも一つの音源に関する前記一つのPOI位置を決定すべく、前記位置情報から前記少なくとも一つの音源を決定することと;
を行わせることにより決定される、装置。
[実施形態 - 請求項1又は2に記載の装置であって、
前記少なくとも一つのPOI位置は、前記装置に少なくとも:
イメージフレームにおいて、視覚イメージに関する少なくとも一つの位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのオーディオ信号に関する少なくとも一つの位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのユーザ入力位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
の少なくともいずれかを行わせることにより決定される、装置。 - 前記少なくとも一つのPOI位置が決定される、少なくとも一つのキャプチャされたイメージフレームを、少なくとも一つのカメラ,メモリ,少なくとも一つの他の装置の少なくともいずれかから受け取るように構成される、請求項1又は2に記載の装置。
- 前記少なくとも一つのPOI位置において、少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を決定することと;
前記少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を追跡することと;
前記少なくとも一つの特徴の移動経路を決定することと;
を行うようにされる、請求項1から4のいずれかに記載の装置。 - 表示領域内に、前記少なくとも一つの音源の少なくとも一つの視覚的イメージ要素を提供することと;
前記少なくとも一つの視覚的イメージ要素に基づいて、前記少なくとも一つのPOI位置を決定することと;
を行うようにされ、ここで前記少なくとも一つの音源は、前記少なくとも一つの視覚的イメージ要素に関連する戦記少なくとも一つのPOI位置であると定義される、請求項5に記載の装置。 - 前記表示領域内に、イメージフレームから、前記少なくとも一つの視覚的イメージ要素を含む表示イメージを生成することと;
少なくとも一つの選択入力に基づいて前記少なくとも一つのPOI位置を決定すべく、前記少なくとも一つの選択入力を提供するように構成されるタッチインタフェース・ディスプレイに、前記表示イメージを表示することと;
を行うようにされる、請求項6に記載の装置。 - 少なくとも一つのイメージフレームをキャプチャすることと;
少なくとも一つのユーザインタフェース・オーバーレイ要素を生成することと;
前記表示イメージを生成すべく、前記少なくとも一つのイメージフレームと、前記少なくとも一つのユーザインタフェース・オーバーレイ要素とを結合することと;
を行うようにされる、請求項7に記載の装置。 - 少なくとも一つの音源のPOI位置を示すオーバーレイを生成することと;
少なくとも一つのPOI位置が、イメージフレームの視野外にあることを強調するオーバーレイを生成することと;
少なくとも一つのPOI位置に基づいて処理中の焦点範囲及び焦点方向を示す、焦点領域オーバーレイを生成することと;
切り替え状態を示すように構成される、処理オーバーレイを生成することと;
決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの増幅利得を示すように構成される、焦点増幅オーバーレイを生成することと;
決定された移動経路に基づいて、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を生成するための少なくとも一つの減衰を示すように構成される、焦点減衰オーバーレイを生成することと;
焦点当て処理を反転する切り替え状態を表示するように構成される、焦点切替オーバーレイを生成することと;
装置の周囲の方向の増幅プロファイルを示すように構成される、焦点増幅プロファイル・オーバーレイを生成することと;
の少なくともいずれかを行うようにされる、請求項8に記載の装置。 - 前記少なくとも一つのPOI位置に関する少なくとも一つの制御入力を提供すると共に、前記少なくとも一つの制御入力に基づいて、前記少なくとも一つのサウンド再生トランスデューサーにより前記少なくとも一つのオーディオ信号を再生する、請求項1から9のいずれかに記載の装置。
- 少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理幅;
少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することを制御するための処理範囲;
少なくとも一つのサウンド再生トランスデューサーによる少なくとも一つのオーディオ信号の再生を制御するための焦点増幅ファクタ;
少なくとも一つのサウンド再生トランスデューサーによる少なくとも一つのオーディオ信号の再生を制御するための焦点減衰ファクタ;
少なくとも一つのサウンド再生トランスデューサーによる少なくとも一つのオーディオ信号の再生を制御するための焦点外増幅ファクタ;
少なくとも一つのサウンド再生トランスデューサーによる少なくとも一つのオーディオ信号の再生を制御するための焦点外減衰ファクタ;
の少なくともいずれかを提供するようにされる、請求項10に記載の装置。 - 前記少なくとも一つのオーディオ信号は少なくとも二つのオーディオ信号を含み、前記少なくとも二つのオーディオ信号により前記少なくとも一つの音源が決定され、決定された前記少なくとも一つの音源は、位置に関する値を有する、請求項1から11のいずれかに記載の装置。
- 請求項1から12のいずれかに記載の装置であって、前記少なくとも一つのオーディオ信号を、
少なくとも2つのマイク;
装置のメモリ;
少なくとも一つの他の装置;
のいずれかから受け取るように構成される、装置。 - 前記少なくとも一つのオーディオ信号を用いて、前記少なくとも一つの音源を決定するように構成される、空間オーディオアナライザと;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置を決定するように構成される位置決定部と;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定するように構成される移動経路決定部と;
前記決定した移動経路に基づき、前記少なくとも一つのサウンド再生トランスデューサーにより前記少なくとも一つのオーディオ信号を再生するように構成される処理部と;
を備える、請求項1から13のいずれかに記載の装置。 - 少なくとも一つのオーディオ信号を用いて、少なくとも一つの音源を決定することと;
前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することと;
前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することと;
前記決定した移動経路に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することと;
を含む、方法。 - 前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することは、さらに:
前記少なくとも一つのPOI位置において、少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を決定することと;
前記少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を追跡することと;
前記少なくとも一つの特徴の移動経路を決定することと;
を含む、請求項15に記載の方法。 - 前記少なくとも一つの音源に関する少なくとも一つのPOI位置を決定することは、さらに;
イメージフレームにおいて、視覚イメージに関する少なくとも一つの位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのオーディオ信号に関する少なくとも一つの位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
少なくとも一つのユーザ入力位置を決定することにより、前記少なくとも一つのPOI位置を決定すること;
の少なくともいずれかを含む、請求項15又は16に記載の方法。 - 少なくとも一つの視覚的イメージ要素を提供することと;
表示領域内に、イメージフレームから、前記少なくとも一つの視覚的イメージ要素を含む表示イメージを生成することと;
少なくとも一つの選択入力を提供するためのタッチインタフェース・ディスプレイに、前記表示イメージを表示することと;
前記少なくとも一つの選択入力に基づいて、前記少なくとも一つのPOI位置を決定することと;
を含む、請求項15から17のいずれかに記載の方法。 - 前記少なくとも一つの音源に関する前記少なくとも一つのPOI位置の移動経路を決定することは、さらに:
前記少なくとも一つのPOI位置において、少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を決定することと;
前記少なくとも一つの視覚的イメージ要素及び/又は前記少なくとも一つの音源に関する少なくとも一つの特徴を追跡することと;
前記少なくとも一つの特徴の移動経路を決定することと;
を含む、請求項15から18のいずれかに記載の方法。 - 前記少なくとも一つのPOI位置に関連する少なくとも一つの制御入力を提供することと;
前記少なくとも一つの制御入力に基づき、少なくとも一つのサウンド再生トランスデューサーにより少なくとも一つのオーディオ信号を再生することと;
をさらに含む、請求項15から19のいずれかに記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1312326.0 | 2013-07-09 | ||
GB1312326.0A GB2516056B (en) | 2013-07-09 | 2013-07-09 | Audio processing apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016084105A Division JP6367258B2 (ja) | 2013-07-09 | 2016-04-20 | オーディオ処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015019371A true JP2015019371A (ja) | 2015-01-29 |
JP2015019371A5 JP2015019371A5 (ja) | 2015-10-08 |
JP6310793B2 JP6310793B2 (ja) | 2018-04-11 |
Family
ID=49033573
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014141411A Active JP6310793B2 (ja) | 2013-07-09 | 2014-07-09 | オーディオ処理装置 |
JP2016084105A Active JP6367258B2 (ja) | 2013-07-09 | 2016-04-20 | オーディオ処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016084105A Active JP6367258B2 (ja) | 2013-07-09 | 2016-04-20 | オーディオ処理装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10142759B2 (ja) |
EP (1) | EP2824663B1 (ja) |
JP (2) | JP6310793B2 (ja) |
KR (1) | KR101703388B1 (ja) |
GB (1) | GB2516056B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020509492A (ja) * | 2017-02-28 | 2020-03-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実デバイスにおける仮想および実オブジェクトの記録 |
JP2021508193A (ja) * | 2017-12-22 | 2021-02-25 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9344826B2 (en) * | 2013-03-04 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for communicating with audio signals having corresponding spatial characteristics |
KR102288060B1 (ko) * | 2014-08-06 | 2021-08-10 | 삼성전자 주식회사 | 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치 |
KR102226817B1 (ko) * | 2014-10-01 | 2021-03-11 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
WO2016098315A1 (ja) * | 2014-12-15 | 2016-06-23 | パナソニックIpマネジメント株式会社 | マイクアレイ、監視システム及び収音設定方法 |
US9787846B2 (en) | 2015-01-21 | 2017-10-10 | Microsoft Technology Licensing, Llc | Spatial audio signal processing for objects with associated audio content |
US9668055B2 (en) * | 2015-03-04 | 2017-05-30 | Sowhat Studio Di Michele Baggio | Portable recorder |
CN106303897A (zh) * | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
GB2540225A (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio capture and mixing control |
US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
JP5979458B1 (ja) * | 2015-11-06 | 2016-08-24 | パナソニックIpマネジメント株式会社 | 無人飛行体検知システム及び無人飛行体検知方法 |
WO2017143067A1 (en) | 2016-02-19 | 2017-08-24 | Dolby Laboratories Licensing Corporation | Sound capture for mobile devices |
US11722821B2 (en) | 2016-02-19 | 2023-08-08 | Dolby Laboratories Licensing Corporation | Sound capture for mobile devices |
US10153002B2 (en) * | 2016-04-15 | 2018-12-11 | Intel Corporation | Selection of an audio stream of a video for enhancement using images of the video |
CN117612539A (zh) * | 2016-05-30 | 2024-02-27 | 索尼公司 | 视频音频处理设备、视频音频处理方法和存储介质 |
US10074012B2 (en) | 2016-06-17 | 2018-09-11 | Dolby Laboratories Licensing Corporation | Sound and video object tracking |
GB2551521A (en) * | 2016-06-20 | 2017-12-27 | Nokia Technologies Oy | Distributed audio capture and mixing controlling |
US9881647B2 (en) * | 2016-06-28 | 2018-01-30 | VideoStitch Inc. | Method to align an immersive video and an immersive sound field |
US10349196B2 (en) | 2016-10-03 | 2019-07-09 | Nokia Technologies Oy | Method of editing audio signals using separated objects and associated apparatus |
US10573291B2 (en) | 2016-12-09 | 2020-02-25 | The Research Foundation For The State University Of New York | Acoustic metamaterial |
CN106842752B (zh) * | 2017-04-24 | 2019-06-07 | 京东方科技集团股份有限公司 | 显示面板、显示装置及其显示方法 |
GB2562518A (en) | 2017-05-18 | 2018-11-21 | Nokia Technologies Oy | Spatial audio processing |
US11303689B2 (en) * | 2017-06-06 | 2022-04-12 | Nokia Technologies Oy | Method and apparatus for updating streamed content |
GB201710085D0 (en) * | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Determination of targeted spatial audio parameters and associated spatial audio playback |
GB201710093D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
US11032580B2 (en) | 2017-12-18 | 2021-06-08 | Dish Network L.L.C. | Systems and methods for facilitating a personalized viewing experience |
US10828009B2 (en) | 2017-12-20 | 2020-11-10 | International Business Machines Corporation | Monitoring body sounds and detecting health conditions |
US10365885B1 (en) * | 2018-02-21 | 2019-07-30 | Sling Media Pvt. Ltd. | Systems and methods for composition of audio content from multi-object audio |
US10431238B1 (en) * | 2018-08-17 | 2019-10-01 | Apple Inc. | Memory and computation efficient cross-correlation and delay estimation |
CN110875053A (zh) | 2018-08-29 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 语音处理的方法、装置、系统、设备和介质 |
KR20200107758A (ko) * | 2019-03-08 | 2020-09-16 | 엘지전자 주식회사 | 음향 객체 추종을 위한 방법 및 이를 위한 장치 |
CN114402631B (zh) * | 2019-05-15 | 2024-05-31 | 苹果公司 | 用于回放捕获的声音的方法和电子设备 |
EP3742185B1 (en) * | 2019-05-20 | 2023-08-09 | Nokia Technologies Oy | An apparatus and associated methods for capture of spatial audio |
CN112423190A (zh) * | 2019-08-20 | 2021-02-26 | 苹果公司 | 用于头戴式设备的基于音频的反馈 |
US11137973B2 (en) * | 2019-09-04 | 2021-10-05 | Bose Corporation | Augmented audio development previewing tool |
GB2587335A (en) * | 2019-09-17 | 2021-03-31 | Nokia Technologies Oy | Direction estimation enhancement for parametric spatial audio capture using broadband estimates |
WO2021060680A1 (en) | 2019-09-24 | 2021-04-01 | Samsung Electronics Co., Ltd. | Methods and systems for recording mixed audio signal and reproducing directional audio |
WO2022059858A1 (en) * | 2020-09-16 | 2022-03-24 | Samsung Electronics Co., Ltd. | Method and system to generate 3d audio from audio-visual multimedia content |
WO2022250660A1 (en) * | 2021-05-25 | 2022-12-01 | Google Llc | Enhancing audio content of a captured scene |
US11653166B2 (en) * | 2021-05-27 | 2023-05-16 | Qualcomm Incorporated | Directional audio generation with multiple arrangements of sound sources |
US11943601B2 (en) | 2021-08-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Audio beam steering, tracking and audio effects for AR/VR applications |
TW202314452A (zh) * | 2021-08-13 | 2023-04-01 | 美商元平台技術有限公司 | 具有用於ar/vr應用的濾波器之單觸空間體驗 |
GB202204269D0 (en) * | 2022-03-25 | 2022-05-11 | Nokia Technologies Oy | An apparatus for mapping sound source direction |
US11914146B2 (en) * | 2022-05-27 | 2024-02-27 | Sony Interactive Entertainment LLC | Methods and systems for adding real-world sounds to virtual reality scenes |
WO2024125793A1 (en) * | 2022-12-15 | 2024-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Focusing a camera capturing video data using directional data of audio |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180197A (ja) * | 2002-11-29 | 2004-06-24 | Canon Inc | 情報処理装置、情報処理方法および記録媒体 |
JP2005124090A (ja) * | 2003-10-20 | 2005-05-12 | Sony Corp | マイクロホン装置、再生装置及び撮像装置 |
JP2007300220A (ja) * | 2006-04-27 | 2007-11-15 | Olympus Imaging Corp | カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体 |
JP2008193196A (ja) * | 2007-02-01 | 2008-08-21 | Casio Comput Co Ltd | 撮像装置および指定音声出力方法 |
JP2008271157A (ja) * | 2007-04-19 | 2008-11-06 | Fuji Xerox Co Ltd | 音声強調装置及び制御プログラム |
JP2009296232A (ja) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | 音入力装置、音入力方法およびプログラム |
JP2010187363A (ja) * | 2009-01-16 | 2010-08-26 | Sanyo Electric Co Ltd | 音響信号処理装置及び再生装置 |
JP2010273062A (ja) * | 2009-05-21 | 2010-12-02 | Sanyo Electric Co Ltd | 音響処理装置及び集音装置 |
JP2012169783A (ja) * | 2011-02-10 | 2012-09-06 | Canon Inc | 音声処理装置及び方法 |
JP2013240000A (ja) * | 2012-05-17 | 2013-11-28 | Kyocera Corp | 電子機器、録音制御プログラムおよび録音制御方法 |
JP2016084105A (ja) * | 2014-10-29 | 2016-05-19 | Kyb株式会社 | ミキサ車 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331827A (ja) | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
JP2004147205A (ja) | 2002-10-25 | 2004-05-20 | Fuji Photo Film Co Ltd | 画像音声記録装置 |
TWI230023B (en) | 2003-11-20 | 2005-03-21 | Acer Inc | Sound-receiving method of microphone array associating positioning technology and system thereof |
JP2005352330A (ja) * | 2004-06-14 | 2005-12-22 | Heartful Wing:Kk | 音声分割記録装置 |
US7928311B2 (en) * | 2004-12-01 | 2011-04-19 | Creative Technology Ltd | System and method for forming and rendering 3D MIDI messages |
US7518631B2 (en) * | 2005-06-28 | 2009-04-14 | Microsoft Corporation | Audio-visual control system |
JP2007158396A (ja) * | 2005-11-30 | 2007-06-21 | Mitsubishi Electric Corp | 映像・音声同期伝送装置 |
JP2008131168A (ja) * | 2006-11-17 | 2008-06-05 | Casio Comput Co Ltd | 音声データ編集装置、音声データ編集方法、音声データ編集プログラム |
NO328582B1 (no) | 2006-12-29 | 2010-03-22 | Tandberg Telecom As | Mikrofon for lydkildesporing |
US7792674B2 (en) * | 2007-03-30 | 2010-09-07 | Smith Micro Software, Inc. | System and method for providing virtual spatial sound with an audio visual player |
WO2008122974A1 (en) * | 2007-04-06 | 2008-10-16 | Technion Research & Development Foundation Ltd. | Method and apparatus for the use of cross modal association to isolate individual media sources |
US20080259731A1 (en) | 2007-04-17 | 2008-10-23 | Happonen Aki P | Methods and apparatuses for user controlled beamforming |
US8509454B2 (en) * | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
JP4934580B2 (ja) | 2007-12-17 | 2012-05-16 | 株式会社日立製作所 | 映像音声記録装置および映像音声再生装置 |
JP4968091B2 (ja) * | 2008-01-30 | 2012-07-04 | ソニー株式会社 | 電子機器、メッセージ応答方法及びプログラム |
US9445193B2 (en) | 2008-07-31 | 2016-09-13 | Nokia Technologies Oy | Electronic device directional audio capture |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
US8150063B2 (en) * | 2008-11-25 | 2012-04-03 | Apple Inc. | Stabilizing directional audio input from a moving microphone array |
US20100254543A1 (en) * | 2009-02-03 | 2010-10-07 | Squarehead Technology As | Conference microphone system |
KR101805212B1 (ko) | 2009-08-14 | 2017-12-05 | 디티에스 엘엘씨 | 객체-지향 오디오 스트리밍 시스템 |
JP2011061461A (ja) * | 2009-09-09 | 2011-03-24 | Sony Corp | 撮像装置、指向性制御方法及びそのプログラム |
US8144633B2 (en) | 2009-09-22 | 2012-03-27 | Avaya Inc. | Method and system for controlling audio in a collaboration environment |
RU2554510C2 (ru) | 2009-12-23 | 2015-06-27 | Нокиа Корпорейшн | Устройство |
DE102010030534A1 (de) * | 2010-06-25 | 2011-12-29 | Iosono Gmbh | Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion |
JP5198530B2 (ja) * | 2010-09-28 | 2013-05-15 | 株式会社東芝 | 音声付き動画像呈示装置、方法およびプログラム |
US9313599B2 (en) | 2010-11-19 | 2016-04-12 | Nokia Technologies Oy | Apparatus and method for multi-channel signal playback |
US9456289B2 (en) | 2010-11-19 | 2016-09-27 | Nokia Technologies Oy | Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof |
US8761412B2 (en) * | 2010-12-16 | 2014-06-24 | Sony Computer Entertainment Inc. | Microphone array steering with image-based source location |
US8475396B2 (en) * | 2011-02-11 | 2013-07-02 | AventuSoft, LLC | Method and system of an acoustic scene analyzer for body sounds |
JP2013106298A (ja) * | 2011-11-16 | 2013-05-30 | Sony Corp | 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置 |
WO2013093565A1 (en) * | 2011-12-22 | 2013-06-27 | Nokia Corporation | Spatial audio processing apparatus |
EP2680615B1 (en) * | 2012-06-25 | 2018-08-08 | LG Electronics Inc. | Mobile terminal and audio zooming method thereof |
JP6218090B2 (ja) * | 2014-05-09 | 2017-10-25 | パナソニックIpマネジメント株式会社 | 指向性制御方法 |
-
2013
- 2013-07-09 GB GB1312326.0A patent/GB2516056B/en active Active
-
2014
- 2014-07-03 EP EP14175510.8A patent/EP2824663B1/en active Active
- 2014-07-09 KR KR1020140085782A patent/KR101703388B1/ko not_active Application Discontinuation
- 2014-07-09 JP JP2014141411A patent/JP6310793B2/ja active Active
- 2014-07-09 US US14/326,465 patent/US10142759B2/en active Active
-
2016
- 2016-04-20 JP JP2016084105A patent/JP6367258B2/ja active Active
-
2017
- 2017-11-30 US US15/827,592 patent/US10080094B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180197A (ja) * | 2002-11-29 | 2004-06-24 | Canon Inc | 情報処理装置、情報処理方法および記録媒体 |
JP2005124090A (ja) * | 2003-10-20 | 2005-05-12 | Sony Corp | マイクロホン装置、再生装置及び撮像装置 |
JP2007300220A (ja) * | 2006-04-27 | 2007-11-15 | Olympus Imaging Corp | カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体 |
JP2008193196A (ja) * | 2007-02-01 | 2008-08-21 | Casio Comput Co Ltd | 撮像装置および指定音声出力方法 |
JP2008271157A (ja) * | 2007-04-19 | 2008-11-06 | Fuji Xerox Co Ltd | 音声強調装置及び制御プログラム |
JP2009296232A (ja) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | 音入力装置、音入力方法およびプログラム |
JP2010187363A (ja) * | 2009-01-16 | 2010-08-26 | Sanyo Electric Co Ltd | 音響信号処理装置及び再生装置 |
JP2010273062A (ja) * | 2009-05-21 | 2010-12-02 | Sanyo Electric Co Ltd | 音響処理装置及び集音装置 |
JP2012169783A (ja) * | 2011-02-10 | 2012-09-06 | Canon Inc | 音声処理装置及び方法 |
JP2013240000A (ja) * | 2012-05-17 | 2013-11-28 | Kyocera Corp | 電子機器、録音制御プログラムおよび録音制御方法 |
JP2016084105A (ja) * | 2014-10-29 | 2016-05-19 | Kyb株式会社 | ミキサ車 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
US11812222B2 (en) | 2016-02-04 | 2023-11-07 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
JP2020509492A (ja) * | 2017-02-28 | 2020-03-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実デバイスにおける仮想および実オブジェクトの記録 |
US11194543B2 (en) | 2017-02-28 | 2021-12-07 | Magic Leap, Inc. | Virtual and real object recording in mixed reality device |
JP2022009049A (ja) * | 2017-02-28 | 2022-01-14 | マジック リープ, インコーポレイテッド | 複合現実デバイスにおける仮想および実オブジェクトの記録 |
JP7275227B2 (ja) | 2017-02-28 | 2023-05-17 | マジック リープ, インコーポレイテッド | 複合現実デバイスにおける仮想および実オブジェクトの記録 |
US11669298B2 (en) | 2017-02-28 | 2023-06-06 | Magic Leap, Inc. | Virtual and real object recording in mixed reality device |
JP2021508193A (ja) * | 2017-12-22 | 2021-02-25 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
JP7037654B2 (ja) | 2017-12-22 | 2022-03-16 | ノキア テクノロジーズ オーユー | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2824663B1 (en) | 2021-08-25 |
GB2516056A (en) | 2015-01-14 |
GB201312326D0 (en) | 2013-08-21 |
EP2824663A2 (en) | 2015-01-14 |
US20150016641A1 (en) | 2015-01-15 |
US20180084365A1 (en) | 2018-03-22 |
GB2516056B (en) | 2021-06-30 |
JP2016178652A (ja) | 2016-10-06 |
EP2824663A3 (en) | 2015-03-11 |
US10142759B2 (en) | 2018-11-27 |
US10080094B2 (en) | 2018-09-18 |
KR20150006799A (ko) | 2015-01-19 |
KR101703388B1 (ko) | 2017-02-06 |
JP6310793B2 (ja) | 2018-04-11 |
JP6367258B2 (ja) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6367258B2 (ja) | オーディオ処理装置 | |
JP2015019371A5 (ja) | ||
US10924850B2 (en) | Apparatus and method for audio processing based on directional ranges | |
US10635383B2 (en) | Visual audio processing apparatus | |
US10932075B2 (en) | Spatial audio processing apparatus | |
EP3520216B1 (en) | Gain control in spatial audio systems | |
US20160345092A1 (en) | Audio Capture Apparatus | |
US11659349B2 (en) | Audio distance estimation for spatial audio processing | |
US11284211B2 (en) | Determination of targeted spatial audio parameters and associated spatial audio playback | |
EP3473019A1 (en) | Distributed audio capture and mixing controlling | |
CN107017000B (zh) | 用于编码和解码音频信号的装置、方法和计算机程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150824 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20150824 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20151112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160325 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160420 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6310793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |