JP2019523913A - 近/遠距離レンダリングを用いた距離パニング - Google Patents
近/遠距離レンダリングを用いた距離パニング Download PDFInfo
- Publication number
- JP2019523913A JP2019523913A JP2018566233A JP2018566233A JP2019523913A JP 2019523913 A JP2019523913 A JP 2019523913A JP 2018566233 A JP2018566233 A JP 2018566233A JP 2018566233 A JP2018566233 A JP 2018566233A JP 2019523913 A JP2019523913 A JP 2019523913A
- Authority
- JP
- Japan
- Prior art keywords
- hrtf
- audio
- radius
- audio signal
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 74
- 238000004091 panning Methods 0.000 title description 17
- 238000000034 method Methods 0.000 claims abstract description 137
- 238000003860 storage Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 16
- 230000005236 sound signal Effects 0.000 description 361
- 210000003128 head Anatomy 0.000 description 75
- 239000011159 matrix material Substances 0.000 description 65
- 239000000203 mixture Substances 0.000 description 64
- 230000033001 locomotion Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 36
- 238000012732 spatial analysis Methods 0.000 description 34
- 238000004458 analytical method Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 238000013519 translation Methods 0.000 description 17
- 230000008447 perception Effects 0.000 description 15
- 238000007493 shaping process Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 3
- YGYGASJNJTYNOL-CQSZACIVSA-N 3-[(4r)-2,2-dimethyl-1,1-dioxothian-4-yl]-5-(4-fluorophenyl)-1h-indole-7-carboxamide Chemical compound C1CS(=O)(=O)C(C)(C)C[C@@H]1C1=CNC2=C(C(N)=O)C=C(C=3C=CC(F)=CC=3)C=C12 YGYGASJNJTYNOL-CQSZACIVSA-N 0.000 description 3
- IDRGFNPZDVBSSE-UHFFFAOYSA-N OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F Chemical compound OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F IDRGFNPZDVBSSE-UHFFFAOYSA-N 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 3
- MAYZWDRUFKUGGP-VIFPVBQESA-N (3s)-1-[5-tert-butyl-3-[(1-methyltetrazol-5-yl)methyl]triazolo[4,5-d]pyrimidin-7-yl]pyrrolidin-3-ol Chemical compound CN1N=NN=C1CN1C2=NC(C(C)(C)C)=NC(N3C[C@@H](O)CC3)=C2N=N1 MAYZWDRUFKUGGP-VIFPVBQESA-N 0.000 description 2
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 2
- VJPPLCNBDLZIFG-ZDUSSCGKSA-N 4-[(3S)-3-(but-2-ynoylamino)piperidin-1-yl]-5-fluoro-2,3-dimethyl-1H-indole-7-carboxamide Chemical compound C(C#CC)(=O)N[C@@H]1CN(CCC1)C1=C2C(=C(NC2=C(C=C1F)C(=O)N)C)C VJPPLCNBDLZIFG-ZDUSSCGKSA-N 0.000 description 2
- XYWIPYBIIRTJMM-IBGZPJMESA-N 4-[[(2S)-2-[4-[5-chloro-2-[4-(trifluoromethyl)triazol-1-yl]phenyl]-5-methoxy-2-oxopyridin-1-yl]butanoyl]amino]-2-fluorobenzamide Chemical compound CC[C@H](N1C=C(OC)C(=CC1=O)C1=C(C=CC(Cl)=C1)N1C=C(N=N1)C(F)(F)F)C(=O)NC1=CC(F)=C(C=C1)C(N)=O XYWIPYBIIRTJMM-IBGZPJMESA-N 0.000 description 2
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- XIIOFHFUYBLOLW-UHFFFAOYSA-N selpercatinib Chemical compound OC(COC=1C=C(C=2N(C=1)N=CC=2C#N)C=1C=NC(=CC=1)N1CC2N(C(C1)C2)CC=1C=NC(=CC=1)OC)(C)C XIIOFHFUYBLOLW-UHFFFAOYSA-N 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UKGJZDSUJSPAJL-YPUOHESYSA-N (e)-n-[(1r)-1-[3,5-difluoro-4-(methanesulfonamido)phenyl]ethyl]-3-[2-propyl-6-(trifluoromethyl)pyridin-3-yl]prop-2-enamide Chemical compound CCCC1=NC(C(F)(F)F)=CC=C1\C=C\C(=O)N[C@H](C)C1=CC(F)=C(NS(C)(=O)=O)C(F)=C1 UKGJZDSUJSPAJL-YPUOHESYSA-N 0.000 description 1
- ZGYIXVSQHOKQRZ-COIATFDQSA-N (e)-n-[4-[3-chloro-4-(pyridin-2-ylmethoxy)anilino]-3-cyano-7-[(3s)-oxolan-3-yl]oxyquinolin-6-yl]-4-(dimethylamino)but-2-enamide Chemical compound N#CC1=CN=C2C=C(O[C@@H]3COCC3)C(NC(=O)/C=C/CN(C)C)=CC2=C1NC(C=C1Cl)=CC=C1OCC1=CC=CC=N1 ZGYIXVSQHOKQRZ-COIATFDQSA-N 0.000 description 1
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 1
- APWRZPQBPCAXFP-UHFFFAOYSA-N 1-(1-oxo-2H-isoquinolin-5-yl)-5-(trifluoromethyl)-N-[2-(trifluoromethyl)pyridin-4-yl]pyrazole-4-carboxamide Chemical compound O=C1NC=CC2=C(C=CC=C12)N1N=CC(=C1C(F)(F)F)C(=O)NC1=CC(=NC=C1)C(F)(F)F APWRZPQBPCAXFP-UHFFFAOYSA-N 0.000 description 1
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 1
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 1
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 1
- SRVXSISGYBMIHR-UHFFFAOYSA-N 3-[3-[3-(2-amino-2-oxoethyl)phenyl]-5-chlorophenyl]-3-(5-methyl-1,3-thiazol-2-yl)propanoic acid Chemical compound S1C(C)=CN=C1C(CC(O)=O)C1=CC(Cl)=CC(C=2C=C(CC(N)=O)C=CC=2)=C1 SRVXSISGYBMIHR-UHFFFAOYSA-N 0.000 description 1
- YFCIFWOJYYFDQP-PTWZRHHISA-N 4-[3-amino-6-[(1S,3S,4S)-3-fluoro-4-hydroxycyclohexyl]pyrazin-2-yl]-N-[(1S)-1-(3-bromo-5-fluorophenyl)-2-(methylamino)ethyl]-2-fluorobenzamide Chemical compound CNC[C@@H](NC(=O)c1ccc(cc1F)-c1nc(cnc1N)[C@H]1CC[C@H](O)[C@@H](F)C1)c1cc(F)cc(Br)c1 YFCIFWOJYYFDQP-PTWZRHHISA-N 0.000 description 1
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- IRPVABHDSJVBNZ-RTHVDDQRSA-N 5-[1-(cyclopropylmethyl)-5-[(1R,5S)-3-(oxetan-3-yl)-3-azabicyclo[3.1.0]hexan-6-yl]pyrazol-3-yl]-3-(trifluoromethyl)pyridin-2-amine Chemical compound C1=C(C(F)(F)F)C(N)=NC=C1C1=NN(CC2CC2)C(C2[C@@H]3CN(C[C@@H]32)C2COC2)=C1 IRPVABHDSJVBNZ-RTHVDDQRSA-N 0.000 description 1
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- ZRPZPNYZFSJUPA-UHFFFAOYSA-N ARS-1620 Chemical compound Oc1cccc(F)c1-c1c(Cl)cc2c(ncnc2c1F)N1CCN(CC1)C(=O)C=C ZRPZPNYZFSJUPA-UHFFFAOYSA-N 0.000 description 1
- GISRWBROCYNDME-PELMWDNLSA-N F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C Chemical compound F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C GISRWBROCYNDME-PELMWDNLSA-N 0.000 description 1
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 1
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- KJNFMGMNZKFGIE-UHFFFAOYSA-N n-(4-hydroxyphenyl)acetamide;5-(2-methylpropyl)-5-prop-2-enyl-1,3-diazinane-2,4,6-trione;1,3,7-trimethylpurine-2,6-dione Chemical compound CC(=O)NC1=CC=C(O)C=C1.CN1C(=O)N(C)C(=O)C2=C1N=CN2C.CC(C)CC1(CC=C)C(=O)NC(=O)NC1=O KJNFMGMNZKFGIE-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- LZMJNVRJMFMYQS-UHFFFAOYSA-N poseltinib Chemical compound C1CN(C)CCN1C(C=C1)=CC=C1NC1=NC(OC=2C=C(NC(=O)C=C)C=CC=2)=C(OC=C2)C2=N1 LZMJNVRJMFMYQS-UHFFFAOYSA-N 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229940116190 repan Drugs 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
Description
本出願は、2016年6月17日に出願された「近距離及び遠距離レンダリングを用いた距離パニングのためのシステム及び方法(Systems and Methods for Distance Panning using Near And Far Field Rendering)」という名称の米国仮特許出願第62/351,585号に関連するとともにこの仮特許出願に対する優先権を主張するものであり、この文献はその全体が引用により本明細書に組み入れられる。
添付図面に関連して以下に示す詳細な説明は、現在のところ好ましい本主題の実施形態の説明として意図するものであり、本主題を構築又は使用できる唯一の形態を表すように意図するものではない。この説明では、本主題を展開して動作させるための機能及びステップシーケンスを図示の実施形態に関連して示す。異なる実施形態によって同一又は同等の機能及びシーケンスを実現することもでき、これらの実施形態も本主題の趣旨及び範囲に含まれるように意図されていると理解されたい。さらに、(第1の、第2のなどの)関係語の使用については、あるエンティティを別のエンティティと区別するために使用しているにすぎず、このようなエンティティ間の実際のこのような関係又は順序を必ずしも必要とするものではないと理解されたい。
O1=δ11(α11H11+α12H12)+δ12(β11H21+β12H22) (1)
O2=δ21(α21H21+α22H22)+δ22(β21H31+β22H32) (2)
マルチチャネルミックスが複数の着信信号からの寄与としての音を取り込む場合、アンビソニックスは、単一地点からの音場内の全ての音の方向を表す固定信号セットを取り込む/符号化する方法である。換言すれば、同じアンビソニック信号を用いてあらゆる数のスピーカに音場を再レンダリングすることができる。マルチチャネルの例では、チャネルの組み合わせに由来する音源の再生に制限される。高さが存在しない場合、高度情報は送信されない。一方で、アンビソニックは、常に完全な方向画像を送信し、再生地点のみにおいて制限される。
W=S*1/√2、ここでのW=オムニ成分(omni component)であり、
X=S*cos(θ)*cos(φ)、ここでのX=図8の前向き(figure 8 pointed front)であり、
Y=S*sin(θ)*cos(φ)、ここでのY=図8の右向き(figure 8 pointed right)であり、
Z=S*sin(φ)、ここでのZ=図8の上向き(figure 8 pointed up)であり、
Sはパニングされる信号である。
漏れに対処して非均一レイアウトの性能を向上させることが望ましい。Harpex又はDirACなどのアクティブ復号ソリューションは、復号のために仮想マイクを形成しない。代わりに、これらは音場の方向を調査し、信号を再現し、この信号を識別した方向に時間周波数毎に明確にレンダリングする。これによって復号の指向性が大幅に向上するが、各時間周波数タイルが厳しい決定を必要とするため方向性が制限される。DirACの例では、時間周波数毎に単一の方向仮定が行われる。Harpexの例では、2つの方向波面(directional wavefronts)を検出することができる。いずれのシステムにおいても、デコーダは、方向性決定をどれほど柔軟又は厳密にすべきについての制御を行うことができる。本明細書では、このような制御を、ソフトフォーカス、インナーパニング(inner panning)、又は方向性の断定(assertion of directionality)を和らげる他の方法を可能にする有用なメタデータパラメータとすることができる「フォーカス」のパラメータと呼ぶ。
図14は、頭部追跡を含むアクティブデコーダの機能ブロック図である。上述したように、Bフォーマット信号で直接符号化された深度は考慮されない。復号時には、レンダラーが、この音場がスピーカの距離でレンダリングされた音場の一部である音源の方向を表すと仮定する。しかしながら、アクティブステアリングを使用することにより、形成された信号を特定の方向にレンダリングする能力はパナーの選択のみによって制限される。このことを、頭部追跡を含むアクティブデコーダを示す図14に機能的に示す。
デコーダが並進を含む頭部追跡をサポートして(アクティブ復号に起因する)適度に正確なレンダリングを有すると、音源までの深度を直接符号化することが望ましと思われる。換言すれば、コンテンツ制作中に深度インジケータの追加をサポートするように送信フォーマット及びパニング方程式を修正することが望ましいと思われる。この方法は、ミックスにおいてラウドネスなどの深度キュー及び残響変化を適用する典型的な方法とは異なり、ミックスにおいて音源の距離を回復させることにより、これを制作側ではなくむしろ最終的な再生能力のためにレンダリング可能にすることができる。本明細書では異なるトレードオフを有する3つの方法について説明するが、トレードオフは、許容できる計算コスト、複雑性及び後方互換性などの要件に応じて行うこともできる。
図15は、深度及び頭部追跡を含むアクティブデコーダの機能ブロック図である。最も簡単な方法は、それぞれが関連するメタデータ(又は想定される)深度を有する「N」個の独立したBフォーマットミックスの並行復号をサポートすることである。例えば、図15には、深度及び頭部追跡を含むアクティブデコーダを示す。この例では、近距離及び遠距離Bフォーマットが任意の「中間」チャネルと共に独立したミックスとしてレンダリングされている。実装の大部分は近距離高度チャネルをレンダリングすることができないので、近距離Zチャネルも任意である。高度情報は、脱落すると、遠距離/中間距離において、又は以下で近距離符号化について説明するフォークスプロキシミティ(偽近接)(「フロキシミティ」)法を用いて投影される。これらの結果は、様々な深度ミックス(近、遠、中など)が分離を維持するという点で上述した「距離パナー」/「近距離レンダラー」と同等のアンビソニックである。しかしながら、この例では、あらゆる復号構成について送信が合計8又は9チャネルしか存在せず、深度毎に完全に独立したフレキシブルな復号レイアウトが存在する。距離パナーの場合と同様に、このレイアウトは「N」ミックスに一般化されるが、ほとんどの場合に(遠距離に1つ及び近距離に1つの)2つを使用できることにより、遠距離よりもさらに遠い音源が距離減衰によって遠距離においてミキシングされ、近距離の内側の音源は、「フロキシミティ」スタイルの修正又は投影の有無にかかわらず、半径0における音源が方向を伴わずにレンダリングされるように近距離ミックスに配置される。
図16は、単一のステアリングチャネル「D」による深度及び頭部追跡を含む別のアクティブデコーダの機能ブロック図である。図16は、考えられる冗長信号セット(WXYZ近(WXYZnear))を1又は2以上の深度(又は距離)チャネル「D」に置き換えた代替方法である。これらの深度チャネルを使用して、各周波数の音源を距離レンダリングするためにデコーダが使用できるアンビソニックミックスの有効深度に関する時間周波数情報を符号化する。「D」チャネルは、一例として(頭部内の基点における)0の値として、正確に近距離における0.25の値として、完全に遠距離においてレンダリングされる音源では最大1の値として回復できる標準化距離として符号化を行う。この符号化は、OdBFSなどの絶対値基準を使用することによって、或いは「W」チャネルなどの他のチャネルのうちの1つ又は2つ以上に対する相対的な大きさ及び/又は位相によって行うことができる。遠距離を超えることによって生じるあらゆる実際の距離減衰は、レガシーソリューションと同様にミックスのBフォーマット部分によって処理される。
上記の方法では、アンビソニックBフォーマットを拡張する特定の例について説明した。本文書の残り部分では、さらに幅広い文脈における空間シーンコーディングへの拡張に焦点を当てるが、これは本主題の主要素を強調するのに役立つ。
最も完全なオーディオ表現は、(1又は2以上のオーディオバッファと、所望の結果を達成するためにこれらを正しい方法及び位置でレンダリングするのに必要なメタデータとをそれぞれが含む)独立したオブジェクトを維持することによって実現される。これには大量のオーディオ信号が必要であり、動的音源管理が必要になる可能性もあるため大きな問題となり得る。
本明細書で上述した距離レンダリング技術は、両耳レンダリングにおける深度/近接度の知覚を達成する。この技術は、距離パニングを使用して2又は3以上の基準距離にわたって音源を分散させる。例えば、目標深度を達成するために、遠距離及び近距離HRTFの重み付けバランスをレンダリングする。このような距離パナーを用いて様々な深度でサブミックスを形成することは、深度情報の符号化/送信においても有用となり得る。基本的に、これらのサブミックスは全て同じ方向性のシーン符号化を表すが、サブミックスの組み合わせは、その相対的エネルギー分布を通じて深度情報を明らかにする。このような分布は、(1)(「近」及び「遠」などの関連性について均等に分散又はグループ化された)深度の直接量子化、又は(2)例えば何らかの信号を遠距離ミックスの残り部分よりも近いと理解するような、何らかの基準距離よりも近い又は遠い相対的ステアリング、のいずれかとすることができる。
図19に、アクティブ3Dオーディオ復号及びレンダリングの一般化アーキテクチャを示す。以下の技術は、容認できるエンコーダの複雑性又はその他の要件に応じて利用可能である。後述する全てのソリューションは、上述したような周波数依存アクティブ復号から恩恵を受けると想定される。これらのソリューションは、深度情報を符号化する新規方法に大きな重点を置いており、この階層を使用する動機がオーディオオブジェクト以外のものである場合には、古典的ないずれかのオーディオフォーマットによって深度が直接符号化されないことも分かる。1つの例では、深度が、再導入を必要とする欠落した次元(missing dimension)である。図19は、後述するソリューションに使用されるアクティブ3Dオーディオ復号及びレンダリングの一般化したアーキテクチャのブロック図である。信号経路は、明確にするために単一の矢印で示しているが、これらはあらゆる数のチャネル又はバイノーラル/トランスオーラル信号ペアを表すと理解されたい。
深度チャネルコーディング又は「D」チャネルの概念は、所与のサブミックスの各時間周波数ビンの一次深度/距離が各ビンの大きさ及び/又は位相によってオーディオ信号に符号化されるものである。例えば、最大/基準距離に対する音源距離は、−inf dBが距離のない音源であり、完全なスケールが基準/最大距離の音源であるように、OdBFSに対するピン当たりの大きさによって符号化される。基準距離又は最大距離を超えると、音源は、レベルの低減、又はレガシーミキシングフォーマットでは既に可能であった距離についての他のミックスレベル指示のみによって変化するように考えられると想定される。換言すれば、最大/基準距離は、上記で遠距離と呼ぶ深度コーディングを伴わずに一般に音源がレンダリングされる従来の距離である。
提案するアンビソニックソリューションのさらに詳細な説明については、上記の「深度コーディングを伴うアンビソニック」の節を参照されたい。このような方法は、Bフォーマット+深度を送信するための5チャネルミックスW、X、Y、Z及びDの最小値をもたらす。X、Y、Z指向性チャネルに対するW(全方向性チャネル)のエネルギー比率によって既存のBフォーマットに深度符号化を組み込まなければならないフォークスプロキシミティ又は「フロキシミティ」法についても説明する。この方法では、4つのチャネルしか送信することができないと同時に、他の4チャネル符号化スキームによって最良に対処できる他の欠点もある。
マトリクスシステムは、Dチャネルを使用して、既に送信されたものに深度情報を追加することができる。1つの例では、単一のステレオペアが、各サブバンドにおける音源への配向角及び仰角方向(azimuth and elevation headings)を表現するように符号化された利得−位相である。従って、完全な3D情報を送信するには3チャネル(MatrixL、MatrixR、D)で十分であり、MatrixL、MatrixRは、後方互換性のあるステレオダウンミックスを提供する。
深度ベースのサブミキシングでは、遠(通常はレンダリング距離)及び近(近接性)などの異なるキー深度において2又は3以上のミックスが形成される。完全な記述は、深度ゼロ又は「中央」チャネル及び遠(最大距離チャネル)によって行うことができ、より多くの深度が送信されるほど、最終的なレンダラーは正確/柔軟なものになり得る。換言すれば、サブミックスの数は、各個々の音源の深度に対する量子化として機能する。量子化深度において正確に降下する音源は最も高い精度で直接符号化され、従ってサブミックスが関連するレンダラーの深度に対応する上でも有利である。例えば、バイノーラルシステムでは、近距離ミックス深度が近距離HRTFの深度に対応すべきであり、遠距離が本発明者らの遠距離HRTFに対応すべきである。この深度コーディングに勝る方法の主な利点は、ミキシングが付加的であり、他の音源についての高度な又は以前の知識を必要としない点である。このことは、ある意味で「完全な」3Dミックスの送信である。
アンビソニックシーンの例では、最小の3D表現が、4チャネルBフォーマット(W、X、Y、Z)+中央チャネルで構成される。通常、4チャネルのさらなるBフォーマットミックスでは、それぞれにさらなる深度が提示される。完全な遠−近−中の符号化には9チャネルが必要である。しかしながら、近距離は高度を伴わずにレンダリングされることが多いので、近距離を水平のみに単純化することも可能である。この時、比較的効果的な構成は8チャネル(W、X、Y、Z遠距離、W、X、Y近距離、中央)で達成することができる。この例では、近距離にパンされる音源が、遠距離及び/又は中央チャネルの組み合わせに投影される高度を有する。これは、所与の距離における音源仰角が増加した時にサイン/コサインフェード(又は同様に単純な方法)を用いて達成することができる。
同様の拡張により、複数のマトリクス又は利得/位相符号化ステレオペアを使用することができる。例えば、MatrixFarL、MatrixFarR、MatrixNearL、MatrixNearR、Middle、LFEの5.1送信は、完全な3D音場に必要な全ての情報を提供することができる。マトリクスペアが高度を完全に符号化できない場合(例えば、本発明者らがDTSニューラルとの後方互換性を望む場合)には、追加のMatrixFarHeightペアを使用することができる。Dチャネルコーディングで考察したものと同様に、高度ステアリングチャネルを使用するハイブリッドシステムを追加することもできる。しかしながら、7チャネルミックスでは、上記のアンビソニック法が好ましいと予想される。
上述した(「D」チャネルコーディングなどの)方法は、オーディオコーデックの他方側においてデータが正確に回復されることを保証するさらに容易な方法としてメタデータによって支援することができる。しかしながら、このような方法は、もはやレガシーオーディオコーデックとの互換性がない。
上記で別個に考察したように、各深度又はサブミックスの最適な符号化は適用要件に応じて異なることができると十分に理解される。上述したように、アンビソニックステアリングを含むマトリクス符号化のハイブリッドを使用してマトリクス符号化信号に高度情報を追加することができる。同様に、深度ベースのサブミックスシステムにおけるサブミックスのうちの1つ、いずれか又は全てにDチャネルコーディング又はメタデータを使用することもできる。
Claims (15)
- 近距離バイノーラルレンダリング方法であって、
音源とオーディオオブジェクト位置とを含むオーディオオブジェクトを受け取るステップと、
前記オーディオオブジェクト位置と、リスナー位置及びリスナー配向を示す位置メタデータとに基づいて、半径方向重みセットを決定するステップと、
前記オーディオオブジェクト位置と、前記リスナー位置と、前記リスナー配向とに基づいて、音源方向を決定するステップと、
近距離HRTFオーディオ境界半径及び遠距離HRTFオーディオ境界半径の少なくとも一方を含む少なくとも1つのHRTF半径境界の前記音源方向に基づいて頭部伝達関数(HRTF)重みセットを決定するステップと、
前記半径方向重みセット及び前記HRTF重みセットに基づいて、オーディオオブジェクト方向とオーディオオブジェクト距離とを含む3Dバイノーラルオーディオオブジェクト出力を生成するステップと、
前記3Dバイノーラルオーディオオブジェクト出力に基づいてバイノーラルオーディオ出力信号を変換するステップと、
を含むことを特徴とする方法。 - ヘッドトラッカー及びユーザ入力の少なくとも一方から前記位置メタデータを受け取るステップをさらに含む、
請求項1に記載の方法。 - 前記HRTF重みセットを決定するステップは、前記オーディオオブジェクト位置が前記遠距離HRTFオーディオ境界半径を超えていると判断するステップを含み、
前記HRTF重みセットを決定するステップは、レベルロールオフ及び直接残響比率の少なくとも一方にさらに基づく、
請求項1に記載の方法。 - 前記HRTF半径境界は、前記近距離HRTFオーディオ境界半径と前記遠距離HRTFオーディオ境界半径との間の間隙半径を定義するHRTFオーディオ境界有意性半径を含む、
請求項1に記載の方法。 - 前記オーディオオブジェクト半径を前記近距離HRTFオーディオ境界半径及び前記遠距離HRTFオーディオ境界半径と比較するステップをさらに含み、前記HRTF重みセットを決定するステップは、前記オーディオオブジェクト半径比較に基づいて近距離HRTF重みと遠距離HRTF重みとの組み合わせを決定するステップを含む、
請求項4に記載の方法。 - 両耳間時間遅延(ITD)を決定するステップをさらに含み、3Dバイノーラルオーディオオブジェクト出力を生成するステップは、前記決定されたITD及び前記少なくとも1つのHRTF半径境界にさらに基づく、
請求項1に記載の方法。 - 近距離バイノーラルレンダリングシステムであって、
プロセッサと、
トランスデューサと、
を備え、前記プロセッサは、
音源とオーディオオブジェクト位置とを含むオーディオオブジェクトを受け取り、
前記オーディオオブジェクト位置と、リスナー位置及びリスナー配向を示す位置メタデータとに基づいて、半径方向重みセットを決定し、
前記オーディオオブジェクト位置と、前記リスナー位置と、前記リスナー配向とに基づいて、音源方向を決定し、
近距離HRTFオーディオ境界半径及び遠距離HRTFオーディオ境界半径の少なくとも一方を含む少なくとも1つのHRTF半径境界の前記音源方向に基づいて頭部伝達関数(HRTF)重みセットを決定し、
前記半径方向重みセット及び前記HRTF重みセットに基づいて、オーディオオブジェクト方向とオーディオオブジェクト距離とを含む3Dバイノーラルオーディオオブジェクト出力を生成する、
ように構成され、前記トランスデューサは、
前記3Dバイノーラルオーディオオブジェクト出力に基づいてバイノーラルオーディオ出力信号を可聴バイノーラル出力に変換する、
ことを特徴とするシステム。 - 前記プロセッサは、ヘッドトラッカー及びユーザ入力の少なくとも一方から前記位置メタデータを受け取るようにさらに構成される、
請求項7に記載のシステム。 - 前記HRTF重みセットを決定することは、前記オーディオオブジェクト位置が前記遠距離HRTFオーディオ境界半径を超えていると判断することを含み、
前記HRTF重みセットを決定することは、レベルロールオフ及び直接残響比率の少なくとも一方にさらに基づく、
請求項7に記載のシステム。 - 前記HRTF半径境界は、前記近距離HRTFオーディオ境界半径と前記遠距離HRTFオーディオ境界半径との間の間隙半径を定義するHRTFオーディオ境界有意性半径を含む、
請求項7に記載のシステム。 - 前記プロセッサは、前記オーディオオブジェクト半径を前記近距離HRTFオーディオ境界半径及び前記遠距離HRTFオーディオ境界半径と比較するようにさらに構成され、前記HRTF重みセットを決定することは、前記オーディオオブジェクト半径比較に基づいて近距離HRTF重みと遠距離HRTF重みとの組み合わせを決定することを含む、
請求項10に記載のシステム。 - 前記プロセッサは、両耳間時間遅延(ITD)を決定するようにさらに構成され、3Dバイノーラルオーディオオブジェクト出力を生成することは、前記決定されたITD及び前記少なくとも1つのHRTF半径境界にさらに基づく、
請求項7に記載のシステム。 - 複数の命令を含む少なくとも1つの機械可読記憶媒体であって、前記複数の命令は、コンピュータ制御された近距離バイノーラルレンダリング装置のプロセッサ回路によって実行されたことに応答して、前記装置に、
音源とオーディオオブジェクト位置とを含むオーディオオブジェクトを受け取るステップと、
前記オーディオオブジェクト位置と、リスナー位置及びリスナー配向を示す位置メタデータとに基づいて、半径方向重みセットを決定するステップと、
前記オーディオオブジェクト位置と、前記リスナー位置と、前記リスナー配向とに基づいて、音源方向を決定するステップと、
近距離HRTFオーディオ境界半径及び遠距離HRTFオーディオ境界半径の少なくとも一方を含む少なくとも1つのHRTF半径境界の前記音源方向に基づいて頭部伝達関数(HRTF)重みセットを決定するステップと、
前記半径方向重みセット及び前記HRTF重みセットに基づいて、オーディオオブジェクト方向とオーディオオブジェクト距離とを含む3Dバイノーラルオーディオオブジェクト出力を生成するステップと、
前記3Dバイノーラルオーディオオブジェクト出力に基づいてバイノーラルオーディオ出力信号を変換するステップと、
を実行させる、ことを特徴とする機械可読記憶媒体。 - 前記HRTF半径境界は、前記近距離HRTFオーディオ境界半径と前記遠距離HRTFオーディオ境界半径との間の間隙半径を定義するHRTFオーディオ境界有意性半径を含む、
請求項13に記載の機械可読記憶媒体。 - 前記命令は、前記装置に、前記オーディオオブジェクト半径を前記近距離HRTFオーディオ境界半径及び前記遠距離HRTFオーディオ境界半径と比較するステップをさらに実行させ、前記HRTF重みセットを決定するステップは、前記オーディオオブジェクト半径比較に基づいて近距離HRTF重みと遠距離HRTF重みとの組み合わせを決定するステップを含む、
請求項14に記載の機械可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662351585P | 2016-06-17 | 2016-06-17 | |
US62/351,585 | 2016-06-17 | ||
PCT/US2017/038001 WO2017218973A1 (en) | 2016-06-17 | 2017-06-16 | Distance panning using near / far-field rendering |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019523913A true JP2019523913A (ja) | 2019-08-29 |
JP7039494B2 JP7039494B2 (ja) | 2022-03-22 |
Family
ID=60660549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018566233A Active JP7039494B2 (ja) | 2016-06-17 | 2017-06-16 | 近/遠距離レンダリングを用いた距離パニング |
Country Status (7)
Country | Link |
---|---|
US (4) | US10200806B2 (ja) |
EP (1) | EP3472832A4 (ja) |
JP (1) | JP7039494B2 (ja) |
KR (1) | KR102483042B1 (ja) |
CN (1) | CN109891502B (ja) |
TW (1) | TWI744341B (ja) |
WO (1) | WO2017218973A1 (ja) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9961467B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US10249312B2 (en) | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
US9961475B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
WO2017126895A1 (ko) * | 2016-01-19 | 2017-07-27 | 지오디오랩 인코포레이티드 | 오디오 신호 처리 장치 및 처리 방법 |
JP7039494B2 (ja) | 2016-06-17 | 2022-03-22 | ディーティーエス・インコーポレイテッド | 近/遠距離レンダリングを用いた距離パニング |
GB2554447A (en) * | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Gain control in spatial audio systems |
US9980078B2 (en) | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
US10701506B2 (en) | 2016-11-13 | 2020-06-30 | EmbodyVR, Inc. | Personalized head related transfer function (HRTF) based on video capture |
US9992603B1 (en) | 2016-11-13 | 2018-06-05 | EmbodyVR, Inc. | Method, system and apparatus for measuring head size using a magnetic sensor mounted on a personal audio delivery device |
JP2018101452A (ja) * | 2016-12-20 | 2018-06-28 | カシオ計算機株式会社 | 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 |
US11096004B2 (en) * | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
US10861467B2 (en) * | 2017-03-01 | 2020-12-08 | Dolby Laboratories Licensing Corporation | Audio processing in adaptive intermediate spatial format |
US10531219B2 (en) * | 2017-03-20 | 2020-01-07 | Nokia Technologies Oy | Smooth rendering of overlapping audio-object interactions |
US11074036B2 (en) | 2017-05-05 | 2021-07-27 | Nokia Technologies Oy | Metadata-free audio-object interactions |
US10165386B2 (en) | 2017-05-16 | 2018-12-25 | Nokia Technologies Oy | VR audio superzoom |
US10219095B2 (en) * | 2017-05-24 | 2019-02-26 | Glen A. Norris | User experience localizing binaural sound during a telephone call |
GB201710085D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Determination of targeted spatial audio parameters and associated spatial audio playback |
GB201710093D0 (en) * | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
WO2019004524A1 (ko) * | 2017-06-27 | 2019-01-03 | 엘지전자 주식회사 | 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치 |
WO2019055572A1 (en) * | 2017-09-12 | 2019-03-21 | The Regents Of The University Of California | DEVICES AND METHODS FOR BINAURAL SPATIAL PROCESSING AND AUDIO SIGNAL PROJECTION |
US11395087B2 (en) | 2017-09-29 | 2022-07-19 | Nokia Technologies Oy | Level-based audio-object interactions |
US10531222B2 (en) * | 2017-10-18 | 2020-01-07 | Dolby Laboratories Licensing Corporation | Active acoustics control for near- and far-field sounds |
US11004457B2 (en) * | 2017-10-18 | 2021-05-11 | Htc Corporation | Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof |
CN111434126B (zh) * | 2017-12-12 | 2022-04-26 | 索尼公司 | 信号处理装置和方法以及程序 |
WO2019121773A1 (en) * | 2017-12-18 | 2019-06-27 | Dolby International Ab | Method and system for handling local transitions between listening positions in a virtual reality environment |
US10652686B2 (en) | 2018-02-06 | 2020-05-12 | Sony Interactive Entertainment Inc. | Method of improving localization of surround sound |
US10523171B2 (en) | 2018-02-06 | 2019-12-31 | Sony Interactive Entertainment Inc. | Method for dynamic sound equalization |
KR102527336B1 (ko) * | 2018-03-16 | 2023-05-03 | 한국전자통신연구원 | 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치 |
US10542368B2 (en) | 2018-03-27 | 2020-01-21 | Nokia Technologies Oy | Audio content modification for playback audio |
CN112262585B (zh) * | 2018-04-08 | 2022-05-13 | Dts公司 | 环境立体声深度提取 |
GB2572761A (en) * | 2018-04-09 | 2019-10-16 | Nokia Technologies Oy | Quantization of spatial audio parameters |
CN113993060A (zh) | 2018-04-09 | 2022-01-28 | 杜比国际公司 | 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统 |
US10848894B2 (en) * | 2018-04-09 | 2020-11-24 | Nokia Technologies Oy | Controlling audio in multi-viewpoint omnidirectional content |
US11375332B2 (en) | 2018-04-09 | 2022-06-28 | Dolby International Ab | Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio |
JP7102024B2 (ja) | 2018-04-10 | 2022-07-19 | ガウディオ・ラボ・インコーポレイテッド | メタデータを利用するオーディオ信号処理装置 |
EP3776543B1 (en) * | 2018-04-11 | 2022-08-31 | Dolby International AB | 6dof audio rendering |
CN115334444A (zh) | 2018-04-11 | 2022-11-11 | 杜比国际公司 | 用于音频渲染的预渲染信号的方法、设备和系统 |
US20210176582A1 (en) * | 2018-04-12 | 2021-06-10 | Sony Corporation | Information processing apparatus and method, and program |
GB201808897D0 (en) | 2018-05-31 | 2018-07-18 | Nokia Technologies Oy | Spatial audio parameters |
EP3595336A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus and method of operation therefor |
WO2020014506A1 (en) * | 2018-07-12 | 2020-01-16 | Sony Interactive Entertainment Inc. | Method for acoustically rendering the size of a sound source |
GB2575509A (en) * | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial audio capture, transmission and reproduction |
US11205435B2 (en) | 2018-08-17 | 2021-12-21 | Dts, Inc. | Spatial audio signal encoder |
WO2020037280A1 (en) | 2018-08-17 | 2020-02-20 | Dts, Inc. | Spatial audio signal decoder |
CN113115175B (zh) * | 2018-09-25 | 2022-05-10 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
US11798569B2 (en) | 2018-10-02 | 2023-10-24 | Qualcomm Incorporated | Flexible rendering of audio data |
US10739726B2 (en) * | 2018-10-03 | 2020-08-11 | International Business Machines Corporation | Audio management for holographic objects |
CN113170273B (zh) | 2018-10-05 | 2023-03-28 | 奇跃公司 | 用于双耳音频渲染的耳间时间差交叉渐变器 |
US10966041B2 (en) * | 2018-10-12 | 2021-03-30 | Gilberto Torres Ayala | Audio triangular system based on the structure of the stereophonic panning |
US11425521B2 (en) | 2018-10-18 | 2022-08-23 | Dts, Inc. | Compensating for binaural loudspeaker directivity |
WO2020086357A1 (en) | 2018-10-24 | 2020-04-30 | Otto Engineering, Inc. | Directional awareness audio communications system |
WO2020107201A1 (zh) * | 2018-11-27 | 2020-06-04 | 深圳市欢太科技有限公司 | 立体声播放方法、装置、存储介质及电子设备 |
US11304021B2 (en) * | 2018-11-29 | 2022-04-12 | Sony Interactive Entertainment Inc. | Deferred audio rendering |
CN117953905A (zh) | 2018-12-07 | 2024-04-30 | 弗劳恩霍夫应用研究促进协会 | 从包括至少一个声道的信号产生声场描述的装置、方法 |
KR20240005112A (ko) | 2018-12-19 | 2024-01-11 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 공간 확장 음원을 재생하는 장치 및 방법 또는 공간 확장 음원으로부터 비트 스트림을 생성하는 장치 및 방법 |
CN114531640A (zh) | 2018-12-29 | 2022-05-24 | 华为技术有限公司 | 一种音频信号处理方法及装置 |
WO2020148650A1 (en) * | 2019-01-14 | 2020-07-23 | Zylia Spolka Z Ograniczona Odpowiedzialnoscia | Method, system and computer program product for recording and interpolation of ambisonic sound fields |
US11399252B2 (en) | 2019-01-21 | 2022-07-26 | Outer Echo Inc. | Method and system for virtual acoustic rendering by time-varying recursive filter structures |
US10462598B1 (en) * | 2019-02-22 | 2019-10-29 | Sony Interactive Entertainment Inc. | Transfer function generation system and method |
GB2581785B (en) * | 2019-02-22 | 2023-08-02 | Sony Interactive Entertainment Inc | Transfer function dataset generation system and method |
US20200304933A1 (en) * | 2019-03-19 | 2020-09-24 | Htc Corporation | Sound processing system of ambisonic format and sound processing method of ambisonic format |
US10924875B2 (en) | 2019-05-24 | 2021-02-16 | Zack Settel | Augmented reality platform for navigable, immersive audio experience |
CN113950845B (zh) * | 2019-05-31 | 2023-08-04 | Dts公司 | 凹式音频渲染 |
WO2020243535A1 (en) * | 2019-05-31 | 2020-12-03 | Dts, Inc. | Omni-directional encoding and decoding for ambisonics |
US11399253B2 (en) | 2019-06-06 | 2022-07-26 | Insoundz Ltd. | System and methods for vocal interaction preservation upon teleportation |
KR20220023348A (ko) * | 2019-06-21 | 2022-03-02 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
CA3145444A1 (en) | 2019-07-02 | 2021-01-07 | Dolby International Ab | Methods, apparatus and systems for representation, encoding, and decoding of discrete directivity data |
US11140503B2 (en) * | 2019-07-03 | 2021-10-05 | Qualcomm Incorporated | Timer-based access for audio streaming and rendering |
JP7362320B2 (ja) * | 2019-07-04 | 2023-10-17 | フォルシアクラリオン・エレクトロニクス株式会社 | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
US11962991B2 (en) | 2019-07-08 | 2024-04-16 | Dts, Inc. | Non-coincident audio-visual capture system |
US11622219B2 (en) | 2019-07-24 | 2023-04-04 | Nokia Technologies Oy | Apparatus, a method and a computer program for delivering audio scene entities |
WO2021018378A1 (en) * | 2019-07-29 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain |
US11140509B2 (en) * | 2019-08-27 | 2021-10-05 | Daniel P. Anagnos | Head-tracking methodology for headphones and headsets |
JP2022548400A (ja) * | 2019-09-23 | 2022-11-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイブリッド式近距離/遠距離場スピーカー仮想化 |
US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
KR20220079931A (ko) | 2019-10-10 | 2022-06-14 | 디티에스, 인코포레이티드 | 심도를 이용한 공간 오디오 캡처 |
GB201918010D0 (en) * | 2019-12-09 | 2020-01-22 | Univ York | Acoustic measurements |
MX2022011151A (es) * | 2020-03-13 | 2022-11-14 | Fraunhofer Ges Forschung | Aparato y metodo para renderizar una escena de sonido usando rutas de difraccion intermedias validas. |
KR102500157B1 (ko) * | 2020-07-09 | 2023-02-15 | 한국전자통신연구원 | 오디오 신호의 바이노럴 렌더링 방법 및 장치 |
CN114067810A (zh) * | 2020-07-31 | 2022-02-18 | 华为技术有限公司 | 音频信号渲染方法和装置 |
EP3985482A1 (en) * | 2020-10-13 | 2022-04-20 | Koninklijke Philips N.V. | Audiovisual rendering apparatus and method of operation therefor |
CN113490136B (zh) * | 2020-12-08 | 2023-01-10 | 广州博冠信息科技有限公司 | 声音信息处理方法及装置、计算机存储介质、电子设备 |
US11778408B2 (en) | 2021-01-26 | 2023-10-03 | EmbodyVR, Inc. | System and method to virtually mix and audition audio content for vehicles |
CN113903325B (zh) * | 2021-05-31 | 2022-10-18 | 北京荣耀终端有限公司 | 文本转3d音频的方法及装置 |
US11741093B1 (en) | 2021-07-21 | 2023-08-29 | T-Mobile Usa, Inc. | Intermediate communication layer to translate a request between a user of a database and the database |
US11924711B1 (en) | 2021-08-20 | 2024-03-05 | T-Mobile Usa, Inc. | Self-mapping listeners for location tracking in wireless personal area networks |
WO2023039096A1 (en) * | 2021-09-09 | 2023-03-16 | Dolby Laboratories Licensing Corporation | Systems and methods for headphone rendering mode-preserving spatial coding |
KR102601194B1 (ko) | 2021-09-29 | 2023-11-13 | 한국전자통신연구원 | 오디오 신호의 저복잡도 피치 시프팅 장치 및 그 방법 |
WO2024008410A1 (en) * | 2022-07-06 | 2024-01-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Handling of medium absorption in audio rendering |
GB2621403A (en) * | 2022-08-12 | 2024-02-14 | Sony Group Corp | Data processing apparatuses and methods |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005868A (ja) * | 2004-06-21 | 2006-01-05 | Denso Corp | 車両用報知音出力装置及びプログラム |
WO2009046223A2 (en) * | 2007-10-03 | 2009-04-09 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
WO2016089180A1 (ko) * | 2014-12-04 | 2016-06-09 | 가우디오디오랩 주식회사 | 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956674A (en) | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
AUPO316096A0 (en) * | 1996-10-23 | 1996-11-14 | Lake Dsp Pty Limited | Head tracking with limited angle output |
US20030227476A1 (en) * | 2001-01-29 | 2003-12-11 | Lawrence Wilcock | Distinguishing real-world sounds from audio user interface sounds |
US7492915B2 (en) | 2004-02-13 | 2009-02-17 | Texas Instruments Incorporated | Dynamic sound source and listener position based audio rendering |
US8379868B2 (en) | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US8374365B2 (en) | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
US8712061B2 (en) * | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
CN101960866B (zh) * | 2007-03-01 | 2013-09-25 | 杰里·马哈布比 | 音频空间化及环境模拟 |
US20110157322A1 (en) | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
EP2564601A2 (en) | 2010-04-26 | 2013-03-06 | Cambridge Mechatronics Limited | Loudspeakers with position tracking of a listener |
US9354310B2 (en) * | 2011-03-03 | 2016-05-31 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound |
EP3893521B1 (en) | 2011-07-01 | 2024-06-19 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
CN102572676B (zh) | 2012-01-16 | 2016-04-13 | 华南理工大学 | 一种虚拟听觉环境实时绘制方法 |
US9183844B2 (en) * | 2012-05-22 | 2015-11-10 | Harris Corporation | Near-field noise cancellation |
US9332373B2 (en) | 2012-05-31 | 2016-05-03 | Dts, Inc. | Audio depth dynamic range enhancement |
ES2606678T3 (es) * | 2012-08-31 | 2017-03-27 | Dolby Laboratories Licensing Corporation | Presentación de sonido reflejado para audio con base de objeto |
DE102013105375A1 (de) * | 2013-05-24 | 2014-11-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals |
WO2014189550A1 (en) | 2013-05-24 | 2014-11-27 | University Of Maryland | Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions |
US9420393B2 (en) * | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
EP2842529A1 (en) | 2013-08-30 | 2015-03-04 | GN Store Nord A/S | Audio rendering system categorising geospatial objects |
CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
KR101627652B1 (ko) | 2015-01-30 | 2016-06-07 | 가우디오디오랩 주식회사 | 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 |
US9712936B2 (en) * | 2015-02-03 | 2017-07-18 | Qualcomm Incorporated | Coding higher-order ambisonic audio data with motion stabilization |
US10979843B2 (en) | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
US9584653B1 (en) * | 2016-04-10 | 2017-02-28 | Philip Scott Lyren | Smartphone with user interface to externally localize telephone calls |
US9584946B1 (en) * | 2016-06-10 | 2017-02-28 | Philip Scott Lyren | Audio diarization system that segments audio input |
JP7039494B2 (ja) | 2016-06-17 | 2022-03-22 | ディーティーエス・インコーポレイテッド | 近/遠距離レンダリングを用いた距離パニング |
CN112262585B (zh) | 2018-04-08 | 2022-05-13 | Dts公司 | 环境立体声深度提取 |
-
2017
- 2017-06-16 JP JP2018566233A patent/JP7039494B2/ja active Active
- 2017-06-16 WO PCT/US2017/038001 patent/WO2017218973A1/en unknown
- 2017-06-16 EP EP17814222.0A patent/EP3472832A4/en not_active Ceased
- 2017-06-16 US US15/625,913 patent/US10200806B2/en active Active
- 2017-06-16 CN CN201780050265.4A patent/CN109891502B/zh active Active
- 2017-06-16 US US15/625,927 patent/US9973874B2/en active Active
- 2017-06-16 KR KR1020197001372A patent/KR102483042B1/ko active IP Right Grant
- 2017-06-16 US US15/625,937 patent/US10231073B2/en active Active
- 2017-06-16 TW TW106120265A patent/TWI744341B/zh active
-
2018
- 2018-12-28 US US16/235,854 patent/US10820134B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005868A (ja) * | 2004-06-21 | 2006-01-05 | Denso Corp | 車両用報知音出力装置及びプログラム |
WO2009046223A2 (en) * | 2007-10-03 | 2009-04-09 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
WO2016089180A1 (ko) * | 2014-12-04 | 2016-06-09 | 가우디오디오랩 주식회사 | 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP3472832A4 (en) | 2020-03-11 |
EP3472832A1 (en) | 2019-04-24 |
TWI744341B (zh) | 2021-11-01 |
KR20190028706A (ko) | 2019-03-19 |
US9973874B2 (en) | 2018-05-15 |
US10820134B2 (en) | 2020-10-27 |
US20170366914A1 (en) | 2017-12-21 |
WO2017218973A1 (en) | 2017-12-21 |
US20170366912A1 (en) | 2017-12-21 |
US20170366913A1 (en) | 2017-12-21 |
US10200806B2 (en) | 2019-02-05 |
JP7039494B2 (ja) | 2022-03-22 |
CN109891502B (zh) | 2023-07-25 |
KR102483042B1 (ko) | 2022-12-29 |
TW201810249A (zh) | 2018-03-16 |
US10231073B2 (en) | 2019-03-12 |
CN109891502A (zh) | 2019-06-14 |
US20190215638A1 (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7039494B2 (ja) | 近/遠距離レンダリングを用いた距離パニング | |
CN112262585B (zh) | 环境立体声深度提取 | |
JP6612753B2 (ja) | 高チャンネル数マルチチャンネルオーディオのためのマルチプレットベースのマトリックスミキシング | |
KR102516625B1 (ko) | 몰입형 오디오를 캡처하고, 인코딩하고, 분산하고, 디코딩하기 위한 시스템 및 방법 | |
US8374365B2 (en) | Spatial audio analysis and synthesis for binaural reproduction and format conversion | |
US9530421B2 (en) | Encoding and reproduction of three dimensional audio soundtracks | |
JP4944902B2 (ja) | バイノーラルオーディオ信号の復号制御 | |
WO2017182714A1 (en) | Merging audio signals with spatial metadata | |
JP2012514358A (ja) | 三次元音場の符号化および最適な再現の方法および装置 | |
EP3808106A1 (en) | Spatial audio capture, transmission and reproduction | |
MX2008010631A (es) | Codificacion y decodificacion de audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210401 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210701 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7039494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |