CN102595153A - 可动态地提供三维音效的显示系统及相关方法 - Google Patents

可动态地提供三维音效的显示系统及相关方法 Download PDF

Info

Publication number
CN102595153A
CN102595153A CN2011100215813A CN201110021581A CN102595153A CN 102595153 A CN102595153 A CN 102595153A CN 2011100215813 A CN2011100215813 A CN 2011100215813A CN 201110021581 A CN201110021581 A CN 201110021581A CN 102595153 A CN102595153 A CN 102595153A
Authority
CN
China
Prior art keywords
dimensional
audio
audio signal
display system
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100215813A
Other languages
English (en)
Inventor
刘宣庆
刘恕民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Himax Media Solutions Inc
Original Assignee
Himax Media Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Media Solutions Inc filed Critical Himax Media Solutions Inc
Priority to CN2011100215813A priority Critical patent/CN102595153A/zh
Publication of CN102595153A publication Critical patent/CN102595153A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

显示系统包含图像处理器、音频处理器、屏幕，以及音效产生装置。图像处理器可将二维图像信号转换为三维图像信号，并依据三维图像信号的三维图像内容求出三维运算量指数。依据三维定位运算法和三维运算量指数，音频处理器可将二维音频信号转换为三维音频信号。接着再依据三维图像信号来在屏幕上显示图像，而音效产生装置可同时依据三维音频信号来动态地提供三维音效。

Description

可动态地提供三维音效的显示系统及相关方法
技术领域
本发明涉及一种可提供三维音效的显示系统及相关方法，尤指一种可动态地提供三维音效的显示系统及相关方法。
背景技术
显示系统在播放图像时，可利用单声道(mono sound)、立体声(stereophonic sound)或环绕音效(surround sound)来提供音效。单声道是以单一通道来重现声音，通常只用一个麦克风和一个扬声器，或是将多重声音信号从同样路径送入信号。立体声通常使用两个独立通道来重现声音，通常利用一对以对称方式配置的扬声器来仿真「屏幕声道」(中央、左前方、右前方)发出的声音。环绕音效通常使用多个独立通道来重现声音，通常利用四组或更多的扬声器来依据观看者的位置来提升音效质量，亦即提供「环绕声道」(左环绕、右环绕、背环绕)来模拟自然环境下的听觉感受。
三维(three-dimensional，3D)显示技术提供了较传统二维(two-dimensional，2D)显示技术更为栩栩如生的视觉经验。在三维显示系统播放三维图像的过程中，通常会使用一对扬声器或耳机在观看者附近的特定位置提供三维音效。三维音效又称做虚拟音效，其使用两个独立通道来仿真出现在自然环境中不同位置的声音源，因此成本低于多重信道的环绕音效。为了模拟在自然环境中人类听觉感受，需要使用一种仿真心理学听觉特征(psycho-acoustic cue)的三维定位运算法来将原始二维音频信号转换为相对应的三维音频信号。
图1为现有技术中显示系统100的功能框图。显示系统100为一种二维/三维兼用系统，其包含二维/三维图像处理器110、二维/三维音频处理器120、屏幕130、音效产生装置140，以及使用者接口150。二维/三维图像处理器110可将二维图像信号V2D转换为三维图像信号V3D。依据三维定位运算法，二维/三维音频处理器120可将二维音频信号A2D转换为三维音频信号A3D，例如依据一种仿真心理学听觉特征的三维定位运算法。观看者可利用使用者接口150来切换二维/三维图像模式或二维/三维音效模式。在播放三维影片的过程中，观看者可选择三维音效模式，此时音效产生装置140会依据三维音频信号A3D来提供三维音效；或者，观看者可选择二维音效模式，此时音效产生装置140会依据二维音频信号A2D来提供二维音效(例如单声道、立体声或环绕音效等)。
在现有技术的显示系统100中，观看者可利用使用者接口150来启动三维音效模式。然而，现有技术是依据预定程序来提供三维音效，提供三维音效的方式和三维图像信号V3D的三维图像内容并不相关。
发明内容
本发明提供一种可动态地提供三维音效的显示系统，其包含图像处理器，用来将二维图像信号转换为三维图像信号，并依据该三维图像信号的三维图像内容求出三维运算量指数；音频处理器，用来依据三维定位运算法和该三维运算量指数来将二维音频信号转换为三维音频信号；屏幕，用来依据该三维图像信号来显示图像；以及音效产生装置，用来依据该三维音频信号来产生音效。
本发明另提供一种可在显示系统内动态地提供三维音效的方法，其包含将二维图像信号转换为三维图像信号；求出相关于该三维图像信号的三维图像内容的三维运算量指数；以及依据三维定位运算法和该三维运算量指数来将二维音频信号转换为三维音频信号。
附图说明
图1为现有技术中三维显示系统的功能框图；
图2为本发明中一种可动态提供三维音效的显示系统的功能框图。
具体实施方式
图2为本发明中一种可动态地提供三维音效的显示系统200的功能框图。显示系统200为一种二维/三维兼用系统，其包含二维/三维图像处理器210、二维/三维音频处理器220、屏幕230、音效产生装置240，以及使用者接口250。二维/三维图像处理器210可将二维图像信号V2D转换为三维图像信号V3D，并依据三维图像信号V3D的三维图像内容来求出三维运算量指数(3D computat ion power loading indicator)3DCPLI。三维运算量指数3DCPLI可能相关于屏幕230上每一区域欲显示立体对象的数量、尺寸或深度。若是相关于三维图像信号V3D中特定帧的三维运算量指数3DCPLI越大，代表此特定帧包含越多三维图像内容，例如需要显示较多或较大的立体对象。换而言之，当特定帧具较大三维运算量指数3DCPLI时，在对此特定帧进行二维/三维转换时会需要较多运算量。
依据三维定位运算法和三维运算量指数3DCPLI，本发明的二维/三维音频处理器320可将二维音频信号A2D转换为三维音频信号A3D。本发明可使用依据一种仿真心理学听觉特征的三维定位运算法，例如双耳时间差(interaural time difference，ITD)、双耳间强度差(interauralintensity difference，IID)以及头部相关传输函数(head-relatedtransfer function，HRTF)。自然环境任意位置的声音源至双耳的传输路径长度不同，因此同时间发出的声波抵达双耳的时间并不相同，此时间差即为ITD。此外，由于头部遮蔽效应，声波抵达双耳时其强度衰减量不同，此强度差异即为IID。HRTF可模拟声波传递至人耳内的耳廓，耳道和鼓膜时其振幅变化和时间差，让大脑能根据经验判断出声音源的方位和距离。依据包含这些心理学听觉特征的的三维音频信号A3D，音效产生装置240在固定位置提供的三维音效会让观看者感受到系由不同位置所发出的声音。
另一方面，二维/三维音频处理器320可依据三维运算量指数3DCPLI来动态地调制三维音频信号A3D。三维音频信号A3D中每一帧可能包含不同三维图像内容，因此在格式转换时所需要的运算量亦会不同。当较大的三维运算量指数3DCPLI指出包含较多三维图像内容时，本发明可强化三维音频信号A3D。本发明可依据三维运算量指数3DCPLI来调制三维音频信号A3D的振幅或相位，相较于显示较少三维图像内容(例如较少或较小的立体对象)之处，在显示较多三维图像内容(例如较多或较大的立体对象)之处会强化三维音效。如此一来，本发明可提升人类听觉对移动立体对象的感受，进而提供更为生动的三维环境。
观看者可利用使用者接口250来切换二维/三维图像模式或二维/三维音效模式。在播放三维影片的过程中，观看者可选择三维音效模式，此时音效产生装置240会依据三维音频信号A3D来提供三维音效，并依据每一帧包含的三维图像内容来动态地调制三维音效。或者，观看者可选择二维音效模式，此时音效产生装置240会依据二维音频信号A2D来提供二维音效(单声道、立体声或环绕音效等)。使用者接口250可为显示于屏幕230上的屏幕显示(on-screen display，OSD)。
本发明依据不同三维图像内容来动态地提供三维音效，因此能提升人类听觉对移动立体对象的感受，进而提供更为生动的三维环境。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种可动态地提供三维音效的显示系统，其包含：
图像处理器，用来将二维图像信号转换为三维图像信号，并依据所述三维图像信号的三维图像内容求出三维运算量指数；
音频处理器，用来依据三维定位运算法和所述三维运算量指数来将二维音频信号转换为三维音频信号；
屏幕，用来依据所述三维图像信号来显示图像；以及
音效产生装置，用来依据所述三维音频信号来产生音效。
2.如权利要求1所述的显示系统，其中所述图像处理器还用来依据所述三维运算量指数来调制所述三维音频信号的振幅和相位。
3.如权利要求1所述的显示系统，其还包含：
使用者接口，用来让观看者选择二维模式和三维模式，其中在所述二维模式下所述音效产生装置依据所述二维音频信号来产生所述音效，而在所述三维模式下所述音效产生装置依据所述三维音频信号来产生所述音效。
4.如权利要求3所述的显示系统，其中所述使用者接口为显示于所述屏幕上的屏幕显示。
5.一种可在显示系统内动态地提供三维音效的方法，其包含：
将二维图像信号转换为三维图像信号；
求出相关于所述三维图像信号的三维图像内容的三维运算量指数；以及
依据三维定位运算法和所述三维运算量指数来将二维音频信号转换为三维音频信号。
6.如权利要求5所述的方法，其中将所述二维音频信号转换为所述三维音频信号包含依据所述三维运算量指数来调制所述三维音频信号的振幅和相位。
7.如权利要求5所述的方法，其中将所述二维音频信号转换为所述三维音频信号所依据的所述三维定位运算法通过仿真心理学听觉特征来产生虚拟音效。
8.如权利要求5所述的方法，其还包含：
依据立体对象的尺寸、立体对象的深度，或欲显示立体对象的数量来求出所述三维运算量指数。
CN2011100215813A 2011-01-13 2011-01-13 可动态地提供三维音效的显示系统及相关方法 Pending CN102595153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100215813A CN102595153A (zh) 2011-01-13 2011-01-13 可动态地提供三维音效的显示系统及相关方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100215813A CN102595153A (zh) 2011-01-13 2011-01-13 可动态地提供三维音效的显示系统及相关方法

Publications (1)

Publication Number Publication Date
CN102595153A true CN102595153A (zh) 2012-07-18

Family

ID=46483305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100215813A Pending CN102595153A (zh) 2011-01-13 2011-01-13 可动态地提供三维音效的显示系统及相关方法

Country Status (1)

Country Link
CN (1) CN102595153A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
CN105183421A (zh) * 2015-08-11 2015-12-23 中山大学 一种虚拟现实三维音效的实现方法及系统
CN105246021A (zh) * 2010-07-07 2016-01-13 三星电子株式会社 3d声音再现方法和设备
CN105323701A (zh) * 2014-06-26 2016-02-10 冠捷投资有限公司 根据三维影像调整音效的方法与应用此方法的影音系统
CN109417675A (zh) * 2016-07-28 2019-03-01 赛耳混音有限公司 终端混音产品
US12100374B2 (en) 2021-05-13 2024-09-24 Microsoft Technology Licensing, Llc Artificial intelligence models for composing audio scores

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182608A1 (en) * 2004-02-13 2005-08-18 Jahnke Steven R. Audio effect rendering based on graphic polygons
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
CN101350931A (zh) * 2008-08-27 2009-01-21 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理系统
US20090041257A1 (en) * 2002-03-29 2009-02-12 Hitachi, Ltd. Sound processing unit, sound processing system, audio output unit and display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041257A1 (en) * 2002-03-29 2009-02-12 Hitachi, Ltd. Sound processing unit, sound processing system, audio output unit and display device
US20050182608A1 (en) * 2004-02-13 2005-08-18 Jahnke Steven R. Audio effect rendering based on graphic polygons
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
CN101350931A (zh) * 2008-08-27 2009-01-21 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105246021A (zh) * 2010-07-07 2016-01-13 三星电子株式会社 3d声音再现方法和设备
CN105246021B (zh) * 2010-07-07 2018-04-03 三星电子株式会社 3d声音再现方法和设备
US10531215B2 (en) 2010-07-07 2020-01-07 Samsung Electronics Co., Ltd. 3D sound reproducing method and apparatus
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
CN105323701A (zh) * 2014-06-26 2016-02-10 冠捷投资有限公司 根据三维影像调整音效的方法与应用此方法的影音系统
CN105183421A (zh) * 2015-08-11 2015-12-23 中山大学 一种虚拟现实三维音效的实现方法及系统
CN105183421B (zh) * 2015-08-11 2018-09-28 中山大学 一种虚拟现实三维音效的实现方法及系统
CN109417675A (zh) * 2016-07-28 2019-03-01 赛耳混音有限公司 终端混音产品
US12100374B2 (en) 2021-05-13 2024-09-24 Microsoft Technology Licensing, Llc Artificial intelligence models for composing audio scores

Similar Documents

Publication Publication Date Title
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
US10021507B2 (en) Arrangement and method for reproducing audio data of an acoustic scene
CN112602053B (zh) 音频装置和音频处理的方法
US20050275913A1 (en) Binaural horizontal perspective hands-on simulator
US20150264502A1 (en) Audio Signal Processing Device, Position Information Acquisition Device, and Audio Signal Processing System
CN102595153A (zh) 可动态地提供三维音效的显示系统及相关方法
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
US20120105603A1 (en) Display system with dynamic 3d sound reproduction and related method
CN114885274A (zh) 空间化音频系统以及渲染空间化音频的方法
CN105353868B (zh) 一种信息处理方法及电子设备
CN111492342B (zh) 音频场景处理
TWI453451B (zh) 擷取與播放源於多音源的聲音之方法
US11102604B2 (en) Apparatus, method, computer program or system for use in rendering audio
CN105959905A (zh) 混合模式空间声生成系统与方法
Cui et al. Influence of Visual Depth and Vibration on the High-level Perception of Reality in 3D Contents.
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
JP2011234139A (ja) ３次元音声信号生成装置
JP2021527353A (ja) 低周波数チャネル間コヒーレンス制御
RU2798414C2 (ru) Аудиоустройство и способ обработки аудио
RU2823573C1 (ru) Аудиоустройство и способ обработки аудио
RU2815366C2 (ru) Аудиоустройство и способ обработки аудио
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
Simon et al. Sonic interaction with a virtual orchestra of factory machinery
CN203851265U (zh) 一种多声道耳机
CN206270874U (zh) 一种虚拟现实装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120718