CN103680550A - 多视窗架构下的音频播放方法、音频播放装置与系统 - Google Patents

多视窗架构下的音频播放方法、音频播放装置与系统 Download PDF

Info

Publication number
CN103680550A
CN103680550A CN201210344921.0A CN201210344921A CN103680550A CN 103680550 A CN103680550 A CN 103680550A CN 201210344921 A CN201210344921 A CN 201210344921A CN 103680550 A CN103680550 A CN 103680550A
Authority
CN
China
Prior art keywords
audio frequency
audio
crossfire
sound field
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210344921.0A
Other languages
English (en)
Other versions
CN103680550B (zh
Inventor
陈昭宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ali Corp
Original Assignee
Ali Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ali Corp filed Critical Ali Corp
Priority to CN201210344921.0A priority Critical patent/CN103680550B/zh
Publication of CN103680550A publication Critical patent/CN103680550A/zh
Application granted granted Critical
Publication of CN103680550B publication Critical patent/CN103680550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供了一种多视窗架构下的音频播放方法、音频播放装置与音频播放系统,所述音频播放方法包括下列步骤:取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数;根据第一视窗参数与第二视窗参数计算调整参数,并根据调整参数进行调整步骤,以调整第一音频串流与第二音频串流为第一已调整音频串流与第二已调整音频串流;然后,混合第一已调整音频串流与第二已调整音频串流为混合音频串流。本发明提出的一种多视窗架构下的音频播放方法、音频播放装置与音频播放系统,可有效地降低以往将各个音频串流独立播放时的嘈杂感。

Description

多视窗架构下的音频播放方法、音频播放装置与系统
技术领域
本发明是有关于一种音频播放方法,特别是一种多视窗架构下的音频播放方法、音频播放装置与音频播放系统。
背景技术
随着影音播放技术的进步,在电脑中以多个视窗同时播放多个多媒体影音串流的情形也逐渐普遍。举例来说,使用者可以使用一个播放视窗来播放电影,并使用另一个视窗来播放新闻。而在声音输出方面,目前较为普遍的方式是将一个播放视窗对应至一个声道或喇叭,以透过多个声道或喇叭同时输出所有的播放视窗对应的声音或音效。然而,每个播放视窗对应一个声道或喇叭的输出方式却容易造成输出的音效过于嘈杂,而影响视听品质。
因此,如何在使用多个视窗同时播放多个多媒体串流的视频串流时,可以同时协调对应输出的音频串流,已成为该领域技术的一大课题。
发明内容
有鉴于此,本发明提出一种多视窗架构下的音频播放方法、音频播放装置与音频播放系统,可有效地降低以往将各个音频串流独立播放时的嘈杂感。
本发明提出一实施例,关于一种多视窗架构下的音频播放方法,适用于多媒体播放系统的音频播放装置,所述多媒体播放系统用以播放多个多媒体串流,所述多个多媒体串流至少包括第一多媒体串流与第二多媒体串流,第一多媒体串流包括第一视频串流与第一音频串流,第二多媒体串流包括第二视频串流与第二音频串流,多媒体播放系统包括视频播放装置,视频播放装置利用显示装置上的第一视窗播放第一视频串流,并利用显示装置上的第二视窗播放第二视频串流,所述音频播放方法包括下列步骤。取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数。根据第一视窗参数与第二视窗参数计算调整参数。根据调整参数进行调整步骤,用于调整第一音频串流与第二音频串流为第一已调整音频串流与第二已调整音频串流。混合第一已调整音频串流与第二已调整音频串流为混合音频串流。
本发明另提出一实施例,关于一种音频播放装置,适用于多媒体播放系统,所述多媒体播放系统用以播放多个多媒体串流,所述多个多媒体串流至少包括第一多媒体串流与第二多媒体串流,第一多媒体串流包括第一视频串流与第一音频串流,第二多媒体串流包括第二视频串流与第二音频串流,多媒体播放系统包括视频播放装置,视频播放装置利用显示装置上的第一视窗播放第一视频串流,并利用显示装置上的第二视窗播放第二视频串流,音频播放装置包括控制装置、调整装置以及混合装置。控制装置连接至显示装置,用以取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数,并且根据第一视窗参数与第二视窗参数计算调整参数。调整装置连接至控制装置,用于根据调整参数调整第一音频串流与第二音频串流为第一已调整音频串流与第二已调整音频串流。混合装置连接至调整装置,用以混合第一已调整音频串流与第二已调整音频串流为混合音频串流。
本发明另提出一实施例,关于一种多媒体播放系统,用以播放多个多媒体串流,所述多个多媒体串流至少包括第一多媒体串流与第二多媒体串流,第一多媒体串流包括第一视频串流与第一音频串流,第二多媒体串流包括第二视频串流与第二音频串流,所述多媒体播放系统包括视频播放装置与音频播放装置。视频播放装置,用以在显示装置的第一视窗上播放第一视频串流与第二视窗上播放第二视频串流。音频播放装置,用以播放第一音频串流与第二音频串流,其中音频播放装置包括控制装置、调整装置以及混合装置。控制装置连接至显示装置,用以取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数,并且根据第一视窗参数与第二视窗参数,计算调整参数。调整装置连接至控制装置,用于根据调整参数调整第一音频串流与第二音频串流为第一已调整音频串流与第二已调整音频串流。混合装置连接至调整装置,用以混合第一已调整音频串流与第二已调整音频串流为混合音频串流。
基于上述,本发明实施例提出一种多视窗架构下的音频播放方法、音频播放装置与音频播放系统,其可利用第一视窗播放一多媒体串流的视频串流,并利用第二视窗播放另一多媒体串流的视频串流。然后,取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数。接着,根据第一视窗参数与第二视窗参数来计算调整参数,以根据调整参数进行调整步骤。上述调整步骤包括分别调整上述多媒体串流的音频串流与上述另一个多媒体串流的音频串流为已调整音频串流。接着,混合所有已调整音频串流为混合音频串流。藉此,有效地降低以往将各个音频串流独立播放时的嘈杂感。另外,使用者也可以感受到对应于视窗的音效与/或音场变化。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1为根据本发明的一实施例所绘示的多媒体播放系统的功能方块图。
图2为根据本发明的一实施例所绘示的调整装置的功能方块图。
图3为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。
图4A与图4B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。
图5A与图5B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。
图6A与图6B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。
图7为根据本发明的一实施例所绘示的多视窗架构下的音频串流播放方法的流程图。
附图标号:
10:多媒体播放系统
11:解多工器
12:视频播放装置
13:音频播放装置
121:显示装置
131:控制装置
132:调整装置
1321:音量控制模块
1322:音讯定位滤波器模块
133:混合装置
134:音频输出装置
301、302、401、402、501、502、601、602:视窗
310、410、510、610:萤幕中心
320、420、520、620:使用者
321、322、421、422、521、522、621、622:音场效果
S710、S720、S730、S740:本发明一实施例的多视窗架构下的音频串流播放方法各步骤。
具体实施方式
为让使用者在利用多个视窗播放多个多媒体串流或多媒体影音时,可以因应各个视窗的前后位置或视窗大小等变化,而感受到对应的音效与/或音场变化,本发明实施例提出一种多视窗架构下的音频播放方法,其可根据当前用来播放多个视频串流的多个视窗的视窗参数来计算出调整参数,并通过调整参数来对各个视频串流所对应的音频串流进行输出音量调整,或者调整各个音频串流被播放时的环绕音场定位等。另外,本发明实施例的多视窗架构下的音频播放方法还可以将调整过后的多个音频串流混合成为混合音频串流。藉此,当混合音频串流被播放时,使用者可以感受到对应于各个视窗的位置或大小的混合音效,并可有效地降低以往将各个音频串流独立播放时的嘈杂感。此外,本发明实施例更揭示了可用于体现上述多视窗架构下的音频播放方法的音频播放装置与多媒体播放系统。为了使本发明的内容更容易明了,以下特举实施例作为本发明确实能够据以实施的范例。
图1为根据本发明的一实施例所绘示的多媒体播放系统的功能方块图。请参照图1,多媒体播放系统10可以同时播放多个多媒体串流。为了说明方便,本实施例是以多媒体串流MS_1与多媒体串流MS_2为例进行说明,但是,本实施例并不限制多媒体串流的数量。
多媒体播放系统10包括解多工器(Demuxer)11、视频播放装置12与音频播放装置13。解多工器11用以将传输流(Transport Stream)格式的多媒体串流MS_1解多工(demux)为数据流(Data Stream)格式的视频串流VS_1与音频串流AS_1,并将传输流格式的多媒体串流MS_2解多工为数据流格式的视频串流VS_2与音频串流AS_2。值得一提的是,多媒体播放系统10可播放相同格式的多媒体串流MS_1与多媒体串流MS_2。另外,多媒体播放系统10也可播放非相同格式的多媒体串流MS_1与多媒体串流MS_2。此外,上述多媒体串流MS_1与多媒体串流MS_2的格式则可以例如是动态影像专家组织(Moving Picture Experts Group,MPEG)、音频视频交织(Audio VideoInterleave,AVI)、动态影像专家压缩标准音频层面3(Moving Picture ExpertsGroup Audio Layer III,MP3)或波形音频格式(Waveform audio format,WAV)等各式串流格式,本发明不对其限制。
视频播放装置12耦接解多工器11,并且用以接收并播放视频串流VS_1与视频串流VS_2。在本实施例中,视频播放装置12至少包括显示装置121。视频播放装置12可以在显示装置122的一个视窗(以下统称为第一视窗)上播放视频串流VS_1,并在显示装置122的另一个视窗(以下统称为第二视窗)上播放视频串流VS_2。藉此,透过显示装置122的第一视窗与第二视窗,使用者可以同时观看视频串流VS_1与视频串流VS_2的视频影像。
在本实施例中,显示装置121可以包括一显示引擎(Display Engine)模块以及显示器或触控萤幕,其中显示引擎模块可接收视频串流VS_1与/或视频串流VS_2,并控制显示器或触控萤幕显示视频串流VS_1与/或视频串流VS_2各别的视频影像。上述显示引擎模块例如是显示晶片,并且上述显示器或触控萤幕可以是手机、个人数位助理(PDA)、智慧型手机(smart phone)、电子书、游戏机、平板电脑(Tablet PC)或笔记型电脑(notebook)等各式可携式电子装置的显示器或触控萤幕,或者是电视或桌上型电脑的显示器或触控萤幕等,本发明不对其限制。
另外,在另一实施例中,视频播放装置12还可以包括一视频解码器(VideoDecoder),而可对视频串流VS_1与视频串流VS_2进行解码(decode),使得解码后的视频串流VS_1与视频串流VS_2可以符合显示装置121的视频串流播放规格。
音频播放装置13耦接解多工器11,并且用以播放音频串流AS_1与音频串流AS_2。在本实施例中,音频播放装置13包括控制装置131、调整装置132以及混合装置133。
另外,在另一实施例中,音频播放装置13还可以包括一音频解码器(AudioDecoder),而可对音频串流AS_1与音频串流AS_2进行解码(decode),使得解码后的音频串流AS_1与音频串流AS_2可以符合音频输出装置134的音频串流播放规格。
控制装置131连接至显示装置121,并且用以取得第一视窗对应于显示装置121的视窗参数WP_1,以及第二视窗对应于显示装置121的视窗参数WP_2,而可根据视窗参数WP_1与视窗参数WP_2,计算出调整参数AP。举例来说,控制装置131可以通过分析视窗参数WP_1与视窗参数WP_2而得知第一视窗与第二视窗各别的视窗位置或视窗大小,或者第一视窗与第二视窗的相对显示位置或相对视窗大小等资讯,而产生调整参数AP。在本实施例中,控制装置131例如是微控制器(micro-controller)、嵌入式控制器(embeddedcontroller)或中央处理器(central processing unit,CPU)等,但本发明可实施方式并不限定于上述。
调整装置132连接至控制装置131,并且用于根据调整参数AP,分别调整音频串流AS_1与音频串流AS_2为已调整音频串流AAS_1与已调整音频串流AAS_2。混合装置133连接至调整装置132,并且用以混合已调整音频串流AAS_1与已调整音频串流AAS_2为混合音频串流MAS。
另外,在另一实施例中,音频播放装置13还可以包括音频输出装置134,以输出混合音频串流MAS。例如,音频输出装置134可以包括一数字模拟转换器(Digital to Analog Converter,DAC)与至少一喇叭或耳机等音效输出装置,以将混合音频串流MAS的格式由数字格式转换为模拟格式,而通过一个或多个喇叭输出模拟格式的混合音频串流MAS。另外,在又一实施例中,音频播放装置13也可以包括音频解码器(Audio Decoder),而可对音频串流AS_1与音频串流AS_2进行解码(decode)。
图2为根据本发明的一实施例所绘示的调整装置的功能方块图。为了说明方便,在本实施例中是以图1中的调整装置132作为范例进行说明。
请参照图1与图2,调整装置132包括音量控制模块1321与音讯定位滤波器(Audio Location Filter)模块1322。音量控制模块1321用以根据调整参数AP来调整音频串流AS_1与/或音频串流AS_2的音量设定。音讯定位滤波器模块1322耦接至音量控制模块1321,并且用于取得与调整参数AP相关的一环绕音场定位资讯(以下统称第一环绕音场定位资讯)与/或另一环绕音场定位资讯(以下统称第二环绕音场定位资讯),而可根据第一环绕音场定位资讯调整音频串流AS_1与/或第二环绕音场定位资讯调整音频串流AS_2。特别是,上述第一环绕音场定位资讯实质上对应于第一视窗,而可指示音频播放装置13的环绕音场设定。而上述第二环绕音场定位资讯实质上则对应于第二视窗,而同样可指示音频播放装置13的环绕音场设定。
换言之,在经过调整装置132的调整之后,已调整音频串流AAS_1与/或已调整音频串流AAS_2会分别具有调整装置132所赋予的特性(例如,输出时的音量改变及/或环绕音场设定改变等)。另外,在实施上,调整装置132可以同时包括音量控制模块1321与音讯定位滤波器模块1322,以同时提供上述功能。或者,调整装置132也可以仅包含音量控制模块1321或音讯定位滤波器模块1322其中之一,以符合实施上的成本效益或设计考量。
一般来说,支持环绕音场效果的音频播放装置会有预设的环绕音场定位,以对应于预设的环绕音场定位产生不同的环绕音场效果。举例来说,假设当前播放的影片画面中有一个人从画面中由左向右走过,则坐在预设的环绕音场定位的范围中的使用者,可以听到由左方传来并逐渐靠近使用者的脚步声,且此脚步声会通过此使用者并接续向使用者的右方移动而逐渐远离使用者。换言之,上述由左向右移动的踏步声即是由音频播放装置对应于预设的环绕音场定位所输出的环绕音场定位改变所致。
然而,本发明的实施例不仅具有上述常见特色,还可以对应于多个视窗而产生对应的环绕音场定位效果以及音量调整效果,而提供使用者与以往不同的感官体验。另外,通过播放多个音频串流混合后的混合音频串流,来降低各个音频串流独立播放时的嘈杂感。为了说明方便,以下将以音频播放装置预设的环绕音场定位为基准,对本发明实施例中播放混合音频串流时的情况进行详细说明。
图3为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。在此请注意,本实施例中提及的视频播放装置与音频播放装置的实施方式可以是以图1的视频播放装置12与音频播放装置13的实施方式来加以实现。
请参照图3,假设视频播放装置的显示装置121使用视窗301播放一多媒体串流中的视频串流,并使用视窗302播放另一多媒体串流中的视频串流。另外,假设使用者320与显示装置121之间的距离为D,且使用者320处于音频播放装置预设的环绕音场定位的范围内。在另一范例当中,显示装置121与音频输出装置134的位置并不一致,上述的距离D可为使用者320与音频输出装置134的距离。
首先,音频播放装置的控制装置可以自视频播放装置的显示装置121取得对应于视窗301的视窗参数以及对应于视窗302的视窗参数,而得知视窗301与视窗302各别的前景与背景信息及/或相对显示位置资讯。然后,音频播放装置的控制装置可以根据对应于视窗301的视窗参数以及对应于视窗302的视窗参数计算调整参数。接着,音频播放装置的调整装置根据调整参数来调整对应于视窗301播放的视频串流的音频串流以及对应于视窗302播放的视频串流的音频串流。然后,由音频播放装置的混合装置对调整后的音频串流进行混合,而产生混合音频串流。
接着,当音频播放装置播放上述已混合音频串流时,音频播放装置会参考使用者320所在的位置(即,预设的环绕音场定位)分别输出对应于视窗301的音场效果321以及对应于视窗302的音场效果322。在此请注意,图3中的音场效果321与音场效果322是用来呈现其分别对应的音量与环绕音场定位。例如,音场效果321与音场效果322的虚线所形成的圆形的半径越大,表示其对应的音量越大,并且音场效果321与音场效果322的位置与虚线范围可以用来表示其对应的环绕音场定位的位置与范围。
在本实施例中,音频播放装置可以利用显示装置121上虚拟的的X轴来对视窗301与视窗302的横向位置或坐标进行定位。然后,音频播放装置将使用者320所在的位置(即,预设的环绕音场定位)对应至显示装置121的萤幕中心310,而模拟出与显示装置121平行的X’轴,并根据视窗301与视窗302在显示装置121上的X轴位置,于使用者320的左右两侧分别输出音场效果321与音场效果322。特别是,音频播放装置可以利用视窗301与视窗302的相对显示位置资讯(即,视窗301显示在视窗302之上),来判定当前视窗301为前视窗且视窗302为后视窗,进而将音场效果321的音量调高且将音场效果322的音量调低。另外,上述X轴对应至X’轴的坐标的缩放比例可以根据实务上的需求而调整,在此不对其限制。
值得一提的是,当使用者切换视窗301与视窗302在显示装置121上各别的显示位置或相对显示位置时,音频播放装置会对应改变音场效果321与/或音场效果322。例如,当使用者将视窗302切换为前视窗时(视窗301自动转换为后视窗),音频播放装置可以将视窗302对应的音场效果322的音量调高,并将视窗301对应的音场效果321的音量调低。
在本发明的一实施例中,音频播放装置还可以模拟各个视窗在显示装置中的深浅程度或相对显示位置,以输出各个视窗对应的音场效果。
图4A与图4B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。在此请注意,本实施例中提及的视频播放装置与音频播放装置的实施方式可以是以图1的视频播放装置12与音频播放装置13的实施方式来加以实现。
请参照图4A,假设视频播放装置的显示装置121使用视窗401播放一多媒体串流中的视频串流,并使用视窗402播放另一多媒体串流中的视频串流。另外,假设使用者420与显示装置121之间的距离为D,且使用者420位于音频播放装置预设的环绕音场定位的范围内。在另一范例当中,显示装置121与音频输出装置134的位置并不一致,上述的距离D可为使用者320与音频输出装置134的距离。
首先,音频播放装置以类似于图3中说明的方式产生上述混合音频串流,在此不再赘述。然后,当音频播放装置播放上述混合音频串流时,音频播放装置会参考使用者420所在的位置(即,预设的环绕音场定位)分别输出对应于视窗401的音场效果421以及对应于视窗402的音场效果422。在此请注意,图4A与图4B中的音场效果421与音场效果422是用来呈现其分别对应的音量与环绕音场定位,且音场效果421与音场效果422的虚线所形成的圆形的半径越大,表示其对应的音量越大。
在本实施例中,音频播放装置除了可以利用显示装置121上的X轴来对视窗的横向位置或坐标进行定位外,音频播放装置也可以利用显示装置121上的Z轴来对视窗的深浅程度或相对显示位置或关系进行模拟或定位。举例来说,音频播放装置可以根据视窗401与视窗402各自的视窗参数来模拟视窗401与视窗402分别对应于Z轴的位置或坐标,以判定视窗401与视窗402的深浅程度或相对显示位置。例如,音频播放装置可以以显示装置121的最上层作为Z轴的零点(Zero Point),判定较上层显示的视窗401对应于Z轴上的坐标数值较小或视窗深度较浅,并判定较下层显示的视窗402对应于Z轴上的坐标数值较大或视窗深度较深。
然后,音频播放装置可以将使用者420所在的位置(即,预设的环绕音场定位)对应至显示装置121的萤幕中心410,而模拟出与显示装置121平行的X’轴以及与显示装置121垂直的Z’轴,并根据视窗401与视窗402在显示装置121上的X轴位置或坐标与Z轴的深浅程度或坐标,输出音场效果421与音场效果422。例如,音频播放装置可以以使用者420面向显示装置121的方向或Z’轴方向为前方,并以X’轴的方向为右方,在使用者420的左前方输出较靠近使用者420的音场效果421,并在使用者420的右后方输出较远离使用者420的音场效果422。此外,由于视窗401被判定为前视窗,故音场效果421的音量也较音场效果422的音量来的大声。此外,上述X轴对应至X’轴以及Z轴对应至Z’轴的坐标的缩放比例可以根据实务上的需求而调整,在此不对其限制。
另外,在本实施例中,当使用者切换视窗401与视窗402在显示装置121上的深浅程度或相对显示位置时,音频播放装置会对应改变音场效果421与音场效果422。请参照图4B,当使用者将视窗402切换为前视窗时(视窗401自动转换为后视窗),音频播放装置可以将视窗402对应的音场效果422的音量调高,并将音场效果422的位置移动至使用者420的右前方且较为靠近使用者420。同时,音频播放装置也可以将视窗401对应的音场效果421的音量调低,并将音场效果421的位置移动至使用者420的左后方且较为远离使用者420。
此外,在图4A切换到图4B的过程中,音频播放装置还可以模拟出音场效果421与音场效果422的移动轨迹,并在切换的过程中输出对应于音场效果421与音场效果422的移动轨迹的音效。藉此,在视窗切换时,使用者可以同步感受到环绕音场定位的移动。
值得一提的是,以图4A为例,音频播放装置是以显示装置121的最上层作为Z轴的零点,并以使用者420的位置(即,预设的环绕音场定位)作为Z’轴的零点。然后,对应于较上层显示或Z轴上的坐标数值较小的视窗401,音频播放装置在Z’轴的坐标数值为正值(Positive)(即,使用者420的前方区域)的位置附近输出音场效果421。另外,对应于较下层显示或Z轴上的坐标数值较大的视窗402,音频播放装置在Z’轴的坐标数值为负值(Negative)(即,使用者420的后方区域)的位置附近输出音场效果422。换言之,本实施例为Z轴与Z’轴呈现负相关(Negative Correlation)的范例。另外,以图3的实施例来看,由于视窗在显示装置121中的位置仅与X’轴有关,故其可视为Z轴与Z’轴为零相关(Zero Correlation)的范例。以下将举例说明Z轴与Z’轴呈现正相关(Positive Correlation)时的情形。
图5A与图5B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。在此请注意,本实施例中提及的的视频播放装置与音频播放装置的实施方式可以是以图1的视频播放装置12与音频播放装置13的实施方式来加以实现。
请参照图5A,假设视频播放装置的显示装置121使用视窗501播放一多媒体串流中的视频串流,并使用视窗502播放另一多媒体串流中的视频串流。另外,假设使用者520与显示装置121之间的距离为D,且使用者520位于预设的环绕音场定位的范围内。在另一范例当中,显示装置121与音频输出装置134的位置并不一致,上述的距离D可为使用者320与音频输出装置134的距离。
首先,音频播放装置以类似于图3中说明的方式产生上述混合音频串流,在此不再赘述。然后,当音频播放装置播放上述混合音频串流时,音频播放装置会根据使用者520所在的位置(即,预设的环绕音场定位)分别输出对应于视窗501的音场效果521以及对应于视窗502的音场效果522。在此请注意,音场效果521与音场效果522是用来呈现其分别对应的音量与环绕音场定位,且音场效果521与音场效果522的虚线所形成的圆形的半径越大,表示其对应的音量越大。
类似于图4A,在本实施例中,音频播放装置可以以显示装置121的最上层作为Z轴的零点,判定较上层显示的视窗501对应于Z轴上的坐标数值较小或视窗深度较浅,并判定较下层显示的视窗502对应于Z轴上的坐标数值较大或视窗深度较深。然后,音频播放装置可以将使用者520所在的位置(即,预设的环绕音场定位)对应至显示装置121的萤幕中心510,而模拟出与显示装置121平行的X’轴以及与显示装置121垂直的Z’轴,并根据视窗501与视窗502在显示装置121上的X轴位置或坐标与Z轴的深浅程度或坐标,输出音场效果521与音场效果522。例如,音频播放装置可以以使用者520面向显示装置121的方向或Z’轴方向为前方,并以X’轴的方向为右方,在使用者520的左后方输出较靠近使用者520的音场效果521,并在使用者520的右前方输出较远离使用者520的音场效果522。此外,由于视窗501被判定为前视窗,故音场效果521的音量也较音场效果522的音量来的大声。另外,上述X轴对应至X’轴以及Z轴对应至Z’轴的坐标的缩放比例可以根据实务上的需求而调整,在此不对其限制。
请参照图5B,当使用者切换视窗501与视窗502在显示装置121上的相对显示位置时,音频播放装置会对应改变音场效果521与音场效果522。例如,当使用者将视窗502切换为前视窗时(视窗501自动转换为后视窗),音频播放装置可以将视窗502对应的音场效果522的音量调高,并将音场效果522的位置移动至使用者520的右后方靠近使用者520处。同时,音频播放装置也可以将视窗501对应的音场效果521的音量调低,并将音场效果521的位置移动至使用者520的左前方远离使用者520处。另外,音频播放装置也可以模拟出音场效果521与音场效果522的移动轨迹,并在切换视窗相对位置的过程中输出对应于音场效果521与音场效果522的移动轨迹的音效。
具体来看,在本实施例中,音频播放装置同样是以显示装置121的最上层作为Z轴的零点,并以使用者520作为Z’轴的零点。由于本实施例中Z轴与Z’轴为正相关,因此,对应于较上层显示或对应于Z轴上的坐标数值较小的视窗501,音频播放装置在Z’轴的坐标数值为负值(即,使用者520的后方)的位置输出音场效果521,并且对应于Z轴上的坐标数值较大的视窗502,在Z’轴的坐标数值为正值(即,使用者520的前方)的位置输出音场效果522。
值得一提的是,上述零相关、正相关与负相关其中之一可以同时适用于所有的视窗与其环绕音场定位。或者,多个视窗也可以分别使用零相关、正相关与负相关之一来与其各别的环绕音场定位进行关联。举例来说,使用者可以藉由调整一关联规则来调整各个视窗的关联方式,本发明不对其限制。
图6A与图6B为根据本发明的一实施例所绘示的多视窗架构下音频播放装置播放音频串流时的环绕音场定位与音量的示意图。在此请注意,本实施例中提及的的视频播放装置与音频播放装置的实施方式可以是以图1的视频播放装置12与音频播放装置13的实施方式来加以实现。
请参照图6A,假设视频播放装置的显示装置121使用视窗601播放一多媒体串流中的视频串流,并使用视窗602播放另一多媒体串流中的视频串流。另外,假设使用者620与显示装置121之间的距离为D,且使用者620位于预设的环绕音场定位的范围内。在另一范例当中,显示装置121与音频输出装置134的位置并不一致,上述的距离D可为使用者320与音频输出装置134的距离。
首先,音频播放装置以类似于图3中说明的方式产生上述混合音频串流,在此不再赘述。然后,当音频播放装置播放上述混合音频串流时,音频播放装置会根据使用者620所在的位置(即,预设的环绕音场定位)分别输出对应于视窗601的音场效果621以及对应于视窗602的音场效果622。在此请注意,图6中的音场效果621与音场效果622是用来呈现其分别对应的音量与环绕音场定位,且音场效果621与音场效果622的虚线所形成的圆的半径越大,表示其对应的音量越大。
类似于图5,在本实施例中,音频播放装置可以以显示装置121的最上层作为Z轴的零点,判定较上层显示的视窗601对应于Z轴上的坐标数值较小或视窗深度较浅,并判定较下层显示的视窗602对应于Z轴上的坐标数值较大或视窗深度较深。然后,音频播放装置可以将使用者620所在的位置(即,预设的环绕音场定位)对应至显示装置121的萤幕中心610,而模拟出与显示装置121平行的X’轴以及与显示装置121垂直的Z’轴,并根据视窗601或视窗602在显示装置121上的X轴位置或坐标与Z轴的深浅程度或坐标,输出的音场效果621与音场效果622。例如,在本实施例中,假设音频播放装置的关联规则为:以零相关的方式来输出较为上层的视窗的音场效果(即,音场效果621),并以正相关的方式来输出较为下层的视窗的音场效果(即,音场效果622)。
此时,音频播放装置以零相关的方式将视窗601与音场效果621进行关联,并以正相关的方式来将视窗602与音场效果622进行关联。然后,音频播放装置例如是以使用者620面向显示装置121的方向或Z’轴方向为前方,并以X’轴的方向为右方,在使用者620的左方输出较靠近使用者620的音场效果621,并在使用者620的右前方输出较远离使用者620的音场效果622。此外,由于视窗601被判定为前视窗,故音场效果621的音量也较音场效果622的音量来的大声。
请参照图6B,当使用者切换视窗601与视窗602在显示装置121上的相对显示位置时,例如,当使用者将视窗602切换为前视窗时(视窗601自动转换为后视窗),根据上述关联规则,音频播放装置可以将视窗602对应的音场效果622的音量调高,并将音场效果622的位置移动至使用者620的右方较靠近使用者620处。同时,音频播放装置也可以将视窗601对应的音场效果621的音量调低,并将音场效果621的位置移动至使用者620的左前方较远离使用者620处。另外,音频播放装置也可以模拟出音场效果621与音场效果622的移动轨迹,并在切换视窗相对位置的过程中输出对应于音场效果621与音场效果622的移动轨迹的音效。值得一提的是,上述X轴对应至X’轴以及Z轴对应至Z’轴的坐标的缩放比例可以根据实务上的需求而调整,在此不对其限制。
另外,音频播放装置也可以在显示装置121上模拟出其他的坐标轴,并参考显示装置121上的各坐标轴来对输出音效的环绕音场进行定位。或者,在本发明的各实施例中,音频播放装置也可以根据多个视窗各别的视窗尺寸与/或多个视窗的相对尺寸,来调整视窗对应的输出音量。例如,音频播放装置可以将视窗的视窗尺寸与其输出音量进行正相关的关联操作。当视窗尺寸放大时,将其对应的输出音量调高,以及当视窗尺寸缩小时,将其对应的输出音量调低。
在本发明的各实施例也可能应用于过场效果。一般所熟知的过场效果,可以认为是原有视窗逐渐被新的视窗取代的一种过程。在过场的时候,可以把原有视窗认为是第一视窗,把新的视窗认为是第二视窗。在某一范例中,第二视窗从左边进入,把第一视窗向右边挤出。在另一范例中,第二视窗从下边进入,把第一视窗从上边挤出。又在另一范例中,第二视窗从右下角逐渐变大,第一视窗逐渐缩向左上角。本领域之普通技术人员,应该可以了解到上述的过场效果,能够运用本发明所提供的特征。
总上而言,上述的调整参数包含以下参数之一及其任意组合:该视频播放装置与使用者之间的一预定距离、该音效输出装置与使用者之间相对位置、该第一视窗的前景与背景信息、该第二视窗的前景与背景信息、该第一视窗的视窗尺寸、该第二视窗的视窗尺寸、该第一视窗与该第二视窗的相对尺寸、以及该第一视窗与该第二视窗的相对显示位置。
图7为根据本发明的一实施例所绘示的多视窗架构下的音频串流播放方法的流程图。请参照图1与图7,在步骤S710中,控制装置131取得第一视窗与第二视窗对应于显示装置121的第一视窗参数与第二视窗参数。然后,在步骤S710之后接续执行步骤S720。在步骤S720中,控制装置131根据第一视窗参数与第二视窗参数,计算调整参数。举例来说,控制装置131可以根据视频播放装置12与使用者之间的预定距离、该音效输出装置与使用者之间相对位置、第一视窗的前景与背景信息、第二视窗的前景与背景信息以及第一视窗与第二视窗的相对显示位置的其中之一或其组合来计算调整参数AP。或者,控制装置131也可以根据第一视窗的视窗尺寸、第二视窗的视窗尺寸以及第一视窗与第二视窗的相对尺寸的其中之一或其组合来计算调整参数。然后,在步骤S720之后接续执行步骤S730。
在步骤S730中,调整装置132根据调整参数进行调整步骤,以调整第一音频串流与第二音频串流为第一已调整音频串流与第二已调整音频串流。具体来看,上述调整参数可以包括视频播放装置12与使用者之间的一预定距离、音效输出装置与使用者之间相对位置、第一视窗的前景与背景信息、第二视窗的前景与背景信息、第一视窗的视窗尺寸、第二视窗的视窗尺寸、第一视窗与第二视窗的相对尺寸以及第一视窗与第二视窗的相对显示位置其中之一或其组合。然后,在步骤S730之后接续执行步骤S740。
在步骤S740中,混合装置133混合第一已调整音频串流与第二已调整音频串流为混合音频串流。另外,当音频播放装置10播放混合音频串流时,使用者可以感受到对应于各个视窗的位置或大小的混合音效。
在此需注意的是,对于上述方法,由上述的实施例可获得足够的教示、建议与实施说明,在此不再赘述。
另外,在本实施例中,当上述调整参数所包含的参数有所变化时,本实施例的音频串流调整方法会被重新执行,以取得用来计算上述调整参数的资讯,并依据上述调整参数执行后续的调整步骤等。
值得一提的是,上述多个实施例中提及的控制装置131、调整装置132、混合装置133、音量控制模块1321以及音讯定位滤波器模块1322例如是以逻辑电路元件组成的硬件装置,而可分别执行上述的功能。另外,这些电路也可以是以储存在音频播放装置的硬碟或存储器中的软件程序或轫体程序来实作。例如,在一实施例中,这些实作上述功能的软件程序或韧体程序会被载入至音频播放装置的处理器,而分别执行上述功能。
综上所述,本发明实施例中的多视窗架构下的音频播放方法、音频播放装置与音频播放系统,其可利用第一视窗播放一多媒体串流的视频串流,并利用第二视窗播放另一多媒体串流的视频串流。然后,取得第一视窗与第二视窗对应于显示装置的第一视窗参数与第二视窗参数。接着,根据第一视窗参数与第二视窗参数来计算调整参数,以根据调整参数,调整上述多媒体串流的音频串流与上述另一个多媒体串流的音频串流为已调整音频串流。例如,调整对应于各音频串流的音量与环绕音场定位。接着,混合所有已调整音频串流为混合音频串流。藉此,在播放混合音频串流时,不仅可有效地降低以往将各个音频串流独立播放时的嘈杂感,使用者也可以感受到对应于不同视窗的音效与/或音场变化。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明之精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视申请专利范围所界定者为准。

Claims (12)

1.一种多视窗架构下的音频播放方法,适用于一多媒体播放系统的一音频播放装置,其特征是,所述多媒体播放系统用以播放多个多媒体串流,所述多个多媒体串流至少包括一第一多媒体串流与一第二多媒体串流,所述第一多媒体串流包括一第一视频串流与一第一音频串流,所述第二多媒体串流包括一第二视频串流与一第二音频串流,所述多媒体播放系统包括一视频播放装置,所述视频播放装置利用一显示装置上的一第一视窗播放所述第一视频串流,并利用所述显示装置上的一第二视窗播放所述第二视频串流,所述音频播放方法包括:
取得所述第一视窗与所述第二视窗对应于所述显示装置的一第一视窗参数与一第二视窗参数;
根据所述第一视窗参数与所述第二视窗参数,计算一调整参数;
根据所述调整参数,进行一调整步骤,用于调整所述第一音频串流与所述第二音频串流为一第一已调整音频串流与一第二已调整音频串流;以及
混合所述第一已调整音频串流与所述第二已调整音频串流为一混合音频串流。
2.根据权利要求1所述的音频播放方法,其特征是,所述调整步骤包含下列步骤之一及其任意组合:
调整所述第一音频串流的音量设定;
调整所述第二音频串流的音量设定;
根据一第一环绕音场定位资讯调整所述第一音频串流,其中所述第一环绕音场定位资讯指示所述音频播放装置的一环绕音场设定;以及
根据一第二环绕音场定位资讯调整所述第二音频串流,其中所述第二环绕音场定位资讯指示所述音频播放装置的一环绕音场设定。
3.根据权利要求2所述的音频播放方法,其特征是,所述第一环绕音场定位资讯与/或所述第二环绕音场定位资讯与所述调整参数相关,其中所述调整参数的计算与下列之一与其任意组合相关:
所述视频播放装置与使用者之间的一预定距离;
所述音效输出装置与使用者之间相对位置;
所述第一视窗的前景与背景信息;
所述第二视窗的前景与背景信息;以及
所述第一视窗与所述第二视窗的相对显示位置。
4.根据权利要求2所述的音频播放方法,其特征是,所述第一音频串流的音量设定与/或所述第二音频串流的音量设定与所述调整参数相关,其中所述调整参数的计算与下列之一与其任意组合相关:
所述第一视窗的视窗尺寸;
所述第二视窗的视窗尺寸;以及
所述第一视窗与所述第二视窗的相对尺寸。
5.根据权利要求1所述的音频播放方法,其特征是,所述调整参数更包含以下参数之一及其任意组合:
所述视频播放装置与使用者之间的一预定距离;
所述音效输出装置与使用者之间相对位置;
所述第一视窗的前景与背景信息;
所述第二视窗的前景与背景信息;
所述第一视窗的视窗尺寸;
所述第二视窗的视窗尺寸;
所述第一视窗与所述第二视窗的相对尺寸;以及
所述第一视窗与所述第二视窗的相对显示位置。
6.根据权利要求5所述的音频播放方法,其特征是,所述方法更包括当所述调整参数所包含的参数有所变化时,重新执行所述音频串流调整方法。
7.一种音频播放装置,适用于一多媒体播放系统,其特征是,所述多媒体播放系统用以播放多个多媒体串流,所述多个多媒体串流至少包括一第一多媒体串流与一第二多媒体串流,所述第一多媒体串流包括一第一视频串流与一第一音频串流,所述第二多媒体串流包括一第二视频串流与一第二音频串流,所述多媒体播放系统包括一视频播放装置,所述视频播放装置利用一显示装置上的一第一视窗播放所述第一视频串流,并利用所述显示装置上的一第二视窗播放所述第二视频串流,所述音频播放装置包括:
一控制装置,连接所述显示装置,用以取得所述第一视窗与所述第二视窗对应于所述显示装置的一第一视窗参数与一第二视窗参数,并且根据所述第一视窗参数与所述第二视窗参数,计算一调整参数;
一调整装置,连接所述控制装置,用于根据所述调整参数调整所述第一音频串流与所述第二音频串流为一第一已调整音频串流与一第二已调整音频串流;以及
一混合装置,连接所述调整装置,用以混合所述第一已调整音频串流与所述第二已调整音频串流为一混合音频串流。
8.根据权利要求7所述的音频播放装置,其特征是,所述调整装置调整所述第一音频串流的音量设定、调整所述第二音频串流的音量设定、根据一第一环绕音场定位资讯调整所述第一音频串流与/或根据一第二环绕音场定位资讯调整所述第二音频串流,
其中所述第一环绕音场定位资讯指示所述音频播放装置的一环绕音场设定,并且所述第二环绕音场定位资讯指示所述音频播放装置的一环绕音场设定。
9.根据权利要求8所述的音频播放装置,其特征是,所述第一环绕音场定位资讯与/或所述第二环绕音场定位资讯与所述调整参数相关,其中所述控制装置根据所述视频播放装置与使用者之间的一预定距离、所述音效输出装置与使用者之间相对位置、所述第一视窗的前景与背景信息、所述第二视窗的前景与背景信息及所述第一视窗与所述第二视窗的相对显示位置其中之一或其任意组合,计算所述调整参数。
10.根据权利要求8所述的音频播放装置,其特征是,所述第一音频串流的音量设定与/或所述第二音频串流的音量设定与所述调整参数相关,其中所述控制装置根据所述第一视窗的视窗尺寸、所述第二视窗的视窗尺寸及所述第一视窗与所述第二视窗的相对尺寸其中之一或其任意组合,计算所述调整参数。
11.根据权利要求7所述的音频播放装置,其特征是,所述调整参数更包含以下参数之一及其任意组合:
所述视频播放装置与使用者之间的一预定距离;
所述音效输出装置与使用者之间相对位置;
所述第一视窗的前景与背景信息;
所述第二视窗的前景与背景信息;
所述第一视窗的视窗尺寸;
所述第二视窗的视窗尺寸;
所述第一视窗与该第二视窗的相对尺寸;以及
所述第一视窗与该第二视窗的相对显示位置。
12.一种多媒体播放系统,其特征是,用以播放多个多媒体串流,所述多个多媒体串流至少包括一第一多媒体串流与一第二多媒体串流,所述第一多媒体串流包括一第一视频串流与一第一音频串流,所述第二多媒体串流包括一第二视频串流与一第二音频串流,所述多媒体播放系统包括:
一视频播放装置,用以在一显示装置的一第一视窗上播放所述第一视频串流与一第二视窗上播放所述第二视频串流;以及
一音频播放装置,用以播放所述第一音频串流与所述第二音频串流,其中所述音频播放装置包括:
一控制装置,连接所述显示装置,用以取得所述第一视窗与所述第二视窗对应于所述显示装置的一第一视窗参数与一第二视窗参数,并且根据所述第一视窗参数与所述第二视窗参数,计算一调整参数;
一调整装置,连接所述控制装置,用于根据所述调整参数调整所述第一音频串流与所述第二音频串流为一第一已调整音频串流与一第二已调整音频串流;以及
一混合装置,连接所述调整装置,用以混合所述第一已调整音频串流与所述第二已调整音频串流为一混合音频串流。
CN201210344921.0A 2012-09-17 2012-09-17 多视窗架构下的音频播放方法、音频播放装置与系统 Active CN103680550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210344921.0A CN103680550B (zh) 2012-09-17 2012-09-17 多视窗架构下的音频播放方法、音频播放装置与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210344921.0A CN103680550B (zh) 2012-09-17 2012-09-17 多视窗架构下的音频播放方法、音频播放装置与系统

Publications (2)

Publication Number Publication Date
CN103680550A true CN103680550A (zh) 2014-03-26
CN103680550B CN103680550B (zh) 2017-02-08

Family

ID=50317886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210344921.0A Active CN103680550B (zh) 2012-09-17 2012-09-17 多视窗架构下的音频播放方法、音频播放装置与系统

Country Status (1)

Country Link
CN (1) CN103680550B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859566A (zh) * 2006-01-18 2006-11-08 华为技术有限公司 一种用于可视电话视频音频信号传输的装置及方法
CN101911676A (zh) * 2008-01-15 2010-12-08 联发科技股份有限公司 用以播放复数个视频信号以及复数个音频信号的多媒体处理装置及其方法以及多媒体播放系统
CN102270456A (zh) * 2010-06-07 2011-12-07 华为终端有限公司 一种音频信号的混音处理方法及装置
US20120133748A1 (en) * 2009-07-09 2012-05-31 Chung Hyun-Kwon Signal processing method and apparatus therefor using screen size of display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859566A (zh) * 2006-01-18 2006-11-08 华为技术有限公司 一种用于可视电话视频音频信号传输的装置及方法
CN101911676A (zh) * 2008-01-15 2010-12-08 联发科技股份有限公司 用以播放复数个视频信号以及复数个音频信号的多媒体处理装置及其方法以及多媒体播放系统
US20120133748A1 (en) * 2009-07-09 2012-05-31 Chung Hyun-Kwon Signal processing method and apparatus therefor using screen size of display device
CN102270456A (zh) * 2010-06-07 2011-12-07 华为终端有限公司 一种音频信号的混音处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备

Also Published As

Publication number Publication date
CN103680550B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
US11733845B2 (en) Automatically adjusting media display in a personal display system
US10390166B2 (en) System and method for mixing and adjusting multi-input ambisonics
RU2721410C2 (ru) Способ и устройство для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства (hapspace) пользователя
US10848894B2 (en) Controlling audio in multi-viewpoint omnidirectional content
US20180199020A1 (en) Audio alteration techniques
CN102347043A (zh) 多角度视频播放方法和系统
EP3539015B1 (en) Methods, systems, and media for modifying the presentation of video content on a user device based on a consumption of the user device
EP3364638A1 (en) Recording method, recording playing method and apparatus, and terminal
CN111903137B (zh) 基于用户的姿势混合音频
WO2011081036A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20140189601A1 (en) Display apparatus and method for controlling display apparatus thereof
CN108366299A (zh) 一种媒体播放方法以及装置
CN105657396A (zh) 一种播放视频的处理方法及装置
CN112673651A (zh) 多视点多用户音频用户体验
CN106375811A (zh) 一种节目的播放控制方法和装置
WO2013005518A1 (ja) 画像出力装置、画像出力方法、およびプログラム
CN101355666A (zh) 一种声音定位的系统
CN103680550A (zh) 多视窗架构下的音频播放方法、音频播放装置与系统
CN113132769A (zh) 显示设备及音画同步方法
CN107743710B (zh) 显示装置及其控制方法
CN117083854A (zh) 选择性运动补偿帧内插
CN104615434B (zh) 一种文件列表界面的显示方法及显示系统
KR20180031137A (ko) 360도 영상 기반의 클라우드 오디오 렌더링 서버
US20120294593A1 (en) Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
EP3321795A1 (en) An apparatus and associated methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant