CN107301028A - 一种基于多人远程通话的音频数据处理方法及装置 - Google Patents

一种基于多人远程通话的音频数据处理方法及装置 Download PDF

Info

Publication number
CN107301028A
CN107301028A CN201610230827.0A CN201610230827A CN107301028A CN 107301028 A CN107301028 A CN 107301028A CN 201610230827 A CN201610230827 A CN 201610230827A CN 107301028 A CN107301028 A CN 107301028A
Authority
CN
China
Prior art keywords
terminal
orientation
relative
channel
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610230827.0A
Other languages
English (en)
Other versions
CN107301028B (zh
Inventor
柳林东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610230827.0A priority Critical patent/CN107301028B/zh
Publication of CN107301028A publication Critical patent/CN107301028A/zh
Application granted granted Critical
Publication of CN107301028B publication Critical patent/CN107301028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal

Abstract

本申请公开了一种基于多人远程通话的音频数据处理方法及装置。第二终端接收若干第一终端发送的音频数据,分别确定各第一终端相对于该第二终端的方位,针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数,音频播放参数用于调节音频数据在第二终端自身的各声道中的播放效果,根据生成的所述音频播放参数,在第二终端自身的各声道中播放所述音频数据。这里的音频播放参数就决定了音频数据在第二终端的各声道中的播放效果,从而,第二终端将根据该第一终端的音频播放参数,在自身的各声道中以不同的播放效果播放该音频数据,较符合实际的通话场景。

Description

一种基于多人远程通话的音频数据处理方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于多人远程通话的音频数据处理方法及装置。
背景技术
随着信息技术的发展,终端上的通讯功能越来越丰富,用户不仅可以使用通讯功能与其他用户进行文字交互(如:用户之间相互发送即时通讯消息),还可以实现用户之间远程的音频、视频通讯(如:多人电话会议、视频会议等)。
现有技术中,在用户之间进行包含音频的通讯过程中,发出语音的用户(以下称为:第一用户)所使用的音频采集设备(以下称为:第一终端),可将该用户发出的语音转变为音频数据,发送给处于通讯场景下的对方用户(以下称为:第二用户),从而,第二用户通过相应的音频输出设备(以下称为:第二终端),并由该第二终端的各声道输出上述的音频数据,使得第二用户听到第一用户的语音。
但是,在多个用户进行包含音频的通讯的场景下,对于第二终端所接收到的任一第一终端发送的音频数据而言,该第二终端各声道所输出的该音频数据的输出参数均一致,这样难以反映出实际的多人通话场景,尤其在目前现实增强的趋势下,模拟现实的交互场景已成为通讯的发展方向之一,显然,现有技术中的语音通讯方式与实际的通话场景并不相符。
发明内容
本申请实施例提供一种基于多人远程通话的音频数据处理方法,用以解决现有技术中多人的远程语音通讯方式与实际的通话场景不符的问题。
本申请实施例提供一种基于多人远程通话的音频数据处理装置,用以解决现有技术中多人的远程语音通讯方式与实际的通话场景不符的问题。
本申请实施例采用下述技术方案:
本申请实施例提供的一种基于多人远程通话的音频数据处理方法,包括:
第二终端接收若干第一终端发送的音频数据;
分别确定各第一终端相对于该第二终端的方位;
针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数;
根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
本申请实施例提供的一种基于多人远程通话的音频数据处理装置,包括:
接收模块,接收第一终端发送的音频数据;
方位确定模块,分别确定各第一终端相对于该第二终端的方位;
参数确定模块,针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数;
播放处理模块,根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
在多人远程通话场景下,第二终端在接收到第一终端发送的音频数据之后,将确定第一终端相对于该第二终端自身的方位,若第一终端的方位不同,那么第二终端中的各声道在播放音频数据时的播放效果就会产生差异,故第二终端将基于第一终端的方位,确定出第一终端所对应的音频播放参数,这里的音频播放参数就决定了音频数据在第二终端的各声道中的播放效果,从而,第二终端将根据该第一终端的音频播放参数,在自身的各声道中以不同的播放效果播放该音频数据,这样就可实现终端在播放通讯语音时,能够体现出音源方位的差异,进一步能够丰富语音通讯的真实感,较符合实际的通话场景。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的基于多人远程通话的音频数据处理过程示意图;
图2a~2b为本申请实施例提供的基于地理位置确定终端方位的示意图;
图3a~3b为本申请实施例提供的基于用户设定终端方位的示意图;
图4a~4c为本申请实施例提供的一种实际应用场景下第二终端播放音频时的示意图;
图4d为本申请实施例提供的一种实际应用场景下多个第一终端相对于第二终端的方位的示意图;
图5为本申请实施例提供的基于多人远程通话的音频数据处理装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如前所述,对于进行包含语音的多人远程通话的多方用户而言,接收语音的用户所使用的终端在播放语音时,其各声道中的音频播放参数均一致,换言之,终端各声道中输出的语音的音效也保持一致,这样一来,并不能体现出实际通话场景下,对话的多方之间方向的不同。
考虑到实际应用中,诸如虚拟现实(Virtual Reality、VR)、增强现实(Augmented Reality、AR)等现实增强模式已成为通讯的发展方向之一,在用户之间进行通讯的过程中,不再局限于“界面至界面”的交互,而是通过立体的音效、视觉效果等丰富用户之间的交互场景。
显然,这就需要终端在播放通讯语音时能够体现出立体的音效,以便反映出实际的通话场景。故在本申请实施例中,提供一种基于多人远程通话的音频数据处理方法,如图1所示,以实现终端在播放语音时,能够体现出音源方位的差异,从而丰富语音通讯的场景(为了后续便于描述,以下将包含有语音的多人远程通话的场景,简称为语音通讯,也即,在本申请实施例的后续内容中,语音通讯,特指包含有语音的多人远程通话的场景,具体可以是视频通话场景,也可以是语音通话场景,这里并不构成对本申请的限定)。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,示出了本申请实施中的基于多人远程通话的音频数据处理过程,该过程具体包括以下步骤:
S101:第二终端接收若干第一终端发送的音频数据。
其中,第一终端和第二终端,包括但不限于:具有声音采集、声音输出功能的移动终端(如:手机、平板电脑等)或计算机终端。声音采集功能可通过诸如麦克风等器件实现;声音输入功能可通过扬声器、耳机、音箱等器件实现。上述器件可以设置于终端内部,也可以外接设备的方式与终端连接,这里并不构成对本申请的限定。
在实际应用场景中的一种方式下,第一终端和第二终端均具有语音、视频等通讯功能,用户可以直接使用第一终端和第二终端实现通讯(例如:使用终端内系统自带的语音通话、视频通话等通讯功能实现)。在另一种方式下,第一终端和第二终端内均安装有支持通讯的客户端(如:即时通讯APP),从而,用户可以通过各自终端上的客户端进行包含语音通讯。
音频数据,是由第一终端实时采集用户的语音后转换生成的音频数据。第一终端发送的音频数据可经过电信运营商的服务器,或在线系统(如:网站)的服务器后,由服务器转发给第二终端。当然,在第一终端和第二终端同时接入同一无线局域网的情况下,第一终端也可以通过无限局域网将音频数据直接发送给第二终端。
这里需要说明的是,在实际应用中,语音通讯场景下,最少包含三个用户,也即,最少包含三个终端。那么,对应于上述场景,上述步骤中的第一终端的数量最少为两个。并且,对于进行语音通讯的任一终端而言,既可以作为第一终端,也可以作为第二终端。这里并不构成对本申请的限定。
S102:分别确定各第一终端相对于该第二终端的方位。
本申请实施例中所述的方位,具体可以指各终端相对于某一终端的方向(换言之,通常可不考虑终端之间的距离,这里并不构成对本申请的限定)。
考虑到在实际的多人的通话场景中,对于该通话场景中的收听者而言,由于发声者与该收听者之间的方位的不同,从而使得收听者可以感受到不同的对话音效。
基于此,对于任一参与语音通讯的终端而言,若要体现出实际的对话交互场景,就需要明确出其他的终端的方位,故在本申请实施例中,对于第二终端而言,将确定第一终端基于第二终端的相对方位。
S103:针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数。
其中,所述音频播放参数用于调节所述音频数据在第二终端自身的各声道中的播放效果。
在本申请实施例中,音频播放参数可以包括:音频数据在第二终端的各声道中的音量参数、音调参数、音色参数等等。相应地,播放效果就可以是音频数据在各声道中的音量大小、音调高低、音色强弱等等。这里并不构成对本申请的限定。
例如:假设第一终端相对于第二终端的方位为:第二终端的左侧,同时假设,第二终端自身具有左、右声道,那么,按照声音在自然世界中的传播特性,第二终端左声道的所接收到的声音的强度应该高于右声道接收的声音的强度,故基于此,可确定该第一终端的音频播放参数在第二终端的左声道的音频播放参数的数值,高于在第二终端的右声道的音频播放参数的数值。换言之,由于假设第一终端位于第二终端左侧,那么,第一终端发送的音频数据在播放时,将更加偏向于第二终端的左声道,以体现出第一终端位于第二终端的左侧。
当然,在多个第一终端参与语音通讯的场景下,第二终端将分别确定每一个第一终端所对应的音频播放参数。
确定音频播放参数具体可以由相应的音频处理芯片实现,可以理解,该音频处理芯片基于相应的音频处理算法,确定音频数据的音频播放参数,以便于模拟出实际通话场景中的音效。这里并不构成对本申请的限定。
S104:根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
在确定了第一终端的音频播放参数后,便可以在第二终端的各声道中播放该音频数据,该音频数据在不同声道中的播放效果,将由该第一终端的音频播放参数所决定。
如前述示例,在播放音频数据时,第二终端左声道的音效将强于右声道的声音,从而体现出第一终端位于第二终端的左侧。
通过上述步骤,在包含语音的语音通讯场景下,第二终端在接收到第一终端发送的音频数据之后,将确定第一终端相对于该第二终端自身的方位,若第一终端的方位不同,那么第二终端中的各声道在播放音频数据时的播放效果就会产生差异,故第二终端将基于第一终端的方位,确定出第一终端所对应的音频播放参数,这里的音频播放参数就决定了音频数据在第二终端的各声道中的播放效果,从而,第二终端将根据该第一终端的音频播放参数,在自身的各声道中以不同的播放效果播放该音频数据,这样就可实现终端在播放语音时,能够体现出音源方位的差异,进一步能够丰富语音通讯的真实感,较符合实际的通话场景。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,具体而言,执行主体可以是第二终端。
在实际应用中,对语音通讯中第一终端方位的确定,将影响后续音频数据在第二终端的各声道中的播放效果,为了体现出实际的通话场景,在本申请实施例中,可以采用不同的方法来确定第一终端所处的方位。
第一种确定方位的方法(确定各终端的实际位置):
考虑到各终端进行语音通讯时,通常需要网络的支持,那么,就可以通过网络获取基于位置服务(Location Based Service,LBS),从而进一步确定出各终端的实际的地理位置,所以在该方法中,分别确定各第一终端相对于该第二终端的方位,具体包括:分别确定所述各第一终端及第二终端的地理位置,根据确定出的所述地理位置,分别确定每一第一终端相对于该第二终端的方位。
地理位置可由终端所在的经纬度坐标确定(通过LBS,可以较为准确地获得终端的经纬度坐标,这里不作具体说明),例如:如图2a所示,第一终端位于L1处,其经纬度坐标为(100.02,30.08),第二终端位于L2处,其经纬度坐标为(100.06,30.08),从而,可以确定第一终端的实际位置位于第二终端的西侧,那么,按照如图2a所示的坐标系状态,对应至语音通讯场景中,可将第一终端的方位确定为:处于第二终端的左侧,即,如图2b所示。
第二种确定方位的方法(确定各终端的虚拟位置):
若要体现出终端的方位差异,除了上述确定出各终端的实际位置之外,还可假定各终端的方位(即,假定虚拟位置)。基于此,在本方法中,有两种不同的设定各终端虚拟位置的方式,具体而言:
第一种方式,用户可以自行定义各终端的方位,也即,分别确定各第一终端相对于该第二终端的方位,具体包括:接收用户针对各第一终端的方位设定操作,根据所述方位设定操作,分别确定每一所述第一终端相对于所述第二终端的方位。
上述的方位设定操作,可以由使用第一终端的用户发出,例如:假设各用户通过安装在终端中的通讯APP进行语音通讯,该通讯APP在建立各方的语音通讯时,可以提供相应的位置设定界面,如图3a所示,用户可以在该位置设定界面中进行诸如点击、拖动等操作,选定自身的位置,作为语音通讯中终端的虚拟位置,在图3a中,位置设定界面中还显示有进行语音通讯的其他用户所选定的位置(图3a中以虚线方框表示的用户A、B、C的方位)。当然,这里并不构成对本申请的限定。
方位设定操作也可由使用第二终端的用户发出,也就是说,使用第二终端的用户也可以通过相应的位置设定界面,来设定第一终端的虚拟位置。例如:如图3b所示,在位置设定界面中,用户通过拖拽操作,将第一终端A设置于该用户的左侧,将第一终端B设置于该用户的右侧,从而,该用户所使用的第二终端便会将第一终端A的方位确定为:在第二终端的左侧;相应地,将第一终端B的方位确定为:在第二终端的右侧。
第二种方式,终端可以按照默认规则分别确定每一所述第一终端相对于所述第二终端的方位。如:默认规则可以是随机设定方位的规则,那么,第二终端将针对第一终端,随机地确定相对于第二终端的方位。又如:默认规则可以是按照各终端接入语音通讯会话的时间顺序,以第二终端为基准,分别设定由左至右的方位。默认规则可以根据实际应用的需要进行定义,这里并不构成对本申请的限定。
经过上述过程,确定了第一终端相对于第二终端的方位之后,便可以确定出第一终端所对应的音频播放参数。具体而言,确定该第一终端对应的音频播放参数,具体包括:确定所述第二终端自身的各声道相对于该第二终端的部位,根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数。
为了清楚的描述确定音频播放参数的过程,下面以音频播放参数包括:音频数据在各声道中的音量值的场景进行详细说明。
假设在该场景中,如图4a所示,第二终端具有位于该第二终端左侧部位的左声道(扬声器1)、以及位于该第二终端右侧部位的右声道(扬声器2)。
若所述第一终端位于所述第二终端左侧,则根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数,具体包括:根据所述左、右声道,以及位于所述第二终端左侧的第一终端,将所述第一终端在左声道的音量值设置为大于右声道的音量值。
例如:如图4b所示,将第一终端发出的音频数据在扬声器1的音量设置为90%,而在扬声器2的音量设置为10%,这样一来,对于使用第二终端的用户而言,所听见的声音就能够体现出第一终端位于第二终端的左侧。
相应地,若所述第一终端位于所述第二终端右侧,则根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数,具体包括:根据所述左、右声道,以及位于所述第二终端右侧的第一终端,将所述第一终端在右声道的音量值设置为大于左声道的音量值。
例如:如图4c所示,将第一终端发出的音频数据在扬声器2的音量设置为90%,而在扬声器1的音量设置为10%,这样一来,对于使用第二终端的用户而言,所听见的声音就能够体现出第一终端位于第二终端的右侧。
上述示例中所设置的音量的具体数值可以由相应的音频处理算法计算得到,作为一种较为简易的方式,可以结合各第一终端相对于第二终端的方位角度,计算出音频数据在各声道中的音量值。
例如:如图4d所示,有三个第一终端A、B、C,那么,对于这三个第一终端而言,可分别将其发出的音频数据在第二终端的左、右声道中的音量值设置如下:
第一终端A,左声道音量75%,左声道音量25%;
第一终端B,左声道音量50%,左声道音量50%;
第一终端C,左声道音量25%,左声道音量75%。
另外需要说明的是,第二终端还可能具有多个声道(如:终端与环绕音箱相连接时,每个音箱都可作为一个声道,其数量通常大于2个),此时,可按照上述内容,设置对应于各声道的音频播放参数。具体例如:假设第二终端具有如下声道:
左声道1、左声道2、右声道1、右声道2。
并假设第一终端的位置在第二终端左侧,那么,各声道中的音量值设置如下:
左声道1音量90%;左声道2音量75%;右声道1音量55%;右声道2音量15%。当然,这里仅是对多声道的情况所进行的简单示例,在实际应用中,各声道播放的音量值的大小,可以根据实际需要进行调整设置,这里并不构成对本申请的限定。
以上示例中均以音量值为例,在实际应用中,还可以对音色、音调等参数进行设定,这里不再具体赘述。
结合上述内容可知,在确定了第一终端所对应的音频播放参数后,第二终端就可以在播放音频数据的过程中,调节各声道中的播放效果,也即,具体而言,根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据,具体包括:针对所述第二终端的任一声道,根据所述各第一终端的各音频播放参数,播放各第一终端发送的各音频数据,并调节各第一终端发送的各音频数据的播放效果。
以上为本申请实施例提供的基于多人远程通话的音频数据处理方法,基于同样的思路,本申请实施例还提供一种基于多人远程通话的音频数据处理装置。
如图5所示,基于多人远程通话的音频数据处理装置,设置于第二终端侧,该装置包括:
接收模块501,接收若干第一终端发送的音频数据;
方位确定模块502,分别确定各第一终端相对于该第二终端的方位;
参数确定模块503,针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数。
其中,所述音频播放参数用于调节所述音频数据在第二终端自身的各声道中的播放效果;
播放处理模块504,根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
具体地,所述方位确定模块502,分别确定所述各第一终端及第二终端的地理位置,根据确定出的所述地理位置,确定每一第一终端相对于该第二终端的方位。
所述方位确定模块502,接收用户针对该第一终端的方位设定操作,根据所述方位设定操作,分别确定每一所述第一终端相对于所述第二终端的方位;或
按照默认规则分别确定所述第一终端相对于所述第二终端的方位。
所述参数确定模块503,确定所述第二终端自身的各声道相对于该第二终端的部位,根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数。
所述音频播放参数,包括音频数据在各声道中的音量参数、音调参数、音色参数中的至少一种;
所述播放效果包括:音量大小、音调高低、音色强弱中的至少一种。
作为本申请实施例中的一种场景:所述第二终端具有位于该第二终端左侧部位的左声道、以及位于该第二终端右侧部位的右声道;所述音频播放参数包括:音频数据在各声道中的音量值。
基于此,若所述第一终端位于所述第二终端左侧,则所述参数确定模块503,根据所述左、右声道,以及位于所述第二终端左侧的第一终端,将所述第一终端在左声道的音量值设置为大于右声道的音量值;
若所述第一终端位于所述第二终端左侧,则所述参数确定模块503,根据所述左、右声道,以及位于所述第二终端右侧的第一终端,将所述第一终端在右声道的音量值设置为大于左声道的音量值。
所述播放处理模块504,针对所述第二终端的任一声道,根据所述各第一终端的各音频播放参数,播放各第一终端发送的各音频数据,并调节各第一终端发送的各音频数据的播放效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种基于多人远程通话的音频数据处理方法,其特征在于,包括:
第二终端接收若干第一终端发送的音频数据;
分别确定各第一终端相对于该第二终端的方位;
针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数;
根据所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
2.如权利要求1所述的方法,其特征在于,分别确定各第一终端相对于该第二终端的方位,具体包括:
分别确定所述各第一终端及第二终端的地理位置;
根据确定出的所述地理位置,确定每一第一终端相对于该第二终端的方位。
3.如权利要求1所述的方法,其特征在于,分别确定各第一终端相对于该第二终端的方位,具体包括:
接收用户针对各第一终端的方位设定操作;
根据所述方位设定操作,分别确定每一所述第一终端相对于所述第二终端的方位;或
按照默认规则分别确定每一所述第一终端相对于所述第二终端的方位。
4.如权利要求1所述的方法,其特征在于,确定该第一终端对应的音频播放参数,具体包括:
确定所述第二终端自身的各声道相对于该第二终端的部位;
根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数。
5.如权利要求4所述的方法,其特征在于,所述音频播放参数,包括音频数据在各声道中的音量参数、音调参数、音色参数中的至少一种;
所述播放效果包括:音量大小、音调高低、音色强弱中的至少一种。
6.如权利要求5所述的方法,其特征在于,所述第二终端具有位于该第二终端左侧部位的左声道、以及位于该第二终端右侧部位的右声道;所述音频播放参数包括:音频数据在各声道中的音量值;
若所述第一终端位于所述第二终端左侧,则根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数,具体包括:
根据所述左、右声道,以及位于所述第二终端左侧的第一终端,将所述第一终端在左声道的音量值设置为大于右声道的音量值;
若所述第一终端位于所述第二终端右侧,则根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数,具体包括:
根据所述左、右声道,以及位于所述第二终端右侧的第一终端,将所述第一终端在右声道的音量值设置为大于左声道的音量值。
7.如权利要求1所述的方法,其特征在于,根据生成的所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据,具体包括:
针对所述第二终端的任一声道,根据所述各第一终端的各音频播放参数,播放各第一终端发送的各音频数据,并调节各第一终端发送的各音频数据的播放效果。
8.一种基于多人远程通话的音频数据处理装置,其特征在于,设置于第二终端侧,所述装置包括:
接收模块,接收若干第一终端发送的音频数据;
方位确定模块,分别确定各第一终端相对于该第二终端的方位;
参数确定模块,针对任一第一终端,根据确定出的该第一终端相对于该第二终端的方位,确定该第一终端对应的音频播放参数;
播放处理模块,根据所述音频播放参数,在所述第二终端自身的各声道中播放所述音频数据。
9.如权利要求8所述的装置,其特征在于,所述方位确定模块,分别确定所述各第一终端及第二终端的地理位置,根据确定出的所述地理位置,确定每一第一终端相对于该第二终端的方位。
10.如权利要求8所述的装置,其特征在于,所述方位确定模块,接收用户针对各第一终端的方位设定操作,根据所述方位设定操作,分别确定每一所述第一终端相对于所述第二终端的方位;或
按照默认规则分别确定每一所述第一终端相对于所述第二终端的方位。
11.如权利要求8所述的装置,其特征在于,所述参数确定模块,确定所述第二终端自身的各声道相对于该第二终端的部位,根据确定出的各声道相对于该第二终端的部位,以及所述各第一终端相对于所述第二终端的方位,确定该第一终端对应的音频播放参数。
12.如权利要求11所述的装置,其特征在于,所述音频播放参数,包括音频数据在各声道中的音量参数、音调参数、音色参数中的至少一种;
所述播放效果包括:音量大小、音调高低、音色强弱中的至少一种。
13.如权利要求12所述的装置,其特征在于,所述第二终端具有位于该第二终端左侧部位的左声道、以及位于该第二终端右侧部位的右声道;所述音频播放参数包括:音频数据在各声道中的音量值;
若所述第一终端位于所述第二终端左侧,则所述参数确定模块,根据所述左、右声道,以及位于所述第二终端左侧的第一终端,将所述第一终端在左声道的音量值设置为大于右声道的音量值;
若所述第一终端位于所述第二终端左侧,则所述参数确定模块,根据所述左、右声道,以及位于所述第二终端右侧的第一终端,将所述第一终端在右声道的音量值设置为大于左声道的音量值。
14.如权利要求8所述的装置,其特征在于,所述播放处理模块,针对所述第二终端的任一声道,根据所述各第一终端的各音频播放参数,播放各第一终端发送的各音频数据,并调节各第一终端发送的各音频数据的播放效果。
CN201610230827.0A 2016-04-14 2016-04-14 一种基于多人远程通话的音频数据处理方法及装置 Active CN107301028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230827.0A CN107301028B (zh) 2016-04-14 2016-04-14 一种基于多人远程通话的音频数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610230827.0A CN107301028B (zh) 2016-04-14 2016-04-14 一种基于多人远程通话的音频数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107301028A true CN107301028A (zh) 2017-10-27
CN107301028B CN107301028B (zh) 2020-06-02

Family

ID=60136753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610230827.0A Active CN107301028B (zh) 2016-04-14 2016-04-14 一种基于多人远程通话的音频数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107301028B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备
CN111263182A (zh) * 2020-02-26 2020-06-09 广州华多网络科技有限公司 连麦方法、装置、设备及存储介质
CN113301294A (zh) * 2021-05-14 2021-08-24 深圳康佳电子科技有限公司 一种通话控制方法、装置及智能终端
CN113422868A (zh) * 2021-05-19 2021-09-21 荣耀终端有限公司 语音通话方法和装置
CN114667744A (zh) * 2020-09-30 2022-06-24 华为技术有限公司 实时通信方法、装置和系统
CN115914457A (zh) * 2022-10-28 2023-04-04 维沃移动通信有限公司 音频处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069777A (zh) * 2010-07-16 2013-04-24 T-Mobile国际奥地利有限公司 用于移动通信的方法
US20130265487A1 (en) * 2012-04-06 2013-10-10 Realtek Semiconductor Corp. Video playback system and related computer program product for jointly displaying video with multiple screens
CN103414992A (zh) * 2013-07-24 2013-11-27 苏州佳世达电通有限公司 一种音讯调整系统
CN103593047A (zh) * 2013-10-11 2014-02-19 北京三星通信技术研究有限公司 移动终端及其操控方法
CN103716729A (zh) * 2012-09-29 2014-04-09 联想(北京)有限公司 输出音频的方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069777A (zh) * 2010-07-16 2013-04-24 T-Mobile国际奥地利有限公司 用于移动通信的方法
US20130265487A1 (en) * 2012-04-06 2013-10-10 Realtek Semiconductor Corp. Video playback system and related computer program product for jointly displaying video with multiple screens
CN103716729A (zh) * 2012-09-29 2014-04-09 联想(北京)有限公司 输出音频的方法及电子设备
CN103414992A (zh) * 2013-07-24 2013-11-27 苏州佳世达电通有限公司 一种音讯调整系统
CN103593047A (zh) * 2013-10-11 2014-02-19 北京三星通信技术研究有限公司 移动终端及其操控方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备
CN111263182A (zh) * 2020-02-26 2020-06-09 广州华多网络科技有限公司 连麦方法、装置、设备及存储介质
CN114667744A (zh) * 2020-09-30 2022-06-24 华为技术有限公司 实时通信方法、装置和系统
CN114667744B (zh) * 2020-09-30 2024-03-01 华为技术有限公司 实时通信方法、装置和系统
CN113301294A (zh) * 2021-05-14 2021-08-24 深圳康佳电子科技有限公司 一种通话控制方法、装置及智能终端
CN113422868A (zh) * 2021-05-19 2021-09-21 荣耀终端有限公司 语音通话方法和装置
WO2022242405A1 (zh) * 2021-05-19 2022-11-24 北京荣耀终端有限公司 语音通话方法和装置、电子设备及计算机可读存储介质
CN115914457A (zh) * 2022-10-28 2023-04-04 维沃移动通信有限公司 音频处理方法及装置

Also Published As

Publication number Publication date
CN107301028B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN107301028A (zh) 一种基于多人远程通话的音频数据处理方法及装置
US8073125B2 (en) Spatial audio conferencing
CN106797525B (zh) 用于生成和回放音频信号的方法和设备
US8509454B2 (en) Focusing on a portion of an audio scene for an audio signal
US20080004729A1 (en) Direct encoding into a directional audio coding format
EP3039677B1 (en) Multidimensional virtual learning system and method
US20140226842A1 (en) Spatial audio processing apparatus
CN104869524A (zh) 三维虚拟场景中的声音处理方法及装置
CN101960865A (zh) 用于捕获和呈现多个音频声道的装置
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
CN104871566A (zh) 协作式声音系统
WO2015031080A2 (en) Multidimensional virtual learning audio programming system and method
CN111294724B (zh) 多个音频流的空间重新定位
US11006233B2 (en) Method and terminal for playing audio file in multi-terminal cooperative manner
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
CN105979441A (zh) 一种用于3d音效耳机重放的个性化优化方法
CN106126168A (zh) 一种音效处理方法及装置
CN110972053A (zh) 构造听音场景的方法和相关装置
CN108966114A (zh) 声场重建方法、音频设备、存储介质及装置
US20230353969A1 (en) Location based audio signal message processing
WO2020159602A1 (en) Spatial audio is received from an audio server over a first communication link. the spatial audio is converted by a cloud spatial audio processing system into binaural audio. the binauralized audio is streamed from the cloud spatial audio processing system to a mobile station over a second communication link to cause the mobile station to play the binaural audio on the personal audio delivery device
WO2019130133A1 (en) Audio scene processing
CN104751868A (zh) 语音录制方法、通话录音回放方法以及相关装置和系统
CN114667744B (zh) 实时通信方法、装置和系统
CN116017312A (zh) 一种数据处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1246417

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.