CN106531178A - 一种音频处理方法及装置 - Google Patents

一种音频处理方法及装置 Download PDF

Info

Publication number
CN106531178A
CN106531178A CN201611028097.2A CN201611028097A CN106531178A CN 106531178 A CN106531178 A CN 106531178A CN 201611028097 A CN201611028097 A CN 201611028097A CN 106531178 A CN106531178 A CN 106531178A
Authority
CN
China
Prior art keywords
sound
source
destination object
voice data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611028097.2A
Other languages
English (en)
Other versions
CN106531178B (zh
Inventor
张家重
董毅
李光瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tide (suzhou) Financial Technology Service Co Ltd
Original Assignee
Tide (suzhou) Financial Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tide (suzhou) Financial Technology Service Co Ltd filed Critical Tide (suzhou) Financial Technology Service Co Ltd
Priority to CN201611028097.2A priority Critical patent/CN106531178B/zh
Publication of CN106531178A publication Critical patent/CN106531178A/zh
Application granted granted Critical
Publication of CN106531178B publication Critical patent/CN106531178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明提供了一种音频处理方法及装置,该方法包括:构建虚拟空间,建立所述虚拟空间与实际空间之间的对应关系;还包括:确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹;根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;在所述虚拟空间中,确定目标对象的位置;根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据。本发明提供的方案实现了按照用户的位置处理音频数据。

Description

一种音频处理方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种音频处理方法及装置。
背景技术
随着计算机水平的逐渐提升,各行各业中对多媒体资料如音频的品质要求也逐渐提高。
目前,录制音频时,录音设备在固定位置记录音源随时间变化而变化的音源数据,即录音设备只能记录在其安装位置接收到的音频数据,而用户播放音频时,所处位置很可能与录音设备的安装位置不同,因此,现有技术并不能按照用户的位置处理音频数据。
发明内容
本发明实施例提供了一种音频处理方法及装置,实现了按照用户的位置处理音频数据。
第一方面,本发明实施例提供了一种音频处理方法,包括:构建虚拟空间,建立所述虚拟空间与实际空间之间的对应关系;还包括:
确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹;
根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
在所述虚拟空间中,确定目标对象的位置;
根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据。
优选地,
该方法进一步包括:在所述虚拟空间中,构建空间坐标系;
所述采集每一个所述音源产生的运动轨迹,根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间,包括:
将每一个所述音源作为当前音源,执行:
在所述实际空间中,确定所述当前音源的起始点和终止点;
根据所述对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标;
在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
优选地,
所述根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据,包括:
将每一个所述音源作为当前音源,执行:
在所述当前音源对应的运动轨迹上,确定至少两个目标点;
在所述空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
根据每一个所述目标点对应的目标坐标以及所述位置坐标,利用下述第一计算公式,计算每一个所述目标点与所述目标对象的距离;
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0);
当所述当前音源沿着所述运动轨迹运动时,根据所述每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
优选地,
所述确定所述目标对象接收到的音强变化,包括:
将每一个所述目标点作为当前目标点,执行:
当所述当前音源位于所述当前目标点时,利用下述第二计算公式,计算目标对象接收到的当前音强:
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
优选地,
该方法进一步包括:
接收播放请求;
根据所述播放请求,为所述目标对象播放所述处理后的每一个所述音频数据。
优选地,
所述确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据之后,进一步包括:
在所述至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式;
将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
当对处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述目标对象;
当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
第二方面,本发明实施例提供了一种音频处理装置,包括:构建单元、采集单元和处理单元;其中,
所述构建单元,用于构建虚拟空间,并建立所述虚拟空间与实际空间之间的对应关系;
所述采集单元,用于确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹,并根据所述构建单元构建的对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
所述处理单元,用于在所述虚拟空间中,确定目标对象的位置,并根据所述目标对象的位置和所述采集单元添加到所述虚拟空间的每一个所述运动轨迹,处理每一个所述采集单元采集的所述音频数据。
优选地,
所述构建单元,进一步用于在所述虚拟空间中,构建空间坐标系;
所述采集单元,用于将每一个所述音源作为当前音源,执行:在所述实际空间中,确定所述当前音源的起始点和终止点,并根据所述构建单元构建的对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标,在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
优选地,
所述处理单元,包括:坐标确定子单元、距离计算子单元以及音强变化确定子单元,其中,
所述坐标确定子单元,用于将每一个所述音源作为当前音源,执行:在所述当前音源对应的运动轨迹上,确定至少两个目标点,在所述构建单元构建的空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
所述距离计算子单元,用于根据所述坐标确定子单元确定的每一个所述目标点对应的目标坐标以及所述位置坐标,利用下述第一计算公式,计算每一个所述目标点与所述目标对象的距离;
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0);
所述音强变化确定子单元,用于将每一个所述音源作为当前音源,执行:当所述当前音源沿着所述运动轨迹运动时,根据所述距离计算子单元,计算出的每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
优选地,
所述音强变化确定子单元,用于将每一个所述目标点作为当前目标点,执行:
当所述当前音源位于所述当前目标点时,利用下述第二计算公式,计算目标对象接收到的当前音强:
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
优选地,
该装置进一步包括:编码单元和播放单元;其中,
所述编码单元,用于在所述采集单元确定的至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式,并将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
所述播放单元,用于当对所述编码单元处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述处理单元确定的目标对象,当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
本发明实施例提供了一种音频处理方法及装置,通过预先构建虚拟空间,并建立虚拟空间和实际空间的对应关系,再确定至少一个音源,并采集每一个音源在设定时间段内在实际空间中产生的音频数据和运动轨迹,然后根据预先建立的对应关系,将采集到的至少一个运动轨迹添加到虚拟空间,在所述虚拟空间中,确定目标对象的位置,最后根据目标对象的位置和每一个运动轨迹,处理每一个音频数据,从而实现了按照用户的位置处理音频数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种音频处理方法的流程图;
图2是本发明另一个实施例提供的一种音频处理方法的流程图;
图3是本发明一个实施例提供的一种音频处理装置的结构示意图;
图4是本发明另一个实施例提供的一种音频处理装置的结构示意图;
图5是本发明又一个实施例提供的一种音频处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种音频处理方法,该方法可以包括以下步骤:
步骤101,构建虚拟空间,建立所述虚拟空间与实际空间之间的对应关系;
步骤102,确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹;
步骤103,根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
步骤104,在所述虚拟空间中,确定目标对象的位置;
步骤105,根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据。
在图1所示的实施例中,通过预先构建虚拟空间,并建立虚拟空间和实际空间的对应关系,再确定至少一个音源,并采集每一个音源在设定时间段内在实际空间中产生的音频数据和运动轨迹,然后根据预先建立的对应关系,将采集到的至少一个运动轨迹添加到虚拟空间,在所述虚拟空间中,确定目标对象的位置,最后根据目标对象的位置和每一个运动轨迹,处理每一个音频数据,实现了按照用户的位置处理音频数据。
为了便于采集每一个音源的运动轨迹,在本发明一个实施例中,该音频处理方法进一步包括:在所述虚拟空间中,构建空间坐标系;
步骤102和步骤103的具体实施方式可以包括:
将每一个所述音源作为当前音源,执行:
在所述实际空间中,确定所述当前音源的起始点和终止点;
根据所述对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标;
在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
上述实施例中,将各个音源在实际空间中的起始点和终止点对应到虚拟空间的空间坐标系中,从而在虚拟空间中分别确定各个音源的起始坐标和终止坐标,并且根据起始坐标和终止坐标确定音源的运动轨迹即为从起始坐标到终止坐标;例如,音源A在实际空间中的起始点和终止点对应于虚拟空间中的起始坐标和终止坐标分别为(m1,n1,0)与(m2,n2,0),则音源A的运动轨迹为由此,在实际空间中采集音源的运动轨迹时,只需记录音源在设定时间段内的起始点和终止点,即可确定出音源对应的运动轨迹,减少了采集运动轨迹的工作量,并且操作简单方便,从而提高了音频处理的效率。
为了提高根据目标对象的位置处理相应音频数据的效率,本发明一个实施例中,步骤105的具体实施方式包括:
将每一个所述音源作为当前音源,执行:
在所述当前音源对应的运动轨迹上,确定至少两个目标点;
在所述空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
根据每一个所述目标点对应的目标坐标以及所述位置坐标,计算每一个所述目标点与所述目标对象的距离;
当所述当前音源沿着所述运动轨迹运动时,根据所述每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
例如:上述实施例中,在一个音源的运动轨迹上确定出3个目标点,分别为目标点a、目标点b以及目标点c,相应地,目标点a、目标点b以及目标点c在空间坐标系中的目标坐标对应为坐标1、坐标2及坐标3,另外目标对象的位置对应的位置坐标为坐标4,则根据坐标1和坐标4,计算目标点a与目标对象的距离,根据坐标2和坐标4,计算目标点b与目标对象的距离,根据坐标3和坐标4,计算目标点c与目标对象的距离,不同目标点对目标对象来说,音强不同,从而确定出目标对象接收到的音强变化;根据空间坐标系中目标坐标和位置坐标计算目标点和目标对象之间的距离,计算简单,操作方便,从而提高了根据音源运动轨迹处理相应音频数据的效率。
上述计算每一个所述目标点与所述目标对象的距离,可根据下述距离计算公式(1),进行计算:
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0)。
本发明一个实施例中,所述确定所述目标对象接收到的音强变化,包括:
将每一个所述目标点作为当前目标点,执行:
当所述当前音源位于所述当前目标点时,利用下述计算公式(2),计算目标对象接收到的当前音强:
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
本发明一个实施例中,该方法进一步包括:
接收播放请求;
根据所述播放请求,为所述目标对象播放所述处理后的每一个所述音频数据。
上述实施例中,当接收到目标对象对音频数据的播放请求时,为目标对象播放每一个处理后的音频数据,从而使目标对象接收到根据其当前位置输出的音频数据,提高目标对象的使用体验。
为了进一步提高用户的使用体验,本发明一个实施例中,在步骤102之后,进一步包括:
在所述至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式;
将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
当对处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述目标对象;
当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
上述实施例中,为音频数据分配至少两种播放方式,并将播放方式编码到对应的音频数据中,播放对应的音频数据时,为目标对象提供至少两种播放方式,根据目标对象选定的目标播放方式,为目标对象播放对应的处理后的音频数据;例如,在录制一个游戏的音频时,采集了一段两个人物之间的对话,为这段对话对应的音频数据分配两种播放方式,一种能清晰的听清对话内容,另一种对此对话内容静音,并在对音频数据编码时对两种播放方式做标记,从而使目标对象在播放音频数据时,可根据实际需求选择是否需要收听此段内容,使目标对象与音频数据的互动更加灵活,进而提高目标对象的使用体验。
下面以音源A和音源B产生的音频数据,并需要对音源B的音频数据进行播放方式设定为例,展开说明音频处理方法,如图2所示,该方法可以包括如下步骤:
步骤201,构建虚拟空间,在虚拟空间中构建空间坐标系,并建立虚拟空间与实际空间之间的对应关系。
具体的,在采集音频前,一般先确定采集时实际空间的信息,包括空间大小、是否是密闭空间等等,然后将此实际空间与虚拟空间对应起来。
步骤202,确定至少一个音源,并在设定时间段内,采集实际空间中音源A和音源B产生的音频数据以及音源A和音源B的起始点和终止点。
步骤203,根据对应关系,在空间坐标系中确定音源A的起始点和终止点分别对应的起始坐标和终止坐标,并确定音源A在虚拟空间中的运动轨迹为从起始坐标到终止坐标。
步骤204,根据对应关系,在空间坐标系中确定音源B的起始点和终止点分别对应的起始坐标和终止坐标,并确定音源B在虚拟空间中的运动轨迹为从起始坐标到终止坐标。
步骤202和步骤204中,在实际空间中采集音源的运动轨迹时,记录音源在设定时间段内的起始点和终止点,将实际空间中的起始点和终止点对应到虚拟空间的空间坐标系中,从而在虚拟空间中分别确定各个音源的起始坐标和终止坐标,并且根据起始坐标和终止坐标确定音源的运动轨迹,例如,音源B在实际空间中的起始点和终止点对应于虚拟空间中的起始坐标和终止坐标分别为(m1,n1,0)与(m2,n2,0),则音源B的运动轨迹为并且,步骤203和步骤204的执行顺序不分先后,即步骤203可以和步骤204同时执行,也可以先执行步骤203,再执行步骤204,亦可以先执行步骤204,再执行步骤203,从而使操作简单方便,提高了音频处理的效率。
步骤205,在音源A的运动轨迹上,确定至少两个目标点,并确定每一个目标点在空间坐标系中的目标坐标,并在虚拟空间中,确定目标对象的位置对应的位置坐标。
步骤206,在音源B的运动轨迹上,确定至少两个目标点,并确定每一个目标点在空间坐标系中的目标坐标,并在虚拟空间中,确定目标对象的位置对应的位置坐标。
例如,在音源B的运动轨迹上确定出3个目标点,分别为目标点a、目标点b以及目标点c;并且,步骤205和步骤206的执行顺序不分先后,即步骤205可以和步骤206同时执行,也可以先执行步骤205,再执行步骤206,亦可以先执行步骤205,再执行步骤206。
步骤207,音源A沿着运动轨迹运动时,根据每一个目标点与目标对象的距离以及各个目标点对应的音频数据,确定目标对象接收到的音源A的音强变化。
步骤208,音源B沿着运动轨迹运动时,根据每一个目标点与目标对象的距离以及各个目标点对应的音频数据,确定目标对象接收到的音源B的音强变化。
步骤207和步骤208的执行顺序不分先后,即步骤207可以和步骤208同时执行,也可以先执行步骤207,再执行步骤208,亦可以先执行步骤207,再执行步骤208。
步骤205至步骤208中,在当前音源的运动轨迹上确定至少两个目标点,根据在空间坐标系中至少两个目标点对应的目标坐标和目标对象的位置对应的位置坐标,确定目标点和目标对象的距离,例如,目标点a、目标点b以及目标点c在空间坐标系中的目标坐标对应为坐标1、坐标2及坐标3,另外目标对象的位置对应的位置坐标为坐标4,则根据坐标1和坐标4,计算目标点a与目标对象的距离,根据坐标2和坐标4,计算目标点b与目标对象的距离,根据坐标3和坐标4,计算目标点c与目标对象的距离,不同目标点对目标对象来说,音强不同;
上述目标点与目标对象的距离,可根据下述距离计算公式(1),进行计算:
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0)。
上述目标点对于目标对象的音强,可以根据下述计算公式(2)计算得到:
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
通过上述计算公式(2)计算出的各个目标点对于目标对象的音强,即可确定目标对象接收到的音强变化。
步骤209,为音源B产生的音频数据分配至少两种播放方式,并将至少两种播放方式编码到目标音源对应的音频数据中。
步骤210,接收目标对象的播放请求,当根据播放请求,对处理后的音源B对应的音频数据进行播放时,提供至少两种播放方式给目标对象。
步骤211,当接收到目标对象选定目标播放方式,则按照所述目标播放方式为目标对象播放音源B对应的处理后的音频数据。
步骤209至步骤211中,为了提高用户的体验,处理目标音源的音频数据时,为目标音源分配至少两种播放方式,当播放目标音源对应的音频数据时,为目标对象提供至少两种播放方式,根据目标对象选定的目标播放方式,为目标对象播放对应的处理后的音频数据。
例如,在录制一个游戏的音频时,采集了一段两个人物之间的对话,为这段对话对应的音频数据分配两种播放方式,一种能清晰的听清对话内容,另一种对此对话内容静音,并在对音频数据编码时对两种播放方式做标记,从而使目标对象在播放音频数据时,可根据实际需求选择是否需要收听此段内容,使目标对象与音频数据的互动更加灵活,进而提高目标对象的使用体验。
另外,在录制视频时,也可以采用同样的处理方法,例如在拍摄一段电影的视频时,视频中有主角A和主角B,处理时可为此段视频分配两种播放方式,一种是主角A可观察到的视野,另一种是主角B可观察到的视野,用户在播放此视频时,可以提供给用户一个选择,他可以跟随主角A的视角,也可以跟随主角B的视角,从而观看不同的视野对应的景象;若此段视频对应的音频也采用了同样的处理方式,则用户在观看此段多媒体文件时,可自由选择根据不同视角观看同一个故事,从而丰富了观影体验。
上述实施例中,通过预先构建虚拟空间,并建立虚拟空间和实际空间的对应关系,再确定至少一个音源,并采集每一个音源在设定时间段内在实际空间中产生的音频数据和运动轨迹,然后根据预先建立的对应关系,将采集到的至少一个运动轨迹添加到虚拟空间,在所述虚拟空间中,确定目标对象的位置,最后根据目标对象的位置和每一个运动轨迹,处理每一个音频数据;在此过程中,为至少一个音源的音频数据分配两种播放方式,当播放对应的音频数据时,为目标对象提供至少两种播放方式,根据目标对象选定的目标播放方式,为目标对象播放对应的处理后的音频数据,从而在实现根据目标对象的位置信息为其输出相应的音频数据的同时,进一步增加目标对象与音频数据的互动性,提高用户体验。
如图3所示,本发明一个实施例提供了一种音频处理装置,包括:构建单元301、采集单元302和处理单元303;其中,
所述构建单元301,用于构建虚拟空间,并建立所述虚拟空间与实际空间之间的对应关系;
所述采集单元302,用于确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹,并根据所述构建单元301构建的对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
所述处理单元303,用于在所述虚拟空间中,确定目标对象的位置,并根据所述目标对象的位置和所述采集单元302添加到所述虚拟空间的每一个所述运动轨迹,处理每一个所述采集单元采集的所述音频数据。
上述实施例中,通过预先构建虚拟空间,并建立虚拟空间和实际空间的对应关系,再确定至少一个音源,并采集每一个音源在设定时间段内在实际空间中产生的音频数据和运动轨迹,然后根据预先建立的对应关系,将采集到的至少一个运动轨迹添加到虚拟空间,在所述虚拟空间中,确定目标对象的位置,最后根据目标对象的位置和每一个运动轨迹,处理每一个音频数据,从而实现了根据用户的位置信息为其输出相应的音频数据。
为了便于采集每一个音源的运动轨迹,在本发明一个实施例中,所述构建单元,进一步用于在所述虚拟空间中,构建空间坐标系;
所述采集单元302,用于将每一个所述音源作为当前音源,执行:在所述实际空间中,确定所述当前音源的起始点和终止点,并根据所述构建单元构建的对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标,在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
上述实施例中,将各个音源在实际空间中的起始点和终止点对应到虚拟空间的空间坐标系中,从而在虚拟空间中分别确定各个音源的起始坐标和终止坐标,并且根据起始坐标和终止坐标确定音源的运动轨迹即为从起始坐标到终止坐标;由此,在实际空间中采集音源的运动轨迹时,只需记录音源在设定时间段内的起始点和终止点,即可确定出音源对应的运动轨迹,减少了采集运动轨迹的工作量,并且操作简单方便,从而提高了音频处理的效率。
为了提高根据目标对象的位置处理相应音频数据的效率,如图4所示,本发明一个实施例中,所述处理单元303,包括:坐标确定子单元401、距离计算子单元402以及音强变化确定子单元403,其中,
所述坐标确定子单元401,用于将每一个所述音源作为当前音源,执行:在所述当前音源对应的运动轨迹上,确定至少两个目标点,在所述构建单元301构建的空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
所述距离计算子单元402,用于根据所述坐标确定子单元401确定的每一个所述目标点对应的目标坐标以及所述位置坐标,利用下述第一计算公式,计算每一个所述目标点与所述目标对象的距离;
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0);
所述音强变化确定子单元403,用于将每一个所述音源作为当前音源,执行:当所述当前音源沿着所述运动轨迹运动时,根据所述距离计算子单元402计算出的每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
上述实施例中,在各个音源的运动轨迹上确定至少两个目标点,相应的再空间坐标系中确定每个目标点的目标坐标和目标对象的位置对应的位置坐标,根据每一个目标坐标和位置坐标,计算每一个目标点与目标对象之间的距离,根据目标点与目标对象之间的距离,确定目标对象接收到的音强变化;根据空间坐标系中目标坐标和位置坐标计算目标点和目标对象之间的距离,计算简单,操作方便,从而提高了根据音源运动轨迹处理相应音频数据的效率。
为了进一步提高用户的使用体验,如图5所示,本发明一个实施例中,该装置进一步包括:编码单元501和播放单元502;其中,
所述编码单元501,用于在所述采集单元302确定的至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式,并将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
所述播放单元502,用于当对所述编码单元501处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述处理单元303确定的目标对象,当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
上述实施例中,为音频数据分配至少两种播放方式,并将播放方式编码到对应的音频数据中,播放对应的音频数据时,为目标对象提供至少两种播放方式,根据目标对象选定的目标播放方式,为目标对象播放对应的处理后的音频数据;例如,在录制一个游戏的音频时,采集了一段两个人物之间的对话,为这段对话对应的音频数据分配两种播放方式,一种能清晰的听清对话内容,另一种对此对话内容静音,并在对音频数据编码时对两种播放方式做标记,从而使目标对象在播放音频数据时,可根据实际需求选择是否需要收听此段内容,使目标对象与音频数据的互动更加灵活,进而提高目标对象的使用体验。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明还提供了一种计算机存储介质,存储用于使一机器执行如本文所述的程序代码的审核方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
综上所述,本发明的各个实施例至少具有如下有益效果:
1、本发明实施例中,通过预先构建虚拟空间,并建立虚拟空间和实际空间的对应关系,再确定至少一个音源,并采集每一个音源在设定时间段内在实际空间中产生的音频数据和运动轨迹,然后根据预先建立的对应关系,将采集到的至少一个运动轨迹添加到虚拟空间,在所述虚拟空间中,确定目标对象的位置,最后根据目标对象的位置和每一个运动轨迹,处理每一个音频数据,从而实现了根据用户的位置信息为其输出相应的音频数据。
2、本发明实施例中,将各个音源在实际空间中的起始点和终止点对应到虚拟空间的空间坐标系中,从而在虚拟空间中分别确定各个音源的起始坐标和终止坐标,并且根据起始坐标和终止坐标确定音源的运动轨迹即为从起始坐标到终止坐标;由此,在实际空间中采集音源的运动轨迹时,只需记录音源在设定时间段内的起始点和终止点,即可确定出音源对应的运动轨迹,减少了采集运动轨迹的工作量,并且操作简单方便,从而提高了音频处理的效率。
3、本发明实施例中,在各个音源的运动轨迹上确定至少两个目标点,相应的再空间坐标系中确定每个目标点的目标坐标和目标对象的位置对应的位置坐标,根据每一个目标坐标和位置坐标,计算每一个目标点与目标对象之间的距离,根据目标点与目标对象之间的距离,确定目标对象接收到的音强变化;根据空间坐标系中目标坐标和位置坐标计算目标点和目标对象之间的距离,计算简单,操作方便,从而提高了根据音源运动轨迹处理相应音频数据的效率。
4、本发明实施例中,为音频数据分配至少两种播放方式,并将播放方式编码到对应的音频数据中,播放对应的音频数据时,为目标对象提供至少两种播放方式,根据目标对象选定的目标播放方式,为目标对象播放对应的处理后的音频数据,从而使目标对象与音频数据的互动更加灵活,进而提高目标对象的使用体验。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种音频处理方法,其特征在于,构建虚拟空间,建立所述虚拟空间与实际空间之间的对应关系;还包括:
确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹;
根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
在所述虚拟空间中,确定目标对象的位置;
根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据。
2.根据权利要求1所述的方法,其特征在于,进一步包括:在所述虚拟空间中,构建空间坐标系;
所述采集每一个所述音源产生的运动轨迹,根据所述对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间,包括:
将每一个所述音源作为当前音源,执行:
在所述实际空间中,确定所述当前音源的起始点和终止点;
根据所述对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标;
在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象的位置和每一个所述运动轨迹,处理每一个所述音频数据,包括:
将每一个所述音源作为当前音源,执行:
在所述当前音源对应的运动轨迹上,确定至少两个目标点;
在所述空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
根据每一个所述目标点对应的目标坐标以及所述位置坐标,利用下述第一计算公式,计算每一个所述目标点与所述目标对象的距离;
y i = ( x i - x 0 ) 2 + ( y i - y 0 ) 2 + ( z i - z 0 ) 2
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0);
当所述当前音源沿着所述运动轨迹运动时,根据所述每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
4.根据权利要求3所述的方法,其特征在于,所述确定所述目标对象接收到的音强变化,包括:
将每一个所述目标点作为当前目标点,执行:
当所述当前音源位于所述当前目标点时,利用下述第二计算公式,计算目标对象接收到的当前音强:
y = y 0 - a × s i × f 2 γ
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
5.根据权利要求1至4任一所述的方法,其特征在于,进一步包括:
接收播放请求;
根据所述播放请求,为所述目标对象播放所述处理后的每一个所述音频数据。
6.根据权利要求1至5任一所述的方法,其特征在于,所述确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据之后,进一步包括:
在所述至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式;
将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
当对处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述目标对象;
当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
7.一种音频处理装置,其特征在于,包括:构建单元、采集单元和处理单元;其中,
所述构建单元,用于构建虚拟空间,并建立所述虚拟空间与实际空间之间的对应关系;
所述采集单元,用于确定至少一个音源,并在设定时间段内,采集所述实际空间中每一个所述音源产生的音频数据以及运动轨迹,并根据所述构建单元构建的对应关系,将采集到的至少一个所述运动轨迹添加到所述虚拟空间;
所述处理单元,用于在所述虚拟空间中,确定目标对象的位置,并根据所述目标对象的位置和所述采集单元添加到所述虚拟空间的每一个所述运动轨迹,处理每一个所述采集单元采集的所述音频数据。
8.根据权利要求7所述的装置,其特征在于,
所述构建单元,进一步用于在所述虚拟空间中,构建空间坐标系;
所述采集单元,用于将每一个所述音源作为当前音源,执行:在所述实际空间中,确定所述当前音源的起始点和终止点,并根据所述构建单元构建的对应关系,在所述空间坐标系中,确定所述起始点对应的起始坐标以及所述终止点对应的终止坐标,在所述虚拟空间中,确定所述当前音源的运动轨迹为从所述起始坐标到所述终止坐标。
9.根据权利要求8所述的装置,其特征在于,所述处理单元,包括:坐标确定子单元、距离计算子单元以及音强变化确定子单元,其中,
所述坐标确定子单元,用于将每一个所述音源作为当前音源,执行:在所述当前音源对应的运动轨迹上,确定至少两个目标点,在所述构建单元构建的空间坐标系中,确定每一个所述目标点对应的目标坐标以及所述目标对象的位置对应的位置坐标;
所述距离计算子单元,用于根据所述坐标确定子单元确定的每一个所述目标点对应的目标坐标以及所述位置坐标,利用下述第一计算公式,计算每一个所述目标点与所述目标对象的距离;
y i = ( x i - x 0 ) 2 + ( y i - y 0 ) 2 + ( z i - z 0 ) 2
其中,yi表征第i个目标点与目标对象的距离,第i个目标点的目标坐标为(xi,yi,zi),目标对象的位置坐标为(x0,y0,z0);
所述音强变化确定子单元,用于将每一个所述音源作为当前音源,执行:当所述当前音源沿着所述运动轨迹运动时,根据所述距离计算子单元,计算出的每一个所述目标点与所述目标对象的距离以及每一个所述目标点对应的音频数据,确定所述目标对象接收到的音强变化。
10.根据权利要求9所述的装置,其特征在于,
所述音强变化确定子单元,用于将每一个所述目标点作为当前目标点,执行:
当所述当前音源位于所述当前目标点时,利用下述第二计算公式,计算目标对象接收到的当前音强:
y = y 0 - a × s i × f 2 γ
其中,y表征所述目标对象接收到的当前音强,y0表征所述当前音源的实际音强;si表征所述当前目标点i与所述目标对象的距离,f表征所述当前音源的频率,γ表示传播介质的密度,a表示大于零的常数。
和/或,
进一步包括:编码单元和播放单元;其中,
所述编码单元,用于在所述采集单元确定的至少一个音源中,确定目标音源,并为所述目标音源产生的音频数据分配至少两种播放方式,并将所述至少两种播放方式编码到所述目标音源对应的音频数据中;
所述播放单元,用于当对所述编码单元处理后的所述目标音源对应的音频数据进行播放时,提供所述至少两种播放方式给所述处理单元确定的目标对象,当接收到所述目标对象选定目标播放方式,则按照所述目标播放方式为所述目标对象播放所述处理后的所述目标音源对应的音频数据。
CN201611028097.2A 2016-11-14 2016-11-14 一种音频处理方法及装置 Active CN106531178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611028097.2A CN106531178B (zh) 2016-11-14 2016-11-14 一种音频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611028097.2A CN106531178B (zh) 2016-11-14 2016-11-14 一种音频处理方法及装置

Publications (2)

Publication Number Publication Date
CN106531178A true CN106531178A (zh) 2017-03-22
CN106531178B CN106531178B (zh) 2019-08-02

Family

ID=58352858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611028097.2A Active CN106531178B (zh) 2016-11-14 2016-11-14 一种音频处理方法及装置

Country Status (1)

Country Link
CN (1) CN106531178B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330600A (ja) * 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 音声可視化方法、可視化された音声情報の操作方法、これらの装置、及び、これらの方法を記録した記憶媒体
CN101410157A (zh) * 2006-03-27 2009-04-15 科乐美数码娱乐株式会社 声音处理装置、声音处理方法、信息记录媒体及程序
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
CN105244039A (zh) * 2015-03-07 2016-01-13 孙瑞峰 一种对语音的语义感知理解的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330600A (ja) * 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 音声可視化方法、可視化された音声情報の操作方法、これらの装置、及び、これらの方法を記録した記憶媒体
CN101410157A (zh) * 2006-03-27 2009-04-15 科乐美数码娱乐株式会社 声音处理装置、声音处理方法、信息记录媒体及程序
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
CN105244039A (zh) * 2015-03-07 2016-01-13 孙瑞峰 一种对语音的语义感知理解的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAC NGUYEN: "Reduction of Spatial Sampling Requirement in Sound-Based Synthesis", 《IEEE》 *
仝欣,齐娜: "运动声源的双耳录音声像定位效果分析", 《中国传媒大学学报》 *

Also Published As

Publication number Publication date
CN106531178B (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN1115641C (zh) 卡拉ok系统和用于此系统的内容存储媒体
Morton Off the record: The technology and culture of sound recording in America
CN100459685C (zh) 信息处理设备、成像设备及信息处理方法
CN1808566B (zh) 重放装置和方法
CN101452696B (zh) 信号处理装置、信号处理方法和程序
CN108597530A (zh) 声音再现方法和装置、存储介质及电子装置
EP2562757A3 (en) Reproduction device, reproduction method, and program
CN105210388A (zh) 管理沉浸式音频的混响场的方法
EP1145744A3 (en) Game system and computer readable storage medium therefor
EP1650632A3 (en) Information processing apparatus and method, recording medium, program, and information processing system
AU2003207864A1 (en) Method and device for recording real-time information
CN1122996C (zh) 用于产生光盘再现时间的装置和方法
CN102377914A (zh) 终端和多媒体文件管理方法
CN109348254A (zh) 消息推送方法、装置、计算机设备及存储介质
CN110505498A (zh) 视频的处理、播放方法、装置及计算机可读介质
CN106534892A (zh) 基于可视角度再编码的虚拟现实直播系统和方法
KR101518294B1 (ko) 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치
CN107221340A (zh) 基于多路音频的实时评分方法、存储设备及应用
CN106157979A (zh) 一种获取人声音高数据的方法和装置
CN110517554A (zh) 一种钢琴在线教学方法及系统、存储介质及教学终端
CN102760437B (zh) 实时声道控制转换的音频解码装置
KR100773186B1 (ko) 악곡 데이터 생성 시스템 및 악곡 데이터 생성 프로그램을저장한 컴퓨터 판독가능 기록 매체
CN105939420A (zh) 一种结合拍照功能的录音功能实现方法及系统
CN101751967A (zh) 多媒体文件制作及播放方法、多媒体文件制作装置、播放器
KR100614549B1 (ko) 멀티미디어 파일의 데이터 구조, 파일 배신 방법, 파일 배신 장치 및 파일 배신 프로그램이 기록된 저장 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Wusong Industrial Park, Wuzhong Development District of Suzhou City, Jiangsu province 215100 Wusong Road No. 818

Applicant after: Tide Financial Information Technology Co Ltd

Address before: Wuzhong Economic Development Zone in Suzhou City, Jiangsu Province, the River Street 215104 tower rhyme Road No. 178 Building 2 layer 1

Applicant before: Tide (Suzhou) Financial Technology Service Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant