CN104978982B - 一种流媒体版本对齐方法,及设备 - Google Patents

一种流媒体版本对齐方法,及设备 Download PDF

Info

Publication number
CN104978982B
CN104978982B CN201510154259.6A CN201510154259A CN104978982B CN 104978982 B CN104978982 B CN 104978982B CN 201510154259 A CN201510154259 A CN 201510154259A CN 104978982 B CN104978982 B CN 104978982B
Authority
CN
China
Prior art keywords
streaming media
cross
correlation
mentioned
correlation calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510154259.6A
Other languages
English (en)
Other versions
CN104978982A (zh
Inventor
孔令城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201510154259.6A priority Critical patent/CN104978982B/zh
Publication of CN104978982A publication Critical patent/CN104978982A/zh
Priority to HK16100879.8A priority patent/HK1213082A1/zh
Priority to PCT/CN2016/076853 priority patent/WO2016155527A1/zh
Application granted granted Critical
Publication of CN104978982B publication Critical patent/CN104978982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing

Abstract

本发明实施例公开了一种流媒体版本对齐方法,及设备,其中方法的实现包括:获取第一流媒体和第二流媒体,所述第一流媒体和所述第二流媒体为同一流媒体的不同版本;对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置,然后确定所述第一流媒体和所述第二流媒体互相关性最大位置的时间偏移;依据所述时间偏移对所述第一流媒体和所述第二流媒体进行对齐。采用互相关计算确定互相关性最大位置,再通过互相关性最大位置确定时间偏移,可以准确地确定不同版本的流媒体之间的时间偏移从而实现流媒体版本对齐。该方案,相比于采用能量法的方案而言受限小,可以广泛应用,从而提高了流媒体版本对齐成功率。

Description

一种流媒体版本对齐方法,及设备
技术领域
本发明涉及计算机技术领域,特别涉及一种流媒体版本对齐方法,及设备。
背景技术
流媒体是以时间为顺序播放的数据流,例如:音频类的歌曲、视频类的电影等。以歌曲为例,在互联网中,同一首歌曲由于传输和制作的需要,可能会被改写成很多不同的版本,导致该歌曲的唱歌位置并不相同,但是实际上歌词以及歌曲的主要旋律都是相同的。为了某些资源(例如:歌词、视频)在呈现给用户的时候可以复用,有必要找出同一首歌曲的不同版本开始唱歌的起始点,或者寻找不同版本的歌曲之间的时间延迟。
为了实现自动化唱歌位置对齐,有比较多的途径。比如:
一、在已知两个版本的歌曲的歌词的前提下,可以直接通过歌词信息进行对齐;
二、在已知两个版本的歌曲的MIDI(Musical Instrument Digital Interface,乐器数字接口)的时候,可以通过MIDI进行对齐;
三、而由通过MIDI进行对齐这种方法的启发,可以通过提取歌曲的pitch(音高)信息进行模拟MIDI,进而进行歌曲的对齐。
然而,前两种方案需要的先验知识往往较多,在大多数情况下并不满足;第三种方法则受限于提取pitch的准确度。往往在现实中,未知歌曲的附加信息(歌词、MIDI等)是比较常见的情况,这里就需要通过音频技术,如第三种方案一样,如采用能量法实现,具体如下:
分别通过能量值,检测出两种版本歌曲的起始位置。这里首先有一个假设,即两个版本歌曲的差别仅仅是前面空白时间的不同。由于空白时间段中,其能量为0,所以检测出第一帧能量非零的位置,即可以认为是歌曲的开始位置了。然后根据两首歌曲的这种开始位置的不同,将开始早的那首歌曲前面加上一段空白,或者将开始晚的那首歌曲的前面去掉一段空白,即可对齐两首歌曲。
以上方案,有一个重要的但是在实际应用中不常见的假设,即两个版本的歌曲差别在于前面的空白时间长度的不同。而在实际的应用环境中,这两首歌曲并非如此,大多数遇到的情况,是伴奏的不同。因此,此种方案受限太大,对齐成功率较低。
发明内容
本发明实施例提供了一种流媒体版本对齐方法,及设备,用于提高流媒体版本对齐成功率。
一种流媒体版本对齐方法,包括:
获取第一流媒体和第二流媒体,所述第一流媒体和所述第二流媒体为同一流媒体的不同版本;
对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置,然后确定所述第一流媒体和所述第二流媒体互相关性最大位置的时间偏移;
依据所述时间偏移对所述第一流媒体和所述第二流媒体进行对齐。
一种流媒体版本对齐设备,包括:
媒体获取单元,用于获取第一流媒体和第二流媒体,所述第一流媒体和所述第二流媒体为同一流媒体的不同版本;
计算单元,用于对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置;
偏移确定单元,用于确定所述第一流媒体和所述第二流媒体互相关性最大位置的时间偏移;
对其单元,用于依据所述时间偏移对所述第一流媒体和所述第二流媒体进行对齐。
从以上技术方案可以看出,本发明实施例具有以下优点:采用互相关计算确定互相关性最大位置,再通过互相关性最大位置确定时间偏移,可以准确地确定不同版本的流媒体之间的时间偏移从而实现流媒体版本对齐。该方案,相比于采用能量法的方案而言受限小,可以广泛应用,从而提高了流媒体版本对齐成功率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例方法流程示意图;
图2为本发明实施例对齐设备结构示意图;
图3为本发明实施例对齐设备结构示意图;
图4为本发明实施例对齐设备结构示意图;
图5为本发明实施例对齐设备结构示意图;
图6为本发明实施例对齐设备结构示意图;
图7为本发明实施例对齐设备结构示意图;
图8为本发明实施例对齐设备结构示意图;
图9为本发明实施例对齐设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供了一种流媒体版本对齐方法,如图1所示,包括:
101:获取第一流媒体和第二流媒体,上述第一流媒体和上述第二流媒体为同一流媒体的不同版本;
在本发明实施例的“第一”和“第二”仅用于区分两个不同版本的流媒体,不应理解为有其他技术含义。流媒体在本实施例中可以是音频\视频等各种流媒体,本发明实施例对此不作唯一性限定。
102:对上述第一流媒体和上述第二流媒体进行互相关计算,得到互相关性最大位置,然后确定上述第一流媒体和上述第二流媒体互相关性最大位置的时间偏移;
在本实施例中,进行互相关计算的过程可以是对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算,也可以是对其中的一段数据进行互相关计算,本发明实施例不作唯一性限定。互相关计算的方法,可以参考成熟的算法,本发明实施例不对互相关算法进行唯一性限定。
103:依据上述时间偏移对上述第一流媒体和上述第二流媒体进行对齐。
本发明实施例,采用互相关计算确定互相关性最大位置,再通过互相关性最大位置确定时间偏移,可以准确地确定不同版本的流媒体之间的时间偏移从而实现流媒体版本对齐。该方案,相比于采用能量法的方案而言受限小,可以广泛应用,从而提高了流媒体版本对齐成功率。
由于互相关计算的计算量较大,本发明实施例可以对上述第一流媒体和上述第二流媒体先进行降采样减少计算量,具体如下:在对上述第一流媒体和上述第二流媒体进行互相关计算之前,上述方法还包括:对上述第一流媒体和第二流媒体进行降采样;
上述对上述第一流媒体和上述第二流媒体进行互相关计算包括:
对降采样后的上述第一流媒体和上述第二流媒体进行互相关计算。
在本实施例中,降采样的采样率可以依据当前设备的数据计算能力确定与之对应的采样率,从而提高匹配度。
由于对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算的计算量会很大,因此本发明实施例还提供了通过截取一段流媒体的方式来减少计算量,具体如下:在对上述第一流媒体和上述第二流媒体进行互相关计算之前,上述方法还包括:
截取上述第一流媒体和第二流媒体对应的参考时间段内的数据;上述对上述第一流媒体和上述第二流媒体进行互相关计算包括:
对上述第一流媒体和第二流媒体对应的参考时间段内的数据进行互相关计算。
在本发明实施例中,截取的时间段可以是动态调整的,以适应不同流媒体版本之间可能存在的时间偏移,具体如下:在截取上述第一流媒体和第二流媒体对应的参考时间段内的数据之前,上述方法还包括:
依上述第一流媒体和上述第二流媒体的互相关时间差确定上述参考时间段。
由于截取的时间段太长,数据量可能会太大,这样会导致设备长时间无法获得处理结果,甚至出现卡顿现象,为了避免这种情况的发生,本发明实施例提供了如下解决方案:上述方法还包括:
若上述互相关时间差超过预定阈值,则中止执行流媒体版本对齐的流程。
本发明实施例还提供了计算互相关并确定互相关最大位置的方案,具体如下:对上述第一流媒体和上述第二流媒体进行互相关计算,得到互相关性最大位置包括:
通过如下公式计算上述第一流媒体和上述第二流媒体的互相关:
其中,x表示第一流媒体的数据,y表示第二流媒体的数据,ωτ表示窗函数,n为时间采样点;
依据计算得到的τ值的最大处确定互相关性最大位置。
以下实施例将音频媒体中的歌曲为例对本发明实施例进行举例说明。本发明实施例的技术方案,主要是通过互相关法,对两手歌曲的起始唱歌位置进行定位的。这里分为以下几步:
一、降采样:
在本发明实施例中,由于做互相关运算需要很大的计算量,为了能够降低计算量,同时不失计算准确性,通过实验,统一对歌曲降采样至8000Hz可以获得较好的效果。
二、互相关时间段的选择:
同样为了降低计算量,本发明实施例可以不对整首歌计算互相关,这是由于如果整首歌算下来,受限于目前软硬件的计算资源,可能需要几十分钟算完一次,虽然能保证准确度,但是还不如人工处理的速度,这样是没意义的。这里根据经验,对两首歌曲时间差不同的情况,选择了不同的时间段进行互相关计算。比如两首歌曲时间差在10s以内的,则选择计算互相关时间为前15s,时间差在5s以内的,计算互相关时间为前10s;时间差大于60s的,则标记该算法不予处理,需要人工处理。根据经验,这样既能保证准确度,同时也不会耗费很大的时间。
三、求互相关:
这里计算互相关的方法,如下式:
其中,x表示第一首歌曲的数据,y表示第二首歌曲的数据,ωτ表示窗函数,在这里窗函数即为上述互相关时间段的选择对应的时间段。
四、选择歌曲的起唱位置:
通过前述求互相关的计算,可以选取互相关位置的最大处,即可认为两首歌曲位置相同之处的时间偏差。通过τ值,就可以调整两首歌曲,使其对齐。
采用本发明实施例方案,可以准确地对齐两个不同版本歌曲的起唱位置,即使两首歌曲前奏相差很大,也不失其准确度;同时,使用的互相关时间长度分类技术,可以减少很多不必要的计算,提高计算速度。
本发明实施例还提供了一种流媒体版本对齐设备,如图2所示,包括:
媒体获取单元201,用于获取第一流媒体和第二流媒体,上述第一流媒体和上述第二流媒体为同一流媒体的不同版本;
计算单元202,用于对上述第一流媒体和上述第二流媒体进行互相关计算,得到互相关性最大位置;
偏移确定单元203,用于确定上述第一流媒体和上述第二流媒体互相关性最大位置的时间偏移;
对齐单元204,用于依据上述时间偏移对上述第一流媒体和上述第二流媒体进行对齐。
流媒体在本实施例中可以是音频\视频等各种流媒体,本发明实施例对此不作唯一性限定。在本实施例中,进行互相关计算的过程可以是对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算,也可以是对其中的一段数据进行互相关计算,本发明实施例不作唯一性限定。互相关计算的方法,可以参考成熟的算法,本发明实施例不对互相关算法进行唯一性限定。
本发明实施例,采用互相关计算确定互相关性最大位置,再通过互相关性最大位置确定时间偏移,可以准确地确定不同版本的流媒体之间的时间偏移从而实现流媒体版本对齐。该方案,相比于采用能量法的方案而言受限小,可以广泛应用,从而提高了流媒体版本对齐成功率。
由于互相关计算的计算量较大,本发明实施例可以对上述第一流媒体和上述第二流媒体先进行降采样减少计算量,具体如下:进一步地,如图3所示,上述对齐设备还包括:
采样单元301,用于在对上述第一流媒体和上述第二流媒体进行互相关计算之前,对上述第一流媒体和第二流媒体进行降采样;
上述计算单元202,用于对降采样后的上述第一流媒体和上述第二流媒体进行互相关计算。
在本实施例中,降采样的采样率可以依据当前设备的数据计算能力确定与之对应的采样率,从而提高匹配度。
由于对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算的计算量会很大,因此本发明实施例还提供了通过截取一段流媒体的方式来减少计算量,具体如下:进一步地,如图4所示,上述对齐设备还包括:
截取单元401,用于在对上述第一流媒体和上述第二流媒体进行互相关计算之前,截取上述第一流媒体和第二流媒体对应的参考时间段内的数据;
上述计算单元202,用于对上述第一流媒体和第二流媒体对应的参考时间段内的数据进行互相关计算。
在本发明实施例中,截取的时间段可以是动态调整的,以适应不同流媒体版本之间可能存在的时间偏移,具体如下:进一步地,如图5所示,上述对齐设备还包括:
时间确定单元501,用于在截取上述第一流媒体和第二流媒体对应的参考时间段内的数据之前,依上述第一流媒体和上述第二流媒体的互相关时间差确定上述参考时间段。
由于截取的时间段太长,数据量可能会太大,这样会导致设备长时间无法获得处理结果,甚至出现卡顿现象,为了避免这种情况的发生,本发明实施例提供了如下解决方案:进一步地,如图6所示,上述对齐设备还包括:
流程控制单元601,用于若上述互相关时间差超过预定阈值,则中止执行流媒体版本对齐的流程。
本发明实施例还提供了计算互相关并确定互相关最大位置的方案,具体如下:可选地,上述计算单元202,用于通过如下公式计算上述第一流媒体和上述第二流媒体的互相关:
其中,x表示第一流媒体的数据,y表示第二流媒体的数据,ωτ表示窗函数,n为时间采样点;依据计算得到的τ值的最大处确定互相关性最大位置。
本发明实施例还提供了另一种流媒体版本对齐设备,如图7所示,包括:接收器701、发射器702、处理器703以及存储器704;
其中,处理器703,用于获取第一流媒体和第二流媒体,上述第一流媒体和上述第二流媒体为同一流媒体的不同版本;对上述第一流媒体和上述第二流媒体进行互相关计算,得到互相关性最大位置,然后确定上述第一流媒体和上述第二流媒体互相关性最大位置的时间偏移;依据上述时间偏移对上述第一流媒体和上述第二流媒体进行对齐。
流媒体在本实施例中可以是音频\视频等各种流媒体,本发明实施例对此不作唯一性限定。在本实施例中,进行互相关计算的过程可以是对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算,也可以是对其中的一段数据进行互相关计算,本发明实施例不作唯一性限定。互相关计算的方法,可以参考成熟的算法,本发明实施例不对互相关算法进行唯一性限定。
本发明实施例,采用互相关计算确定互相关性最大位置,再通过互相关性最大位置确定时间偏移,可以准确地确定不同版本的流媒体之间的时间偏移从而实现流媒体版本对齐。该方案,相比于采用能量法的方案而言受限小,可以广泛应用,从而提高了流媒体版本对齐成功率。
由于互相关计算的计算量较大,本发明实施例可以对上述第一流媒体和上述第二流媒体先进行降采样减少计算量,具体如下:上述处理器703,还用于在对上述第一流媒体和上述第二流媒体进行互相关计算之前,对上述第一流媒体和第二流媒体进行降采样;
上述对上述第一流媒体和上述第二流媒体进行互相关计算包括:
对降采样后的上述第一流媒体和上述第二流媒体进行互相关计算。
在本实施例中,降采样的采样率可以依据当前设备的数据计算能力确定与之对应的采样率,从而提高匹配度。
由于对上述第一流媒体和上述第二流媒体的所有数据进行互相关计算的计算量会很大,因此本发明实施例还提供了通过截取一段流媒体的方式来减少计算量,具体如下:上述处理器703,还用于在对上述第一流媒体和上述第二流媒体进行互相关计算之前,截取上述第一流媒体和第二流媒体对应的参考时间段内的数据;上述对上述第一流媒体和上述第二流媒体进行互相关计算包括:
对上述第一流媒体和第二流媒体对应的参考时间段内的数据进行互相关计算。
在本发明实施例中,截取的时间段可以是动态调整的,以适应不同流媒体版本之间可能存在的时间偏移,具体如下:上述处理器703,还用于在截取上述第一流媒体和第二流媒体对应的参考时间段内的数据之前,依上述第一流媒体和上述第二流媒体的互相关时间差确定上述参考时间段。
由于截取的时间段太长,数据量可能会太大,这样会导致设备长时间无法获得处理结果,甚至出现卡顿现象,为了避免这种情况的发生,本发明实施例提供了如下解决方案:上述处理器703,还用于若上述互相关时间差超过预定阈值,则中止执行流媒体版本对齐的流程。
本发明实施例还提供了计算互相关并确定互相关最大位置的方案,具体如下:上述处理器703,用于对上述第一流媒体和上述第二流媒体进行互相关计算,得到互相关性最大位置包括:
通过如下公式计算上述第一流媒体和上述第二流媒体的互相关:
其中,x表示第一流媒体的数据,y表示第二流媒体的数据,ωτ表示窗函数,n为时间采样点;
依据计算得到的τ值的最大处确定互相关性最大位置。
本发明实施例还提供了另一种流媒体版本对齐设备,如图8所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该对齐设备在图8中示意为终端,该终端可以为包括手机、平板电脑、PDA(PersonalDigital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图8示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图8,手机包括:射频(Radio Frequency,RF)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity,WiFi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解,图8中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍:
RF电路810可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器880处理;另外,将设计上行的数据发送给基站。通常,RF电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器820可用于存储软件程序以及模块,处理器880通过运行存储在存储器820的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元830可包括触控面板831以及其他输入设备832。触控面板831,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器880,并能接收处理器880发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831,输入单元830还可以包括其他输入设备832。具体地,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板841。进一步的,触控面板831可覆盖显示面板841,当触控面板831检测到在其上或附近的触摸操作后,传送给处理器880以确定触摸事件的类型,随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中,触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器850,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板841的亮度,接近传感器可在手机移动到耳边时,关闭显示面板841和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路860、扬声器861,传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号,传输到扬声器861,由扬声器861转换为声音信号输出;另一方面,传声器862将收集的声音信号转换为电信号,由音频电路860接收后转换为音频数据,再将音频数据输出处理器880处理后,经RF电路810以发送给比如另一手机,或者将音频数据输出至存储器820以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器820内的软件程序和/或模块,以及调用存储在存储器820内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器880可包括一个或多个处理单元;优选的,处理器880可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池),优选的,电源可以通过电源管理系统与处理器880逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器880还具有执行以上方法流程的能力。
图9是本发明实施例提供的另一种流媒体版本对齐设备,该设备在图9中示意为服务器,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)922(例如,一个或一个以上处理器)和存储器932,一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中,存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器922可以设置为与存储介质930通信,在服务器900上执行存储介质930中的一系列指令操作。
服务器900还可以包括一个或一个以上电源926,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口958,和/或,一个或一个以上操作系统941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中的方法实施例步骤可以基于该图9所示的服务器结构。
以上示例了手机以及服务器的实体设备结构,在本发明实施例实现过程中,可以除了以上举例硬件以外的其他任意需要进行流媒体对齐的设备,以上举例不应理解为对本发明实施例的唯一性限定。
值得注意的是,上述对齐设备实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成,相应的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种流媒体版本对齐方法,其特征在于,包括:
获取第一流媒体和第二流媒体,所述第一流媒体和所述第二流媒体为同一流媒体的不同版本;
对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置,然后确定所述第一流媒体和所述第二流媒体互相关性最大位置的时间偏移;
依据所述时间偏移对所述第一流媒体和所述第二流媒体进行对齐;
在对所述第一流媒体和所述第二流媒体进行互相关计算之前,所述方法还包括:对所述第一流媒体和第二流媒体进行降采样;
所述对所述第一流媒体和所述第二流媒体进行互相关计算包括:
对降采样后的所述第一流媒体和所述第二流媒体进行互相关计算。
2.根据权利要求1所述方法,其特征在于,在对所述第一流媒体和所述第二流媒体进行互相关计算之前,所述方法还包括:
截取所述第一流媒体和第二流媒体对应的参考时间段内的数据;所述对所述第一流媒体和所述第二流媒体进行互相关计算包括:
对所述第一流媒体和第二流媒体对应的参考时间段内的数据进行互相关计算。
3.根据权利要求2所述方法,其特征在于,在截取所述第一流媒体和第二流媒体对应的参考时间段内的数据之前,所述方法还包括:
依所述第一流媒体和所述第二流媒体的互相关时间差确定所述参考时间段。
4.根据权利要求3所述方法,其特征在于,所述方法还包括:
若所述互相关时间差超过预定阈值,则中止执行流媒体版本对齐的流程。
5.根据权利要求1至4任意一项所述方法,其特征在于,所述对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置包括:
通过如下公式计算所述第一流媒体和所述第二流媒体的互相关:
其中,x表示第一流媒体的数据,y表示第二流媒体的数据,ωτ表示窗函数,n为时间采样点;
依据计算得到的τ值的最大处确定互相关性最大位置。
6.一种流媒体版本对齐设备,其特征在于,包括:
媒体获取单元,用于获取第一流媒体和第二流媒体,所述第一流媒体和所述第二流媒体为同一流媒体的不同版本;
计算单元,用于对所述第一流媒体和所述第二流媒体进行互相关计算,得到互相关性最大位置;
偏移确定单元,用于确定所述第一流媒体和所述第二流媒体互相关性最大位置的时间偏移;
对其单元,用于依据所述时间偏移对所述第一流媒体和所述第二流媒体进行对齐;
所述对齐设备还包括:
采样单元,用于在对所述第一流媒体和所述第二流媒体进行互相关计算之前,对所述第一流媒体和第二流媒体进行降采样;
所述计算单元,用于对降采样后的所述第一流媒体和所述第二流媒体进行互相关计算。
7.根据权利要求6所述对齐设备,其特征在于,所述对齐设备还包括:
截取单元,用于在对所述第一流媒体和所述第二流媒体进行互相关计算之前,截取所述第一流媒体和第二流媒体对应的参考时间段内的数据;
所述计算单元,用于对所述第一流媒体和第二流媒体对应的参考时间段内的数据进行互相关计算。
8.根据权利要求7所述对齐设备,其特征在于,所述对齐设备还包括:
时间确定单元,用于在截取所述第一流媒体和第二流媒体对应的参考时间段内的数据之前,依所述第一流媒体和所述第二流媒体的互相关时间差确定所述参考时间段。
9.根据权利要求8所述对齐设备,其特征在于,所述对齐设备还包括:
流程控制单元,用于若所述互相关时间差超过预定阈值,则中止执行流媒体版本对齐的流程。
10.根据权利要求6至9任意一项所述对齐设备,其特征在于,
所述计算单元,用于通过如下公式计算所述第一流媒体和所述第二流媒体的互相关:
其中,x表示第一流媒体的数据,y表示第二流媒体的数据,ωτ表示窗函数,n为时间采样点;
依据计算得到的τ值的最大处确定互相关性最大位置。
CN201510154259.6A 2015-04-02 2015-04-02 一种流媒体版本对齐方法,及设备 Active CN104978982B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510154259.6A CN104978982B (zh) 2015-04-02 2015-04-02 一种流媒体版本对齐方法,及设备
HK16100879.8A HK1213082A1 (zh) 2015-04-02 2016-01-27 種流媒體版本對齊方法、及設備
PCT/CN2016/076853 WO2016155527A1 (zh) 2015-04-02 2016-03-21 一种流媒体对齐方法,设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510154259.6A CN104978982B (zh) 2015-04-02 2015-04-02 一种流媒体版本对齐方法,及设备

Publications (2)

Publication Number Publication Date
CN104978982A CN104978982A (zh) 2015-10-14
CN104978982B true CN104978982B (zh) 2018-01-05

Family

ID=54275433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510154259.6A Active CN104978982B (zh) 2015-04-02 2015-04-02 一种流媒体版本对齐方法,及设备

Country Status (3)

Country Link
CN (1) CN104978982B (zh)
HK (1) HK1213082A1 (zh)
WO (1) WO2016155527A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978982B (zh) * 2015-04-02 2018-01-05 广州酷狗计算机科技有限公司 一种流媒体版本对齐方法,及设备
CN106028158B (zh) * 2016-05-26 2019-04-16 成都掌中全景信息技术有限公司 一种基于多视频源的进度识别方法
CN108008930B (zh) * 2017-11-30 2020-06-30 广州酷狗计算机科技有限公司 确定k歌分值的方法和装置
CN108711415B (zh) 2018-06-11 2021-10-08 广州酷狗计算机科技有限公司 纠正伴奏和干音之间的时延的方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473011A (zh) * 2013-09-03 2013-12-25 小米科技有限责任公司 一种移动终端性能检测方法、装置及移动终端
CN104091600A (zh) * 2014-03-21 2014-10-08 腾讯科技(深圳)有限公司 一种歌声位置检测方法及装置
CN104125022A (zh) * 2013-11-27 2014-10-29 腾讯科技(成都)有限公司 音频传输延时的测量方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553086B1 (en) * 1998-10-02 2003-04-22 Lg Electronics, Inc. Method and apparatus for recording time information for digital data streams
US7412380B1 (en) * 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
US8625776B2 (en) * 2009-09-23 2014-01-07 Polycom, Inc. Detection and suppression of returned audio at near-end
US9307508B2 (en) * 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
CN104978982B (zh) * 2015-04-02 2018-01-05 广州酷狗计算机科技有限公司 一种流媒体版本对齐方法,及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473011A (zh) * 2013-09-03 2013-12-25 小米科技有限责任公司 一种移动终端性能检测方法、装置及移动终端
CN104125022A (zh) * 2013-11-27 2014-10-29 腾讯科技(成都)有限公司 音频传输延时的测量方法及系统
CN104091600A (zh) * 2014-03-21 2014-10-08 腾讯科技(深圳)有限公司 一种歌声位置检测方法及装置

Also Published As

Publication number Publication date
WO2016155527A1 (zh) 2016-10-06
HK1213082A1 (zh) 2016-06-24
CN104978982A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
CN104850434B (zh) 多媒体资源下载方法及装置
CN105788612B (zh) 一种检测音质的方法和装置
CN107863095A (zh) 音频信号处理方法、装置和存储介质
CN106126174B (zh) 一种场景音效的控制方法、及电子设备
CN103578474B (zh) 一种语音控制方法、装置和设备
CN106210755B (zh) 一种播放直播视频的方法、装置和系统
CN106782600A (zh) 音频文件的评分方法及装置
CN104978982B (zh) 一种流媒体版本对齐方法,及设备
CN107402964A (zh) 一种信息推荐方法、服务器及终端
CN106251890A (zh) 一种录制歌曲音频的方法、装置和系统
CN106782460A (zh) 生成乐谱的方法和装置
CN106356071B (zh) 一种噪声检测方法,及装置
CN105959481B (zh) 一种场景音效的控制方法、及电子设备
CN106782613A (zh) 信号检测方法及装置
CN105550316B (zh) 音频列表的推送方法及装置
CN106293901A (zh) 一种终端应用的进程管理方法及装置
CN106921791A (zh) 一种多媒体文件的存储和查看方法、装置及移动终端
CN107634952A (zh) 刷量资源确定方法及装置
CN106126675A (zh) 一种推荐音频的方法、装置及系统
CN104699501B (zh) 一种运行应用程序的方法及装置
CN107680614A (zh) 音频信号处理方法、装置和存储介质
CN106790061A (zh) 用户信息验证方法和装置
CN108151716A (zh) 飞行装置测绘作业区域规划方法、装置和终端
CN105047185B (zh) 一种获取伴奏音频的方法、装置和系统
CN106652981A (zh) Bpm检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1213082

Country of ref document: HK

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161213

Address after: 510665 Guangzhou City, Tianhe District Province branch Yun Yun Road, No. 16, building No. 1301, room 2

Applicant after: Guangzhou Kugou Inc.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Applicant before: Tencent Technology (Shenzhen) Co., Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000 Guangzhou City, Guangzhou, Guangdong, Whampoa Avenue, No. 315, self - made 1-17

Applicant after: Guangzhou KuGou Networks Co., Ltd.

Address before: 510665 Guangzhou City, Tianhe District Province branch Yun Yun Road, No. 16, building No. 1301, room 2

Applicant before: Guangzhou KuGou Networks Co., Ltd.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1213082

Country of ref document: HK