CN105049917B - 录制音视频同步时间戳的方法和装置 - Google Patents

录制音视频同步时间戳的方法和装置 Download PDF

Info

Publication number
CN105049917B
CN105049917B CN201510392437.9A CN201510392437A CN105049917B CN 105049917 B CN105049917 B CN 105049917B CN 201510392437 A CN201510392437 A CN 201510392437A CN 105049917 B CN105049917 B CN 105049917B
Authority
CN
China
Prior art keywords
audio
data
video
audio data
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510392437.9A
Other languages
English (en)
Other versions
CN105049917A (zh
Inventor
焦新旺
王云华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201510392437.9A priority Critical patent/CN105049917B/zh
Publication of CN105049917A publication Critical patent/CN105049917A/zh
Priority to PCT/CN2016/084387 priority patent/WO2017005066A1/zh
Application granted granted Critical
Publication of CN105049917B publication Critical patent/CN105049917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

本发明公开了一种录制音视频同步时间戳的方法,包括:采集视频数据和音频数据;获取所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h;根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据。本发明还公开了一种录制音视频同步时间戳的装置。本发明根据音频长度、音频采样率和视频帧率重新计算新的时间戳,并根据新的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,有效避免了因录制干扰造成播放时画面与声音不同步。

Description

录制音视频同步时间戳的方法和装置
技术领域
本发明涉及多媒体技术领域,特别涉及录制音视频同步时间戳的方法和装置。
背景技术
目前,智能电视、手机、电脑等智能设备的功能越来越丰富,在智能设备上连接摄像头和录音装置可用于录制用户的音视频文件,并可以在智能设备的显示屏上播放该音视频文件。但是,由于干扰问题的存在,在采集卡采集数据时出现音频与视频不同步。例如原来设置的视频帧率为25帧/秒,但实际采集的视频数据并不是40毫秒的时间间隔,而是50毫秒、60毫秒、甚至100毫秒不等的时间间隔,导致视频数据相对于音频数据滞后,这就给编码后给视频数据和音频数据打时间戳带来很大的困难,出现音视频回放时声音和画面不同步播放的问题。
发明内容
本发明的主要目的为提供一种录制音视频同步时间戳的方法和装置,避免录制的音频数据和视频数据在播放时不同步的问题。
本发明提出一种录制音视频同步时间戳的方法,包括步骤:
采集视频数据和音频数据;
获取所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h;
根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据。
优选地,所述根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)]的步骤包括:
分别将所述音频数据的长度a和所述视频数据的帧率b放大n倍,所述n为预设放大倍数;
将放大后的所述音频数据的长度除以所述音频采样率h,得到每一赫兹的音频长度an/h;
将放大后的所述视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
将所述音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
优选地,所述根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据的步骤之前还包括:
判断所述音频数据对应的数据存储位的个数是否大于新的时间戳的数值;
如果是,则判定为新的时间戳有效,执行所述根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据的步骤;
如果否,则判定为新的时间戳无效。
优选地,所述采集视频数据和音频数据的步骤包括:
接收并存储音频采集设备采集的所述音频数据;
判断所述音频数据对应的存储位的个数是否大于阈值;
如果是,则判定所述音频数据有效,接收并存储视频采集设备采集的所述视频数据;
如果否,则判定所述音频数据无效。
优选地,所述接收并存储音频采集设备采集的所述音频数据的步骤之前还包括:
接收音视频录制请求;
检测当前是否已有所述视频采集设备接入;
当检测到当前已有所述视频采集设备接入时,控制所述视频采集设备采集所述视频数据。
本发明还提出一种录制音视频同步时间戳的装置,包括:
采集模块,用于采集视频数据和音频数据;
获取模块,用于获取所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h;
计算模块,用于根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
编解码模块,用于根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据。
优选地,所述计算模块还用于:
分别将所述音频数据的长度a和所述视频数据的帧率b放大n倍,所述n为预设放大倍数;
将放大后的所述音频数据的长度除以所述音频采样率h,得到每一赫兹的音频长度an/h;
将放大后的所述视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
将所述音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
优选地,所述录制音视频同步时间戳的装置,还包括判断模块,用于:
判断所述音频数据对应的数据存储位的个数是否大于新的时间戳的数值;
如果是,则判定为新的时间戳有效;
如果否,则判定为新的时间戳无效。
优选地,所述采集模块还用于,接收并存储音频采集设备采集的所述音频数据;当所述判断模块判定所述音频数据有效时,接收并存储视频采集设备采集的所述视频数据;
所述判断模块还用于,判断所述音频数据对应的存储位的个数是否大于阈值;如果是,则判定所述音频数据有效;如果否,则判定所述音频数据无效。
优选地,所述录制音视频同步时间戳的装置,还包括指令接收模块和检测模块;
所述指令接收模块,用于接收音视频录制请求;
所述检测模块,用于检测当前是否已有所述视频采集设备接入;
所述采集模块还用于,当所述检测模块检测到当前已有所述视频采集设备接入时,控制所述视频采集设备采集所述视频数据。
本发明根据音频长度、音频采样率和视频帧率重新计算新的时间戳,并根据得到的新的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,在智能设备回放该音视频文件时,画面与声音同步播放,有效避免了因录制干扰造成播放时画面与声音不同步。
附图说明
图1为本发明录制音视频同步时间戳的方法的第一实施例的流程图;
图2为本发明录制音视频同步时间戳的方法的第二实施例的流程图;
图3为本发明录制音视频同步时间戳的方法的第三实施例的流程图;
图4为本发明录制音视频同步时间戳的方法的第四实施例的流程图;
图5为本发明录制音视频同步时间戳的方法的第五实施例的流程图;
图6为本发明录制音视频同步时间戳的装置的第一实施例的模块示意图;
图7为本发明录制音视频同步时间戳的装置的第二实施例的模块示意图;
图8为本发明录制音视频同步时间戳的装置的第三实施例的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1为本发明录制音视频同步时间戳的方法的第一实施例的流程图。本实施例提到的录制音视频同步时间戳的方法,包括:
步骤S10,采集视频数据和音频数据;
本实施例的智能设备可包括电视机、手机、电脑等设备。智能设备可连接视频采集设备,例如摄像头,通过摄像头采集视频数据。智能设备还可连接音频采集设备,例如麦克风,通过麦克风采集音频数据。此外,智能设备还可以连接其他具有音频采集功能的设备,通过其他设备采集音频后将音频数据传输给智能设备。例如,智能设备为电视机,其他设备为手机,手机与电视机通过无线网络连接,手机通过话筒采集音频数据后,经无线网络将音频数据发送给电视机。
步骤S20,获取音频数据的长度a、视频数据的帧率b以及预设的音频采样率h;
智能设备可根据视频采集设备的分辨率大小统计当前视频数据的帧率,还计算采集的音频数据的长度,并从存储器中获取预设的音频采样率。
步骤S30,根据音频数据的长度a、视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
根据适配时间戳算法计算新的时间戳T=a/[b/(a/h)],其中,a为音频数据的长度,b为视频数据的帧率,h预设的音频采样率。为了简化计算,可将b四舍五入为整数,省去小数点之后的数。但为了精确计算结果,也可保留b的小数点后的数值,使获得的时间戳更加准确。
步骤S40,根据新的时间戳编码、解码视频数据和音频数据,获得时间同步的视频数据和音频数据。
将得到的新的时间戳输入编解码模块,使编解码模块根据新的时间戳编码、解码视频数据和音频数据,最终获得时间同步的视频数据和音频数据。在智能设备回放该音视频文件时,画面与声音同步。
本实施例根据音频长度、音频采样率和视频帧率重新计算新的时间戳,并根据得到的新的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,在智能设备回放该音视频文件时,画面与声音同步播放,有效避免了因录制干扰造成播放时画面与声音不同步。
如图2所示,图2为本发明录制音视频同步时间戳的方法的第二实施例的流程图。本实施例包括图1所示实施例的步骤,其中的步骤S30包括:
步骤S31,分别将音频数据的长度a和视频数据的帧率b放大n倍,n为预设放大倍数;
步骤S32,将放大后的音频数据的长度除以音频采样率h,得到每一赫兹的音频长度an/h;
步骤S33,将放大后的视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
步骤S34,将音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
本实施例中,为了让最终获得的时间戳更加精确,在计算时将视频数据的帧率b放大n倍,n的取值可以为10的幂次方,例如n=1000,使帧率b的值精确到了小数点后3位,则获得的时间戳精确到了毫秒级。同时,为了确保最终结果的准确性,还将音频数据的长度a也放大n倍,使得在计算过程中的数值在放大了n倍后又缩小n倍。在计算时,将放大后的音频长度除以音频采样率,得到每单位赫兹的音频长度;再将放大后的视频帧率除以每一赫兹的音频长度,得到每一数据存储位的时长,即存储音频数据的存储器中每一位的时长,比如,音频数据在采集时为模拟信号,将其经过ADC采样后,模拟波形变成离散的数字信号,离散点的个数就是音频数据对应的数据存储位的个数,1s中采样的音频数据的采样点个数为2个,则每一存储位的时长为0.5s;再将音频长度除以每一数据存储位的时长,获得新的时间戳。本实施例在计算时间戳时,将帧率b放大n倍,使获得的时间戳更加精确,根据得到的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,有效避免了因录制干扰造成播放时画面与声音不同步。
如图3所示,图3为本发明录制音视频同步时间戳的方法的第三实施例的流程图。本实施例包括图1所示实施例的步骤,步骤S40之前还包括:
步骤S51,判断音频数据对应的数据存储位的个数是否大于新的时间戳的数值;如果是,则执行步骤S52;如果否,则执行步骤S53;
步骤S52,判定为新的时间戳有效,执行步骤S40;
步骤S53,判定为新的时间戳无效。
本实施例还对时间戳的有效性进行判断。音频采集设备采集到的音频数据为模拟信号,经过ADC采样后,模拟波形变成离散的数字信号,离散采样点的个数,即数据存储位的个数。由于音频数据存储的个数是通过ADC模数转换后的个数,ADC模数转换后的个数一定会大于转换前的个数,因此,如果存储个数小于或者等于新的时间戳,则该时间戳都是无效的。例如,计算得到的时间戳为4000ms,音频数据对应的存储位的个数为96个,则时间戳无效,可弹出提示窗提示用户重新录制。此外,还可以在采集音频视频数据的过程中,设定一个长度阈值或时间阈值,在采集的数据到达这个长度阈值或时间阈值后,根据已采集的部分数据计算时间戳,并判断当前计算的时间戳是否有效,如果无效,则停止后续的数据采集,提示用户重新录制。本实施例对时间戳的有效性进行判断,避免了采用无效的时间戳编码、解码音视频数据造成播放的声音和画面仍然不同步的问题。
如图4所示,图4为本发明录制音视频同步时间戳的方法的第四实施例的流程图。本实施例包括图1所示实施例的步骤,其中的步骤S10包括:
步骤S11,接收并存储音频采集设备采集的音频数据;
步骤S12,判断音频数据对应的存储位的个数是否大于阈值;如果是,则执行步骤S13;如果否,则执行步骤S14;
步骤S13,判定音频数据有效,接收并存储视频采集设备采集的视频数据,并执行步骤S20;
步骤S14,判定音频数据无效。
本实施例在录制视频数据时,可能因音频采集设备连接中断造成音频数据无法采集,因此需对音频数据的有效性进行判断。系统在存储音频数据的存储器中获取已存储的位的个数,也可理解为音频数据量的大小。当已存储的位的个数大于阈值时,例如阈值为10,当已存储的位的个数大于10时,则判定为已采集到足够多的音频数据,该音频数据有效。否则,采集的音频数据量较少,可能是音频采集设备连接中断造成音频数据无法采集,此时判定为音频数据无效,可提示用户检查音频采集设备是否连接,并重新录制。本实施例对音频数据的有效性进行判断,避免因音频采集设备连接中断造成音频数据无法采集的问题。
如图5所示,图5为本发明录制音视频同步时间戳的方法的第五实施例的流程图。本实施例包括图4所示实施例的步骤,步骤S11之前还包括:
步骤S15,接收音视频录制请求;
步骤S16,检测当前是否已有视频采集设备接入;
步骤S17,当检测到当前已有视频采集设备接入时,控制视频采集设备采集视频数据。
本实施例中,用户可在智能设备上点击录制音视频的控件,生成音视频录制请求。例如,用户打开MTV应用,选择自己喜欢的MTV歌曲,进入自唱自演的录制界面,开始演唱。系统对USB接口的电平进行检测,当USB接口的硬件电平为高电平时,说明有设备连接USB接口,系统对连接USB的设备进行识别,判断是否为视频采集设备,例如是否有摄像头连接USB。如果当前连接的USB设备为视频采集设备,则控制该视频采集设备采集视频数据。否则,判定视频采集设备未接入,可弹出提示框提示用户检查视频采集设备是否连接,并重新录制。本实施例对视频采集设备是否接入进行判断,避免因视频采集设备未接入造成视频数据无法采集的问题。
如图6所示,图6为本发明录制音视频同步时间戳的装置的第一实施例的模块示意图。本实施例提到的录制音视频同步时间戳的装置,包括:
采集模块10,用于采集视频数据和音频数据;
获取模块20,用于获取音频数据的长度a、视频数据的帧率b以及预设的音频采样率h;
计算模块30,用于根据音频数据的长度a、视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
编解码模块40,用于根据新的时间戳编码、解码视频数据和音频数据,获得时间同步的视频数据和音频数据。
本实施例的智能设备可包括电视机、手机、电脑等设备。智能设备可连接视频采集设备,例如摄像头,通过摄像头采集视频数据。智能设备还可连接音频采集设备,例如麦克风,通过麦克风采集音频数据。此外,智能设备还可以连接其他具有音频采集功能的设备,通过其他设备采集音频后将音频数据传输给智能设备。例如,智能设备为电视机,其他设备为手机,手机与电视机通过无线网络连接,手机通过话筒采集音频数据后,经无线网络将音频数据发送给电视机。
智能设备可根据视频采集设备的分辨率大小统计当前视频数据的帧率,还计算采集的音频数据的长度,并从存储器中获取预设的音频采样率。根据适配时间戳算法计算新的时间戳T=a/[b/(a/h)],使视频数据的时间戳与计算的新的时间戳同步。其中,a为音频数据的长度,b为视频数据的帧率,h预设的音频采样率。为了简化计算,可将b四舍五入为整数,省去小数点之后的数。但为了精确计算结果,也可保留b的小数点后的数值,使获得的时间戳更加准确。
将得到的新的时间戳输入编解码模块,使编解码模块根据新的时间戳编码、解码视频数据和音频数据,最终获得时间同步的视频数据和音频数据。在智能设备回放该音视频文件时,画面与声音同步。
本实施例根据音频长度、音频采样率和视频帧率重新计算新的时间戳,并根据得到的新的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,在智能设备回放该音视频文件时,画面与声音同步播放,有效避免了因录制干扰造成播放时画面与声音不同步。
进一步的,计算模块30还用于:
分别将音频数据的长度a和视频数据的帧率b放大n倍,n为预设放大倍数;
将放大后的音频数据的长度除以音频采样率h,得到每一赫兹的音频长度an/h;
将放大后的视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
将音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
本实施例中,为了让最终获得的时间戳更加精确,在计算时将视频数据的帧率b放大n倍,n的取值可以为10的幂次方,例如n=1000,使帧率b的值精确到了小数点后3位,则获得的时间戳精确到了毫秒级。同时,为了确保最终结果的准确性,还将音频数据的长度a也放大n倍,使得在计算过程中的数值在放大了n倍后又缩小n倍。在计算时,将放大后的音频长度除以音频采样率,得到每单位赫兹的音频长度;再将放大后的视频帧率除以每一赫兹的音频长度,得到每一数据存储位的时长,即存储音频数据的存储器中每一位的时长,比如,音频数据在采集时为模拟信号,将其经过ADC采样后,模拟波形变成离散的数字信号,离散点的个数就是音频数据对应的数据存储位的个数,1s中采样的音频数据的采样点个数为2个,则每一存储位的时长为0.5s;再将音频长度除以每一数据存储位的时长,获得新的时间戳。本实施例在计算时间戳时,将帧率b放大n倍,使获得的时间戳更加精确,根据得到的时间戳来编码、解码音视频数据,使编码、解码后的音频数据和视频数据时间同步,有效避免了因录制干扰造成播放时画面与声音不同步。
如图7所示,图7为本发明录制音视频同步时间戳的装置的第二实施例的模块示意图。本实施例包括图6所示实施例的模块,还包括判断模块50,用于:
判断音频数据对应的数据存储位的个数是否大于新的时间戳的数值;
如果是,则判定为新的时间戳有效;
如果否,则判定为新的时间戳无效。
本实施例还对时间戳的有效性进行判断。音频采集设备采集到的音频数据为模拟信号,经过ADC采样后,模拟波形变成离散的数字信号,离散采样点的个数,即数据存储位的个数。由于音频数据存储的个数是通过ADC模数转换后的个数,ADC模数转换后的个数一定会大于转换前的个数,因此,如果存储个数小于或者等于新的时间戳,则该时间戳都是无效的。例如,计算得到的时间戳为4000ms,音频数据对应的存储位的个数为96个,则时间戳无效,可弹出提示窗提示用户重新录制。此外,还可以在采集音频视频数据的过程中,设定一个长度阈值或时间阈值,在采集的数据到达这个长度阈值或时间阈值后,根据已采集的部分数据计算时间戳,并判断当前计算的时间戳是否有效,如果无效,则停止后续的数据采集,提示用户重新录制。本实施例对时间戳的有效性进行判断,避免了采用无效的时间戳编码、解码音视频数据造成播放的声音和画面仍然不同步的问题。
进一步的,采集模块10还用于,接收并存储音频采集设备采集的音频数据;当判断模块50判定音频数据有效时,接收并存储视频采集设备采集的视频数据;
判断模块50还用于,判断音频数据对应的存储位的个数是否大于阈值;如果是,则判定音频数据有效;如果否,则判定音频数据无效。
本实施例在录制视频数据时,可能因音频采集设备连接中断造成音频数据无法采集,因此需对音频数据的有效性进行判断。系统在存储音频数据的存储器中获取已存储的位的个数,也可理解为音频数据量的大小。当已存储的位的个数大于阈值时,例如阈值为10,当已存储的位的个数大于10时,则判定为已采集到足够多的音频数据,该音频数据有效。否则,采集的音频数据量较少,可能是音频采集设备连接中断造成音频数据无法采集,此时判定为音频数据无效,可提示用户检查音频采集设备是否连接,并重新录制。本实施例对音频数据的有效性进行判断,避免因音频采集设备连接中断造成音频数据无法采集的问题。
如图8所示,图8为本发明录制音视频同步时间戳的装置的第三实施例的模块示意图。本实施例包括图7所示实施例的模块,还包括指令接收模块60和检测模块70;
指令接收模块60,用于接收音视频录制请求;
检测模块70,用于检测当前是否已有视频采集设备接入;
采集模块10还用于,当检测模块70检测到当前已有视频采集设备接入时,控制视频采集设备采集视频数据。
本实施例中,用户可在智能设备上点击录制音视频的控件,生成音视频录制请求。例如,用户打开MTV应用,选择自己喜欢的MTV歌曲,进入自唱自演的录制界面,开始演唱。系统对USB接口的电平进行检测,当USB接口的硬件电平为高电平时,说明有设备连接USB接口,系统对连接USB的设备进行识别,判断是否为视频采集设备,例如是否有摄像头连接USB。如果当前连接的USB设备为视频采集设备,则控制该视频采集设备采集视频数据。否则,判定视频采集设备未接入,可弹出提示框提示用户检查视频采集设备是否连接,并重新录制。本实施例对视频采集设备是否接入进行判断,避免因视频采集设备未接入造成视频数据无法采集的问题。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种录制音视频同步时间戳的方法,其特征在于,包括步骤:
采集视频数据和音频数据;
获取所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h;
根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
判断所述音频数据对应的数据存储位的个数是否大于新的时间戳的数值;
如果是,则判定为新的时间戳有效,并根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据;
如果否,则判定为新的时间戳无效。
2.如权利要求1所述的录制音视频同步时间戳的方法,其特征在于,所述根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)]的步骤包括:
分别将所述音频数据的长度a和所述视频数据的帧率b放大n倍,所述n为预设放大倍数;
将放大后的所述音频数据的长度除以所述音频采样率h,得到每一赫兹的音频长度an/h;
将放大后的所述视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
将所述音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
3.如权利要求1或2所述的录制音视频同步时间戳的方法,其特征在于,所述采集视频数据和音频数据的步骤包括:
接收并存储音频采集设备采集的所述音频数据;
判断所述音频数据对应的存储位的个数是否大于阈值;
如果是,则判定所述音频数据有效,接收并存储视频采集设备采集的所述视频数据;
如果否,则判定所述音频数据无效。
4.如权利要求3所述的录制音视频同步时间戳的方法,其特征在于,所述接收并存储音频采集设备采集的所述音频数据的步骤之前还包括:
接收音视频录制请求;
检测当前是否已有所述视频采集设备接入;
当检测到当前已有所述视频采集设备接入时,控制所述视频采集设备采集所述视频数据。
5.一种录制音视频同步时间戳的装置,其特征在于,包括:
采集模块,用于采集视频数据和音频数据;
获取模块,用于获取所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h;
计算模块,用于根据所述音频数据的长度a、所述视频数据的帧率b以及预设的音频采样率h,计算新的时间戳T=a/[b/(a/h)];
判断模块,用于判断所述音频数据对应的数据存储位的个数是否大于新的时间戳的数值;
如果是,则判定为新的时间戳有效;
如果否,则判定为新的时间戳无效;
编解码模块,用于根据新的时间戳编码、解码所述视频数据和音频数据,获得时间同步的所述视频数据和音频数据。
6.如权利要求5所述的录制音视频同步时间戳的装置,其特征在于,所述计算模块还用于:
分别将所述音频数据的长度a和所述视频数据的帧率b放大n倍,所述n为预设放大倍数;
将放大后的所述音频数据的长度除以所述音频采样率h,得到每一赫兹的音频长度an/h;
将放大后的所述视频数据的帧率除以每一赫兹的音频长度an/h,得到每一数据存储位的时长bn/(an/h);
将所述音频数据的长度除以每一数据存储位的时长bn/(an/h),获得新的时间戳T=a/[bn/(an/h)]。
7.如权利要求6所述的录制音视频同步时间戳的装置,其特征在于,所述采集模块还用于,接收并存储音频采集设备采集的所述音频数据;当所述判断模块判定所述音频数据有效时,接收并存储视频采集设备采集的所述视频数据;
所述判断模块还用于,判断所述音频数据对应的存储位的个数是否大于阈值;如果是,则判定所述音频数据有效;如果否,则判定所述音频数据无效。
8.如权利要求7所述的录制音视频同步时间戳的装置,其特征在于,还包括指令接收模块和检测模块;
所述指令接收模块,用于接收音视频录制请求;
所述检测模块,用于检测当前是否已有所述视频采集设备接入;
所述采集模块还用于,当所述检测模块检测到当前已有所述视频采集设备接入时,控制所述视频采集设备采集所述视频数据。
CN201510392437.9A 2015-07-06 2015-07-06 录制音视频同步时间戳的方法和装置 Active CN105049917B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510392437.9A CN105049917B (zh) 2015-07-06 2015-07-06 录制音视频同步时间戳的方法和装置
PCT/CN2016/084387 WO2017005066A1 (zh) 2015-07-06 2016-06-01 录制音视频同步时间戳的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510392437.9A CN105049917B (zh) 2015-07-06 2015-07-06 录制音视频同步时间戳的方法和装置

Publications (2)

Publication Number Publication Date
CN105049917A CN105049917A (zh) 2015-11-11
CN105049917B true CN105049917B (zh) 2018-12-07

Family

ID=54456040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510392437.9A Active CN105049917B (zh) 2015-07-06 2015-07-06 录制音视频同步时间戳的方法和装置

Country Status (2)

Country Link
CN (1) CN105049917B (zh)
WO (1) WO2017005066A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049917B (zh) * 2015-07-06 2018-12-07 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN106060443A (zh) * 2016-07-13 2016-10-26 福州瑞芯微电子股份有限公司 一种基于安卓系统的视频录制方法和装置
CN109600564B (zh) * 2018-08-01 2020-06-02 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109600665B (zh) * 2018-08-01 2020-06-19 北京微播视界科技有限公司 用于处理数据的方法和装置
CN109600563B (zh) * 2018-08-01 2020-05-15 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109257641B (zh) * 2018-09-05 2021-03-16 福建星网智慧科技股份有限公司 无线传屏中音频与视频同步方法及系统
CN109635133B (zh) * 2018-12-18 2022-12-09 腾讯音乐娱乐科技(深圳)有限公司 可视化音频播放方法、装置、电子设备及存储介质
CN109842795B (zh) * 2019-02-28 2020-08-11 苏州科达科技股份有限公司 音视频同步性能测试方法、装置、电子设备、存储介质
CN111726684B (zh) * 2019-03-22 2022-11-04 腾讯科技(深圳)有限公司 一种音视频处理方法、装置及存储介质
JP7208530B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
CN110933349B (zh) * 2019-11-19 2022-03-04 北京奇艺世纪科技有限公司 一种音频数据生成方法、装置、系统及控制器
CN111277896A (zh) * 2020-02-13 2020-06-12 上海高重信息科技有限公司 对网络视频流图像拼接的方法和装置
CN113596550B (zh) * 2021-08-31 2024-05-24 小帧科技(深圳)有限公司 一种音视频同步控制方法及装置
CN114390314B (zh) * 2021-12-30 2024-06-18 咪咕文化科技有限公司 可变帧率音视频处理方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267572A (zh) * 2008-04-30 2008-09-17 中兴通讯股份有限公司 一种节目流转换的方法及装置
CN102215429A (zh) * 2010-04-01 2011-10-12 安凯(广州)微电子技术有限公司 一种用于移动电视的录制方法
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN104202648A (zh) * 2014-08-25 2014-12-10 四川长虹电器股份有限公司 电视节目的录制系统
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
WO2012151756A1 (en) * 2011-05-12 2012-11-15 Intel Corporation Techniques for synchronization of audio and video
CN105049917B (zh) * 2015-07-06 2018-12-07 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267572A (zh) * 2008-04-30 2008-09-17 中兴通讯股份有限公司 一种节目流转换的方法及装置
CN102215429A (zh) * 2010-04-01 2011-10-12 安凯(广州)微电子技术有限公司 一种用于移动电视的录制方法
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN104202648A (zh) * 2014-08-25 2014-12-10 四川长虹电器股份有限公司 电视节目的录制系统
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置

Also Published As

Publication number Publication date
CN105049917A (zh) 2015-11-11
WO2017005066A1 (zh) 2017-01-12

Similar Documents

Publication Publication Date Title
CN105049917B (zh) 录制音视频同步时间戳的方法和装置
CN104410807B (zh) 一种多路视频同步回放方法及装置
CN106713855B (zh) 一种视频播放方法及装置
CN110324643B (zh) 一种视频录制方法及系统
WO2015031548A1 (en) Audio video playback synchronization for encoded media
CN110335590B (zh) 语音识别测试方法、装置及系统
CN112954434B (zh) 字幕处理方法、系统、电子设备和存储介质
US7885514B2 (en) Apparatus and method for determining rendering duration of video frame
WO2009053869A2 (en) Method and mobile device for detecting highlights
CN109600564A (zh) 用于确定时间戳的方法和装置
CN113722543A (zh) 一种视频相似性比对方法、系统及设备
CN114339292A (zh) 一种直播流的审查干预方法、装置、存储介质及设备
CN109600650B (zh) 用于处理数据的方法和装置
CN110419226B (zh) 播放电视节目的方法和装置
CN103747366A (zh) 一种hls媒体文件播放进度的显示方法和播放器
WO2011150826A1 (zh) 媒体播放同步的方法及装置
CN111385576B (zh) 视频编码方法、装置、移动终端及存储介质
CN112188259B (zh) 用于音视频同步测试和校正的方法、装置及电子设备
JP2009200757A (ja) 映像データ処理装置、プログラム及び方法
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及系统
KR101230746B1 (ko) 음악데이터와 동시 출력을 위한 동기화된 영상데이터 생성방법과 그 동기화 출력을 위한 재생 방법
CN116233411A (zh) 音视频同步测试的方法、装置、设备及计算机存储介质
CN116170632A (zh) 一种声音补偿方法及装置
EP3891962B1 (en) Synchronized jitter buffers to handle codec switches
CN110545447B (zh) 一种音视频同步的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant