CN111641758B - 一种视音频录制方法及装置、计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种视音频录制方法及装置、计算机可读存储介质，该方法包括：读取一帧当前视频和视频时间戳、对应的一帧当前音频和音频时间戳，判断视频和音频是否满足第一同步条件，在满足时将其放入编码缓存，在不满足时判断后续多帧视频和多帧音频是否均不满足第二同步条件：如果是，则删除当前视频或音频，如果否，则将其放入编码缓存；装置包括数据读取模块、同步判断模块、延时检测模块、数据放入模块及数据删除模块；可读存储介质上存储有程序，该程序被处理器执行，以实现上述录制方法或录制装置。本发明使用一般摄像机和视音频板卡即可，所以应用本发明的产品价格能够被更多的客户所接受，而且本发明在同步效果上可充分满足用户需要。

Description

一种视音频录制方法及装置、计算机可读存储介质

技术领域

本发明涉及视音频录制技术领域，更为具体来说，本发明为一种视音频录制方法及装置、计算机可读存储介质。

背景技术

目前，视音频录制长期存在一个无法躲开的问题，即如何能够在视频画面的连续性和视音频的同步性上获得较好的平衡，换言之，如何能够使声音与画面始终保持同步。在不计成本的条件下，可通过使用视音频同步信号源将各个设备进行同步匹配，从而实现视频和音频的精准对位。虽然可通过视音频同步信号源解决视音频录制的声音与画面不同步的问题，但视音频同步信号源生产成本高、价格比较昂贵。受限于用户的购买能力，大部分用户往往难以承受其价格，可见视音频同步信号源还无法达到民用级别，特别是在教育录播应用领域中，绝大部分用户使用的是民用级别的视音频同步录制方案，在视音频编码的过程中，声音和画面会伴随着录制时间的增加而逐渐出现偏差，最终往往会导致在观看时感受到声音或画面有延迟、声音与画面不同步等问题，难以满足用户的实际需要。

因此，在不使用较昂贵的视音频同步信号源的前提下，如何低成本地实现声音与画面始终同步的视音频录制效果，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

发明内容

为解决现有视音频录制只能依靠视音频同步信号源实现声音与画面同步、但视音频同步信号源价格又无法被广大民众所接受的问题，本发明可提供一种替代视音频同步信号源的低成本视音频录制方案。即使在使用民用级视音频板卡的情况下，本发明仍然能够通过视音频的帧间调度策略在视音频的编码过程中实现视频与音频之间的精准同步，从而较好地解决民用级别的视音频录制存在画面与声音不同步、声音或画面延迟等问题。

为实现上述的技术目的，本发明公开了一种视音频录制方法，该方法包括如下的步骤：从视频缓存中读取一帧当前视频和视频时间戳，并从音频缓存中读取与所述当前视频对应的一帧当前音频和音频时间戳；将所述视频时间戳和所述音频时间戳作为依据，判断所述当前视频和所述当前音频是否满足第一同步条件；在满足所述第一同步条件时将当前视频和当前音频放入编码缓存；在不满足所述第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件：如果是，则删除所述视频缓存中的所述当前视频或者删除所述音频缓存中的所述当前音频，如果否，则将所述当前视频和所述当前音频放入编码缓存。

进一步地，该方法还包括预先设置补帧标志且令补帧标志初始值为0的步骤；在判断是否满足第一同步条件前，判断补帧标志的值是否为1：如果是，则令补帧标志的值为0且将当前视频和当前音频放入编码缓存，如果否，则进行第一同步条件的判断步骤；在所述后续多帧视频和相对应的多帧音频均不满足第二同步条件时，该方法还包括令补帧标志的值为1的步骤。

进一步地，所述第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值的绝对值小于第一阈值。

进一步地，所述第二同步条件为：一帧视频的视频时间戳与相对应的一帧音频的音频时间戳的第二时间差值的绝对值小于第二阈值。

进一步地，在所述当前视频和所述当前音频满足所述第一同步条件时或者至少一帧视频和相对应的音频满足第二同步条件时，则从所述视频缓存中删除放入编码缓存中的视频且从所述音频缓存中删除放入编码缓存中的音频。

进一步地，在所述后续多帧视频和相对应的多帧音频均不满足第二同步条件时，则判断所述第一时间差值是否大于所述第一阈值：如果是，则将所述当前视频和所述当前音频放入编码缓存且删除所述音频缓存中的所述当前音频；如果否，则将所述当前视频和所述当前音频放入编码缓存且删除所述视频缓存中的所述当前视频。

为实现上述技术目的，本发明还公开了一种视音频录制装置，该装置包括：数据读取模块，用于从视频缓存中读取一帧当前视频和视频时间戳，以及用于从音频缓存中读取与所述当前视频对应的一帧当前音频和音频时间戳；同步判断模块，用于将所述视频时间戳和所述音频时间戳作为依据、判断所述当前视频和所述当前音频是否满足第一同步条件；延时检测模块，用于在不满足所述第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件；数据放入模块，用于在满足所述第一同步条件时将当前视频和当前音频放入编码缓存，以及用于在至少一帧视频和相对应的音频满足第二同步条件时将当前视频和当前音频放入编码缓存；数据删除模块，用于在后续多帧视频和相对应的多帧音频均不满足第二同步条件时删除所述视频缓存中的所述当前视频或者删除所述音频缓存中的所述当前音频。

进一步地，所述第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值的绝对值小于第一阈值；所述第二同步条件为：一帧视频的视频时间戳与相对应的一帧音频的音频时间戳的第二时间差值的绝对值小于第二阈值。

进一步地，所述数据删除模块包括视频删除模块和音频删除模块；所述视频删除模块，用于删除所述视频缓存中的所述当前视频；所述音频删除模块，用于删除所述音频缓存中的所述当前音频。

为实现上述的技术目的，本发明还公开了一种计算机可读存储介质，该介质上存储有计算机程序，该计算机程序被处理器执行，以实现本发明任一实施例所述的录制方法或实现本发明任一实施例所述的录制装置。

本发明的有益效果为：本发明巧妙地运用了视音频的帧间调度策略，通过对单帧视频进行一定程度上的主动舍弃或补偿，本发明能够在不影响最终画面观看效果的前提条件下使视频画面节拍始终与音频一致，所以本发明能够兼顾声音和画面的流畅性和同步性，从而能够有效解决录播领域中的多路视频信号与音频信号的不同步问题，避免了视频或声音延迟情况发生，进而有效提升画面的观感。

与昂贵的视音频同步信号源方案相比，本发明所提供的技术方案具有明显的成本优势。在具体应用过程中，本发明只需使用一般摄像机和民用视音频板卡即可，无需配备带有同步接口的专业摄像机，更无需使用专业的视音频同步信号源，所以应用本发明的产品的价格能够被更多的客户所接受，能够被广达民众所接受；在同步效果上，本发明能够充分满足教学等场景的视音频录播使用需求，最终的音画质量可充分满足用户实际需要。

附图说明

图1为本发明一个实施例的视音频录制方法的工作流程示意图。

图2为本发明一个实施例的延时检测模块的工作流程示意图。

具体实施方式

下面结合说明书附图对本发明所提供的一种视音频录制方法及装置、计算机可读存储介质进行详细的解释和说明。

实施例一：

如图1所示，本实施例能够提供一种视音频录制方法，是一种可基于非同步状态下的视音频录制技术方案，能够实现视频帧与音频帧的准确地对位。该方法包括但不限于如下可循环执行多次的步骤。

本实施例可采用线程的方式实现，启动线程进行视音频匹配。首先从视频缓存中读取一帧当前视频和视频时间戳，并从音频缓存中读取与当前视频对应的一帧当前音频和音频时间戳。应该理解的是，“当前视频”是指本次流程执行过程中待处理的一帧视频，“当前音频”是指与本次流程执行过程中当前视频相对应的本次流程执行过程中待处理的一帧音频。而且本实施例的视频时间戳和音频时间戳均能够通过获取精确系统时间而得到，并可将得到的视频时间戳数据存储到视频缓存中，以及将得到的音频时间戳数据存储到音频缓存中。

然后将视频时间戳和音频时间戳作为依据，判断当前视频和当前音频是否满足第一同步条件。本实施例中的第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值(VATDiff)的绝对值(abs)小于第一阈值(T)。本实施例中的第一时间差值＝视频时间戳－音频时间戳，第一阈值优选设置为80ms，即在一帧时长为40ms时本实施例允许的视音频最大差值为2帧时长。

如图1所示，该方法还包括预先设置补帧标志且令补帧标志初始值为0(即初始化为false)的步骤；在判断当前视频和当前音频是否满足上述第一同步条件前，可先判断补帧标志的值是否为1(true)：如果是，则令补帧标志的值为0(将补帧标志修改为false)，并将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)，以及从视频缓存中删除放入编码缓存中的视频且从音频缓存中删除放入编码缓存中的音频；如果否，即补帧标志的值仍然为0，则进行上述第一同步条件的判断步骤，以继续进行视音频时间戳对比。

在当前视频和当前音频满足第一同步条件时将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)以及同时从视频缓存中删除放入编码缓存中的视频和从音频缓存中删除放入编码缓存中的音频，即在该情况下不做额外处理，直接将视音频进行编码；在当前视频和当前音频不满足第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件，即进行延时检测步骤，本发明可通过启动实施例二中的延时检测模块实现。

对于延时检测的判断结果，如果是，则说明后续多帧视频和相对应的多帧音频均不满足第二同步条件，对于这种情况，本实施例采用帧间调度策略：删除视频缓存中的当前视频或者删除音频缓存中的当前音频。更为具体地，本实施例在后续多帧视频和相对应的多帧音频均不满足第二同步条件时，则判断第一时间差值是否大于第一阈值(VATDiff＞T？)：如果是，则说明音频比视频慢，将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)，并且仅删除音频缓存中的当前音频，实现补充一帧视频、将视频与音频对齐，即采用了视频的主动补偿策略；如果否，则说明视频比音频慢，则将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)且删除视频缓存中的当前视频，实现删除一帧视频、将视频与音频对其，即采用视频的主动舍弃策略。本发明的一些实施方案中，在后续多帧视频和相对应的多帧音频均不满足第二同步条件时，还可包括令补帧标志的值为1的步骤，从而在重新开始图1的主循环流程时不用进行时间戳对比而直接将视频数据和音频数据放入编码缓存，这是因为经过上述补偿或舍弃处理后，本发明能够使下一帧视频和音频自动对齐。

对于延时检测的判断结果，如果否，即后续至少一帧视频和相对应的音频可满足第二同步条件，比如图2中后续某帧视频和对应的某帧音频可满足第二同步条件，则将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)，并从视频缓存中删除放入编码缓存中的视频且从音频缓存中删除放入编码缓存中的音频。

如图2所示，本实施例中的第二同步条件为：后续的一帧视频的视频时间戳与相对应的一帧音频的音频时间戳之间的第二时间差值的绝对值abs(VATDiff)小于第二阈值。本实施例中的延时检测实现方式为：首先判断检测次数是否小于设定值，本实施例设定值例如可以为25，即1000ms时长；如果否，则直接返回“是”(true)；如果是，则进行单帧视频和单帧音频的第二同步条件判断：从视频缓存中获取下一帧视频及其视频时间戳，从音频缓存中获取下一帧音频及其音频时间戳，比较两个时间戳的差值的绝对值是否小于第二阈值，即进行第二同步条件的判断，如果两个时间戳的差值的绝对值小于第二阈值，则跳出子循环、返回“否”、回到主循环，否则令循环次数+1后判断下一帧视频和音频的时间戳差值的绝对值是否小于第二阈值，子循环判断条件不满足的情况下一直执行至循环次数达到设定值；本实施例中的第二阈值也可用T表示，第二阈值也可优选设置为80ms，即第二同步条件判断过程允许的视音频最大差值也为2帧时长。

另外，应当理解的是，在本次流程执行过程中以当前视频帧为基础，处在当前视频之后且紧随着当前视频的连续多帧视频为“后续多帧视频”，类似地，在本次流程执行过程中以当前音频为基础，处在当前音频之后且紧随着当前音频的连续多帧音频为“后续多帧音频”，而且后续各帧音频与后续各帧视频之间一一对应。

在本次的主流程执行完成后，继续对视频缓存中的下一帧视频和音频缓存中的下一帧音频进行处理(即循环进行上述步骤)，直至本次视音频数据全部处理完成(即本段视频录制完成)。

实施例二：

与实施例一中的视音频录制方法基于相同的发明构思，本实施例能够提供一种与实施例一的录制方法相对应的产品，即本实施例能够提供一种视音频录制装置。

该装置包括但不限于数据读取模块、同步判断模块、延时检测模块、数据放入模块、数据删除模块等，各个模块的工作方式以及原理具体说明如下。

数据读取模块，用于从视频缓存中读取一帧当前视频和视频时间戳，以及用于从音频缓存中读取与当前视频对应的一帧当前音频和音频时间戳。

同步判断模块，根据时间戳判断当前视频和当前音频之间是否同步，具体用于将视频时间戳和音频时间戳作为依据、判断当前视频和当前音频是否满足第一同步条件。

本发明的第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值的绝对值小于第一阈值，第一阈值可优选为80ms。

该装置还能够包括标志设置模块和标志判断模块。标志设置模块用于预先设置补帧标志且令补帧标志初始值为0。标志判断模块用于判断补帧标志的值是否为1，并且在补帧标志的值为1的情况下用于将补帧标志的值修改为0且通知数据放入模块、以将当前视频和当前音频放入编码缓存(然后对放入编码缓存中的视频数据和音频数据进行编码)，在补帧标志的值为0的情况下用于通知同步判断模块、以进行第一同步条件的判断。标志判断模块还能够用于在后续多帧视频和相对应的多帧音频均不满足第二同步条件时能够令补帧标志的值为1。

延时检测模块，通过延时检测的方式进一步确认当前视频和当前音频是否确实不同步，具体用于在不满足第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件。

本发明的第二同步条件为：一帧视频的视频时间戳与相对应的一帧音频的音频时间戳的第二时间差值的绝对值小于第二阈值。

数据放入模块，用于将数据放入编码缓存，包括用于在满足第一同步条件时将当前视频和当前音频放入编码缓存(然后可通过编码模块对放入编码缓存中的视频数据和音频数据进行编码)，以及用于在至少一帧视频和相对应的音频满足第二同步条件时也将当前视频和当前音频放入编码缓存(然后可通过编码模块对放入编码缓存中的视频数据和音频数据进行编码)。

数据删除模块，可用于在后续多帧视频和相对应的多帧音频均不满足第二同步条件时删除视频缓存中的当前视频或者删除音频缓存中的当前音频，其中，在第一时间差值大于第一阈值时数据删除模块用于删除音频缓存中的当前音频，在第一时间差值小于或等于第一阈值时数据删除模块用于删除视频缓存中的当前视频。而且，在当前视频和当前音频满足第一同步条件时或者后续的至少一帧视频和相对应的音频满足第二同步条件或者在补帧标志的值被判断后为1时，数据删除模块还可用于从视频缓存中删除放入编码缓存中的视频以及从音频缓存中删除放入编码缓存中的音频。本发明的一些具体实施方案中，数据删除模块包括视频删除模块和音频删除模块；其中，视频删除模块，用于删除视频缓存中的当前视频；音频删除模块，用于删除音频缓存中的当前音频。

实施例三：

本发明还能够提供一种计算机可读存储介质，与实施例一和实施例二基于相同的发明构思。计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行，以实现本发明任一实施例的录制方法或录制装置。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read-Only Memory)，可擦除可编辑只读存储器(EPROM，Erasable Programmable Read-Only Memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM，Compact Disc Read-Only Memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA，Programmable Gate Array)，现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视音频录制方法，其特征在于，该方法包括：

从视频缓存中读取一帧当前视频和视频时间戳，并从音频缓存中读取与所述当前视频对应的一帧当前音频和音频时间戳；预先设置补帧标志且令补帧标志初始值为0；

将所述视频时间戳和所述音频时间戳作为依据，判断补帧标志的值是否为1：如果是，则令补帧标志的值为0且将当前视频和当前音频放入编码缓存，如果否，则判断所述当前视频和所述当前音频是否满足第一同步条件；所述第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值的绝对值小于第一阈值；

在满足所述第一同步条件时将当前视频和当前音频放入编码缓存；在不满足所述第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件：如果是，则删除所述视频缓存中的所述当前视频或者删除所述音频缓存中的所述当前音频，并令补帧标志的值为1，如果否，则将所述当前视频和所述当前音频放入编码缓存；所述第二同步条件为：一帧视频的视频时间戳与相对应的一帧音频的音频时间戳的第二时间差值的绝对值小于第二阈值。

2.根据权利要求1所述的视音频录制方法，其特征在于，

在所述当前视频和所述当前音频满足所述第一同步条件时或者至少一帧视频和相对应的音频满足第二同步条件时，则从所述视频缓存中删除放入编码缓存中的视频且从所述音频缓存中删除放入编码缓存中的音频。

3.根据权利要求2所述的视音频录制方法，其特征在于，

在所述后续多帧视频和相对应的多帧音频均不满足第二同步条件时，则判断所述第一时间差值是否大于所述第一阈值：

如果是，则将所述当前视频和所述当前音频放入编码缓存且删除所述音频缓存中的所述当前音频；

如果否，则将所述当前视频和所述当前音频放入编码缓存且删除所述视频缓存中的所述当前视频。

4.一种视音频录制装置，其特征在于，该装置包括：

数据读取模块，用于从视频缓存中读取一帧当前视频和视频时间戳，以及用于从音频缓存中读取与所述当前视频对应的一帧当前音频和音频时间戳；预先设置补帧标志且令补帧标志初始值为0；

同步判断模块，用于将所述视频时间戳和所述音频时间戳作为依据，判断补帧标志的值是否为1：如果是，则令补帧标志的值为0且将当前视频和当前音频放入编码缓存，如果否，则判断所述当前视频和所述当前音频是否满足第一同步条件；所述第一同步条件为：当前视频的视频时间戳与当前音频的音频时间戳的第一时间差值的绝对值小于第一阈值；

延时检测模块，用于在不满足所述第一同步条件时判断后续多帧视频和相对应的多帧音频是否均不满足第二同步条件；所述第二同步条件为：一帧视频的视频时间戳与相对应的一帧音频的音频时间戳的第二时间差值的绝对值小于第二阈值；

数据放入模块，用于在满足所述第一同步条件时将当前视频和当前音频放入编码缓存，以及用于在至少一帧视频和相对应的音频满足第二同步条件时将当前视频和当前音频放入编码缓存；

数据删除模块，用于在后续多帧视频和相对应的多帧音频均不满足第二同步条件时删除所述视频缓存中的所述当前视频或者删除所述音频缓存中的所述当前音频。

5.根据权利要求4所述的视音频录制装置，其特征在于，

所述数据删除模块包括视频删除模块和音频删除模块；

所述视频删除模块，用于删除所述视频缓存中的所述当前视频；

所述音频删除模块，用于删除所述音频缓存中的所述当前音频。

6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行，以实现如权利要求1～3中任一权利要求所述的录制方法或实现如权利要求4～5中任一权利要求所述的录制装置。

Images