CN111565298A - 视频处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请的实施例揭示了一种视频处理方法、装置、设备以及计算机可读存储介质。该方法包括：获取不同视频采集设备针对同一视频场景采集得到的视频流，所述视频流中添加有所述视频采集设备的时间信息；将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测；如果检测到所述各个视频通道之间输出的视频图像不同步，则根据所述各个视频通道输出的视频图像对应的时间信息确定所述各个视频通道之间的输出时间差；基于所述输出时间差对所述各个视频通道进行输出控制，以使所述各个视频通道输出的视频图像保持同步。基于本申请的技术方案能够准确地查看监控地点的监控情况。

Description

视频处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种视频处理方法、装置、设备和计算机可读存储介质。

背景技术

在现有的监控场景中，一个监控地点通常安装有多个摄像头，以从不同的监控视角对该监控地点进行多方位监控。当需要查看监控地点的监控情况时，需同步查看各个摄像头录制的监控画面，以基于同步的各个视频画面准确地还原监控地点的监控场景。

由于各个摄像头在录制监控画面的过程中的网络可能不同，会导致各个摄像头录制的监控视频中存在不同程度的图像帧缺失的问题，因此在查看各个摄像头所录制的监控画面时，容易出现各个监控画面不同步的问题，影响视频监控的准确性。

发明内容

为解决不同摄像头录制的监控视频在播放时出现画面不同步的问题，本申请的实施例提供一种视频处理方法、装置、设备以及计算机可读存储介质，以保证各个监控视频的播放画面是同步的。

本申请所采用的技术方案为：

一种视频处理方法，包括：获取不同视频采集设备针对同一视频场景采集得到的视频流，所述视频流中添加有所述视频采集设备的时间信息；将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测；如果检测到所述各个视频通道之间输出的视频图像不同步，则根据所述各个视频通道输出的视频图像对应的时间信息确定所述各个视频通道之间的输出时间差；基于所述输出时间差对所述各个视频通道进行输出控制，以使所述各个视频通道输出的视频图像保持同步。

一种视频处理装置，包括：视频获取模块，用于获取不同视频采集设备针对同一视频场景采集得到的视频流，所述视频流中添加有所述视频采集设备的时间信息；视频检测模块，用于将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测；时间差确定模块，用于在检测到所述各个视频通道之间输出的视频图像不同步的情况下，根据所述各个视频通道输出的视频图像对应的时间信息确定所述各个视频通道之间的输出时间差；视频调整模块，用于基于所述输出时间差对所述各个视频通道进行输出控制，以使所述各个视频通道输出的视频图像保持同步。

一种视频处理设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的视频处理方法。

一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的视频处理方法。

在上述技术方案中，通过对各个视频通道中输出的视频图像进行画面检测，当检测到各个视频通道之间输出的视频图像不同步时，根据各个视频通道输出的视频图像对应的时间信息将各个视频通道输出的视频图像调整为同步。由此，在查看安装于同一监控地点的多个摄像头分别录制的监控视频时，基于上述方案对各个监控视频对应的视频通道进行输出控制，可以保证各个监控视频显示的视频图像是同步的，从而能够准确地查看监控地点的监控情况，极大地提升了视频监控的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种视频处理方法的流程图；

图3是图2所示实施例中步骤130在一个示例性实施例的流程图；

图4是图3所示实施例中步骤137在一个示例性实施例的流程图；

图5是图2所示实施例中步骤150在一个示例性实施例的流程图；

图6是根据另一示例性实施例示出的一种视频处理方法的流程图；

图7是根据一示例性实施例示出的针对离线视频进行同步调整的整体架构示意图；

图8是图7所示的整体架构对应的整体流程图；

图9是图7所示的整体架构中算法模块和同步逻辑模块对应的流程图；

图10是根据一示例性实施例示出的一种视频图像对比示意图；

图11是根据另一示例性实施例示出的一种视频图像对比示意图；

图12是根据一示例性实施例示出的一种视频处理装置的框图；

图13是根据一示例性实施例示出的一种视频处理设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1是本申请涉及的一种实施环境的示意图，该实施环境包括终端100和服务器200。

其中，终端100和服务器200之间预先建立通信连接，使得终端100和服务器200之间可以进行数据传输。终端100可以是计算机、笔记本、智能手机、智慧屏幕等具有显示屏的电子设备，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云计算、云函数、云存储、大数据和人工智能平台等基础云计算服务的云服务器。

服务器200从网络中获取多个视频，并将多个视频输出至终端100中进行显示。例如布设于同一监控地点的多个摄像头均接入网络，使得服务器200可以获取每个摄像头采集的监控视频，通过在终端100中同时查看多个视频监控，以获得监控地点的监控情况。服务器200也可以从本地获取存储的多个视频。应当理解，本申请所描述的“多个”是指至少两个。

服务器200将获取的多个视频的输出画面调整为同步画面，使得终端100中显示的多个视频画面是同步的。

请参见图2，图2是根据一示例性实施例示出的一种视频处理方法的流程图，该视频处理方法可以由图1所示实施环境中的终端100或者服务器200具体执行。

如图2所示，在一示例性实施例中，该视频处理方法至少包括如下步骤：

步骤110，获取不同视频采集设备针对同一视频场景采集得到的视频流，视频流中添加有视频采集设备的时间信息。

首先需要说明的是，视频采集设备可以是摄像头或者配置有摄像头的电子设备，用于实时地采集视频图像，以获得视频流。

视频采集设备进行视频图像采集的过程也即是对视频图像的录制过程，在录制每一帧视频图像时，都将为录制的每一帧视频图像添加设备当前的系统时间，因此视频采集设备所采集得到的视频流的每一帧视频图像均添加有视频采集设备的时间信息。

本实施例获取的不同视频采集设备采集得到的视频流之间具有同步性，以在各个视频流的输出过程中，基于此同步性进行各个视频流的输出控制，以使各个视频流实时输出的视频图像是同步的。

不同视频采集设备采集得到的视频流之间的同步性理解为是各个视频流对应于同一视频场景，也即各个视频流是不同的视频采集设备基于不同的视角对同一视频场景进行视频采集所得到的。例如在前述的视频监控场景中，针对同一监控地点安装多个摄像头，各个摄像头实时采集到的视频画面是同步的。但由于各个摄像头在录制监控画面的过程中的网络可能不同，导致各个摄像头录制的监控视频中存在不同程度的图像帧缺失问题，在查看各个摄像头所录制的监控画面时，容易出现各个监控画面不同步的问题。

步骤130，将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测。

首先需要说明的是，将各个视频采集设备采集到的视频流从不同的视频通道输出的过程是指各个视频流含有的视频帧的输出过程，各个视频通道中输出的视频图像可以用于视频画面显示或者其它场景，本实施例不对此进行限定。

在各个视频通道输出视频图像的过程中，针对每一实时时刻，各个视频通道中均输出一帧视频图像。在本实施例中，即是针对各个视频通道中实时输出的视频图像进行的画面检测。

本实施例对视频图像进行的画面检测包括对于视频图像中含有的视频对象的检测，例如检测视频图像中含有的各个静态物体或者动态物体，或者检测视频图像中是否含有特定的目标对象。通过对比各个视频通道所输出的视频图像中含有的视频对象，以确定各个视频通道之间输出的视频图像是否同步。

例如，如果检测到各个视频通道实时输出的视频图像中均包含同一人体，并且各个人体对应的动作一致，则表示各个视频图像是根据不同的视角从同一视频场景中采集得到的，因此确定各个视频通道之间输出的视频图像是同步的。

反之，如果检测到各个视频通道实时输出的视频图像中包含不同的人体，或者各个视频图像中虽然含有同一人体，但各个人体对应的动作不同，则确定各个视频通道之间输出的视频图像是不同步的。

步骤150，如果检测到各个视频通道之间输出的视频图像不同步，则根据各个视频通道输出的视频图像对应的时间信息确定各个视频通道之间的输出时间差。

在一些对于同步性较高的视频输出的应用场景中，例如前述对多路监控视频的查看，需保证各路监控视频中播放的视频图像的是同步的。如果检测到各个视频通道之间输出的视频图像不同步，则需要对各个视频通道的输出进度进行调节，以使各个视频通道输出的视频图像保持同步。

为保证各个视频通道输出的视频图像是同步的，将各个视频通道的输出进度调整为同时输出同一时刻采集到的视频图像，即可使得各个视频通道输出的视频图像是实时同步的，从而满足同步进行不同视频流所含有视频图像的输出和播放等需求。

在本实施例中，根据各个视频通道输出的视频图像对应的时间信息确定各个视频通道之间的输出时间差，该输出时间差即是指各个视频通道实时输出的视频图像之间的时间信息之差，由此可以确定各个视频通道之间相差的输出进度。通过将各个视频通道的输出进度调节为一致，即能够保证各个视频通道之间输出的视频图像是同步的。

步骤170，基于输出时间差对各个视频通道进行输出控制，以使各个视频通道输出的视频图像保持同步。

如前所述，基于输出时间差可以确定各个视频通道之间相差的输出进度，通过对各个视频通道进行输出控制，即可将各个视频通道的输出进度调节为一致，从而能够保证各个视频通道之间输出的视频图像保持同步。

示例性的，可以暂停输出进度最快的目标视频通道中进行的视频图像输出，并继续输出除目标视频通道以外的其它视频通道中的视频图像，当其它视频通道输出的视频图像与暂停的视频图像同步时，继续输出目标视频通道中的视频图像。

或者，调低目标视频通道的输出速率，并继续输出其它视频通道的视频图像，在其它视频通道输出的视频图像与目标视频通道输出的视频图像同步时，恢复目标视频通道中的输出速率。

在查看安装于同一监控地点的多个摄像头分别录制的监控视频时，即使各个监控视频中存在不同程度的图像帧缺失，基于本实施例的技术方案仍可保证各个监控视频实时输出的视频图像之间的同步性，因此各个监控视频中播放的视频图像是同步的，能够准确地查看监控地点的监控情况，极大地提升了视频监控的准确性。

还需要说明的是，由于每个视频采集设备采用的时间同步机制可能不同，例如采用互联网时间同步机制或者GPS(Global Positioning System，全球定位系统)时间同步机制中的任意一种，导致同一实时时刻基于不同视频采集设备所录制的视频图像含有的时间信息可能不同。由此，本实施并不是基于各个视频通道中输出的视频图像对应的时间信息来判断视频图像之间的同步性，而基于对各个视频通道输出的视频图像进行画面检测来判定各个视频图像之间的同步性，并在确定各个视频图像不同步之后，根据各个视频图像对应的时间信息将各个视频通道的输出进度调整至同步，以避免由于视频采集设备所采用的时间同步机制不一致而造成的同步性误差。

图3是图2所示实施例中步骤130在一个示例性实施例的流程图。如图3所示，在一示例性实施例中，对各个视频通道输出的视频图像进行画面检测，至少包括如下步骤：

步骤131，针对各个视频通道输出的视频图像，检测各个视频图像中含有移动对象的目标区域。

首先需要说明的是，移动对象是指视频图像中含有的具有移动特性的视频对象，例如包括人体、动物等物体。

如前所述，由于各个视频采集设备采集到的视频流对应于同一视频场景，各个视频流含有的视频图像是基于不同的视角对该视频场景进行视频采集得到的，因此各个视频流中的视频图像从不同的视频通道实时输出时，所实时输出的各个视频图像中含有的视频对象应当分别对应于不同的视角。

为检测各个视频通道中实时输出的视频图像之间的同步性，只需检测各个视频通道输出的视频图像是否对应于同一录制时刻，如果各个视频图像对应同一录制时刻，则表示各个视频图像之间是同步的。

由于各个视频通道所输出的视频图像对应的时间信息可能是不同步的，因此不能根据各个视频图像对应的时间信息确定各个视频图像对应的录制时刻。考虑到在同一视频场景下，从不同视角采集的移动对象在同一录制时刻的移动姿态应当是一致的，并且移动对象在不同录制时刻下的移动姿态对应不同，因此本实施例基于对视频图像中含有的移动对象进行检测，以根据检测结果判定各个视频图像之间的同步性。

示例性的，可通过人体检测算法检测各个视频图像中含有的人体对应的图像区域，以获得各个视频图像中的目标区域，或者通过针对其它移动对象的检测算法检测得到目标区域，本处不进行限制。

如果检测到至少一个视频通道中输出的视频图像不含有目标区域，则确定该至少一个视频通道中输出的视频图像与其它视频通道中输出的视频图像不同步。

具体来说，如果检测到至少一个视频通道所输出的视频图像不含有目标区域，而其它视频通道输出的视频图像中含有目标区域，则表示该至少一个视频通道输出的视频图像与其它视频通道输出的视频图像对应于不同的录制时刻，因此各个视频通道之间输出的视频图像是不同步的。

而如果检测到每个视频通道中输出的视频图像均不含有目标区域，则无法从视频图像中检测到移动对象，从而无法判断各个视频图像之间的同步性。为保证各个视频通道进行视频图像输出的同步性，本实施例将此情况判定为不同步的情形。

如果检测到各个视频通道输出的视频图像中均含有移动对象对应目标区域，则执行步骤133中描述的内容。

步骤133，对于输出的视频图像中含有移动对象对应的目标区域的多个视频通道，将多个视频通道输出的视频图像中所包含的目标区域进行画面对比。

如果检测到各个视频通道中输出的视频图像中均含有目标区域，则表示各个视频图像中均含有移动对象，因此需要进一步检测各个视频图像含有的移动对象是否为同一对象。

本实施例对各个视频图像中的目标区域进行画面对比，以判定各个视频图像含有的移动对象是否相同。示例性的，通过对目标区域进行画面对比，即能够获得各个目标区域对应的移动对象的特征信息，基于特征信息的对比即可判定各个目标区域对应的移动对象是否相同。

例如，当移动对象为人体时，通过识别各个目标区域所含有人体的性别、身高、体型、衣着等特征，并对比这些特征，即可确定各个目标区域中含有的人体是否为同一人体。

如果对比得到至少一个目标区域中含有的移动对象与其它目标区域中含有的移动对象不同，则表示各个视频通道之间输出的视频图像中存在视频图像对应的录制时刻不一致的情况，因此确定至少一个目标区域对应的视频图像与其它视频图像不同步。

如果对比得到各个目标区域中含有的移动对象相同，则执行步骤135中描述的内容。

步骤135，如果各个目标区域中含有的移动对象相同，则识别各个目标区域中的移动对象对应的行为类型。

如前所述，从不同视角采集的移动对象在同一录制时刻的移动姿态应当是一致的，因此当检测到各个目标区域中含有的移动对象相同时，还需要进一步检测各个目标区域中的移动对象的移动姿态是否相同。

移动对象的移动姿态可通过移动对象的行为类型反映，在检测到各个目标区域中含有的移动对象相同之后，进一步识别各个目标区域中的移动对象对应的行为类型。

示例性的，可采用行为识别算法对移动对象对应的行为类型进行识别，得到目标区域中的移动对象对应的行为类别，例如提脚、抬手等行为。

如果至少一个目标区域中的移动对象对应的行为类型与其它目标区域中的移动对象对应的行为类型不同，则表示至少一个目标区域中的移动对象对应的录制时刻与其它移动对象对应的录制时刻不同，因此确定至少一个目标区域对应的视频图像与其它视频图像不同步。

如果各个目标区域中的移动对象对应的行为类型相同，还需根据步骤137进一步确定各个视频图像之间的同步性。

步骤137，如果各个目标区域中的移动对象对应的行为类型相同，则对各个目标区域进行特征相似度计算。

其中，对目标区域进行相似度计算是对目标区域对应的图像特征进行对比的过程，各个目标区域之间的相似度反映了相应的视频图像对应于同一录制时刻的可能性。

如果目标区域之间的特征相似度小于相似度阈值，则确定相应视频中播放的视频图像不同步，后续则将根据步骤150进行各路视频的播放进度调节。反之，如果目标区域之间的特征相似度大于或者等于相似度阈值，则确定各路视频中播放的视频图像是同步的。应当理解，相似度阈值是预先设置的同步性判断临界值，可基于经验设置。

由此，在各个视频通道输出视频图像的过程中，如果检测到各个视频通道之间实时输出的视频图像是同步的，将不对各个视频通道的输出进度进行任何调节，而如果到各个视频通道之间实时输出的视频图像不同步，则将各个视频通道之间输出的视频图像调整为同步，因此在整个视频图像的输出过程中将不断地进行同步性检测和同步性调节，确保各个视频通道中能够实时输出同步的视频画面。

图4是图3所示实施例中步骤137在一个示例性实施例的流程图。如图4所示，对各个目标区域进行特征相似度计算，至少包括如下步骤：

步骤1371，分别提取各个目标区域的图像特征；

步骤1373，计算任意两个图像特征之间的余弦距离，获得任意两个图像特征对应的目标区域之间的特征相似度。

其中，对目标区域进行图像特征提取是采用图像特征提取算法实现的。通过对目标区域对应的图像数据进行特征提取计算，以获得目标区域对应的特征向量，该特征向量即为目标区域对应的图像特征。

当步骤110中获取的视频流大于两路时，目标区域的数量也大于2个，因此需要计算任意两个目标区域对应的图像特征之间的余弦距离，获得任意两个目标区域之间的特征相似度。基于两个目标区域之间的特征相似度，即可确定相应的两个视频通道之间所输出的视频图像的同步性。

假设从目标区域A中提取的图像特征A为：{a₁，a₂，a₃，...，a₁₀₂₄}，从目标区域B中提取的图像特征B为：{b₁，b₂，b₃，...，b₁₀₂₄}，图像特征A与图像特征B之间的特征相似度cosθ的计算公式如下：

特征相似度cosθ的值越接近于1，则表示图像特征A与图像特征B之间越相似，目标区域A和目标区域B之间的相似度也越高。

在另一示例性实施例中，为便于进行特征相似度计算，在步骤1351之前还包括如下步骤：

从各个视频图像中截取目标区域；

将从各个视频图像中截取的图像转换为相同大小。

其中，从各个视频图像中截取目标区域是对视频图像中含有的移动对象进行抠图，获得移动对象对应的图像，便于后续针对目标区域进行图像特征提取。

对目标区域的截取可以是截取目标区域所在的矩形图像区域，能够便于后续针对截取的图像进行图像大小调整。例如，可以将截取图像的大小调整为256×256。

由此，本实施例基于对各个视频通道之间输出的视频图像中的目标区域进行特征相似度计算，能够准确获得任意两个目标区域之间的特征相似值，进而根据特征相似值准确判断各个视频通道之间输出的视频图像的同步性。

图5是图2所示实施例中步骤150在一个示例性实施例的流程图。如图5所示，在一示例性实施例中，根据各个视频通道输出的视频图像对应的时间信息调整各个视频通道的播放进度，至少包括如下步骤：

步骤151，获取各个视频通道输出的视频图像中含有的时间信息。

如前所述，视频图像中的时间信息是指视频图像对应的视频画面被采集时添加的采集时间。

摄像头在录制视频时，会在采集到的每一帧视频图像中添加采集时间。其中，采集时间是以光学字符的形式添加至视频图像中的，例如光学字符为“2020-03-06 10:00:00”，因此通过识别视频图像中含有的光学字符，即可获得视频图像对应的时间信息。

示例性的，可采用ORC(optical character recognition，光学字符识别)文字识别算法识别视频图像中含有的光学字符。

为便于进行视频通道的输出进度的调节，在一个实施例中，还将视频图像中的光学字符转换为时间戳。时间戳是能表示一份数据在某个特定时间之前已经存在的数据，通常是一个字符序列，唯一地标识某一刻的时间。示例性的，时间戳表示当前时间距离格林威治时间1970年01月01日00时00分00秒(即北京时间1970年01月01日08时00分00秒)的总秒数。

步骤153，根据各个视频图像中含有的时间信息确定各个视频通道之间相差的输出时间，将相差的输出时间作为各个视频通道之间的输出时间差。

如前所述，只有在各个视频通道中输出的视频图像对应于同一录制时刻的情况下，才表示各个视频图像之间是同步的，因此当各个视频图像对应的时间信息对应为不同时间时，即表示各个视频通道之间进行的视频图像输出存在输出时间差。

并且基于时间戳之间的差值，可以准确地定位各个视频通道之间的输出时间差。例如，假设识别到视频通道A中当前输出的视频图像A的采集时间为“2020-03-06 10:00:00”，转换为时间戳得到的值为1583460000；识别到视频通道B中当前输出的视频图像B的采集时间为“2020-03-06 10:00:01”，转换为时间戳得到的值为1583460001，因此确定视频通道B对应的输出进度较快，且与视频通道A之间的输出时间差为1秒。

由此，各个视频通道之间的输出时间差，能够确定输出进度最快的视频通道，还能够确定其它视频通道分别与该输出进度最快的视频通道之间的相差的输出进度。

为使得各个视频通道之间输出的视频图像保持同步，在一个实施例中，可将输出进度最快的视频通道作为目标视频通道，暂停目标视频通道中进行的视频图像输出，并继续输出除目标视频通道以外的其它视频通道中的视频图像，当其它视频通道输出的视频图像与目标视频通道中暂停的视频图像同步时，继续输出目标视频通道中的视频图像。

在另一个实施例中，仍暂停目标视频通道中进行的视频图像输出，并快进输出其它视频通道中的视频图像，且在其它视频通道输出的视频图像与目标视频通道中暂停的视频图像同步时，恢复各个视频通道中进行的视频图像输出。其中，快进输出是指加速输出或者跳帧输出，本处不进行限制。

在另一个实施例中，还可调低目标视频通道的输出速率，并正常输出其它视频通道中的视频图像，在其它视频通道中输出的视频图像与目标视频通道中输出的视频图像同步时，恢复目标视频通道中的输出速率。

需要说明的是，基于时间戳之间的差值准确地定位各个视频通道之间的输出进度差后，即可准确地对各个视频通道的输出进度进行调整。例如，前述实施例识别到视频通道A和B之间的输出进度差为1秒，假设正常输出速度下每一秒播放24帧视频图像，因此确定两个视频通道之间相差24帧视频图像，基于此即可准确地针对各个视频通道进行输出进度调节。

以上内容仅是针对视频通道的输出进度调节方式的示例，本领域的技术人员还可以基于以上列举的输出进度调节方式进行适应性调整，以使各个视频通道之间实时输出的视频图像保持同步。

图6是根据另一示例性实施例示出的一种视频处理方法的流程图，该视频处理方法仍可以由图1所示实施环境中的终端100或者服务器200具体执行。如图6所示，该视频处理方法还包括如下步骤：

步骤210，分别在各个视频采集设备采集到的视频流中定位起始图像帧，定位得到的各个起始图像帧对应于同一视频采集时刻；

步骤230，以起始图像帧为输出起点，将各个视频流的视频图像同时从不同的视频通道输出。

其中，由于各个视频流中的视频图像开始录制的时间可能不同，例如对于同一监控地点，摄像头A的安装时间早于摄像头B的安装时间，导致获取到的摄像A录制的视频中含有在摄像B的安装时间之前的视频画面，在对各个摄像头所录制的视频进行输出的过程中，通过以上实施例中描述的方法，针对各个视频通道进行的输出进度调整将花费较长时间。

并且在用户查看各个视频通道之间输出的视频图像时，需要用户等待较长时间后才能观看到同步的视频画面，用户体验不佳。

为解决以上问题，本实施例针对步骤110中获取的不同视频流中含有的视频图像，预先在各个视频流中定位起始图像帧，定位得到的各个起始图像帧对应于同一视频采集时刻，因此各个起始图像帧对应的视频画面是同步的。示例性的，对于各个视频流中起始图像帧的定位可以是根据视频流中每帧视频图像对应的时间信息实现的。

由此，本实施例在将各个视频流中含有的视频图像从不同的视频通道输出之前，预先从各个视频流中定位同步的视频图像，使得各个视频通道之间开始输出的视频图像即是同步的。在后续针对各个视频通道之间输出的视频图像进行的画面检测以及对各个视频通道的输出进度的调节中，即使检测到各个视频通道之间实时输出的视频图像不同步，通过输出进度的微调即可使得各个视频通道输出的视频图像保持同步性，所需花费的调节时间较短，用户体验更佳。

下面将以一个示例性的应用场景对本申请的技术方案进行详细描述，在该示例性的应用场景中，是对同一监控地点安装的不同视角的摄像头录制的离线视频进行的同步性调整。

其中，图7是针对离线视频进行同步调整的整体架构示意图，图8是针对离线视频进行同步调整的整体流程图。

如图7和图8所示，视频流获取模块从每路离线视频中获取到视频流，并将各路视频流送入各个算法模块。其中人体检测模块用于对各路输入的视频帧进行算法处理，获得人体检测结果，并将人体检测结果输出至相似度比对模块。相似度比对模块根据各路视频帧对应的人体对比结果对各路视频帧进行相似度识别，将相似度识别结果输出至时间同步逻辑模块。

时间戳获取模块在接收到各路输入的视频帧后，识别各个视频帧含有的时间戳信息，并将识别到的时间戳信息输出至时间戳比对模块。时间戳比对模块将各个视频帧含有的时间戳对比结果输出至时间同步逻辑模块。

时间同步逻辑则模块根据各路视频帧对应的相似度识别结果和时间戳对比结果决定是否需要将视频帧发送至后续的业务模块。示例性的，后续的业务模块为显示模块，其用于显示同步的视频图像。

由此，通过算法模块和同步逻辑模块之前的配合，使得同步逻辑模块中输出的各个视频帧之间的同步的。算法模块和同步逻辑模块之前的配合过程请参见图9，具体包括如下过程：

针对视频流获取模块输出的两路视频流中的每一帧视频图像，算法模块对每一帧视频图像进行目标检测，如果检测到人体，则进一步检测是否为同一人体，若检测为同一人体，则识别人体行为是否相同，在人体行为相同的情况下，进一步对人体对应的图像进行特征相似度计算，如果计算得到的特征相似度大于或者等于相似度阈值，同步逻辑模块判定这两帧视频图像是同步的，将这两帧视频图像输出。如果算法模块未在视频图像中检测到人体，或者识别到两帧视频图像对应不同的人体，或者识别到二者人体对应的行为不同，或者计算得到的特征相似度小于相似度阈值，同步逻辑模块都将判断视频图像不同步，则根据视频图像对应的时间戳信息调整视频流的输出进度，将两路视频流的视频图像调整至同步后，再输出这两帧同步的视频图像。

如图10所示，虽然离线视频A和离线视频B分别对应的视频图像中的人体为同一人体，但是人体行为不同，因此判定这两帧视频图像是不同步的，需从每帧视频图像中获取时间戳信息，并根据获取到的时间戳信息进行两路离线视频的同步性调节。

如图11所示，虽然离线视频A和离线视频B分别对应的视频图像中的人体行为是一致的，但视频图像中的人体不是同一个人，因此判断这两帧视频图像是不同步的，需要从每帧视频图像中获取时间戳信息，并根据获取到的时间戳信息进行两路离线视频的同步性调节。

由上可知，同步逻辑模块中实时输出的两路视频图像对应的图像画面将保持同步。

以上技术方案还可以用于需要模拟现实视频，且对画面时间同步具有较高要求的其它应用场景，例如智能商场的进场识、商场内部人体的游逛轨迹识别等，在不同的应用场景中，同步逻辑模块之后的业务模块不同。

图12是根据一示例性实施例示出的一种视频处理装置的框图，该视频处理可以适用于图1所示实施环境中的终端100或者服务器200。如图12所示，在一示例性实施例中，该视频处理装置包括视频获取模块310、视频检测模块330、时间差确定模块350和视频调整模块370。

视频获取模块310用于获取不同视频采集设备针对同一视频场景采集得到的视频流，视频流中添加有视频采集设备的时间信息。视频检测模块330用于将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测。时间差确定模块350用于在检测到各个视频通道之间输出的视频图像不同步的情况下，根据各个视频通道输出的视频图像对应的时间信息确定各个视频通道之间的输出时间差。视频调整模块370用于基于输出时间差对各个视频通道进行输出控制，以使各个视频通道输出的视频图像保持同步。

在另一示例性实施例中，视频检测模块330包括移动对象检测单元。该移动对象检测单元用于针对各个视频通道输出的视频图像，检测各个视频图像中含有移动对象的目标区域，如果检测到至少一个视频通道输出的视频图像不含有目标区域，则确定至少一个视频通道输出的视频图像不同步。

在另一示例性实施例中，视频检测模块330还包括画面对比单元。该画面对比单元用于在移动对象检测单元检测到多个视频通道输出的视频图像中均含有移动对象对应的目标区域的情况下，将多个视频通道输出的视频图像中所包含的目标区域进行画面对比，如果至少一个目标区域中含有的移动对象与其它目标区域中含有的移动对象不同，则确定至少一个目标区域对应的视频图像不同步。

在另一示例性实施例中，视频检测模块330还包括行为类型识别单元。该行为类型识别单元用于在画面对比单元确定各个目标区域中含有的移动对象相同的情况下，识别各个目标区域中的移动对象对应的行为类型，如果至少一个目标区域中的移动对象对应的行为类型与其它目标区域中的移动对象对应的行为类型不同，则确定至少一个目标区域对应的视频图像不同步。

在另一示例性实施例中，视频检测模块330还包括特征相似度计算单元。该特征相似度计算单元用于在行为类型识别单元识别到各个目标区域中的移动对象对应的行为类型相同的情况下，对各个目标区域进行特征相似度计算，如果目标区域之间的特征相似度小于相似度阈值，则确定相应的视频图像不同步，如果目标区域之间的特征相似度大于或者等于所述相似度阈值，则确定各个视频通道输出的视频图像是同步的。

在另一示例性实施例中，特征相似度计算单元包括图像特征提取子单元和余弦距离计算子单元。图像特征提取子单元用于分别提取各个目标区域的图像特征。余弦距离计算子单元用于计算任意两个图像特征之间的余弦距离，获得任意两个图像特征对应的目标区域之间的特征相似度。

在另一示例性实施例中，特征相似度计算单元还包括图像截取子单元和图像转换子单元。图像截取子单元用于从各个视频图像中截取所述目标区域。图像转换子单元用于将从各个视频图像中截取的图像转换为相同大小。

在另一示例性实施例中，时间差确定模块350包括时间信息获取单元和进度差获取单元。时间信息获取单元用于获取各个视频通道输出的视频图像中含有的时间信息。时间差获取单元用于根据各个视频图像中含有的时间信息确定各个视频通道之间相差的输出时间，并将相差的输出时间作为各个视频通道之间的输出时间差。

在另一示例性实施例中，时间信息获取单元包括光学字符识别子单元和时间戳转换子单元。光学字符识别子单元用于识别各个视频通道输出的视频图像中含有的光学字符，光学字符包含有视频图像对应的画面被采集时添加的采集时间。时间戳转换子单元用于将光学字符转换为时间戳，得到各个视频图像中含有的时间信息。

在另一示例性实施例中，视频调整模块370用于暂停输出进度最快的目标视频通道中进行的视频图像输出，并继续输出除目标视频通道以外的其它视频通道中的视频图像，当其它视频通道输出的视频图像与暂停的视频图像同步时，继续输出目标视频通道中的视频图像；或者，调低目标视频通道的输出速率，并继续输出其它视频通道的视频图像，在其它视频通道输出的视频图像与目标视频通道输出的视频图像同步时，恢复目标视频通道中的输出速率。

在另一示例性实施例中，该装置还包括图像帧定位模块和播放控制模块。图像帧定位模块用于分别在各个视频采集设备采集到的视频流中定位起始图像帧，定位得到的各个起始图像帧对应于同一视频采集时刻。输出控制模块用于以起始图像帧为输出起点，将各个视频流的视频图像同时从不同的视频通道输出。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

本申请的实施例还提供了一种视频处理设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的视频处理方法。

图13是根据一示例性实施例示出的一种视频处理设备的结构示意图。

需要说明的是，该视频处理设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该视频处理设备也不能解释为需要依赖于或者必须具有图13中示出的示例性的视频处理设备中的一个或者多个组件。

如图13所示，在一示例性实施例中，视频处理设备包括处理组件501、存储器502、电源组件503、多媒体组件504、音频组件505、传感器组件507和通信组件508。其中，上述组件并不全是必须的，视频处理设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件501通常控制视频处理设备的整体操作，诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件501可以包括一个或多个处理器509来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件501可以包括一个或多个模块，便于处理组件501和其他组件之间的交互。例如，处理组件501可以包括多媒体模块，以方便多媒体组件504和处理组件501之间的交互。

存储器502被配置为存储各种类型的数据以支持在视频处理设备的操作，这些数据的示例包括用于在视频处理设备上操作的任何应用程序或方法的指令。存储器502中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器509执行，以完成上述实施例中所描述的视频处理方法中的全部或者部分步骤。

电源组件503为视频处理设备的各种组件提供电力。电源组件503可以包括电源管理系统，一个或多个电源，及其他与为视频处理设备生成、管理和分配电力相关联的组件。

多媒体组件504包括在视频处理设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板)和LCD(Liquid CrystalDisplay，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件505被配置为输出和/或输入音频信号。例如，音频组件505包括一个麦克风，当视频处理设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件505还包括一个扬声器，用于输出音频信号。

传感器组件507包括一个或多个传感器，用于为视频处理设备提供各个方面的状态评估。例如，传感器组件507可以检测到视频处理设备的打开/关闭状态，还可以检测视频处理设备的温度变化。

通信组件508被配置为便于视频处理设备和其他设备之间有线或无线方式的通信。视频处理设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。

可以理解，图13所示的结构仅为示意，视频处理设备该可以包括比图13中所示更多或更少的组件，或者具有与图13所示不同的组件。图13中所示的各组件均可以采用硬件、软件或者其组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的视频处理方法。该计算机可读存储介质可以是上述实施例中描述的视频处理设备中所包含的，也可以是单独存在，而未装配入该视频处理设备中。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种视频处理方法，其特征在于，包括：

获取不同视频采集设备针对同一视频场景采集得到的视频流，所述视频流中添加有所述视频采集设备的时间信息；

将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测；

如果检测到所述各个视频通道之间输出的视频图像不同步，则根据所述各个视频通道输出的视频图像对应的时间信息确定所述各个视频通道之间的输出时间差；

基于所述输出时间差对所述各个视频通道进行输出控制，以使所述各个视频通道输出的视频图像保持同步。

2.根据权利要求1所述的方法，其特征在于，对各个视频通道输出的视频图像进行画面检测，包括：

针对各个视频通道输出的视频图像，检测各个视频图像中含有移动对象的目标区域；

如果检测到至少一个视频通道输出的视频图像不含有所述目标区域，则确定所述至少一个视频通道输出的视频图像不同步。

3.根据权利要求1所述的方法，其特征在于，对各个视频通道输出的视频图像进行画面检测，包括：

对于输出的视频图像中含有移动对象对应的目标区域的多个视频通道，将所述多个视频通道输出的视频图像中所包含的目标区域进行画面对比；

如果至少一个目标区域中含有的移动对象与其它目标区域中含有的移动对象不同，则确定所述至少一个目标区域对应的视频图像不同步。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果各个目标区域中含有的移动对象相同，则识别各个目标区域中的移动对象对应的行为类型；

如果至少一个目标区域中的移动对象对应的行为类型与其它目标区域中的移动对象对应的行为类型不同，则确定所述至少一个目标区域对应的视频图像不同步。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果各个目标区域中的移动对象对应的行为类型相同，则对所述各个目标区域进行特征相似度计算；

如果所述目标区域之间的特征相似度小于相似度阈值，则确定相应的视频图像不同步。

6.根据权利要求5所述的方法，其特征在于，对所述各个目标区域进行特征相似度计算，包括：

分别提取各个目标区域的图像特征；

计算任意两个图像特征之间的余弦距离，获得所述任意两个图像特征对应的目标区域之间的特征相似度。

7.根据权利要求6所述的方法，其特征在于，在分别提取各个目标区域的图像特征之前，所述方法还包括：

从各个视频图像中截取所述目标区域；

将从所述各个视频图像中截取的图像转换为相同大小。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

如果所述目标区域之间的特征相似度大于或者等于所述相似度阈值，则确定各个视频通道输出的视频图像是同步的。

9.根据权利要求1所述的方法，其特征在于，根据所述各个视频通道输出的视频图像对应的时间信息确定各个视频通道之间的输出时间差，包括：

获取所述各个视频通道输出的视频图像中含有的时间信息；

根据各个视频图像中含有的时间信息确定所述各个视频通道之间相差的输出时间，将所述相差的输出时间作为所述各个视频通道之间的输出时间差。

10.根据权利要求9所述的方法，其特征在于，获取所述各个视频通道输出的视频图像中含有的时间信息，包括：

识别各个视频通道输出的视频图像中含有的光学字符，所述光学字符包含有所述视频图像对应的画面被采集时添加的采集时间；

将所述光学字符转换为时间戳，得到各个视频图像中含有的时间信息。

11.根据权利要求9所述的方法，其特征在于，基于所述输出时间差对各个视频通道进行输出控制，包括：

暂停输出进度最快的目标视频通道中进行的视频图像输出，并继续输出除所述目标视频通道以外的其它视频通道中的视频图像，当所述其它视频通道输出的视频图像与暂停的视频图像同步时，继续输出所述目标视频通道中的视频图像；

或者，调低所述目标视频通道的输出速率，并继续输出所述其它视频通道的视频图像，在所述其它视频通道输出的视频图像与所述目标视频通道输出的视频图像同步时，恢复所述目标视频通道中的输出速率。

12.根据权利要求1所述的方法，其特征在于，将各个视频采集设备采集到的视频流通过不同的视频通道输出，包括：

分别在各个视频采集设备采集到的视频流中定位起始图像帧，定位得到的各个起始图像帧对应于同一视频采集时刻；

以所述起始图像帧为输出起点，将所述各个视频流的视频图像同时从不同的视频通道输出。

13.一种视频处理装置，其特征在于，包括：

视频获取模块，用于获取不同视频采集设备针对同一视频场景采集得到的视频流，所述视频流中添加有所述视频采集设备的时间信息；

视频检测模块，用于将各个视频采集设备采集到的视频流通过不同的视频通道输出，并对各个视频通道输出的视频图像进行画面检测；

时间差确定模块，用于在检测到所述各个视频通道之间输出的视频图像不同步的情况下，根据所述各个视频通道输出的视频图像对应的时间信息确定所述各个视频通道之间的输出时间差；

视频调整模块，用于基于所述输出时间差对所述各个视频通道进行输出控制，以使所述各个视频通道输出的视频图像保持同步。

14.一种视频处理设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-12中的任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-12中的任一项所述的方法。

Images