CN115665476B - 一种录像分析方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供的一种录像分析方法、装置、电子设备及存储介质，应用于信息技术领域，可以获取待分析的录像；通过对待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳；根据分析结果，确定待分析的录像中目标片段的起始时间和终止时间。从而在进行录像的回放时，可以在进度条上进行目标片段的起始时间和终止时间的标注，便于用户根据该标注进行录像的回放，从而提高回放效率和用户体验。

Description

一种录像分析方法、装置、电子设备及存储介质

技术领域

本发明涉及信息技术领域，特别是涉及一种录像分析方法、装置、电子设备及存储介质。

背景技术

目前，硬盘录像机在监控等领域已经有着广泛的应用。通过将硬盘录像机接入本地局域网的摄像机，可以将摄像机采集到的录像进行存储，从而便于用户对硬盘录像机中的录像行管理、预览、存储及回放操作。

然而，由于当前摄像机的视频一般要24小时录制，可能连续录制几天甚至几个月。而在发生一些紧急情况的时候，需要查看录像。则需要在几天或者几个月的录像当中查找有效信息，导致录像查看不便。

发明内容

本发明实施例的目的在于提供一种录像分析方法、装置、电子设备及存储介质，以实现提高查看录像时的效率。具体技术方案如下：

本申请实施例的第一方面，首选提供了一种录像分析方法，所述方法包括：

获取待分析的录像；

通过以下至少一种分析方法对所述待分析的录像进行分析得到第一分析结果：对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳；

根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，其中，所述第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。

在一种可能的实施方式中，所述对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳，包括：

识别所述待分析的录像中的内部编码帧，得到第一内部编码帧；

识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各所述图像组的码率和对应的第一时间戳。

在一种可能的实施方式中，所述对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳，包括：

识别所述待分析的录像中的内部编码帧，得到第二内部编码帧；

对所述第二内部编码帧进行人像检测，判断是否存在人像；

根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

在一种可能的实施方式中，所述根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，包括：

识别所述多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到所述目标片段的起始时间；

识别所述多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到所述目标片段的终止时间。

在一种可能的实施方式中，所述对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳，包括：

对所述待分析的录像进行解码，得到对应的音频数据；

对所述音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

在一种可能的实施方式中，所述根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，包括：

识别所述多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到所述目标片段的起始时间；

识别所述多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到所述目标片段的起始时间。

本申请实施例的第二方面，提供了一种录像分析装置，所述装置包括：

录像获取模块，同于获取待分析的录像；

录像分析模块，用于通过以下至少一种分析方法对所述待分析的录像进行分析得到第一分析结果：对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳；

时间确定模块，用于根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，其中，所述第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。

在一种可能的实施方式中，所述录像分析模块，包括：

第一编码帧识别子模块，用于识别所述待分析的录像中的内部编码帧，得到第一内部编码帧；

码率识别子模块，用于识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各所述图像组的码率和对应的第一时间戳。

在一种可能的实施方式中，所述录像分析模块，包括：

第二编码帧识别子模块，用于识别所述待分析的录像中的内部编码帧，得到第二内部编码帧；

人像检测子模块，用于对所述第二内部编码帧进行人像检测，判断是否存在人像；

人像确定子模块，用于根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

在一种可能的实施方式中，所述时间确定模块，包括：

起始帧识别子模块，用于识别所述多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到所述目标片段的起始时间；

终止帧识别子模块，用于识别所述多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到所述目标片段的终止时间。

在一种可能的实施方式中，所述录像分析模块，包括：

录像解码子模块，用于对所述待分析的录像进行解码，得到对应的音频数据；

人声检测子模块，用于对所述音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

人声确定子模块，用于根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

在一种可能的实施方式中，所述时间确定模块，包括：

起始音频片段识别子模块，用于识别所述多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到所述目标片段的起始时间；

终止音频片段识别子模块，用于识别所述多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到所述目标片段的终止时间。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的录像分析方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的录像分析方法。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的录像分析方法。

本发明实施例有益效果：

本发明实施例提供的一种录像分析方法、装置、电子设备及存储介质，可以获取待分析的录像；通过以下至少一种分析方法对所述待分析的录像进行分析得到第一分析结果：对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳； 根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，其中，所述第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。可见，通过本申请实施例的方案可以获取待分析的录像，并通过视频码率分析、人像分析、人声检测结果中的至少一种方法对待分析的录像进行分析，从而得到各种分析方法对应的目标片段以及起始时间和终止时间，从而在进行录像的回放时，可以在进度条上进行目标片段的起始时间和终止时间的标注，便于用户根据该标注进行录像的回放，从而提高回放效率和用户体验。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的录像分析方法的一种流程示意图；

图2为本申请实施例提供的智能分析模块的一种结构示意图；

图3a为本申请实施例提供的获取视频码率的一种示意图；

图3b为本申请实施例提供的视频播放界面的一种示意图；

图4为本申请实施例提供的视频码率分析的一种流程示意图；

图5为本申请实施例提供的视频码率分析的一种实例图；

图6为本申请实施例提供的人像分析的一种流程示意图；

图7为本申请实施例提供的人声检测的一种流程示意图；

图8为本申请实施例提供的录像分析装置的一种结构示意图；

图9为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例的第一方面，首选提供了一种录像分析方法，参见图1，上述方法包括：

步骤S11，获取待分析的录像。

本申请实施例中的待分析录像可以是摄像机采集到的录像，具体的，该摄像机可以是监控摄像头。例如，通过监控摄像头采集楼道等场景中的图像得到对应的录像。在实际使用过程中，摄像机可以与NVR（网络视频录像机）相连，将采集到的录像存储至该NVR中，在获取待分析的录像时可以从该NVR中存储单元读取对应的录像。

本申请实施例的方法可以应用于智能终端，通过该智能终端来实施，具体的，该智能终端可以是NVR，例如，通过NVR对自身存储的录像按照本申请实施例的方法进行分析，也可以时一个单独的设备，例如，通过该设备读取NVR中存储的录像并通过本申请实施例的方法进行分析。

步骤S12，通过以下至少一种分析方法对待分析的录像进行分析得到第一分析结果：对待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳。

其中，本申请实施例中待分析录像可以通过MPEG（Moving Picture ExpertsGroup，动态图像专家组）等标准的视频压缩编码技术进行压缩，在对待分析的录像中各图像组进行视频码率分析，可以识别录像中GOP（Group of Pictures，图像组），并识别每一个GOP的码率和对应的时间戳。本申请实施例中，可以通过动态码率进行编码，从而在摄像机采集到的图像变动时对应的码率会发生变化。对待分析的录像中各视频帧进行人像分析，可以通过人像检测对对待分析的录像进行检测，判断待分析录像中的每一帧是否存在人像，从而得到各视频帧是否存在人像的判断结果和对应的第二视频帧。对待分析的录像中各音频片段进行人声检测可以首先对待分析录像进行音频的提取，然后对提取到的音频进行人声检测，判断每音频片段是否存在音频，得到每一音频片段是否存在人声的判断结果和对应的每一音频片段的时间戳。

一个例子中，参见图2，可以通过智能分析模块，获取视频录像，然后通过智能分析模块中的视频码率分析模块进行码率分析，然后将分析结果通过结果存储模块保存根据时间戳记录码率变化信息；并通过视频人像分析模块进行人像分析，并通过结果存储模块保存根据时间戳记录是否有人出现；还可以通过语音人声分析模块进行人声分析，并通过结果存储模块保存根据时间戳记录是否有人的声音。一个例子中，在进行分析之后，还可以进行结果存储，将视频码率分析模块，视频人像分析模块，语音人声分析模块的解析数据进行存储。可以存储到数据库，也可以存储到文件。

步骤S13，根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间。

其中，第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。

其中，根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间，可以根据各图像组的码率和对应的第一时间戳，将各图像组中相邻两个图像组对应的码率增大，且增大的变化量大于阈值的图像组所对应的时间戳确定为目标片段的起始时间，而将各图像组中相邻两个图像组对应的码率减小，且减小的变化量大于阈值的图像组所对应的时间戳确定为目标片段的终止时间。也可以根据各视频帧的人像分析结果和对应的第二时间戳，将出现人像的第一帧对应的时间戳确定为目标片段的起始时间，而降出现人像的最后一帧对应的时间戳确定为目标片段的终止时间。还可以将各音频片段中出现人声的第一个音频片段对应的时间戳确定为目标片段的起始时间，而将出现人声的最后一个音频片段对应的时间戳确定为目标片段的终止时间。从而得到各种分析方法对应的目标片段以及对应的起始时间和终止时间。从而在用户播放录像时，可以将各目标片段已经对应的起始时间和终止时间标记在进度条中，并标记对应的目标片段的类型，如，码率变化、画面识别到人、识别到人声等，从而便于用户根据进度条中的标记和对应的时间戳进行快放、慢放、拖动、暂停等操作，提高播放效率和用户体验。

一个例子中，参见图3a在获取各图像组的码率时，可以识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，例如，针对图像组GOP1可以识别对应的时间戳T1以及T0和T1之间的平均码率，而针对图像组GOP2可以识别T1和T2之间的平均码率，针对图像组GOP3可以识别T2和T3之间的平均码率，针对图像组GOP4可以识别T3和T4之间的平均码率，针对图像组GOP5可以识别T4和T5之间的平均码率。另一个例子中，参见图3b，在进行录像播放时，可以通过智能播放模块中的视频播放模块将录像的音视频数据进行解码显示；然后通过播放控制模块显示视频播放的进度条，包含控制部分：快放，慢放，拖动，暂停，单帧进等；再通过分析结果显示模块从结果存储模块中加载对应录像文件的分析文件。并将视频码率分析，视频人像分析，语音人声分析，按照时间戳进行绘制，结果叠加到播放控制界面上。视频人像分析绘制时候，可以读取fileName_videoAnalysis（分析结果）中的hasPeople{ haspeople:true, intruders:true}（目标片段的类型和时间戳）信息，如果intruders为true（即，存在目标片段的类型和时间戳），在播放绘制的时候，可以进行提示，管理人员进行优先查看。

可见，通过本申请实施例的方法，可以获取待分析的录像，并通过视频码率分析、人像分析、人声检测结果中的至少一种方法对待分析的录像进行分析，从而得到各种分析方法对应的目标片段以及起始时间和终止时间，从而在进行录像的回放时，可以在进度条上进行目标片段的起始时间和终止时间的标注，便于用户根据该标注进行录像的回放，从而提高回放效率和用户体验。

在一种可能的实施方式中，参见图4，对待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳，包括：

步骤S41，识别待分析的录像中的内部编码帧，得到第一内部编码帧；

步骤S42，识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各图像组的码率和对应的第一时间戳。

具体的，可以识别待分析的录像中的内部编码帧，即录像中的I帧，然后将每两个相邻内部编码帧及之间视频帧作为一个图像组，即，可以识别录像中GOP。然后识别该图像帧的平均码率，识别图像组对应的时间戳，可以识别图像组中第一帧，或最后一帧，或某一指定帧的时间作为对应的第一时间戳。

其中，根据各图像组的码率和对应的第一时间戳，识别相邻两个图像组的码率差值，可以通过差值计算，计算每两个相邻图像组的码率差值，然后将计算得到的码率差值与预设阈值进行对比，并将相邻两个图像组中后一图像组的码率大于前一图像组的码率，且差值大于第一预设阈值，则将后一图像组对应的第一时间戳确定为目标片段的起始时间，将相邻两个图像组中后一图像组的码率小于前一图像组的码率，且差值大于第二预设阈值，则将前一图像组对应的第一时间戳确定为目标片段的终止时间。在实际使用过程中，第一预设阈值和第二预设阈值可以相同也可以不同。

一个例子中，参见图5，可以通过视频码率分析，在动态码率编码的情况下，图像中相邻静止图像的码率变化很小，两幅相邻图像间有运动画面的码率会增大。根据这个原理，统计录像视频中一组GOP的平均码率。以时间戳为单位，记录相对应每个时间点的码率信息，存储到结果存储模块。具体的，包括：

（1）创建该视频文件对应的结果存储文件，如：fileName_BitRateAnalysis；

（2）初始化状态为：gopCount = 0；

（3）读取录像视频数据，判断输入帧是否是I帧，(不是I帧进入步骤4)如果是I帧，并且判断gopCount == 0（大于0进入步骤5），是则说明是第一组GOP开始，则开始记录totalGopSize = totalGopSize + frameSize; 记录当前的时间戳：beginTime =currentTimeStamp(视频帧携带的时间戳)，gopCount++，继续循环读取下一帧数据；

（4）数据如果不是I帧，则判断gopCount是否是0, 如果是，说明还没找到第一个I帧，则该数据丢弃，继续循环读取下一帧数据。如果gopCount大于0，说明找到了第一个I帧，该数据是该GOP中的，则进行记录：totalGopSize= totalGopSize + frameSize；lastTimeStamp = currentTimeStamp，记录完成后，继续循环读取下一帧数据。

（5）数据如果是I帧，但是gopCount大于0，则说明第一个GOP已经记录完成，这个是后续的GOP，开始计算上一个GOP的码率：

endTime= lastTimeStamp

GopBitRate = totalGopSize/(endTime - beginTime );

将计算的结果存储到fileName_BitRateAnalysi中：结果包含的关键信息有：

timestamp, GopBitRate；

开始记录新一组GOP视频帧大小：

totalGopSize = frameSize

beginTime = currentTimeStamp

继续循环读取下一帧数据。

在一种可能的实施方式中，参见图6，对待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳，包括：

步骤S61，识别待分析的录像中的内部编码帧，得到第二内部编码帧；

步骤S62，对第二内部编码帧进行人像检测，判断是否存在人像；

步骤S63，根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

在一种可能的实施方式中，根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间，包括：识别多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到目标片段的起始时间；识别多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到目标片段的终止时间。

具体的，识别待分析的录像中的内部编码帧，可以识别待分析的录像中的I帧，然后对提取到的I帧进行人像检测，具体的，可以使用开源的视频分析工具，如OpenCV等，进行人像分析，识别每一帧对应的判断结果，即，每一帧是否存在人像以及对应的时间戳。在实际使用过程中，为了提高人像检测的效率，还可以对视频分析工具进行对应的训练，如正常的人的形态图片，以及一些不常见的图片，如光线不足的人影图片或一些有掩饰的图片，如带帽子等。然后通过每一帧的识别机结果和对应的时间戳，识别多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到目标片段的起始时间；识别多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到目标片段的终止时间。

一个例子中，可以通过视频人像分析，对播放的录像视频进行人像分析，提取视频中的I帧进行分析，记录相对应每个时间点I帧的分析结果，存储到结果存储模块；具体的，还可以先找一些人像识别的图片对视频分析工具进行训练，比如正常的人的形态图片，还有一些不太常见的背影图片，光照不足下的人影图片或者一些有掩饰的任务图片，如带帽子，有这挡物品等；这样可以提高识别的准确度。进一步的，可以向图片分析工具中输入一些员工照片。这样在录像中检测非员工人员时，再录像段中进行警告标记，查看录像的时候可以重点关注。在实际使用过程中，还可以对存在人像的视频帧进行进一步的检测，例如，预设目标人物，对视频帧中的人像与目标人物进行对比，当识别到目标人物，或识别到的视频帧中的人物不是目标人物时进行预警。例如向图片分析工具中输入一些员工照片，在录像中检测非员工人员时，再录像段中进行警告标记，查看录像的时候可以重点关注。

具体的，可以包括：

（1）创建该视频文件对应的结果存储文件，如：fileName_videoAnalysis；

（2）读取录像视频数据，判断输入帧是否是I帧，如果是I帧，则送入视频分析工具进行判断是否有人像；

（3）如果判定结果为人像，（不是人像进入步骤6）则进一步判断，人像是否是非法闯入；如果是进入步骤4，如果不是进入步骤5；

（4）如果步骤3中判定人像为非法闯入，则将判定结果记录到fileName_videoAnalysi中：结果包含关键信息有：timestamp，hasPeople{ haspeople:true,intruders:true}；

（5）如果步骤3中判定人像为工作人员，则将判定结果记录到fileName_videoAnalysi中：结果包含关键信息有：timestamp，hasPeople{ haspeople:true,intruders:false}；

（6）如果步骤3中判定图像不包含人像，则将判定结果记录到fileName_videoAnalysi中：结果包含关键信息有：timestamp，hasPeople{ haspeople:false}。

在一种可能的实施方式中，参见图7，对待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳，包括：

步骤S71，对待分析的录像进行解码，得到对应的音频数据；

步骤S72，对音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

步骤S73，根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

在一种可能的实施方式中，根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间，包括：识别多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到目标片段的起始时间；识别多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到目标片段的起始时间。

具体的，对待分析的录像进行解码可以提取对待分析的录像中的音频数据，然后通过预设时长将提取到的音频划分为多个音频片段，分别对每一音频片段进行人声检测，判断是存在人声，识别出存在人声的音频片段和对应的时间戳。并识别多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到目标片段的起始时间；识别多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到目标片段的起始时间。

一个例子中，可以通过语音人声分析，解码录像当中的音频数据，送入语音识别模块，每次送入1s的数据，判定是否有人声。记录相对应每秒的分析结果，存储到结果存储模块，如语音分析软件常见的有DeepSpeech2，asrt等，能够从一段音频中提取出语音数据，转换成文字。

具体的，可以包括：

（1）创建该音频文件对应的结果存储文件，如：fileName_vioceAnalysis；

（2）读取录像音频数据，缓冲1s的数据，送入音频分析工具判定是否有人的声音；

（3）如果结果为true，记录到fileName_ vioceAnalysis中，如果声录制的声音比较清晰，可以将语音信息转换成文字进行保存。结果包含关键信息有：timestamp，hasVoice(true，“语音转换文字后的内容”)；

（4）如果结果为false, 记录到fileName_ vioceAnalysis中，记录结果为：hasVoice(false)。

本申请实施例的第二方面，提供了一种录像分析装置，参见图8，上述装置包括：

录像获取模块801，同于获取待分析的录像；

录像分析模块802，用于通过以下至少一种分析方法对待分析的录像进行分析得到第一分析结果：对待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳；

时间确定模块803，用于根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间，其中，第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。

在一种可能的实施方式中，录像分析模块，包括：

第一编码帧识别子模块，用于识别待分析的录像中的内部编码帧，得到第一内部编码帧；

码率识别子模块，用于识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各图像组的码率和对应的第一时间戳。

在一种可能的实施方式中，录像分析模块，包括：

第二编码帧识别子模块，用于识别待分析的录像中的内部编码帧，得到第二内部编码帧；

人像检测子模块，用于对第二内部编码帧进行人像检测，判断是否存在人像；

人像确定子模块，用于根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

在一种可能的实施方式中，时间确定模块，包括：

起始帧识别子模块，用于识别多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到目标片段的起始时间；

终止帧识别子模块，用于识别多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到目标片段的终止时间。

在一种可能的实施方式中，录像分析模块，包括：

录像解码子模块，用于对待分析的录像进行解码，得到对应的音频数据；

人声检测子模块，用于对音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

人声确定子模块，用于根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

在一种可能的实施方式中，时间确定模块，包括：

起始音频片段识别子模块，用于识别多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到目标片段的起始时间；

终止音频片段识别子模块，用于识别多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到目标片段的终止时间。

可见，通过本申请实施例的装置，可以获取待分析的录像，并通过视频码率分析、人像分析、人声检测结果中的至少一种方法对待分析的录像进行分析，从而得到各种分析方法对应的目标片段以及起始时间和终止时间，从而在进行录像的回放时，可以在进度条上进行目标片段的起始时间和终止时间的标注，便于用户根据该标注进行录像的回放，从而提高回放效率和用户体验。

本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，

存储器903，用于存放计算机程序；

处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：

获取待分析的录像；

通过以下至少一种分析方法对待分析的录像进行分析得到第一分析结果：对待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳；

根据第一分析结果，确定待分析的录像中目标片段的起始时间和终止时间，其中，第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳，中的至少一个。

上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一录像分析方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一录像分析方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种录像分析方法，其特征在于，所述方法包括：

获取待分析的录像；

通过以下至少一种分析方法对所述待分析的录像进行分析得到第一分析结果：对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳，对所述待分析的录像中各视频帧进行人像分析用于判断所述待分析录像中是否存在人像，对所述待分析的录像中各音频片段进行人声检测用于判断是否存在人声；

根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，其中，所述第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳中的至少一个；

所述对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳，包括：

识别所述待分析的录像中的内部编码帧，得到第一内部编码帧；

识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各所述图像组的码率和对应的第一时间戳；

所述根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，包括：将各图像组中相邻两个图像组对应的码率增大、且增大的变化量大于第一阈值的图像组所对应的时间戳确定为目标片段的起始时间，将各图像组中相邻两个图像组对应的码率减小、且减小的变化量大于第二阈值的图像组所对应的时间戳确定为目标片段的终止时间。

2.根据权利要求1所述的方法，其特征在于，所述对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳，包括：

识别所述待分析的录像中的内部编码帧，得到第二内部编码帧；

对所述第二内部编码帧进行人像检测，判断是否存在人像；

根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，包括：

识别所述多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到所述目标片段的起始时间；

识别所述多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到所述目标片段的终止时间。

4.根据权利要求1所述的方法，其特征在于，所述对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳，包括：

对所述待分析的录像进行解码，得到对应的音频数据；

对所述音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，包括：

识别所述多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到所述目标片段的起始时间；

识别所述多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到所述目标片段的起始时间。

6.一种录像分析装置，其特征在于，所述装置包括：

录像获取模块，同于获取待分析的录像；

录像分析模块，用于通过以下至少一种分析方法对所述待分析的录像进行分析得到第一分析结果：对所述待分析的录像中各图像组进行视频码率分析，得到各图像组的码率和对应的第一时间戳；对所述待分析的录像中各视频帧进行人像分析，得到各视频帧的人像分析结果和对应的第二时间戳；对所述待分析的录像中各音频片段进行人声检测，得到各音频片段的人声检测结果和对应的第三时间戳，对所述待分析的录像中各视频帧进行人像分析用于判断所述待分析录像中是否存在人像，对所述待分析的录像中各音频片段进行人声检测用于判断是否存在人声；

时间确定模块，用于根据所述第一分析结果，确定所述待分析的录像中目标片段的起始时间和终止时间，其中，所述第一分析结果包括：各图像组的码率和对应的第一时间戳、各视频帧的人像分析结果和对应的第二时间戳、各音频片段的人声检测结果和对应的第三时间戳中的至少一个；

所述录像分析模块，包括：

第一编码帧识别子模块，用于识别所述待分析的录像中的内部编码帧，得到第一内部编码帧；

码率识别子模块，用于识别每两个相邻第一内部编码帧之间的图像组的平均码率和对应的时间戳，得到各所述图像组的码率和对应的第一时间戳；

所述时间确定模块，具体用于将各图像组中相邻两个图像组对应的码率增大、且增大的变化量大于第一阈值的图像组所对应的时间戳确定为目标片段的起始时间，将各图像组中相邻两个图像组对应的码率减小、且减小的变化量大于第二阈值的图像组所对应的时间戳确定为目标片段的终止时间。

7.根据权利要求6所述的装置，其特征在于，所述录像分析模块，包括：

第二编码帧识别子模块，用于识别所述待分析的录像中的内部编码帧，得到第二内部编码帧；

人像检测子模块，用于对所述第二内部编码帧进行人像检测，判断是否存在人像；

人像确定子模块，用于根据人像检测的判断结果确定存在人像的多个第二内部编码帧和对应的第二时间戳。

8.根据权利要求7所述的装置，其特征在于，所述时间确定模块，包括：

起始帧识别子模块，用于识别所述多个第二内部编码帧在时序上的第一帧对应的第二时间戳，得到所述目标片段的起始时间；

终止帧识别子模块，用于识别所述多个第二内部编码帧在时序上的最后一帧对应的第二时间戳，得到所述目标片段的终止时间。

9.根据权利要求6所述的装置，其特征在于，所述录像分析模块，包括：

录像解码子模块，用于对所述待分析的录像进行解码，得到对应的音频数据；

人声检测子模块，用于对所述音频数据中每单位时长的音频片段进行人声检测，判断是否存在人声；

人声确定子模块，用于根据人声检测的判断结果确定存在人声的多个音频片段和对应的第三时间戳。

10.根据权利要求9所述的装置，其特征在于，所述时间确定模块，包括：

起始音频片段识别子模块，用于识别所述多个音频片段在时序上的第一个音频片段对应的第三时间戳，得到所述目标片段的起始时间；

终止音频片段识别子模块，用于识别所述多个音频片段在时序上的最后一个音频片段对应的第三时间戳，得到所述目标片段的终止时间。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

Images