CN112019789B

CN112019789B - 录像回放方法及装置

Info

Publication number: CN112019789B
Application number: CN201910473011.4A
Authority: CN
Inventors: 侯凯
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2022-05-31
Anticipated expiration: 2039-05-31
Also published as: CN112019789A

Abstract

本申请提供一种录像回放方法及装置，方法包括：确定待检索对象的第一属性信息；从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识，所述目标图像中包括所述待检索对象；从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。通过从已存储的录像信息记录中查找到与第一属性信息对应的目标图像和原始录像的录像标识，进而直接从原始录像中提取包含这些目标图像的录像片段，从而实现对特定属性的录像片段的提取回放。由于只是针对特定属性的有效片段回放，无需一直对录像中的所有图像做摘要，因此可快速完成录像片段搜索，回放效率比较高。

Description

录像回放方法及装置

技术领域

本申请涉及视频处理技术领域，尤其涉及一种录像回放方法及装置。

背景技术

对于在视频监控过程中保存下来录像，用户如果想看关键片段，往往需要通过人工干预、快进或跳转的方式选择性的观看，因此需要花费的人工成本高、浪费时间。

在相关技术中，通常采用摘要回放方式，即通过检测录像画面中是否有运动物体，当检测到运动物体时，只回放存在运动物体的录像片段，从而达到降低人工干预的成本。然而这种摘要回放方式是对录像中的所有图像做摘要，却无法针对特定属性的单个或多个物体做处理，进而无法做到仅提取匹配特定属性的录像回放。

发明内容

有鉴于此，本申请提供一种录像回放方法及装置，以解决相关技术无法实现匹配特定属性的录像回放的问题。

根据本申请实施例的第一方面，提供一种录像回放方法，所述方法包括：

确定待检索对象的第一属性信息；

从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识，所述目标图像中包括所述待检索对象；

从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

根据本申请实施例的第二方面，提供一种录像回放装置，所述装置包括：

属性确定模块，用于确定待检索对象的第一属性信息；

图像确定模块，用于从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识，所述目标图像中包括所述待检索对象；

录像提取模块，用于从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

根据本申请实施例的第三方面，提供一种电子设备，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

应用本申请实施例，通过确定待检索对象的第一属性信息，然后从已存储的录像信息记录中确定出与所述第一属性信息对应的目标图像和录像标识，最后从录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

基于上述描述可知，通过从已存储的录像信息记录中查找到与第一属性信息对应的目标图像和原始录像的录像标识，进而直接从原始录像中提取包含这些目标图像的录像片段，从而实现对特定属性的录像片段的提取回放。由于只是针对特定属性的有效片段回放，无需一直对录像中的所有图像做摘要，因此可快速完成录像片段搜索，回放效率比较高。

附图说明

图1为本申请根据一示例性实施例示出的一种录像回放方法的实施例流程图；

图2为本申请根据一示例性实施例示出的一种电子设备的硬件结构图；

图3为本申请根据一示例性实施例示出的一种录像回放装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前所采用的摘要回放方式需要对录像中的所有图像做摘要，无法针对特定属性的单个或多个物体做处理。另外，摘要回放需要一直检测录像画面中的运动物体，效率比较低。

为解决上述问题，本申请提出一种录像回放方法，通过确定待检索对象的第一属性信息，然后从已存储的录像信息记录中确定出与所述第一属性信息对应的目标图像和录像标识，最后从录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

图1为本申请根据一示例性实施例示出的一种录像回放方法的实施例流程图，所述录像回放方法可以应用在电子设备(如NVR(Network Video Recorder，网络硬盘录像机))上，所述电子设备可以与摄像机通信连接。如图1所示，所述录像回放方法包括如下步骤：

步骤101：确定待检索对象的第一属性信息。

在一实施例中，针对确定待检索对象的第一属性信息的过程，可以通过获取待检索对象图像，并从待检索对象图像中提取待检索对象的第一属性信息。

其中，待检索对象可以是任何特定对象，例如戴眼镜的男士、背书包的人、黑色旅行箱等。属性信息属于对象自身所具有的特定属性，可以包括对象类别、对象颜色、对象大小及形状等信息，例如，对于待检索对象是戴眼镜的男士，其具有三项属性信息：人、男士、戴眼镜。

在一个例子中，针对获取待检索对象图像的过程，可以接收框选操作指令，依据框选操作指令从正播放的录像中框选出对应的目标区域，并将框选出的目标区域确定为待检索对象图像。

例如，在播放录像过程中，如果用户在录像中发现想检索的对象，在播放界面中框选出待检索对象的目标区域，从而设备可以将目标区域对应的图像作为待检索对象图像。

在另一例子中，针对获取待检索对象图像的过程，用户可以直接上传待检索对象图像，即通过接收外部输入的图像，并将接收的图像确定为待检索对象图像。

在另一实施例中，针对确定待检索对象的第一属性信息的过程，如果用户明确想检索物体的属性信息，还可以直接输入第一属性信息，即通过接收外部输入的指令，从所述指令中提取第一属性信息。

在一实施例中，针对从待检索对象图像中提取第一属性信息的过程，可以通过按照设定的特征提取算法从待检索对象图像中提取图像特征数据，并将图像特征数据输入至指定的属性分析算法，若指定的属性分析算法无输出或输出为指定值，则将提取次数加1，并判断所述提取次数是否超过预设次数，若未超过，则返回按照设定的特征提取算法从待检索对象图像中提取图像特征数据的步骤，否则，将输出的数据确定为第一属性信息。

其中，由于所述特征提取算法在不同时刻从待检索对象图像中提取的图像特征数据不同，因此通过多次提取方式，可以提升属性信息提取成功率。

示例性的，预设次数可以根据实践经验设置，例如，最大可提取的次数为2次，则可以设置预设次数为2。

其中，指定的属性分析算法输出的指定值用于指示不存在属性信息。

在本申请中，为了提高属性信息提取效率，可以通过将待检索对象图像发送至本设备设有的智能处理芯片上，由智能处理芯片从待检索对象图像中提取第一属性信息。

其中，所述智能处理芯片中集成有待检索对象的属性信息提取算法，处理效率相对传统算法比较高。

步骤102：从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识。

其中，从录像信息记录中确定出的与属性信息对应的目标图像中包含有待检索对象。

在执行步骤102之前，需要获取并存储所述录像信息记录，所述录像信息记录的获取过程可以是：从所述原始录像中提取关键帧对应的图像，所述原始录像由关键帧和非关键帧组成，相邻两个关键帧之间包括多个非关键帧，然后针对每帧图像，提取该图像的特征数据，并基于所述特征数据确定该图像包含的对象的属性信息，进而将该图像、该图像包含的对象的属性信息以及录像标识作为录像信息记录并存储。

其中，录像标识为原始录像的标识。由于原始录像通常是经过编码的视频数据，编码过程是按照组(GOP(Group of Picture，图像组))来进行的，每一个GOP都是由关键帧开始，然后跟在关键帧后面的是非关键帧，关键帧表示一帧完整画面，可单独解码得到一帧图像，非关键帧表示不完整的画面，需要依赖关键帧和前后帧进行解码，因此关键帧是每个GOP最为重要的帧。为了提高属性提取效率，可以将原始录像中包含的关键帧的相关数据(即对应的图像和图像中包含的所有对象的属性信息)作为录像信息记录。

示例性的，录像信息记录还可以包括图像所属原始录像的存储位置信息、录像大小、录像起止时刻，这些数据可以方便后续快速从录像中提取录像片段使用。

示例性的，为了提高后续的检索效率，录像信息记录的存储可以采用数据库的方式存储。

其中，在数据库中可以采用分数据表方式存储，每个数据表对应一种对象类别，即基于录像信息记录中图像所包含对象的类别(对象的类别属于属性信息中的一种，如人、狗、猫等对象类别)，将录像信息记录存储至该对象类别对应的数据表中。从而，在检索目标图像时，可以通过获取第一属性信息包含的对象类别对应的数据表，并在该数据表中检索目标图像。

示例性的，为了减少数据库的数据量，还可以将录像信息记录中的图像存储到某一存储介质后，将图像的存储位置记录到数据库中。

在本申请中，为了提高属性信息提取效率，可以通过将每帧图像发送至本设备设有的智能处理芯片，由智能处理芯片提取图像包含的对象的属性信息。

在一实施例中，为了丰富录像信息记录的来源，还可以通过接收相机上传的定时抓拍图像，并提取该定时抓拍图像中包含的对象的属性信息，进而将该图像和提取的属性信息作为录像信息记录并存储。

需要说明的是，为了方便直接提取录像片段，在基于所述特征数据确定该图像包含的对象的属性信息之后，还可以基于该图像的采集时刻确定包含该图像的录像片段的录像起止时刻，并将所述录像起止时刻对应该图像存储至录像信息记录中。

其中，确定的录像起止时刻包括比采集时刻早预设时长的起始时刻，比采集时刻晚预设时长的终止时刻。

例如，假设图像的采集时刻为2019年5月22日的16:11:01，预设时长是2秒，那么可以确定包含该图像的录像片段的起始时刻为，2019年5月22日的16:10:59，终止时刻为2019年5月22日的16:11:03。

在一实施例中，针对从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识的过程，可以通过从已存储的录像信息记录中查找到与第一属性信息匹配的第二属性信息，并从已存储的录像信息记录中获取第二属性信息对应的目标图像和录像标识。

步骤103：从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

基于上述步骤102所述，录像信息记录中还包括录像起止时刻，因此在从已存储的录像信息记录中确定与第一属性信息对应的目标图像的同时，还可以获取目标图像对应的录像起止时刻，从而针对每帧目标图像，可以直接从录像标识对应的原始录像中提取出介于目标图像对应的录像起止时刻之间的录像片段进行回放。

其中，如果各帧目标图像对应的录像起止时刻之间的时间段有重合，可以合并重合的时间段后再从原始录像中提取录像片段。

在本申请实施例中，通过确定待检索对象的第一属性信息，然后从已存储的录像信息记录中确定出与所述第一属性信息对应的目标图像和录像标识，最后从录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

图2为本申请根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口201、处理器202、机器可读存储介质203和总线204；其中，通信接口201、处理器202和机器可读存储介质203通过总线204完成相互间的通信。处理器202通过读取并执行机器可读存储介质203中与录像回放方法的控制逻辑对应的机器可执行指令，可执行上文描述的录像回放方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质203可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质203可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

图3为本申请根据一示例性实施例示出的一种录像回放装置的实施例结构图，所述录像回放装置可以应用在电子设备，如图3所示，所述录像回放装置包括：

属性确定模块310，用于确定待检索对象的第一属性信息；

图像确定模块320，用于从已存储的录像信息记录中确定出与第一属性信息对应的目标图像和录像标识，所述目标图像中包括所述待检索对象；

录像提取模块330，用于从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放。

在一可选实现方式中，所述图像确定模块320，具体用于从已存储的录像信息记录中查找到与所述第一属性信息匹配的第二属性信息；从已存储的录像信息记录中获取所述第二属性信息对应的目标图像和录像标识。

在一可选实现方式中，所述属性确定模块310，具体用于获取待检索对象图像，从待检索对象图像中提取第一属性信息；或者，接收外部输入的指令，从所述指令中提取第一属性信息。

在一可选实现方式中，所述属性确定模块310，具体用于在获取待检索对象图像过程中，接收框选操作指令，依据框选操作指令从正播放的录像中框选出对应的目标区域，将框选出的目标区域确定为待检索对象图像；或者，接收外部输入的图像，将接收的图像确定为待检索对象图像。

在一可选实现方式中，所述属性确定模块310，具体用于在从待检索对象图像中提取第一属性信息过程中，按照设定的特征提取算法从待检索对象图像中提取图像特征数据，所述特征提取算法在不同时刻从待检索对象图像中提取的图像特征数据不同；将图像特征数据输入至指定的属性分析算法；若所述指定的属性分析算法无输出或输出为指定值，则将提取次数加1，并判断所述提取次数是否超过预设次数，若未超过，则返回按照设定的特征提取算法从待检索对象图像中提取图像特征数据的步骤，否则，将输出的数据确定为第一属性信息，所述指定值用于指示不存在属性信息。

在一可选实现方式中，所述录像信息记录进一步包括录像起止时刻；

所述图像确定模块320，还用于从已存储的录像信息记录中获取目标图像对应的录像起止时刻；

所述录像提取模块330，具体用于从录像标识对应的原始录像中提取出介于目标图像对应的录像起止时刻之间的录像片段并回放。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种录像回放方法，其特征在于，所述方法包括：

通过获取待检索对象图像，按照设定的特征提取算法从待检索对象图像中提取图像特征数据，所述特征提取算法在不同时刻从待检索对象图像中提取的图像特征数据不同；

将图像特征数据输入至指定的属性分析算法；

若所述指定的属性分析算法无输出或输出为指定值，则将提取次数加1，并判断所述提取次数是否超过预设次数，若未超过，则返回按照设定的特征提取算法从待检索对象图像中提取图像特征数据的步骤，否则，将输出的数据确定为第一属性信息；所述指定值用于指示不存在属性信息，所述第一属性信息属于待检索对象具有的特定属性；

从已存储的录像信息记录中查找到与所述第一属性信息匹配的第二属性信息，从已存储的录像信息记录中获取所述第二属性信息对应的目标图像和录像标识；所述录像信息记录为原始录像中包含的关键帧对应的图像中包含的所有对象的属性信息，所述录像信息记录采用数据表进行存储，每个数据表对应一种对象类别，所述数据表用于记录包含该数据表对应的对象类别的录像信息记录，所述对象类别属于录像信息记录中的属性信息，所述目标图像中包括所述待检索对象；

2.根据权利要求1所述的方法，其特征在于，确定待检索对象的第一属性信息，包括：

获取待检索对象图像，从待检索对象图像中提取第一属性信息；或者，

接收外部输入的指令，从所述指令中提取第一属性信息。

3.根据权利要求2所述的方法，其特征在于，获取待检索对象图像，包括：

接收框选操作指令，依据框选操作指令从正播放的录像中框选出对应的目标区域，将框选出的目标区域确定为待检索对象图像；

或者，

接收外部输入的图像，将接收的图像确定为待检索对象图像。

4.根据权利要求1所述的方法，其特征在于，所述录像信息记录进一步包括录像起止时刻；

该方法进一步包括：从已存储的录像信息记录中获取目标图像对应的录像起止时刻；

从所述录像标识对应的原始录像中提取包含所述目标图像的录像片段并回放，包括：

从录像标识对应的原始录像中提取出介于目标图像对应的录像起止时刻之间的录像片段并回放。

5.一种录像回放装置，其特征在于，所述装置包括：

属性确定模块，用于通过获取待检索对象图像，从待检索对象图像中确定待检索对象的第一属性信息，按照设定的特征提取算法从待检索对象图像中提取图像特征数据，所述特征提取算法在不同时刻从待检索对象图像中提取的图像特征数据不同；将图像特征数据输入至指定的属性分析算法；若所述指定的属性分析算法无输出或输出为指定值，则将提取次数加1，并判断所述提取次数是否超过预设次数，若未超过，则返回按照设定的特征提取算法从待检索对象图像中提取图像特征数据的步骤，否则，将输出的数据确定为第一属性信息；所述指定值用于指示不存在属性信息，所述第一属性信息属于待检索对象具有的特定属性；

图像确定模块，用于从已存储的录像信息记录中查找到与所述第一属性信息匹配的第二属性信息，从已存储的录像信息记录中获取所述第二属性信息对应的目标图像和录像标识；所述录像信息记录为原始录像中包含的关键帧对应的图像中包含的所有对象的属性信息，所述录像信息记录采用数据表进行存储，每个数据表对应一种对象类别，所述数据表用于记录包含该数据表对应的对象类别的录像信息记录，所述对象类别属于录像信息记录中的属性信息，所述目标图像中包括所述待检索对象；

6.根据权利要求5所述的装置，其特征在于，所述属性确定模块，具体用于获取待检索对象图像，从待检索对象图像中提取第一属性信息；或者，接收外部输入的指令，从所述指令中提取第一属性信息。

7.根据权利要求6所述的装置，其特征在于，所述属性确定模块，具体用于在获取待检索对象图像过程中，接收框选操作指令，依据框选操作指令从正播放的录像中框选出对应的目标区域，将框选出的目标区域确定为待检索对象图像；或者，接收外部输入的图像，将接收的图像确定为待检索对象图像。

8.一种电子设备，其特征在于，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-4任一所述方法的步骤。