CN116127127A - 视频搜索方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种视频搜索方法、装置、电子装置和存储介质，其中，该视频搜索方法包括：获取待搜索视频和候选视频；基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。通过本申请，解决了现有技术中视频搜索的准确度低下的问题，实现了提高视频搜索的准确度的技术效果。

Description

视频搜索方法、装置、电子装置和存储介质

技术领域

本申请涉及视频监控领域，特别是涉及一种视频搜索方法、装置、电子装置和存储介质。

背景技术

在互联网技术领域，会根据用户选择的视频片段对平台中上传的历史视频进行特征比对，基于视频中的目标的特征相似度进行相似视频的检索。但在安防视频监控领域，现有的视频检索技术还停留在以图搜图的阶段，无法体现出视频中发生的情节和语义特征。

此外，现在的解决方案都是单独依赖于视频中目标的相似度，仅靠视频的相似度进行分析和比对，导致视频搜索的准确率较低。

针对相关技术中存在视频搜索的准确率较低，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种视频搜索方法、装置、电子装置和存储介质，以解决相关技术中视频搜索的准确率较低的问题。

第一个方面，在本实施例中提供了一种视频搜索方法，该视频搜索方法包括：

获取待搜索视频和候选视频；

基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；

根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

在其中的一个实施例中，所述视频检测数据包括第一检测数据和第二检测数据，所述第一检测数据与待搜索视频相对应，所述第二检测数据与所述候选视频相对应，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：基于所述第一检测数据，统计所述待搜索视频中的所述预设事件在不同视频通道上的第一分布数据；基于所述第二检测数据，统计所述候选视频中的所述预设事件在不同所述视频通道上的第二分布数据；根据所述第一分布数据和所述第二分布数据确定所述第一相似度。

在其中的一个实施例中，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的第一发生时间以及对应的所述视频通道，得到第一时序数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的第二发生时间以及对应的所述视频通道，得到第二时序数据；根据所述第一时序数据和所述第二时序数据确定所述第一相似度。

在其中的一个实施例中，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度还包括：基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第一业务数据；基于所述第一时序数据和所述第一业务数据确定第一目标数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第二业务数据；基于所述第二时序数据和所述第二业务数据确定第二目标数据；根据所述第一目标数据和所述第二目标数据确定所述第一相似度。

在其中的一个实施例中，所述根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度之后还包括：根据所述待搜索视频选取一个或多个第一图像帧；根据所述候选视频选取一个或多个第二图像帧；基于所述第一图像帧和所述第二图像帧确定第二相似度；基于所述第一相似度和所述第二相似度确定目标相似度；若所述目标相似度大于第二预设阈值，则将所述候选视频确定为所述目标视频。

在其中的一个实施例中，所述基于所述第一图像帧和所述第二图像帧确定图像相似度包括：基于所述第一图像帧进行目标检测，得到第一特征信息，所述第一特征信息包括第一特征向量数据、第一运动轨迹数据以及第一目标姿态数据；基于所述第二图像帧进行目标检测，得到第二特征信息，所述第二特征信息包括第二特征向量数据、第二运动轨迹数据以及第二目标姿态数据；根据所述第一特征信息和所述第二特征信息确定所述第二相似度。

在其中的一个实施例中，所述基于所述第一相似度和所述第二相似度确定目标相似度包括：获取相似度参数，所述相似度参数用于确定所述第一相似度与所述第二相似度的权重；根据所述相似度参数、所述第一相似度以及所述第二相似度确定所述目标相似度。

第二个方面，在本实施例中提供了一种视频搜索装置，包括：

获取模块，用于获取待搜索视频和候选视频；

处理模块，用于基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；

计算模块，用于根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的视频搜索方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的视频搜索方法。

与相关技术相比，在本实施例中提供的视频搜索方法，通过获取待搜索视频和候选视频；基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频，解决了现有技术中视频搜索的准确度低下的问题，实现了提高视频搜索的准确度的技术效果。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本实施例的视频搜索方法的终端的硬件结构框图；

图2是本实施例的视频搜索方法的流程图；

图3是根据本申请另一实施例的视频搜索方法的示意图；

图4是本实施例的视频搜索装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的视频搜索方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的视频搜索方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

目前在互联网领域，会根据用户选择的视频片段对平台中上传的历史视频进行特征比对，其主要过程是比对视频中的目标的特征相似度，这在安防视频监控领域尚未有应用，在安防视频监控领域，现有的搜索手段还停留在以图搜图的阶段，难以体现出视频中发生的情节和语义特征。现在的解决方案都是单独依赖于视频中目标的相似度，或者基于视频的拼接进行搜索，没有利用其他业务数据和物联传感器叠加数据等多维度相结合。该技术在安防视频监控领域还是空白。

本实施例提供了一种视频搜索方法，通过存储视频中的辅助帧中的各种结构化智能和业务数据，在视频搜索的时候，将多个通道之间时序的相关性也作为视频检索匹配的一个维度，多方面结合进行视频搜索，达到更高的搜索准确率和匹配度，能够更好体现出视频中发生的情节和语义特征，更贴近于真实业务场景应用。

在本实施例中提供了一种视频搜索方法，图2是本实施例的视频搜索方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取待搜索视频和候选视频。

具体地，待搜索视频是用户当前掌握的，包含部分用户所需内容的视频片段，是进行视频搜索的凭证；候选视频是用户进行视频检索的对象，候选视频一般为一个或多个；预先获取待搜索视频和候选视频，以备下一步的视频检索处理。在安防监控场景下，待搜索视频一般为网络视频录像机NVR采集的视频片段，对应的候选视频为预存储的网络视频录像机采集的历史视频片段，用于与待搜索视频进行比对。

步骤S202，基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道。

具体地，预设事件是摄像机基于预设业务需求设置的智能检测事件，该事件一般包括检测到预设的目标，如人体、机动车等，该事件还包括基于视频帧检测出的目标属性信息，例如人员外貌特征或车辆外观特征等。此外，还包括通过传感器信息进行辅助采集的其他数据，例如实时的温度和湿度等。在安防监控领域，网络视频录像机一般包括多个视频通道，每个视频通道都存在一路视频码流。在检测上述预设事件时，还可确定预设事件发生所在的视频通道。

步骤S203，根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

具体地，基于视频检测数据，从包括预设事件以及对应视频通道在内的多个维度将待搜索视频和候选视频进行比对，计算第一相似度，当第一相似度大于第一预设阈值，则将该候选视频确定为目标视频，即用于基于待检索视频所希望检索到的、包含用户全部所需内容的视频数据。

现有的“以视频搜视频”技术，大多在互联网搜索领域应用，例如在影视搜索方面，通过一个时长数秒的短视频或者GIF动图进行视频出处的搜索，确定该短视频的剪辑来源，即相应的时长较长的电影视频数据等。在这些应用场景下，待搜索视频本身即受到信息量的限制，只能从图像帧的目标识别以及行为分析的角度进行视频搜索，而在安防监控场景下，智能摄像前端一般会根据具体的业务需要，在图像传感器之外额外配置其他物联传感器，例如温湿度传感器等。因而在安防场景下，在进行“以视频搜视频”时，除了视频信息本身，还可以通过物联传感器信息得到更多的信息量，进而提高检索的精度和速度。此外，安防场景下的视频数据，大多为网络视频录像机采集的多通道数据，通过不同视频通道的信息内容进行分析，可以进一步挖掘视频信息，分析智能检测事件中的时间发生规律，基于该规律进行视频搜索，从而提高视频检索的准确度。通过上述步骤，本实施例的视频搜索方法充分利用了安防场景下，智能摄像前端的智能检测能力，在进行视频搜索和比对时，借助视频通道信息以及智能摄像前端检测出的预设事件，对视频的相似度进行计算，相比于现有仅仅依靠视频图像帧的目标特征进行图像搜索，大大提高了视频搜索的准确度。

在其中的一个实施例中，所述视频检测数据包括第一检测数据和第二检测数据，所述第一检测数据与待搜索视频相对应，所述第二检测数据与所述候选视频相对应，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：基于所述第一检测数据，统计所述待搜索视频中的所述预设事件在不同视频通道上的第一分布数据；基于所述第二检测数据，统计所述候选视频中的所述预设事件在不同所述视频通道上的第二分布数据；根据所述第一分布数据和所述第二分布数据确定所述第一相似度。

具体地，预设事件是智能摄像前端的用户根据实际业务需求设置的检测事件。预设事件可以借助智能摄像前端内置的智能检测算法实现，预设事件包括但不限于目标检测、温度检测、湿度检测、违章检测、人体部件检测等。当智能摄像前端检测到预设事件，会记录发生该预设事件的视频通道信息以及预设事件类型。视频通道信息可以是视频通道编号。通过对相同时间范围内的待搜索视频和候选视频进行跨通道的预设事件进行统计，根据统计结果确定预设事件在不同视频通道上的分布情况，依据该分布情况确定待搜索视频与候选视频的相似度。本实施例的视频搜索方法，利用统计规则统计智能摄像前端检测出的预设事件类型、数量以及对应的视频通道，提高了视频搜索的准确度。

在其中的一个具体实施例中，对于待搜索视频，先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而对于第二段候选视频，先在编号为3的视频通道上检测到了人体目标，然后又在编号为5的视频通道上检测到车辆目标；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

在其中的一个实施例中，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的第一发生时间以及对应的所述视频通道，得到第一时序数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的第二发生时间以及对应的所述视频通道，得到第二时序数据；根据所述第一时序数据和所述第二时序数据确定所述第一相似度。

具体地，在智能摄像前端检测到预设事件时，会记录该预设事件的发生时间，并基于待搜索视频和候选视频生成相应的时序数据，根据该时序数据确定待搜索视频和候选视频的相似度。例如：对于待搜索视频，先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而对于第二段候选视频，先在编号为3的视频通道上检测到了车辆目标，然后又在编号为4的视频通道上检测到人体目标；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

在其中的另一个实施例中，当待搜索视频和候选视频的检测到相同预设事件时，预设事件的发生时间越接近，则相似度越高，例如：对于待搜索视频，先在编号为3的视频通道上检测到人体目标，在间隔10秒后又在编号为4的视频通道上检测到车辆目标；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到人体目标，在间隔8秒后又在编号为4的视频通道上检测到车辆目标；而对于第二段候选视频，先在编号为3的视频通道上检测到了人体目标，在间隔20秒后又在编号为4的视频通道上检测到车辆目标；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

在本实施例中，通过结合预设事件维度、视频通道维度、时序维度，在多维度进行的视频比对，进一步提高了相似度计算的计算精度，提高了视频搜索的准确度。

在其中的一个实施例中，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度还包括：基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第一业务数据；基于所述第一时序数据和所述第一业务数据确定第一目标数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第二业务数据；基于所述第二时序数据和所述第二业务数据确定第二目标数据；根据所述第一目标数据和所述第二目标数据确定所述第一相似度。

具体地，目标类型为基于视频图像帧检测到的人员类型，例如车辆、人员、动物等，目标属性为目标的属性信息，例如若目标类型为人员，则对应的目标属性包括衣服颜色、是否戴眼镜等等，若目标类型为车辆，则对应的目标属性包括车辆品牌、车辆颜色、车牌号等。传感器是指通过智能摄像前端配套的传感器采集的传感器信息，例如温度、湿度等。例如：对于待搜索视频，先在编号为3的视频通道上检测到身着红色上衣的人员，在间隔10秒后又在编号为4的视频通道上检测到绿色车辆；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到身着红色上衣的人员，在间隔10秒后又在编号为4的视频通道上检测到绿色车辆；而对于第二段候选视频，先在编号为3的视频通道上检测到了身着白色上衣的人，在间隔10秒后又在编号为4的视频通道上检测到绿色车辆；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

在本实施例中，结合预设事件维度、视频通道维度、时序维度以及业务信息维度，从多维度计算待搜索视频与候选视频的相似度，进一步提高了相似度计算的计算精度，提高了视频搜索的准确度。

在其中的一个实施例中，所述根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度之后还包括：根据所述待搜索视频选取一个或多个第一图像帧；根据所述候选视频选取一个或多个第二图像帧；基于所述第一图像帧和所述第二图像帧确定第二相似度；基于所述第一相似度和所述第二相似度确定目标相似度；若所述目标相似度大于第二预设阈值，则将所述候选视频确定为所述目标视频。

具体地，在进行图像帧选取时，可以根据预设事件检测触发时记录的帧序号，实现相似图像帧的快速定位。根据选取的第一图像帧与第二图像帧进行特征提取，确定图像帧的相似度，在视频内容的维度对待搜索视频和候选视频进行比对，以提高视频搜索的准确度。

在其中的一个实施例中，所述基于所述第一图像帧和所述第二图像帧确定图像相似度包括：基于所述第一图像帧进行目标检测，得到第一特征信息，所述第一特征信息包括第一特征向量数据、第一运动轨迹数据以及第一目标姿态数据；基于所述第二图像帧进行目标检测，得到第二特征信息，所述第二特征信息包括第二特征向量数据、第二运动轨迹数据以及第二目标姿态数据；根据所述第一特征信息和所述第二特征信息确定所述第二相似度。

具体地，基于第一图像帧和第二图像帧，可以实现对待搜索视频和候选视频中检测目标的特征向量、运动轨迹以及姿态的比对，基于特征向量、运动轨迹以及姿态的相似度计算第二相似度，优选的，相似度的计算可通过神经网络计算得到。

在其中的一个实施例中，所述基于所述第一相似度和所述第二相似度确定目标相似度包括：获取相似度参数，所述相似度参数用于确定所述第一相似度与所述第二相似度的权重；根据所述相似度参数、所述第一相似度以及所述第二相似度确定所述目标相似度。

具体地，根据预设的相似度参数对第一相似度和第二相似度进行加权计算。相似度参数可以根据实际的业务场景，依据先验知识进行设置。在其中的一个实施例中，目标相似度为：Z＝X×a+Y×(1-)，其中，Z为目标相似度，X为第一相似度，Y为第二相似度，a为相似度参数。

在其中的一个具体的实施例中，还提供了一种视频搜索方法，该视频搜索方法包括两个阶段：实时数据存储阶段和以视频搜视频阶段。

其中，实时数据存储阶段包括：前端相机在触发智能事件时，会在码流信息中加入结构化的辅助帧，且在辅助帧中会携带对应的帧序号，有些实际业务相关相机或者接入了其他传感器的相机，还会携带业务特征的数据，比如热成像相机会携带温度数据，司法相机可以携带温湿度信息以及其他POS叠加数据等。

网络视频录像机在收到这些码流后，会一并存储和视频数据对应的结构化信息到数据库，包括时间和通道等信息。存储格式如表1所示：

表1事件信息存储表

以视频搜视频阶段包括：提取待搜索视频片段和候选视频片段中的辅助帧和目标特征，历史视频特征提取可以参考表1记录的帧序号快速定位。

将待搜索视频检测出的目标与候选视频的目标进行特征比对，比对可以结合目标特征和一些运动轨迹或姿态特征。具体地，将视频片段中目标的特征向量、目标的运动轨迹和姿态的进行比对，比对过程可在神经网络中完成，通过神经网络计算得出相似度值，作为相似度1，记为X。

根据数据库中跨通道的智能时间发生时序信息和业务信息时序信息进行比对，具体如下：

首先，第一比对维度包括跨通道预设事件比对，例如，先在编号为3的视频通道上检测到了人员，后又在编号为4的视频通道上检测到了车辆，然后又在其他通道检测到其他物体，则通过互联通道信息，可以将整个跨通道发生预设事件的规律进行量化比对。

其次，在第一比对维度的基础上可以叠加通道信息，通过“通道+事件”的时序维度去比对，在第一比对维度的评价结果上进行加分或减分处理。比如：先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到人体目标，然后又在编号为4的视频通道上检测到车辆目标；而对于第二段候选视频，先在编号为3的视频通道上检测到了人体目标，然后又在编号为5的视频通道上检测到车辆目标；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

再其次，在第二比对维度的基础上，可以再计算各个预设事件发生的间隔，间隔越接近，则在第二比对维度的评价结果上进行加分处理。比如：对于待搜索视频，先在编号为3的视频通道上检测到人体目标，在间隔10秒后又在编号为4的视频通道上检测到车辆目标；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到人体目标，在间隔10秒后又在编号为4的视频通道上检测到车辆目标；而对于第二段候选视频，先在编号为3的视频通道上检测到了人体目标，在间隔20秒后又在编号为5的视频通道上检测到车辆目标；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

最后，在第三比对维度的基础上，可以再增加属性和其他业务特征字段，如果属性和业务特征也符合，在第三比对维度的评价结果上进行加分处理，比如：对于待搜索视频，先在编号为3的视频通道上检测到身着红色上衣的人员，在间隔10秒后又在编号为4的视频通道上检测到绿色车辆；而候选视频包括两段视频，对于第一段候选视频，同样先在编号为3的视频通道上检测到身着红色上衣的人员，在间隔10秒后又在编号为4的视频通道上检测到绿色车辆；而对于第二段候选视频，先在编号为3的视频通道上检测到了身着白色上衣的人，在间隔10秒后又在编号为5的视频通道上检测到绿色车辆；则在计算视频的相似度时，认为待搜索视频与第一段候选视频的相似度大于待搜索视频与第二段候选视频的相似度。

按照上面4个比对维度进行量化建模和计算，得出相似度2，记为Y。

根据一定权重对相似度1和相似度2进行加权计算如根据特征的业务场景，得到权重经验系数a，则总的相似度Z＝X×a+Y×(1-a)。若总的相似度达不到总阈值，则比对失败，若总的相似度达到总阈值，则比对成功，将比对到的跨通道视频片段进行拼接和上报，并携带相似度和其他信息。

需要强调的是，候选视频片段可能分散在各个通道，需要将比对到的各个视频通道的视频片段进行拼接，比如视频通道1的10:00-10:10录像片段，和视频通道2的10:10-10:20的视频片段进行拼接，再携带者两端视频片段对应时刻的属性和业务信息以及计算出的总阈值，进行上报。

此外，具体的比对策略可以根据业务定制，可以以视频中某个目标比如人或车的时序信息，也可以两者相结合，默认所有目标一起参数时序的编排和比对。

在其中的一个实施例中，图3是根据本申请另一实施例的视频搜索方法的示意图，如图3所示，首先获取辅助帧数据和目标特征提取，然后对指定时间范围内的所有通道录像进行目标特征比对，计算相似度1，对指定时间范围内的所有通道录像进行辅助信息比对，计算出相似度2，根据相似度1和相似度2计算总的相似度，若总的相似度小于总阈值，则判断当前候选视频中不存在目标视频；若目标相似度大于总阈值，则判定比对成功，当前候选视频确定为目标视频并上报。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本申请实施例的视频搜索方法，在进行视频图像帧比对的基础上，结合目标触发预设事件的多通道之间的时序特征和其他业务数据、物联传感器数据在多通道之间的时序特征，进行了多维度的视频比对。

针对安防监控场景，综合全局多视频通道数据分析所有的预设事件的触发情况，基于预设事件发生的规律评价标准进行视频相似度计算；并且，结合视频中辅助帧中携带的业务数据或传感器叠加的信息，提高了视频搜索的准确度。

在本实施例中还提供了一种视频搜索装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本实施例的视频搜索装置的结构框图，如图4所示，该装置包括：

获取模块10，用于获取待搜索视频和候选视频；

处理模块20，用于基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；

计算模块30，用于根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

处理模块20，还用于获取视频检测数据，所述视频检测数据包括第一检测数据和第二检测数据，所述第一检测数据与待搜索视频相对应，所述第二检测数据与所述候选视频相对应，处理模块20基于所述第一检测数据，统计所述待搜索视频中的所述预设事件在不同视频通道上的第一分布数据；基于所述第二检测数据，统计所述候选视频中的所述预设事件在不同所述视频通道上的第二分布数据；根据所述第一分布数据和所述第二分布数据确定所述第一相似度。

计算模块30，还用于基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的第一发生时间以及对应的所述视频通道，得到第一时序数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的第二发生时间以及对应的所述视频通道，得到第二时序数据；根据所述第一时序数据和所述第二时序数据确定所述第一相似度。

计算模块30，还用于基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第一业务数据；基于所述第一时序数据和所述第一业务数据确定第一目标数据；基于所述第二检测数据，确定所述候选视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第二业务数据；基于所述第二时序数据和所述第二业务数据确定第二目标数据；根据所述第一目标数据和所述第二目标数据确定所述第一相似度。

计算模块30，还用于根据所述待搜索视频选取一个或多个第一图像帧；根据所述候选视频选取一个或多个第二图像帧；基于所述第一图像帧和所述第二图像帧确定第二相似度；基于所述第一相似度和所述第二相似度确定目标相似度；若所述目标相似度大于第二预设阈值，则将所述候选视频确定为所述目标视频。

计算模块30，还用于基于所述第一图像帧进行目标检测，得到第一特征信息，所述第一特征信息包括第一特征向量数据、第一运动轨迹数据以及第一目标姿态数据；基于所述第二图像帧进行目标检测，得到第二特征信息，所述第二特征信息包括第二特征向量数据、第二运动轨迹数据以及第二目标姿态数据；根据所述第一特征信息和所述第二特征信息确定所述第二相似度。

计算模块30，还用于获取相似度参数，所述相似度参数用于确定所述第一相似度与所述第二相似度的权重；根据所述相似度参数、所述第一相似度以及所述第二相似度确定所述目标相似度。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待搜索视频和候选视频。

S2，基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道。

S3，根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的视频搜索方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种视频搜索方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频搜索方法，其特征在于，包括：

获取待搜索视频和候选视频；

基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；

根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

2.根据权利要求1所述的视频搜索方法，所述视频检测数据包括第一检测数据和第二检测数据，所述第一检测数据与待搜索视频相对应，所述第二检测数据与所述候选视频相对应，其特征在于，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：

基于所述第一检测数据，统计所述待搜索视频中的所述预设事件在不同视频通道上的第一分布数据；

基于所述第二检测数据，统计所述候选视频中的所述预设事件在不同所述视频通道上的第二分布数据；

根据所述第一分布数据和所述第二分布数据确定所述第一相似度。

3.根据权利要求2所述的视频搜索方法，其特征在于，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度包括：

基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的第一发生时间以及对应的所述视频通道，得到第一时序数据；

基于所述第二检测数据，确定所述候选视频中的所述预设事件的第二发生时间以及对应的所述视频通道，得到第二时序数据；

根据所述第一时序数据和所述第二时序数据确定所述第一相似度。

4.根据权利要求3所述的视频搜索方法，其特征在于，所述基于所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度还包括：

基于所述第一检测数据，确定所述待搜索视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第一业务数据；

基于所述第一时序数据和所述第一业务数据确定第一目标数据；

基于所述第二检测数据，确定所述候选视频中的所述预设事件的目标类型、目标属性以及传感器数据，得到第二业务数据；

基于所述第二时序数据和所述第二业务数据确定第二目标数据；

根据所述第一目标数据和所述第二目标数据确定所述第一相似度。

5.根据权利要求1所述的视频搜索方法，其特征在于，所述根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度之后还包括：

根据所述待搜索视频选取一个或多个第一图像帧；

根据所述候选视频选取一个或多个第二图像帧；

基于所述第一图像帧和所述第二图像帧确定第二相似度；

基于所述第一相似度和所述第二相似度确定目标相似度；

若所述目标相似度大于第二预设阈值，则将所述候选视频确定为所述目标视频。

6.根据权利要求5所述的视频搜索方法，其特征在于，所述基于所述第一图像帧和所述第二图像帧确定图像相似度包括：

基于所述第一图像帧进行目标检测，得到第一特征信息，所述第一特征信息包括第一特征向量数据、第一运动轨迹数据以及第一目标姿态数据；

基于所述第二图像帧进行目标检测，得到第二特征信息，所述第二特征信息包括第二特征向量数据、第二运动轨迹数据以及第二目标姿态数据；

根据所述第一特征信息和所述第二特征信息确定所述第二相似度。

7.根据权利要求5所述的视频搜索方法，其特征在于，所述基于所述第一相似度和所述第二相似度确定目标相似度包括：

获取相似度参数，所述相似度参数用于确定所述第一相似度与所述第二相似度的权重；

根据所述相似度参数、所述第一相似度以及所述第二相似度确定所述目标相似度。

8.一种视频搜索装置，其特征在于，包括：

获取模块，用于获取待搜索视频和候选视频；

处理模块，用于基于所述待搜索视频和所述候选视频，得到对应的视频检测数据，所述视频检测数据包括基于所述待搜索视频和所述候选视频检测出的预设事件以及所述预设事件所位于的视频通道；

计算模块，用于根据所述视频检测数据确定所述待搜索视频和所述候选视频的第一相似度，若所述第一相似度大于第一预设阈值，则将所述候选视频确定为目标视频。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的视频搜索方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的视频搜索方法的步骤。

Images