CN114297441B - 视频对象检索方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本申请实施例中提供了一种视频对象检索方法、装置、计算机室及可读存储介质，包括：通过接收包括待检索对象的待检索图像；然后对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息；再根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索；当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据；最终从目标边缘设备中获取目标本地视频数据，相较于相关技术中会将涉及的视频数据全部作为检索数据库，本方案巧妙地利用特征摘要信息作为检索依据，将目标本地视频数据存于本地边缘设备，节省了网络带宽成本。

Description

视频对象检索方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及数据检索技术，具体地，涉及一种视频对象检索方法、装置、计算机设备及可读存储介质。

背景技术

在相关技术中，一般由边缘设备进行视频数据的采集，然后将视频数据上传至云端计算机设备进行存储，在需要进行对象检索时，则调取云端的数据库基于存储的视频数据进行检索。现有的方案对带宽与网络环境要求很高，其原因在于多个边缘设备采集的视频数据的数据量是庞大的，甚至会出现当网络条件不稳定时影响最终检索效果的问题。

发明内容

本申请实施例中提供了一种视频对象检索方法、装置、计算机设备及可读存储介质。

第一方面，本申请实施例提供一种视频对象检索方法，应用于计算机设备，计算机设备与多个边缘设备通信连接，边缘设备存储有本地视频数据，计算机设备存储有多个特征摘要信息，特征摘要信息与本地视频数据存在关联关系，方法包括：

接收待检索图像；待检索图像包括待检索对象；

对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息；

根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索；

当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据；

从目标边缘设备中获取目标本地视频数据。

在一种可能的实施方式中，计算机设备还存储有多个对象参数，对象参数和特征摘要信息一一对应，对象参数与对应的特征摘要信息由同一本地视频数据解析得到，并配置有唯一标识，对象参数包括对象时空参数；

根据关联关系确定出目标本地视频数据，包括：

根据唯一标识，确定目标特征摘要信息对应的目标对象参数；

根据目标对象参数包括的目标对象时空参数，确定出目标本地视频数据。

在一种可能的实施方式中，对象参数还包括设备信息和设备关联信息；

从目标边缘设备中获取目标本地视频数据，包括：

根据目标对象参数包括的目标设备信息和目标设备关联信息，从多个边缘设备中确定出至少一个目标边缘设备；

从至少一个目标边缘设备中获取目标本地视频数据。

在一种可能的实施方式中，计算机设备存储有多个特征摘要信息簇，特征摘要信息簇包括多个特征摘要信息，判断多个特征摘要信息中是否存在与待检索特征摘要信息匹配的目标特征摘要信息的步骤，包括：

计算每个特征摘要信息簇与待检索特征摘要信息的特征相似度；

若存在目标特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则将目标特征摘要信息簇包括的多个特征摘要信息作为目标特征摘要信息；

若不存在任何特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则发出检索失败提醒。

在一种可能的实施方式中，方法还包括：

接收待处理对象的待处理特征摘要以及待处理对象参数；待处理特征摘要和待处理对象参数为边缘设备对待处理本地视频数据进行解析处理后得到的，待处理本地视频数据包括待处理对象；

根据待处理对象参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇；

为待处理特征摘要信息簇以及待处理特征摘要信息簇对应的待处理对象参数配置唯一标识，并存储待处理特征摘要信息簇以及待处理对象参数。

在一种可能的实施方式中，对象参数包括图片质量参数和对象时空参数，根据待处理对象参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇，包括：

将图片质量参数和对象时空参数作为聚类阈值参数；

根据预设聚类算法和聚类阈值参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇。

第二方面，本申请实施例提供一种视频对象检索方法，应用于边缘设备，边缘设备与计算机设备通信连接，方法包括：

获取待处理本地视频数据，并存储待处理本地视频数据；待处理本地视频数据中包括待处理对象；

对待处理本地视频数据进行解析处理，得到待处理对象的特征摘要以及对象参数；

将特征摘要和对象参数发送至计算机设备，以使计算机设备将特征摘要和对象参数分别存储并作为待检索对象的检索依据。

第三方面，本申请实施例提供一种视频对象检索装置，应用于计算机设备，计算机设备与多个边缘设备通信连接，边缘设备存储有本地视频数据，计算机设备存储有多个特征摘要信息，特征摘要信息与本地视频数据存在关联关系，装置包括：

接收模块，用于接收待检索图像；待检索图像包括待检索对象；

提取模块，用于对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息；

检索模块，用于根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索；当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据；

显示模块，用于从目标边缘设备中获取目标本地视频数据。

第四方面，本申请实施例提供一种计算机设备，计算机设备包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备执行第一方面和第二方面至少一种可能的实施方式中的视频对象检索方法。

第五方面，本申请实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行第一方面至少一种可能的实施方式中的视频对象检索方法。

采用本申请实施例中提供的视频对象检索方法、装置、计算机室及可读存储介质，包括：通过接收包括待检索对象的待检索图像；然后对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息；再根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索；当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据；最终从目标边缘设备中获取目标本地视频数据，相较于相关技术中将涉及的视频数据全部作为检索数据库，本方案巧妙地利用特征摘要信息作为检索依据，将目标本地视频数据存于本地边缘设备，节省了网络带宽成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的视频对象检索系统的场景交互示意图；

图2为本申请实施例提供的视频对象检索方法的一种步骤流程示意图；

图3为本申请实施例提供的视频对象检索方法的另一种步骤流程示意图；

图4为本申请实施例提供的视频对象检索方法的另一种步骤流程示意图；

图5为本申请实施例提供的视频对象检索方法的另一种步骤流程示意图；

图6为本申请实施例提供的视频对象检索方法的另一种步骤流程示意图；

图7为本申请实施例提供的用于执行图2中视频对象检索方法的视频对象检索装置的结构示意框图；

图8为本申请实施例提供的用于执行图2中视频对象检索方法的计算机设备的结构示意框图。

具体实施方式

在实现本申请的过程中，发明人发现，在相关技术中为了能够从视频中找到需要确定的对象，往往会将摄像设备采集的所有视频数据全部上传至云端服务器，以留作记录，这对带宽与网络环境要求很高，在造成成本高昂的同时，也会出现当网络条件不稳定时影响最终的效果。

针对上述问题，本申请实施例中提供了一种视频对象检索，通过对需要进行对象检索的待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息，进而和预先存储的多个特征摘要信息进行比对，在比对成功后，找到匹配的目标特征摘要信息，再利用目标特征摘要信息与目标本地视频数据的关联关系，从目标边缘设备中获取目标本地视频数据，以此来获取用户需要的包括了待检索对象的视频数据，计算机设备仅需存储的多个特征摘要信息以及关联关系即可，以此来实现降低带宽成本的对象检索方案。

本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

请结合参阅图1，图1为本申请实施例提供的视频对象检索系统的场景交互示意图，本申请实施例提供的视频对象检索系统可以包括计算机设备100以及与计算机设备100通信连接的多个边缘设备200，边缘设备200存储有本地视频数据，计算机设备100存储有多个特征摘要信息，特征摘要信息与本地视频数据存在关联关系。

在本申请实施例中，边缘设备200可以包括智能相机和视频存储服务器，智能相机在采集到视频数据并进行相关处理后，可以将其作为本地视频数据存储至视频存储服务器。在本申请实施例的其他实施方式中，边缘设备200还可以由传统的视频流相机进行视频采集，然后配置嵌入式边缘处理服务器进行数据处理，再将采集的视频数据作为本地视频数据存储至视频存储服务器。在本申请实施例的其他实施方式中，视频对象检索系统可以由更多或者更少的组件构成，在此不做限制。

请结合参阅图2，图2为本申请实施例提供的视频对象检索方法的一种步骤流程示意图，该视频对象检索方法可以由图1中的计算机设备100作为执行主体执行实施，下面对该视频对象检索方法进行详细介绍。

步骤S201，接收待检索图像。

待检索图像包括待检索对象。

步骤S202，对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息。

步骤S203，根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索。

步骤S204，当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据。

步骤S205，从目标边缘设备200中获取目标本地视频数据。

在本申请实施例中，待检索图像所包含的待检索对象可以是车、人或者物品，在此不做限制。可以利用人工智能神经网络算法对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息。然后可以用待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索。其中，多个特征摘要信息可以是由多个边缘设备200对本地视频数据进行特征提取处理后发送至计算机设备100进行存储的。而当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，则可以根据本地视频数据与特征摘要信息的关联关系，从目标边缘设备200将其存储的目标本地视频数据进行获取。

通过上述步骤，计算机设备100无需存储每个边缘设备200采集的所有视频数据，仅需存储每个本地视频数据的特征摘要信息即可，有效地降低了网络带宽成本，除此之外，由于特征摘要信息是无法直接逆向得到对应的任何图像或者视频数据的，并非敏感数据，因此采用特征摘要信息作为检索的参考依据也是更加安全的，即便计算机设备100本身受到了影响或者存储的多个特征摘要信息泄露，也不会直接影响存储在各个边缘设备200中的本地视频数据。以此来实现对于待检索对象出现过的目标本地视频数据的获取。

在一种可能的实施方式中，请结合参阅图3，计算机设备100还存储有多个对象参数，对象参数和特征摘要信息一一对应，对象参数与对应的特征摘要信息由同一本地视频数据解析得到，并配置有唯一标识，对象参数包括对象时空参数；前述步骤S204可以通过以下具体的实施方式执行实施。

子步骤S204-1，根据唯一标识，确定目标特征摘要信息对应的目标对象参数。

子步骤S204-2，根据目标对象参数包括的目标对象时空参数，确定出目标本地视频数据。

在本申请实施例中，为了能够获取目标本地视频数据，与特征摘要信息一同上传至计算机设备100的还有从本地视频数据中获取的对象参数，对象参数可以包括时空参数，时空参数可以是指对象在视频中出现的时间、地点等参数，为了能够方便检索，同一对象的特征摘要信息和对象参数可以配置唯一标识。

例如，待检索对象为一辆车，该车在经过边缘设备200进行视频采集后，边缘设备200将该车的特征摘要信息以及该车在什么时间出现在什么地点的时空参数一并发送至计算机设备100用于存储，例如XX年XX月XX日，8:00:00出现在了A地点。在后续用户需要对其进行检索时，提供了包括该车的图像，在计算机设备100包括该车的图像进行体征提取后，得到了该车的特征摘要信息，将该车的特征摘要信息在存储的多个特征摘要信息中进行检索，发现了之前存储的该车的能够匹配上的特征摘要信息，再根据为该车配置的唯一标识，确定出对应的时空参数，即“XX年XX月XX日，8:00:00出现在了A地点”，并以此为依据，快速地从存储有大量本地视频数据的边缘设备200中找到包括该车的目标本地视频数据。

在一种可能的实施方式中，请结合参阅图4，对象参数还包括设备信息和设备关联信息；前述步骤S205可以通过以下步骤执行实施。

子步骤S205-1，根据目标对象参数包括的目标设备信息和目标设备关联信息，从多个边缘设备200中确定出至少一个目标边缘设备200。

子步骤S205-2，从至少一个目标边缘设备200中获取目标本地视频数据。

在本申请实施例中，对象参数还包括设备信息和设备关联信息，同一地点可以包括多个边缘设备200进行视频采集，同一对象也可以在同一地点同时被不同的边缘设备200拍摄到。在本申请实施例中，边缘设备200还可以将设备信息和设备关联信息在上传特征摘要信息的同时上边对应的设备信息和设备关联信息，以便后续调取目标视频数据时提高效率。

例如，在待检索对象为一具体人员，该人员在A地区被边缘设备200a和边缘设备200b同时进行了视频采集，分别得到了本地视频数据a以及本地视频数据b，以边缘设备200a为例，边缘设备200a将本地视频数据a进行特征提取后，将其上传至计算机设备100的同时，还可以将边缘设备200a本身的设备信息以及与边缘设备200b的关联设备信息一并发送至计算机设备100进行存储。在对该人员进行检索时，确定了对应的特征摘要信息后，便可以根据存储的边缘设备200a本身的设备信息以及与边缘设备200b的关联设备信息快速定位至存储有该人员的本地视频数据a和本地视频数据b所在的边缘设备200，进而配合前述的其他对象参数实现本地视频数据a和本地视频数据b的获取。

在一种可能的实施方式中，计算机设备100存储有多个特征摘要信息簇，特征摘要信息簇包括多个特征摘要信息，本申请实施例还提供判断多个特征摘要信息中是否存在与待检索特征摘要信息匹配的目标特征摘要信息的示例，可以由以下详细的步骤执行实施。

步骤S301，计算每个特征摘要信息簇与待检索特征摘要信息的特征相似度。

步骤S302，若存在目标特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则将目标特征摘要信息簇包括的多个特征摘要信息作为目标特征摘要信息。

步骤S303，若不存在任何特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则发出检索失败提醒。

应当理解的是，边缘设备200进行采集的视频数据是非常庞大的，而对应存储在计算机设备100的特征摘要信息的数据量也是较为庞大的，为了能够进一步提高数据在进行存储、检索时的效率，可以对边缘设备200发出的特征摘要信息进行聚类，将同一对象相关的所有特征摘要信息聚类成为特征摘要信息簇，而在进行检索时，仅需利用特征摘要信息簇与待检索特征摘要信息的特征相似度是否达到预设相似度阈值，即可确定出目标特征摘要信息。

例如，待检索对象为物品，经过多个边缘设备200在一定时间段内的采集，该物品出现的多个本地视频数据，对应边缘设备200将多个本地视频数据特征提取后的特征摘要信息发送至计算机设备100，可以对多个特征摘要信息进行距聚类操作，以得到该物品的特征摘要信息簇，应当理解的是，特征摘要信息簇中每个特征摘要信息均配置有前述的唯一标识。通过上述设计，能够提高对象检索的检索效率。

除了上述示例，请结合参阅图5，本申请实施例还提供以下的具体实施方式：

步骤S401，接收待处理对象的待处理特征摘要以及待处理对象参数。

待处理特征摘要和待处理对象参数为边缘设备200对待处理本地视频数据进行解析处理后得到的，待处理本地视频数据包括待处理对象。

步骤S402，根据待处理对象参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇。

步骤S403，为待处理特征摘要信息簇以及待处理特征摘要信息簇对应的待处理对象参数配置唯一标识，并存储待处理特征摘要信息簇以及待处理对象参数。

步骤S404，当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据。

应当理解的是，在进行检索之前会对相关数据进行存储。可以接收由边缘设备200发出的待处理对象的待处理特征摘要以及待处理对象参数，待处理特征摘要以及待处理对象参数可以来及包括待处理对象的待处理本地视频数据。如前描述的，接收的待处理特征摘要信息的数量较多，为了能够提高后续的检索效率，可以通过配置唯一标识的方式实现。

在一种可能的实施方式中，对象参数包括图片质量参数和对象时空参数，前述步骤S402可以通过以下示例实现。

子步骤S402-1，将图片质量参数和对象时空参数作为聚类阈值参数。

子步骤S402-2，根据预设聚类算法和聚类阈值参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇。

在本申请实施例中，为了提高后续进行检索的效率，同时为了提高检索的准确度，可以利用图片质量参数和对象时空参数作为聚类阈值参数记性聚类。在获取由边缘设备200发送的特征摘要信息后，可以根据每个特征摘要信息对应的图片质量参数以及对象时空参数进行挑选，例如，图片质量参数包括对象的角度以及对象的图像质量，对象的角度可以是指对象的预设正视方向在图像中的角度，例如，对象为车辆时，车辆的正面车牌号所在的一侧可以是预设正视方向，对象为人员时，人员的正面所在的一侧可以是预设正视方向，对象的角度越小，则能够获取的信息越多。而对象的图像质量则可以是对象的清晰度、是否被遮挡、是否处于边缘位置等。

在获取了边缘设备200发出的多个特征摘要信息后，可以根据上述的图片质量参数对各个特征摘要信息进行筛选，以舍弃图片质量参数不符合要求的特征摘要信息，得到能够准确反映对象特征的有效特征摘要信息。在进行正式聚类之前，还可以进行特征融合，应当理解的是，前述基于图片质量参数对特征摘要信息进行筛选的过程，即可以发生在进行特征融合之前，也可以发生在特征融合之后。示例性的，可以先将获取多个未处理的特征摘要信息，按照预设数量进行特征融合，例如每五个特征摘要信息融合为一个特征摘要信息，在得到多个融合得到的特征摘要信息后，便可以利用前述图片质量参数作为评判依据的数据清洗方案，得到效果好的多个融合后的特征摘要信息。也可以先利用上述方案进行效果不好的特征摘要数据的筛选，然后将筛选出的效果好的特征摘要信息进行特征融合，得到多个鲁棒性好的融合后的特征摘要信息。

在进行聚类的过程中，对象时空参数可用是指对象当前所在的时间与地点，具体的，可以将预设时间范围内、预设地点范围采集到的本地视频数据提取得到的特征摘要信息进行聚类，因为越接近的时间和地点该对象为同一对象的概率较高，可行度强，因此采用时空参数作为聚类阈值参数，能够进一步提高在边缘设备200场景下对象特征的聚类效果。

应当理解的是，在前述方案中，出现的特征摘要信息以及对象参数，其数据形态并不相同，为了能够提高检索、存储的效率，可以分别设置特征数据库存储特征摘要信息，以及设置结构化数据存储对象参数，而二者之间的联系，则如前所描述的利用唯一标识实现，唯一标识同时存储在于特征数据库和结构化数据库中。应当理解的是，在本申请实施例中，检索的对象不论是人员、物品、还是宠物，其特征会随着时间的推移而改变，并非传统的图像数据检索那样一次采集可永久使用，不仅如此，即便仅存储特征摘要信息，相较于传统的存储视频数据的方式已经极大的节省了内存空间，但由于涉及对象的增多以及时间的推移，还是会达到内存极限，在本申请实施例中，提出了以下针对特征数据库和结构化数据库的更新方案。首先，可以设置特征数据库和结构化数据库的存储阈值，当某一数据库达到存储阈值的条件下，则开始按照时间顺序清理一部分存储的数据，例如清楚至今最久的一个月内的数据。还可以设置第一预设更新时间，第一预设更新时间可以较短，例如三个月，即每三个月对数据库进行更新，这样能够从细节上持续的更新捕捉对象的特征，同时，还可以设置第二预设更新时间，第二预设更新时间可以较长，例如一年，应当理解的是，在一年的时间范围内，采用第一预设更新时间可以实现特征的准确更新，但较长时间来看，对象可能会出现突发的改变，例如对象是车辆，车辆的主人可能会对车辆进行改装、涂装等，因此可以以较长的第二预设更新时间为基准，将特征数据库和结构化数据库存储的所有数据进行清楚，重新进行特征摘要特征以及对象参数的存储。除此之外，为了保证特征摘要信息的聚类效果，可以在收集到一定数量的特征摘要信息后暂不处理，而是等累积到预设的数量后才进行处理，次以达到延迟召回的目的。

请结合参阅图6，图6为本申请实施例提供的视频对象检索方法的另一种步骤流程示意图，该视频对象检索方法可以由图1中的边缘设备200执行实施，下面对该视频对象检索方法进行详细描述。

步骤S501，获取待处理本地视频数据，并存储待处理本地视频数据。

其中，待处理本地视频数据中包括待处理对象。

步骤S502，对待处理本地视频数据进行解析处理，得到待处理对象的特征摘要以及对象参数。

步骤S503，将特征摘要和对象参数发送至计算机设备100，以使计算机设备100将特征摘要和对象参数分别存储并作为待检索对象的检索依据。

在本申请实施例中，如前所描述的，边缘设备200负责进行对象的视频采集，边缘设备200在采集完成后，将视频存储为本地视频数据，同时对本地视频数据进行特征提取，提取方式也可以是采用人工智能神经网络的方式，以此得到特征摘要信息，并将对应的对象参数一并发送至计算机设备100。应当理解的是，边缘设备200采集的视频数据，而进行特征提取的是图像，在本申请实施例中，可以对采集的视频数据按每帧图像进行特征提取。

除了上述方案，本申请实施例还提供一种对涉及算法模型升级的维护方案，可以参开如下步骤。由于提取的特征摘要不可逆向为原始图像信息，特征提取算法升级前后的特征无法做相似度计算比较，进而无法做聚类与检索，考虑到用户对视频信息的检索需求绝大多数都集中在最近的一个特定时间区间内，且视频存储服务器的存储空间有限，设计双算法滑动升级的策略。即当需要升级时，为嵌入式边缘计算服务器及智能摄像机下发新的算法模型，在特征摘要提取阶段新旧模型同时计算，并携带模型版本上传到云端，特征数据库同时支持两个版本的数据入库及检索，当到达查询的时间窗口后再废弃旧的特征提取模型、删除旧版本的数据，完成平滑升级。

通过上述方案，使用神经网络算法对实时视频做检测和分析，提取视频中的对象特征，将不可逆的特征摘要信息和位置、时间信息(对象参数)上传到云端(计算机设备100)，降低带宽成本，云端根据特征摘要信息，对特征做比对和计算，为对象建立特征档案(特征数据库和结构化数据库)并存储，在检索时根据用户的输入数据，做特征相似度计算，找到对应的目标，再根据目标的位置与时间，按需获取边缘设备200本地存储的视频数据。从而达到降低成本、保护数据安全以及跨区域协同检索视频目标的目的。

本申请实施例提供一种视频对象检索装置110，应用于计算机设备100，计算机设备100与多个边缘设备200通信连接，边缘设备200存储有本地视频数据，计算机设备100存储有多个特征摘要信息，特征摘要信息与本地视频数据存在关联关系，如图7所示，视频对象检索装置110包括：

接收模块1101，用于接收待检索图像；待检索图像包括待检索对象。

提取模块1102，用于对待检索图像进行特征提取，得到待检索对象的待检索特征摘要信息。

检索模块1103，用于根据待检索特征摘要信息在多个特征摘要信息中进行特征摘要检索；当多个特征摘要信息中存在与待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据关联关系确定出目标本地视频数据。

显示模块1104，用于从目标边缘设备200中获取目标本地视频数据。

在一种可能的实施方式中，计算机设备100还存储有多个对象参数，对象参数和特征摘要信息一一对应，对象参数与对应的特征摘要信息由同一本地视频数据解析得到，并配置有唯一标识，对象参数包括对象时空参数；检索模块1103具体用于：

根据唯一标识，确定目标特征摘要信息对应的目标对象参数；根据目标对象参数包括的目标对象时空参数，确定出目标本地视频数据。

在一种可能的实施方式中，对象参数还包括设备信息和设备关联信息；显示模块1104具体用于：

根据目标对象参数包括的目标设备信息和目标设备关联信息，从多个边缘设备200中确定出至少一个目标边缘设备200；从至少一个目标边缘设备200中获取目标本地视频数据。

在一种可能的实施方式中，计算机设备100存储有多个特征摘要信息簇，特征摘要信息簇包括多个特征摘要信息，检索模块1103还用于：

计算每个特征摘要信息簇与待检索特征摘要信息的特征相似度；若存在目标特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则将目标特征摘要信息簇包括的多个特征摘要信息作为目标特征摘要信息；若不存在任何特征摘要信息簇与待检索特征摘要信息的特征相似度超过预设相似度阈值，则发出检索失败提醒。

在一种可能的实施方式中，接收模块1101还用于：

接收待处理对象的待处理特征摘要以及待处理对象参数；待处理特征摘要和待处理对象参数为边缘设备200对待处理本地视频数据进行解析处理后得到的，待处理本地视频数据包括待处理对象；根据待处理对象参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇；为待处理特征摘要信息簇以及待处理特征摘要信息簇对应的待处理对象参数配置唯一标识，并存储待处理特征摘要信息簇以及待处理对象参数。

在一种可能的实施方式中，对象参数包括图片质量参数和对象时空参数，接收模块1101具体用于：

将图片质量参数和对象时空参数作为聚类阈值参数；根据预设聚类算法和聚类阈值参数对待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇。

本申请实施例还提供一种视频对象检索装置110，应用于边缘设备200，边缘设备200与计算机设备100通信连接，视频对象检索装置110包括：

获取模块，用于获取待处理本地视频数据，并存储待处理本地视频数据；待处理本地视频数据中包括待处理对象；对待处理本地视频数据进行解析处理，得到待处理对象的特征摘要以及对象参数；

发送模块，用于将特征摘要和对象参数发送至计算机设备100，以使计算机设备100将特征摘要和对象参数分别存储并作为待检索对象的检索依据。

需要说明的是，前述视频对象检索装置110的实现原理可以参考前述视频对象检索方法的实现原理，在此不再赘述。应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，提取模块1102可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上提取模块1102的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的视频对象检索装置110。如图8所示，图8为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括视频对象检索装置110、存储器111、处理器112及通信单元113。

为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。视频对象检索装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器111中或固化在计算机设备100的操作系统(operating system，OS)中的软件功能模块。处理器112用于执行存储器111中存储的视频对象检索装置110，例如视频对象检索装置110所包括的软件功能。

本申请实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行前述至少一种可能的实施方式中的视频对象检索方法。

综上所述，采用本申请实施例提供的视频对象检索方法、装置、计算机设备及可读存储介质，不传输原始数据，传输的摘要信息是不可逆的，保证数据安全，同时只传输特征摘要信息，大幅降低带宽成本，并使用神经网络模型，使得目标检索准确率高，实现了云端与边缘协同方案，可跨区域收集和处理数据统一建立对象档案，覆盖更大规模的数据与检索需求，并且基础设施利旧改造成本低，在现有的相机与视频服务器基础上添加边缘处理设备即可完成边缘现场实施。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种视频对象检索方法，其特征在于，应用于计算机设备，所述计算机设备与多个边缘设备通信连接，所述边缘设备存储有本地视频数据，所述计算机设备存储有多个特征摘要信息，所述特征摘要信息与所述本地视频数据存在关联关系，其中，多个特征摘要信息是由多个边缘设备对本地视频数据进行特征提取处理后发送至计算机设备进行存储的；所述方法包括：

接收待检索图像；所述待检索图像包括待检索对象；

对所述待检索图像进行特征提取，得到所述待检索对象的待检索特征摘要信息；

根据所述待检索特征摘要信息在所述多个特征摘要信息中进行特征摘要检索；

当所述多个特征摘要信息中存在与所述待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据所述关联关系确定出目标本地视频数据；

从目标边缘设备中获取所述目标本地视频数据。

2.根据权利要求1所述的方法，其特征在于，所述计算机设备还存储有多个对象参数，所述对象参数和所述特征摘要信息一一对应，所述对象参数与对应的所述特征摘要信息由同一本地视频数据解析得到，并配置有唯一标识，所述对象参数包括对象时空参数；

所述根据所述关联关系确定出目标本地视频数据，包括：

根据所述唯一标识，确定所述目标特征摘要信息对应的目标对象参数；

根据所述目标对象参数包括的目标对象时空参数，确定出目标本地视频数据。

3.根据权利要求2所述的方法，其特征在于，所述对象参数还包括设备信息和设备关联信息；

所述从目标边缘设备中获取所述目标本地视频数据，包括：

根据所述目标对象参数包括的目标设备信息和目标设备关联信息，从所述多个边缘设备中确定出至少一个所述目标边缘设备；

从至少一个所述目标边缘设备中获取所述目标本地视频数据。

4.根据权利要求1所述的方法，其特征在于，所述计算机设备存储有多个特征摘要信息簇，所述特征摘要信息簇包括多个所述特征摘要信息，判断所述多个特征摘要信息中是否存在与所述待检索特征摘要信息匹配的目标特征摘要信息的步骤，包括：

计算每个所述特征摘要信息簇与所述待检索特征摘要信息的特征相似度；

若存在目标特征摘要信息簇与所述待检索特征摘要信息的特征相似度超过预设相似度阈值，则将所述目标特征摘要信息簇包括的多个所述特征摘要信息作为所述目标特征摘要信息；

若不存在任何特征摘要信息簇与所述待检索特征摘要信息的特征相似度超过预设相似度阈值，则发出检索失败提醒。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收待处理对象的待处理特征摘要以及待处理对象参数；所述待处理特征摘要和所述待处理对象参数为所述边缘设备对待处理本地视频数据进行解析处理后得到的，所述待处理本地视频数据包括所述待处理对象；

根据所述待处理对象参数对所述待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇；

为所述待处理特征摘要信息簇以及所述待处理特征摘要信息簇对应的待处理对象参数配置唯一标识，并存储所述待处理特征摘要信息簇以及所述待处理对象参数。

6.根据权利要求5所述的方法，其特征在于，所述对象参数包括图片质量参数和对象时空参数，所述根据所述待处理对象参数对所述待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇，包括：

将所述图片质量参数和所述对象时空参数作为聚类阈值参数；

根据预设聚类算法和所述聚类阈值参数对所述待处理特征摘要进行聚类操作，得到待处理特征摘要信息簇。

7.一种视频对象检索装置，其特征在于，应用于计算机设备，所述计算机设备与多个边缘设备通信连接，所述边缘设备存储有本地视频数据，所述计算机设备存储有多个特征摘要信息，所述特征摘要信息与所述本地视频数据存在关联关系，其中，多个特征摘要信息是由多个边缘设备对本地视频数据进行特征提取处理后发送至计算机设备进行存储的；所述装置包括：

接收模块，用于接收待检索图像；所述待检索图像包括待检索对象；

提取模块，用于对所述待检索图像进行特征提取，得到所述待检索对象的待检索特征摘要信息；

检索模块，用于根据所述待检索特征摘要信息在所述多个特征摘要信息中进行特征摘要检索；当所述多个特征摘要信息中存在与所述待检索特征摘要信息匹配的目标特征摘要信息的条件下，根据所述关联关系确定出目标本地视频数据；

显示模块，用于从目标边缘设备中获取所述目标本地视频数据。

8.一种计算机设备，其特征在于，所述计算机设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述计算机设备执行权利要求1-6中任意一项所述的视频对象检索方法。

9.一种可读存储介质，其特征在于，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备执行权利要求1-6中任意一项所述的视频对象检索方法。

Images