CN113515665A - 视频处理与信息查询方法、设备、系统及存储介质 - Google Patents

Abstract

本申请实施例提供一种视频处理与信息查询方法、设备、系统及存储介质。在本申请实施例中，按照对象类别对视频数据中出现的各类对象进行结构化处理，得到各类对象的结构化数据，并结合结构化数据中包括的对象的特征向量，对结构化数据进行过滤，可将被误识别对象的结构化数据滤除，以提升结构化数据的准确性，为后续基于结构化数据的搜索、以图搜图、轨迹追踪等操作提供准确的数据基础，提高后续操作的准确性和有效性。

Description

视频处理与信息查询方法、设备、系统及存储介质

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频处理与信息查询方法、设备、系统及存储介质。

背景技术

在视频场景中，视频存储量不断增大，这给视频查找和视频监控带来巨大挑战频，于是出现了视频结构化技术。视频结构化是一种基于神经网络模型将视频数据中的目标进行结构化提取的技术，相对于原始视频，结构化数据不仅可节约存储空间，而且可极大提升查找和排查效率。

但是，由于神经网络模型本身的泛化局限性，即模型对它未曾“见过”的视频数据无法很好地拟合，导致在日常应用中会产生大量误识别的结构化数据。譬如，移动的垃圾桶、与人等高的植物或者是路边的岗哨亭等，都容易被模型误识别为行人。

现有技术中，通常会搜集新场景中的大量视频数据，并以此作为训练样本重新训练模型，尝试从丰富训练样本和模型能力方面解决问题。但是，重新训练模型可能会引入不确定性，并且对未知属性的视频数据仍存在局限性，并不能从根本上解决问题。

发明内容

本申请的多个方面提供一种视频处理与信息查询方法、设备、系统及存储介质，用以提高视频结构化处理的准确性，提高基于结构化数据的查找和排查效率。

本申请实施例提供一种视频处理方法，包括：接收客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象

本申请实施例还提供一种数据过滤方法，包括：接收视频处理设备输出的至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；将所述目标类别下未被滤除的结构化数据输出至与所述视频处理设备对应的存储系统进行存储；其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

本申请实施例还提供一种视频处理方法，包括：接收视频采集设备上传的指定环境空间中的监控视频，所述视频采集设备安装于指定环境空间中；对所述监控视频进行结构化处理，得到至少一种对象类别下的结构化数据，每个结构化数据对应其所属对象类别下的一个对象，且包括该对象的特征向量；针对目标对象类别，基于所述目标对象类别下结构化数据中包括的对象的特征向量，将所述目标对象类别下对应误识别对象的结构化数据滤除；其中，所述目标对象类别为所述至少一种对象类别中的任一对象类别，所述误识别对象是指所述监控视频中被错误识别为所述目标对象类别的对象。

本申请实施例还提供一种视频处理方法，包括：将视频数据上传至视频处理设备，以请求对所述视频数据进行结构化处理，所述视频数据中包括至少一种类别的对象；接收所述视频处理设备返回的至少一种类别下未过滤的结构化数据和根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据；对应显示所述至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知所述至少一种类别下被误识别的对象。

本申请实施例还提供一种信息查询方法，包括：发送第一查询请求，以请求查询第一对象的信息，所述第一对象属于目标类别；接收根据所述第一查询请求返回的第一信息，所述第一信息是从所述目标类别下尚未过滤的结构化数据中查询得到的；在确定所述第一信息不属于第一对象的情况下，发送第二查询请求，以请求重新查询第一对象的信息；接收根据所述第二查询请求返回的第二信息，并将所述第二信息作为所述第一对象的信息进行显示，所述第二信息是从所述目标类别下根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据中查询得到的。

本申请实施例还提供一种数据处理设备，包括：处理器以及存储有计算机程序的存储器；所述处理器，用于执行所述计算机程序，以用于：接收客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

本申请实施例还提供一种数据处理系统，包括：客户端、视频处理设备和存储系统；其中，所述客户端用于提供视频数据，所述视频处理设备用于对所述客户端提供的视频数据进行结构化处理，生成结构化数据，并将所述结构化数据存储至所述存储系统中；所述视频处理设备在对视频数据进行结构化处理时，用于：

接收所述客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；其中，所述目标对象类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

在本申请实施例中，按照对象类别对视频数据中出现的各类对象进行结构化处理，得到各类对象的结构化数据，并结合结构化数据中包括的对象的特征向量，对结构化数据进行过滤，可将被误识别对象的结构化数据滤除，以提升结构化数据的准确性，为后续基于结构化数据的搜索、以图搜图、轨迹追踪等操作提供准确的数据基础，提高后续操作的准确性和有效性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请实施例提供的一种视频处理系统的结构示意图；

图1b为本申请实施例提供的另一种视频处理系统的结构示意图；

图2为本申请实施例提供的又一种视频处理系统的结构示意图；

图3a为本申请实施例提供的一种视频处理方法的流程图；

图3b为本申请实施例提供的一种数据过滤方法的流程图；

图3c为本申请实施例提供的另一种视频处理方法的流程图；

图3d为本申请实施例提供的一种信息查询方法的流程图；

图4为本申请实施例提供的一种数据处理设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种视频处理系统，如图1a所示，该视频处理系统包括：客户端10、视频处理设备20以及存储系统30。客户端10与视频处理设备20之间，以及视频处理设备20与存储系统30之间，可以以有线或无线方式通信连接。

在本实施例中，客户端10负责提供视频数据，可以是用于存储视频数据的存储设备，也可以是对视频数据进行处理的视频服务器，还可以是能够采集视频数据的视频采集终端，例如摄像头、电子眼等。在物理实现上，视频处理设备20可以是常规服务器、云服务器、虚拟机或服务器阵列等。视频处理设备20可面向客户端10提供视频结构化服务，负责对客户端10提供的视频数据进行结构化处理。如图1a中①所示，客户端10可以向视频处理设备20上传视频数据，视频处理设备20可接收客户端10上传的视频数据。

在本实施例中，对能够出现在视频数据中的对象进行了分类，分类标准和分类粒度不做限定。举例说明，可以将对象划分为行人、车辆、动物和植物等。进一步，还可以将行人划分为孩子、老人和成年人，或者，进一步将行人划分为男性行人和女性行人，等等。对车辆而言，还可以根据车辆的类型、品牌或厂商等信息做进一步分类。也就是说，客户端10提供的视频数据中包括至少一种类别的对象。基于此，如图1a中②所示，视频处理设备20在接收到客户端10上传的视频数据后，可对视频数据进行结构化处理，从而得到至少一种类别下的结构化数据。在本实施例中，视频处理设备20可以采用基于人工智能(AI)的视频算法对视频数据进行结构化处理，基于AI的视频算法可以是基于神经网络的视频算法，其中，所采用的神经网络可以是但不限于：RNN、CNN、STLM等。在本实施例中，基于AI的视频算法可以对至少一种类别的对象进行结构化处理，该视频算法具体支持哪些对象类别可在训练过程中根据应用需求设定。例如，可以预先训练一种可对行人进行结构化处理的视频算法，也可以预先训练一种可对车辆进行结构化处理的视频算法，还可以训练一种同时可以对行人和车辆进行结构化处理的视频算法，等等。

其中，对视频数据进行结构化处理主要是指形成视频数据中包含的至少一种类别下各对象的结构化数据的过程，该过程包括：视频解码、目标检测和目标跟踪以及结构化等处理。详细地，视频处理设备20在接收到客户端10上传的视频数据后，如果视频数据是经过编码的，则先对视频数据进行解码，然后对解码后的视频数据进行目标检测，得到至少一种类别下的对象；之后，针对每种类别下的每个对象，在视频数据中跟踪包含该对象的视频帧并跟踪该对象在视频帧中的位置等信息；进一步，结合该对象在视频帧的位置信息对该视频帧进行结构化处理，得到该对象的结构化数据。其中，视频处理设备20得到的每个结构化数据带有类别属性，且对应其所属类别下的一个对象，且包括该对象的特征向量，对象的特征向量是对该对象的特征进行向量化的结果。在本申请实施例中，每个对象的结构化数据中除了包括该对象的特征向量之外，还可以包括从对象所在视频帧中提取到的该对象的属性信息。其中，根据对象类型的不同，对象的属性信息也会不同。以人为例，对象的属性信息包括该对象所属的类别信息(如行人)、在视频中出现的时间、位置以及对象自身的属性，例如是否戴帽子、衣服颜色、身高、年龄等。以车辆为例，对象的属性信息包括该对象所属的类别(如车辆)、在视频中出现的时间、位置以及对象自身的属性，例如车辆的颜色、大小、车型、车牌号码等。

在对视频数据进行结构化处理的过程中，可能会因为算法的泛化局限性和精度等问题错误地将一个类别下的对象错误地识别成另一类别下的对象，这样最终得到的结构化数据中就会存在错误的结构化数据，例如，在对交通监控视频中的行人进行结构化的过程中，可能错误地将与行人等高、外观轮廓相似的其他物体例如垃圾桶、岗哨亭、树或者其他移动物体识别为行人，那么在结构化处理所得到的行人的结构化数据中就会存在一些实际上并非行人的结构化数据。然而，随着视频结构化技术的发展，像安全、文旅、健康、交通等城市大脑中的很多应用，都需要对海量视频中的行人、车辆等对象做实时的结构化处理，并在结构化数据的基础上进行搜索、以图搜图、轨迹追踪等操作。由此可见，结构化数据的精度直接影响了搜索、以图搜索、轨迹追踪等依赖结构化数据的后续操作的准确性和有效性。

鉴于上述问题，在本实施例中，在得到至少一种类别下的结构化数据之后，还可以根据应用需求对至少一种类别中任一类别的结构化数据进行过滤处理，如图1a中②所示。为了便于描述和区分，将需要进行过滤处理的对象类别称为目标类别，该目标类别可以是至少一种类别中的任一类别。针对目标类别，视频处理设备20可基于目标类别下各对象的结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除，以得到目标类别下准确地的结构化数据；其中，误识别对象是将其他类别的对象识别为目标类别的对象。例如，以行人类别为例，则被误识别为行人的垃圾桶、岗哨亭或树等即为误识别对象，可以将这些误识别对象的结构化数据从行人类别的结构化数据中滤除，从而得到精度较高的行人的结构化数据，有利于后续基于行人的结构化数据的搜索、以图搜索或轨迹追踪等操作的准确性和有效性。

可选地，如图1a中③所示，在将对应误识别对象的结构化数据滤除之后，视频处理设备20可将目标类别下未被滤除的结构化数据输出至存储系统30中进行存储，为后续基于结构化数据的搜索、以图搜图以及轨迹追踪等操作提供数据基础。例如，如图1a中④所示，客户端10可以向存储系统30发送查询请求，查询请求中可包括目标对象的标识信息，以车辆为例，目标对象的标识信息可以是车牌号；以人为例，目标对象的标识信息可以是对象的头像或照片等。当然，目标对象的标识信息也可以是对包含目标对象的视频数据进行结构化处理得到的目标对象的结构化数据。进一步，如图1a中⑤和⑥所示，存储系统30根据目标对象的标识信息可以从存储的结构化数据中查询与目标对象的标识对应的结构化数据，并在查询到的情况下向客户端10返回查询结果。在实现形式上，不限定存储系统30向客户端10返回的内容，例如，可以返回将结构化数据转换为目标对象的照片，也可以直接返回目标对象对应的结构化数据。需要说明的是，客户端10可以直接向存储系统30发起查询请求，也可以向视频处理设备20发起查询请求，由视频处理设备20从存储系统30中进行查询。当然，除了客户端10可以向存储系统30或视频处理设备20发起查询请求之外，其它具有查询权限的设备也可以根据查询需求向存储系统30或视频处理设备20发起查询请求，在图1a中未示出。

进一步可选地，视频处理设备20还可以将目标类别下未被滤除的结构化数据和目标类别下滤除之前的结构化数据对应输出至存储系统中进行存储。这样，在需要查询目标类别下滤除之前的结构化数据的情况下，可以从存储系统30中存储的目标类别下滤除之前的结构化数据中进行查询；或者，在需要对滤除前后目标类别下的结构化数据进行比对的情况下，可以从存储系统30中获取目标类别下未被滤除的结构化数据和目标类别下滤除之前的结构化数据并将两者进行比对；或者，在需要查看目标类别下对应误识别对象的结构化数据的情况下，可以从存储系统30中获取目标类别下未被滤除的结构化数据和目标类别下滤除之前的结构化数据，通过比对可得到目标类别下被滤除的结构化数据，也就是目标类别下对应误识别对象的结构化数据。

进一步可选地，视频处理设备20在识别出目标类别下对应误识别对象的结构化数据之后，还可以对目标类别下对应误识别对象的结构化数据进行标记，并对应输出目标类别下带有标记和未带有标记的结构化数据。例如，可以对应显示目标类别下带有标记和未带有标记的结构化数据。其中，带有标记的结构化数据是被标记过的对应误识别对象的结构化数据；反之，未带有标记的结构化数据是指目标类别下被正确识别的结构化数据。通过对目标类别下对应误识别对象的结构化数据进行标记，可方便、直观地了解目标类别下被误识别的结构化数据。

进一步可选地，视频处理设备20在得到至少一种类别下未过滤和过滤后的结构化数据之后，也可以向客户端10返回至少一种类别下未过滤的和过滤后的结构化数据；客户端10接收视频处理设备20返回的至少一种类别下未过滤的和过滤后的结构化数据，如图1a中的⑦所示；并对应显示至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知至少一种类别下被误识别的对象，如图1a中的⑧所示。

在本实施例中，客户端10是指可以提供视频数据，且需要视频处理设备20提供视频结构化服务的一端，且对客户端10的实现形态不做限定。在一可选实施例中，客户端可实现为安装于指定环境空间中的视频采集设备40，负责采集指定环境空间中的监控视频，监控视频中可能包括至少一种类别的对象。其中，根据指定环境空间的不同，监控视频中的对象以及对象类别也会不同。例如，以商场为例，监控视频中的对象可能包括购物的消费者、货架、收银台等；以交通空间为例，监控视频中的对象可能包括车辆、行人、路标、路边的垃圾桶等。图1b以指定环境空间为交通空间为例，如图1b中①所示，视频采集设备40为安装在交通路口的监控摄像头，可以采集过往车辆和行人的监控视频。视频采集设备40采集到监控视频后，可上传至视频处理设备20。

进一步，如图1b中②所示，视频处理设备20在接收到视频采集设备40上传的交通空间中的监控视频后，可对监控视频进行结构化处理，得到至少一种对象类别下的结构化数据。其中，每个结构化数据对应其所属对象类别下的一个对象，且包括该对象的特征向量。考虑到结构化处理过程中，可能会将一种类别的对象错误地识别成另一种类别的对象，也就意味着某一类别下的结构化数据中可能存在被误识别为该类对象的结构化数据。因此，在得到至少一种类别下的结构化数据之后，还可以根据需要对至少一种类别中任一类别的结构化数据进行过滤处理，如图1b中②所示。具体地，针对目标类别，视频处理设备20可基于目标对象类别下结构化数据中包括的对象的特征向量，将目标对象类别下对应误识别对象的结构化数据滤除；其中，目标对象类别为至少一种对象类别中的任一对象类别，误识别对象是指将监控视频中其他类别的对象错误识别为目标对象类别的对象。进一步地，如图1b中③所示，视频处理设备20可将目标对象类别下未被滤除的结构化数据输出至存储系统30中进行存储，为后续基于结构化数据的搜索、以图搜图以及轨迹追踪等操作提供数据基础。或者，也可以将目标类别下未被滤除的结构化数据和目标类别下滤除之前的结构化数据对应输出至存储系统中进行存储；或者，也可以对目标类别下对应误识别对象的结构化数据进行标记，并对应输出目标类别下带有标记和未带有标记的结构化数据。

在本实施例中，并不对指定环境空间进行限定，例如可以是但不限于：公共交通车辆的内部空间，或者办公园区，或者城市道路交通空间，或者自助商超空间以及校园空间等，下面结合具体的场景示例对本申请实施例的工作原理进行说明。

场景示例1：在公共交通车辆中，为了乘客的人身和财物安全，可以在车门处以及车厢中视角方便的地方安装监控摄像头。在乘客上下车过程中，安装在车门处的监控摄像头可采集乘客上下车的视频信息，司机可根据监控视频查看乘客上下车的状态，避免提前开门或关门造成乘客安全事故。另一方面，车厢中的监控摄像头也可以实时记录乘客在乘车过程中的视频信息，并将记录的视频数据上传至视频处理设备，视频处理设备在对监控摄像上传的监控视频进行结构化处理以及过滤后可将目标结构化数据存储至存储系统中。在公共交通车辆中有盗窃或意外事件发生的情况下，可以向视频处理设备发送查询请求，查询请求中可以携带公共交通车辆的信息以及日期信息，视频处理设备根据公共交通车辆的信息和日期信息，从存储系统中调取在日期信息标识的日期内在该公共交通车辆上拍摄的视频数据中各对象的结构化数据，并根据这些结构化数据对应的监控视频查找盗窃嫌疑犯或分析意外原因等。

场景示例2：在办公园区中，为了保护园区环境、园区中内办公人员以及财物的安全，可以在办公园区内的绿植区四周以及园区和办公楼出入口安装监控摄像头，监控摄像头可对园区内的行人以及车辆进行视频采集，并将采集到的监控视频发送至视频处理设备。视频处理设备在对监控摄像上传的监控视频进行结构化处理以及过滤后可将目标结构化数据存储至存储系统中。当保安或其他监管人员发现有人破坏园区环境，或者有盗窃、抢劫等事件发生时，可以向视频处理设备发送查询请求，查询请求中可以携带园区的位置信息以及日期信息，视频处理设备根据园区的位置信息和日期信息，从存储系统中调取在日期信息标识的日期内在该园区拍摄的视频数据中各对象的结构化数据，并根据这些结构化数据对应的监控视频查找盗窃、抢劫或破坏环境的人。由于园区内有多个监控摄像头，在向存储系统发送数据存储系统查询请求时，还可以指定监控摄像头的标识信息，以用于快速获取目标视频，查找破坏环境或盗窃、抢劫的人。

场景示例3：在城市道路交通空间中，为了车辆有序行驶，避免出现交通事故，可在道路两旁或交通岗处安装监控摄像头或电子眼。摄像头或电子眼可实时拍摄过往车辆的行驶视频，并将拍摄到的视频发送至视频处理设备。视频处理设备在对监控摄像或电子眼上传的监控视频进行结构化处理以及过滤后可将目标结构化数据存储至存储系统中。当某路口有交通事故发生涉及到追责或查找肇事逃逸车辆时，交通监管人员可通过管理设备向存储系统发送查询请求，查询请求中可以携带发生事故的位置信息以及事故发生的时间信息，视频处理设备根据发生事故的位置信息和时间信息，从存储系统中调取在事故发生时间并在该位置拍摄的视频数据中各对象的结构化数据，根据这些结构化数据对应的监控视频可以查找肇事车辆，以分析发事故的原因。若肇事车辆逃逸，还可以在根据在事故发生时间后拍摄到该车辆的视频数据对应的结构化数据中，分析肇事车辆的逃逸路线，以用于追捕肇事逃逸者。

本申请实施例还提供另一种视频处理系统，如图2所示，该视频处理系统包括：客户端10、视频处理设备20、视频过滤设备40以及存储系统30。客户端10与视频处理设备20之间，以及视频处理设备20与视频过滤设备40、存储系统30之间，可以以有线或无线方式通信连接。

在该视频处理系统中，客户端10负责提供视频数据，可以是用于存储视频数据的存储设备，也可以是能够采集视频数据的视频采集终端，例如摄像头、电子眼等。视频处理设备20可面向客户端10提供视频结构化服务，负责对客户端10提供的视频数据进行结构化处理。在物理实现上，视频处理设备20可以是常规服务器、云服务器、虚拟机或服务器阵列等。如图2中①所示，客户端10可将视频数据上传至视频处理设备20，该视频数据中包括至少一种类别的对象。

进一步，如图2中②所示，视频处理设备20负责对视频数据进行结构化处理，得到至少一种类别的结构化数据。关于结构化处理的详细过程可参见前述实施例，在此不再赘述。由于在结构化数据处理过程中，可能会因为算法的泛化局限性和精度等问题错误地将一个类别下的对象识别成另一类别下的对象，这样最终得到的结构化数据中就会存在错误的结构化数据，影响结构化数据的精度。因此，在生成结构化数据的情况下，可以对结构化数据进行过滤，将误识别的对象类别对应的结构化数据进行滤除，提升识别结果的准确性。故在本实施例的系统中，增设了视频过滤设备22，负责对结构化数据进行过滤，在物理实现上，视频过滤设备22可以是常规服务器、云服务器、虚拟机或服务器阵列，不做限定。

进一步，如图2中③所示，视频处理设备20在得到至少一种类别的结构化数据之后，可将至少一种类别的结构化数据发送至视频过滤设备22，视频过滤设备22接收视频处理设备21输出的至少一种类别下的结构化数据。其中，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量。进一步，如图2中④所示，对于目标类别，视频过滤设备22可基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除，其中，目标类别为至少一种类别中的任一类别，误识别对象是指视频数据中被错误识别为目标类别的对象。

进一步，如图2中⑤所示，视频过滤设备22可将目标类别下未被滤除的结构化数据输出至与视频处理设备20对应的存储系统30进行存储，为后续基于结构化数据的搜索、以图搜图以及轨迹追踪等操作提供数据基础。如图2中⑥、⑦、⑧所示，在需要获取结构化数据时，客户端10可向存储系统30发送查询请求，在查询请求中可包括目标类别对象标识或属性信息，存储系统30根据这些信息可查询存储的结构化数，并将查询到的结果返回给客户端10。由于存储系统30中存储的是经过视频过滤设备22滤除误识别对象后的结构化数据，因此，客户端10获得的结果准确度更高。

进一步可选地，视频过滤设备22也可以将目标类别下未被滤除的结构化数据和目标类别下滤除之前的结构化数据对应输出至存储系统中进行存储；或者，也可以对目标类别下对应误识别对象的结构化数据进行标记，并对应输出目标类别下带有标记和未带有标记的结构化数据。

进一步可选地，视频过滤设备22在得到至少一种类别下未过滤和过滤后的结构化数据之后，也可以向客户端10返回至少一种类别下未过滤的和过滤后的结构化数据；客户端10接收视频过滤设备22返回的至少一种类别下未过滤的和过滤后的结构化数据，如图2中的

所示；并对应显示至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知至少一种类别下被误识别的对象，如图2中的

所示。

如图2所示，在本申请实施例中，视频处理系统还可以包括查询端40，查询端40可以是能够采集视频的视频采集设备，也可以是基于视频信息进行其他处理操作的终端设备。在一些实施例中，由于拍摄角度的问题，采集到的视频可能与目标视频有一定的差距，若查询端40是对视频信息进行处理的终端设备，基于这些不完善的视频信息进行处理，得到的结果可能不准确。因此，在查询端40需要获取详细视频信息的情况下，如图2中⑨所示，查询端40可向视频处理设备20发送待查询的视频数据。进一步，如图2中②所示，视频处理设备20可对查询端40发送的视频数据进行结构化处理，得到待查询对象的结构化数据。为了获取更详细的视频信息，如图2中⑩所示，视频处理设备20可根据待查询对象的结构化数据向存储系统30进行查询操作，获取与待查询的结构化数据相似度最高的结构化数据，从该结构化数据中获取待查询对象更为丰富的信息，完善待查寻对象的结构化数据，并如图2中

所示，把完善后的结构化数据返回给查询端40，以用于查询端40执行相应的处理。例如，某视频数据为一辆车的侧面图像，该图像中没有拍到该车辆的车牌号码，查询端40可将该视频数据发送至视频处理设备20，通过视频处理设备20对该视频数据进行结构化处理和查询，可以获得已经存储的与该视频数据中车辆对应的结构化数据，从中获取该车辆的车牌号码信息。

在上述实施例中，在查询端40、客户端10或者视频处理设备20发起查询请求的情况下，直接在过滤后的结构化数据中进行查询并返回准确度较高的查询结果。除此之外，在查询端40、客户端10或者视频处理设备20第一次发起查询请求的情况下，可以在未过滤的结构化数据中进行查询并返回第一次查询结果；若第一次查询结果不满足要求，查询端40、客户端10或者视频处理设备20还可以发起第二次查询请求，此时，可在过滤后的结构化数据中进行二次查询并返回第二次查询结果，提高查询结果的准确性。其中，可以预先得到过滤后的结构化数据，也可以在接收到第二次查询请求之后，实时地根据第二次查询请求，根据未过滤的结构化数据中包含的对象的特征向量，对未过滤的结构化数据进行过滤，从而得到过滤后的结构化数据。

在本申请上述各实施例中，并不限定视频处理设备20或视频过滤设备22在基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除的实现。下面举例说明：

在一可选实施例中，视频处理设备20或视频过滤设备22可以根据目标类别下各结构化数据中包括的对象的特征向量，获取目标类别下对象的中心向量；根据中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象，以及将目标类别下对应误识别对象的结构化数据滤除。其中，中心向量是衡量每个对象与目标类别对象相似程度的特征向量，可记为X₁。

在本申请实施例中，不限定确定中心向量X₁的方式。在一种可选实施例中，可以通过计算目标类别下各结构化数据中包括的对象的特征向量的均值，将得到的均值向量作为中心向量X₁。例如，将目标类别下的结构化数据作为第一样本集合S1，假设第一样本集合S1中的结构化数据个数为n，即识别到有n个对象，每个对象的特征向量记为F_i，则中心向量X₁可表示为：

其中，特征向量F_i可以为256维或512维的浮点数数组，也可以根据需求选择其他维以及其他数据类型，在此不做限定。在得到中心向量X₁的情况下，即可通过计算第一样本集合S1中每个对象的特征向量F_i与中心向量X₁的距离，该距离用于衡量每个对象与目标类别对象的相似程度，根据这些距离识别出目标类别下的误识别对象，进而对误识别对象对应的结构化数据进行滤除。

在另一可选实施例中，为了使过滤后的结果更加准确，可以通过计算目标类别下各结构化数据中包括的对象的特征向量的均值，得到均值向量；根据目标类别下各结构化数据中包括的对象的特征向量与该均值向量的距离，选择最靠近该均值向量的前N个对象的特征向量；计算前N个对象的特征向量的均值，作为目标类别下对象的中心向量；其中，N是大于等于2的整数。例如，将目标类别下的结构化数据作为第一样本集合S1，假设第一样本集合S1中的结构化数据个数为n，即识别到有n个对象，每个对象的特征向量记为F_i，则均值向量X₀可表示为：

基于均值向量X₀获取特征向量F_i接近均值向量X₀的部分对象作为第二样本集合S2，例如选择与均值向量X₀的距离最近的N个对象的特征向量F_i形成第二样本集合S2；之后，计算第二样本集合S2中对象的特征向量的均值，得到中心向量X₁。在得到中心向量X₁的情况下，即可通过计算第一样本集合S1中每个对象的特征向量与中心向量X₁的距离，根据这些距离识别出目标类别下的误识别对象，进而对误识别对象对应的结构化数据进行滤除。

在本实施例中，不限定各结构化数据中包括的对象的特征向量与均值向量X₀的距离的实现方式，例如，可以是欧式距离或余弦距离等。进一步，也不限定N的取值标准，例如，可以根据第一样本集合S1中对象的个数适当取值，假设根据每个对象的特征向量与均值向量X₀的距离按照由大到小排序，从排序结果中取前70％或80％的特征向量形成第二样本集合S2。

在对误识别对象对应的结构化数据进行滤除时，可以设定对象的特征向量与中心向量X₁的第一距离阈值，通过计算各结构化数据中包括的对象的特征向量与中心向量X₁的距离，并将与中心向量X₁的距离大于第一距离阈值的对象作为目标类别下的误识别对象；进而将误识别对象对应的结构化数据进行滤除。

进一步可选的，还可以针对目标类别维护一对象集合Sn，该对象集合Sn用于存储目标类别下被误识别的对象的特征向量。基于此，在识别出与中心向量X₁的距离大于第一距离阈值的误识别对象后，还可以将误识别对象加入对象集合Sn中，作为进一步对与中心向量X₁的距离小于或等于第一距离阈值的对象进行二次滤除的样本集合。可选地，可以直接将识别出与中心向量X₁的距离大于第一距离阈值的误识别对象加入对象集合Sn中。或者，在将识别出与中心向量X₁的距离大于第一距离阈值的误识别对象加入对象集合Sn中时，可以根据误识别对象的特征向量，计算误识别对象与对象集合Sn中各对象的相似度，若误识别对象与对象集合Sn中各对象的相似度均小于相似度阈值，则将该误识别对象加入对象集合Sn中；反之，丢弃该误识别对象。在本实施例中，不限定相似度阈值的大小，根据识别精度可适当调整该相似度阈值。例如，若识别精度较低，只需识别出具有显著特征的对象，则该相似度阈值可以取相对较大的值，例如0.7或0.8，以减少对象集合Sn的冗余数据；若识别精度较高，需要识别出具有细微特征难以识别的对象，则该相似度阈值可以取相对较小的值，例如0.4或0.5，以丰富对象集合Sn的负样本数量，为进一步过滤误识别对象提供基础。

进一步可选地，为了降低一次过滤后仍然存在误识别对象的概率，可对一次过滤后的结构化数据进行二次过滤。即针对特征向量与中心向量X₁的距离小于或等于第一距离阈值的对象，计算该对象的特征向量与对象集合Sn中各对象的特征向量的距离；若该对象的特征向量与对象集合Sn中各对象的特征向量的距离中存在小于第二距离阈值的距离，说明对象集合Sn中存在与该对象相似的误识别对象，这反映出该对象很大程度上也是误识别对象，只是在第一次过滤中未被识别出来，故将该对象作为目标类别下的误识别对象。经过上述两次过滤后，剩余的结构化数据基本上就都是目标类别下的对象的结构化数据了，使得在后续基于结构化数据进行数据搜索，以图搜图以及轨迹追踪等操作的结果更加准确。

在上述实施例中，第一距离阈值和第二距离阈值用于衡量各结构化数据中包括的对象与目标对象的相似程度，在此并不限定第一距离阈值和第二距离阈值的取值方式，可根据目标对象的类别的不同而进行具体设定，并且，第一距离阈值和第二距离阈值可以相同也可以不同，在保证过滤精确度的基础上，可以根据具体需求灵活调整。

在本申请实施例中，可以根据视频数据中的对象类别以及对象的特征进行特征提取，生成与对象类别对应的结构化数据，以及从中识别出目标类别下的结构化数据。针对在识别过程中存在误识别的情况，本申请实施例可通过计算各结构化数据中包含的对象的特征向量与目标类别下对象的特征向量的距离，衡量所识别的对象与目标对象的相似度，对不满足相似度条件的对象对应的结构化数据进行滤除，提升识别结果的准确性。并且，为了减少在过滤过程中有遗漏的误识别对象对目标类别下结构化数据造成影响。还可以基于包含误识别对象的对象集合对已经过滤一次的结构化数据进行二次过滤，进一步提升目标结构化数据的准确性，为后续基于目标类别结构化数据的搜索和轨迹追踪等操作提供准确的数据基础。

针对上述图1a和图1b系统实施例，本申请还提供了一种视频处理方法，图3a为视频处理方法的流程图。如图3a所示，方法包括：

S1a、接收客户端上传的视频数据，视频数据中包括至少一种类别的对象。

S2a、对视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量。

S3a、针对目标类别，基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除。

其中，目标类别为至少一种类别中的任一类别，误识别对象是指视频数据中被错误识别为目标类别的对象。

在本申请实施例中，客户端上传的视频数据中包含有至少一种类别的对象，因此，可对视频数据中至少一种类别的对象进行分类以及对每种类别的对象进行结构化处理，生成包含对象特征向量的结构化数据。进一步，可从至少一种类别下的结构化数据中识别出目标类别下的结构化数据，并且，基于目标类别下结构化数据中包括的对象的特征向量，可将识别目标类别过程中误识别对象的结构化数据滤除，以提升识别结果的准确性。在一可选实施例中，可将未被滤除的结构化数据输出至存储系统中进行存储，为后续基于结构化数据的操作提供数据基础。

针对上述图1a和图1b系统实施例，本申请还提供了一种数据过滤方法，图3b为数据过滤理方法的流程图。如图3b所示，方法包括：

S1b、接收视频处理设备输出的至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量。

S2b、针对目标类别，基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除。

S3b、将目标类别下未被滤除的结构化数据输出至与视频处理设备对应的存储系统进行存储。

其中，所述目标对象类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

在本申请实施例中，视频处理设备提供的结构化数据中包含多种类别的对象及其特征向量，因此可以从结构化数据中识别出目标类别下的结构化数据。并且，基于目标类别下结构化数据中包括的对象的特征向量，可将识别目标类别过程中误识别对象的结构化数据滤除，提升识别结果的准确性；以及将未滤除的结构化出去存储至存储系统，可为后续基于结构化数据的操作提供数据基础。

可选地，上述方法实施例中，在基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除时，可以从目标类别下各结构化数据中包括的对象的特征向量，获取目标类别下对象的中心向量，该中心向量可用于衡量每个对象与目标类别下对象相似程度的特征向量。进而，根据中心向量和各结构化数据中包括的对象的特征向量，可识别出目标类别下的误识别对象，以及将目标类别下对应误识别对象的结构化数据滤除。

在一可选实施例中，为了提升识别结果的准确性，还可以对中心向量进行优化，在根据中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象时，可通过计算各结构化数据中包括的对象的特征向量的均值，得到均值向量。进一步，可根据各结构化数据中包括的对象的特征向量与均值向量的距离，选择最靠近均值向量的前N个对象的特征向量，计算前N个对象的特征向量的均值，作为优化后的目标类别下对象的中心向量。其中，N是大于等于2的整数；各结构化数据中包括的对象的特征向量与均值向量的距离用于衡量每个对象与目标类别对象的相似程度。

进一步，可根据优化后的中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象。可选地，可通过计算各结构化数据中包括的对象的特征向量与优化后的中心向量的距离，并将与优化后的中心向量的距离大于第一距离阈值的对象作为目标类别下的误识别对象。在另一可选实施例中，为了避免滤除误识别对象后的结构化数据还包括误识别对象，还可以对滤除误识别对象后的结构化数据进行进一步果过滤。在计算各结构化数据中包括的对象的特征向量与优化后的中心向量的距离时，针对与优化后的中心向量的距离小于或等于第一距离阈值的对象，可计算对象的特征向量与对象集合中各对象的特征向量的距离；若对象的特征向量与对象集合中各对象的特征向量的距离中存在小于第二距离阈值的距离，则将对象作为目标类别下的误识别对象；其中，对象集合中存储有目标类目下的误识别对象。

在上述实施例中，第一距离阈值和第二距离阈值用于衡量各结构化数据中包括的对象与目标对象的相似程度，在实现方式上不做限定，可根据目标对象的类别的不同而进行具体设定，并且，第一距离阈值和第二距离阈值可以相同也可以不同，在保证过滤精确度的基础上，可以根据具体需求灵活调整。

在一可选实施例中，在识别出存在误识别对象的情况下，还可根据误识别对象的特征向量，计算误识别对象与对象集合中各对象的相似度；若误识别对象与对象集合中各对象的相似度均小于相似度阈值，则将误识别对象加入对象集合，作为上述实施例中对误识别对象进行二次滤除样本集合。

图3c为本申请示例性实施例提供的另一种视频处理方法的流程示意图。如图3c所示，包括：

S1c、将视频数据上传至视频处理设备，以请求对所述视频数据进行结构化处理，该视频数据中包括至少一种类别的对象；

S2c、接收视频处理设备返回的至少一种类别下未过滤的结构化数据和根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据；

S3c、对应显示至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知至少一种类别下被误识别的对象。

在本实施例中，可将待结构化处理的视频数据上传视频处理设备进行结构化处理。其中，待结构化处理的视频数据可以是本端实时采集的视频数据，也可以是其它采集设备采集并上传的视频数据。视频处理设备对视频数据进行结构化处理的过程包括：结构化处理得到结构化数据以及对结构化数据进行过滤两个操作。关于这两个操作的详细实现，可参见前述实施例，在此不再赘述。

在本实施例中，视频处理设备对视频数据的结构化处理之后，可以得到至少一种类别下未过滤的结构化数据和过滤后的结构化数据；其中，过滤后的结构化数据是根据未过滤的结构化数据中对象的特征向量对未过滤的结构化数据进行过滤后得到的。之后，视频处理设备还会返回至少一种类别下未过滤的结构化数据和过滤后的结构化数据。在接收到视频处理设备返回的至少一种类别下未过滤的结构化数据和过滤后的结构化数据之后，对应显示至少一种类别下未过滤的结构化数据和过滤后的结构化数据，方便用户对过滤前后的结构化数据进行对比，直观地了解各类别下被误识别的对象。

图3d为本申请示例性实施例提供的一种信息查询方法的流程示意图。如图3d所示，包括：

S1d、发送第一查询请求，以请求查询第一对象的信息，该第一对象属于目标类别；

S2d、接收根据第一查询请求返回的第一信息，第一信息是从目标类别下尚未过滤的结构化数据中查询得到的；

S3d、在确定第一信息不属于第一对象的情况下，发送第二查询请求，以请求重新查询第一对象的信息；

S4d、接收根据第二查询请求返回的第二信息，并将第二信息作为第一对象的信息进行显示，第二信息是从目标类别下根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据中查询得到的。

在本实施例中，可以基于结构化数据进行信息查询。在需要查询时，可以发送第一查询请求，第一查询请求中可以携带指向第一对象的标识信息，例如可以是第一对象的名称、头像或其它已知的可描述第一对象的信息。例如，如果第一对象是行人，在不知道行人姓名、身份信息的情况下，可以通过行人的性别、年龄、种族等信息来描述第一对象，并可通过结构化数据进行查询，从而得到该行人的姓名、身份信息等目前未知的信息。另外，第一查询请求中还包括第一对象所属的对象类别，为便于描述，本实施例中，将第一对象所属的对象类别称为目标类别。

在本实施例中，在得到第一查询请求之后，首先从目标类别下未过滤的结构化数据中进行查询，得到第一信息，并返回第一信息。其中，目标类别下未过滤的结构化数据对应目标类别下的一个对象，还包括该对象的特征向量。其中，可以预先对包含目标类别下对象的视频数据进行结构化处理，得到目标类别下未过滤的结构化数据，关于结构化处理的过程可参见前述实施例。

在得到第一信息之后，可以判断第一信息是否属于第一对象。可选地，可以计算第一信息与第一对象的匹配度，根据匹配度来判断第一信息是否属于第一对象；如果匹配度较高(例如大于设定的匹配度阈值)，则认为第一信息属于第一对象；反之，如果匹配度较低(例如小于设定的匹配度阈值)，则认为第一信息不属于第一对象。除此之外，还可以输出第一信息，以供用户判断第一信息是否属于第一对象。以第一对象是某个行人，通过该行人的头像请求查询该行人的身份信息为例，则查询到的第一信息是一个身份信息，将第一信息表示的身份信息输出给用户，如果用户发现该身份信息对应的另有其人，例如该身份信息对应的用户头像与该行人的头像不同，可以确定第一信息不属于第一对象。

在该情况下，可以再次发送第二查询请求，以请求重新查询第一对象的信息。由于需要重新查询第一对象的信息，可以确定目标类别下未过滤的结构化数据的精度可能不够，鉴于此，可以根据第二查询请求，在目标类别下过滤后的结构化数据中进行查询，得到第二信息。可选地，可以根据第二查询请求，基于目标类别下未过滤的结构化数据中包含的对象的特征向量，对目标类别下未过滤的结构化数据进行过滤，得到目标类别下过滤后的结构化数据；然后，在目标类别下过滤后的结构化数据中进行查询，得到第二信息。或者，也可以在结构化处理过程中，预先基于目标类别下未过滤的结构化数据中包含的对象的特征向量，对目标类别下未过滤的结构化数据进行过滤，得到目标类别下过滤后的结构化数据，那么在接收到第二查询请求后，可以直接在预先得到的目标类别下过滤后的结构化数据中进行查询，得到第二信息。无论是预先过滤还是实时过滤，关于过滤过程的详细实现，可参见前述实施例，在此不再赘述。

在得到第二信息之后，可以返回第二信息。在本实施例中，由于第二信息是基于精度较高的过滤后的结构化数据中查询到的，其是第一对象的信息的概率较高，所以可以直接将第二信息作为第一对象的信息输出。当然，在将第二信息作为第一对象的信息输出之前，也可以计算第二信息与第一对象的匹配度，根据匹配度判断第二信息是否属于第一对象，并在判断出第二信息属于第一对象的情况下，将第二信息作为第一对象的信息输出。或者，在直接将第二信息作为第一对象的信息输出之后，用户也可以进一步判断第二信息是否属于第一对象；如果判断出第二信息属于第一对象，则可以基于第二信息执行后续操作；如果判断出第二信息不属于第一对象，可以及时采用其它方式来获取第一对象的信息，以保证信息获取的成功率和及时性。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤S1a至步骤S3a的执行主体可以为设备A；又比如，步骤S1a和S2a的执行主体可以为设备A，步骤S3a的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S1a、S2a等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图4为本申请又一示例性实施例提供的一种数据处理设备的结构示意图。如图4所示，数据处理设备包括：处理器41以及存储有计算机程序的存储器42；其中，处理器41和存储器42可以是一个或多个。

存储器42，主要用于存储计算机程序，这些计算机程序可被处理器执行，致使处理器41控制数据处理设备实现相应功能、完成相应动作或任务。除了存储计算机程序之外，存储器还可被配置为存储其它各种数据以支持在数据处理设备上的操作，这些数据的示例包括用于在数据处理设备上操作的任何应用程序或方法的指令。

存储器42，可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本申请实施例中，并不限定处理器41的实现形态，例如可以是但不限于CPU、GPU或MCU等。处理器41可以看作是数据处理设备的控制系统，可用于执行存储器42中存储的计算机程序，以控制数据处理设备实现相应功能、完成相应动作或任务。值得说明的是，根据数据处理设备实现形态以及所处于场景的不同，其所需实现的功能、完成的动作或任务会有所不同；相应地，存储器42中存储的计算机程序也会有所不同，而处理器41执行不同计算机程序可控制数据处理设备实现不同的功能、完成不同的动作或任务。

在一可选实施例中，如图4所示，数据处理设备还包括：通信组件43和电源组件44等其它组件。图4中仅示意性给出部分组件，并不意味着数据库引擎只包括图4所示组件。

在本申请实施例中，当处理器41执行存储器42中的计算机程序时，以用于：接收客户端上传的视频数据，视频数据中包括至少一种类别的对象；对视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；针对目标类别，基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除；其中，目标类别为至少一种类别中的任一类别，误识别对象是指视频数据中被错误识别为目标类别的对象。

在一可选实施例中，处理器41还用于：将目标类别下未被滤除的结构化数据输出至存储系统中进行存储。

在一可选实施例中，处理器41在基于目标类别下结构化数据中包括的对象的特征向量，将目标类别下对应误识别对象的结构化数据滤除时，用于：从目标类别下各结构化数据中包括的对象的特征向量，获取目标类别下对象的中心向量；根据中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象；将目标类别下对应误识别对象的结构化数据滤除。

在一可选实施例中，处理器41在根据中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象时，用于：计算各结构化数据中包括的对象的特征向量的均值，得到均值向量；根据各结构化数据中包括的对象的特征向量与均值向量的距离，选择最靠近均值向量的前N个对象的特征向量；计算前N个对象的特征向量的均值，作为目标类别下对象的中心向量；其中，N是大于等于2的整数。

在一可选实施例中，处理器41在根据中心向量和各结构化数据中包括的对象的特征向量，识别出目标类别下的误识别对象时，还用于：计算各结构化数据中包括的对象的特征向量与中心向量的距离，并将与中心向量的距离大于第一距离阈值的对象作为目标类别下的误识别对象。

在一可选实施例中，处理器41还用于：针对与中心向量的距离小于或等于第一距离阈值的对象，计算对象的特征向量与对象集合中各对象的特征向量的距离；若对象的特征向量与对象集合中各对象的特征向量的距离中存在小于第二距离阈值的距离，将对象作为目标类别下的误识别对象；其中，对象集合中存储有目标类目下的误识别对象。

在一可选实施例中，处理器41还用于：根据误识别对象的特征向量，计算误识别对象与对象集合中各对象的相似度；若误识别对象与对象集合中各对象的相似度均小于相似度阈值，将误识别对象加入对象集合。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由数据处理设备执行的各步骤。

本申请实施例还提供一种计算机设备，该计算机设备的结构与图4所示数据处理设备的结构相同或相似，在此不再图示。本实施例的计算机设备可以实现为摄像头、电子眼等视频采集设备，也可以实现为手机、电脑等终端设备。本实施例的计算机设备至少包括：存储器、处理器和通信组件。其中，存储器用于存储计算机程序；处理器用于执行存储器中的计算机程序，以用于：将视频数据上传至视频处理设备，以请求对所述视频数据进行结构化处理，所述视频数据中包括至少一种类别的对象；接收所述视频处理设备返回的至少一种类别下未过滤的结构化数据和根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据；对应显示所述至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知所述至少一种类别下被误识别的对象。

本申请实施例还提供一种计算机设备，该计算机设备的结构与图4所示数据处理设备的结构相同或相似，在此不再图示。本实施例的计算机设备可以实现为摄像头、电子眼等视频采集设备，也可以实现为手机、电脑等终端设备。本实施例的计算机设备至少包括：存储器、处理器和通信组件。其中，存储器用于存储计算机程序；处理器用于执行存储器中的计算机程序，以用于：发送第一查询请求，以请求查询第一对象的信息，所述第一对象属于目标类别；接收根据所述第一查询请求返回的第一信息，所述第一信息是从所述目标类别下尚未过滤的结构化数据中查询得到的；在确定所述第一信息不属于第一对象的情况下，发送第二查询请求，以请求重新查询第一对象的信息；接收根据所述第二查询请求返回的第二信息，并将所述第二信息作为所述第一对象的信息进行显示，所述第二信息是从所述目标类别下根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据中查询得到的。

上述图4中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图4中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的范围之内。

Claims (15)

1.一种视频处理方法，其特征在于，包括：

接收客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；

对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；

针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；

其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

2.根据权利要求1所述的方法，其特征在于，还包括以下至少一种操作：

将所述目标类别下未被滤除的结构化数据输出至存储系统中进行存储；

将所述目标类别下未被滤除的结构化数据和所述目标类别下滤除之前的结构化数据对应输出至存储系统中进行存储；

对所述目标类别下对应误识别对象的结构化数据进行标记，并对应输出所述目标类别下带有标记和未带有标记的结构化数据。

3.根据权利要求1所述的方法，其特征在于，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除，包括：

从所述目标类别下各结构化数据中包括的对象的特征向量，获取所述目标类别下对象的中心向量；

根据所述中心向量和所述各结构化数据中包括的对象的特征向量，识别出所述目标类别下的误识别对象；

将所述目标类别下对应所述误识别对象的结构化数据滤除。

4.根据权利要求3所述的方法，其特征在于，根据所述中心向量和所述各结构化数据中包括的对象的特征向量，识别出所述目标类别下的误识别对象，包括：

计算所述各结构化数据中包括的对象的特征向量的均值，得到均值向量；

根据所述各结构化数据中包括的对象的特征向量与所述均值向量的距离，选择最靠近所述均值向量的前N个对象的特征向量；

计算所述前N个对象的特征向量的均值，作为所述目标类别下对象的中心向量；其中，N是大于等于2的整数。

5.根据权利要求3所述的方法，其特征在于，根据所述中心向量和所述各结构化数据中包括的对象的特征向量，识别出所述目标类别下的误识别对象，包括：

计算所述各结构化数据中包括的对象的特征向量与所述中心向量的距离，并将与所述中心向量的距离大于第一距离阈值的对象作为所述目标类别下的误识别对象。

6.根据权利要求5所述的方法，其特征在于，还包括：

针对与所述中心向量的距离小于或等于第一距离阈值的对象，计算所述对象的特征向量与对象集合中各对象的特征向量的距离；

若所述对象的特征向量与对象集合中各对象的特征向量的距离中存在小于第二距离阈值的距离，将所述对象作为所述目标类别下的误识别对象；

其中，所述对象集合中存储有所述目标类目下的误识别对象。

7.根据权利要求5或6所述的方法，其特征在于，还包括：

根据所述误识别对象的特征向量，计算所述误识别对象与所述对象集合中各对象的相似度；

若所述误识别对象与所述对象集合中各对象的相似度均小于相似度阈值，将所述误识别对象加入所述对象集合。

8.一种数据过滤方法，其特征在于，包括：

接收视频处理设备输出的至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；

针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；

将所述目标类别下未被滤除的结构化数据输出至与所述视频处理设备对应的存储系统进行存储；

其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

9.一种视频处理方法，其特征在于，包括：

接收视频采集设备上传的指定环境空间中的监控视频，所述视频采集设备安装于指定环境空间中；

对所述监控视频进行结构化处理，得到至少一种对象类别下的结构化数据，每个结构化数据对应其所属对象类别下的一个对象，且包括该对象的特征向量；

针对目标对象类别，基于所述目标对象类别下结构化数据中包括的对象的特征向量，将所述目标对象类别下对应误识别对象的结构化数据滤除；

其中，所述目标对象类别为所述至少一种对象类别中的任一对象类别，所述误识别对象是指所述监控视频中被错误识别为所述目标对象类别的对象。

10.根据权利要求9所述的方法，其特征在于，所述指定环境空间为公共交通车辆的内部空间，或者为办公园区，或者为城市道路交通空间，或者为自助商超空间，或者校园空间。

11.一种视频处理方法，其特征在于，包括：

将视频数据上传至视频处理设备，以请求对所述视频数据进行结构化处理，所述视频数据中包括至少一种类别的对象；

接收所述视频处理设备返回的至少一种类别下未过滤的结构化数据和根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据；

对应显示所述至少一种类别下未过滤的和过滤后的结构化数据，以供用户获知所述至少一种类别下被误识别的对象。

12.一种信息查询方法，其特征在于，包括：

发送第一查询请求，以请求查询第一对象的信息，所述第一对象属于目标类别；

接收根据所述第一查询请求返回的第一信息，所述第一信息是从所述目标类别下尚未过滤的结构化数据中查询得到的；

在确定所述第一信息不属于第一对象的情况下，发送第二查询请求，以请求重新查询第一对象的信息；

接收根据所述第二查询请求返回的第二信息，并将所述第二信息作为所述第一对象的信息进行显示，所述第二信息是从所述目标类别下根据结构化数据中包含的对象的特征向量进行过滤后的结构化数据中查询得到的。

13.一种视频处理设备，其特征在于，包括：处理器以及存储有计算机程序的存储器；

所述处理器，用于执行所述计算机程序，以用于：

接收客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；

对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；

针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；

其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

14.一种数据处理系统，其特征在于，包括：客户端、视频处理设备和存储系统；其中，所述客户端用于提供视频数据，所述视频处理设备用于对所述客户端提供的视频数据进行结构化处理，生成结构化数据，并将所述结构化数据存储至所述存储系统中；

所述视频处理设备在对视频数据进行结构化处理时，用于：

接收所述客户端上传的视频数据，所述视频数据中包括至少一种类别的对象；

对所述视频数据进行结构化处理，得到至少一种类别下的结构化数据，每个结构化数据对应其所属类别下的一个对象，且包括该对象的特征向量；

针对目标类别，基于所述目标类别下结构化数据中包括的对象的特征向量，将所述目标类别下对应误识别对象的结构化数据滤除；

其中，所述目标类别为所述至少一种类别中的任一类别，所述误识别对象是指所述视频数据中被错误识别为所述目标类别的对象。

15.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-12任一项所述方法中的步骤。

Images