CN113505677A - 一种基于图像识别的设备控制方法及系统 - Google Patents

Abstract

本申请提供的一种基于图像识别的设备控制方法及系统，涉及监控技术领域。在本申请中，首先，对目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，识别结果包括目标监控设备对应的目标监控对象的行为是否满足预设监控条件，目标监控视频基于目标监控设备拍摄目标监控对象得到；其次，在识别结果为目标监控对象的行为不满足预设监控条件时，生成对应的第一设备控制信息；然后，将第一设备控制信息发送给目标监控设备，其中，目标监控设备用于基于第一设备控制信息运行，以对目标对象执行预设的第一目标监控操作。基于上述方法，可以改善现有技术中监控设备的运行控制效果不佳的问题。

Description

一种基于图像识别的设备控制方法及系统

技术领域

本申请涉及监控技术领域，具体而言，涉及一种基于图像识别的设备控制方法及系统。

背景技术

随着图像识别技术的不断发展，其应用范围不断扩展，例如，可以应用于监控领域，使得监控效果更加。但是，经发明人研究发现，在现有的监控技术中，在监控设备的运行控制过程中，存在控制效果不佳的问题。

发明内容

有鉴于此，本申请的目的在于提供一种基于图像识别的设备控制方法及系统，以改善现有技术中监控设备的运行控制效果不佳的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种基于图像识别的设备控制方法，应用于图像识别设备，所述图像识别设备通信连接有目标监控设备，所述基于图像识别的设备控制方法包括：

对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到；

在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息；

将所述第一设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，所述在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息的步骤，包括：

在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时与所述目标监控对象之间的拍摄角度，得到对应的目标拍摄角度信息；

基于所述目标拍摄角度信息生成对应的第一设备控制信息，其中，所述第一设备控制信息用于控制所述目标监控设备再次拍摄所述目标监控对象的拍摄角度，以得到新的目标监控视频。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，所述基于所述目标拍摄角度信息生成第一设备控制信息的步骤，包括：

确定所述目标监控设备在运行中能够与所述目标监控对象之间形成的全部拍摄角度，得到对应的第一拍摄角度集合；

基于所述第一拍摄角度集合确定所述目标拍摄角度信息的补集，得到对应的第二拍摄角度集合，其中，所述第二拍摄角度集合属于所述第一拍摄角度集合的子集合，且不包括所述目标拍摄角度信息；

生成包括所述第二拍摄角度集合的第一设备控制信息，其中，所述目标监控设备用于基于所述第二拍摄角度集合包括的全部拍摄角度信息对所述目标监控对象再次进行拍摄，得到新的目标监控视频。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，在执行所述对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果的步骤之后，所述基于图像识别的设备控制方法还包括：

在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操作。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，所述在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息的步骤，包括：

在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时的拍摄帧率和分辨率，得到对应的第一拍摄帧率信息和第一分辨率信息；

基于所述第一拍摄帧率信息和所述第一分辨率信息分别确定对应的第二拍摄帧率信息和第二分辨率信息，其中，所述第二拍摄帧率信息小于所述第一拍摄帧率信息，所述第二分辨率信息小于所述第一分辨率信息；

生成包括所述第二拍摄帧率信息和所述第二分辨率信息的第二设备控制信息，其中，所述目标监控设备在基于所述第二设备控制信息运行时，基于所述第二拍摄帧率信息和所述第二分辨率信息对所述目标监控对象进行拍摄至少预设时长，所述预设时长基于所述图像识别设备响应对应用户进行的时长配置操作生成。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，在执行所述将所述第一设备控制信息发送给所述目标监控设备的步骤之后，所述基于图像识别的设备控制方法还包括：

生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息；

获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

在一种可能的实施例中，在上述基于图像识别的设备控制方法中，在执行所述获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频的步骤之后，所述基于图像识别的设备控制方法还包括：

对所述新的目标监控视频进行识别处理，得到新的识别结果，其中，所述新的识别结果包括所述目标监控对象的行为是否满足预设监控条件；

在所述新的识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的监控警示信息；

将所述监控警示信息发送给通信连接的监控警示设备，其中，所述监控警示设备用于基于所述监控警示信息执行对应的监控警示操作。

本申请还提供一种基于图像识别的设备控制系统，所述图像识别设备通信连接有目标监控设备，所述基于图像识别的设备控制系统包括：

监控视频识别模块，用于对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到；

控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息；

控制信息发送模块，用于将所述第一设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。

在一种可能的实施例中，在上述基于图像识别的设备控制系统中，所述基于图像识别的设备控制系统还包括：

第二设备控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

第二设备控制信息发送模块，用于将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操。

在一种可能的实施例中，在上述基于图像识别的设备控制系统中，所述基于图像识别的设备控制系统还包括：

确认信息生成模块，用于生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息；

反馈信息获取模块，用于获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

请求信息生成模块，用于若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

监控视频获取模块，用于获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

本申请提供的一种基于图像识别的设备控制方法及系统，通过在对目标监控设备发送的目标监控视频进行识别处理得到对应的识别结果之后，确定识别结果是否为目标监控对象的行为不满足预设监控条件，并在识别结果为目标监控对象的行为不满足预设监控条件时，生成对应的第一设备控制信息，以对目标监控设备进行运行控制。基于此，由于对目标监控设备的运行控制参考了得到的识别结果，可以使得控制效果更佳，从而改善现有技术中监控设备的运行控制效果不佳的问题。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的图像识别设备的结构框图。

图2为本申请实施例提供的基于图像识别的设备控制方法包括的各步骤的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请实施例提供了一种图像识别设备。其中，所述图像识别设备可以包括存储器和处理器。

详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本申请实施例(如后文所述)提供的基于图像识别的设备控制方法。

可选地，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。所述处理器可以是一种通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

并且，图1所示的结构仅为示意，所述图像识别设备还可包括比图1中所示更多或者更少的组件，或具有与图1所示不同的配置，例如，可以包括用于与其它设备(摄像头等目标监控设备)进行信息交互的通信单元。

其中，在一种可以替代的示例中，所述图像识别设备可以是一种具备数据处理能力的服务器。

结合图2，本申请实施例还提供一种基于图像识别的设备控制方法，可应用于上述图像识别设备。其中，所述基于图像识别的设备控制方法有关的流程所定义的方法步骤，可以由所述图像识别设备实现。

下面将对图2所示的具体流程，进行详细阐述。

步骤S110，对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果。

在本实施例中，所述图像识别设备可以对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果。

其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到。

步骤S120，在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息。

在本实施例中，在基于步骤S110得到所述识别结果之后，所述图像识别设备可以在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息。

步骤S130，将所述第一设备控制信息发送给所述目标监控设备。

在本实施例中，在基于步骤S120生成所述第一设备控制信息之后，所述图像识别设备可以将所述第一设备控制信息发送给所述目标监控设备。

其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。

基于上述方法，通过在对目标监控设备发送的目标监控视频进行识别处理得到对应的识别结果之后，确定识别结果是否为目标监控对象的行为不满足预设监控条件，并在识别结果为目标监控对象的行为不满足预设监控条件时，生成对应的第一设备控制信息，以对目标监控设备进行运行控制。基于此，由于对目标监控设备的运行控制参考了得到的识别结果，可以使得控制效果更佳，从而改善现有技术中监控设备的运行控制效果不佳的问题。并且，由于目标监控设备的控制效果更加，还可以使得对目标监控对象的监控效果也更佳。

可以理解的是，在一种可以替代的示例中，在执行步骤S110时，可以基于步骤S111、步骤S112和步骤S113以得到对应的识别结果。

步骤S111，获取所述目标监控设备发送的目标监控视频。

在本实施例中，所述图像识别设备可以先获取所述目标监控设备(如基于所述对象监控请求信息确定所述目标监控设备)发送的目标监控视频帧。其中，所述目标监控视频基于所述目标监控设备拍摄目标监控对象得到，如摄像头等图像采集设备对目标监控对象进行信息采集，且所述目标监控视频包括在时间上具有先后关系的多帧监控视频帧。

步骤S112，对所述目标监控视频包括的多帧监控视频帧进行筛选处理，得到多帧目标监控视频帧。

在本实施例中，在基于步骤S111获取到所述目标监控视频之后，所述图像识别设备可以对所述目标监控视频包括的多帧监控视频帧进行筛选处理，得到多帧目标监控视频帧。

其中，所述目标监控视频帧属于所述目标监控视频。也就是说，可以在所述目标监控视频中筛选出部分的监控视频帧作为目标监控视频帧。

步骤S113，对所述目标监控视频帧进行识别处理得到对应的识别结果。

在本实施例中，在基于步骤S112获取到所述多帧目标监控视频帧之后，所述图像识别设备可以对所述目标监控视频帧进行识别处理，如此，可以得到对应的识别结果。其中，所述识别结果包括所述目标监控对象的行为是否满足预设监控条件。

基于上述步骤，通过在获取到目标监控视频之后，先进行筛选处理，再进行识别处理，如此，在一定程度上可以减少进行识别处理时需要处理的监控视频帧的帧数，从而消耗较少的计算资源，进而改善现有图像处理技术中存在的计算资源耗费较大的问题。

可以理解的是，一种可以替代的示例中，在执行步骤S111时，可以基于以下步骤以获取所述目标监控视频：

首先，获取所述目标监控设备当前发送的监控视频包，其中，所述目标监控设备在拍摄目标监控对象得到监控视频帧之后打包形成所述监控视频包(在一种可以替代的示例中，在发送所述监控视频包时，可以加密)；

其次，对所述监控视频包进行解析处理，得到所述监控视频帧包括的监控视频帧的帧数，以得到第一帧数，如10、20、30等帧数；

然后，判断所述第一帧数是否大于预先确定的目标帧数阈值，其中，所述目标帧数阈值可以基于所述图像识别设备响应对应用户根据实际应用场景进行的配置操作生成；

最后，若所述第一帧数大于所述目标帧数阈值，则将所述监控视频包确定为包括多帧监控视频帧的目标监控视频。

可以理解的是，在上述示例的基础上，在一种可以替代的示例中，在执行步骤S111时，还可以基于以下步骤以获取所述目标监控视频：

首先，若所述第一帧数小于或等于所述目标帧数阈值，则执行等待操作(如开始进行计时)；

其次，确定执行等待操作的等待时长，并判断所述等待时长是否大于预先确定的目标时长阈值，其中，所述目标时长阈值可以基于所述图像识别设备响应对应用户根据实际应用场景进行的配置操作生成；

若所述等待时长大于所述目标时长阈值，则将所述监控视频包确定为包括多帧监控视频帧的目标监控视频。

可以理解的是，在上述示例的基础上，在一种可以替代的示例中，在执行步骤S111时，还可以基于以下步骤以获取所述目标监控视频：

若所述等待时长小于或等于所述目标时长阈值，则继续执行等待操作，直到当前的等待时长大于所述目标时长阈值，或所述监控视频包包括的监控视频帧以及所述目标监控设备发送的新的监控视频包包括的监控视频帧的帧数总和大于所述目标帧数阈值；

其中，在继续执行等待操作直到当前的等待时长大于所述目标时长阈值时，将所述监控视频包确定为包括多帧监控视频帧的目标监控视频；

并且，在所述监控视频包包括的监控视频帧以及所述目标监控设备发送的新的监控视频包包括的监控视频帧的帧数总和大于所述目标帧数阈值时，将所述监控视频包和所述新的监控视频包确定为包括多帧监控视频帧的目标监控视频。

基于此，通过所述等待时长阈值和所述目标帧数阈值的设置，一方面可以避免等待时间过长而导致基于识别结果进行的监控操作的时效性较差的问题，另一方面还可以避免用于进行识别处理的监控视频帧的数量较少而导致识别结果不准确的问题。

可以理解的是，一种可以替代的示例中，在执行步骤S112时，可以基于以下步骤以进行筛选处理得到多帧目标监控视频帧：

首先，针对所述目标监控视频包括的每一帧监控视频帧，计算该监控视频帧与每一帧其它监控视频帧之间的相似度，得到对应的相似度信息；

其次，针对每一帧所述监控视频帧，基于该监控视频帧与每一帧其它监控视频帧之间的相似度信息，确定该监控视频帧与每一帧其它监控视频帧之间是否具有关联关系；

然后，基于所述关联关系对所述目标监控视频包括的多帧监控视频帧进行筛选处理，得到多帧目标监控视频帧。

基于此，由于在进行筛选处理时，考虑了监控视频帧之间的关联关系，可以使得筛选出来进行识别处理的目标监控视频帧更好地反映获取的所述目标监控视频，从而保证识别结果的准确度。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以得到所述监控视频帧之间的相似度信息：

首先，分别计算所述目标监控视频包括的每一帧监控视频帧的像素均值(即计算各像素点的像素值的平均值)；

其次，针对所述目标监控视频包括的每一帧监控视频帧，计算该监控视频帧与每一帧其它监控视频帧之间关于所述像素均值的相似度，得到该监控视频帧与每一帧其它监控视频帧之间的相似度信息(例如，可以将两帧监控视频帧的像素均值之间的差值与255的比值，作为所述相似度信息)。

基于此，可以简化计算所述相似度信息的步骤，以较少计算资源的消耗，而且，由于场景固定，通过像素均值也可以较好的反映监控视频帧之间的相似关系，使得得到的相似度信息具有较高的准确度。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以确定所述监控视频帧与每一帧其它监控视频帧之间是否具有关联关系：

针对每一帧所述监控视频帧，基于该监控视频帧与每一帧其它监控视频帧之间的相似度信息，执行目标操作，以确定该监控视频帧与每一帧其它监控视频帧之间是否具有关联关系；

其中，所述目标操作可以包括：

首先，在多帧所述其它监控视频帧中，确定相似度信息属于目标相似度区间内的其它监控视频帧，作为第一其它监控视频帧，其中，所述目标相似度区间可以基于所述图像识别设备响应对应用户根据实际应用场景进行的配置操作生成，可以理解的是，所述目标相似度区间可以包括基于前述计算方式计算出的最大值，如1；

其次，基于预设的筛选规则对多帧所述第一其它监控视频帧进行筛选处理，以确定所述监控视频帧与每一帧其它监控视频帧之间是否具有关联关系，如此，在基于所述目标相似度区间进行第一筛选之后，可以基于所述筛选规则进行进一步的筛选，以保证确定的关联关系具有较高的可靠性。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以基于所述筛选规则确定监控视频帧与其它监控视频帧之间是否具有关联关系：

第一步，针对多帧所述第一其它监控视频帧，分别确定相似度信息属于所述目标相似度区间中的每一个相似度子区间内的第一其它监控视频帧的数量，得到第一视频帧数，其中，每一个所述相似度子区间的区间宽度相同，且每一个所述相似度子区间的区间宽度之和等于所述目标相似度区间的区间宽度，例如，在确定所述相似度子区间时，所述图像识别设备可以先响应对应用户进行的配置操作生成一个区间数量，然后，基于所述区间数量将所述目标相似度区间分割成多个所述相似度子区间；

第二步，从所述目标相似度区间内的第二个相似度子区间起，确定相似度信息属于各个相似度子区间的第一其它监控视频帧的第一视频帧数相对于相似度信息属于前一个相似度子区间的第一其它监控视频帧的第一视频帧数的视频帧数变化值，得到视频帧数变化序列(如第二个相似度子区间对应的第一视频帧数减去第一个相似度子区间对应的第一视频帧数，可以得到视频帧数变化序列中的第一个视频帧数变化值)；

第三步，基于所述视频帧数变化序列中所述视频帧数变化值的先后顺序，对所述视频帧数变化序列中的视频帧数变化值执行以下步骤，直到确定出小于视频帧数变化阈值的视频帧数变化值：判断当前的视频帧数变化值是否小于视频帧数变化阈值；确定当前已经进行的判断次数；将当前确定的判断次数作为目标判断次数，其中，所述视频帧数变化阈值可以基于所述图像识别设备响应对应用户进行的配置操作生成；

第四步，确定相似度信息属于所述目标判断次数个相似度子区间中的每一个相似度子区间内的第二其它监控视频帧的数量，得到该相似度子区间对应的第二视频帧数，其中，所述第二其它监控视频帧对应的像素均值属于预先确定的目标像素值区间内，所述目标判断次数个相似度子区间可以是指，所述视频帧数变化序列中前目标判断次数个所述视频帧数变化值对应的相似度子区间，所述目标像素值区间可以基于所述监控视频帧的像素均值确定，如所述目标像素值区间的下限值可以为所述监控视频帧的像素均值与一个小于1的系数的乘积，所述目标像素值区间的上限值可以为所述监控视频帧的像素均值与一个大于1的系数的乘积，这两个系数可以基于所述图像识别设备响应对应用户进行的配置操作生成；

第五步，将大于预设帧数阈值的每一个所述第二视频帧数对应的相似度子区间内的第二其它监控视频帧确定为第三其它监控视频帧，其中，所述预设帧数阈值可以基于所述图像识别设备响应对应用户进行的配置操作生成，如10帧或20帧等；

第六步，针对每一个所述相似度子区间(在一种可以替代的示例中，可以仅针对具有所述第三其它监控视频帧的相似度子区间，如此，可以降低计算量)，确定属于该相似度子区间的所述第三其它监控视频帧的数量，得到第三视频帧数，并判断每一个所述第三视频帧数是否大于预设数量阈值，其中，所述预设数量阈值可以基于所述图像识别设备响应对应用户进行的配置操作生成，且所述预设数量阈值可以大于所述预设帧数阈值；

第七步，针对每一个大于或等于所述预设数量阈值的所述第三视频帧数，将预先确定的第一权重系数与该第三视频帧数建立对应关系；

第八步，针对每一个小于所述预设数量阈值的所述第三视频帧数，将预先确定的第二权重系数与该第三视频帧数建立对应关系，其中，该第二权重系数小于该第一权重系数；

第九步，针对每一个所述相似度子区间(在一种可以替代的示例中，可以仅针对具有所述第三其它监控视频帧的相似度子区间，如此，可以进一步降低计算量)，将该相似度子区间内的每一条所述第三其它监控视频帧和所述监控视频帧之间的相似度信息，与该相似度子区间对应的所述第三视频帧数对应的第一权重系数或第二权重系数融合(如相乘)，得到该第三其它监控视频帧的融合权重系数；

第十步，基于对应的所述融合权重系数，对所述第三其它监控视频帧进行排序处理，得到第三其它监控视频帧序列，并在所述第三其它监控视频帧序列中，获取排序在前的多帧(具体数量可以根据所述图像识别设备响应对应用户进行的配置操作生成，如对识别结果的准确度越高，该数量可以越大，对识别结果的计算资源消耗越小，该数量可以越小)第三其它监控视频帧，将获取的多帧第三其它监控视频帧确定为与所述监控视频帧之间具有关联关系的其它监控视频帧。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以对所述目标监控视频包括的多帧监控视频帧进行筛选处理：

首先，针对所述目标监控视频包括的每一帧监控视频帧，确定与该监控视频帧具有关联关系的其它监控视频帧的数量，得到对应的第一数量；

其次，针对每一帧所述监控视频帧，基于该监控视频帧对应的所述第一数量确定是否保留该监控视频帧，作为目标监控视频帧，例如，在一种可以替代的示例中，若一帧监控视频帧对应的所述第一数量较大，如大于各所述第一数量的平均值，可以丢弃该监控视频帧，若一帧监控视频帧对应的所述第一数量较小，如小于或等于各所述第一数量的平均值，可以保留该监控视频帧，作为目标监控视频帧。

可以理解的是，在一种可以替代的示例中，在执行步骤S113时，可以基于以下步骤以对目标监控视频帧进行识别处理得到对应的识别结果：

首先，获取预先训练得到的动作识别模型，其中，所述动作识别模块基于神经网络训练得到，具体的训练方式在此不做具体限定，可以参照相关的现有的神经网络训练方法；

其次，基于所述动作识别模型对所述目标监控视频帧进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控对象的行为动作是否满足预设监控条件。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以基于所述动作识别模型对所述目标监控视频帧进行识别处理：

基于所述动作识别模型对所述目标监控视频帧进行识别处理，得到对应的目标动作特征信息是否与动作特征参考信息匹配的识别结果，例如，所述动作识别模块可以基于基于具有所述动作特征参考信息的正样本视频帧和不具有所述动作特征参考信息的负样本视频帧训练得到；

其中，若所述目标动作特征信息与所述动作特征参考信息匹配，则确定所述目标监控对象的行为满足所述预设监控条件，若所述目标动作特征信息与所述动作特征参考信息不匹配，则确定所述目标监控对象的行为不满足所述预设监控条件。或者说，若所述目标动作特征信息与所述动作特征参考信息匹配，则确定所述目标监控对象的行为不满足所述预设监控条件，若所述目标动作特征信息与所述动作特征参考信息不匹配，则确定所述目标监控对象的行为满足所述预设监控条件。具体配置可以根据实际应用场景进行选择，例如，若所述动作特征参考信息为危险动作，则在所述目标动作特征信息与所述动作特征参考信息匹配，确定所述目标监控对象的行为不满足所述预设监控条件。

可以理解的是，在一种可以替代的示例中，所述目标动作特征信息可以是一种连续的动态的动作特征，如跳跃，对应的，所述动作特征参考信息也可以为一种连续的动态的动作特征，如跳跃。所述目标动作特征信息也可以是一种静态的动作特征，如趴在地上，对应的，所述动作特征参考信息也可以为一种静态的动作特征，如趴在地上。

可以理解的是，在所述目标动作特征信息是一种静态的动作特征时，可以在一帧所述目标监控视频帧具有所述目标动作特征信息时，就认为与所述动作特征参考信息匹配。也可以在全部的所述目标监控视频帧具有所述目标动作特征信息时，才认为与所述动作特征参考信息匹配。

可以理解的是，在一种可以替代的示例中，在执行步骤S120时，可以基于以下步骤以生成所述第一设备控制信息：

首先，在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时与所述目标监控对象之间的拍摄角度，得到对应的目标拍摄角度信息，例如，可以基于对所述目标监控视频进行分析得到拍摄角度，或者，可以在所述目标监控设备上设置对应的角度传感器以采集对应的拍摄角度；

其次，基于所述目标拍摄角度信息生成对应的第一设备控制信息，其中，所述第一设备控制信息用于控制所述目标监控设备再次拍摄所述目标监控对象的拍摄角度，以得到新的目标监控视频。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以基于所述目标拍摄角度信息生成第一设备控制信息：

首先，确定所述目标监控设备在运行中能够与所述目标监控对象之间形成的全部拍摄角度(可以理解的是，所述目标监控设备可以相对于所述目标监控对象转动，如云台摄像机或搭载于无人机上，如此通过无人机的飞行，可以改变拍摄角度)，得到对应的第一拍摄角度集合；

其次，基于所述第一拍摄角度集合确定所述目标拍摄角度信息的补集，得到对应的第二拍摄角度集合，其中，所述第二拍摄角度集合属于所述第一拍摄角度集合的子集合，且不包括所述目标拍摄角度信息；

然后，生成包括所述第二拍摄角度集合的第一设备控制信息，其中，所述目标监控设备用于基于所述第二拍摄角度集合包括的全部拍摄角度信息对所述目标监控对象再次进行拍摄，得到新的目标监控视频。

可以理解的是，在上述示例的基础上，在一种可以替代的示例中，在执行步骤S110之后，所述基于图像识别的设备控制方法还包括以下步骤：

首先，在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

其次，将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操作。

可以理解的是，在一种可以替代的示例中，可以基于以下步骤以生成所述第二设备控制信息：

首先，在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时的拍摄帧率和分辨率，得到对应的第一拍摄帧率信息和第一分辨率信息；

其次，基于所述第一拍摄帧率信息和所述第一分辨率信息分别确定对应的第二拍摄帧率信息和第二分辨率信息，如乘以一个小于1的系数，其中，所述第二拍摄帧率信息小于所述第一拍摄帧率信息，所述第二分辨率信息小于所述第一分辨率信息，系数的具体数值可以基于所述图像识别设备响应对应用户进行的配置操作生成；

然后，生成包括所述第二拍摄帧率信息和所述第二分辨率信息的第二设备控制信息，其中，所述目标监控设备在基于所述第二设备控制信息运行时，基于所述第二拍摄帧率信息和所述第二分辨率信息对所述目标监控对象进行拍摄至少预设时长，所述预设时长可以基于所述图像识别设备响应对应用户进行的时长配置操作生成，如此，在预设时长之后，可以继续基于所述第一拍摄帧率信息和所述第一分辨率信息对所述目标监控对象进行拍摄，如此循环。

可以理解的是，在上述示例的基础上，在一种可以替代的示例中，在执行步骤S130之后，所述基于图像识别的设备控制方法还包括以下步骤：

首先，生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息，即所述控制反馈信息表征所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

其次，获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

然后，若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

最后，获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

可以理解的是，在上述示例的基础上，在一种可以替代的示例中，在获取到所述新的目标监控视频之后，所述基于图像识别的设备控制方法还可以包括以下步骤：

首先，对所述新的目标监控视频进行识别处理(具体的识别方式可以参照前述的步骤S110)，得到新的识别结果，其中，所述新的识别结果包括所述目标监控对象的行为是否满足预设监控条件；

其次，在所述新的识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的监控警示信息；

然后，将所述监控警示信息发送给通信连接的监控警示设备，其中，所述监控警示设备用于基于所述监控警示信息执行对应的监控警示操作，如执行灯光报警操作或向对应的用户显示所述监控警示信息等。

本申请实施例还提供一种基于图像识别的设备控制系统，可应用于上述对象监控设备。其中，所述基于图像识别的设备控制系统可以包括监控视频识别模块、控制信息生成模块和控制信息发送模块。

所述监控视频识别模块，用于对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到。在本实施例中，所述监控视频识别模块可用于执行图2所示的步骤S110，关于所述监控视频识别模块的相关内容可以参照前文对步骤S110的描述。

所述控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息。在本实施例中，所述控制信息生成模块可用于执行图2所示的步骤S120，关于所述控制信息生成模块的相关内容可以参照前文对步骤S120的描述。

所述控制信息发送模块，用于将所述第一设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。在本实施例中，所述控制信息发送模块可用于执行图2所示的步骤S130，关于所述控制信息发送模块的相关内容可以参照前文对步骤S130的描述。

可以理解的是，在一种可以替代的示例中，在上述示例的基础上，所述基于图像识别的设备控制系统还可以包括：

第二设备控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

第二设备控制信息发送模块，用于将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操作。

可以理解的是，在一种可以替代的示例中，在上述示例的基础上，所述基于图像识别的设备控制系统还可以包括：

确认信息生成模块，用于生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息；

反馈信息获取模块，用于获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

请求信息生成模块，用于若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

监控视频获取模块，用于获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

综上所述，本申请提供的一种基于图像识别的设备控制方法及系统，通过在对目标监控设备发送的目标监控视频进行识别处理得到对应的识别结果之后，确定识别结果是否为目标监控对象的行为不满足预设监控条件，并在识别结果为目标监控对象的行为不满足预设监控条件时，生成对应的第一设备控制信息，以对目标监控设备进行运行控制。基于此，由于对目标监控设备的运行控制参考了得到的识别结果，可以使得控制效果更佳，从而改善现有技术中监控设备的运行控制效果不佳的问题。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图像识别的设备控制方法，其特征在于，应用于图像识别设备，所述图像识别设备通信连接有目标监控设备，所述基于图像识别的设备控制方法包括：

对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到；

在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息；

将所述第一设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。

2.根据权利要求1所述的基于图像识别的设备控制方法，其特征在于，所述在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息的步骤，包括：

在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时与所述目标监控对象之间的拍摄角度，得到对应的目标拍摄角度信息；

基于所述目标拍摄角度信息生成对应的第一设备控制信息，其中，所述第一设备控制信息用于控制所述目标监控设备再次拍摄所述目标监控对象的拍摄角度，以得到新的目标监控视频。

3.根据权利要求2所述的基于图像识别的设备控制方法，其特征在于，所述基于所述目标拍摄角度信息生成第一设备控制信息的步骤，包括：

确定所述目标监控设备在运行中能够与所述目标监控对象之间形成的全部拍摄角度，得到对应的第一拍摄角度集合；

基于所述第一拍摄角度集合确定所述目标拍摄角度信息的补集，得到对应的第二拍摄角度集合，其中，所述第二拍摄角度集合属于所述第一拍摄角度集合的子集合，且不包括所述目标拍摄角度信息；

生成包括所述第二拍摄角度集合的第一设备控制信息，其中，所述目标监控设备用于基于所述第二拍摄角度集合包括的全部拍摄角度信息对所述目标监控对象再次进行拍摄，得到新的目标监控视频。

4.根据权利要求1-3任意一项所述的基于图像识别的设备控制方法，其特征在于，在执行所述对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果的步骤之后，所述基于图像识别的设备控制方法还包括：

在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操作。

5.根据权利要求4所述的基于图像识别的设备控制方法，其特征在于，所述在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息的步骤，包括：

在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，确定所述目标监控设备拍摄得到所述目标监控视频时的拍摄帧率和分辨率，得到对应的第一拍摄帧率信息和第一分辨率信息；

基于所述第一拍摄帧率信息和所述第一分辨率信息分别确定对应的第二拍摄帧率信息和第二分辨率信息，其中，所述第二拍摄帧率信息小于所述第一拍摄帧率信息，所述第二分辨率信息小于所述第一分辨率信息；

生成包括所述第二拍摄帧率信息和所述第二分辨率信息的第二设备控制信息，其中，所述目标监控设备在基于所述第二设备控制信息运行时，基于所述第二拍摄帧率信息和所述第二分辨率信息对所述目标监控对象进行拍摄至少预设时长，所述预设时长基于所述图像识别设备响应对应用户进行的时长配置操作生成。

6.根据权利要求1-3任意一项所述的基于图像识别的设备控制方法，其特征在于，在执行所述将所述第一设备控制信息发送给所述目标监控设备的步骤之后，所述基于图像识别的设备控制方法还包括：

生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息；

获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

7.根据权利要求6所述的基于图像识别的设备控制方法，其特征在于，在执行所述获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频的步骤之后，所述基于图像识别的设备控制方法还包括：

对所述新的目标监控视频进行识别处理，得到新的识别结果，其中，所述新的识别结果包括所述目标监控对象的行为是否满足预设监控条件；

在所述新的识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的监控警示信息；

将所述监控警示信息发送给通信连接的监控警示设备，其中，所述监控警示设备用于基于所述监控警示信息执行对应的监控警示操作。

8.一种基于图像识别的设备控制系统，其特征在于，应用于图像识别设备，所述图像识别设备通信连接有目标监控设备，所述基于图像识别的设备控制系统包括：

监控视频识别模块，用于对所述目标监控设备发送的目标监控视频进行识别处理，得到对应的识别结果，其中，所述识别结果包括所述目标监控设备对应的目标监控对象的行为是否满足预设监控条件，所述目标监控视频基于所述目标监控设备拍摄所述目标监控对象得到；

控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为不满足所述预设监控条件时，生成对应的第一设备控制信息；

控制信息发送模块，用于将所述第一设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第一设备控制信息运行，以对所述目标对象执行预设的第一目标监控操作。

9.根据权利要求8所述的基于图像识别的设备控制系统，其特征在于，所述基于图像识别的设备控制系统还包括：

第二设备控制信息生成模块，用于在所述识别结果为所述目标监控对象的行为满足所述预设监控条件时，生成对应的第二设备控制信息；

第二设备控制信息发送模块，用于将所述第二设备控制信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述第二设备控制信息运行，以对所述目标对象执行预设的第二目标监控操作。

10.根据权利要求8所述的基于图像识别的设备控制系统，其特征在于，所述基于图像识别的设备控制系统还包括：

确认信息生成模块，用于生成控制确认信息，并将所述控制确认信息发送给所述目标监控设备，其中，所述目标监控设备用于基于所述控制确认信息向所述图像识别设备反馈是否已经基于所述第一设备控制信息进行运行的控制反馈信息；

反馈信息获取模块，用于获取所述目标监控设备基于所述控制确认信息发送的控制反馈信息，并基于所述控制反馈信息确定所述目标监控设备是否已经基于所述第一设备控制信息进行运行；

请求信息生成模块，用于若确定所述目标监控设备已经基于所述第一设备控制信息进行运行，则生成视频获取请求信息，并将所述视频获取请求信息发送给所述目标监控设备，其中，所述目标监控设备在基于所述第一设备控制信息进行运行得到新的目标监控视频之后，用于基于所述视频获取请求信息将基于所述新的目标监控视频发送给所述图像识别设备；

监控视频获取模块，用于获取所述目标监控设备基于所述视频获取请求信息发送的所述新的目标监控视频。

Images