CN114140713A - 一种图像识别系统、图像识别方法 - Google Patents
一种图像识别系统、图像识别方法 Download PDFInfo
- Publication number
- CN114140713A CN114140713A CN202111335069.6A CN202111335069A CN114140713A CN 114140713 A CN114140713 A CN 114140713A CN 202111335069 A CN202111335069 A CN 202111335069A CN 114140713 A CN114140713 A CN 114140713A
- Authority
- CN
- China
- Prior art keywords
- video
- pixel
- monitoring
- pixel value
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供的一种图像识别系统、图像识别方法，涉及图像处理技术领域。在本发明中，获取视频监控终端设备发送的待处理监控视频；针对待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度；基于待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的视频帧关联度，对待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧监控视频帧对应的视频帧识别结果，其中，视频帧识别结果用于表征对应的监控视频帧中存在违规行为信息的概率。基于上述方法，可以改善现有技术中对于图像识别的效果不佳的问题。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像识别系统、图像识别方法。
背景技术
视频监控作为一种重要的监控手段，在各行各业都得到了广泛的应用，其是生产、生活等各种领域安全的重要保障。其中，在视频监控中，图像识别技术是一种不可替代的技术。但是，在现有技术中，在对监控视频中的视频帧进行图像识别时，一般时单独针对每一帧视频帧进行识别，而不会考虑视频帧之间的关系，如此，可能导致识别效果不佳的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像识别系统、图像识别方法，以改善现有技术中对于图像识别的效果不佳的问题。
为实现上述目的，本发明实施例采用如下技术方案：
一种图像识别方法，应用于视频监控服务器，所述视频监控服务器通信连接有视频监控终端设备，所述图像识别方法包括：
获取所述视频监控终端设备发送的待处理监控视频，其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到；
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度；
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果，其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
在一些优选的实施例中，在上述图像识别方法中，所述获取所述视频监控终端设备发送的待处理监控视频的步骤，包括：
确定当前时间信息，并判断所述当前时间信息是否属于预先配置的时间区间信息内，其中，所述时间区间信息基于所述视频监控服务器响应对应的监控管理用户进行的时间管理操作生成；
若所述当前时间信息属于所述时间区间信息内，则获取预先配置的视频数据量阈值信息，并基于所述视频数据量阈值信息生成对应的视频监控开启通知信息，其中，所述视频数据量阈值信息基于所述视频监控服务器响应对应的监控管理用户进行的视频数据量管理操作生成；
将所述视频监控开启通知信息发送给所述视频监控终端设备，其中，所述视频监控终端设备用于在接收到所述视频监控开启通知信息之后，开始对目标监控区域进行图像采集，并基于所述视频监控开启通知信息中携带的所述视频数据量阈值信息将采集到的对应数据量的待处理监控视频发送给所述视频监控服务器；
获取所述视频监控终端设备基于所述视频监控开启通知信息采集并发送的所述待处理监控视频。
在一些优选的实施例中，在上述图像识别方法中，所述针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度的步骤，包括：
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；
计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；
确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；
确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；
基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度；
基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度。
在一些优选的实施例中，在上述图像识别方法中，所述计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度的步骤，包括：
基于所述第一目标监控视频帧中的像素点像素值进行排序，得到所述第一目标监控视频帧对应的第一像素值序列；
基于所述第二目标监控视频帧中的像素点像素值进行排序，得到所述第二目标监控视频帧对应的第二像素值序列；
确定所述第一像素值序列和所述第二像素值序列之间对应序列位置的像素点像素值之间的差值是否小于预先配置的第一差值阈值，并统计像素点像素值之间的差值小于所述第一差值阈值的对应序列位置的数量，得到对应的第一序列位置统计数量；
基于所述第一序列位置统计数量计算而得到所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度。
在一些优选的实施例中，在上述图像识别方法中，所述确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列的步骤，包括：
确定预先划分的多个连续的像素值区间，并确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间；
基于像素值区间对所述第一目标监控视频帧的像素点进行分割，得到至少一个第一像素点像素值串，其中，同一个第一像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第一像素点像素值串中的像素点像素值所属的像素值区间不同；
针对所述至少一个第一像素点像素值串中的每一个第一像素点像素值串，基于该第一像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第一像素点像素值串对应的像素标识信息；
基于所述至少一个第一像素点像素值串中的每一个第一像素点像素值串的先后关系，将每一个所述第一像素点像素值串的像素标识信息进行排序得到对应的第一像素标识信息序列。
在一些优选的实施例中，在上述图像识别方法中，所述确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列的步骤，包括：
确定预先划分的多个连续的像素值区间，并确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间；
基于像素值区间对所述第二目标监控视频帧的像素点进行分割，得到至少一个第二像素点像素值串，其中，同一个第二像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第二像素点像素值串中的像素点像素值所属的像素值区间不同；
针对所述至少一个第二像素点像素值串中的每一个第二像素点像素值串，基于该第二像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第二像素点像素值串对应的像素标识信息；
基于所述至少一个第二像素点像素值串中的每一个第二像素点像素值串的先后关系，将每一个所述第二像素点像素值串的像素标识信息进行排序得到对应的第二像素标识信息序列。
在一些优选的实施例中，在上述图像识别方法中，所述基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果的步骤，包括：
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；
针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果。
本发明实施例还提供一种图像识别系统，应用于视频监控服务器，所述视频监控服务器通信连接有视频监控终端设备，所述图像识别系统包括：
监控视频获取模块，用于获取所述视频监控终端设备发送的待处理监控视频，其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到；
视频帧关联度确定模块，用于针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度；
视频帧识别模块，用于基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果，其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
在一些优选的实施例中，在上述图像识别系统中，所述视频帧关联度确定模块具体用于：
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；
计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；
确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；
确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；
基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度；
基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联。
在一些优选的实施例中，在上述图像识别系统中，所述视频帧识别模块具体用于：
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；
针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果。
本发明实施例提供的一种图像识别系统、图像识别方法，在获取到视频监控终端设备发送的待处理监控视频之后，可以先针对待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，然后，再基于确定的视频帧关联度对每一帧监控视频帧进行识别处理得到每一帧所监控视频帧对应的视频帧识别结果，即再进行识别处理时考虑监控视频帧之间的视频帧关联度，使得识别处理的效果可以得到保障，从而改善现有技术中对于图像识别的效果不佳的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的视频监控服务器的结构框图。
图2为本发明实施例提供的图像识别方法的流程示意图。
图3为本发明实施例提供的图像识别系统的模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种视频监控服务器。其中，所述视频监控服务器可以包括存储器和处理器。
详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的图像识别方法，如后文所述。
可以理解的是，在一种可以替代的实现方式中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
可以理解的是，在一种可以替代的实现方式中，所述处理器可以是一种通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等。在另一种可以替代的实现方式中，所述处理器还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解的是，在一种可以替代的实现方式中，图1所示的结构仅为示意，所述视频监控服务器还可包括比图1中所示更多或者更少的组件，或具有与图1所示不同的配置，例如，可以包括用于与其它设备(如视频监控终端设备等)进行信息交互的通信单元。
本发明实施例还提供一种图像识别方法(如图2所示)，可应用于上述视频监控服务器。其中，所述图像识别方法有关的流程所定义的方法步骤，可以由所述视频监控服务器实现，所述视频监控服务器通信连接有视频监控终端设备。下面将对图2所示的具体流程，进行详细阐述。
步骤S110，获取所述视频监控终端设备发送的待处理监控视频。
在本发明实施例中，在执行步骤S110时，所述视频监控服务器可以获取所述视频监控终端设备发送的待处理监控视频。其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到。
步骤S120，针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度。
在本发明实施例中，在执行步骤S120时，所述视频监控服务器可以针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度。其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度。
步骤S130，基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果。
在本发明实施例中，在执行步骤S130时，所述视频监控服务器可以基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果。其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
基于上述的图像识别方法，在获取到视频监控终端设备发送的待处理监控视频之后，可以先针对待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，然后，再基于确定的视频帧关联度对每一帧监控视频帧进行识别处理得到每一帧所监控视频帧对应的视频帧识别结果，即再进行识别处理时考虑监控视频帧之间的视频帧关联度，使得识别处理的效果可以得到保障，从而改善现有技术中对于图像识别的效果不佳的问题。
可以理解的是，在一种可以替代的实现方式中，上述示例中的步骤S110可以进一步包括以下各步骤：
首先，确定当前时间信息，并判断所述当前时间信息是否属于预先配置的时间区间信息内，其中，所述时间区间信息基于所述视频监控服务器响应对应的监控管理用户进行的时间管理操作生成；
其次，若所述当前时间信息属于所述时间区间信息内，则获取预先配置的视频数据量阈值信息，并基于所述视频数据量阈值信息生成对应的视频监控开启通知信息，其中，所述视频数据量阈值信息基于所述视频监控服务器响应对应的监控管理用户进行的视频数据量管理操作生成；
然后，将所述视频监控开启通知信息发送给所述视频监控终端设备，其中，所述视频监控终端设备用于在接收到所述视频监控开启通知信息之后，开始对目标监控区域进行图像采集，并基于所述视频监控开启通知信息中携带的所述视频数据量阈值信息将采集到的对应数据量的待处理监控视频发送给所述视频监控服务器；
最后，获取所述视频监控终端设备基于所述视频监控开启通知信息采集并发送的所述待处理监控视频。
可以理解的是，在一种可以替代的实现方式中，上述示例中的步骤S120可以进一步包括以下各步骤：
首先，针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；
其次，计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；
然后，确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；
之后，确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；
进一步，基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度(可以参照后文关于所述像素相似度的计算方式)；
最后，基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联。
可以理解的是，在一种可以替代的实现方式中，上述示例中的所述计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度的步骤，可以进一步包括以下各步骤：
首先，基于所述第一目标监控视频帧中的像素点像素值进行排序，得到所述第一目标监控视频帧对应的第一像素值序列；
其次，基于所述第二目标监控视频帧中的像素点像素值进行排序，得到所述第二目标监控视频帧对应的第二像素值序列；
然后，确定所述第一像素值序列和所述第二像素值序列之间对应序列位置的像素点像素值之间的差值是否小于预先配置的第一差值阈值，并统计像素点像素值之间的差值小于所述第一差值阈值的对应序列位置的数量，得到对应的第一序列位置统计数量；
最后，基于所述第一序列位置统计数量计算而得到所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度(如计算所述第一序列位置统计数量与所述第一像素值序列或所述第二像素值序列中的序列位置的数量的比例，得到所述像素相似度)。
可以理解的是，在一种可以替代的实现方式中，上述示例中的所述确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列的步骤，可以进一步包括以下步骤：
首先，确定预先划分的多个连续的像素值区间(如0-50，51-100，101-150，151-200，201-255)，并确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间；
其次，基于像素值区间对所述第一目标监控视频帧的像素点进行分割，得到至少一个第一像素点像素值串，其中，同一个第一像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第一像素点像素值串中的像素点像素值所属的像素值区间不同；
然后，针对所述至少一个第一像素点像素值串中的每一个第一像素点像素值串，基于该第一像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第一像素点像素值串对应的像素标识信息(如区间0-50对应的像素标识信息可以为1，区间51-100对应的像素标识信息可以为2，区间101-150对应的像素标识信息可以为3)；
最后，基于所述至少一个第一像素点像素值串中的每一个第一像素点像素值串的先后关系，将每一个所述第一像素点像素值串的像素标识信息进行排序得到对应的第一像素标识信息序列。
可以理解的是，在一种可以替代的实现方式中，上述示例中的所述确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列的步骤，可以进一步包括以下步骤：
首先，确定预先划分的多个连续的像素值区间，并确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间；
其次，基于像素值区间对所述第二目标监控视频帧的像素点进行分割，得到至少一个第二像素点像素值串，其中，同一个第二像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第二像素点像素值串中的像素点像素值所属的像素值区间不同；
然后，针对所述至少一个第二像素点像素值串中的每一个第二像素点像素值串，基于该第二像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第二像素点像素值串对应的像素标识信息(如前所述)；
最后，基于所述至少一个第二像素点像素值串中的每一个第二像素点像素值串的先后关系，将每一个所述第二像素点像素值串的像素标识信息进行排序得到对应的第二像素标识信息序列。
可以理解的是，在一种可以替代的实现方式中，上述示例中的所述基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度的步骤，可以进一步包括以下各步骤：
首先，从所述第一目标监控视频帧中提取属于预先配置的目标像素值区间的每一个像素点像素值，并将提取的属于所述目标像素值区间的每一个像素点像素值按照在所述第一目标监控视频帧中的预设顺序进行排序，得到所述第一目标监控视频帧对应的第一目标像素点像素值序列；
其次，从所述第二目标监控视频帧中提取属于预先配置的目标像素值区间的每一个像素点像素值，并将提取的属于所述目标像素值区间的每一个像素点像素值按照在所述第二目标监控视频帧中的预设顺序进行排序，得到所述第二目标监控视频帧对应的第二目标像素点像素值序列；
然后，确定所述第一目标像素点像素值序列和所述第二目标像素点像素值序列之间对应序列位置的像素点像素值之间的差值是否小于预先配置的第二差值阈值，并统计像素点像素值之间的差值小于所述第二差值阈值的对应序列位置的数量，得到对应的第一序列位置统计数量，以及统计所述第一目标像素点像素值序列和所述第二目标像素点像素值序列中序列位置的数量的平均值，得到对应的第二序列位置统计数量；
之后，基于所述第一序列位置统计数量和所述第二序列位置统计数量，计算得到所述第一目标监控视频帧和所述第二目标监控视频帧之间的目标像素点像素值相似度(如计算所述第一序列位置统计数量和所述第二序列位置统计数量的比值，得到对应的目标像素点像素值相似度)；
最后，基于所述像素相似度、所述像素标识信息相似度和所述目标像素点像素值相似度进行融合处理(如进行加权求和计算)，得到所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度。
可以理解的是，在一种可以替代的实现方式中，上述示例中的步骤S130可以进一步包括以下各步骤：
首先，基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；
其次，针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果(其中，不同视频聚类集合的监控视频帧可以基于不同的行为识别模型进行识别处理，如此，可以保障同一视频聚类集合中的监控视频帧对应的视频帧识别结果的准确度较为一致，便于后续的应用。并且，所述行为识别模型可以是基于现有技术训练得到的一种神经网络模型，如通过计算与存在违规行为信息的标准视频帧之间的相似度，来确定监控视频帧中存在违规行为信息的概率，即相似度越高，则概率越大)。
本发明实施例还提供一种图像识别系统(如图3所示)，可应用于上述视频监控服务器。其中，所述图像识别系统可以包括以下各模块：
监控视频获取模块，用于获取所述视频监控终端设备发送的待处理监控视频，其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到；
视频帧关联度确定模块，用于针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度；
视频帧识别模块，用于基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果，其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
可以理解的是，在一种可以替代的实现方式中，所述视频帧关联度确定模块具体可以用于：
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度；基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度。
可以理解的是，在一种可以替代的实现方式中，所述视频帧识别模块具体可以用于：
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果。
综上所述，本发明提供的一种图像识别系统、图像识别方法，在获取到视频监控终端设备发送的待处理监控视频之后，可以先针对待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，然后，再基于确定的视频帧关联度对每一帧监控视频帧进行识别处理得到每一帧所监控视频帧对应的视频帧识别结果，即再进行识别处理时考虑监控视频帧之间的视频帧关联度，使得识别处理的效果可以得到保障，从而改善现有技术中对于图像识别的效果不佳的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像识别方法，其特征在于，应用于视频监控服务器，所述视频监控服务器通信连接有视频监控终端设备，所述图像识别方法包括：
获取所述视频监控终端设备发送的待处理监控视频，其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到；
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度；
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果，其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
2.如权利要求1所述的图像识别方法，其特征在于，所述获取所述视频监控终端设备发送的待处理监控视频的步骤，包括：
确定当前时间信息，并判断所述当前时间信息是否属于预先配置的时间区间信息内，其中，所述时间区间信息基于所述视频监控服务器响应对应的监控管理用户进行的时间管理操作生成；
若所述当前时间信息属于所述时间区间信息内，则获取预先配置的视频数据量阈值信息，并基于所述视频数据量阈值信息生成对应的视频监控开启通知信息，其中，所述视频数据量阈值信息基于所述视频监控服务器响应对应的监控管理用户进行的视频数据量管理操作生成；
将所述视频监控开启通知信息发送给所述视频监控终端设备，其中，所述视频监控终端设备用于在接收到所述视频监控开启通知信息之后，开始对目标监控区域进行图像采集，并基于所述视频监控开启通知信息中携带的所述视频数据量阈值信息将采集到的对应数据量的待处理监控视频发送给所述视频监控服务器；
获取所述视频监控终端设备基于所述视频监控开启通知信息采集并发送的所述待处理监控视频。
3.如权利要求1所述的图像识别方法，其特征在于，所述针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度的步骤，包括：
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；
计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；
确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；
确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；
基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度；
基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度。
4.如权利要求3所述的图像识别方法，其特征在于，所述计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度的步骤，包括：
基于所述第一目标监控视频帧中的像素点像素值进行排序，得到所述第一目标监控视频帧对应的第一像素值序列；
基于所述第二目标监控视频帧中的像素点像素值进行排序，得到所述第二目标监控视频帧对应的第二像素值序列；
确定所述第一像素值序列和所述第二像素值序列之间对应序列位置的像素点像素值之间的差值是否小于预先配置的第一差值阈值，并统计像素点像素值之间的差值小于所述第一差值阈值的对应序列位置的数量，得到对应的第一序列位置统计数量；
基于所述第一序列位置统计数量计算而得到所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度。
5.如权利要求3所述的图像识别方法，其特征在于，所述确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列的步骤，包括：
确定预先划分的多个连续的像素值区间，并确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间；
基于像素值区间对所述第一目标监控视频帧的像素点进行分割，得到至少一个第一像素点像素值串，其中，同一个第一像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第一像素点像素值串中的像素点像素值所属的像素值区间不同；
针对所述至少一个第一像素点像素值串中的每一个第一像素点像素值串，基于该第一像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第一像素点像素值串对应的像素标识信息；
基于所述至少一个第一像素点像素值串中的每一个第一像素点像素值串的先后关系，将每一个所述第一像素点像素值串的像素标识信息进行排序得到对应的第一像素标识信息序列。
6.如权利要求3所述的图像识别方法，其特征在于，所述确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列的步骤，包括：
确定预先划分的多个连续的像素值区间，并确定所述第二目标监控视频帧中每一个像素点像素值所属的像素值区间；
基于像素值区间对所述第二目标监控视频帧的像素点进行分割，得到至少一个第二像素点像素值串，其中，同一个第二像素点像素值串中的任意两个像素点像素值所属的像素值区间相同，且任意两个相邻第二像素点像素值串中的像素点像素值所属的像素值区间不同；
针对所述至少一个第二像素点像素值串中的每一个第二像素点像素值串，基于该第二像素点像素值串对应的像素值区间和预设的像素值区间-标识信息对应关系，确定该第二像素点像素值串对应的像素标识信息；
基于所述至少一个第二像素点像素值串中的每一个第二像素点像素值串的先后关系，将每一个所述第二像素点像素值串的像素标识信息进行排序得到对应的第二像素标识信息序列。
7.如权利要求1-6任意一项所述的图像识别方法，其特征在于，所述基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果的步骤，包括：
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；
针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果。
8.一种图像识别系统，其特征在于，应用于视频监控服务器，所述视频监控服务器通信连接有视频监控终端设备，所述图像识别系统包括：
监控视频获取模块，用于获取所述视频监控终端设备发送的待处理监控视频，其中，所述待处理监控视频包括多帧监控视频帧，且所述多帧监控视频帧基于所述视频监控终端设备对目标监控区域进行图像采集得到；
视频帧关联度确定模块，用于针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，确定该两帧监控视频帧之间的视频帧关联度，其中，所述视频帧关联度用于表征对应的两帧监控视频帧之间的关联关系紧密程度；
视频帧识别模块，用于基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧中的每一帧监控视频帧进行识别处理，得到每一帧所述监控视频帧对应的视频帧识别结果，其中，所述视频帧识别结果用于表征对应的所述监控视频帧中存在违规行为信息的概率。
9.如权利要求8所述的图像识别系统，其特征在于，所述视频帧关联度确定模块具体用于：
针对所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧，将该两帧监控视频帧作为相互对应的第一目标监控视频帧和第二目标监控视频帧；
计算所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素相似度，其中，所述像素相似度基于第一像素值序列和第二像素值序列之间的序列相似度确定，所述第一像素值序列基于所述第一目标监控视频帧中的像素点像素值得到，所述第二像素值序列基于所述第二目标监控视频帧中的像素点像素值得到；
确定所述第一目标监控视频帧中每一个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第一像素标识信息序列；
确定所述第二目标监控视频帧中每以个像素点像素值所属的像素值区间，并基于每一个像素点像素值所属的像素值区间和预设的像素值区间-标识信息对应关系得到第二像素标识信息序列；
基于所述第一像素标识信息序列和所述第二像素标识信息序列，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的像素标识信息相似度；
基于所述像素相似度和所述像素标识信息相似度，确定所述第一目标监控视频帧和所述第二目标监控视频帧之间的视频帧关联度。
10.如权利要求8所述的图像识别系统，其特征在于，所述视频帧识别模块具体用于：
基于所述待处理监控视频包括的多帧监控视频帧中的每两帧监控视频帧之间的所述视频帧关联度，对所述待处理监控视频包括的多帧监控视频帧进行聚类处理，得到所述待处理监控视频对应的至少一个视频帧聚类集合，其中，每一个所述视频帧聚类集合包括至少一帧监控视频帧；
针对所述至少一个视频聚类集合中的每一个视频聚类集合，基于同一个行为识别模型对该视频聚类集合包括的每一帧监控视频帧进行行为识别处理，得到每一帧监控视频帧对应的视频帧识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111335069.6A CN114140713A (zh) | 2021-11-11 | 2021-11-11 | 一种图像识别系统、图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111335069.6A CN114140713A (zh) | 2021-11-11 | 2021-11-11 | 一种图像识别系统、图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140713A true CN114140713A (zh) | 2022-03-04 |
Family
ID=80393702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111335069.6A Withdrawn CN114140713A (zh) | 2021-11-11 | 2021-11-11 | 一种图像识别系统、图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140713A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627394A (zh) * | 2022-05-16 | 2022-06-14 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车套牌识别方法及系统 |
| CN114863350A (zh) * | 2022-07-06 | 2022-08-05 | 江苏开放大学（江苏城市职业学院） | 一种基于图像识别的森林监控方法及系统 |
| CN115082709A (zh) * | 2022-07-21 | 2022-09-20 | 济南星睿信息技术有限公司 | 遥感大数据处理方法、系统及云平台 |
| CN115205765A (zh) * | 2022-09-15 | 2022-10-18 | 成都中轨轨道设备有限公司 | 一种基于fpga的视频分析方法及系统 |
| CN115361584A (zh) * | 2022-08-22 | 2022-11-18 | 广东电网有限责任公司 | 一种视频数据处理方法、装置、电子设备及可读存储介质 |
| CN115375587A (zh) * | 2022-10-24 | 2022-11-22 | 北京实创上地科技有限公司 | 一种视频处理方法及服务器 |
-
2021
- 2021-11-11 CN CN202111335069.6A patent/CN114140713A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627394A (zh) * | 2022-05-16 | 2022-06-14 | 深圳联和智慧科技有限公司 | 一种基于无人机的渣土车套牌识别方法及系统 |
| CN114863350A (zh) * | 2022-07-06 | 2022-08-05 | 江苏开放大学（江苏城市职业学院） | 一种基于图像识别的森林监控方法及系统 |
| CN115082709A (zh) * | 2022-07-21 | 2022-09-20 | 济南星睿信息技术有限公司 | 遥感大数据处理方法、系统及云平台 |
| CN115082709B (zh) * | 2022-07-21 | 2023-07-07 | 陕西合友网络科技有限公司 | 遥感大数据处理方法、系统及云平台 |
| CN115361584A (zh) * | 2022-08-22 | 2022-11-18 | 广东电网有限责任公司 | 一种视频数据处理方法、装置、电子设备及可读存储介质 |
| CN115361584B (zh) * | 2022-08-22 | 2023-10-03 | 广东电网有限责任公司 | 一种视频数据处理方法、装置、电子设备及可读存储介质 |
| CN115205765A (zh) * | 2022-09-15 | 2022-10-18 | 成都中轨轨道设备有限公司 | 一种基于fpga的视频分析方法及系统 |
| CN115205765B (zh) * | 2022-09-15 | 2022-11-25 | 成都中轨轨道设备有限公司 | 一种基于fpga的视频分析方法及系统 |
| CN115375587A (zh) * | 2022-10-24 | 2022-11-22 | 北京实创上地科技有限公司 | 一种视频处理方法及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140713A (zh) | 一种图像识别系统、图像识别方法 | |
| CN114140712A (zh) | 一种自动图像识别分发系统及方法 | |
| CN114724215A (zh) | 一种敏感图像识别方法及系统 | |
| CN114581856A (zh) | 基于北斗系统的农业机组运动状态识别方法、系统及云平台 | |
| CN114139016A (zh) | 一种智慧小区的数据处理方法及系统 | |
| CN114697618A (zh) | 一种基于移动终端的楼宇控制方法及系统 | |
| CN113868471A (zh) | 一种基于监控设备关系的数据匹配方法及系统 | |
| CN114140710A (zh) | 一种基于数据处理的监控数据传输方法及系统 | |
| CN113949881B (zh) | 一种基于智慧城市数据的业务处理方法及系统 | |
| CN114187763A (zh) | 一种智慧交通的车辆行驶数据筛选方法及系统 | |
| CN116821777B (zh) | 一种新型基础测绘数据整合方法及系统 | |
| CN115147134B (zh) | 基于工业互联网的产品防伪追溯方法、系统及云平台 | |
| CN115457467A (zh) | 一种基于数据挖掘的建筑质量隐患定位方法及系统 | |
| CN115424193A (zh) | 一种训练图像信息处理的方法及系统 | |
| CN115375886A (zh) | 一种基于云计算服务的数据采集方法及系统 | |
| CN115620243A (zh) | 基于人工智能的污染源监测方法、系统及云平台 | |
| CN115330140A (zh) | 一种基于数据挖掘的建筑风险预测方法及其预测系统 | |
| CN114095734A (zh) | 一种基于数据处理的用户数据压缩方法及系统 | |
| CN114677615A (zh) | 一种环境检测方法和检测系统 | |
| CN114896653A (zh) | 一种基于bim的建筑物数据监测方法及其系统 | |
| CN113808088A (zh) | 一种污染检测方法及系统 | |
| CN114139017A (zh) | 一种智慧小区的安全防范方法及系统 | |
| CN115620031B (zh) | 一种自然资源确权登记信息处理方法、系统及设备 | |
| CN114156495B (zh) | 基于大数据的叠层电池装配处理方法及系统 | |
| CN114173086A (zh) | 一种基于数据处理的用户数据筛选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220304 |