CN111223129A - 检测方法、检测装置、监控设备和计算机可读存储介质 - Google Patents

检测方法、检测装置、监控设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111223129A
CN111223129A CN202010027424.2A CN202010027424A CN111223129A CN 111223129 A CN111223129 A CN 111223129A CN 202010027424 A CN202010027424 A CN 202010027424A CN 111223129 A CN111223129 A CN 111223129A
Authority
CN
China
Prior art keywords
image
detection
target
pixel
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010027424.2A
Other languages
English (en)
Inventor
邢军华
欧阳一村
曾志辉
许文龙
贺涛
蒋铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN202010027424.2A priority Critical patent/CN111223129A/zh
Priority to PCT/CN2020/087212 priority patent/WO2021139049A1/zh
Publication of CN111223129A publication Critical patent/CN111223129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明提出了一种检测方法、检测装置、监控设备和计算机可读存储介质。其中，检测方法包括：获取至少一个摄像装置的图像数据；识别图像数据中目标图像的每一个像素点的像素值；根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；记录目标检测对象。本发明的检测方法能够大大提高检测对象进入监测区域时实时检测的检测速度和精度，而且可同时支持大量摄像装置实时检测，极大地提高了实际工程的投入产出比，并且能够排除非检测对象引起的误检影响。

Description

检测方法、检测装置、监控设备和计算机可读存储介质
技术领域
本发明涉及视频图像识别技术领域，具体而言，涉及一种检测方法、一种检测装置、一种监控设备和一种计算机可读存储介质。
背景技术
站房是整个工程监控系统的核心区域，大量的计算分析部署在这里，为防止闲杂人等随意进入及系统更新维护责任到人，保证站房系统安全及系统的有效管理，需要对监控站房的上百路甚至上千路摄像头进行实时行人检测。目前常见的行人检测算法有两种：帧间差分法和基于深度学习的目标检测算法。
帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。该方法实现简单，运算速度快(5ms左右)，对光线的变化不敏感。但是在运动体内易产生空洞，特别是目标运动速度较快时，影响目标区域准确提取，且检测效果取决于差分阈值的设定，对前景中的任何运动物体都会进行检测，无法区分行人和物体，存在目标误判、误检率高的问题。
基于深度学习的目标检测算法主要通过权值共享、局部连接等策略端到端的自动学习捕捉物体的特征，使网络具有更强的解析能力。但为了工程项目的投入产出比最大化，则需要一台服务器支持尽可能多路摄像头，而目标检测算法检测速度(20ms左右)相比帧间差分(5ms左右)慢四倍左右，仅仅用目标检测算法，运行速度过慢，难以支持上百路摄像头同时检测，使得项目的投入产出比大大降低。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明第一方面在于提出了一种检测方法。
本发明的第二方面在于提出了一种检测装置。
本发明的第三方面在于提出了一种监控设备。
本发明的第四方面在于提出了一种计算机可读存储介质。
有鉴于此，根据本发明的第一方面，提出了一种检测方法，包括：获取至少一个摄像装置的图像数据；识别图像数据中目标图像的每一个像素点的像素值；根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；采用YOLOv3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；记录目标检测对象。
本发明提供的检测方法，获取至少一个摄像装置的图像数据，识别同一路摄像装置采集目标图像中全部像素点的像素值，并计算相邻两帧目标图像中同一位置的像素点的像素值之间的像素差值，根据所有像素点的像素差值的绝对值之和与预设像素值之间的大小关系，判断是否存在运动物体，从而对采集于同一路摄像装置的相邻两帧目标图像进行帧间差分处理，同时将检测到运动物体的目标图像作为待检测图像，并送入YOLO v3(YouOnly Look One，你只看一次)模型迭代的第三个版本进行检测运算，利用YOLO v3模型识别出待检测图像中存在有的目标检测对象，并进行记录，以供用户对监测区域进行实时监控。本发明的检测方法利用帧间差分的快速性、广泛性及基于深度学习的目标检测算法的高精度，大大提高了检测对象进入监测区域时实时检测的检测速度和精度，而且可同时支持大量摄像装置实时检测，极大地提高了实际工程的投入产出比，并且能够排除非检测对象引起的误检影响，解决现有的行人检测方法在准确率、速度、经济效益投入产出比等方面存在不足的问题。
具体地，YOLO迭代三个版本作为最具代表性的one-stage(单阶段)目标检测模型，YOLO v3模型能够达到速度和精度的和谐统一。YOLO v3模型的骨干网络为53层，而且模型结构中没有池化层和全连接层，相比于SSD(Single Shot MultiBox Detector，单一深层神经网络检测模型)大大提高了目标检测的精度，相比于Faster_RCNN(Faster Region withCNN feature，快速的卷积网络检测模型)有效提升检测速度，进一步地，对于精度要求较低的监测场景，为了进一步提升检测速度，可采用YOLO v3-tiny(微型YOLO v3)模型。
需要说明的是，目标检测对象可以是行人、车辆、动物等能够运动的物体，根据目标检测对象的特征参数设置针对该目标检测对象的YOLO v3模型，从而根据待检测图像和YOLO v3模型，能够准确、快速地在不同类型运动物体中识别出目标检测对象。
另外，根据本发明提供的上述技术方案中的检测方法，还可以具有如下附加技术特征：
在上述技术方案中，进一步地，获取至少一个摄像装置的图像数据的步骤，具体包括：获取图像数据的配置信息；根据配置信息确定下载图像数据所需的进程数量；根据进程数量并行下载图像数据。
在该技术方案中，根据图像数据的配置信息确定下载图像数据所需的进程数量，根据进程数量以多进程并行的方式下载多路摄像装置的图像数据，大大缩短了目标图像的下载时间，有效提升检测效率，并能够充分利用服务器资源，提升用户的使用体验。
具体地，配置信息为内存占用、数据类别等信息。
在上述任一技术方案中，进一步地，根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像的步骤，具体包括：根据当前帧目标图像的像素点与前一帧目标图像的像素点之间的对应关系，计算当前帧目标图像中每一个像素点的像素值与前一帧目标图像中每一个像素点的像素值之间的像素差值；比较所有像素点的像素差值的绝对值之和与预设像素值之间的大小关系；基于所有像素点的像素差值的绝对值之和大于预设像素值的情况，将当前帧目标图像作为待检测图像。
在该技术方案中，识别同一路摄像装置采集的相邻两帧目标图像中全部像素点的像素值之后，计算当前帧目标图像中每个像素点的像素值与前一帧目标图像中同一位置的像素点的像素值之间的像素差值，对比所有像素点的像素差值的绝对值之和与预设像素值，若所有像素点的像素差值的绝对值之和大于预设像素值，说明当前帧目标图像和前一帧目标图像之间存在较大差异，即出现运动物体，则将当前帧目标图像作为待检测图像，从而在大量的图像数据中筛选出包含运动物体的图像，便于后续对该图像进行目标检测对象的识别，大大提高了检测对象进入监测区域时实时检测的检测速度，避免了相关技术中无法在保证精度的情况下，对批量图像进行检测的问题。
其中，预设像素值可以根据实际场景和图像像素值进行合理设置。
进一步地，识别目标图像的像素值的步骤具体包括：对连续两帧图像进行灰度化处理，以削弱图像的相似部分，突出显示图像的变化部分；二值化该灰度图像，并从中提取目标图像中每一个像素点的像素值。
在上述任一技术方案中，进一步地，还包括：基于像素差值的绝对值之和小于或等于预设像素值的情况，记录前一个待检测图像中存在的目标检测对象。
在该技术方案中，若像素差值的绝对值之和小于或等于预设像素值，说明当前帧目标图像和前一帧目标图像之间差异较小，此时直接记录上一次待检测图像中目标检测对象的检测结果，无需再次通过YOLO v3模型对图像进行运算，大大提高了检测对象进入监测区域时实时检测的检测速度，避免了相关技术中无法在保证精度的情况下，对批量图像进行检测的问题。
在上述任一技术方案中，进一步地，对至少一个摄像装置中每一个摄像装置对应的图像数据中的目标图像进行帧间差分处理的步骤之前，还包括：对目标图像进行滤波处理；以及对经滤波处理的目标图像进行对比度增强处理。
在该技术方案中，在对目标图像进行帧间差分处理之前，对目标图像进行滤波处理和对比度增强处理，从而消除目标图像中不需要的部分，提高图像特征的清晰度，有利于进行像素值之间的计算，从而提高运动物体检测的准确性。
另外，考虑到帧间差分的处理效率，还可以对目标图像进行剪裁，以过滤图像中大量的背景内容。
在上述任一技术方案中，进一步地，图像数据包括摄像装置的身份信息、摄像装置采集的目标图像以及目标图像的采集时间。
在该技术方案中，图像数据包括摄像装置的身份信息(ID)、摄像装置采集的目标图像以及目标图像的采集时间，在目标图像中检测到目标检测对象后，根据采集该图像的摄像装置身份信息和时间，用户能够及时定位目标检测对象出现位置和时间，从而实现监测区域的实时监控。
在上述任一技术方案中，进一步地，采用YOLO v3模型对待检测图像进行检测运算的步骤之后，还包括：根据预设尺寸分割待检测图像，得到检测单元格；匹配检测单元格和卷积神经网络模型，确定检测单元格的边界框；根据边界框和预设类别边界框，确定边界框的定位置信度和分类置信度；采用极大值抑制算法对定位置信度和分类置信度进行处理，得到目标检测对象的类别信息。
在该技术方案中，将输入的待检测图像分割成S×S网格状检测单元格，并送入卷积神经网络(CNN网络)提取特征，每个单元格会预测出多个边界框(bounding box)以及边界框的置信度(confidence score)，其中，边界框的置信度包括定位置信度和分类置信度，分类置信度即边界框中目标检测对象属于各个类别的概率，通过极大值抑制算法(NMS)对定位置信度和分类置信度进行处理，得到目标检测对象的类别信息，进一步优化了检测系统，对目标检测对象进行归类，以便于用户对同类型目标检测对象进行追踪，例如，行人检测时，识别出行人类别为成人或儿童。
具体地，边界框的大小和位置用(x，y，w，h)来表征，其中，(x，y)是边界框的中心坐标，w、h分别是边界框的宽和高。
在上述任一技术方案中，进一步地，记录待检测图像中存在的目标检测对象的步骤，具体包括：根据待检测图像、类别信息、身份信息及采集时间生成并上传事件记录。
在该技术方案中，在检测到目标检测对象后，将待检测图像和与其对应的目标检测对象类别信息、摄像装置身份信息及待检测图像的采集时间进行记录，生成事件记录并上传，以便于用户随时查询监测区域内检测对象的进出情况。
根据本发明的第二方面，提出了一种检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项的检测方法。因此该检测装置具备上述任一项的检测方法的全部有益效果。
根据本发明的第三方面，提出了一种监控设备，包括：至少一个摄像装置；以及上述检测装置，检测装置连接于至少一个摄像装置，检测装置执行计算机程序时能够实现以下步骤：获取至少一个摄像装置的图像数据；根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；记录目标检测对象。
本发明提供的监控设备，能够获取至少一个摄像装置的图像数据，识别同一路摄像装置采集目标图像中全部像素点的像素值，并计算相邻两帧目标图像中同一位置的像素点的像素值之间的像素差值，根据所有像素点的像素差值的绝对值之和与预设像素值之间的大小关系，判断是否存在运动物体，从而对采集于同一路摄像装置的相邻两帧目标图像进行帧间差分处理，同时将检测到运动物体的目标图像作为待检测图像，并送入YOLO v3模型进行检测运算，利用YOLO v3模型识别出待检测图像中存在有的目标检测对象，并进行记录，以供用户对监测区域进行实时监控。该监控设备利用帧间差分的快速性、广泛性及基于深度学习的目标检测算法的高精度，大大提高了检测对象进入监测区域时实时检测的检测速度和精度，而且可同时支持大量摄像装置实时检测，极大提高了实际工程的投入产出比，并且能够排除非检测对象造成的误检，解决现有的行人检测方法在准确率、速度、经济效益投入产出比等方面存在不足的问题。
根据本发明的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的检测方法的步骤。因此该计算机可读存储介质具备上述任一项的检测方法的全部有益效果。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明一个实施例的检测方法流程示意图；
图2示出了本发明又一个实施例的检测方法流程示意图；
图3示出了本发明又一个实施例的检测方法流程示意图；
图4示出了本发明又一个实施例的检测方法流程示意图；
图5示出了本发明一个具体实施例的检测方法流程示意图；
图6示出了本发明一个实施例的检测装置示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
下面参照图1至图6描述根据本发明一些实施例的检测方法、检测装置600、监控设备及计算机可读存储介质。
实施例一
如图1所示，根据本发明第一方面的实施例，提出了一种检测方法，该方法包括：
步骤102，获取至少一个摄像装置的图像数据；
步骤104，识别图像数据中目标图像的每一个像素点的像素值；
步骤106，根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；
步骤108，采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；
步骤110，记录待检测图像中存在的目标检测对象。
在该实施例中，获取至少一个摄像装置的图像数据，识别同一路摄像装置采集目标图像中全部像素点的像素值，并计算相邻两帧目标图像中同一位置的像素点的像素值之间的像素差值，根据所有像素点的像素差值的绝对值之和与预设像素值之间的大小关系，判断是否存在运动物体，从而对采集于同一路摄像装置的相邻两帧目标图像进行帧间差分处理，同时将检测到运动物体的目标图像作为待检测图像，并送入YOLO v3模型进行检测运算，利用YOLO v3模型识别出待检测图像中存在有的目标检测对象，并进行记录，以供用户对监测区域进行实时监控。本发明的检测方法利用帧间差分的快速性、广泛性及基于深度学习的目标检测算法的高精度，大大提高了检测对象进入监测区域时实时检测的检测速度和精度，而且可同时支持大量摄像装置实时检测，极大地提高了实际工程的投入产出比，并且能够排除非检测对象引起的误检影响，解决现有的行人检测方法在准确率、速度、经济效益投入产出比等方面存在不足的问题。
需要说明的是，目标检测对象可以是行人、车辆、动物等能够运动的物体，根据目标检测对象的特征参数设置针对该目标检测对象的YOLO v3模型，从而根据待检测图像和YOLO v3模型，能够准确、快速地在不同类型运动物体中识别出目标检测对象。
进一步地，图像数据包括摄像装置的身份信息(ID)、摄像装置采集的目标图像以及目标图像的采集时间，在目标图像中检测到目标检测对象后，根据采集该图像的摄像装置身份信息和时间，用户能够及时定位目标检测对象出现位置和时间，从而实现监测区域的实时监控。
具体地，YOLO迭代三个版本作为最具代表性的one-stage(单阶段)目标检测模型，YOLO v3模型能够达到速度和精度的和谐统一。YOLO v3模型的骨干网络为53层，而且模型结构中没有池化层和全连接层，相比于SSD(Single Shot MultiBox Detector，单一深层神经网络检测模型)大大提高了目标检测的精度，相比于Faster_RCNN(Faster Region withCNN feature，快速的卷积网络检测模型)有效提升检测速度，进一步地，对于精度要求较低的监测场景，为了进一步提升检测速度，可采用YOLO v3-tiny(微型YOLO v3)模型。
实施例二
如图2所示，根据本发明的一个实施例，提出了一种检测方法，该方法包括：
步骤202，获取图像数据的配置信息；
步骤204，根据配置信息确定下载图像数据所需的进程数量；
步骤206，根据进程数量并行下载图像数据；
步骤208，识别图像数据中目标图像的每一个像素点的像素值；
步骤210，根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；
步骤212，采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；
步骤214，记录待检测图像中存在的目标检测对象。
在该实施例中，根据图像数据的配置信息确定下载图像数据所需的进程数量，根据进程数量以多进程并行的方式下载多路摄像装置的图像数据，大大缩短了目标图像的下载时间，有效提升检测效率，并能够充分利用服务器资源，提升用户的使用体验。
具体地，配置信息为内存占用、数据类别等信息。
进一步地，对至少一个摄像装置中每一个摄像装置对应的图像数据中的目标图像进行帧间差分处理的步骤之前，还包括：对目标图像进行滤波处理；以及对经滤波处理的目标图像进行对比度增强处理，从而消除目标图像中不需要的部分，提高图像特征的清晰度，有利于进行像素值之间的计算，从而提高运动物体检测的准确性。
另外，考虑到帧间差分的处理效率，还可以对目标图像进行剪裁，以过滤图像中大量的背景内容。
实施例三
如图3所示，根据本发明的一个实施例，提出了一种检测方法，该方法包括：
步骤302，获取至少一个摄像装置的图像数据；
步骤304，识别每一个摄像装置对应的图像数据中的目标图像中每一个像素点的像素值；
步骤306，根据当前帧目标图像的像素点与前一帧目标图像的像素点之间的对应关系，计算当前帧目标图像中每一个像素点的像素值与前一帧目标图像中每一个像素点的像素值之间的像素差值；
步骤308，所有像素点的像素差值的绝对值之和是否大于预设像素值，若是，进入步骤310，若否，进入步骤316；
步骤310，将当前帧目标图像作为待检测图像；
步骤312，采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；
步骤314，记录待检测图像中存在的目标检测对象；
步骤316，记录前一个待检测图像中存在的目标检测对象。
在该实施例中，识别同一路摄像装置采集的相邻两帧目标图像中全部像素点的像素值之后，计算当前帧目标图像中每个像素点的像素值与前一帧目标图像中同一位置的像素点的像素值之间的像素差值，对比每个像素点的像素差值的绝对值之和与预设像素值，若所有像素点的像素差值的绝对值之和大于预设像素值，说明当前帧目标图像和前一帧目标图像之间存在较大差异，即出现运动物体，则将当前帧目标图像作为待检测图像，若所有像素点的像素差值的绝对值之和小于或等于预设像素值，说明当前帧目标图像和前一帧目标图像之间差异较小，此时直接记录上一次待检测图像中目标检测对象的检测结果，无需再次通过YOLO v3模型对图像进行运算，从而在大量的图像数据中筛选出包含运动物体的图像，便于后续对该图像进行目标检测对象的识别，大大提高了检测对象进入监测区域时实时检测的检测速度，避免了相关技术中无法在保证精度的情况下，对批量图像进行检测的问题。
进一步地，识别目标图像的像素值的步骤具体包括：对连续两帧图像进行灰度化处理，以削弱图像的相似部分，突出显示图像的变化部分；二值化该灰度图像，并从中提取目标图像中每一个像素点的像素值。
实施例四
如图4所示，根据本发明的一个实施例，提出了一种检测方法，该方法包括：
步骤402，获取至少一个摄像装置的图像数据；
步骤404，识别图像数据中目标图像的每一个像素点的像素值；
步骤406，根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；
步骤408，采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；
步骤410，根据预设尺寸分割待检测图像，得到检测单元格；
步骤412，匹配检测单元格和卷积神经网络模型，确定检测单元格的边界框；
步骤414，根据边界框和预设类别边界框，确定边界框的定位置信度和分类置信度；
步骤416，采用极大值抑制算法对定位置信度和分类置信度进行处理，得到目标检测对象的类别信息；
步骤418，根据待检测图像、类别信息、身份信息及采集时间生成并上传事件记录。
在该实施例中，将输入的待检测图像分割成S×S网格状检测单元格，并送入卷积神经网络(CNN网络)提取特征，每个单元格会预测出多个边界框以及边界框的置信度，其中，边界框的置信度包括定位置信度和分类置信度，分类置信度即边界框中目标检测对象属于各个类别的概率，采用极大值抑制算法(NMS)对定位置信度和分类置信度进行处理，得到目标检测对象的类别信息，通过上述方案，进一步优化了检测系统，对目标检测对象进行归类，以便于用户对同类型目标检测对象进行追踪，例如，行人检测时，识别出行人类别为成人或儿童。在目标图像中检测到目标检测对象后，将待检测图像和与其对应的目标检测对象类别信息、摄像装置身份信息及待检测图像采集时间进行记录，生成并上传事件记录，以便于用户随时查询监测区域内检测对象的进出情况。
具体地，利用YOLO v3模型将输入的图片分割成S×S网格状检测单元格，CNN网络模型负责检测那些中心点落在检测单元格内的目标，即每个单元格会预测B个边界框以及边界框的置信度，每个格子对应是预测总的类别数为C种类别，其中，置信度包含两个方面的含义，一是边界框含有目标的可能性大小，二是这个边界框的准确度，边界框的准确度可以用预测框(边界框)与实际框(ground truth，即预设类别边界框)的交并比(intersection over union，IOU)来表征。
实施例五
如图5所示，根据本发明的一个具体实施例，提出了一种检测方法，以站房为监测区域，站房设置有多个摄像头，以行人为目标检测对象，检测方法包括：
步骤502，站房摄像头实时采集图片数据；
步骤504，多进程并行下载多路摄像头数据；
步骤506，对来自同一路摄像头的相邻两帧图像做帧间差分；
步骤508，判断像素值差的绝对值之和是否小于预设阈值，若是，进入步骤510，若否，进入步骤512；
步骤510，将存储的上次检测结果返回；
步骤512，多进程调用YOLO v3模型进行检测并将检测结果和摄像头ID保存并替换更新；
步骤514，将检测到行人的结果返回给智能识别系统，形成事件记录。
在该实施例中，为了尽可能减小图片下载时延及支持尽可能多的多路摄像头，采用多进程并行下载多路摄像头数据(摄像头ID、图片及采集时间)，然后进行图片帧间差分，判断同一路摄像头图像序列中的连续两帧图像的像素值差的绝对值之和是否大于或等于预设阈值(预设像素值)，对大于阈值的图片采用多进程调用YOLO v3模型进行检测并将检测结果和摄像头ID保存并替换更新，对小于阈值的图片直接将存储的上次检测结果返回，供后续运用图片帧间差分的图片调用。检测处理选用精度和速度都很高的YOLO v3模型做检测。
本实施例提供的检测方法，利用帧间差分的快速性及基于深度学习YOLO v3目标检测算法的高精度，配合多进程下载图片和多进程检测，大大提高了行人进入站房实时检测系统的检测速度和精度，可同时支持上百路摄像头实时检测，极大提高了实际工程的投入产出比，解决现有的行人检测方法在准确率、速度、经济效益投入产出比等方面存在不足的问题。
具体地，系统部署前，利用采集的大量图片进行训练迭代优化，得到YOLO v3模型。
实施例六
如图6所示，根据本发明第二方面的实施例，提出了一种检测装置600，包括存储器602、处理器604及存储在存储器602上并可在处理器604上运行的计算机程序，处理器604执行计算机程序时实现上述任一实施例的检测方法。因此该检测装置600具备上述任一实施例的检测方法的全部有益效果。
实施例七
根据本发明第三方面的实施例，提出了一种监控设备，包括：至少一个摄像装置；以及上述检测装置，检测装置连接于至少一个摄像装置，检测装置执行计算机程序时能够实现以下步骤：获取至少一个摄像装置的图像数据；识别图像数据中目标图像的每一个像素点的像素值；根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；采用YOLO v3模型对待检测图像进行检测运算，以识别待检测图像中存在的目标检测对象；记录目标检测对象。
本实施例提供的监控设备，能够获取至少一个摄像装置的图像数据，识别同一路摄像装置采集目标图像中全部像素点的像素值，并计算相邻两帧目标图像中同一位置的像素点的像素值之间的像素差值，根据所有像素点的像素差值的绝对值之和与预设像素值之间的大小关系，判断是否存在运动物体，从而对采集于同一路摄像装置的相邻两帧目标图像进行帧间差分处理，同时将检测到运动物体的目标图像作为待检测图像，并送入YOLO v3模型进行检测运算，通过YOLO v3模型识别出待检测图像中存在有的目标检测对象，并进行记录，以供用户对监测区域进行实时监控。该监控设备利用帧间差分的快速性、广泛性及基于深度学习的目标检测算法的高精度，大大提高了检测对象进入监测区域时实时检测的检测速度和精度，而且可同时支持大量摄像装置实时检测，极大提高了实际工程的投入产出比，并且能够排除非检测对象造成的误检，解决现有的行人检测方法在准确率、速度、经济效益投入产出比等方面存在不足的问题。
实施例八
根据本发明第四方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的检测方法的步骤。因此该计算机可读存储介质具备上述任一实施例的检测方法的全部有益效果。
在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种检测方法，其特征在于，包括：
获取至少一个摄像装置的图像数据；
识别所述图像数据中目标图像的每一个像素点的像素值；
根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；
采用YOLO v3模型对所述待检测图像进行检测运算，以识别所述待检测图像中存在的目标检测对象；
记录所述目标检测对象。
2.根据权利要求1所述的检测方法，其特征在于，所述获取至少一个摄像装置的图像数据的步骤，具体包括：
获取所述图像数据的配置信息；
根据所述配置信息确定下载所述图像数据所需的进程数量；
根据所述进程数量并行下载所述图像数据。
3.根据权利要求1所述的检测方法，其特征在于，所述根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像的步骤，具体包括：
根据当前帧目标图像的像素点与前一帧目标图像的像素点之间的对应关系，计算所述当前帧目标图像中每一个像素点的像素值与所述前一帧目标图像中每一个像素点的像素值之间的像素差值；
比较所述所有像素点的像素差值的绝对值之和与所述预设像素值之间的大小关系；
基于所述所有像素点的像素差值的绝对值之和大于所述预设像素值的情况，将所述当前帧目标图像作为所述待检测图像。
4.根据权利要求3所述的检测方法，其特征在于，还包括：
基于所述像素差值的绝对值之和小于或等于所述预设像素值的情况，记录前一个待检测图像中存在的目标检测对象。
5.根据权利要求1至4中任一项所述的检测方法，其特征在于，
所述图像数据包括所述摄像装置的身份信息、所述摄像装置采集的所述目标图像以及所述目标图像的采集时间。
6.根据权利要求5所述的检测方法，其特征在于，所述采用YOLO v3模型对所述待检测图像进行检测运算的步骤之后，还包括：
根据预设尺寸分割所述待检测图像，得到检测单元格；
匹配所述检测单元格和卷积神经网络模型，确定所述检测单元格的边界框；
根据所述边界框和预设类别边界框，确定所述边界框的定位置信度和分类置信度；
采用极大值抑制算法对所述定位置信度和所述分类置信度进行处理，得到所述目标检测对象的类别信息。
7.根据权利要求6所述的检测方法，其特征在于，所述记录所述目标检测对象的步骤，具体包括：
根据所述待检测图像、所述类别信息、所述身份信息及所述采集时间生成并上传事件记录。
8.一种检测装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时执行如权利要求1至7中任一项所述的检测方法。
9.一种监控设备，其特征在于，包括：
至少一个摄像装置；
如权利要求8所述的检测装置，所述检测装置连接于所述至少一个摄像装置，所述检测装置执行计算机程序时能够实现以下步骤：
获取所述至少一个摄像装置的图像数据；
识别所述图像数据中目标图像的每一个像素点的像素值；
根据相邻两帧目标图像中所有像素点的像素差值的绝对值之和、预设像素值，确定待检测图像；
采用YOLO v3模型对所述待检测图像进行检测运算，以识别所述待检测图像中存在的目标检测对象；
记录所述目标检测对象。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的检测方法。
CN202010027424.2A 2020-01-10 2020-01-10 检测方法、检测装置、监控设备和计算机可读存储介质 Pending CN111223129A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010027424.2A CN111223129A (zh) 2020-01-10 2020-01-10 检测方法、检测装置、监控设备和计算机可读存储介质
PCT/CN2020/087212 WO2021139049A1 (zh) 2020-01-10 2020-04-27 检测方法、检测装置、监控设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027424.2A CN111223129A (zh) 2020-01-10 2020-01-10 检测方法、检测装置、监控设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111223129A true CN111223129A (zh) 2020-06-02

Family

ID=70831383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027424.2A Pending CN111223129A (zh) 2020-01-10 2020-01-10 检测方法、检测装置、监控设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111223129A (zh)
WO (1) WO2021139049A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131966A (zh) * 2020-09-01 2020-12-25 深圳中兴网信科技有限公司 泥头车监控方法、系统和存储介质
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112380962A (zh) * 2020-11-11 2021-02-19 成都摘果子科技有限公司 一种基于深度学习的动物图像识别方法及系统
CN113949830A (zh) * 2021-09-30 2022-01-18 国家能源集团广西电力有限公司 一种图像处理方法
CN114897762A (zh) * 2022-02-18 2022-08-12 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置
CN114898044A (zh) * 2022-05-19 2022-08-12 同方威视技术股份有限公司 检测对象成像方法、装置、设备及介质
CN116824514A (zh) * 2023-08-30 2023-09-29 四川弘和数智集团有限公司 一种目标识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985170A (zh) * 2018-06-15 2018-12-11 山东信通电子股份有限公司 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN109584264A (zh) * 2018-11-19 2019-04-05 南京航空航天大学 一种基于深度学习的无人机视觉引导空中加油方法
CN109725310A (zh) * 2018-11-30 2019-05-07 中船（浙江）海洋科技有限公司 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统
US20190377944A1 (en) * 2018-06-08 2019-12-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for image processing, computer readable storage medium, and electronic device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100544446C (zh) * 2007-07-06 2009-09-23 浙江大学 用于视频监控的实时运动检测方法
CN106937090A (zh) * 2017-04-01 2017-07-07 广东浪潮大数据研究有限公司 一种视频存储的方法以及装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN110084173B (zh) * 2019-04-23 2021-06-15 精伦电子股份有限公司 人头检测方法及装置
CN110490910A (zh) * 2019-08-13 2019-11-22 顺丰科技有限公司 目标检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190377944A1 (en) * 2018-06-08 2019-12-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for image processing, computer readable storage medium, and electronic device
CN108985170A (zh) * 2018-06-15 2018-12-11 山东信通电子股份有限公司 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN109584264A (zh) * 2018-11-19 2019-04-05 南京航空航天大学 一种基于深度学习的无人机视觉引导空中加油方法
CN109725310A (zh) * 2018-11-30 2019-05-07 中船（浙江）海洋科技有限公司 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131966A (zh) * 2020-09-01 2020-12-25 深圳中兴网信科技有限公司 泥头车监控方法、系统和存储介质
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112380962A (zh) * 2020-11-11 2021-02-19 成都摘果子科技有限公司 一种基于深度学习的动物图像识别方法及系统
CN113949830A (zh) * 2021-09-30 2022-01-18 国家能源集团广西电力有限公司 一种图像处理方法
CN113949830B (zh) * 2021-09-30 2023-11-24 国家能源集团广西电力有限公司 一种图像处理方法
CN114897762A (zh) * 2022-02-18 2022-08-12 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置
CN114898044A (zh) * 2022-05-19 2022-08-12 同方威视技术股份有限公司 检测对象成像方法、装置、设备及介质
CN114898044B (zh) * 2022-05-19 2024-01-23 同方威视技术股份有限公司 检测对象成像方法、装置、设备及介质
CN116824514A (zh) * 2023-08-30 2023-09-29 四川弘和数智集团有限公司 一种目标识别方法、装置、电子设备及存储介质
CN116824514B (zh) * 2023-08-30 2023-12-08 四川弘和数智集团有限公司 一种目标识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021139049A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
KR101869442B1 (ko) 화재 감지 장치 및 방법
CN104303193B (zh) 基于聚类的目标分类
CN105631418A (zh) 一种人数统计的方法和装置
Ahmad et al. Overhead view person detection using YOLO
CN107590486B (zh) 运动目标识别方法和系统、自行车流量统计方法和设备
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
KR101030257B1 (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN114639075A (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN114049572A (zh) 识别小目标的检测方法
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN110969173B (zh) 目标分类方法及装置
CN113065454B (zh) 一种高空抛物目标识别比较的方法及装置
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
KR102219906B1 (ko) 기계학습을 위한 학습데이터 자동 생성 방법 및 장치
CN113628251B (zh) 一种智慧酒店终端监测方法
CN115661475A (zh) 一种图像异物识别方法、装置、设备及存储介质
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
CN113297949B (zh) 高空抛物检测方法、装置、计算机设备和存储介质
CN115082832A (zh) 信息识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200602