CN113240611A - 一种基于图片序列的异物检测方法 - Google Patents

一种基于图片序列的异物检测方法 Download PDF

Info

Publication number
CN113240611A
CN113240611A CN202110594913.0A CN202110594913A CN113240611A CN 113240611 A CN113240611 A CN 113240611A CN 202110594913 A CN202110594913 A CN 202110594913A CN 113240611 A CN113240611 A CN 113240611A
Authority
CN
China
Prior art keywords
image
images
target
channel
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110594913.0A
Other languages
English (en)
Other versions
CN113240611B (zh
Inventor
王飞
林剑
王乔晨
刘虎
贺海明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brexia Information Technology Beijing Co ltd
China Building Materials Xinyun Zhilian Technology Co ltd
Cnbm Technology Corp ltd
Original Assignee
Brexia Information Technology Beijing Co ltd
China Building Materials Xinyun Zhilian Technology Co ltd
Cnbm Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brexia Information Technology Beijing Co ltd, China Building Materials Xinyun Zhilian Technology Co ltd, Cnbm Technology Corp ltd filed Critical Brexia Information Technology Beijing Co ltd
Priority to CN202110594913.0A priority Critical patent/CN113240611B/zh
Publication of CN113240611A publication Critical patent/CN113240611A/zh
Application granted granted Critical
Publication of CN113240611B publication Critical patent/CN113240611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体地说，涉及一种基于图片序列的异物检测方法。包括图像获取、图像预处理、背景建模、图像组合、异物目标检测及深度学习等步骤。本发明设计结合了传统背景建模的方式与深度学习的优点，将深度学习目标检测的三通道彩色图像输入修改为不同时间点的图像组合成的多通道图像，再通过目标检测算法进行异物检测，在此过程中无需预先知道异物是什么，打破只能检测指定异物的限制，有效扩展应用场景，同时降低算法对图像中光线、阴影的敏感度，提高检测准确率，降低误报的概率，从而可以提高应用效果。

Description

一种基于图片序列的异物检测方法
技术领域
本发明涉及图像处理技术领域，具体地说，涉及一种基于图片序列的异物检测方法。
背景技术
目前，异物检测深度学习方法基本上采用样本标注、模型训练的方式，该方法的前提是需要知道异物是什么，但是对于大多数场景中，是无法全部覆盖所有的异物的，因此采用目标检测的方式只能检测到指定的异物，对算法的应用场景有很大的限制；另外一种是通过传统背景建模的方式实现，该方式无需知道场景中什么是异物，与背景有差异的情况就算是异物，但是该算法对光线、阴影比较敏感，容易产生误报，在实际应用中无法达到预期的效果。
发明内容
本发明的目的在于提供一种基于图片序列的异物检测方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明提供了一种基于图片序列的异物检测方法，包括如下步骤：
S1、图像获取，获取同一地点不同时间点的图像信息；
S2、图像预处理，对获取的图像进行预处理，实现图像增强效果；
S3、背景建模，采用混合高斯模型方法建立背景模型；
S4、图像组合，合成多种背景图与前景图组合的多通道图像；
S5、异物目标检测，通过YOLO、SSD等目标检测算法，检测目标并标注；
S6、深度学习，通过深度学习算法，扩展方法的应用场景。
其中，S1中，如果认为同一地点不同时间点的图像中，每个位置的像素点可以用多个高斯模型来模拟该点可能出现的像素值，则需要假设图像采集设备（如摄像头）的位置不变，也就是说特定像素点处出现的像素值是围绕几个中心波动的，这是可以通过高斯模型建立背景模型的基础要素之一。
此外，经目标检测后获得的图像，通过图像显示设备展示给用户。
其中，图像获取设备不限于摄像头、摄像机、视频采集卡等；对图像进行处理的设备可以为服务器或FPGA。
其中，S5中，该方法的实现不限于Yolo、SSD等目标检测算法。
作为本技术方案的进一步改进，所述S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及彩色补偿处理；
S2.2、对彩色补偿处理后的图像进行彩色平衡处理；
S2.3、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.4、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于灰度化和均值滤波。
其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。
作为本技术方案的进一步改进，所述S2.1中，对图像进行彩色补偿处理的算法过程如下：
S2.1.1、在画面中找到主管视觉为纯红、绿、蓝的三个点，各点分别为为：
Figure 854949DEST_PATH_IMAGE001
，
Figure 133483DEST_PATH_IMAGE002
，
Figure 343885DEST_PATH_IMAGE003
，各点的理想值分别为：
Figure 227527DEST_PATH_IMAGE004
，
Figure 671540DEST_PATH_IMAGE005
，
Figure 640633DEST_PATH_IMAGE006
；
S2.1.2、考虑到彩色补偿之后图像的亮度不便，则分别计算
Figure 654726DEST_PATH_IMAGE007
、
Figure 596137DEST_PATH_IMAGE008
、
Figure 506324DEST_PATH_IMAGE009
的值为：
Figure 962713DEST_PATH_IMAGE010
，
Figure 718180DEST_PATH_IMAGE011
，
Figure 779677DEST_PATH_IMAGE012
；
S2.1.3、将所取得到的三个点的GRB值分别按如下所示构成彩色补偿前及补偿后 的两个矩阵
Figure 595186DEST_PATH_IMAGE013
和
Figure 771827DEST_PATH_IMAGE014
：
Figure 330984DEST_PATH_IMAGE015
，
Figure 43725DEST_PATH_IMAGE016
；
S2.1.4、进行彩色补偿，设
Figure 295715DEST_PATH_IMAGE017
，
Figure 726697DEST_PATH_IMAGE018
分别为新、旧图像的 像素值，则：
Figure 823966DEST_PATH_IMAGE019
，其中
Figure 391213DEST_PATH_IMAGE020
。
其中，彩色补偿的作用在于可以通过不同的颜色通道提取不同的目标物，以此可以作为检测异物的依据之一。
作为本技术方案的进一步改进，所述S2.2中，对图像进行彩色平衡处理的算法过程如下：
S2.2.1、从画面中选出两点颜色为灰色的点，设为：
Figure 548525DEST_PATH_IMAGE021
，
Figure 404486DEST_PATH_IMAGE022
；
S2.2.2、设以G分量为基准，匹配R和B分量，则有：
Figure 806910DEST_PATH_IMAGE023
，
Figure 759823DEST_PATH_IMAGE024
；
S2.2.3、由
Figure 88036DEST_PATH_IMAGE025
求出k1和k2，由
Figure 228030DEST_PATH_IMAGE026
求出l1和l2；
S2.2.4、用
Figure 667102DEST_PATH_IMAGE027
，
Figure 208942DEST_PATH_IMAGE028
，
Figure 911318DEST_PATH_IMAGE029
计 算得到的像素图像即为彩色平衡后的图像。
作为本技术方案的进一步改进，所述S2.4中，彩色图转灰度图的表达公式为：
Figure 538609DEST_PATH_IMAGE030
。
作为本技术方案的进一步改进，所述S4中，图像组合的方法包括如下步骤：
S4.1、将处理后的图像与背景模型进行像素比较，符合背景模型的像素点作为背景，反之则作为前景；
S4.2、针对单通道灰度图像的组合，先以时间点t1的R单通道灰度图为背景灰度图，再依次以时间点t2的B单通道灰度图、时间点t3的G单通道灰度图为前景灰度图，堆叠形成三通道图像；
S4.3、针对彩色图像的组合，先将不同时间点的图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像堆叠成3*n通道图像。
作为本技术方案的进一步改进，所述S4.1中，当前图像与背景模型比较采用混合高斯模型方法，其方法包括如下步骤：
S4.1.1、每个新像素值
Figure 781371DEST_PATH_IMAGE031
同当前k个模型按公式
Figure 207411DEST_PATH_IMAGE032
进行比较，直 到找到匹配新像素值的分布模型，即同该模型的均值偏差在
Figure 611848DEST_PATH_IMAGE033
内；
S4.1.2、如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景；
S4.1.3、各模式权值按公式
Figure 726434DEST_PATH_IMAGE034
更新，其中
Figure 976150DEST_PATH_IMAGE035
是学习速 率，对于匹配的模式
Figure 289320DEST_PATH_IMAGE036
，否则
Figure 333499DEST_PATH_IMAGE037
，然后各模式的权重进行归一化；
S4.1.4、未匹配模式的均值
Figure 466540DEST_PATH_IMAGE038
与标准差
Figure 254368DEST_PATH_IMAGE039
不变，匹配模式的参数按照如下公式更 新：
Figure 890885DEST_PATH_IMAGE040
，
Figure 105966DEST_PATH_IMAGE041
，
Figure 493347DEST_PATH_IMAGE042
；
S4.1.5、如果S4.1.1中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值；
S4.1.6、各模式根据
Figure 819286DEST_PATH_IMAGE043
按降序排列，权重大、标准差小的模式排列靠前；
S4.1.7、选前B个模式作为背景，B满足公式
Figure 575890DEST_PATH_IMAGE044
，参数T表示 背景所占比例。
作为本技术方案的进一步改进，所述S5中，通过LOYO目标检测算法进行异物目标检测的方法包括如下步骤：
S5.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中；
S5.2、将输入的图像划分为S*S的网格，同时通过对输入图像进行卷积运算获得特征图；
S5.3、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S5.4、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度（Confidence）五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S5.5、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数；
S5.6、最后通过统一约定的方式对该向量进行解码在原图像中绘制出检测结果，实现目标检测的过程。
其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。
其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。
具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。
作为本技术方案的进一步改进，所述S5.4中，置信度的计算表达式如下：
Figure 493030DEST_PATH_IMAGE045
；
式中，
Figure 69505DEST_PATH_IMAGE046
表示网格目标边框中目标存在的可能性，
Figure 995873DEST_PATH_IMAGE047
代表目标对象，
Figure 341403DEST_PATH_IMAGE048
用于展示当前模型预测到的目标边框位置的准确性，其表达式为：
Figure 898287DEST_PATH_IMAGE049
；
其中，
Figure 3470DEST_PATH_IMAGE050
表示预测的目标边框，
Figure 936791DEST_PATH_IMAGE051
表示真实目标边框。
本发明的目的之二在于，提供一种基于图片序列的异物检测方法的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于图片序列的异物检测方法的步骤。
本发明的目的之三在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于图片序列的异物检测方法的步骤。
与现有技术相比，本发明的有益效果：该基于图片序列的异物检测方法中，结合了传统背景建模的方式与深度学习的优点，将深度学习目标检测的三通道彩色图像输入修改为不同时间点的图像组合成的多通道图像，再通过目标检测算法进行异物检测，在此过程中无需预先知道异物是什么，打破只能检测指定异物的闲置，有效扩展应用场景，同时降低算法对图像中光线、阴影的敏感度，提高检测准确率，降低误报的概率，从而可以提高应用效果。
附图说明
图1为本发明的局部示例性网络架构图；
图2为本发明的整体方法流程框图；
图3为本发明的局部方法流程框图之一；
图4为本发明的局部方法流程框图之二；
图5为本发明的局部方法流程框图之三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图5所示，本实施例提供了一种基于图片序列的异物检测方法，包括如下步骤：
S1、图像获取，获取同一地点不同时间点的图像信息；
S2、图像预处理，对获取的图像进行预处理，实现图像增强效果；
S3、背景建模，采用混合高斯模型方法建立背景模型；
S4、图像组合，合成多种背景图与前景图组合的多通道图像；
S5、异物目标检测，通过YOLO、SSD等目标检测算法，检测目标并标注；
S6、深度学习，通过深度学习算法，扩展方法的应用场景。
其中，S1中，如果认为同一地点不同时间点的图像中，每个位置的像素点可以用多个高斯模型来模拟该点可能出现的像素值，则需要假设图像采集设备（如摄像头）的位置不变，也就是说特定像素点处出现的像素值是围绕几个中心波动的，这是可以通过高斯模型建立背景模型的基础要素之一。
此外，经目标检测后获得的图像，通过图像显示设备展示给用户。
其中，图像获取设备不限于摄像头、摄像机、视频采集卡等；对图像进行处理的设备可以为服务器或FPGA。
其中，S5中，该方法的实现不限于Yolo、SSD等目标检测算法。
本实施例中，S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及彩色补偿处理；
S2.2、对彩色补偿处理后的图像进行彩色平衡处理；
S2.3、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.4、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
其中，图像预处理的目的使减少冗余信息、去除噪点；具体地，常见的图像增强的方法按照不同作用域分为空域和频域增强，空域的方法有灰度变换、直方图均衡化和空域滤波等，频域增强有高通、低通和同态滤波等。本实施例中，图像增强的方法不限于灰度化和均值滤波。
其中，均值滤波的实现过程为：在图像目标像素上给定一个模板，该模板周围包括其周围临近的像素，将模板中的全体像素进行求平均值，用均值代替原像素值，以实现像素的平滑，突出细节信息、忽略边缘，达到去噪的目的。
具体地，S2.1中，对图像进行彩色补偿处理的算法过程如下：
S2.1.1、在画面中找到主管视觉为纯红、绿、蓝的三个点，各点分别为为：
Figure 136828DEST_PATH_IMAGE001
，
Figure 661350DEST_PATH_IMAGE002
，
Figure 212417DEST_PATH_IMAGE003
，各点的理想值分别为：
Figure 746167DEST_PATH_IMAGE004
，
Figure 800711DEST_PATH_IMAGE005
，
Figure 496134DEST_PATH_IMAGE006
；
S2.1.2、考虑到彩色补偿之后图像的亮度不便，则分别计算
Figure 268918DEST_PATH_IMAGE007
、
Figure 544042DEST_PATH_IMAGE008
、
Figure 954557DEST_PATH_IMAGE009
的值为：
Figure 86461DEST_PATH_IMAGE010
，
Figure 346541DEST_PATH_IMAGE011
，
Figure 222093DEST_PATH_IMAGE012
；
S2.1.3、将所取得到的三个点的GRB值分别按如下所示构成彩色补偿前及补偿后 的两个矩阵
Figure 188912DEST_PATH_IMAGE013
和
Figure 288455DEST_PATH_IMAGE014
：
Figure 973514DEST_PATH_IMAGE015
，
Figure 387178DEST_PATH_IMAGE016
；
S2.1.4、进行彩色补偿，设
Figure 270820DEST_PATH_IMAGE017
，
Figure 243062DEST_PATH_IMAGE018
分别为新、旧图像的 像素值，则：
Figure 212155DEST_PATH_IMAGE019
，其中
Figure 695089DEST_PATH_IMAGE020
。
其中，彩色补偿的作用在于可以通过不同的颜色通道提取不同的目标物，以此可以作为检测异物的依据之一。
具体地，S2.2中，对图像进行彩色平衡处理的算法过程如下：
S2.2.1、从画面中选出两点颜色为灰色的点，设为：
Figure 433238DEST_PATH_IMAGE021
，
Figure 77846DEST_PATH_IMAGE022
；
S2.2.2、设以G分量为基准，匹配R和B分量，则有：
Figure 737497DEST_PATH_IMAGE023
，
Figure 492964DEST_PATH_IMAGE024
；
S2.2.3、由
Figure 351198DEST_PATH_IMAGE025
求出k1和k2，由
Figure 166708DEST_PATH_IMAGE026
求出l1和l2；
S2.2.4、用
Figure 346278DEST_PATH_IMAGE027
，
Figure 171015DEST_PATH_IMAGE028
，
Figure 87018DEST_PATH_IMAGE029
计 算得到的像素图像即为彩色平衡后的图像。
具体地，S2.4中，彩色图转灰度图的表达公式为：
Figure 870167DEST_PATH_IMAGE030
。
本实施例中，S4中，图像组合的方法包括如下步骤：
S4.1、将处理后的图像与背景模型进行像素比较，符合背景模型的像素点作为背景，反之则作为前景；
S4.2、针对单通道灰度图像的组合，先以时间点t1的R单通道灰度图为背景灰度图，再依次以时间点t2的B单通道灰度图、时间点t3的G单通道灰度图为前景灰度图，堆叠形成三通道图像；
S4.3、针对彩色图像的组合，先将不同时间点的图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像堆叠成3*n通道图像。
具体地，S4.1中，当前图像与背景模型比较采用混合高斯模型方法，其方法包括如下步骤：
S4.1.1、每个新像素值
Figure 238831DEST_PATH_IMAGE031
同当前k个模型按公式
Figure 601679DEST_PATH_IMAGE032
进行比较，直 到找到匹配新像素值的分布模型，即同该模型的均值偏差在
Figure 168927DEST_PATH_IMAGE033
内；
S4.1.2、如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景；
S4.1.3、各模式权值按公式
Figure 591818DEST_PATH_IMAGE034
更新，其中
Figure 447779DEST_PATH_IMAGE035
是学习速 率，对于匹配的模式
Figure 644011DEST_PATH_IMAGE036
，否则
Figure 534607DEST_PATH_IMAGE037
，然后各模式的权重进行归一化；
S4.1.4、未匹配模式的均值
Figure 659558DEST_PATH_IMAGE038
与标准差
Figure 2814DEST_PATH_IMAGE039
不变，匹配模式的参数按照如下公式更 新：
Figure 707465DEST_PATH_IMAGE040
，
Figure 983726DEST_PATH_IMAGE041
，
Figure 748419DEST_PATH_IMAGE042
；
S4.1.5、如果S4.1.1中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值；
S4.1.6、各模式根据
Figure 110131DEST_PATH_IMAGE043
按降序排列，权重大、标准差小的模式排列靠前；
S4.1.7、选前B个模式作为背景，B满足公式
Figure 618472DEST_PATH_IMAGE044
，参数T表示 背景所占比例。
本实施例中，S5中，通过LOYO目标检测算法进行异物目标检测的方法包括如下步骤：
S5.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中；
S5.2、将输入的图像划分为S*S的网格，同时通过对输入图像进行卷积运算获得特征图；
S5.3、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S5.4、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度（Confidence）五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S5.5、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数；
S5.6、最后通过统一约定的方式对该向量进行解码在原图像中绘制出检测结果，实现目标检测的过程。
其中，YOLO算法的原理为：在目标检测过程中采用针对目标检测任务设计的CNN进行特征提取，通过全连接层对识别出来的目标进行位置预测和分类。
其中，YOLO算法的网络模型由输入层、池化层、全连接层及输出层构成。
具体地，因全连接层要求固定大小的向量作为输入，则YOLO算法的输入层需将输入的图像剪切成S*S的固定大小；输入层之后是24层卷积层，通过对输入图像进行卷积运算获得特征图，记录特征数据方便后续的分类和目标定位；池化层与卷积神经网络池化层功能相同，即为用一个值代替对应区域像素点；再使用两个全连接层将卷积池化后多维数据拉伸成为一维向量，为后面的分类和位置确定做铺垫；YOLO网络模型的最后一层输出层与CNN算法中的SoftMax分类器实现将全连接层数据分类输出相似的过程。
具体地，S5.4中，置信度的计算表达式如下：
Figure 250704DEST_PATH_IMAGE045
；
式中，
Figure 186299DEST_PATH_IMAGE046
表示网格目标边框中目标存在的可能性，
Figure 504148DEST_PATH_IMAGE047
代表目标对象，
Figure 347339DEST_PATH_IMAGE048
用于展示当前模型预测到的目标边框位置的准确性，其表达式为：
Figure 801454DEST_PATH_IMAGE049
；
其中，
Figure 907951DEST_PATH_IMAGE050
表示预测的目标边框，
Figure 244254DEST_PATH_IMAGE051
表示真实目标边框。
本实施例还提供了一种基于图片序列的异物检测方法的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于图片序列的异物检测方法的步骤。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于图片序列的异物检测方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于图片序列的异物检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于图片序列的异物检测方法，其特征在于：包括如下步骤：
S1、图像获取，获取同一地点不同时间点的图像信息；
S2、图像预处理，对获取的图像进行预处理，实现图像增强效果；
S3、背景建模，采用混合高斯模型方法建立背景模型；
S4、图像组合，合成多种背景图与前景图组合的多通道图像；
S5、异物目标检测，通过YOLO、SSD等目标检测算法，检测目标并标注；
S6、深度学习，通过深度学习算法，扩展方法的应用场景。
2.根据权利要求1所述的基于图片序列的异物检测方法，其特征在于：所述S2中，图像预处理的方法包括如下步骤：
S2.1、对获取的原始图像进行提升亮度及彩色补偿处理；
S2.2、对彩色补偿处理后的图像进行彩色平衡处理；
S2.3、对彩色平衡处理后的图像进行均值滤波处理，实现降噪，使图像增强；
S2.4、对彩色图像进行灰度化处理，并分别保存每张图片的单通道灰度图像。
3.根据权利要求2所述的基于图片序列的异物检测方法，其特征在于：所述S2.1中，对图像进行彩色补偿处理的算法过程如下：
S2.1.1、在画面中找到主管视觉为纯红、绿、蓝的三个点，各点分别为为：
Figure 458835DEST_PATH_IMAGE001
，
Figure 752413DEST_PATH_IMAGE002
，
Figure 497777DEST_PATH_IMAGE003
，各点的理想值分别为：
Figure 280926DEST_PATH_IMAGE004
，
Figure 711907DEST_PATH_IMAGE005
，
Figure 543597DEST_PATH_IMAGE006
；
S2.1.2、考虑到彩色补偿之后图像的亮度不便，则分别计算
Figure 110844DEST_PATH_IMAGE007
、
Figure 268156DEST_PATH_IMAGE008
、
Figure 186434DEST_PATH_IMAGE009
的值为：
Figure 117087DEST_PATH_IMAGE010
，
Figure 804420DEST_PATH_IMAGE011
，
Figure 867054DEST_PATH_IMAGE012
；
S2.1.3、将所取得到的三个点的GRB值分别按如下所示构成彩色补偿前及补偿后的两 个矩阵
Figure 7049DEST_PATH_IMAGE013
和
Figure 242858DEST_PATH_IMAGE014
：
Figure 82900DEST_PATH_IMAGE015
，
Figure 582015DEST_PATH_IMAGE016
；
S2.1.4、进行彩色补偿，设
Figure 740464DEST_PATH_IMAGE017
，
Figure 452068DEST_PATH_IMAGE018
分别为新、旧图像的像素 值，则：
Figure 645152DEST_PATH_IMAGE019
，其中
Figure 315167DEST_PATH_IMAGE020
。
4.根据权利要求2所述的基于图片序列的异物检测方法，其特征在于：所述S2.2中，对图像进行彩色平衡处理的算法过程如下：
S2.2.1、从画面中选出两点颜色为灰色的点，设为：
Figure 736745DEST_PATH_IMAGE021
，
Figure 517620DEST_PATH_IMAGE022
；
S2.2.2、设以G分量为基准，匹配R和B分量，则有：
Figure 565210DEST_PATH_IMAGE023
，
Figure 140548DEST_PATH_IMAGE024
；
S2.2.3、由
Figure 742431DEST_PATH_IMAGE025
求出k1和k2，由
Figure 625198DEST_PATH_IMAGE026
求出l1和l2；
S2.2.4、用
Figure 996137DEST_PATH_IMAGE027
，
Figure 742376DEST_PATH_IMAGE028
，
Figure 565975DEST_PATH_IMAGE029
计算得 到的像素图像即为彩色平衡后的图像。
5.根据权利要求2所述的基于图片序列的异物检测方法，其特征在于：所述S2.4中，彩色图转灰度图的表达公式为：
Figure 954231DEST_PATH_IMAGE030
。
6.根据权利要求1所述的基于图片序列的异物检测方法，其特征在于：所述S4中，图像组合的方法包括如下步骤：
S4.1、将处理后的图像与背景模型进行像素比较，符合背景模型的像素点作为背景，反之则作为前景；
S4.2、针对单通道灰度图像的组合，先以时间点t1的R单通道灰度图为背景灰度图，再依次以时间点t2的B单通道灰度图、时间点t3的G单通道灰度图为前景灰度图，堆叠形成三通道图像；
S4.3、针对彩色图像的组合，先将不同时间点的图像分别转换为三通道彩色图像，再将n张不同时间点的三通道彩色图像堆叠成3*n通道图像。
7.根据权利要求6所述的基于图片序列的异物检测方法，其特征在于：所述S4.1中，当前图像与背景模型比较采用混合高斯模型方法，其方法包括如下步骤：
S4.1.1、每个新像素值
Figure 445255DEST_PATH_IMAGE031
同当前k个模型按公式
Figure 362396DEST_PATH_IMAGE032
进行比较，直到找 到匹配新像素值的分布模型，即同该模型的均值偏差在
Figure 204450DEST_PATH_IMAGE033
内；
S4.1.2、如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景；
S4.1.3、各模式权值按公式
Figure 334080DEST_PATH_IMAGE034
更新，其中
Figure 709304DEST_PATH_IMAGE035
是学习速率，对于 匹配的模式
Figure 531767DEST_PATH_IMAGE036
，否则
Figure 595538DEST_PATH_IMAGE037
，然后各模式的权重进行归一化；
S4.1.4、未匹配模式的均值
Figure 794438DEST_PATH_IMAGE038
与标准差
Figure 260054DEST_PATH_IMAGE039
不变，匹配模式的参数按照如下公式更新：
Figure 253418DEST_PATH_IMAGE040
，
Figure 70064DEST_PATH_IMAGE041
，
Figure 807076DEST_PATH_IMAGE042
；
S4.1.5、如果S4.1.1中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值；
S4.1.6、各模式根据
Figure 127199DEST_PATH_IMAGE043
按降序排列，权重大、标准差小的模式排列靠前；
S4.1.7、选前B个模式作为背景，B满足公式
Figure 58508DEST_PATH_IMAGE044
，参数T表示背景所 占比例。
8.根据权利要求1所述的基于图片序列的异物检测方法，其特征在于：所述S5中，通过LOYO目标检测算法进行异物目标检测的方法包括如下步骤：
S5.1、将上述组合的三通道图像或3*n通道图像导入YOLO算法模型中；
S5.2、将输入的图像划分为S*S的网格，同时通过对输入图像进行卷积运算获得特征图；
S5.3、分别检测每个网格中是否存在目标，若否则直接结束检测，若是，则获取目标类别和目标边框；
S5.4、目标边框由中心点偏移（x，y）、宽高（w，h）和置信度（Confidence）五维预测参数组成，获取目标边框的五维参数值，计算目标类的置信度；
S5.5、使用两个全连接层将多维数据“拉伸”成为一维向量，并将全连接层数据分类输出相似，输出的特征图个数为目标的分类数；
S5.6、最后通过统一约定的方式对该向量进行解码在原图像中绘制出检测结果，实现目标检测的过程。
9.根据权利要求8所述的基于图片序列的异物检测方法，其特征在于：所述S5.4中，置信度的计算表达式如下：
Figure 96871DEST_PATH_IMAGE045
；
式中，
Figure 168733DEST_PATH_IMAGE046
表示网格目标边框中目标存在的可能性，
Figure 77783DEST_PATH_IMAGE047
代表目标对象，
Figure 412949DEST_PATH_IMAGE048
用于 展示当前模型预测到的目标边框位置的准确性，其表达式为：
Figure 407450DEST_PATH_IMAGE049
；
其中，
Figure 283002DEST_PATH_IMAGE050
表示预测的目标边框，
Figure 312138DEST_PATH_IMAGE051
表示真实目标边框。
CN202110594913.0A 2021-05-28 2021-05-28 一种基于图片序列的异物检测方法 Active CN113240611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594913.0A CN113240611B (zh) 2021-05-28 2021-05-28 一种基于图片序列的异物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594913.0A CN113240611B (zh) 2021-05-28 2021-05-28 一种基于图片序列的异物检测方法

Publications (2)

Publication Number Publication Date
CN113240611A true CN113240611A (zh) 2021-08-10
CN113240611B CN113240611B (zh) 2024-05-07

Family

ID=77135725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594913.0A Active CN113240611B (zh) 2021-05-28 2021-05-28 一种基于图片序列的异物检测方法

Country Status (1)

Country Link
CN (1) CN113240611B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511776A (zh) * 2021-12-31 2022-05-17 广东中科凯泽信息科技有限公司 摄像机视觉区域内遗留物的检测方法、装置、介质及设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US20100202657A1 (en) * 2008-10-22 2010-08-12 Garbis Salgian System and method for object detection from a moving platform
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
WO2017054455A1 (zh) * 2015-09-30 2017-04-06 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN108537823A (zh) * 2017-03-03 2018-09-14 防城港市港口区思达电子科技有限公司 基于混合高斯模型的运动目标检测方法
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN108805838A (zh) * 2018-06-05 2018-11-13 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109285178A (zh) * 2018-10-25 2019-01-29 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110390673A (zh) * 2019-07-22 2019-10-29 福州大学 一种监控场景下基于深度学习的香烟自动检测方法
WO2020177651A1 (zh) * 2019-03-01 2020-09-10 华为技术有限公司 图像分割方法和图像处理装置
US20200380274A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications
EP3757890A1 (en) * 2019-06-28 2020-12-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for image processing, method and device for training object detection model
CN112184759A (zh) * 2020-09-18 2021-01-05 深圳市国鑫恒运信息安全有限公司 一种基于视频的运动目标检测与跟踪方法及系统
CN112232450A (zh) * 2020-12-15 2021-01-15 浙江啄云智能科技有限公司 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN112330790A (zh) * 2020-11-20 2021-02-05 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
AU2020103938A4 (en) * 2020-12-07 2021-02-11 Capital Medical University A classification method of diabetic retinopathy grade based on deep learning
CN112581522A (zh) * 2020-11-30 2021-03-30 平安科技（深圳）有限公司 图像中目标物位置检测方法、装置、电子设备及存储介质
CN112639846A (zh) * 2021-02-07 2021-04-09 华为技术有限公司 一种训练深度学习模型的方法和装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US20100202657A1 (en) * 2008-10-22 2010-08-12 Garbis Salgian System and method for object detection from a moving platform
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
WO2017054455A1 (zh) * 2015-09-30 2017-04-06 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN108537823A (zh) * 2017-03-03 2018-09-14 防城港市港口区思达电子科技有限公司 基于混合高斯模型的运动目标检测方法
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN108805838A (zh) * 2018-06-05 2018-11-13 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109285178A (zh) * 2018-10-25 2019-01-29 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质
WO2020177651A1 (zh) * 2019-03-01 2020-09-10 华为技术有限公司 图像分割方法和图像处理装置
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
US20200380274A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications
EP3757890A1 (en) * 2019-06-28 2020-12-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for image processing, method and device for training object detection model
CN110390673A (zh) * 2019-07-22 2019-10-29 福州大学 一种监控场景下基于深度学习的香烟自动检测方法
CN112184759A (zh) * 2020-09-18 2021-01-05 深圳市国鑫恒运信息安全有限公司 一种基于视频的运动目标检测与跟踪方法及系统
CN112330790A (zh) * 2020-11-20 2021-02-05 东北大学 基于对抗学习与自适应色度修正的ct图像自动着色方法
CN112581522A (zh) * 2020-11-30 2021-03-30 平安科技（深圳）有限公司 图像中目标物位置检测方法、装置、电子设备及存储介质
AU2020103938A4 (en) * 2020-12-07 2021-02-11 Capital Medical University A classification method of diabetic retinopathy grade based on deep learning
CN112232450A (zh) * 2020-12-15 2021-01-15 浙江啄云智能科技有限公司 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN112639846A (zh) * 2021-02-07 2021-04-09 华为技术有限公司 一种训练深度学习模型的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAWEI LI, SIYUAN YAN, XIN CAI, YAN CAO, SIFAN WANG: "An Integrated Image Filter for Enhancing Change Detection Results", 《 COMPUTER VISION AND PATTERN RECOGNITION (CS.CV)》, 2 July 2019 (2019-07-02) *
Y. XU, J. WEN, L. FEI AND Z. ZHANG: "Review of Video and Image Defogging Algorithms and Related Studies on Image Restoration and Enhancement", 《IEEE ACCESS》 *
吕志强: "复杂环境下煤矿皮带运输异物图像识别研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *
张聪辉: "基于YOLO-v3的海参目标识别系统的设计与实现", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511776A (zh) * 2021-12-31 2022-05-17 广东中科凯泽信息科技有限公司 摄像机视觉区域内遗留物的检测方法、装置、介质及设备

Also Published As

Publication number Publication date
CN113240611B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
US20140063275A1 (en) Visual saliency estimation for images and video
CN106530271B (zh) 一种红外图像显著性检测方法
JP2014041476A (ja) 画像処理装置、画像処理方法及びプログラム
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN108875504B (zh) 基于神经网络的图像检测方法和图像检测装置
JP2018072938A (ja) 目的物個数推定装置、目的物個数推定方法及びプログラム
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
JP2022543934A (ja) マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113810611B (zh) 一种事件相机的数据模拟方法和装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111353325A (zh) 关键点检测模型训练方法及装置
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN113850748A (zh) 点云质量的评估系统及方法
CN107368832A (zh) 基于图像的目标检测及分类方法
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN113962900A (zh) 复杂背景下红外弱小目标检测方法、装置、设备及介质
CN113240611B (zh) 一种基于图片序列的异物检测方法
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant