CN111583245B - 一种多特征耦合及目标探测的工业自动化监控方法 - Google Patents
一种多特征耦合及目标探测的工业自动化监控方法 Download PDFInfo
- Publication number
- CN111583245B CN111583245B CN202010392730.6A CN202010392730A CN111583245B CN 111583245 B CN111583245 B CN 111583245B CN 202010392730 A CN202010392730 A CN 202010392730A CN 111583245 B CN111583245 B CN 111583245B
- Authority
- CN
- China
- Prior art keywords
- seed point
- initial
- target detection
- background
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 230000008878 coupling Effects 0.000 title claims abstract description 8
- 238000010168 coupling process Methods 0.000 title claims abstract description 8
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 8
- 238000009792 diffusion process Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000009776 industrial production Methods 0.000 claims abstract description 11
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多特征耦合及目标探测的工业自动化监控方法，面向生产安全保障及作业规范监控，旨在准确辨识工业生产环境中运动目标，解决复杂场景中目标难以准确探测的难题。所提出的多特征融合及目标探测过程主要包括种子点的选择和扩散。在种子点选择过程中，融合多类场景特征信息检测隶属于运动目标的种子点；在种子点扩散过程中，采用扩展流行排序的种子点扩散方法，以完整检测运动目标区域。本发明所公开技术能够准确、完整检测工业生产过程中的关键生产环节和重点区域内的运动目标区域，保障工业生产过程的安全性和规范性。
Description
技术领域
本发明涉及一种多特征耦合及目标探测的工业自动化监控方法，具体是通过前景、背景种子点的选择及扩散探测出工业场景中的运动目标，以实现工业自动化监控。
背景技术
运动目标探测是工业自动化监控的关键技术，旨在保障工业生产安全、提高生产效率。通过对工业生产过程中关键生产过程、作业人员等运动目标的探测及辨识能够发现非规范性作业、危险区域闯入及设备故障等，防止工业生产事故的发生。总体上，现有工业生产过程中运动目标探测技术多移植和沿用普通场景和光学环境中的目标探测方法，如背景建模法和运动检测法，难以适用于工业生产过程中复杂的场景及非均匀的光学环境，表现出较强的不适定性，目标探测的检出率较低漏检率较高。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种多特征耦合及目标探测的工业自动化监控方法，考虑到场景的外部先验(即背景处于场景边界区域)、内部图像特征(主要包括纹理特征、色彩特征、空间特征、运动特征)综合选择背景和前景种子点并扩散，分别形成两个目标探测结果。融合基于前景种子点的目标探测候选区域结果和基于背景种子点的目标探测候选区域，稳定探测工业生产场景中的运动目标。
技术方案：一种多特征耦合及目标探测的工业自动化监控方法，基于背景种子点扩散的目标探测候选区域辨识、基于前景种子点扩散的目标探测候选区域辨识；最终通过两个候选区域间的融合，辨识出目标探测区域，以实现对工业自动化生产过程的智能监控；综合利用多种外部先验知识及内部图像特征优化提取工业生产场景中背景及前景种子点，并采用基于图模型的种子点扩散方法对种子点进行扩散，并对扩散后得到的目标探测候选区域进行融合，实现目标探测及工业自动化监控；主要包括背景种子点选择、前景种子点选择、种子点扩散及目标探测候选区域融合四步。
(1)背景种子点选择
背景种子点选择包括基于背景先验、色彩及空间特征的初始背景种子点选择、种子点差异计算及种子点优化过程，以实现基于背景种子点的目标探测候选区域辨识。
首先，计算工业监控场景的超像素分割区域，并根据背景先验知识(即背景通常靠近场景边界区域)及超像素区域内的纹理特征共同选择初始背景种子点。在此选择阈值滤波作为初始背景种子点选择准则：
其中，BSi′为候选背景种子点标签，i为超像素点标签，true为初始背景种子点，fasle为非初始背景种子点，di为超像素中心距离边界的距离，T为纹理密度阈值，ε为距离边界的阈值，BFi为纹理密度，可以计算为：
其中，li为第i个超像素区间内的纹理长度，Ni为第i个超像素区间的面积。
其次，计算判断初始背景种子点间的差异度
其中，Difi b为第i个初始背景种子的差异度，
为第i个初始背景种子点同第k个初始背景种子间在RGB空间中的色彩差异度，
第i个初始背景种子点同第k个初始背景种子间的空间距离，α为调制参数。
最后，背景种子点选择准则为：
其中，η为初始背景种子点差异度的阈值。
(2)前景种子点选择
前景种子点选择包括基于凸包特征、色彩及运动特征的初始前景种子点选择、种子点差异计算及种子点优化过程，以实现基于前景种子点的目标探测候选区域辨识。
首先，计算工业监控场景的凸包以选择初始前景种子点。
其中，FSm′为所选择到的初始前景种子点标签，m为超像素点标签，RΦ为凸包区域，true为初始前景种子点，fasle为非初始前景种子点，FSm为前景种子点可能出现的超像素区域。
其次，计算判断初始前景种子点间的差异度
其中，
为第m个初始前景种子的差异度，
为第m个初始前景种子点同第j个初始前景种子间在RGB空间中的色彩差异度，
第m个初始前景种子点同第j个初始前景种子间光流运动信息差异度，β为调制参数。
其中，λ为初始前景种子点差异度的阈值。
(3)种子点扩散
采用基于图模型的种子点传播方法，实现工业场景中目标准确探测。
其中，wij表示图模型节点(对应于种子点超像素区域)i和j之间的权重，dii为第i个节点的权重值dii＝∑jwij，djj为第j个节点的权重值djj＝∑iwij,fi,fj分别表示节点i,j的排序值，y＝[y1,y2...,yn]T，为指示向量，如果xi为种子节点，则yi＝1，否则yi＝0，μ为常数项，通常设为0.01。
(4)目标探测结果融合
采用偏执型融合方式融合基于背景种子点的目标探测候选区域辨识结果和基于前景种子点的目标探测候选区域辨识结果：
其中
是融合后的最终目标探测结果，
为基于背景种子点的目标探测候选区域辨识结果，
为背景、前景探测结果间的交互，计算为：
其中，
为基于前景种子点的目标探测候选区域辨识结果，γ、υ和
为调制参数。
附图说明
图1是本发明方法框架图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
多特征耦合及目标探测的工业自动化监控方法的框架如图1所示，主要包括背景种子点选择、前景种子点选择、种子点扩散及目标探测候选区域融合。
一、种子点选择
(1)背景种子点选择
背景种子点选择包括初始背景种子点选择、种子点差异计算及种子点优化过程，以实现基于背景种子点的目标探测候选区域辨识。
首先，计算工业监控场景的超像素分割区域，并根据背景先验知识(即背景通常靠近场景边界区域)及超像素区域内的纹理特征共同选择初始背景种子点。在此选择阈值滤波作为初始背景种子点选择准则：
其中，BSi′为候选背景种子点标签，i为超像素点标签，true为初始背景种子点，fasle为非初始背景种子点，di为超像素中心距离边界的距离，T为纹理密度阈值，ε为距离边界的阈值，BFi为纹理密度可以计算为：
其中，li为第i个超像素区间内的纹理长度，Ni为第i个超像素区间的面积。
其次，计算判断初始背景种子点间的差异度：
其中，Difi b为第i个初始背景种子的差异度，
为第i个初始背景种子点同第k个初始背景种子间在RGB空间中的色彩差异度，
第i个初始背景种子点同第k个初始背景种子间的空间距离，α为调制参数，取值范围为0到1之间。
最后，背景种子点选择准则为：
其中，η为初始背景种子点差异度的阈值。
(2)前景种子点选择
前景种子点选择包括初始前景种子点选择、种子点差异计算及种子点优化过程，以实现基于前景种子点的目标探测候选区域辨识。
首先，计算工业监控场景的凸包以选择初始前景种子点。
其中，FSm′为所选择到的初始前景种子点标签，m为超像素点标签，RΦ为凸包区域，true为初始前景种子点，fasle为非初始前景种子点。
其次，计算判断初始前景种子点间的差异度
其中，
为第m个初始前景种子的差异度，
为第m个初始前景种子点同第j个初始前景种子间在RGB空间中的色彩差异度，
第m个初始前景种子点同第j个初始前景种子间光流运动信息差异度，β为调制参数，取值范围为0到1之间。。
其中，λ为初始前景种子点差异度的阈值。
二、种子点扩散
采用基于图模型的种子点传播方法，实现工业场景中目标准确探测。对图模型的求解结果可以表示为：
其中，wij表示图模型节点i和j之间的权重，图模型节点对应于种子点超像素区域，dii＝∑jwij，fi,fj分别表示节点i,j的排序值，y＝[y1,y2...,yn]T，为指示向量，如果xi为种子节点，则yi＝1，否则yi＝0，μ为常数项，通常设为0.01。f*为优化后的图像超像素显著性的排序值，能够标定图像目标的空间位置，即对应目标探测的结果。
三、目标探测结果融合
分别根据前景种子点和背景种子点的扩散结果f*形成基于背景种子点的目标探测候选区域辨识结果
和基于前景种子点的目标探测候选区域辨识结果
采用偏执型融合方式融合基于背景种子点的目标探测候选区域辨识结果和基于前景种子点的目标探测候选区域辨识结果：
其中
是融合后的最终目标探测结果，
为基于背景种子点的目标探测候选区域辨识结果，
为背景、前景探测结果间的交互，计算为：
其中，
为基于前景种子点的目标探测候选区域辨识结果，γ、υ和
为调制参数。
Claims (1)
1.一种多特征耦合及目标探测的工业自动化监控方法，其特征在于：基于背景种子点扩散的目标探测候选区域辨识、基于前景种子点扩散的目标探测候选区域辨识；最终通过两个候选区域间的融合，辨识出目标探测区域，以实现对工业自动化生产过程的智能监控；综合利用多种外部先验知识及内部图像特征优化提取工业生产场景中背景及前景种子点，并采用基于图模型的种子点扩散方法对种子点进行扩散，并对扩散后得到的目标探测候选区域进行融合，实现目标探测及工业自动化监控；主要包括背景种子点选择、前景种子点选择、种子点扩散及目标探测候选区域融合四步；
背景种子点选择包括初始背景种子点选择、种子点差异计算及种子点优化过程，以实现基于背景种子点的目标探测候选区域辨识；
首先，计算工业监控场景的超像素分割区域，并根据背景先验知识及超像素区域内的纹理特征共同选择初始背景种子点；在此选择阈值滤波作为初始背景种子点选择准则：
其中，BSi′为候选背景种子点标签，i为超像素点标签，true为初始背景种子点，fasle为非初始背景种子点，di为超像素中心距离边界的距离，T为纹理密度阈值，ε为距离边界的阈值，BFi为纹理密度计算为：
其中，li为第i个超像素区间内的纹理长度，Ni为第i个超像素区间的面积；
其次，计算判断初始背景种子点间的差异度：
其中，Difi b为第i个初始背景种子的差异度，
为第i个初始背景种子点同第k个初始背景种子点间在RGB空间中的色彩差异度，
第i个初始背景种子点同第k个初始背景种子点间的空间距离，α为调制参数；
最后，背景种子点选择准则为：
其中，η为初始背景种子点差异度的阈值；
前景种子点选择包括初始前景种子点选择、种子点差异计算及种子点优化过程，以实现基于前景种子点的目标探测候选区域辨识；
首先，计算工业监控场景的凸包以选择初始前景种子点；
其中，FSm′为所选择到的初始前景种子点标签，m为超像素点标签，RΦ为凸包区域，true为初始前景种子点，fasle为非初始前景种子点；
其次，计算判断初始前景种子点间的差异度
其中，
为第m个初始前景种子的差异度，
为第m个初始前景种子点同第j个初始前景种子点间在RGB空间中的色彩差异度，
第m个初始前景种子点同第j个初始前景种子点间光流运动信息差异度，β为调制参数；
其中，λ为初始前景种子点差异度的阈值；
(3)种子点扩散
采用基于图模型的种子点传播方法，实现工业场景中目标准确探测；
其中，f*为优化后的图像超像素显著性的排序值，能够标定图像目标的空间位置，即对应目标探测的结果，di为超像素中心距离边界的距离，Ni为第i个超像素区间的面积，wij表示图模型节点i和j之间的权重，dii为第i个节点的权重值dii＝∑jwij，djj为第j个节点的权重值djj＝∑iwij,fi,fj分别表示节点i,j的排序值，y＝[y1,y2...,yn]T，为指示向量，如果xi为种子节点，则yi＝1，否则yi＝0，μ为常数项，设为0.01；
采用偏执型融合方式融合基于背景种子点的目标探测候选区域辨识结果和基于前景种子点的目标探测候选区域辨识结果：
其中
是融合后的最终目标探测结果，
为基于背景种子点的目标探测候选区域辨识结果，
为背景、前景探测结果间的交互，计算为：
其中，
为基于前景种子点的目标探测候选区域辨识结果，γ、υ和
为调制参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392730.6A CN111583245B (zh) | 2020-05-11 | 2020-05-11 | 一种多特征耦合及目标探测的工业自动化监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010392730.6A CN111583245B (zh) | 2020-05-11 | 2020-05-11 | 一种多特征耦合及目标探测的工业自动化监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583245A CN111583245A (zh) | 2020-08-25 |
| CN111583245B true CN111583245B (zh) | 2023-06-06 |
Family
ID=72126463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010392730.6A Active CN111583245B (zh) | 2020-05-11 | 2020-05-11 | 一种多特征耦合及目标探测的工业自动化监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583245B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9779491B2 (en) * | 2014-08-15 | 2017-10-03 | Nikon Corporation | Algorithm and device for image processing |
| CN108549891B (zh) * | 2018-03-23 | 2019-10-01 | 河海大学 | 基于背景与目标先验的多尺度扩散显著目标检测方法 |
| CN109583455A (zh) * | 2018-11-20 | 2019-04-05 | 黄山学院 | 一种融合递进图排序的图像显著性检测方法 |
-
2020
- 2020-05-11 CN CN202010392730.6A patent/CN111583245B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583245A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5045371B2 (ja) | 動画像の各画素の前景背景分類装置、方法及びプログラム | |
| CN107016691B (zh) | 基于超像素特征的运动目标检测方法 | |
| CN110245663B (zh) | 一种用于钢卷信息识别的方法 | |
| CN103871029B (zh) | 一种图像增强及分割方法 | |
| CN104616290A (zh) | 一种统计矩阵模型和自适应阈值相结合的目标检测算法 | |
| CN108830903B (zh) | 一种基于cnn的钢坯位置检测方法 | |
| CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN114627118A (zh) | 一种光纤电缆绝缘缺陷识别方法和系统 | |
| CN102831393A (zh) | 电力杆塔轮廓的快速图像识别方法 | |
| CN115272335A (zh) | 基于显著性检测的冶金金属表面缺陷检测方法 | |
| CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
| CN105469054A (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
| CN118097310B (zh) | 一种数字化检测混凝土表面缺陷的方法 | |
| CN117392116A (zh) | 一种超宽幅金属表面瑕疵检测与识别方法 | |
| CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN112163636A (zh) | 基于孪生神经网络的电磁信号辐射源的未知模式识别方法 | |
| CN112016449A (zh) | 一种基于深度学习的车辆识别与检测方法 | |
| CN111583245B (zh) | 一种多特征耦合及目标探测的工业自动化监控方法 | |
| CN104484865A (zh) | 对视频图像进行去雨的方法 | |
| CN117197682B (zh) | 一种长波红外遥感影像进行盲元检测与去除的方法 | |
| CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
| CN112465747A (zh) | 一种输电杆塔金具锈蚀的智能识别方法 | |
| CN116486086A (zh) | 一种基于热红外遥感影像的目标检测方法 | |
| CN108537771B (zh) | 基于hsv的mc-siltp运动目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |