CN110930433A - 一种基于图像复原的高速移动对象机器视觉目标检测方法 - Google Patents
一种基于图像复原的高速移动对象机器视觉目标检测方法 Download PDFInfo
- Publication number
- CN110930433A CN110930433A CN201911145922.0A CN201911145922A CN110930433A CN 110930433 A CN110930433 A CN 110930433A CN 201911145922 A CN201911145922 A CN 201911145922A CN 110930433 A CN110930433 A CN 110930433A
- Authority
- CN
- China
- Prior art keywords
- image
- speed moving
- machine vision
- moving object
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 238000005516 engineering process Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000005303 weighing Methods 0.000 claims abstract description 4
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims 2
- 230000002411 adverse Effects 0.000 claims 1
- 238000005311 autocorrelation function Methods 0.000 claims 1
- 238000007796 conventional method Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 claims 1
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种基于图像复原的高速移动对象机器视觉目标检测方法，包括：获取高速移动对象运动模糊图像；提取运动模糊图像变换域条纹方向及间隔特征，建立条纹方向及间隔与直线运动模糊核参数关系，构造直线运动模糊核；基于图像噪声分布构建数据保真项及基于图像先验构建正则项，根据数据保真项与正则项构建泛函优化反卷积；根据边界截断效应预处理运动模糊图像，根据成像过程异常因素预处理泛函优化逆卷积；权衡数据保真项与正则项比重，设计优化策略求解泛函优化反卷积，获取最终复原图像；应用主流目标检测技术检测复原图像感兴趣目标，实现基于图像复原的高速移动对象机器视觉目标检测方法。
Description
技术领域
本发明涉及机器视觉目标检测领域，尤其涉及一种基于图像复原的高速移动对象机器视觉目标检测方法。
背景技术
在智能制造与装备等产业中，机器视觉技术因实时性好、准确性高、适用性广而得到广泛应用。目标检测作为机器视觉系统主要任务之一，在工业相机采集高分辨率图像信息基础上，实现多目标物体识别、位置预测，并关联目标物体位置信息与世界坐标信息，控制机器视觉系统驱动器进行相应操作。随着机器视觉应用逐步推广至动态成像领域，高速移动对象对机器视觉目标检测提出挑战。传统视觉传感器并不总是能够捕获高速移动对象或现象以及只能重复特定动作，促使动态成像出现运动模糊，阻碍语义信息获取。虽然现有目标检测技术对运动模糊具有一定鲁棒性，然而要满足高速移动对象机器视觉目标检测还有一定差距。高速视觉传感器虽从硬件层面上可以防范运动模糊现象，但仍然存在成本高、自动化程度低、组合装置不可变等缺点。
图像复原根据已有低质量图像推测成像过程退化函数，根据该函数倒推退化过程从而获取原始高质量图像。由于机器视觉目标检测多用于智能制造与装备生产线监测，因此退化函数一般为直线运动模糊核。图像复原为高速移动对象机器视觉目标检测下的低质量模糊图像提供回转余地。通过图像复原技术恢复运动模糊淹没的纹理结构与语义信息，补偿目标检测运动模糊误差，为高速移动对象机器视觉目标检测奠定基础。
发明内容
为解决上述存在的问题与缺陷，本发明提供一种基于图像复原的高速移动对象机器视觉目标检测方法，该方法应用于动态成像条件下的机器视觉目标检测，由低质量运动模糊图像经复原后获取高质量图像，补偿目标检测运动模糊误差，为智能制造与装备等产业中的高速移动对象机器视觉目标检测奠定基础。
本发明的目的通过以下的技术方案来实现：
一种基于图像复原的高速移动对象机器视觉目标检测方法，该方法包括：
A获取高速移动对象运动模糊图像；
B提取运动模糊图像变换域条纹方向及间隔特征，建立条纹方向及间隔与直线运动模糊核参数关系，构造直线运动模糊核；
C基于图像噪声分布构建数据保真项及基于图像先验构建正则项，根据数据保真项与正则项构建泛函优化反卷积；
D根据边界截断效应预处理运动模糊图像，根据成像过程异常因素预处理泛函优化逆卷积；
E权衡数据保真项与正则项比重，设计优化策略求解泛函优化反卷积，获取最终复原图像；
F应用主流目标检测技术检测复原图像感兴趣目标，实现基于图像复原的高速移动对象机器视觉目标检测方法。
本发明有益效果是：
应用于动态成像条件下的机器视觉目标检测，由低质量运动模糊图像经复原后获取高质量图像，补偿目标检测运动模糊误差，为智能制造与装备等产业中的高速移动对象机器视觉目标检测奠定基础。
附图说明
图1是本发明所述的基于图像复原的高速移动对象机器视觉目标检测方法流程框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是基于图像复原的高速移动对象机器视觉目标检测方法，如图1所示，该方法包括如下步骤：
步骤10、获取高速移动对象运动模糊图像。
步骤20、应用Radon变换检测运动模糊图像频谱域条纹方向，即运动模糊方向θ；计算运动模糊图像频谱域sinc函数特征中心共轭低谷间隔，根据傅里叶变换周期性获取运动模糊尺度L；基于所得运动模糊方向θ及尺度L构造直线运动模糊核
其中x，y为行列像素索引。
步骤30、基于图像噪声高斯分布构建数据保真项
基于图像梯度服从重尾分布作为图像先验构造超拉普拉斯正则项
其中▽l为图像梯度，p∈[0.5,0.8]，一般取0.6；两项通过1：λ权重求和构成泛函优化反卷积
步骤40、根据边界截断效应预处理运动模糊图像：在保持局部灰度或梯度平滑性的前提下，应用已有图像数据外插合成边界缺失信息预处理运动模糊图像；根据成像过程异常因素预处理泛函优化反卷积：成像过程异常因素包括饱和像素、压缩效应、非高斯噪声以及相机非线性响应，可建立非线性图像退化模型，嵌入至泛函优化反卷积对其进行预处理。
步骤50、权衡数据保真项与正则项比重：数据保真项占比较大，根据经验λ设为0.002至0.005之间效果较好；设计优化策略求解泛函优化反卷积
：该泛函非凸，可应用重加权迭代最小二乘法(iteratively reweighted least squares)或查找表法(look-up table)求解非凸函数最优解。
步骤60、应用主流目标检测技术YOLOv3检测复原图像感兴趣目标，其中YOLOv3训练集由大量运动模糊消除后的复原图像组成。
上述方式应用于动态成像条件下的机器视觉目标检测，由低质量运动模糊图像经复原后获取高质量图像，补偿目标检测运动模糊误差，为智能制造与装备等产业中的高速移动对象机器视觉目标检测奠定基础。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (7)
1.一种基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述方法包括：
A获取高速移动对象运动模糊图像；
B提取运动模糊图像变换域条纹方向及间隔特征，建立条纹方向及间隔与直线运动模糊核参数关系，构造直线运动模糊核；
C基于图像噪声分布构建数据保真项及基于图像先验构建正则项，根据数据保真项与正则项构建泛函优化反卷积；
D根据边界截断效应预处理运动模糊图像，根据成像过程异常因素预处理泛函优化逆卷积；
E权衡数据保真项与正则项比重，设计优化策略求解泛函优化反卷积，获取最终复原图像；
F应用主流目标检测技术检测复原图像感兴趣目标，实现基于图像复原的高速移动对象机器视觉目标检测方法。
2.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述高速移动对象指机器视觉目标检测在智能制造与装备生产线监测场景下的检测目标，其运动轨迹视为直线。
3.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述步骤B中，所述运动模糊图像变换域指频谱域、倒谱域、自相关函数特征空间；所述运动模糊图像变换域条纹方向及间隔特征分别表征运动模糊方向及尺度；所述直线运动模糊核描述成像阶段相机与目标相对移动轨迹，由运动模糊方向及尺度两个参数组成。
4.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述步骤C中，所述图像噪声分布为高斯分布、拉普拉斯分布或泊松分布；所述图像先验描述图像固有特征，两项通过权重求和构成泛函优化反卷积。
5.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述步骤D中，所述边界截断效应指图像内容在边界处截断，促使数据周期性假设不成立；所述成像过程异常因素包括饱和像素、压缩效应、非高斯噪声以及相机非线性响应；所述预处理则分别根据边界截断效应与成像过程异常因素对运动模糊图像与泛函优化反卷积做出修改，以抑制其不利影响。
6.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述步骤E中，所述数据保真项与正则项比重影响泛函优化反卷积解演化方向，所述优化策略主要针对泛函优化反卷积不存在封闭解情况，此时优化策略求出泛函优化反卷积数值解。
7.如权利要求1所述的基于图像复原的高速移动对象机器视觉目标检测方法，其特征在于，所述步骤F中，所述主流目标检测技术包括传统方法与深度学习方法，其中深度学习方法训练集由大量运动模糊消除后的复原图像组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911145922.0A CN110930433A (zh) | 2019-11-21 | 2019-11-21 | 一种基于图像复原的高速移动对象机器视觉目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911145922.0A CN110930433A (zh) | 2019-11-21 | 2019-11-21 | 一种基于图像复原的高速移动对象机器视觉目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110930433A true CN110930433A (zh) | 2020-03-27 |
Family
ID=69850653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911145922.0A Pending CN110930433A (zh) | 2019-11-21 | 2019-11-21 | 一种基于图像复原的高速移动对象机器视觉目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930433A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626946A (zh) * | 2020-04-23 | 2020-09-04 | 武汉理工大学 | 用于高速物料传输视觉检测系统的运动模糊核测量方法 |
| CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113177889A (zh) * | 2021-04-27 | 2021-07-27 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446694A (zh) * | 2017-02-16 | 2018-08-24 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
| CN108460395A (zh) * | 2017-02-17 | 2018-08-28 | 北京三星通信技术研究有限公司 | 目标检测方法和装置以及模糊处理方法和装置 |
| CN109859202A (zh) * | 2019-02-18 | 2019-06-07 | 哈尔滨工程大学 | 一种基于usv水面光学目标跟踪的深度学习检测方法 |
-
2019
- 2019-11-21 CN CN201911145922.0A patent/CN110930433A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446694A (zh) * | 2017-02-16 | 2018-08-24 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
| CN108460395A (zh) * | 2017-02-17 | 2018-08-28 | 北京三星通信技术研究有限公司 | 目标检测方法和装置以及模糊处理方法和装置 |
| CN109859202A (zh) * | 2019-02-18 | 2019-06-07 | 哈尔滨工程大学 | 一种基于usv水面光学目标跟踪的深度学习检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘桂雄 等: "运动模糊复原技术研究进展与展望" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626946A (zh) * | 2020-04-23 | 2020-09-04 | 武汉理工大学 | 用于高速物料传输视觉检测系统的运动模糊核测量方法 |
| CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113177889A (zh) * | 2021-04-27 | 2021-07-27 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113177889B (zh) * | 2021-04-27 | 2022-03-01 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930433A (zh) | 一种基于图像复原的高速移动对象机器视觉目标检测方法 | |
| CN111444778B (zh) | 一种车道线检测方法 | |
| CN112767359B (zh) | 复杂背景下的钢板角点检测方法及系统 | |
| CN109064479B (zh) | 一种基于邻近视频帧灰度动态特征的海天线检测方法 | |
| CN112183325B (zh) | 基于图像对比的公路车辆检测方法 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN112964201A (zh) | 一种碳板直线度检测方法 | |
| CN116704516B (zh) | 一种用于水溶肥料包装的视觉检测方法 | |
| CN113899349B (zh) | 海浪参数检测方法、设备及存储介质 | |
| CN101572820B (zh) | 一种运动目标检测过程中的视频信号预处理方法 | |
| CN113628170B (zh) | 一种基于深度学习的激光线提取方法及系统 | |
| CN114140484A (zh) | 一种基于光电传感器的高鲁棒性海天线提取方法 | |
| CN111429437B (zh) | 面向目标检测的图像无参考清晰度质量检测方法 | |
| CN110969601B (zh) | 基于视觉特征跟踪算法的结构转动响应非接触式识别方法 | |
| CN113052794A (zh) | 一种基于边缘特征的图像清晰度识别方法 | |
| CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 | |
| CN107734294A (zh) | 监控图像复原系统及方法 | |
| CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
| CN111127506A (zh) | 一种基于序列图像的海上运动目标综合检测方法 | |
| CN111160362A (zh) | 一种fast特征均匀化提取与基于imu的帧间特征误匹配去除方法 | |
| CN115908399A (zh) | 一种基于改进视觉注意机制的磁片瑕疵检测方法 | |
| CN112819823B (zh) | 一种面向家具板材的圆孔检测方法、系统及装置 | |
| Park et al. | Automatic radial un-distortion using conditional generative adversarial network | |
| Liang et al. | Spatiotemporal super-resolution reconstruction based on robust optical flow and Zernike moment for video sequences | |
| CN112348853A (zh) | 基于红外显著性特征融合的粒子滤波跟踪的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |