CN111199227A - 一种高精度图像识别方法 - Google Patents

一种高精度图像识别方法 Download PDF

Info

Publication number
CN111199227A
CN111199227A CN201911328521.9A CN201911328521A CN111199227A CN 111199227 A CN111199227 A CN 111199227A CN 201911328521 A CN201911328521 A CN 201911328521A CN 111199227 A CN111199227 A CN 111199227A
Authority
CN
China
Prior art keywords
image
target
edge
deep learning
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911328521.9A
Other languages
English (en)
Inventor
宋凯
马亚东
何智成
胡朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Liuzhou United Farming Technology Co Ltd
Original Assignee
Guangxi Liuzhou United Farming Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Liuzhou United Farming Technology Co Ltd filed Critical Guangxi Liuzhou United Farming Technology Co Ltd
Priority to CN201911328521.9A priority Critical patent/CN111199227A/zh
Publication of CN111199227A publication Critical patent/CN111199227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种高精度图像识别方法，将基于深度学习的目标检测方法与图像处理算法结合，通过基于深度学习的目标检测方法可以消除环境因素对图像造成的干扰，从而对目标特征区域进行准确的定位，再结合图像处理算法，实现对目标特征的高精度识别；另一方面由于目前的图像处理算法在精度和速度方面都没能有一个很好的平衡，本发明提出了一种新的圆检测算法，使用随机采样和优化流程，保证了检测的实时性和准确性。

Description

一种高精度图像识别方法
技术领域
本发明属于图像识别技术领域，属于人工智能的重要分支，具体涉及一种高精度图像识别方法。
背景技术
目前，机器视觉技术已成功应用到工业生产领域，通过对采集到的图像进行识别处理，进而实现检测的目的。但是由于生产车间的“光污染”、“油污”等恶劣环境对图像造成的干扰，所以在精度方面提出了很高的要求。现有的图像识别方法大致可以分为两类：一类是基于图像处理的方法，一类是基于深度学习的目标检测方法。基于图像处理的方法首先对图像进行预处理，包括灰度化、滤波、边缘检测、二值化等操作，得到二值边缘图像，然后利用图像中特征的边缘梯度等信息识别出特征；基于深度学习的目标检测算法通过对大量样本的训练，利用卷积、池化等操作提取图像不同层次的特征，从而实现目标特征的定位。然而这些方法都有着不足之处。基于图像处理的方法虽然在速度上略胜一筹，但对噪声敏感，容易受到环境的干扰；基于深度学习的方法通过训练可以得到具有很强鲁棒性的模型，排除恶劣环境的影响，但是只能确定目标大致区域，并不能准确识别特征轮廓，所以不能进行更精细的检测。
发明内容
为了解决上述问题，既能得到特征的准确位置，又能排除无关噪声的干扰，本发明提出一种高精度的机器视觉图像识别方法，该方法将基于深度学习的目标检测方法与基于图像处理的特征检测方法结合，使用深度学习准确选出感兴趣区域ROI(目标特征所在区域)，再使用基于图像处理的特征检测方法在ROI区域内识别，可以有效排除无关信息的干扰，实现高精度的图像识别。具体包括：
(1)制作专用数据集来训练深度学习模型，使损失函数最小，得到训练完成的目标检测模型；
(2)将待检测图像输入基于深度学习的目标检测模型，输出带有预测框(矩形ROI)的图像，实现目标特征的定位，预测框内为目标特征；
(3)对预测框内的图像作为图像处理算法的输入，算法对ROI图像进行细化检测，拟合目标特征轮廓。
另一方面现有的图像处理的方法速度和精度上存在很大的问题，精度高的算法迭代次数多，导致算法运行消耗时间长，无法满足工业上实时性的要求；速度快的算法精度差，容易受到环境的影响，在“光污染”、“油污”等环境时，识别精度差，错误率高，不能满足工业的检测需求。
针对上述问题，我们提出了一种新型的图像处理算法，比现有的算法有更快的处理速度，并能保证检测的准确性，该算法采用直角三角形采样策略，随机选取一点作为直角三角形的直角顶点，进而做行、列扫描得到其余两顶点，根据几何性质从而检测到圆，为了进一步增加检测的准确性，针对随机采样带来的精度下降的问题采用了优化流程，加入了边缘像素的距离和尺寸约束，使得检测特征既快又准。具体包括如下步骤：
(1)对图像进行预处理，灰度化、滤波、二值化和边缘检测，输出为边缘二值化图像；
(2)在步骤(1)生成的边缘二值化图像上随机采样一个边缘点作为直角三角形的直角顶点，对直角顶点所在的行和列分别进行扫描，得到另外的两个顶点，构成直角三角形；
(3)根据性质，可确定直角三角形的外接圆，并且直角三角形斜边的中点是外接圆的圆心；
(4)对步骤(3)得到的候选外接圆进行优化，根据性质“弦的垂直平分线是圆的直径”，并且加入边缘点与该垂直平分线的距离约束和边缘点梯度方向与该垂直平分线的角度差约束，最终确定新的直径，得到优化后的圆。
有益效果：
本发明提出一种高精度的图像识别方法，将基于深度学习的目标检测方法与图像处理算法结合，通过基于深度学习的目标检测方法可以消除环境因素对图像造成的干扰，从而对目标特征区域进行准确的定位，再结合图像处理算法，实现对目标特征的高精度识别；另一方面由于目前的图像处理算法在精度和速度方面都没能有一个很好的平衡，本发明提出了一种新的圆检测算法，使用随机采样和优化流程，保证了检测的实时性和准确性。
本发明解决了在生产车间复杂恶劣环境的影响下图像识别的精度问题，能够极大的提高检测的准确率，减少检测错误率，能够省去二次检测，降低成本。
附图说明
图1为本发明流程图。
图2为本发明新型的图像处理算法流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。
针对车间的生产制造环境复杂恶劣，并且出现“光污染”、“油污”等污染现象，本发明提出一种高精度的图像识别方法，该方法结合了深度学习与传统的检测方法，解决了，在生产车间复杂恶劣环境的影响下图像识别的精度问题，有效避免了上述影响。
如图1所示，前期采集足够多的目标图像建立数据集，对深度学习模型进行训练，得到训练好的优化模型。接下来是在线检测部分，将该模型移植到工控机上，待检测目标图像经过深度学习模型以及图像处理算法的检测，最终输出目标特征的位置。具体步骤包括：
(1)制作专用数据集来训练深度学习模型，使损失函数最小，得到训练完成的目标检测模型；
(2)将待检测图像输入基于深度学习的目标检测模型，输出带有预测框(矩形ROI)的图像，实现目标特征的定位，预测框内为目标特征。为了能将全部的特征像素包围，我们将其稍微扩大得到后期检测的感兴趣区域(ROI框)，深度学习模型经过大量图像的训练学习之后，具有很好的识别性能，能准确识别出图像特征所处的位置区域。
(3)我们将这个步骤(2)中的位置区域经过裁剪操作得到预测框内新的图像，如图2所示，对输入的图像进行预处理，得到边缘二值化图像，并建立边缘像素点集合，接下来判断是否满足采样条件、优化流程条件和设定的边缘点阈值条件，若满足，则得到真圆，否则，返回采样步骤，循环判断上述条件。具体为将其作为图像处理算法的输入，然后经过滤波、边缘检测等操作，得到二值边缘图像，使用图像处理算法，随机选取能够描述目标轮廓的边缘点，作为直角三角形的直角顶点，对直角顶点所在的行和列分别进行扫描，得到另外的两个顶点，构成直角三角形，根据几何性质，可确定直角三角形的外接圆，并且直角三角形斜边的中点是外接圆的圆心，经过有限次迭代或筛选，找出可能的候选目标，对得到的候选目标进行优化，根据性质“弦的垂直平分线是圆的直径”，并且加入边缘点与该垂直平分线的距离约束和边缘点梯度方向与该垂直平分线的角度差约束，最终确定新的直径，得到优化后的圆。
因为原始图像经过深度学习模型已经排除了目标特征ROI之外的所有无效干扰信息，所以很好地克服了随机算法对于噪声的弱抵抗性的缺点，从而大大提高了图像识别精度
该方法能够极大的提高检测的准确率，减少检测错误率，能够省去二次检测，降低成本，该方法可以应用到车身智能制造领域，来实现车身制造质量控制的目的，比如车身焊接质量检测，涂胶质量检测等。具体为：在车身焊接质量检测中，通过机器视觉手段获取点焊或者缝焊图像以及涂胶图像，图像经过深度学习的检测得到感兴趣区域，并作为传统图像处理检测算法的输入，然后经过滤波、边缘检测等操作，得到二值边缘图像，使用图像处理算法检测出最终的目标特征。

Claims (2)

1.一种高精度图像识别方法，其特征在于，将基于深度学习的目标检测方法与基于图像处理的特征检测方法结合，具体如下步骤：
(1)制作专用数据集来训练深度学习模型，使损失函数最小，得到训练完成的目标检测模型；
(2)将待检测图像输入基于深度学习的目标检测模型，输出带有预测框(矩形ROI)的图像，实现目标特征的定位，预测框内为目标特征；
(3)对预测框内的图像作为图像处理算法的输入，算法对ROI图像进行细化检测，拟合目标特征轮廓。
2.根据权利要求1所述的一种高精度图像识别方法，其特征在于，步骤(3)中图像处理算法包括如下步骤：
(1)对图像进行预处理，灰度化、滤波、二值化和边缘检测，输出为边缘二值化图像；
(2)在步骤(1)生成的边缘二值化图像上随机采样一个边缘点作为直角三角形的直角顶点，对直角顶点所在的行和列分别进行扫描，得到另外的两个顶点，构成直角三角形；
(3)根据性质，可确定直角三角形的外接圆，并且直角三角形斜边的中点是外接圆的圆心；
(4)对步骤(3)得到的候选外接圆进行优化，根据性质“弦的垂直平分线是圆的直径”，并且加入边缘点与该垂直平分线的距离约束和边缘点梯度方向与该垂直平分线的角度差约束，最终确定新的直径，得到优化后的圆。
CN201911328521.9A 2019-12-20 2019-12-20 一种高精度图像识别方法 Pending CN111199227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911328521.9A CN111199227A (zh) 2019-12-20 2019-12-20 一种高精度图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911328521.9A CN111199227A (zh) 2019-12-20 2019-12-20 一种高精度图像识别方法

Publications (1)

Publication Number Publication Date
CN111199227A true CN111199227A (zh) 2020-05-26

Family

ID=70744527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911328521.9A Pending CN111199227A (zh) 2019-12-20 2019-12-20 一种高精度图像识别方法

Country Status (1)

Country Link
CN (1) CN111199227A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235939A (zh) * 2013-05-08 2013-08-07 哈尔滨工业大学 基于机器视觉的基准点定位方法
CN104394385A (zh) * 2014-12-10 2015-03-04 华南师范大学 一种瓷砖质量在线检测装置及其检测方法
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN109255787A (zh) * 2018-10-15 2019-01-22 杭州慧知连科技有限公司 基于深度学习和图像处理技术的丝锭划痕检测系统及方法
CN109658428A (zh) * 2018-12-14 2019-04-19 南京工程学院 基于Hough变换实现圆的快速检测方法
CN110008833A (zh) * 2019-02-27 2019-07-12 中国科学院半导体研究所 基于光学遥感图像的目标船只检测方法
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110503006A (zh) * 2019-07-29 2019-11-26 恒大智慧科技有限公司 一种社区吸烟管控方法、系统及其存储介质
CN110555382A (zh) * 2019-07-31 2019-12-10 浙江理工大学 一种基于深度学习和Wasserstein距离度量的指静脉识别方法
CN110569792A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235939A (zh) * 2013-05-08 2013-08-07 哈尔滨工业大学 基于机器视觉的基准点定位方法
CN104394385A (zh) * 2014-12-10 2015-03-04 华南师范大学 一种瓷砖质量在线检测装置及其检测方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN109255787A (zh) * 2018-10-15 2019-01-22 杭州慧知连科技有限公司 基于深度学习和图像处理技术的丝锭划痕检测系统及方法
CN109658428A (zh) * 2018-12-14 2019-04-19 南京工程学院 基于Hough变换实现圆的快速检测方法
CN110008833A (zh) * 2019-02-27 2019-07-12 中国科学院半导体研究所 基于光学遥感图像的目标船只检测方法
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110503006A (zh) * 2019-07-29 2019-11-26 恒大智慧科技有限公司 一种社区吸烟管控方法、系统及其存储介质
CN110555382A (zh) * 2019-07-31 2019-12-10 浙江理工大学 一种基于深度学习和Wasserstein距离度量的指静脉识别方法
CN110569792A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马文娟等: "基于随机Hough变换的圆检测改进算法" *

Similar Documents

Publication Publication Date Title
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109459750B (zh) 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN112949338A (zh) 深度学习与Hough变换结合的二维条码精确定位方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN114488194A (zh) 一种智能驾驶车辆结构化道路下目标检测识别方法
CN112560538B (zh) 一种根据图像冗余信息快速定位受损qr码的方法
CN105787950A (zh) 一种基于行梯度累加的红外图像海天线检测算法
CN109633686B (zh) 一种基于激光雷达侦测地面障碍物的方法及系统
CN112329587A (zh) 饮料瓶的分类方法、装置及电子设备
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
CN113723494A (zh) 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN111199227A (zh) 一种高精度图像识别方法
CN111160231A (zh) 一种基于Mask R-CNN的自动驾驶环境道路提取方法
CN116612461A (zh) 一种基于目标检测的指针式仪表全过程自动读数方法
CN106778515B (zh) 一种法兰轴向漏磁阵列信号自动识别方法
CN117237657A (zh) 一种基于hough变换的RSCD圆弧检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526