CN113465505B - 一种视觉检测定位系统和方法 - Google Patents
一种视觉检测定位系统和方法 Download PDFInfo
- Publication number
- CN113465505B CN113465505B CN202110720338.4A CN202110720338A CN113465505B CN 113465505 B CN113465505 B CN 113465505B CN 202110720338 A CN202110720338 A CN 202110720338A CN 113465505 B CN113465505 B CN 113465505B
- Authority
- CN
- China
- Prior art keywords
- multispectral
- module
- light source
- product
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title abstract description 27
- 230000000007 visual effect Effects 0.000 title abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000000701 chemical imaging Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 15
- 238000011179 visual inspection Methods 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000002310 reflectometry Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 241000251511 Holothuroidea Species 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000002910 solid waste Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视觉检测定位系统和方法，多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，发送控制数据并接收反馈数据。本发明具有通用性，无需开发人员重新开发，还可根据控制模块的格式进行编程设定。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种视觉检测定位系统和方法。
背景技术
随着科技发展，对各种工件和零件的制造工艺和效率要求越来越高，对产品的加工要求也是越来越苛刻。视觉定位系统将解决机械定位误差和机械磨损误差带来的影响，实时把误差值发送给加工或检测系统，是许多在线产品检测和高精度加工设备的首选。视觉定位系统具有高度智能化与自动化特点，让整个控制过程变得简单而轻松。通过简单的编程，视觉定位系统可以轻松让设计人员学会的所有实操过程，具有高效率和高自由度，大大地提高了高精度加工和检测效率,满足智能制造和快速定制实时在线检测的需要。
公开号为CN110648364A的中国发明专利公开了一种多维度空间固废视觉检测定位及识别方法，包括离线训练步骤、在线检测步骤；离线训练步骤，步骤如下：1.1)采集样本固体废物的高度图像、彩色图像；1.2)根据预定的高度阈值，将高度图像进行二值化处理，得到二值图像；1.3)将二值图像作为掩膜，对彩色图像进行掩膜处理，获取目标像素覆盖的目标区域；1.4)将步骤1.3)掩膜处理后的彩色图像的目标区域与其对应于高度图像的相应目标区域进行ROI提取，获得一个或多个ROI图像；1.5)制作ROI图像标签，将ROI图像作为输入，将ROI图像标签作为训练目标，进行全卷积神经网络训练，得到训练模型；在线检测步骤，步骤如下：2.1)采集待检测固体废物的高度图像、彩色图像；2.2)根据预定的高度阈值，将高度图像进行二值化处理，得到二值图像；2.3)将二值图像作为掩膜，对彩色图像进行掩膜处理，获取目标像素覆盖的目标区域；2.4)将步骤2.3)掩膜处理后的彩色图像的目标区域与其对应于高度图像的相应目标区域进行ROI提取，获得一个或多个ROI图像；2.5)将步骤2.4)获得ROI图像输入训练模型，进行图像检测，得到每个ROI图像的预测，重新组合获取高度图像或彩色图像的训练结果；2.6)根据训练结果进行轮廓检测，获取每个ROI图像对应的目标的轮廓；2.7)基于轮廓，对每个目标进行抓取姿态及位置计算，完成定位与识别。
公开号为CN107883875A的中国发明专利公开了一种自主式海参捕捞装置视觉检测定位装置的视觉检测定位方法，自主式海参捕捞装置视觉检测定位装置包括水上部分和水下部分，水上部分和水下部分通过数据线和电源线连接在一起，所述水下部分包括图像采集装置、照明系统和防水装置，所述水上部分包括工控机、显示屏、电源系统和光源亮度控制盒，工控机分别连接显示屏、电源系统、光源亮度控制盒及图像采集装置，所述电源系统分别连接图像采集装置、照明系统、工控机、显示屏和光源亮度控制盒，所述光源亮度控制盒连接照明系统，所述图像采集装置和照明系统外侧均设有防水装置。图像采集装置将采集到的水下视频图像信息发送给工控机，工控机中的软件首先对采集到的海参图像进行图像的预处理，所述预处理包括图像的灰度化、图像增强、图像滤波操作，所述图像增强包括自适应直方图增强，所述图像滤波包括中值滤波；之后使用预先训练好的卷积神经网络模型对图像中的海参目标进行检测，辨别出图像中是否存在海参，若存在海参目标，使用矩形框在图像上将海参目标框出，进行海参目标的二维图像上的定位；之后读取出已标定好的双目相机的内外参数，选择相应的特征进行特征提取操作，使用的特征包括：Harris角点特征、SIFT特征、SURF特征，然后对双目相机得到的两幅处理后的图像进行立体匹配，匹配方法为FLANN方法，根据匹配结果进行视差的计算，再根据得出的视差计算出海参的深度信息，以此再计算出海参的X、Y坐标信息，由此确定出海参的三维地理坐标信息，输出海参的三维坐标位置。
上述视觉检测定位系统存在一些缺陷，需要针对被检测目标对功能模块进行重新设计，降低了开发效率。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种视觉检测定位系统和方法，解决了现有技术中需要针对被检测目标对功能模块进行重新设计，降低了开发效率的问题。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种视觉检测定位系统，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块发送控制数据并接收反馈数据。
优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互具体指的是
所述软件处理模块基于软件UI设计、参数设计和CNC编程操作模块设计控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互。
优选的，姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定中的控制模块包括但不限于PLC、机械臂、工业机器人。
优选的，所述姿态数据包括坐标和角度偏移值。
优选的，多光谱光源控制模块还用于预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
一种视觉检测定位方法，包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
S2，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
S3，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
S4，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定。
优选的，步骤S3和步骤S4中的姿态数据具体指的是坐标和角度偏移值。
优选的，步骤S3中的姿态算法由神经网络算法训练得到。
优选的，步骤S3中的姿态算法在本地或云端由神经网络算法训练得到。
本发明的有益效果在于：融合了计算机视觉、光源控制、智能IO编程等领域的技术，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。姿态数据具有通用性，无需开发人员重新开发，还可根据控制模块的格式进行编程设定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视觉检测定位系统的原理框图；
图2是本发明实施例提供的一种视觉检测定位方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明提出了一种视觉检测定位系统，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；CT(Cycle Time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品CT时间即为产品循环时间。
具体的，根据产品CT时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。
高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形LED灯。
多光谱光源控制模块根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；在此之前，可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息以及需要多光谱下的产品图像还是融合的多光谱图像，可以从光源数据库中匹配对应的光源。
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；多光谱成像模块包括黑白工业相机和成像控制器，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
成像控制器控制环形LED灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
在具体实施过程中，判断是否需要检测产品的三维角度，若不需要，则采用FasterR-CNN检测算法或YOLO检测算法或SSD算法对多光谱图像进行处理，若需要检测产品的三角角度，则在上述目标检测网络的基础上添加角度回归层、添加对应的损失函数并进行训练后得到状态算法对多光谱图像进行处理。损失函数包括角度误差、坐标误差、IOU误差、分类误差。
姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块发送控制数据并接收反馈数据。
优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互具体指的是
所述软件处理模块基于软件UI设计、参数设计和CNC编程操作模块设计控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互。
具体的，软件UI是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块的运行参数、默认参数和自定义参数；CNC编程操作模块设计用于显示产品的运行状态和工业机器人/机械臂/PLC的运行状态，还可向工业机器人/机械臂/PLC发送控制信息。
软件处理模块包括操作界面，操作界面还分为多个区域，包括但不限于模式切换区域、伺服控制区域、模式界面区域和功能选择区域，模式切换区域包括手动模式、自动模式、程序编辑和参数设置。
优选的，姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定中的控制模块包括但不限于PLC、机械臂、工业机器人。
优选的，所述姿态数据包括坐标和角度偏移值。
视觉定位系统是以计算机视觉系统为平台，模块化面向对象设计，设计过程中把设计好的模块单独下载到相应模块独立运行，模块与模块之间不会相互影响，模块具有继承的特点，以前设计的模块现在需要用到时可以把好的功能继承过来，不需要重新开发设计，因此开发效率大大提高，将会使自动化设备提升到了一个新高度。
视觉定位系统融合了计算机视觉、光源控制、智能IO编程等领域的技术，是智能制造领域的发展趋势，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。可以为智能手机零部件的检测、贴合和组装提供快速的解决方案，具有非常好的经济和社会效益。
如图2所示，本发明还提出了一种视觉检测定位方法，包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；CT(Cycle Time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品CT时间即为产品循环时间。
具体的，可根据产品CT时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形LED灯。
在其他实施例中，还可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。在具体实施过程中，可以根据所需的清晰度、图像对比度、边缘信息以及需要多光谱下的产品图像还是融合的多光谱图像，从光源数据库中匹配对应的光源。
S2，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
具体的，获取高速清晰的多光谱图像可利用黑白工业相机和成像控制器获取多光谱图像，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
成像控制器控制环形LED灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
S3，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；步骤S3中的姿态算法由神经网络算法训练得到。步骤S3中的姿态算法在本地或云端由神经网络算法训练得到。
在具体实施过程中，判断是否需要检测产品的三维角度，若不需要，则采用FasterR-CNN检测算法或YOLO检测算法或SSD算法对多光谱图像进行处理，若需要检测产品的三角角度，则在上述目标检测网络的基础上添加角度回归层、添加对应的损失函数并进行训练后得到状态算法对多光谱图像进行处理。损失函数包括角度误差、坐标误差、IOU误差、分类误差。
S4，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定。
步骤S3和步骤S4中的姿态数据具体指的是坐标和角度偏移值。
本发明的有益效果在于：融合了计算机视觉、光源控制、智能IO编程等领域的技术，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。姿态数据具有通用性，无需开发人员重新开发，还可根据控制模块的格式进行编程设定。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。
Claims (9)
1.一种视觉检测定位系统，其特征在于，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块发送控制数据并接收反馈数据；
多光谱成像模块包括黑白工业相机和成像控制器，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作；成像控制器控制环形LED灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ，ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度；
所述多光谱光源控制模块还用于预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
2.根据权利要求1所述的一种视觉检测定位系统，其特征在于，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
3.根据权利要求1所述的一种视觉检测定位系统，其特征在于，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互具体指的是
所述软件处理模块基于软件UI设计、参数设计和CNC编程操作模块设计控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互。
4.根据权利要求1所述的一种视觉检测定位系统，其特征在于，姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定中的控制模块包括但不限于PLC、机械臂、工业机器人。
5.根据权利要求1所述的一种视觉检测定位系统，其特征在于，所述姿态数据包括坐标和角度偏移值。
6.一种视觉检测定位方法，基于权利要求1-5任一项所述的视觉检测定位系统实现，其特征在于，包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
S2，根据产品CT时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
S3，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
S4，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定。
7.根据权利要求6所述的一种视觉检测定位方法，其特征在于，步骤S3和步骤S4中的姿态数据具体指的是坐标和角度偏移值。
8.根据权利要求6所述的一种视觉检测定位方法，其特征在于，步骤S3中的姿态算法由神经网络算法训练得到。
9.根据权利要求6或8所述的一种视觉检测定位方法，其特征在于，步骤S3中的姿态算法在本地或云端由神经网络算法训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110720338.4A CN113465505B (zh) | 2021-06-28 | 2021-06-28 | 一种视觉检测定位系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110720338.4A CN113465505B (zh) | 2021-06-28 | 2021-06-28 | 一种视觉检测定位系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113465505A CN113465505A (zh) | 2021-10-01 |
| CN113465505B true CN113465505B (zh) | 2024-03-22 |
Family
ID=77873553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110720338.4A Active CN113465505B (zh) | 2021-06-28 | 2021-06-28 | 一种视觉检测定位系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113465505B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114280323A (zh) * | 2021-12-24 | 2022-04-05 | 凌云光技术股份有限公司 | 一种轨道车辆矢量速度的测量设备、系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001144972A (ja) * | 1999-11-18 | 2001-05-25 | Fuji Photo Film Co Ltd | マルチスペクトル画像収録・処理装置および画像収録・処理方法 |
| CN1747647A (zh) * | 2005-08-05 | 2006-03-15 | 华南理工大学 | 一种贴片机自适应式光源照明系统及方法 |
| CN101059424A (zh) * | 2007-05-22 | 2007-10-24 | 浙江大学 | 多光谱肉类新鲜度人工智能测量方法及系统 |
| CN103793692A (zh) * | 2014-01-29 | 2014-05-14 | 五邑大学 | 低分辨率多光谱掌纹、掌静脉实时身份识别方法与系统 |
| CN109214222A (zh) * | 2018-08-31 | 2019-01-15 | 四川和鼎昇泰信息技术有限公司 | 基于嵌入式的32位条烟激光码识别系统及其识别方法 |
| CN110956627A (zh) * | 2019-12-13 | 2020-04-03 | 智泰科技股份有限公司 | 智能型光学检测样品特征与瑕疵智能打光取像方法及装置 |
| CN111986224A (zh) * | 2020-08-05 | 2020-11-24 | 七海行(深圳)科技有限公司 | 一种目标行为预测追踪方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593060B2 (en) * | 2017-04-14 | 2020-03-17 | TwoAntz, Inc. | Visual positioning and navigation device and method thereof |
-
2021
- 2021-06-28 CN CN202110720338.4A patent/CN113465505B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001144972A (ja) * | 1999-11-18 | 2001-05-25 | Fuji Photo Film Co Ltd | マルチスペクトル画像収録・処理装置および画像収録・処理方法 |
| CN1747647A (zh) * | 2005-08-05 | 2006-03-15 | 华南理工大学 | 一种贴片机自适应式光源照明系统及方法 |
| CN101059424A (zh) * | 2007-05-22 | 2007-10-24 | 浙江大学 | 多光谱肉类新鲜度人工智能测量方法及系统 |
| CN103793692A (zh) * | 2014-01-29 | 2014-05-14 | 五邑大学 | 低分辨率多光谱掌纹、掌静脉实时身份识别方法与系统 |
| CN109214222A (zh) * | 2018-08-31 | 2019-01-15 | 四川和鼎昇泰信息技术有限公司 | 基于嵌入式的32位条烟激光码识别系统及其识别方法 |
| CN110956627A (zh) * | 2019-12-13 | 2020-04-03 | 智泰科技股份有限公司 | 智能型光学检测样品特征与瑕疵智能打光取像方法及装置 |
| CN111986224A (zh) * | 2020-08-05 | 2020-11-24 | 七海行(深圳)科技有限公司 | 一种目标行为预测追踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113465505A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| CA3062044C (en) | System and method for work piece inspection | |
| Chen et al. | Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection | |
| CN108355981B (zh) | 一种基于机器视觉的电池连接器质量检测方法 | |
| CN108592788B (zh) | 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法 | |
| CN104385282B (zh) | 一种视觉智能数控系统及其视觉计测方法 | |
| CN111645111A (zh) | 一种基于工业机器人的智能制造系统及方法 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| EP4202424A1 (en) | Method and system for inspection of welds | |
| CN113465505B (zh) | 一种视觉检测定位系统和方法 | |
| CN101645136A (zh) | 图像识别检测系统 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN116673962B (zh) | 一种基于Faster R-CNN和GRCNN的机械臂智能抓取方法及系统 | |
| WO1999016010A1 (en) | Automated visual inspection system and process for detecting and classifying defects | |
| KR102366396B1 (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
| CN117250206A (zh) | 基于可见光和红外光融合的导电线异常检测方法与装置 | |
| Takarics et al. | Welding trajectory reconstruction based on the Intelligent Space concept | |
| Slavov et al. | 3D machine vision system for defect inspection and robot guidance | |
| Ferreira et al. | Smart system for calibration of automotive racks in Logistics 4.0 based on CAD environment | |
| Kamaruzzaman et al. | Design and implementation of a wireless robot for image processing | |
| Moru et al. | Machine Vision and Metrology Systems: An Overview | |
| CN109100371A (zh) | 一种激光全反射式的3c透明构件缺陷检测装置及方法 | |
| Smruthi et al. | Hardware Implementation of Machine Vision System for Component Detection | |
| Kwon et al. | Inspection Methodology for Improving Wafer Quality in Semiconductor Production | |
| Gözükirmizi et al. | Detection of surface anomalites on electric motors based on visual deep learning methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |