CN110197508A - 2d、3d共融视觉引导运动的方法及装置 - Google Patents
2d、3d共融视觉引导运动的方法及装置 Download PDFInfo
- Publication number
- CN110197508A CN110197508A CN201910619089.2A CN201910619089A CN110197508A CN 110197508 A CN110197508 A CN 110197508A CN 201910619089 A CN201910619089 A CN 201910619089A CN 110197508 A CN110197508 A CN 110197508A
- Authority
- CN
- China
- Prior art keywords
- image
- location information
- target object
- image sequence
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003181 co-melting Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims description 54
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 16
- 150000001875 compounds Chemical class 0.000 claims description 8
- 238000003466 welding Methods 0.000 abstract description 9
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 239000007788 liquid Substances 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000003292 glue Substances 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229920003217 poly(methylsilsesquioxane) Polymers 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种2D、3D共融视觉引导运动的方法及装置，该方法包括：获取图像放大率不变的第一图像序列中目标物体的3D位置信息；获取图像放大率不变的第二图像序列中目标物体的2D位置信息；获取单一目标的单图像中单一目标物体的2D位置信息；将第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息发送至运动控制装置；由运动控制装置执行对应的运动引导。本发明能实现兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
Description
技术领域
本发明涉及计算机视觉引导与定位技术领域，尤其涉及一种2D、3D共融视觉引导运动的方法及装置。
背景技术
机器(计算机)视觉引导与定位在工业领域有广泛的运用。对于工作在生产线上的机器人来说，其主要任务是：定位需要捉取物料，定位需要放置，然后引导物料放置准确的位置(或将物料与物料准确相贴合)；对于点胶设备、焊接设备、喷涂设备等来说，其主要任务是定位需要添加材料的位置，引导加料机构将胶水、焊锡、涂料等按照相应工艺添加到定位区域。部分工序由2D信息即可完成相应工序，但是有些工序必须有深度信息(深度信息即物体与成像系统的距离，即高度信息Z)才能完成，如跟随器件不同高度(地势跟随)进行点胶焊接等。
发明内容
本发明的主要目的在于提出一种2D、3D共融视觉引导运动的方法及装置，旨在实现有效兼容2D、3D视觉引导运动，促进自动化生产的发展。
为实现上述目的，本发明提出一种2D、3D共融视觉引导运动的方法，所述方法包括以下步骤：
通过成像系统分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体；
根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息；
通过所述成像系统分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体；
将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息；
通过所述成像系统获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息；
将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置；
由所述运动控制装置根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
本发明的进一步的技术方案是，所述成像系统包括单目相机、调整相机对焦面装置；所述弥散圆的大小差异包括模糊差异或清晰差异。
本发明的进一步的技术方案是，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
本发明的进一步的技术方案是，所述通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息。
本发明的进一步的技术方案是，所述通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述单图像中单一目标物体的2D位置信息。
为实现上述目的，本发明还提出一种2D、3D共融视觉引导运动的装置，所述装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。
本发明的进一步的技术方案是，所述成像系统包括单目相机、调整相机对焦面装置。
本发明的进一步的技术方案是，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
本发明的进一步的技术方案是，所述成像系统用于分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构用于根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息；
所述成像系统还用于分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构还用于将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息；
所述成像系统还用于获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息；
所述位置信息获取机构还用于将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置；
所述运动控制装置用于根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
本发明的进一步的技术方案是，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息。
本发明的有益效果是：本发明2D、3D共融视觉引导运动的方法及装置通过上述技术方案，采用成像系统对不同深度的目标物体对焦，采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导，能实现有效兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
附图说明
图1是本发明2D、3D共融视觉引导运动的方法较佳实施例的流程示意图；
图2是本发明2D、3D共融视觉引导运动的方法的整体方案示意图；
图3是本发明2D、3D共融视觉引导运动的方法中调整相机对焦面装置的一种结构示意图；
图4是本发明2D、3D共融视觉引导运动的方法中调整相机对焦面装置的另一种结构示意图；
图5是本发明2D、3D共融视觉引导运动的装置的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出一种单目视觉实现2D与3D共融的引导运动方法及装置。本发明利用调整对焦面装置可实现对不同深度的目标物体对焦。采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导。本发明可以广泛运用2D/3D点胶、激光焊接等领域。
具体的，请参照图1，图1是本发明2D、3D共融视觉引导运动的方法较佳实施例的流程示意图。
如图1所示，本实施例中，该方法包括以下步骤：
步骤S10，通过成像系统分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体。
例如，通过成像系统分时获取的N(N≥2)张图像序列1≤i≤N，这些图像序列分别对焦不同的深度的物体。
可以理解的是，本实施例中，所述成像系统可以包括单目相机和调整相机对焦面装置。
使用单目相机拍摄图像，可以作为深度信息获取、全焦图像获取、对比度分析的数据源。
该调整相机对焦装置，能依次实现对不同深度的物体对焦，完成清洗锐利的成像。该调整相机对焦装置可以包括具有对焦功能的机械移动镜头、或单独电控透镜(液体透镜、液晶透镜等)、或主透镜与电控透镜的组合透镜。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
步骤S20，根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息，其中，所述弥散圆的大小差异为模糊差异或清晰差异，可采用Depth from defocus和Depth from focus等方法获取深度信息。
在获取到第一图像序列后，根据所述第一图像序列中图像弥散圆的大小差异(模糊度的差异、清晰度的差异)，复原深度信息，并对深度信息进行分析，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息。
步骤S30，通过所述成像系统分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体。
步骤S40，将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
例如，通过所述成像系统分时获取M(M≥2)张图像序列1≤i≤M，这些图像序列分别对焦不同的深度的物体。
然后对图像序列分别获取每一张图像最清晰的区域融合成一张对每个物体都清晰的图像即全焦图像，并对全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
作为一种实施方式，所述通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息。
步骤S50，通过所述成像系统获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
通过所述成像系统获取单一目标的单图像后，调整成像系统的对焦面，使得目标物体能清晰对焦成像。再对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
作为一种实施方式，所述通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述单图像中单一目标物体的2D位置信息。
步骤S60，将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置。
步骤S70，由所述运动控制装置根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
所述运动控制装置获取到所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息后，运动控制装置进行引导运动，进而实现点胶、焊接等工作。
以下结合图2、图3和图4对本发明2D、3D共融视觉引导运动的方法的原理做进一步详细阐述。图2是本发明2D、3D共融视觉引导运动的方法的整体方案示意图，图3是本发明2D、3D共融视觉引导运动的方法中调整相机对焦面装置的一种结构示意图，图4是本发明2D、3D共融视觉引导运动的方法中调整相机对焦面装置的另一种结构示意图。
(1)成像系统，通过单目相机配合具备对焦功能的机械移动的镜头、或者单独电控透镜(液体透镜、液晶透镜等)(如图3所示)、或者主透镜(传统透镜)与电控透镜的组合透镜，其中，电控透镜实现原理是：靠电压直接控制材料分子改变焦距，实现对焦面；机械移动的镜头可以采用玻璃、树脂等传统透镜，如图4所示的玻璃树脂透镜，通过电机带动移动。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
(2)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列获取深度信息。采用点云匹配技术获取目标物体的3D位置信息，适应单目标和多目标。
(3)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列融合获取全焦图像。分布在不同工作距离的多个目标物体或单个目标物体都能获取清晰的纹理信息。能有效利用模板匹配算法(如NCC，形状识别)、边缘信息提取，能获取多个目标的2D位置信息。
(4)由单目相机和调整相机对焦面装置成像系统的配合对单一目标进行清晰成像，利用模板匹配算法(如NCC，形状识别)、边缘信息提取，能获取目标的2D位置信息。
(5)通过单独分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息，或综合分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息中两者或三者的位置信息，相互容错获取目标的2D/3D位置信息。并发送给运动控制装置控制相应的执行结构完成相应功能。
本发明2D、3D共融视觉引导运动的方法通过上述技术方案，采用成像系统对不同深度的目标物体对焦，采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导，能实现有效兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
为实现上述目的，本发明还提出一种2D、3D共融视觉引导运动的装置，如图5所示，所述装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。
其中，所述成像系统包括单目相机、调整相机对焦面装置。
所述调整相机对焦面装置可以包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
所述成像系统用于分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体。
例如，通过成像系统分时获取的N(N≥2)张图像序列1≤i≤M，这些图像序列分别对焦不同的深度的物体。
可以理解的是，本实施例中，所述成像系统可以包括单目相机和调整相机对焦面装置。
使用单目相机拍摄图像，可以作为深度信息获取、全焦图像获取、对比度分析的数据源。
该调整相机对焦装置，能依次实现对不同深度的物体对焦，完成清洗锐利的成像。该调整相机对焦装置可以包括具有对焦功能的机械移动镜头、或单独电控透镜(液体透镜、液晶透镜等)、或主透镜与电控透镜的组合透镜。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
所述位置信息获取机构用于根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息，所述弥散圆的大小差异为模糊差异或清晰差异。
在获取到第一图像序列后，根据所述第一图像序列中图像弥散圆的大小差异(模糊度的差异、清晰度的差异)，复原深度信息，并对深度信息进行分析，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息。
所述成像系统还用于分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体。
所述位置信息获取机构还用于将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
例如，通过所述成像系统分时获取M(M≥2)张图像序列1≤i≤M，这些图像序列分别对焦不同的深度的物体。
然后对图像序列分别获取每一张图像最清晰的区域融合成一张对每个物体都清晰的图像即全焦图像，并对全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
作为一种实施方式，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息。
所述成像系统还用于获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
通过所述成像系统获取单一目标的单图像后，调整成像系统的对焦面，使得目标物体能清晰对焦成像。再对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
作为一种实施方式，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述单图像中单一目标物体的2D位置信息。
所述位置信息获取机构还用于将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置。
所述运动控制装置用于根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
所述运动控制装置获取到所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息后，运动控制装置进行引导运动，进而实现点胶、焊接等工作。
以下对本发明2D、3D共融视觉引导运动的装置的原理做进一步详细阐述。
(1)成像系统，通过单目相机配合具备对焦功能的机械移动的镜头、或者单独电控透镜(液体透镜、液晶透镜等)、或者主透镜(传统透镜)与电控透镜的组合透镜。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
(2)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列获取深度信息。采用点云匹配技术获取目标物体的3D位置信息，适应单目标和多目标。
(3)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列融合获取全焦图像。分布在不同工作距离的多个目标物体或单个目标物体都能获取清晰的纹理信息。能有效利用模板匹配算法(如NCC，形状识别)边缘信息提取，能获取多个目标的2D位置信息。
(4)由单目相机和调整相机对焦面装置成像系统的配合对单一目标进行清晰成像，利用模板匹配算法(如NCC，形状识别)、边缘信息提取，能获取目标的2D位置信息。
(5)通过单独分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息，或综合分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息中两者或三者的位置信息，相互容错获取目标的2D/3D位置信息。并发送给运动控制装置控制相应的执行结构完成相应功能。
本发明2D、3D共融视觉引导运动的装置通过上述技术方案，采用成像系统对不同深度的目标物体对焦，采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导，能实现有效兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种2D、3D共融视觉引导运动的方法，其特征在于，所述方法包括以下步骤：
通过成像系统分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体；
根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息；
通过所述成像系统分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体；
将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息；
通过所述成像系统获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息；
将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置；
由所述运动控制装置根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
2.根据权利要求1所述的2D、3D共融视觉引导运动的方法，其特征在于，所述成像系统包括单目相机、调整相机对焦面装置；所述弥散圆的大小差异包括模糊差异或清晰差异。
3.根据权利要求2所述的2D、3D共融视觉引导运动的方法，其特征在于，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
4.根据权利要求1所述的2D、3D共融视觉引导运动的方法，其特征在于，所述通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息。
5.根据权利要求1所述的2D、3D共融视觉引导运动的方法，其特征在于，所述通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息的步骤包括：
通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述单图像中单一目标物体的2D位置信息。
6.一种2D、3D共融视觉引导运动的装置，其特征在于，所述装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。
7.根据权利要求6所述的2D、3D共融视觉引导运动的装置，其特征在于，所述成像系统包括单目相机、调整相机对焦面装置。
8.根据权利要求7所述的2D、3D共融视觉引导运动的装置，其特征在于，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
9.根据权利要求6所述的2D、3D共融视觉引导运动的装置，其特征在于，所述成像系统用于分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构用于根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息；
所述成像系统还用于分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构还用于将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息；
所述成像系统还用于获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息；
所述位置信息获取机构还用于将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置；
所述运动控制装置用于根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
10.根据权利要求9所述的2D、3D共融视觉引导运动的装置，其特征在于，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910619089.2A CN110197508B (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910619089.2A CN110197508B (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197508A true CN110197508A (zh) | 2019-09-03 |
| CN110197508B CN110197508B (zh) | 2024-02-20 |
Family
ID=67755926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910619089.2A Active CN110197508B (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197508B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112024318A (zh) * | 2020-09-09 | 2020-12-04 | 苏州艾科瑞思智能装备股份有限公司 | 一种2d和3d视觉整合化的自主化点胶方法 |
| CN115112098A (zh) * | 2022-08-30 | 2022-09-27 | 常州铭赛机器人科技股份有限公司 | 一种单目视觉的一维二维测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160182830A1 (en) * | 2013-09-05 | 2016-06-23 | Huawei Technologies Co., Ltd. | Method for Displaying Focused Image and Image Processing Device |
| CN106426186A (zh) * | 2016-12-14 | 2017-02-22 | 国网江苏省电力公司常州供电公司 | 一种基于多传感器信息融合的带电作业机器人自主作业方法 |
| CN109035307A (zh) * | 2018-07-16 | 2018-12-18 | 湖北大学 | 基于自然光双目视觉的设定区域目标追踪方法及系统 |
| CN109166154A (zh) * | 2018-08-29 | 2019-01-08 | 上海交通大学 | 用于光场三维粒子图像重构的光场相机校准方法 |
-
2019
- 2019-07-10 CN CN201910619089.2A patent/CN110197508B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160182830A1 (en) * | 2013-09-05 | 2016-06-23 | Huawei Technologies Co., Ltd. | Method for Displaying Focused Image and Image Processing Device |
| CN106426186A (zh) * | 2016-12-14 | 2017-02-22 | 国网江苏省电力公司常州供电公司 | 一种基于多传感器信息融合的带电作业机器人自主作业方法 |
| CN109035307A (zh) * | 2018-07-16 | 2018-12-18 | 湖北大学 | 基于自然光双目视觉的设定区域目标追踪方法及系统 |
| CN109166154A (zh) * | 2018-08-29 | 2019-01-08 | 上海交通大学 | 用于光场三维粒子图像重构的光场相机校准方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112024318A (zh) * | 2020-09-09 | 2020-12-04 | 苏州艾科瑞思智能装备股份有限公司 | 一种2d和3d视觉整合化的自主化点胶方法 |
| CN115112098A (zh) * | 2022-08-30 | 2022-09-27 | 常州铭赛机器人科技股份有限公司 | 一种单目视觉的一维二维测量方法 |
| CN115112098B (zh) * | 2022-08-30 | 2022-11-08 | 常州铭赛机器人科技股份有限公司 | 一种单目视觉的一维二维测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197508B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016041456A1 (zh) | 球面光学元件表面缺陷评价系统及其方法 | |
| US9830694B2 (en) | Multi-level image focus using a tunable lens in a machine vision inspection system | |
| US9791687B2 (en) | Microscope and method for SPIM microscopy | |
| CN101856773A (zh) | 一种激光加工初始位置的对焦定位方法及激光加工装置 | |
| US10502943B2 (en) | Microscope system and autofocusing method | |
| JP2015001531A (ja) | マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法 | |
| CN105547147A (zh) | 相对接触探针校准视觉系统的系统及方法 | |
| US20120154571A1 (en) | Edge detection using structured illumination | |
| CN106271044A (zh) | 激光打标机以及ccd同轴光路定位方法 | |
| CN103350281A (zh) | 激光打标机自动调焦装置及自动调焦方法 | |
| US11300771B2 (en) | Method for operating a microscopy arrangement and microscopy arrangement having a first microscope and at least one further microscope | |
| CN110197508A (zh) | 2d、3d共融视觉引导运动的方法及装置 | |
| JP7319903B2 (ja) | 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像 | |
| CN102636378A (zh) | 基于机器视觉定位的生物芯片点样仪及其定位方法 | |
| CN114113116B (zh) | 一种大口径元件表面微缺陷精确检测工艺方法 | |
| JP6643328B2 (ja) | リソグラフィ構造を生成するための光学系 | |
| CN110216374A (zh) | 激光加工系统和激光加工方法 | |
| CN113031242B (zh) | 短曝光高速面扫刚性拼接显微成像系统和方法 | |
| JP2013174549A (ja) | 工具位置測定装置及び測定方法 | |
| CN211062078U (zh) | 2d、3d共融视觉引导运动的装置 | |
| KR20170027000A (ko) | 이미지 분석의 고속화와 고정밀화 장치 및 방법 | |
| US12099174B2 (en) | Method and microscope for generating an overview image of a sample | |
| CN203732791U (zh) | 双镜头对焦自动调整设备 | |
| CN205147591U (zh) | 一种基于视觉定位系统的高速振镜焊接装置 | |
| Zhang et al. | High-Magnification Object Tracking with Ultra-Fast View Adjustment and Continuous Autofocus Based on Dynamic-Range Focal Sweep |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240904 Address after: 301, Building 3, No. 5, Xingye 3rd Road, Fenghuang Community, Fuyong Subdistrict, Bao'an District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Shunhe Software Development Co.,Ltd. Country or region after: China Address before: 301, Building 3, No. 5, Xingye 3rd Road, Fenghuang Community, Fuyong Subdistrict, Bao'an District, Shenzhen, Guangdong 518000 Patentee before: Shenzhen Xishun Wanhe Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |