CN211062078U - 2d、3d共融视觉引导运动的装置 - Google Patents
2d、3d共融视觉引导运动的装置 Download PDFInfo
- Publication number
- CN211062078U CN211062078U CN201921071745.1U CN201921071745U CN211062078U CN 211062078 U CN211062078 U CN 211062078U CN 201921071745 U CN201921071745 U CN 201921071745U CN 211062078 U CN211062078 U CN 211062078U
- Authority
- CN
- China
- Prior art keywords
- image
- lens
- position information
- imaging system
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009012 visual motion Effects 0.000 title description 3
- 230000033001 locomotion Effects 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 239000007788 liquid Substances 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims 1
- 238000003466 welding Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 3
- 239000003292 glue Substances 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 229920003217 poly(methylsilsesquioxane) Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
Abstract
本实用新型涉及一种2D、3D共融视觉引导运动的装置，该装置包括：成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。本实用新型能实现兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
Description
技术领域
本实用新型涉及计算机视觉引导与定位技术领域，尤其涉及一种2D、3D共融视觉引导运动的装置。
背景技术
机器(计算机)视觉引导与定位在工业领域有广泛的运用。对于工作在生产线上的机器人来说，其主要任务是：定位需要捉取物料，定位需要放置，然后引导物料放置准确的位置(或将物料与物料准确相贴合)；对于点胶设备、焊接设备、喷涂设备等来说，其主要任务是定位需要添加材料的位置，引导加料机构将胶水、焊锡、涂料等按照相应工艺添加到定位区域。部分工序由2D信息即可完成相应工序，但是有些工序必须有深度信息(深度信息即物体与成像系统的距离，即高度信息Z)才能完成，如跟随器件不同高度(地势跟随)进行点胶焊接等。
实用新型内容
本实用新型的主要目的在于提出一种2D、3D共融视觉引导运动的装置，旨在实现有效兼容2D、3D视觉引导运动，促进自动化生产的发展。
为实现上述目的，本实用新型提出一种2D、3D共融视觉引导运动的装置，所述装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。
本实用新型的进一步的技术方案是，所述成像系统包括单目相机、调整相机对焦面装置。
本实用新型的进一步的技术方案是，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
本实用新型的进一步的技术方案是，所述成像系统用于分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构用于根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息，所述弥散圆的大小差异为模糊差异或清晰差异；
所述成像系统还用于分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体；
所述位置信息获取机构还用于将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息；
所述成像系统还用于获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息；
所述位置信息获取机构还用于将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置；
所述运动控制装置用于根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
本实用新型的进一步的技术方案是，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息。
本实用新型的有益效果是：本实用新型2D、3D共融视觉引导运动的装置通过上述技术方案，包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接，采用成像系统对不同深度的目标物体对焦，采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导，能实现有效兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
附图说明
图1是本实用新型2D、3D共融视觉引导运动的装置的结构示意图；
图2是本实用新型2D、3D共融视觉引导运动的装置中调整相机对焦面装置的一种结构示意图；
图3是本实用新型2D、3D共融视觉引导运动的装置中调整相机对焦面装置的另一种结构示意图。
本实用新型目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。
本实用新型提出一种单目视觉实现2D与3D共融的引导运装置。本实用新型利用调整对焦面装置可实现对不同深度的目标物体对焦。采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导。本实用新型可以广泛运用2D/3D点胶、激光焊接等领域。
具体的，如图1、图2和图3所示，图1是本实用新型2D、3D共融视觉引导运动的装置的结构示意图；图2是本实用新型2D、3D共融视觉引导运动的装置中调整相机对焦面装置的一种结构示意图；图3是本实用新型2D、3D共融视觉引导运动的装置中调整相机对焦面装置的另一种结构示意图。
本实用新型2D、3D共融视觉引导运动的装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接。
其中，所述成像系统包括单目相机、调整相机对焦面装置。
所述调整相机对焦面装置可以包括机械移动镜头、或单独电控透镜(如图2所示)、或主透镜(传统透镜)与电控透镜的组合透镜。其中，电控透镜实现原理是：靠电压直接控制材料分子改变焦距，实现对焦面；机械移动的镜头可以采用玻璃、树脂等传统透镜，如图3所示的玻璃树脂透镜，通过电机带动移动。
本实施例成像系统，通过单目相机配合具备对焦功能的机械移动的镜头(如图3所示)、或者单独电控透镜(液体透镜、液晶透镜等)(如图2所示)、或者主透镜与电控透镜的组合透镜。
所述成像系统用于分时获取图像放大率不变的第一图像序列，所述第一图像序列中的每一图像分别对焦不同深度的目标物体。
例如，通过成像系统分时获取的N(N≥2)张图像序列
1≤i≤N，这些图像序列
分别对焦不同的深度的物体。
可以理解的是，本实施例中，所述成像系统可以包括单目相机和调整相机对焦面装置。
使用单目相机拍摄图像，可以作为深度信息获取、全焦图像获取、对比度分析的数据源。
该调整相机对焦装置，能依次实现对不同深度的物体对焦，完成清洗锐利的成像。该调整相机对焦装置可以包括具有对焦功能的机械移动镜头、或单独电控透镜(液体透镜、液晶透镜等)、或主透镜与电控透镜的组合透镜。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
所述位置信息获取机构用于根据所述第一图像序列中图像弥散圆的大小差异，获取图像深度信息，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息，所述弥散圆的大小差异为模糊差异或清晰差异，可采用Depth from defocus和Depth fromfocus等方法获取深度信息。
在获取到第一图像序列后，根据所述第一图像序列中图像弥散圆的大小差异(模糊度的差异、清晰度的差异)，复原深度信息，并对深度信息进行分析，根据所述深度信息获取所述第一图像序列中目标物体的3D位置信息。
所述成像系统还用于分时获取图像放大率不变的第二图像序列，所述第二图像序列中的每一图像分别对焦不同深度的目标物体。
所述位置信息获取机构还用于将所述第二图像序列中的每一图像融合成全焦图像，并对所述全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
例如，通过所述成像系统分时获取M(M≥2)张图像序列
1≤i≤M，这些图像序列分别对焦不同的深度的物体。
然后对图像序列
分别获取每一张图像最清晰的区域融合成一张对每个物体都清晰的图像即全焦图像，并对全焦图像进行分析，通过预设图形图像定位算法获取所述第二图像序列中目标物体的2D位置信息。
作为一种实施方式，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述第二图像序列中目标物体的2D位置信息。
所述成像系统还用于获取单一目标的单图像，对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
通过所述成像系统获取单一目标的单图像后，调整成像系统的对焦面，使得目标物体能清晰对焦成像。再对所述单图像进行对比度分析，通过预设图形图像定位算法获取所述单图像中单一目标物体的2D位置信息。
作为一种实施方式，所述位置信息获取机构还用于通过模板匹配、区域分析、纹理边缘信息提取的方式获取所述单图像中单一目标物体的2D位置信息。
所述位置信息获取机构还用于将所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息发送至运动控制装置。
所述运动控制装置用于根据所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息执行对应的运动引导。
所述运动控制装置获取到所述第一图像序列中目标物体的3D位置信息、所述第二图像序列中目标物体的2D位置信息、所述单图像中单一目标物体的2D位置信息后，运动控制装置进行引导运动，进而实现点胶、焊接等工作。
以下对本实用新型2D、3D共融视觉引导运动的装置的原理做进一步详细阐述。
(1)成像系统，通过单目相机配合具备对焦功能的机械移动的镜头、或者单独电控透镜(液体透镜、液晶透镜等)、或者主透镜(传统透镜)与电控透镜的组合透镜。机械移动镜头采用实施例为远心镜头，实现图像放大率不变；电控透镜(液晶透镜、液体透镜)需要将液晶透镜或液体透镜的孔径设置为光澜，实现图像放大率不变。图像放大率不变，能减少大量图像对准配准的图像运算过程，特别是在使用图像序列运算的运用。
(2)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列
获取深度信息。采用点云匹配技术获取目标物体的3D位置信息，适应单目标和多目标。
(3)由单目相机和调整相机对焦面装置成像系统的配合，获取放大率不变的N张图像序列
融合获取全焦图像。分布在不同工作距离的多个目标物体或单个目标物体都能获取清晰的纹理信息。能有效利用模板匹配算法(如NCC，形状识别)边缘信息提取，能获取多个目标的2D位置信息。
(4)由单目相机和调整相机对焦面装置成像系统的配合对单一目标进行清晰成像，利用模板匹配算法(如NCC，形状识别)、边缘信息提取，能获取目标的2D位置信息。
(5)通过单独分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息，或综合分析第一图像序列中目标物体的3D位置信息、第二图像序列中目标物体的2D位置信息、单图像中单一目标物体的2D位置信息中两者或三者的位置信息，相互容错获取目标的2D/3D位置信息。并发送给运动控制装置控制相应的执行结构完成相应功能。
本实用新型2D、3D共融视觉引导运动的装置通过上述技术方案，包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接，采用成像系统对不同深度的目标物体对焦，采集单一目标清晰的单图像，通过模板定位、区域分析、边缘信息提取等方法获取其2D位置信息；采集不同清晰度的图像序列融合成全焦图像，获取多个目标的2D位置；采集不同清晰图像序列，复原深度图，获取目标的3D位置信息，利用位置信息完成相应的运动引导，能实现有效兼容2D、3D视觉引导运动，广泛运用于2D/3D点胶、激光焊接等领域，促进自动化生产的发展。
以上仅为本实用新型的优选实施例，并非因此限制本实用新型的专利范围，凡是利用本实用新型说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本实用新型的专利保护范围内。
Claims (2)
1.一种2D、3D共融视觉引导运动的装置，其特征在于，所述装置包括成像系统、位置信息获取机构、以及运动控制机构，所述位置信息获取机构分别与所述成像系统、运动控制机构连接，所述成像系统包括单目相机、调整相机对焦面装置，通过单目相机配合具备对焦功能的机械移动的镜头、或者单独电控透镜、或者主透镜与电控透镜的组合透镜，机械移动镜头采用远心镜头；电控透镜将液晶透镜或液体透镜的孔径设置为光澜。
2.根据权利要求1所述的2D、3D共融视觉引导运动的装置，其特征在于，所述调整相机对焦面装置包括机械移动镜头、或单独电控透镜、或主透镜与电控透镜的组合透镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921071745.1U CN211062078U (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921071745.1U CN211062078U (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN211062078U true CN211062078U (zh) | 2020-07-21 |
Family
ID=71597105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201921071745.1U Active CN211062078U (zh) | 2019-07-10 | 2019-07-10 | 2d、3d共融视觉引导运动的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN211062078U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112024318A (zh) * | 2020-09-09 | 2020-12-04 | 苏州艾科瑞思智能装备股份有限公司 | 一种2d和3d视觉整合化的自主化点胶方法 |
-
2019
- 2019-07-10 CN CN201921071745.1U patent/CN211062078U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112024318A (zh) * | 2020-09-09 | 2020-12-04 | 苏州艾科瑞思智能装备股份有限公司 | 一种2d和3d视觉整合化的自主化点胶方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110539109B (zh) | 一种基于单双目视觉的机器人自动焊接系统及方法 | |
| US9791687B2 (en) | Microscope and method for SPIM microscopy | |
| CN105744163B (zh) | 一种基于深度信息跟踪对焦的摄像机及摄像方法 | |
| US20130058581A1 (en) | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame | |
| CN104384762B (zh) | 一种焊机移动控制系统以及控制方法 | |
| CN102073148B (zh) | 一种微小型结构件高精度视觉同轴光学对位装配系统 | |
| CN105547153B (zh) | 基于双目视觉的插件元件针脚视觉定位方法及装置 | |
| CN106896343B (zh) | 一种伺服随动机器视觉装置及动态跟踪测距方法 | |
| CN103350281A (zh) | 激光打标机自动调焦装置及自动调焦方法 | |
| CN103487927B (zh) | 一种显微镜自动调焦方法 | |
| CN108646353B (zh) | 一种基于图像处理的光纤-波导自动对准耦合仪 | |
| CN105323455B (zh) | 一种基于机器视觉的定位补偿方法 | |
| CN102374860A (zh) | 三维视觉定位方法及系统 | |
| KR101671736B1 (ko) | 탄소섬유강화플라스틱(cfrp) 부품에 대한 광학 검사 방법 | |
| CN103606181A (zh) | 一种显微三维重构方法 | |
| CN114326140A (zh) | 利用多点自动对焦将光学组件部分的光轴对准为垂直于工件表面的系统和方法 | |
| CN103698879A (zh) | 一种实时对焦的装置及方法 | |
| CN103592754A (zh) | 一种数字切片实时扫描自动聚焦跟踪方法 | |
| CN110197508B (zh) | 2d、3d共融视觉引导运动的方法及装置 | |
| CN110216374A (zh) | 激光加工系统和激光加工方法 | |
| CN109459984A (zh) | 一种基于三维点云的定位抓取系统及其使用方法 | |
| CN211062078U (zh) | 2d、3d共融视觉引导运动的装置 | |
| CN115407501A (zh) | 具有显微镜的显微术布置及其操作方法 | |
| Buerkle et al. | Vision-based closed-loop control of mobile microrobots for microhandling tasks | |
| CN103941752A (zh) | 一种线虫实时自动追踪成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240824 Address after: 301, Building 3, No. 5, Xingye 3rd Road, Fenghuang Community, Fuyong Subdistrict, Bao'an District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Shunhe Software Development Co.,Ltd. Country or region after: China Address before: 301, Building 3, No. 5, Xingye 3rd Road, Fenghuang Community, Fuyong Subdistrict, Bao'an District, Shenzhen, Guangdong 518000 Patentee before: Shenzhen Xishun Wanhe Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |