CN106918306A - 基于光场单相机的工业产品三维形貌实时检测系统 - Google Patents
基于光场单相机的工业产品三维形貌实时检测系统 Download PDFInfo
- Publication number
- CN106918306A CN106918306A CN201710268348.2A CN201710268348A CN106918306A CN 106918306 A CN106918306 A CN 106918306A CN 201710268348 A CN201710268348 A CN 201710268348A CN 106918306 A CN106918306 A CN 106918306A
- Authority
- CN
- China
- Prior art keywords
- camera
- light
- field
- light field
- dimensional appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 3
- 238000009776 industrial production Methods 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000010358 mechanical oscillation Effects 0.000 description 1
- 238000012857 repacking Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种属于机器视觉领域的光场单相机工业产品三维形貌实时检测系统，该检测系统包括光场相机系统和数据处理终端两部分，光场相机系统包括一台高分辨率的光场相机、多自由度相机支架、相机校准板，数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法。本系统用于工业检测时，光场相机在事先校准的情况下，对待检物品各个方位的三维形貌实时检测，以提升流水线产品装配效率、减少工业产品流水线上的次品率。
Description
技术领域
本发明涉及机器视觉领域，特别是涉及一种基于光场单相机的工业产品三维形貌实时检测系统。
背景技术
近年来，随着工业4.0进程的不断加深，机器视觉在工业制造上的重要性也与日俱增，应用范围不断扩大。目前，机器视觉已成功应用到工业制造中的工业检测领域。传统工业检测中，会使用多种类型的三维扫描仪对流水线上的产品做三维尺寸、瑕疵检测。三维扫描仪的制作并非仰赖单一技术，各种不同的重建技术都有其优缺点，成本与售价也有高低之分。目前并无一体通用之重建技术，仪器与方法往往受限于物体的表面特性。例如光学技术不易处理闪亮(高反照率)、镜面或半透明的表面，而激光技术不适用于脆弱或易变质的表面。
工业产品三维检测目前采用的主流方法有以下几种：三坐标测量机、三维激光扫描技术、双目立体视觉系统等。三坐标测量机的精度虽然高，但是价格比较贵、操作起来也比较复杂，尤其是当被测物体的形状比较复杂的时候，测量的精度就比较慢，从而不可以用在在线测量。三维激光扫描技术可以快速、大量的采集空间点位信息，为快速建立物体的三维影像模型提供了一种全新的技术手段，但存在着普遍成本过高(基本都在100万元以上)，精度、测距与扫描速率存矛盾、不适用于精密表面等缺点。双目立体视觉系统虽然有着较为低廉的成本，但其精度以及对拍摄条件的要求很高，适用性不强。。
发明内容
本发明针对上技术的述不足，提供一种基于自主开发的光场单相机三维形貌实时检测系统，可以在较低的拍摄窗口需求下，最大程度上减少单台测试系统的成本，增加整个系统的灵活性。光场成像技术通过单台设备、单拍摄即可实现对复杂物体的三维形态测量，非常适用于替代现有工业生产流水线上的检测相机，在简化硬件系统、减低成本的同时，实现对流水线上零部件的三维形貌、尺寸测量。
为了实现上述目的，本发明是通过以下技术来实现的：本发明包括光场相机系统和数据处理终端两部分；光场相机系统由高分辨率光场单相机、多自由度相机支架、相机校准板构成，高分辨率光场单相机连接于多自由度相机支架的末端，多自由度相机支架立于产品流水线的侧面；数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法、三维重建算法；相机与GPU高速图像并行处理单元通过高速相机数据线连接。
优选地，在本发明的光场相机CCD/CMOS前精密地安装上微透镜阵列，使其能够在一次拍摄后记录四维光场信息。
更优选地，在本发明中，多自由度相机支架包括三个平移自由度和三个旋转自由度。
更优选地，在本发明相机固定的支架周围安装有均匀的、来自各个方向的光照装置，以提高待测物体表面的成像质量，提高重建精度；待测物体以相同的姿态进入光场单相机的拍摄区域，以保证在相同的拍摄位姿下，得到相同部分的三维形貌。
更优选地，本发明的工作流程包括以下步骤：第一，相机校准；第二，拍摄标准件，生成三维形貌数据；第三，拍摄待测物体；第四，生成三维形貌数据，对比标准件；第五，反馈质量信息。
拍摄前物体前，需要将相机校准板置于精密平移台上并用相机拍摄，经过算法处理消除相机的畸变，得出度量物体实际深度的系数。之后将相机固定于多自由度相机支架上对待测物体的某个角度或某几个角度拍摄，所得的数据传入GPU高速图像并行处理单元，由特定算法得出三维形貌，并与标准件数据作对比，剔除残次品。
与现有技术相比，本发明具有如下的优势：首先，相比于普通双目立体视觉系统，本发明采用了单相机系统，减少相机的数量，也就减少了架放相机时空间的限制，使得该系统的体积减小，成本减少。由于系统本质上的主体是一台改装后的工业相机，对被拍摄物体的要求很低，装置简易，相对于激光扫描技术，本测试系统无需机械往复移动机构，减少了因机械振动带来的测量误差。同时，相比于激光扫描技术单次测量仅能提供单点三维数据的缺点，光场单相机可以通过一次拍摄提供零部件整体的三维点云数据。
附图说明
图1是本发明的实际检测工作示意图；
图2是本发明的实例校准示意图；
图3是本发明的工作流程图；
附图中各部件的标记如下：1、多自由度相机支架，2、高分辨率光场单相机，3、待测物体流水线，4、GPU高速图像并行处理单元，5、相机校准板，6、待测物体；
101、相机校准过程，102、拍摄标准件，生成三维形貌数据，103、拍摄待测物体，104、生成三维形貌数据，对比标准件，105、反馈三维尺寸、质量信息。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1所示的是本发明的实际检测工作示意图，包括多自由度相机支架1、高分辨率光场单相机2、待测物体流水线3、GPU高速图像并行处理单元4和待测物体6，一台高分辨率光场单相机2固定在多自由度相机支架1的末端，多自由度相机支架1能够控制高分辨率光场单相机2在一定范围能实现六自由度移动(三个平移自由度，三个旋转自由度)，以拍摄待测物体流水线3上工件的指定方向三维形貌特征。实时拍摄的数据经由相机传送到GPU高速图像并行处理单元4，经过快速的算法处理后，得到待测物体三维信息，并于标准件的三维形貌作对比，若误差小于允许值则认定该物体合格；反之则判定为次品，可为后续的加工或产品筛选提供可靠的判断信息。如果需要从各个角度来判断制造质量，可以通过多自由度相机支架1控制高分辨率光场单相机2对指定的方向进一步拍摄。
图2所示的是本发明的实例校准示意图，包括：高分辨率光场单相机2和相机校准板5。每次改变相机镜头对焦位置后都必须对相机做校准，以提高三维重建的精度。校准步骤为，保证相机校准板5垂直于相机的主光轴，多次拍摄，每次拍摄时都将相机校准板5沿着相机主光轴方向移动一段已知的距离。拍摄完毕后经由光场相机校准算法得到相机的校准矩阵，以备在拍摄实际待测物体时使用。
图3所示的是本发明的工作流程图，101是图2中所介绍的相机校准步骤，102是对标准件的拍摄过程，拍摄后的数据可以用于和待测物体的三维形貌数据对比。103至105是一个实际检测时的工作循环模式，每一次循环代表了对某一个待测物体的判定过程。103是对每一个待测物体的用高分辨率光场单相机2的拍摄以及三维重建过程，104是将重建得到的数据与102得到的标准数据作对比，105是根据104中得到的三维形貌误差，为待测物体的质量做出判定，为生产线对该物体的后续处理提供判断依据。
Claims (5)
1.一种基于光场单相机的工业产品三维形貌实时检测系统，其特征在于，包括光场相机系统和数据处理终端两部分；光场相机系统由高分辨率光场单相机、多自由度相机支架、相机校准板构成，高分辨率光场单相机连接于多自由度相机支架的末端，多自由度相机支架立于产品流水线的侧面；数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法、三维重建算法；相机与GPU高速图像并行处理单元通过高速相机数据线连接。
2.根据权利要求1所述的基于光场单相机的工业产品三维形貌实时检测系统，其特征在于在光场相机CCD/CMOS前精密地安装上微透镜阵列，使其能够在一次拍摄后记录四维光场信息。
3.根据权利要求2所述的基于光场单相机的工业产品三维形貌实时检测系统，其特征在于多自由度相机支架包括三个平移自由度和三个旋转自由度。
4.根据权利要求3所述的基于光场单相机的工业产品三维形貌实时检测系统，其特征在于在相机固定的支架周围安装有均匀的、来自各个方向的光照装置，待测物体以相同的姿态进入光场单相机的拍摄区域。
5.根据权利要求1所述的基于光场单相机的工业产品三维形貌实时检测系统，其特征在于其工作流程包括以下步骤：第一，相机校准；第二，拍摄标准件，生成三维形貌数据；第三，拍摄待测物体；第四，生成三维形貌数据，对比标准件；第五，反馈质量、三维尺寸信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710268348.2A CN106918306A (zh) | 2017-04-22 | 2017-04-22 | 基于光场单相机的工业产品三维形貌实时检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710268348.2A CN106918306A (zh) | 2017-04-22 | 2017-04-22 | 基于光场单相机的工业产品三维形貌实时检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106918306A true CN106918306A (zh) | 2017-07-04 |
Family
ID=59567381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710268348.2A Pending CN106918306A (zh) | 2017-04-22 | 2017-04-22 | 基于光场单相机的工业产品三维形貌实时检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106918306A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133477A (zh) * | 2017-12-29 | 2018-06-08 | 深圳市越疆科技有限公司 | 一种物体检测方法及智能机械臂 |
| CN112146848A (zh) * | 2019-06-27 | 2020-12-29 | 华为技术有限公司 | 一种确定摄像头的畸变参数的方法及装置 |
| CN112414299A (zh) * | 2019-08-22 | 2021-02-26 | 纳博特斯克有限公司 | 信息处理系统、信息处理方法以及建筑机械 |
| CN112748071A (zh) * | 2020-07-17 | 2021-05-04 | 奕目(上海)科技有限公司 | 透明或半透明介质缺陷检测系统和方法 |
| CN112782176A (zh) * | 2020-05-15 | 2021-05-11 | 奕目(上海)科技有限公司 | 一种产品外观检测方法及装置 |
| CN112816505A (zh) * | 2020-05-15 | 2021-05-18 | 奕目(上海)科技有限公司 | 透明或半透明介质上、下表面三维位置检测方法、系统和装置 |
| CN112824881A (zh) * | 2020-04-28 | 2021-05-21 | 奕目(上海)科技有限公司 | 一种基于光场相机的透明或半透明介质缺陷检测系统及方法 |
| CN114455312A (zh) * | 2021-12-27 | 2022-05-10 | 广州优尼冲压有限公司 | 可换装式视觉出料系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102353340A (zh) * | 2011-06-08 | 2012-02-15 | 天津大学 | 缸盖毛坯加工尺寸识别方法及装置 |
| CN104101331A (zh) * | 2014-07-24 | 2014-10-15 | 合肥工业大学 | 基于全光场相机的非合作目标位姿测量 |
| CN105806257A (zh) * | 2016-03-12 | 2016-07-27 | 上海大学 | 一种高反射物体表面光场偏折术测量系统和方法 |
| CN106303275A (zh) * | 2016-08-17 | 2017-01-04 | 李思嘉 | 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法 |
| CN106296811A (zh) * | 2016-08-17 | 2017-01-04 | 李思嘉 | 一种基于单光场相机的目标物三维重构方法 |
| CN106447762A (zh) * | 2015-08-07 | 2017-02-22 | 中国科学院深圳先进技术研究院 | 基于光场信息的三维重建方法及系统 |
-
2017
- 2017-04-22 CN CN201710268348.2A patent/CN106918306A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102353340A (zh) * | 2011-06-08 | 2012-02-15 | 天津大学 | 缸盖毛坯加工尺寸识别方法及装置 |
| CN104101331A (zh) * | 2014-07-24 | 2014-10-15 | 合肥工业大学 | 基于全光场相机的非合作目标位姿测量 |
| CN106447762A (zh) * | 2015-08-07 | 2017-02-22 | 中国科学院深圳先进技术研究院 | 基于光场信息的三维重建方法及系统 |
| CN105806257A (zh) * | 2016-03-12 | 2016-07-27 | 上海大学 | 一种高反射物体表面光场偏折术测量系统和方法 |
| CN106303275A (zh) * | 2016-08-17 | 2017-01-04 | 李思嘉 | 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法 |
| CN106296811A (zh) * | 2016-08-17 | 2017-01-04 | 李思嘉 | 一种基于单光场相机的目标物三维重构方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133477A (zh) * | 2017-12-29 | 2018-06-08 | 深圳市越疆科技有限公司 | 一种物体检测方法及智能机械臂 |
| CN112146848A (zh) * | 2019-06-27 | 2020-12-29 | 华为技术有限公司 | 一种确定摄像头的畸变参数的方法及装置 |
| CN112146848B (zh) * | 2019-06-27 | 2022-02-25 | 华为技术有限公司 | 一种确定摄像头的畸变参数的方法及装置 |
| CN112414299A (zh) * | 2019-08-22 | 2021-02-26 | 纳博特斯克有限公司 | 信息处理系统、信息处理方法以及建筑机械 |
| CN112824881A (zh) * | 2020-04-28 | 2021-05-21 | 奕目(上海)科技有限公司 | 一种基于光场相机的透明或半透明介质缺陷检测系统及方法 |
| CN112782176A (zh) * | 2020-05-15 | 2021-05-11 | 奕目(上海)科技有限公司 | 一种产品外观检测方法及装置 |
| CN112816505A (zh) * | 2020-05-15 | 2021-05-18 | 奕目(上海)科技有限公司 | 透明或半透明介质上、下表面三维位置检测方法、系统和装置 |
| CN112748071A (zh) * | 2020-07-17 | 2021-05-04 | 奕目(上海)科技有限公司 | 透明或半透明介质缺陷检测系统和方法 |
| CN114455312A (zh) * | 2021-12-27 | 2022-05-10 | 广州优尼冲压有限公司 | 可换装式视觉出料系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106918306A (zh) | 基于光场单相机的工业产品三维形貌实时检测系统 | |
| CN108844459B (zh) | 一种叶片数字化样板检测系统的标定方法及装置 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| KR101948852B1 (ko) | 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치 | |
| CN108986070B (zh) | 一种基于高速视频测量的岩石裂缝扩展实验监测方法 | |
| WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| Luna et al. | Calibration of line-scan cameras | |
| CN107084671B (zh) | 一种基于三线结构光的凹球直径测量系统及测量方法 | |
| CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
| CN110827360B (zh) | 一种光度立体式测量系统及其标定光源方向的方法 | |
| JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
| Ren et al. | Accurate three-dimensional shape and deformation measurement at microscale using digital image correlation | |
| CN114577135B (zh) | 基于单镜头的芯片引脚翘曲的3d检测方法及系统 | |
| CN106964907A (zh) | 一种激光切割的方法和设备 | |
| CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
| Petty et al. | 3D measurement using rotating line-scan sensors | |
| CN109373904A (zh) | 三维视觉检测装置及三维视觉检测方法 | |
| Chen et al. | Field-of-view-enlarged single-camera 3-D shape reconstruction | |
| Wang et al. | Distance measurement using single non-metric CCD camera | |
| CN105717502A (zh) | 一种基于线阵ccd的高速激光测距装置及方法 | |
| Liu et al. | Flexible Calibration Method for A Quad-directional Stereo Vision Sensor Based on Unconstraint 3D Target | |
| Huang et al. | Extrinsic calibration of a multi-beam LiDAR system with improved intrinsic laser parameters using v-shaped planes and infrared images | |
| Hui et al. | Surface measurement based on instantaneous random illumination | |
| CN104613898B (zh) | 检测仪、具有该检测仪的测量系统以及测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cao Houping Inventor after: Liu Shuguang Inventor after: Xu Chengming Inventor before: Xu Chengming |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171114 Address after: The big east Whampoa District of Guangzhou City, Guangdong province 510725 No. 599 No. 25 compound P202 Applicant after: Guangzhou first intelligent manufacturing technology Co., Ltd. Address before: 200240 building 511, A building, School of mechanical and power engineering, Dongchuan Road, 800 Minhang District Road,, Shanghai Applicant before: Xu Chengming |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180110 Address after: 510530 Yun Pu No. four, No. 6 (2 building), Whampoa District, Guangzhou, Guangdong Province, 1004 Applicant after: Guangzhou first sense Photoelectric Technology Co., Ltd. Address before: The big east Whampoa District of Guangzhou City, Guangdong province 510725 No. 599 No. 25 compound P202 Applicant before: Guangzhou first intelligent manufacturing technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170704 |
|
| WD01 | Invention patent application deemed withdrawn after publication |