CN110322467B - 一种提升3d轮廓传感器计算板材表面点云密度的算法 - Google Patents
一种提升3d轮廓传感器计算板材表面点云密度的算法 Download PDFInfo
- Publication number
- CN110322467B CN110322467B CN201910438422.XA CN201910438422A CN110322467B CN 110322467 B CN110322467 B CN 110322467B CN 201910438422 A CN201910438422 A CN 201910438422A CN 110322467 B CN110322467 B CN 110322467B
- Authority
- CN
- China
- Prior art keywords
- data
- depth
- fuzzy logic
- logic system
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
技术领域
本发明涉及智能制造技术领域,具体为一种提升3D轮廓传感器计算板材表面点云密度的算法。
背景技术
3D轮廓传感器在行业内又称3D扫描仪、3D相机等,根据应用场景的精度与项目成本需求不同,可以采用包括三角测距、结构光投影、飞行时间等基于不同原理的设计方案。其中,基于激光三角测距的3D轮廓传感器原理如图1所示:半导体激光器通过镜片一聚焦到被测物体,被测物体反射光通过镜片二收集并投射到CCD阵列上,信号处理器通过三角函数计算阵列上的光点位置得到物体的距离。
在某些应用场景中,待测物体可以是任意形状,而其待测几何信息要求对物体的整体轮廓进行扫描。此时3D轮廓传感器的工作方式如图2所示:待测物体与其所摆放平台进行同轴旋转,在旋转过程中的每一个角度,可以计算出物体表面在当前激光切线上的深度信息,物体旋转360°之后即可获得整体轮廓信息。
而在大规模流水线质检环境中,大部分类型的产品只要求检测物体的正面(背对传送带朝上的一面),其中最常见的就是包含木板、钢板、塑料板等在内的各类板材产品。对于该类产品,质检过程中关注的尺寸、曲翘、边缘缺损、正面划伤和裂痕等物理缺陷都可通过对物体正面进行3D扫描获取(此类信息在某些场景中也可通过常规2D摄像获得,然而在高精度场景中则只能通过3D轮廓传感器获取,例如,木地板是否存在与本身纹路非常相似的裂痕,或钢板是否存不明显的曲翘或凹陷等)。
3D点云即一定密度的物体表面点在三维空间的(x,y,z)值的集合。例如,板材表面的点云深度值(z值)均匀分布在某一值左右,而某一线状区间内深度值均远低于,那么可以判断该线状区间是板材表面的裂缝;又如,如果板材两端的深度值均匀分布在某一值左右,而板材中部的深度值均匀分布在左右,同时大于超过了一定程度,则可以判断板材两端向上发生了曲翘。
综上所述,在板材类工业产品生产环境中,可以将图3所示装置搭建入板材片检流水线中以取代或配合2D视觉系统,将扫描完成后所获得的点云进行后期处理和分析来判断板材是否符合后续加工或出厂标准。
而保证算法判断准确率的一个关键是点云在x轴和y轴上的精度是否达到需求。例如,某片木地板有一条沿着y轴方向的宽0.3mm左右的暗裂,而点云在x轴上的间隔为0.5mm,如果该裂纹恰巧在两列点中间,则无法被检测到。另一方面,3D轮廓传感器价格高昂,比如,满足扫描宽度为200mm左右、x轴精度在0.3mm左右的国产模组的售价都在10万元人民币以上,购买一套就已经让设备制造成本难以接受,如果板材宽度大于200mm,则需要多套模组配合使用,不仅价格成倍增长,而且增大了机构设计的周期,否则只能大幅牺牲精度来增加扫描宽度。类似的,y轴精度在流水线速度较高的情况下也会受到挑战,可能进一步增大制造成本。价格因素已经成为了3D轮廓传感器在工业界被广泛使用的最大阻力。
发明内容
本发明针对现有技术存在的问题,提出了一种提升3D轮廓传感器计算板材表面点云密度的算法。
本发明解决其技术问题所采用的技术方案是:一种提升3D轮廓传感器计算板材表面点云密度的算法,包括
步骤1,采集同一类型板材的超高密度点云数据;
步骤3,通过所述常规数据训练一套IT2模糊逻辑系统,通过所述极端数据训练一套T1模糊逻辑系统;
步骤4,扫描待检测板材的稀疏点云数据,设置所需的间插坐标点,结合所述IT2模糊逻辑系统和所述T1模糊逻辑系统计算所求间插坐标点的深度估计值。
作为优选,所述步骤3中,IT2模糊逻辑系统采用的第N条通用规则为,
作为优选,计算每条通用规则的发射区间的左右端点值,
作为优选,计算降型集合的左右端点值,
作为优选,通过量子行为粒子群优化算法优化所述IT2模糊逻辑系统的参数。
作为优选,述步骤3中,T1模糊逻辑系统采用的特殊规则为,
作为优选,计算特殊规则下的发射级别,
作为优选,所述IT2模糊逻辑系统和所述T1模糊逻辑系统训练数据使用的目标函数为均方根误差为
作为优选,深度值集合的计算步骤包括,
L1.将点云数据转化为深度图像;
L2.将所述深度图像归一化后采用Otsu算法对其进行二值化处理得到二值化图;
L3.使用基于互信息的特征选择算法提取所述二值化图中与其周边具有互相关性的点的坐标集合;
L4.根据所述坐标集合获取相应的深度值集合。
本发明的有益效果是,本申请从软件角度提升x轴和y轴的精度,利用大数据对稀疏的点云进行智能间插,使其密度恢复到应用场景需求,避免采购高端硬件,大大降低了3D轮廓传感器的使用成本;且本申请具有较高灵活性,可根据不同的应用需求(不同类型的板材检测线),在水平面的各个方向(x轴、y轴)使用和拓展,适用性广;本申请方法对板材点云的适应性非常好,经过训练的系统能够准确地恢复任意两个相邻点之间某坐标上的深度值,使用效果好。
附图说明
图1为激光三角测距原理示意图;
图2为单一待测物体全轮廓扫描示意图;
图3为板材正面3D轮廓传感器示意图;
图4为混合模糊逻辑系统的运行流程;
图5为规则i的四个前置IT2模糊集合的示例图;
图6为QPSO的伪代码实现流程图;
图7为T1前置模糊集合的成员函数示例图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
如图1所示,提升3D轮廓传感器计算板材表面点云密度的算法。首先,用高品级激光器和工业相机搭建用于获取真实数据的一套超高标准设备。使用该套设备对将要检测的特定类型板材(例如木料板材)进行大批量扫描以获取针对该类型板材的训练及测试的超高密度点云数据。
对于任意一种特定类型的板材,其点云密度图中某一坐标(x,y)的深度值(z值)和该点周边一系列坐标的深度值有一定的互相关性。将点云数据转化成2D深度图;再将深度图归一化之后采用Otsu算法对其进行二值化处理;最后使用基于互信息的特征选择算法将该类型板材表面一点与其周边具有相关性的点的坐标所对应的深度值集合确定下来。例如,实木地板的集合记为,工程木地板的集合记为,薄钢板的集合记为等等。
将该类型板材所扫描到的全体数据进行统计计算,获取深度值均值与标准方差,将深度值落于区间内的记为常规数据,将深度值落于该区间以外的记为极端数据。之后,本发明将用常规数据训练一套区间2型(Interval Type 2,IT2)模糊逻辑系统,用极端数据训练一套1型(Type 1,T1)模糊逻辑系统,两套模糊逻辑系统将共同组成一套混合型模糊逻辑系统。
本发明中训练数据使用的目标函数为均方根误差,
基于规则的IT2模糊逻辑系统是如下形式的:
…
其中是该类型板材常规数据点周边具有相关性的点的深度值集合,是该集合的模。(i=1,…,N和j=1,…,M)是一个由“不确定均值-确定标准方差的高斯主成员函数”所定义的前置IT2模糊集合,其下成员函数和上成员函数分别是如下形式:
上述基于规则的IT2模糊逻辑系统以如下方式工作:对一组输入值,首先计算每条规则的每一个前置模糊集合对应的上下成员函数值和。在训练阶段对于所有的j值都是存在的,但在测试和实际使用阶段,由于坐标相对于训练数据是稀疏的,所以有可能对于某些j值是不存在的,此时假设该j值对应的前置不存在即可,即对于该前置不进行计算。
之后,计算每条规则的发射区间的左右值:
然后使用Karnik-Mendel(KM)算法或是加强KM算法来计算降型集合(Type-Reduced Set,TRS)的左右端点值:
上述系统每一个前置模糊集合有三个参数、和,同时每一个结论模糊集合有两个参数和。因此每一条规则共有3×+2=3M+2个参数。同时,根据大量数据测试,规则数量的最优选择为N= = 。于是,整个系统需要通过训练确定的参数总数为N×(3M+2)= 。
包含粒子群优化(Particle Swarm Optimization,PSO)和遗传算法(GeneticAlgorithm,GA)等在内的基于集群的随机优化算法,因为其计算速度和易实现性更适合IT2模糊逻辑系统的训练,因此,本发明使用一种改良过的能保证收敛于全局最优值的被称为量子行为粒子群优化(Quantum-behaved PSO,QPSO)的算法,其伪代码实现如图6所示,其参数与上文中IT2模糊逻辑系统中参数的不同含义,其中M是粒子数量,是待估参数组成的向量,n是待估参数个数。
使用常规数据对IT2模糊逻辑系统训练完成之后,将对应系统中的规则称为通用规则。接下来,使用极端数据来训练一套基于特殊规则的T1模糊逻辑系统。其中每一个极端数据及其周边具有相关性的点的深度数据共同对应一条特殊规则,如下:
混合模糊逻辑系统将两套模糊规则并行运作,不同于单独的T1或IT2模糊逻辑系统,所有的规则并不是在不同等级下被发射的,一个较为特殊的发射标准在这里被用来决定哪条规则被发射,因为特殊规则的发射条件需要更特殊的考量。
其中,而是极端深度数据个数,即特殊规则数量。如果没有特殊规则的发射级别大于等于90%,即,则没有特殊规则被发射。于是这组输入值被放入IT2模糊逻辑系统,通过IT2模糊逻辑系统进行操作。而如果有一条或多条特殊规则达到发射标准,那么则忽略IT2规则,将特殊规则构成的T1模糊逻辑系统启用,计算以下去模糊值:
整套混合模糊逻辑系统的流程如图1所示。在训练完成后,使用一般等级的激光器和工业相机构成的3D轮廓传感器扫描获取密度一般甚至稀疏的点云数据,确定后续算法分析所需的密度,即确定需要间插的点云坐标集合,针对该集合中的某一点,获取其附近的所有相关的含有实际深度值的点云数据,然后喂入图1所示流程中,最终计算获得的值即为该点的深度估计值,即间插值。
本发明首次提出了使用QPSO优化过的混合模糊逻辑系统对3D扫描数据进行智能恢复,对板材类数据的恢复准确度远高于单纯的T1、IT2模糊逻辑系统。本发明使用软件方式对数据进行密度提升,避免了采购高端硬件的大幅成本增加;其次,本发明具有较高灵活性,可以根据应用需求的不同,在水平面的各个方向(x轴、y轴)使用和拓展;最后,本发明应用场景广泛(不同类型的板材检测线),只需在定制过程中针对特定类型板材收集训练数据,该过程不增加定制成本。
具体实施过程可采用如下参数组件搭建工作环境:海康MV-CA003-21UM相机及M1214-MP2定焦镜头,国产30M450B激光器,Omron编码器,Misumi传送带,i5-8500 P400Intel B360 16G RAM台式计算机。设置相机拍摄参数为:230万像素,帧数150FPS,拍摄范围150mm,工作距离200mm,激光角度45°,z轴精度0.008mm,设置传送带速率为:35cm/秒。
本发明着眼于从软件角度提升x轴和y轴的精度,即利用大数据对稀疏的点云进行智能间插,使其密度恢复到应用场景需求。经过大量测试,发现基于规则的混合模糊逻辑系统对板材点云的适应性非常好,经过训练的系统能够准确地恢复任意两个相邻点之间某坐标上的深度值。假设点云在x轴上的间隔为0.5mm,利用本申请的方法可以在两列点之间插入4列点,即x轴的精度提升到了0.1mm,如此便不会丢失宽度为0.3mm的裂纹了。对于普通宽度的板材,本申请的方法可以配合精度较低的低价3D轮廓传感器使用,同样可达到昂贵的高精度传感器的效果;对于宽度大的板材,也无需多套传感器配合,只需加长一套高精度传感器的拍摄距离(即牺牲精度换宽度),然后使用本申请的方法将牺牲掉的点恢复,即一套设备达到多套的同等效果。类似的,如果流水线速度过快,也无须提高摄像帧数,只需使用本申请的方法在y轴上进行数值恢复。在以上各场景中,本发明都达到了大幅降低成本的目标,而一次性的软件开发成本在批量生产之后分摊到每台机器后可以忽略。
上面所述的实施例仅是对本发明的优选实施方式进行描述,并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下,本领域普通人员对本发明的技术方案做出的各种变型和改进,均应落入到本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。
Claims (2)
1.一种提升3D轮廓传感器计算板材表面点云密度的方法,其特征在于:包括
步骤1,采集同一类型板材的超高密度点云数据;
步骤3,通过所述常规数据训练一套IT2模糊逻辑系统,通过所述极端数据训练一套T1模糊逻辑系统;
步骤4,扫描待检测板材的稀疏点云数据,设置所需的间插坐标点,结合所述IT2模糊逻辑系统和所述T1模糊逻辑系统计算所求间插坐标点的深度估计值;
所述步骤3中,IT2模糊逻辑系统采用的第N条通用规则为,
计算每条通用规则的发射区间的左右端点值,
计算降型集合的左右端点值,
通过量子行为粒子群优化算法优化所述IT2模糊逻辑系统的参数;
所述步骤3中,T1模糊逻辑系统采用的特殊规则为,
计算特殊规则下的发射级别,
所述IT2模糊逻辑系统和所述T1模糊逻辑系统训练数据使用的目标函数为均方根误差为
2.根据权利要求1 所述的一种提升3D轮廓传感器计算板材表面点云密度的方法,其特征在于:深度值集合的计算步骤包括,
L1.将点云数据转化为深度图像;
L2.将所述深度图像归一化后采用Otsu算法对其进行二值化处理得到二值化图;
L3.使用基于互信息的特征选择算法提取所述二值化图中与其周边具有互相关性的点的坐标集合;
L4.根据所述坐标集合获取相应的深度值集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910438422.XA CN110322467B (zh) | 2019-05-24 | 2019-05-24 | 一种提升3d轮廓传感器计算板材表面点云密度的算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910438422.XA CN110322467B (zh) | 2019-05-24 | 2019-05-24 | 一种提升3d轮廓传感器计算板材表面点云密度的算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110322467A CN110322467A (zh) | 2019-10-11 |
CN110322467B true CN110322467B (zh) | 2021-07-16 |
Family
ID=68119056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910438422.XA Active CN110322467B (zh) | 2019-05-24 | 2019-05-24 | 一种提升3d轮廓传感器计算板材表面点云密度的算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110322467B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240637B (zh) * | 2021-05-11 | 2023-03-24 | 杭州钱塘智慧城投资开发有限公司 | 一种基于机器学习的墙面平整度信息化检测方法和系统 |
CN116996680B (zh) * | 2023-09-26 | 2023-12-12 | 上海视龙软件有限公司 | 一种用于视频数据分类模型训练的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886980A (zh) * | 2015-12-11 | 2017-06-23 | 北京智行者科技有限公司 | 一种基于三维激光雷达目标识别的点云密度增强的方法 |
CN108681525A (zh) * | 2018-05-16 | 2018-10-19 | 福州大学 | 一种基于车载激光扫描数据的路面点云强度增强方法 |
CN109003253A (zh) * | 2017-05-24 | 2018-12-14 | 通用电气公司 | 神经网络点云生成系统 |
CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
-
2019
- 2019-05-24 CN CN201910438422.XA patent/CN110322467B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886980A (zh) * | 2015-12-11 | 2017-06-23 | 北京智行者科技有限公司 | 一种基于三维激光雷达目标识别的点云密度增强的方法 |
CN109003253A (zh) * | 2017-05-24 | 2018-12-14 | 通用电气公司 | 神经网络点云生成系统 |
CN108681525A (zh) * | 2018-05-16 | 2018-10-19 | 福州大学 | 一种基于车载激光扫描数据的路面点云强度增强方法 |
CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
Non-Patent Citations (2)
Title |
---|
3D Incomplete Point Cloud Surfaces Reconstruction With Segmentation and Feature-Enhancement;MEILI WANG等;《IEEE》;20190212;第15272-15281页 * |
基于3D扫描技术的木材缺陷定量化分析;赵鹏等;《农业工程学报》;20170430;第33卷(第7期);第171-176页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110322467A (zh) | 2019-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108132017B (zh) | 一种基于激光视觉系统的平面焊缝特征点提取方法 | |
CN105787923B (zh) | 用于平面表面分割的视觉系统和分析方法 | |
CN110322467B (zh) | 一种提升3d轮廓传感器计算板材表面点云密度的算法 | |
CN104567727B (zh) | 利用立体靶标对线结构光轮廓传感器的全局统一校准方法 | |
CN111537517A (zh) | 一种无人智能化冲压缺陷识别方法 | |
CN101600957B (zh) | 缺陷检测装置及缺陷检测方法 | |
CN100461820C (zh) | 图像处理装置及图像处理中的登录数据生成方法 | |
CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
JP6326641B2 (ja) | 画像処理装置および画像処理方法 | |
KR20180098945A (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
CN111462119B (zh) | 一种基于机器视觉的宽厚板剪切排样方法 | |
CN115060162A (zh) | 一种倒角尺寸测量方法、装置、电子设备及存储介质 | |
CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
CN113674204A (zh) | 基于深度学习和3d点云数据的木板形变检测方法与系统 | |
CN105627935A (zh) | 产品料厚三维分析系统及方法 | |
CN117649404A (zh) | 一种基于图像数据分析的药品包装盒质量检测方法及系统 | |
CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
CN114581368A (zh) | 一种基于双目视觉的棒材焊牌方法及装置 | |
Ouellet et al. | A simple operator for very precise estimation of ellipses | |
CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
CN111462216A (zh) | 一种圆形阵列标定板中圆心像素坐标确定方法 | |
CN109000560B (zh) | 基于三维相机检测包裹尺寸的方法、装置以及设备 | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
CN114092396A (zh) | 一种包装盒撞角瑕疵检测的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200410 Address after: Room 6-216, floor 6, building 6, No. 1366, Hongfeng Road, Kangshan street, Huzhou Economic and Technological Development Zone, Huzhou City, Zhejiang Province Applicant after: Mcheng Intelligent Technology (Huzhou) Co., Ltd Address before: Room 618-9, 6 storeys, No. 1366 Hongfeng Road, Huzhou Economic and Technological Development Zone, Huzhou City, Zhejiang Province Applicant before: Qianmu Intelligent Technology (Huzhou) Co., Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |