CN116579955A - 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 - Google Patents
一种新能源电芯焊缝反光点去噪和点云补全方法及系统 Download PDFInfo
- Publication number
- CN116579955A CN116579955A CN202310855054.5A CN202310855054A CN116579955A CN 116579955 A CN116579955 A CN 116579955A CN 202310855054 A CN202310855054 A CN 202310855054A CN 116579955 A CN116579955 A CN 116579955A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- image
- points
- reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000000295 complement effect Effects 0.000 title claims abstract description 15
- 239000011324 bead Substances 0.000 claims abstract description 31
- 238000003466 welding Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000004154 complement system Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 13
- 230000007547 defect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种新能源电芯焊缝反光点去噪和点云补全方法及系统,该方法包括:线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像,转化为原始点云;原始点云预处理以去除离群点噪声;预处理后点云训练得到标准的点云定位模型;点云定位模型与深度图像转化的原始点云匹配,计算定位得到反光区域点云;对灰度图像进行边缘提取处理,得到灰度图像边缘图像;去除反光区域点云中的噪点以及补全部分丢点区域;基于所述边缘图像插值补全反光区域缺失的点云,输出最终补全点云。本发明准确有效的对电芯焊道点云的反光区域数据进行去噪和补全,增强了点云还原效果,利于后续测量工作。
Description
技术领域
本发明涉及工业品缺陷检测中三维重建技术领域,尤其涉及一种新能源电芯焊缝反光点去噪和点云补全方法。
背景技术
激光线扫描相机是以激光器为辐射源,可以精准探测目标距离、位置、运动轨迹,测量目标的散射截面和形状等激光线扫描法目前已经发展成为一种对测量环境要求较低、灵敏度较高、数据处理自动化、适用范围广的非接触性的有效测量方法,成为现代光测中的一个重要组成部分。采用激光线扫描相机对连续运行在被检测物品的画面进行实时采集,通过图像采集卡将采集图像传送到计算机进行图像处理,自动化流水线运动,连续运动产品画面的缺陷检测在运动的情况下进行运动图像的定位、检测和产品的NG判定。适用于连续运动印刷、钢带加工、织布生产、电芯等工业产品的连续图像采集、图像处理、模式识别、缺陷检测等教学研究实验。在实际应用中,测量系统对被测物体表面的光学特性一定的要求,由于强烈的镜面反射容易引起相机捕获的像素饱和和数据异常,故要求被测物体表面具有足够的漫反射且不能存在大面积的镜面反射。然而,在实际的检测过程中,由于被测物体的材质不同,其表面存在着不同的反射特性,其中,由于物体表面的高反射率会导致物体三维重建点云的丢失,例如对新能源电芯进行扫描测量时,电芯顶盖焊道金属表面存在反光区域会出现引起数据丢失等问题,导致对新能源电芯的缺陷检测时无法获得准确的点云数据,测量精度下降,无法取得理想的检测效果。
发明内容
针对上述提到的存在电芯顶盖焊道表面反光引起数据丢失等问题,本发明的目的在于提出了一种新能源电芯焊缝反光点去噪和点云补全方法,来解决以上背景技术部分提到的技术问题。
为达到上述技术目的,本发明采用以下技术方案:
第一方面,本发明提供了一种新能源电芯焊缝反光点去噪和点云补全方法,具体包括以下步骤:
步骤一:利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像,将所述深度图像转化为原始点云;
步骤二:对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;
步骤三:基于预处理后点云训练得到标准的点云定位模型;
步骤四:将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;
步骤五:对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;
步骤六:对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;
步骤七:基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云,输出最终补全点云。
进一步的,所述步骤二中,对所述原始点云进行预处理以去除离群点噪声,具体包括:对转换的原始点云中每一个点利用kd-tree进行统计分析,计算点云中每个点到所有临近点的平均距离,临近点有k个,去除平均距离在全局标准方差之外的点。
进一步的,所述步骤三中,基于预处理后点云训练得到标准的点云定位模型,具体包括:通过ICP算法匹配不同电芯焊道的点云,采用欧式距离计算点与点的差值,将每次匹配时计算得到的差值大于均值范围的点去除,输出最终标准的点云定位模型。
更进一步的,取多组电芯焊道的点云进行基于ICP算法的两两匹配,当两组点云匹配完成后,根据欧式距离计算方法计算该两组点云中对应点的距离,当两点距离大于设定的阈值时则去除当前点云模型中对应的点云,重复多组电芯焊道点云匹配后,最终得到标准的点云定位模型。
进一步的,所述步骤四中,将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云,具体包括:将当前带有反光丢点噪点区域的原始点云与标准的点云定位模型进行配准,采用欧式距离计算方法计算点与点的距离,将原始点云中距离大于阈值的点标记为反光区域点云。
进一步的,所述步骤五中,对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像,具体包括:使用canny算子提取灰度图像的边缘点集(边缘信息),将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化,边缘点集的点取值为255,其余点取值为0,得到该灰度图像的边缘图像。
进一步的,所述步骤六中,对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域,具体包括:
首先在离散点云中确定拟合不同位置的节点,即建立拟合曲线,用系数定义该位置附近的拟合的形态,各个节点/>附近的拟合函数可表示为/>,其公式为:
其中,为节点的空间坐标,/>为节点/>附近点位置坐标,/>为系数函数,/>为基函数,其表示为/>,/>;
建立最优化模型使得节点/>附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小:
其中,为节点/>的空间位置,/>为采样点,/>为采样点/>的空间位置,/>是采样点的取值,/>,/>为权函数,其形式为三次样条曲线:
其中为矢量/>的模,对模型/>求导可得到:
其中、/>均为基函数,且i、j分别代表的是图像的行和列;
引入下述记号可简化表达:
可得到最终法方程:
得到任意点计算出拟合函数及其取值,根据拟合函数与各点云距离阈值,去除反光区域中噪点以及补全部分丢点区域。
进一步的,步骤七中,所述插值补全反光区域缺失的点云具体包括:
对于边缘图像在灰度图像投影中的第个像素点,若其值为非0,则在灰度图像中找到距离第/>个像素点最近的三个非零值点/>,则第/>个像素点的补全值/>为:
根据已标定的参数将补全后的灰度像素转为三维坐标点云。
第二方面,本发明提供了一种新能源电芯顶盖焊缝反光点去噪和点云补全系统,包括数据采集模块,点云预处理模块,点云模型训练模块,反光区域定位模块,图像边缘提取模块,反光数据去噪补全模块;
所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像;将所述深度图像转化为原始点云;
所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;
所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型;
所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;
所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;
所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云,输出最终补全点云。
采用上述方案后,本发明具有以下有益效果:
本发明的方法首先对点云预处理后进行配准训练,得到标准点云定位模型并得到准确的反光区域点云,利用灰度图像和点云两种数据信息,准确有效的对电芯焊道点云的反光区域数据进行去噪和补全,增强了点云还原效果,利于后续测量工作。
通过本发明的方法可实现抵消待测金属表面的高光闪亮点,以及实现三维重建并进行精准的缺陷检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的变形形式。
图1是本发明实施例提供的新能源电芯顶盖焊缝反光点去噪和点云补全方法的流程图;
图2为本发明实施例提供的点云模型训练流程图;
图3为本发明实施例提供的反光区域定位流程图;
图4为本发明实施例提供的电芯焊道反光去噪丢点补全的系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-4所示,本实施例揭示的一种新能源电芯焊缝反光点去噪和点云补全方法,具体包括以下步骤:
S1:利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像,线激光扫描系统包括线激光扫描相机、灰度相机,线激光扫描相机用于扫描电芯焊道得到深度图像,灰度相机用于扫描电芯焊道得到灰度图像。基于三角原理将所述深度图像转化为原始点云,构建被测物的空间三维形态;原始点云转化方法是基于激光三角测距原理,通过预先标定好的扫描系统参数及相机分辨率,对深度图像进行空间三维坐标的转换,得到原始点云数据。
S2:对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;预处理具体包括:对转换的原始点云中每一个点利用kd-tree(k-dimensional树的简称,是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构)进行统计分析,计算点云中每个点到所有临近点的平均距离,临近点有k个,去除平均距离在全局标准方差之外的点。
S3:基于预处理后点云训练得到标准的点云定位模型;模型训练过程具体包括:通过ICP算法(ICP算法是基于数据配准法,利用最近点搜索法,从而解决基于自由形态曲面的一种算法,ICP 配准原理是指采用 ICP 算法对两个或多个点云进行匹配的原理。其基本思路是将一个点云作为参考点云,将另一个点云沿着某个方向旋转和平移,使其与参考点云最为吻合。在这个过程中,ICP算法会根据两个点云之间的距离,不断调整旋转和平移的参数,直到两个点云之间的距离最小化),匹配不同电芯焊道的点云,采用欧式距离计算点与点的差值,将每次匹配时计算得到的差值大于均值范围的点去除,输出最终标准的点云定位模型。
更进一步的,训练模型可采用下述方式:取多组电芯焊道的点云进行基于ICP算法的两两匹配,当两组点云匹配完成后,根据欧式距离计算方法计算该两组点云中对应点的距离,当两点距离大于设定的阈值时则去除当前点云模型中对应的点云,重复多组电芯焊道点云匹配后,最终得到标准的点云定位模型。
S4:将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;本步骤具体为:将当前带有反光丢点噪点区域的原始点云与标准的点云定位模型进行配准,采用欧式距离计算方法计算点与点的距离,将原始点云中距离大于阈值的点标记为反光区域点云。
以下对原始点云与标准的点云定位模型进行配准过程进行介绍,采用ICP配准方法,具体包括:
在目标点云和源点云/>,找到最临近点/>,计算出最优匹配参数旋转矩阵和平移矩阵/>;假设点集/>中有/>个数据点,记为/>,点集/>中有/>个数据点,记为/>,且这两个数据集满足:
中数据点的个数/>和/>的数据点个数/>相等,即/>=/>;
对于中的每一个点/>都对应/>中/>具有相同的索引下标,即/>=/>。
设为数据点/>和点集/>的几何距离为
具体计算步骤为:
①计算数据点集的重心和数据点集/>的重心:
,/>
②计算点集和点集/>的协方差矩阵:
③构造对称矩阵:
其中为/>单位矩阵,/>是矩阵/>的迹,/>,而。
④计算最佳旋转向量:
其中:
应用变换矩阵:对进行旋转变换和平移变换,得到新的对应点集
目标函数计算与阈值判断:计算与对应点集/>的平均距离/>,如果/>小于设定的阈值或者大于最大迭代次数时,则停止迭代计算,否则返回步骤2)继续计算,知道满足条件。
其中平均距离可表示为:
最终为所有最近点的欧式距离平方和目标函数,表示为:
其中阈值设定为,当/>时停止迭代计算,否则返回步骤1)继续计算。
上述的欧式距离计算方式为:
其中代表点/>和/>的距离。
S5:对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;灰度图像边缘提取过程具体包括:使用canny算子(Canny边缘检测算子,是John F. Canny于1986年开发出来的一个多级边缘检测算法)提取灰度图像的边缘点集(边缘信息),将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化,边缘点集的点取值为255,其余点取值为0,得到该灰度图像的边缘图像。
S6:对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;以下对本步骤进行具体流程介绍:
S61:首先在离散点云中确定拟合不同位置的节点,即建立拟合曲线,用系数定义该位置附近的拟合的形态,各个节点/>附近的拟合函数可表示为/>,其公式为:
其中,为节点的空间坐标,/>为节点/>附近点位置坐标,/>为基函数,其表示为/>,/>;
S62:建立最优化模型使得节点/>附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小:
其中,为节点/>的空间位置,/>为采样点,/>为采样点/>的空间位置,/>是采样点的取值,/>,/>为权函数,其形式为三次样条曲线:
其中为矢量/>的模,对模型/>求导可得到:
其中、/>均为基函数,且i、j分别代表的是图像的行和列;
引入下述记号可简化表达:
可得到最终法方程:
S63:得到任意点计算出拟合函数及其取值,根据拟合函数与各点云距离阈值,去除反光区域中噪点以及补全部分丢点区域。
S7:基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云(即基于所述边缘图像计算得到灰度插值补全图像),输出最终补全点云。
以下对所述采用灰度图像所在二维坐标投射到点云所在三维坐标的方式原理进行介绍:
根据相机标定参数获取三维坐标系和世界三维坐标系的转换矩阵,世界三维坐标系和相机二维成像坐标系的转换矩阵/>:对于世界坐标系下的点/>,在世界坐标系下对应的三维坐标为/>,在点云所在的坐标系中对应的三维坐标为/>,在相机成像坐标系下的二维坐标为/>,则/>,/>,因此/>,通过该方式可将灰度图像所在二维坐标投射到点云所在三维坐标。
以下对所述插值补全反光区域缺失的点云具体介绍:
对于边缘图像在灰度图像投影中的第个像素点,若其值为非0,则在灰度图像中找到距离第/>个像素点最近的三个非零值点/>,则第/>个像素点的补全值/>为:
根据已标定的参数将补全后的灰度像素转为三维坐标点云。
如图4所示,本发明实施例还提供了一种新能源电芯顶盖焊缝反光点去噪和点云补全系统,包括数据采集模块,点云预处理模块,点云模型训练模块,反光区域定位模块,图像边缘提取模块,反光数据去噪补全模块;
所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像;基于三角原理将所述深度图像转化为原始点云,构建被测物的空间三维形态;
所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;
所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型;
所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;
所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;
所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云(即基于所述边缘图像计算得到灰度插值补全图像),输出最终补全点云。
如上所述的新能源电芯顶盖焊缝反光点去噪和点云补全方法可以应用于新能源电芯生产线中缺陷的异常检测,以下提供一个该方法的应用实例:
在电芯圆弧角焊道处极易出现高亮反光区域引起噪点产生和数据点丢失,在检测过程中算法误把此类数据归为缺陷项造成过检。在项目上运用本实施例的反光点去噪和点云补全方法后,检测良率显著下降,点云的配准精度明显提高,点云的噪点和丢点比例下降。对同一批含有真实缺陷次品的产品(数量为1562个)进行对比检测,分别对采用本实施例所述方法补全反光区域的点云和不采用本实施例所述方法处理的点云进行对照检测,得出以下结果:
此批产品采用补全方法前后的良率和过检率对比:
其中三个算法过检产品采用补全方法前后的配准精度、噪点比例、丢点比例对比:
其中:
良率为总检测产品数量-算法检出的缺陷数量/总检测产品数量;
过检率为算法误检出的缺陷数量(实际为合格品)/总检测产品数量;
点云配准的精度采用RMS(均方根误差)进行评估:目标点云与模型点云的各点距离平方和的平均值的平方根;
点云的噪点比例为:噪点数量/总点云数量;
点云的丢点比例为:丢点数量/总点云数量。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。
Claims (9)
1.一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于包括以下步骤:
步骤一:利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像,将所述深度图像转化为原始点云;
步骤二:对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;
步骤三:基于预处理后点云训练得到标准的点云定位模型;
步骤四:将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;
步骤五:对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;
步骤六:对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;
步骤七:基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云,输出最终补全点云。
2.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于步骤二中,对所述原始点云进行预处理以去除离群点噪声具体包括:对转换的原始点云中每一个点利用kd-tree进行统计分析,计算点云中每个点到所有临近点的平均距离,临近点有k个,去除平均距离在全局标准方差之外的点。
3.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于所述步骤三中,所述基于预处理后点云训练得到标准的点云定位模型具体包括:通过ICP算法匹配不同电芯焊道的点云,采用欧式距离计算点与点的差值,将每次匹配时计算得到的差值大于均值范围的点去除,输出最终标准的点云定位模型。
4.如权利要求3所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于所述步骤三中,所述基于预处理后点云训练得到标准的点云定位模型具体包括:取多组电芯焊道的点云进行基于ICP算法的两两匹配,当两组点云匹配完成后,根据欧式距离计算方法计算该两组点云中对应点的距离,当两点距离大于设定的阈值时则去除当前点云模型中对应的点云,重复多组电芯焊道点云匹配后,最终得到标准的点云定位模型。
5.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于所述步骤四中,所述将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云,具体包括:将原始点云与标准的点云定位模型进行配准,采用欧式距离计算方法计算点与点的距离,将原始点云中距离大于阈值的点标记为反光区域点云。
6.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于步骤五中,对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像,具体包括:使用canny算子提取灰度图像的边缘点集,将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化,边缘点集的点取值为255,其余点取值为0,得到该灰度图像的边缘图像。
7.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于所述步骤六中,所述对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域,具体包括:
首先在离散点云中确定拟合不同位置的节点,即建立拟合曲线,用系数/>定义该位置附近的拟合的形态,各个节点/>附近的拟合函数可表示为/>,其公式为:
其中,为节点的空间坐标,/>为节点/>附近点位置坐标,/>为系数函数,为基函数,其表示为/>,/>;
建立最优化模型使得节点/>附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小:
其中,为节点/>的空间位置,/>为采样点,/>为采样点/>的空间位置,/>是采样点的取值,/>,/>为权函数,其形式为三次样条曲线:
其中为矢量/>的模,对模型/>求导可得到:
其中、/>均为基函数,且i、j分别代表的是图像的行和列;
引入下述记号可简化表达:
可得到最终法方程:
得到任意点计算出拟合函数及其取值,根据拟合函数与各点云距离阈值,去除反光区域中噪点以及补全部分丢点区域。
8.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法,其特征在于步骤七中,所述插值补全反光区域缺失的点云具体包括:
对于边缘图像在灰度图像投影中的第个像素点,若其值为非0,则在灰度图像中找到距离第/>个像素点最近的三个非零值点/>,则第/>个像素点的补全值为:
根据已标定的参数将补全后的灰度像素转为三维坐标点云。
9.一种新能源电芯顶盖焊缝反光点去噪和点云补全系统,其特征在于:包括数据采集模块,点云预处理模块,点云模型训练模块,反光区域定位模块,图像边缘提取模块,反光数据去噪补全模块;
所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道,得到同一电芯焊道的灰度图像和深度图像;将所述深度图像转化为原始点云;
所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声,得到预处理后点云;
所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型;
所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配,通过欧式距离计算定位得到反光区域点云;
所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理,得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像;
所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域;以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式,插值补全反光区域缺失的点云,输出最终补全点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310855054.5A CN116579955B (zh) | 2023-07-13 | 2023-07-13 | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310855054.5A CN116579955B (zh) | 2023-07-13 | 2023-07-13 | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116579955A true CN116579955A (zh) | 2023-08-11 |
CN116579955B CN116579955B (zh) | 2023-10-20 |
Family
ID=87538184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310855054.5A Active CN116579955B (zh) | 2023-07-13 | 2023-07-13 | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116579955B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117723563A (zh) * | 2023-11-02 | 2024-03-19 | 四川大学 | 一种基于点云配准的芯片引脚缺陷检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986048A (zh) * | 2018-07-18 | 2018-12-11 | 大连理工大学 | 基于线激光扫描三维点云快速复合滤波处理方法 |
CN109658456A (zh) * | 2018-10-29 | 2019-04-19 | 中国化学工程第六建设有限公司 | 罐体内角焊缝激光视觉三维视觉定位方法 |
CN111553859A (zh) * | 2020-04-29 | 2020-08-18 | 清华大学 | 一种激光雷达点云反射强度补全方法及系统 |
US20210279950A1 (en) * | 2020-03-04 | 2021-09-09 | Magic Leap, Inc. | Systems and methods for efficient floorplan generation from 3d scans of indoor scenes |
US20220101548A1 (en) * | 2020-09-30 | 2022-03-31 | Tsinghua University | Point cloud intensity completion method and system based on semantic segmentation |
CN114511575A (zh) * | 2022-01-26 | 2022-05-17 | 浙江大学 | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 |
CN114571153A (zh) * | 2022-04-07 | 2022-06-03 | 福州大学 | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 |
CN115423978A (zh) * | 2022-08-30 | 2022-12-02 | 西北工业大学 | 用于建筑物重建的基于深度学习的图像激光数据融合方法 |
-
2023
- 2023-07-13 CN CN202310855054.5A patent/CN116579955B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986048A (zh) * | 2018-07-18 | 2018-12-11 | 大连理工大学 | 基于线激光扫描三维点云快速复合滤波处理方法 |
CN109658456A (zh) * | 2018-10-29 | 2019-04-19 | 中国化学工程第六建设有限公司 | 罐体内角焊缝激光视觉三维视觉定位方法 |
US20210279950A1 (en) * | 2020-03-04 | 2021-09-09 | Magic Leap, Inc. | Systems and methods for efficient floorplan generation from 3d scans of indoor scenes |
CN111553859A (zh) * | 2020-04-29 | 2020-08-18 | 清华大学 | 一种激光雷达点云反射强度补全方法及系统 |
US20220101548A1 (en) * | 2020-09-30 | 2022-03-31 | Tsinghua University | Point cloud intensity completion method and system based on semantic segmentation |
CN114511575A (zh) * | 2022-01-26 | 2022-05-17 | 浙江大学 | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 |
CN114571153A (zh) * | 2022-04-07 | 2022-06-03 | 福州大学 | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 |
CN115423978A (zh) * | 2022-08-30 | 2022-12-02 | 西北工业大学 | 用于建筑物重建的基于深度学习的图像激光数据融合方法 |
Non-Patent Citations (1)
Title |
---|
李明阳 等: "视觉深度学习的三维重建方法综述", 《计算机科学与探索》, no. 2 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117723563A (zh) * | 2023-11-02 | 2024-03-19 | 四川大学 | 一种基于点云配准的芯片引脚缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116579955B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740665B (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
CN111046776B (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
Xu et al. | Line structured light calibration method and centerline extraction: A review | |
JP6305171B2 (ja) | シーン内の物体を検出する方法 | |
CN104809738B (zh) | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 | |
CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
Wu et al. | A novel high precise laser 3D profile scanning method with flexible calibration | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN110260818B (zh) | 一种基于双目视觉的电子连接器鲁棒检测方法 | |
CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
CN113781415B (zh) | 一种x射线图像的缺陷检测方法、装置、设备及介质 | |
CN115330958A (zh) | 基于激光雷达的实时三维重建方法及装置 | |
CN112734844B (zh) | 一种基于正八面体的单目6d位姿估计方法 | |
CN115482195A (zh) | 一种基于三维点云的列车部件变形检测方法 | |
CN111402330A (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
CN115953550A (zh) | 针对线结构光扫描的点云离群点剔除系统及方法 | |
CN116079749A (zh) | 基于聚类分离条件随机场的机器人视觉避障方法及机器人 | |
CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
CN117372498A (zh) | 一种基于三维点云的多姿态螺栓尺寸测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |