CN117152093B - 基于数据融合和深度学习的轮胎缺陷检测系统及方法 - Google Patents

基于数据融合和深度学习的轮胎缺陷检测系统及方法 Download PDF

Info

Publication number
CN117152093B
CN117152093B CN202311132074.6A CN202311132074A CN117152093B CN 117152093 B CN117152093 B CN 117152093B CN 202311132074 A CN202311132074 A CN 202311132074A CN 117152093 B CN117152093 B CN 117152093B
Authority
CN
China
Prior art keywords
tire
data
point cloud
defect
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311132074.6A
Other languages
English (en)
Other versions
CN117152093A (zh
Inventor
郭宇晗
郑飞
陈珊珊
何为凯
许芝光
王云明
陈振学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wonderful Intelligent Technology Co ltd
Shandong Jiaotong University
Original Assignee
Shandong Wonderful Intelligent Technology Co ltd
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wonderful Intelligent Technology Co ltd, Shandong Jiaotong University filed Critical Shandong Wonderful Intelligent Technology Co ltd
Priority to CN202311132074.6A priority Critical patent/CN117152093B/zh
Publication of CN117152093A publication Critical patent/CN117152093A/zh
Application granted granted Critical
Publication of CN117152093B publication Critical patent/CN117152093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开提供了基于数据融合和深度学习的轮胎缺陷检测系统及方法，涉及轮胎缺陷检测技术领域，方法包括获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据，并进行预处理；将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；其中，基于三向Han‑GAN网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息。本公开提高了轮胎的缺陷检测效率。

Description

基于数据融合和深度学习的轮胎缺陷检测系统及方法
技术领域
本公开涉及轮胎缺陷检测技术领域，具体涉及基于数据融合和深度学习的轮胎缺陷检测系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
轮胎是汽车、摩托车等交通工具上的重要部件，它直接影响着车辆的行驶安全和性能。然而，轮胎在使用的过程中会面临各种各样的问题，其中最常见的是轮胎缺陷、如裂纹、磨损、气压异常等，如果轮胎缺陷未及时发现和修复，就会给驾驶员和乘客带来巨大的安全隐患，甚至可能导致交通事故。
近年来，随着计算机视觉、机器学习等技术的发展，基于3D点云技术和深度学习的自动化轮胎缺陷检测方法得到了广泛应用，能够提高检测效率和准确性，减少人力成本，具有很大的应用前景。普通轮胎检测设备需要对轮胎上胎侧，下胎侧、胎冠和轮胎内侧图像分别进行缺陷检测，故至少需要采集四种图像，分别输入三类缺陷检测模型，严重影响检测速率，无法匹配轮胎工厂节拍，且对服务器存储空间和计算速率要求极高。
发明内容
本公开为了解决上述问题，提出了基于数据融合和深度学习的轮胎缺陷检测系统及方法，利用3D点云结合多传感器数据融合，更加准确地描述轮胎的三维结构和缺陷情况，从而提高检测精度。
根据一些实施例，本公开采用如下技术方案：
基于数据融合和深度学习的轮胎缺陷检测方法，包括：
获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据，并进行预处理；
将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；
其中，基于三向Han-GAN网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息。
根据一些实施例，本公开采用如下技术方案：
基于数据融合和深度学习的轮胎缺陷检测系统，其特征在于，包括数据采集模块、轮胎输送模块、轮胎抓取模块、控制服务器和用户终端；所述数据采集模块、轮胎输送模块、轮胎抓取模块、用户终端均与控制服务器连接，轮胎输送模块与轮胎抓取模块连接；
所述数据采集模块用于采集获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据；
所述轮胎输送模块用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂以及用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取；
所述轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测；
所述控制服务器用于将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；并进行轮胎缺陷检测。
与现有技术相比，本公开的有益效果为：
本公开在检测结构方面：针对轮胎检测三种图像特点，设计采用三种图像采集设备分别采集上下胎侧、胎冠和轮胎内侧图像；采用本公开提出的三向Han-GAN网络对三种图像进行数据融合，轮胎全景图像拼接获得待测轮胎3D模型，此模型只需要将此待测轮胎3D模型输入一个缺陷检测模型，大大提高检测效率，减少服务器工作负担。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的系统结构连接示意图；
图2为本公开实施例的系统的模块设备分布图；
图3为本公开实施例的轮胎抓取模块外观图；
图4为本公开实施例的图像处理流程图；
图5为本公开的实施例的整体方法流程图；
图6为本公开实施例的图像转换原理图。
其中，图2以及图3中，1、待测轮胎传送带；2、正常轮胎传送带；3、缺陷轮胎传送带；4、红外测距传感器；5、轮胎抓取模块；6、检测台；7、可见光相机；8、激光轮廓仪；9、结构光相机；
10、基座；11、机械臂；12、加持末端执行器；13、圆盘；14、导轨；15、夹持杆。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于数据融合和深度学习的轮胎缺陷检测方法，包括：
步骤一：获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据，并进行预处理；
步骤二：将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；
其中，基于三向Han-GAN网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息。、
具体的，一种基于数据融合和深度学习的轮胎缺陷检测方法实现方式如下：
步骤1：接收可见光相机采集的二维图像数据、激光轮廓仪采集的3D点云数据和结构光相机采集的3D点云数据，并进行预处理；
预处理包括：首先读取轮胎3D点云数据，并显示为二维灰度图像，并对二维灰度图像进行灰度化、二值化处理和均值滤波等预处理；将点云数据信息进行点云滤波、点云配准和点云分割等预处理，此时将利用xyz轴将3D点云数据转换为3D彩色矩形图像，将3D彩色矩形图像转换为圆形轮胎图像。将轮胎翻转前激光轮廓仪采集的3D点云预处理后图像与翻转后激光轮廓仪采集的3D点云预处理后图像，通过点云配准将配准后的点云数据进行融合。由于轮胎的表面积较大，单相机成像视场范围有限，因此需多台相机进行轮胎外观信息采集。
步骤2：为了进一步便于图像拼接，设计基于三向Han-GAN网络的图像转化融合方法，实现三种不同摄像机采集图像之间的多源异构数据转换。
预处理后将数据输入训练好的基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型中检测是否出现缺陷，将检测数据发送给轮胎抓取模块和用户终端；若数据中出现缺陷，控制服务器将检测数据发送轮胎抓取模块；缺陷数据库存储轮胎数据和缺陷标签，同时存储用户终端发送的误判数据及缺陷标签；
作为一种实施例，轮胎缺陷的特征包括：胎冠裂缝、胎冠划伤、胎冠穿孔、胎冠气泡、胎侧裂缝、胎冠划伤、胎冠穿孔、胎冠气泡。
中值滤波是图像处理中一种常用的滤波手段，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，起到明显图像去噪的作用，其滤波模型如下：
gx,＝Med[Fx+i,j,i,j＝-L,....,0,....,+L]
其中，x，y表示像素点的位置信息，模型选择滤波窗口大小(2L+1)*(2L+1)的矩形，Fx+i,j为该点窗口的像素点灰度值序列，gx,为灰度值序列中值，用该中值替换原像素点灰度值完成中值滤波。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述图像二值化处理通过阈值分割凸显轮胎边界轮廓，具体算法如下：
其中，x，y表示像素点的位置信息，表示原图像该像素点的灰度值，表示阈值分割更新后该像素点的灰度值，遍历整张图像的像素点，当灰度值小于等于阈值T更新像素点灰度值为0，当灰度值大于阈值T则保留原始灰度值不变。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述图像转换原理为：将3D彩色矩形图像二维矩阵定义为A，现在将矩阵A的每一列A(:,i)由直线转换为圆形C，那么圆C的周长为列A(:,i)的长度L，半径与周长的关系如下：
为了绘制圆形C，需要计算圆形C曲线上的每个点的xyz坐标。假设圆形C上点Ci的坐标为(xi,yi)，那么点Ci坐标的计算流程，可以用下图实现：
如图6所示，(xM,yM)为某列中值的坐标(XM,Ym)，转换为圆形以后，该点正好是圆形最左边的点；d为(xM,yM)与(xi,yi)连线所形成弦的长度；θ为弦与直径的夹角；l为弦所对应弧的长度(注意与L区分，L是转换前列的长度，即转换后圆的周长)。那么，(xi,yi)的值可以通过下面的式子计算得出：
xi＝xM+d×cosθ
yi＝yM+d×sinθ (2)
其中，带入上式，可得：
其中，R可以通过公式(1)推导得出，计算出d即可获得(xi,yi)。弦长d与弧长l的关系如下：
可以推出：其中弧长l是点(xi,yi)到(xM,yM)的长度，它等于转换为圆形前，点(xi,yi)在矩阵A中的对应点(Xi,Yi)到中值点(XM,YM)的距离。
通过以上步骤，我们可以计算得到(xi,yi)，同理所得，可以计算出圆C上所有点的坐标。zi也就是转换前(Xi,Yi)所对应的z坐标值Zi。
最终，利用坐标(xi,yi,zi)就可以得出单个圆的3D图形。将矩阵A所有列均转换为圆形以后，即可得到3D圆形轮胎图像。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述三向Han-GAN网络多源异构数据转换具体原理为：：
(1)三种不同相机采集的图像：可见光相机采集图像A、激光轮廓仪采集并点云配准融合后图像B和结构光相机采集相机C；
(2)分别构建三个生成器GA、GB、GC和三个鉴别器DA、DB、DC。其中GA将A图像转化为B图像，GB将B图像转化为C图像，GC将C图像转化为A图像；
(3)构建三个鉴别器DA、DB、DC，用于判别转换后的图像是否与真实图像相似；
(4)三向Han-GAN网络输入为：A、B、C三种图像；输出为：A、B、C转化后的图像，且三种图像互相转换的结果应该具有一致性和连续性；
(5)三向Han-GAN网络结构可以表示为：
输入A--->生成器GA--->A
输入B--->生成器GB--->B
输入C--->生成器GC--->C
(6)其中三向Han-GAN网络生成器的训练损失函数应该包括：
a.三个生成器之间的一致性损失函数，用于保证三个生成器转换的结果具有一致性：
三个生成器之间的一致性损失函数通常使用L1损失函数来计算。具体来说，对于三个生成器GA、GB和GC，我们可以分别使用两个相邻生成器之间的损失函数来衡量它们之间的一致性，如下所示：
GA和GB之间的一致性损失：LA＝L1(GA(A),GB(GA(A)))
GB和GC之间的一致性损失：LB＝L1(GB(B),GC(GB(B)))
GA和GC之间的一致性损失：LC＝L1(GA(A),GC(GB(GA(A))))
其中，A和B分别表示从可见光相机和激光轮廓仪或结构光相机中获取的原始图像。这些损失函数的计算将保证三个生成器之间的转换结果具有一致性，从而提高整个三向网络的性能。
b.三个生成器之间的连续性损失函数，用于保证三个生成器之间的转换是连续的：
对于连续性损失函数，可以使用均方误差(Mean Squared Error，MSE)作为损失函数。具体来说，三个生成器GA、GB、GC，它们分别将图像A、B、C转换为图像A'、B'、C'。那么，我们可以设计一个损失函数来衡量三个生成器之间的连续性，计算方法如下：
从A到C的转换需要通过A到B，再通过B到C实现。因此，我们可以计算A经过GA转换为A'，再经过GB转换为B'，最终再经过GC转换为C'与C之间的差异，即：
L_AC＝MSE(GC(GB(GA(A)))-C)
同理A到B转换：L_AB＝MSE(GB(GA(A))-B)
B到C转换：L_BC＝MSE(GC(GA(GB(B)))-C)
c.将连续性损失函数和一致性损失函数结合使用，以进一步提高生成器之间的一致性和连续性。具体来说，可以将连续性损失函数和一致性损失函数分别赋予不同的权重，并将两个损失函数的结果相加作为最终的三向GAN损失函数，如下所示：
L_total＝λ1*LA+λ2*LB+λ3*LC+λ4*L_AB+λ5*L_AC+
λ6*L_BC+λ7*L_adv1+λ8*L_adv2+λ9*L_adv3
其中λi表示不同损失函数的权重系数，LA，LB，LC表示三个生成器之间的循环一致性损失函数，L_AB，L_AC，L_BC表示三个生成器之间的连续性损失函数，L_adv1，L_adv2，L_adv3表示三个生成器自身的对抗损失函数。
(7)针对转化后的图像进行全景图像拼接。通过图像匹配的方法采集轮胎成像特征点，由于轮胎外观特征较复杂，需对相似特征点进行优化筛选、校正，进而使用图像融合方法，完善图像大小及位置，利用相似特征点进行拼接，构建轮胎3D模型。
(8)针对构建的轮胎3D模型，首先，进行基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测。然后，根据检测结果判断是否存在缺陷，当检测到缺陷时将轮胎分拣到缺陷轮胎传送带，并输出缺陷位置和类别等缺陷信息。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述点云滤波具体实现步骤如下：首先确定滤波半径，对于每个点，确定一个滤波半径R，该半径内的所有点将被用于计算滤波结果。其次对于每个点，根据其周围滤波半径内的点，利用中值函数计算滤波结果。最后根据计算得到的滤波结果，判断每个点是否为噪点，并将其去除。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述滤波半径基于点云密度估计，首先对点云进行体素化，将点云划分为一系列小的体素；统计每个体素中包含的点云数量，得到体素密度；对每个点计算其所在体素的密度，并将其作为滤波半径。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述中值函数的具体算法公式如下：假设对于一个点xi，其周围有N个相邻点{x1,x2,...,xn}，其中xi为中心点，滤波半径为R对于每个点，计算其到中心点的距离di＝|xi-xc|，其中xc为中心点。将距离排序，得到有序序列{d1,d2,...,dn}取中间值作为滤波结果，即f(xc)＝median{d1,d2,...,dn}其中，median{}表示中位数操作。如果N为偶数，则取中间两个数的平均值作为中位数。
进一步地，基于多传感器数据融合和深度学习的轮胎缺陷检测系统其特征在于：所述点云配准具体步骤如下：首先对于每个点云数据，提取出其独特的特征，如表面法向量、点云形状等。其次进行特征匹配，将不同点云数据的特征进行匹配，以确定其之间的关系。然后进行初始变换估计，根据匹配结果，估计两个点云数据之间的初始变换矩阵。再进行变换优化，通过迭代优化，不断优化初始变换矩阵，以最小化点云数据之间的距离误差。最后进行点云融合，将配准后的点云数据进行融合，以得到完整的三维场景表示。
实施例2
本公开的一种实施例中提供了一种基于数据融合和深度学习的轮胎缺陷检测系统，包括数据采集模块、轮胎输送模块、轮胎抓取模块、控制服务器和用户终端；所述数据采集模块、轮胎输送模块、轮胎抓取模块、用户终端均与控制服务器连接，轮胎输送模块与轮胎抓取模块连接；
所述数据采集模块用于采集获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据；
所述轮胎输送模块用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂以及用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取；
所述轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测；
所述控制服务器用于将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；并进行轮胎缺陷检测。
其中数据采集模块、轮胎输送模块、轮胎抓取模块、用户终端皆与控制服务器连接，轮胎输送模块与轮胎抓取模块连接；
所述数据采集模块采用可见光相机、激光轮廓仪和结构光相机3种传感器，采集轮胎胎侧、胎冠和轮胎内侧的外观图像。当激光轮廓仪完成对轮胎胎冠、上胎侧等数据进行采集后，数据采集模块的传输单元向控制服务器发送完成第一轮采集完成指令，此时控制服务器向轮胎抓取模块发送轮胎翻转指令，当轮胎翻转完成后，数据采集模块接受数据采集指令，进行第二轮采集任务此时激光轮廓仪将对下胎侧数据进行采集。当二轮采集完成后，数据采集模块的传输单元向控制服务器发送完成第二轮采集完成指令，并将汇总的采集数据信息发送控制服务器。
所述轮胎输送模块包括传输单元和传输动停检测单元；传输单元用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂；传输动停检测单元用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取，若有，则向传输单元发送停止传输指令，若检测到待测轮胎被抓取离开传输单元，则向传输单元发送继续传输指令；
所述轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测，在检测过程中抓取轮胎离开旋转台辅助实现下胎侧数据完整采集，接收控制服务器发送的检测数据，并根据检测数据判断检测台的轮胎是否为缺陷轮胎，若为缺陷轮胎则将轮胎放置在运输缺陷轮胎的传送带运出，若为正常轮胎则将轮胎放置在运输正常轮胎的传送带运输出厂；
所述控制服务器包括预处理单元、分析单元和缺陷数据库；接收可见光相机采集的二维图像数据、激光轮廓仪采集的3D点云数据和结构光相机采集的3D点云数据。预处理单元首先读取轮胎3D点云数据，并显示为二维灰度图像，并对二维灰度图像进行灰度化、二值化处理和均值滤波等预处理；将点云数据信息进行点云滤波、点云配准和点云分割等预处理，此时将利用xyz轴将3D点云数据转换为3D彩色矩形图像，将3D彩色矩形图像转换为圆形轮胎图像。将轮胎翻转前激光轮廓仪采集的3D点云预处理后图像与翻转后激光轮廓仪采集的3D点云预处理后图像，通过点云配准将配准后的点云数据进行融合。由于轮胎的表面积较大，单相机成像视场范围有限，因此需多台相机进行轮胎外观信息采集。为了进一步便于图像拼接，本实施例设计基于三向Han-GAN网络的图像转化融合方法，实现三种不同摄像机采集图像之间的多源异构数据转换。预处理后将数据输入训练好的缺陷检测模型检测是否出现缺陷，将检测数据发送给轮胎抓取模块和用户终端；分析单元将预处理后数据输入基于YOLOv3训练好的缺陷检测模型，若数据中出现缺陷，控制服务器将检测数据发送轮胎抓取模块；缺陷数据库存储轮胎数据和缺陷标签，同时存储用户终端发送的误判数据及缺陷标签；
所述用户终端用于接收控制服务器发送的检测数据和轮胎缺陷数据，向工作人员发出警报，并将轮胎缺陷数据、对应缺陷类型和轮胎标识向工作人员显示，若工作人员人工判断出现误判，则可在用户终端对该轮胎缺陷数据添加缺陷标签发送控制服务器；
在系统正式投入运行之前，对每一型号的轮胎，通过轮胎外观3D建模系统，构建该型号轮胎的3D标准模型，作为智能检测的依据标准，包括该轮胎的型号、尺寸、花纹和字符等信息，将轮胎3D模型保存，上传控制服务器。
所述结构光相机能主动投影，主要针对车辆轮胎内侧凹凸不平的形状进行3D点云数据信息采集，适合弱光照使用，能够减少轮胎内侧光照不足的影响。结构光相机能够对轮胎内侧形状进行信息采集，实现对轮胎内表面的三维重建。
所述激光轮廓仪使用激光扫描技术，具有高频率、高精度等优点，可以对轮胎的轮廓、二维尺寸和二维位移进行精确快速测量，环境适应性强，可以快捷准确地无直接接触测量轮胎3D点云数据参数。激光轮廓仪沿着轮胎胎冠外形作线性运动并记录表面数据，计算机通过记录扫描运行距离和激光距离数值得出轮胎表面数据以及特征变化参数，例如轮胎轮缘厚度、高度、宽度、方位及轮胎规格尺寸。
所述可见光相机主要针对表面标注不清、缺胶和划痕等轮胎外观缺陷进行采集，其可见光相机采集的数据信息为二维图像数据，但轮胎外观缺陷在不同光源的照射下，在图像中反应出来的明暗变化大有不同。轮胎表面呈黑色，由于光谱中的黑色光吸收能力较强，在进行基于可见光缺陷检测时，需要大范围的明光照射才可反映出轮胎上的特征。针对目标轮胎区域的反射光进行检测，设计一种承载光源灯板与舵机相连的移动补光光源系统，即光源和可见光相机设置在机械臂执行末端，在检测台旋转过程中二者保持相对静止。在可见光相机运动的同时，补光光源也要随之运动，以一定角度照明轮胎表面，保持可见光相机拍摄最强光照区域。
所述结构光相机、激光轮廓仪和条形码读码器安装在一个机械臂的末端执行装置上，在待测轮胎放置在检测台后，首先条形码读码器识别轮胎型号，在检测过程中，轮胎随检测台旋转，机械臂伸入轮胎，结构光相机采集轮胎内侧图像，同时激光轮廓仪采集轮胎的3d点云数据信息。
如图2所示，所述轮胎输送模块的传输单元包括一条从轮胎生产线到轮胎检测区的待测轮胎传送带1，一条以轮胎检测区为起点运输无缺陷轮胎的正常轮胎传送带2和一条以轮胎检测区为起点运输有缺陷轮胎的缺陷轮胎传送带3，其中从轮胎生产线到轮胎检测区的传送带靠近轮胎检测区的一端设置挡板防止待测轮胎因未被抓取而掉落；所述轮胎传输动停检测单元通过两个红外测距传感器4检测是否有待测轮胎在传送带滞留，一个红外测距传感器设置于距离轮胎检测区一个轮胎半径长度的传送带侧面，另一个红外测距传感器设置于距离轮胎检测区五个轮胎直径长度的传送带侧面，当第一个红外测距传感器检测到距离缩短且第二个红外测距传感器检测到距离缩短，则证明传送带靠近轮胎检测区存在至少5个轮胎滞留待检，则向传输单元发送停止传输指令，若第一个红外测距传感器检测到距离增长则证明传送带滞留轮胎被轮胎抓取模块带走检测，则向传输单元发送继续传输指令。轮胎抓取模块5将待测轮胎传送带末端待测轮胎抓取至检测台6，由可见光相机7、激光轮廓仪8和结构光相机9采集轮胎图像。
如图3所示，所述轮胎抓取模块通过夹持装置将待测轮胎从传送带抓取放置到轮胎检测区的检测台上，在检测过程中抓取轮胎离开旋转台辅助实现下胎侧数据完整采集，并将检测后轮胎从检测台抓取放置到对应传送带；所述夹持装置包括基座10、机械臂11和加持末端执行器12，夹持装置通过基座固定在地面，机械臂连接基座和夹持末端执行器实现带动夹持末端执行器移动，夹持末端执行器以圆盘13为主框架，圆盘内部有四条中心对称的导轨14，每条导轨上安装夹持杆15，夹持杆可在各自导轨上往复运动；轮胎抓取模块抓取轮胎步骤为：夹持装置的机械臂带动夹持末端执行器的夹持杆伸入待测轮胎中，四个夹持杆从加持末端执行器圆盘中心按照导轨向四周运动撑起轮胎，直至夹持杆卡住轮胎边缘，将待测轮胎放置于检测台上，各夹持杆按照导轨向圆盘中心运动放下轮胎，轮胎抓取模块根据控制服务器发送的检测数据判断是否为缺陷轮胎，机械臂带动夹持末端执行器的夹持杆伸入待测轮胎中，四个夹持杆从加持末端执行器圆盘中心按照导轨向四周运动撑起轮胎，直至夹持杆卡住轮胎边缘，将检测后轮胎放置于对应传送带上，各夹持杆按照导轨向圆盘中心运动放下轮胎。
轮胎抓取模块将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测，此时条形码读码器识别轮胎型号，在检测过程中，轮胎随检测台旋转，机械臂深入轮胎，结构光相机采集轮胎内侧图像，同时激光轮廓仪采集轮胎的3d点云数据信息。当激光轮廓仪完成对轮胎胎冠、上胎侧等数据进行采集后，数据采集模块的传输单元向控制服务器发送完成第一轮采集完成指令，此时控制服务器向轮胎抓取模块发送轮胎翻转指令，当轮胎翻转完成后，数据采集模块接受数据采集指令，进行第二轮采集任务此时激光轮廓仪将对下胎侧数据进行采集。当二轮采集完成后，数据采集模块的传输单元向控制服务器发送完成第二轮采集完成指令，并将汇总的采集数据信息发送控制服务器。预处理单元首先读取轮胎3D点云数据，并显示为二维灰度图像，并对二维灰度图像进行灰度化、二值化处理和均值滤波等预处理；将点云数据信息进行点云滤波、点云配准和点云分割等预处理，此时将利用xyz轴将3D点云数据转换为3D彩色矩形图像，将3D彩色矩形图像转换为圆形轮胎图像。将轮胎翻转前激光轮廓仪采集的3D点云预处理后图像与翻转后激光轮廓仪采集的3D点云预处理后图像，通过点云配准将配准后的点云数据进行融合。基于三向Han-GAN网络的图像转化融合方法，实现三种不同摄像机采集图像之间的多源异构数据转换。预处理后将数据输入训练好的缺陷检测模型检测是否出现缺陷，将检测数据发送给轮胎抓取模块和用户终端；分析单元将预处理后数据输入基于YOLOv3训练好的缺陷检测模型，若数据中出现缺陷，控制服务器将检测数据发送轮胎抓取模块，根据检测数据判断检测台的轮胎是否为缺陷轮胎，若为缺陷轮胎则将轮胎放置在运输缺陷轮胎的传送带运出，若为正常轮胎则将轮胎放置在运输正常轮胎的传送带运输出厂；缺陷数据库存储轮胎数据和缺陷标签，同时存储用户终端发送的误判数据及缺陷标签。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.基于数据融合和深度学习的轮胎缺陷检测方法，包括：
获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据，并进行预处理；
将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；
其中，基于三向Han-GAN网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息；
具体的，三向Han-GAN网络多源异构数据转换过程为：针对三种不同相机采集的图像，分别构建三个生成器和三个鉴别器，构建三个鉴别器判别转换后的图像是否与真实图像相似，三向Han-GAN网络输入为三种图像；输出为三种图像转化后的图像，且三种图像互相转换的结果具有一致性和连续性；
所述对转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，具体为，通过图像匹配的方法采集轮胎成像特征点，对相似特征点进行优化筛选、校正，进而使用图像融合方法，完善图像大小及位置，利用相似特征点进行拼接，构建轮胎3D模型；针对所述构建的轮胎3D模型，首先进行基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测；然后，根据检测结果判断是否存在缺陷，当检测到缺陷时将轮胎分拣到缺陷轮胎传送带，并输出缺陷位置和类别缺陷信息。
2.如权利要求1所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述预处理的过程包括：读取轮胎3D点云数据，并显示为二维灰度图像，并对二维灰度图像进行灰度化、二值化处理和均值滤波，将点云数据信息进行点云滤波、点云配准和点云分割，将3D点云数据转换为3D彩色矩形图像，将3D彩色矩形图像转换为圆形轮胎图像。
3.如权利要求2所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，将3D彩色矩形图像二维矩阵定义为A，现在将矩阵A的每一列由直线转换为圆形C，计算圆形C曲线上的每个点的xyz坐标，转换为圆形，将矩阵A所有列均转换为圆形以后，即可得到3D圆形轮胎图像。
4.如权利要求2所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述点云滤波的实现步骤为：首先确定滤波半径，对于每个点，确定一个滤波半径，该半径内的所有点将被用于计算滤波结果，其次对于每个点，根据其周围滤波半径内的点，利用中值函数计算滤波结果；最后根据计算得到的滤波结果，判断每个点是否为噪点，并将其去除。
5.如权利要求4所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述滤波半径基于点云密度估计，首先对点云进行体素化，将点云划分为一系列小的体素；统计每个体素中包含的点云数量，得到体素密度；对每个点计算其所在体素的密度，并将其作为滤波半径。
6.如权利要求2所述的基于数据融合和深度学习的轮胎缺陷检测方法，其特征在于，所述点云配准步骤如下：首先对于每个点云数据，提取特征，所述特征包括表面法向量、点云形状；其次进行特征匹配，将不同点云数据的特征进行匹配，以确定其之间的关系；然后进行初始变换估计，根据匹配结果，估计两个点云数据之间的初始变换矩阵；再进行变换优化，通过迭代优化，不断优化初始变换矩阵，以最小化点云数据之间的距离误差；最后进行点云融合，将配准后的点云数据进行融合，以得到完整的三维场景表示。
7.基于数据融合和深度学习的轮胎缺陷检测系统，其特征在于，包括数据采集模块、轮胎输送模块、轮胎抓取模块、控制服务器和用户终端；所述数据采集模块、轮胎输送模块、轮胎抓取模块、用户终端均与控制服务器连接，轮胎输送模块与轮胎抓取模块连接；
所述数据采集模块用于采集获取轮胎翻转前以及翻转后采集的3D点云数据以及图像数据；
所述轮胎输送模块用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂以及用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取；
所述轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区进行轮胎缺陷检测；
所述控制服务器用于将轮胎翻转前采集的3D点云预处理后的图像与翻转后采集的3D点云预处理后的图像进行点云配准，再将配准后的点云数据进行融合；并进行轮胎缺陷检测；
其中，基于三向Han-GAN网络的图像转化融合方法，对图像之间的多源异构数据进行转换，转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，利用基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测模型，对图像进行检测，输出缺陷位置以及类别信息；具体的，三向Han-GAN网络多源异构数据转换过程为：针对三种不同相机采集的图像，分别构建三个生成器和三个鉴别器，构建三个鉴别器判别转换后的图像是否与真实图像相似，三向Han-GAN网络输入为三种图像；输出为三种图像转化后的图像，且三种图像互相转换的结果具有一致性和连续性；
所述对转化后的图像进行全景图像拼接，通过图像匹配的方法获取轮胎成像特征点，具体为，通过图像匹配的方法采集轮胎成像特征点，对相似特征点进行优化筛选、校正，进而使用图像融合方法，完善图像大小及位置，利用相似特征点进行拼接，构建轮胎3D模型；针对所述构建的轮胎3D模型，首先进行基于SSD网络的轮胎缺陷全局检测和基于YOLOv3网络的轮胎缺陷局部检测；然后，根据检测结果判断是否存在缺陷，当检测到缺陷时将轮胎分拣到缺陷轮胎传送带，并输出缺陷位置和类别缺陷信息。
8.如权利要求7所述的基于数据融合和深度学习的轮胎缺陷检测系统，其特征在于，所述数据采集模块包括可见光相机、激光轮廓仪和结构光相机，用于采集轮胎胎侧、胎冠和轮胎内侧的外观图像；当激光轮廓仪完成对轮胎胎冠、上胎侧等数据进行采集后，数据采集模块向控制服务器发送完成第一轮采集完成指令，此时控制服务器向轮胎抓取模块发送轮胎翻转指令，当轮胎翻转完成后，数据采集模块接受数据采集指令，进行第二轮采集任务此时激光轮廓仪将对下胎侧数据进行采集；当二轮采集完成后，数据采集模块的传输单元向控制服务器发送完成第二轮采集完成指令，并将汇总的采集数据信息发送控制服务器。
9.如权利要求7所述的基于数据融合和深度学习的轮胎缺陷检测系统，其特征在于，所述用户终端用于接收控制服务器发送的检测数据和轮胎缺陷数据，向工作人员发出警报，并将轮胎缺陷数据、对应缺陷类型和轮胎标识向工作人员显示，若工作人员人工判断出现误判，则可在用户终端对该轮胎缺陷数据添加缺陷标签发送控制服务器。
CN202311132074.6A 2023-09-04 2023-09-04 基于数据融合和深度学习的轮胎缺陷检测系统及方法 Active CN117152093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311132074.6A CN117152093B (zh) 2023-09-04 2023-09-04 基于数据融合和深度学习的轮胎缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311132074.6A CN117152093B (zh) 2023-09-04 2023-09-04 基于数据融合和深度学习的轮胎缺陷检测系统及方法

Publications (2)

Publication Number Publication Date
CN117152093A CN117152093A (zh) 2023-12-01
CN117152093B true CN117152093B (zh) 2024-05-03

Family

ID=88898379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311132074.6A Active CN117152093B (zh) 2023-09-04 2023-09-04 基于数据融合和深度学习的轮胎缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN117152093B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975383B (zh) * 2024-04-01 2024-06-21 湖北经济学院 一种基于多模态图像融合技术的车辆定位和识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968120A (zh) * 2020-07-15 2020-11-20 电子科技大学 一种3d多特征融合的牙齿ct图像分割方法
CN113508066A (zh) * 2019-03-29 2021-10-15 英特尔公司 自主交通工具系统
CN114034704A (zh) * 2021-10-18 2022-02-11 武汉科技大学 一种基于多源数据融合的废旧轧辊三维检测装置及方法
CN116029360A (zh) * 2021-10-26 2023-04-28 辉达公司 使用一个或更多个神经网络的缺陷检测

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993825B (zh) * 2019-03-11 2023-06-20 北京工业大学 一种基于深度学习的三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508066A (zh) * 2019-03-29 2021-10-15 英特尔公司 自主交通工具系统
CN111968120A (zh) * 2020-07-15 2020-11-20 电子科技大学 一种3d多特征融合的牙齿ct图像分割方法
CN114034704A (zh) * 2021-10-18 2022-02-11 武汉科技大学 一种基于多源数据融合的废旧轧辊三维检测装置及方法
CN116029360A (zh) * 2021-10-26 2023-04-28 辉达公司 使用一个或更多个神经网络的缺陷检测

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Synthetic data generation based on local-foreground generative adversarial networks for surface defect detection;Bo Li et al.;《Journal of Electronic Imaging》;20200210;第1-16页 *
基于几何特征的点云配准算法;王蕊等;《华东理工大学学报（自然科学版）》;20160506;第768-773页 *

Also Published As

Publication number Publication date
CN117152093A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110779937B (zh) 一种铸件产品内部缺陷智能检测装置
KR102603141B1 (ko) 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치
CN117152093B (zh) 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
CN105160652A (zh) 基于计算机视觉的手机外壳检验装置与方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN111080650B (zh) 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
CN104483320A (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN111523540A (zh) 基于深度学习的金属表面缺陷检测方法
CN107036542A (zh) 一种齿环内外径外观检测方法及装置
CN106295528A (zh) 一种基于多部件空间位置关系gmm建模的车辆检测方法
CN109693140A (zh) 一种智能化柔性生产线及其工作方法
CN109886931A (zh) 基于bp神经网络的轮速传感器齿圈表面缺陷检测方法
CN115049640A (zh) 一种基于深度学习的道路裂缝检测方法
CN115201206A (zh) 基于机器视觉的电动车车把缺陷检测方法
CN114820626A (zh) 一种汽车前脸零件配置智能检测方法
CN103198472A (zh) 一种重型汽车连杆成品质量检测方法及其检测系统
Okran et al. Effective deep learning-based ensemble model for road crack detection
CN113970560A (zh) 一种基于多传感融合的缺陷三维检测方法
CN111539951B (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
CN105973903B (zh) 一种口服液瓶盖检测方法
CN115908304A (zh) 汽车轮胎胎面花纹缺陷检测系统和方法
CN108876802B (zh) 对车轮的荧光磁粉缺陷进行自动定位的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant