CN115294117A - Led灯珠的缺陷检测方法及相关装置 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种LED灯珠的缺陷检测方法及相关装置，用于提高LED灯珠的缺陷检测准确率。所述方法包括：对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果。

Description

LED灯珠的缺陷检测方法及相关装置

技术领域

本发明涉及人工智能领域，尤其涉及一种LED灯珠的缺陷检测方法及相关装置。

背景技术

LED，发光二极管，是一种固态半导体器件，它可以直接把电能转化为光能。LED广泛用于灯饰照明、LED大屏幕显示、交通灯、装饰、电脑、电子玩具礼品等诸多电子产品中。LED灯珠在生产中容易出现偏移、缺损及出现划痕、裂纹等。

目前对于LED灯珠缺陷的检测大多是通过人工经验来完成的，由于LED灯珠的体积较小，容易导致人工检测的准确率较低。

发明内容

本发明提供了一种LED灯珠的缺陷检测方法及相关装置，用于提高LED灯珠的缺陷检测准确率。

本发明第一方面提供了一种LED灯珠的缺陷检测方法，所述LED灯珠的缺陷检测方法包括：采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

可选的，在本发明第一方面的第一种实现方式中，所述采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集，包括：按照预设的多个角度，采集目标LED灯珠的检测图像，得到多个检测图像；分别对所述多个检测图像进行属性识别，得到每个检测图像对应的属性信息；对所述多个检测图像进行图像筛选，得到标准图像集；根据所述属性信息对所述标准图像集进行图像分类，得到外壳图像集和灯珠图像集。

可选的，在本发明第一方面的第二种实现方式中，所述对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像，包括：对所述外壳图像集进行三维特征点匹配，得到所述外壳图像集的特征点匹配信息；根据所述特征点匹配信息构建三维坐标系，并根据所述三维坐标系进行点云数据密集匹配，得到初始点云数据；对所述灯珠图像集进行图像校正，得到平面灯珠图像集；对所述平面灯珠图像集进行图像拼接和图像融合，得到所述灯珠图像集对应的目标融合图像。

可选的，在本发明第一方面的第三种实现方式中，所述对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型，包括：对所述初始点云数据进行偏差点检测，得到偏差点数据；对所述偏差点数据进行数据集增强，得到目标点云数据；通过预置的第一检测模型对所述目标点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据所述多个像素点输出值构建三维结构；对所述三维结构进行模型渲染，得到所述外壳图像集对应的三维外壳模型。

可选的，在本发明第一方面的第四种实现方式中，所述通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征，包括：将所述目标融合图像输入预置第二检测模型进行特征提取，得到多个第一特征图像；将所述多个第一特征图像输入预置特征还原网络进行特征还原，得到多个第二特征图像；分别对所述多个第二特征图像进行特征融合处理，得到灯珠融合特征。

可选的，在本发明第一方面的第五种实现方式中，所述对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果，包括：对所述三维外壳模型进行缺陷点位识别和缺陷类型识别，得到外壳缺陷检测结果；将所述灯珠融合特征输入预置的灯珠缺陷检测模型进行灯珠缺陷检测，得到灯珠缺陷检测结果，其中，所述灯珠缺陷检测模型包括：三层卷积网络、三层全连接网络、四层卷积网络和归一化层。

可选的，在本发明第一方面的第六种实现方式中，所述对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果，包括：根据所述外壳缺陷检测结果生成第一评价指标，以及根据所述灯珠缺陷检测结果生成第二评价指标；对所述第一评价指标和所述第二评价指标进行评价指标映射，生成所述目标LED灯珠对应的目标检测结果。

本发明第二方面提供了一种LED灯珠的缺陷检测装置，所述LED灯珠的缺陷检测装置包括：采集模块，用于采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；提取模块，用于对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；增强模块，用于对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；处理模块，用于通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；检测模块，用于对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；输出模块，用于对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

可选的，在本发明第二方面的第一种实现方式中，所述采集模块具体用于：按照预设的多个角度，采集目标LED灯珠的检测图像，得到多个检测图像；分别对所述多个检测图像进行属性识别，得到每个检测图像对应的属性信息；对所述多个检测图像进行图像筛选，得到标准图像集；根据所述属性信息对所述标准图像集进行图像分类，得到外壳图像集和灯珠图像集。

可选的，在本发明第二方面的第二种实现方式中，所述提取模块具体用于：对所述外壳图像集进行三维特征点匹配，得到所述外壳图像集的特征点匹配信息；根据所述特征点匹配信息构建三维坐标系，并根据所述三维坐标系进行点云数据密集匹配，得到初始点云数据；对所述灯珠图像集进行图像校正，得到平面灯珠图像集；对所述平面灯珠图像集进行图像拼接和图像融合，得到所述灯珠图像集对应的目标融合图像。

可选的，在本发明第二方面的第三种实现方式中，所述增强模块具体用于：对所述初始点云数据进行偏差点检测，得到偏差点数据；对所述偏差点数据进行数据集增强，得到目标点云数据；通过预置的第一检测模型对所述目标点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据所述多个像素点输出值构建三维结构；对所述三维结构进行模型渲染，得到所述外壳图像集对应的三维外壳模型。

可选的，在本发明第二方面的第四种实现方式中，所述处理模块具体用于：将所述目标融合图像输入预置第二检测模型进行特征提取，得到多个第一特征图像；将所述多个第一特征图像输入预置特征还原网络进行特征还原，得到多个第二特征图像；分别对所述多个第二特征图像进行特征融合处理，得到灯珠融合特征。

可选的，在本发明第二方面的第五种实现方式中，所述检测模块还包括：识别单元，用于对所述三维外壳模型进行缺陷点位识别和缺陷类型识别，得到外壳缺陷检测结果；分析单元，用于将所述灯珠融合特征输入预置的灯珠缺陷检测模型进行灯珠缺陷检测，得到灯珠缺陷检测结果，其中，所述灯珠缺陷检测模型包括：三层卷积网络、三层全连接网络、四层卷积网络和归一化层。

可选的，在本发明第二方面的第六种实现方式中，所述输出模块具体用于：根据所述外壳缺陷检测结果生成第一评价指标，以及根据所述灯珠缺陷检测结果生成第二评价指标；对所述第一评价指标和所述第二评价指标进行评价指标映射，生成所述目标LED灯珠对应的目标检测结果。

本发明第三方面提供了一种LED灯珠的缺陷检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述LED灯珠的缺陷检测设备执行上述的LED灯珠的缺陷检测方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的LED灯珠的缺陷检测方法。

本发明提供的技术方案中，对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果，本发明通过对LED灯珠区域和保护壳区域进行分类检测，并以此进行神经网络训练得到缺陷检测模型，以及通过缺陷检测模型检测目标LED灯珠中是否存在LED灯珠缺陷，进而提高了检测效率较高，人工成本较低，且检测准确率较高。

附图说明

图1为本发明实施例中LED灯珠的缺陷检测方法的一个实施例示意图；

图2为本发明实施例中LED灯珠的缺陷检测方法的另一个实施例示意图；

图3为本发明实施例中LED灯珠的缺陷检测装置的一个实施例示意图；

图4为本发明实施例中LED灯珠的缺陷检测装置的另一个实施例示意图；

图5为本发明实施例中LED灯珠的缺陷检测设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种LED灯珠的缺陷检测方法及相关装置，用于提高LED灯珠的缺陷检测准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中LED灯珠的缺陷检测方法的一个实施例包括：

101、采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

可以理解的是，本发明的执行主体可以为LED灯珠的缺陷检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，在本发明实施例中，服务器是通过预置的图像采集装置进行图像采集的，需要说明的是，图像采集装置是由图像采集组件和图像分析处理组件组成，图像采集组件包括光源、一个或多个光学镜头、一个或多个图像传送装置和成像装置，当采集到多个角度的检测图像后，服务器对多个检测图像进行图像筛选，具体的，服务器将多个检测图像传输到深度学习分类网络中进行分类，保存分类结果和分类特征；同时将多个检测图像传输到深度学习检测网络中进行检测，保存检测结果和检测特征，将分类结果和检测结果进行阈值判别，筛选出相同目标类别，将分类特征和检测特征进行特征比对，筛选出相同目标类别，得到外壳图像集和灯珠图像集。

102、对外壳图像集进行三维空间数据提取，得到外壳图像集对应的初始点云数据，并对灯珠图像集进行图像数据融合，得到灯珠图像集对应的目标融合图像；

具体的，获取外壳图像的点云数据及图像数据，将外壳图像集按照排列信息进行抽稀处理形成图片数据集合，利用训练好的目标检测深度学习模型对图片数据集合提取外壳图像的位置信息和属性信息，通过训练好的形状检测深度学习模型检测出外壳图像的形状属性，将外壳图像的形状属性通过排列信息关联到点云数据中，并通过形状属性将点云数据分类保存为点云数据集，将点云数据集中三维的点云数据转化为二维的点云图片，利用训练好的语义分割深度学习模型对点云图片的轮廓信息进行预测并保存，得到灯珠图像集对应的目标融合图像。

103、对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对目标点云数据进行三维重建，得到外壳图像集对应的三维外壳模型；

具体的，获取待增强偏差点以及模板点云数据，待增强偏差点以及模板点云数据具有相同或相似的数据分布，使用模板点云数据对待增强偏差点进行预设颜色通道叠加，将经过预设颜色通道叠加得到的点云数据，确定为生成的目标点云数据，本申请实施例由于待增强偏差点和模板点云数据具有相同或者相似的数据分布，因此在使用模板点云数据对待增强偏差点进行变换的时候，变换过程会引入待增强偏差点和模板点云数据相同或者相似的特征，从而获得的增强点云数据，减少待增强偏差点的原有特征丢失，并通过预置的第一检测模型对目标点云数据进行三维重建，得到外壳图像集对应的三维外壳模型，进一步提升数据处理的效率。

104、通过预置第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；

具体的，提取目标融合图像的有效区域图像及像素点颜色值数据并进行色块分割，获取有效区域图像的图像数据，对有效区域图像进行多等份细分，获得有效区域图像的细分区域，对细分区域进行连通域确认、线段识别和线长计量，以获取细分区域的图像特征数据，对细分区域的图像特征数据进行统计、组合处理，得到灯珠融合特征，可以提高图像识别检索中相同或近似图像的匹配效果。

105、对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；

具体的，获取待检测外壳和与其同型号的全新外壳在相同背景色下的外观图片，对图片进行灰度化处理，对图片进行调整，进行求差运算，得到待检测外壳外观缺陷图，对待检测外壳外观缺陷图进行二值化处理，得到待检测外壳外观缺陷二值化图，通过图像检测，得到同型号的全新外壳外观图片中外壳的像素总数和待检测外壳外观缺陷二值化图中缺陷的像素总数，根据两像素总数的比例关系，判断待检测外壳的质量等级，并根据灯珠融合特征生成灯珠缺陷检测结果，本发明方法可量化缺陷，处理简单，程序计算量小，而且精度高。

106、对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标LED灯珠对应的目标检测结果。

具体的，建立检测结果的评价指标体系，针对检测结果的评价指标体系的对象包括：缺陷分析、外观分析和质量分析，确定评价因素集和评语集，采用层次分析法确定各评价因素的权重，确定各评价因素的隶属度，构建模糊评价矩阵，进行检测结果综合评价，得到目标LED灯珠对应的目标检测结果，本发明实施例减少了主观性的影响，并且大大缩短了整个检测结果的评价工作时间，提高了工作效率。

本发明实施例中，对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果，本发明通过对LED灯珠区域和保护壳区域进行分类检测，并以此进行神经网络训练得到缺陷检测模型，以及通过缺陷检测模型检测目标LED灯珠中是否存在LED灯珠缺陷，进而提高了检测效率较高，人工成本较低，且检测准确率较高。

请参阅图2，本发明实施例中LED灯珠的缺陷检测方法的另一个实施例包括：

201、采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

具体的，按照预设的多个角度，采集目标LED灯珠的检测图像，得到多个检测图像；分别对多个检测图像进行属性识别，得到每个检测图像对应的属性信息；对多个检测图像进行图像筛选，得到标准图像集；根据属性信息对标准图像集进行图像分类，得到外壳图像集和灯珠图像集。

其中，服务器首先获取作为LED灯珠中具有标准形态的标准对象物的图像作为本征目标基础，用于进行中间目标识别，输入对象物的已知知识，将该知识登录在知识库中，根据从标准对象物的本征目标基础和已登录在知识库中的已知知识，生成记述了图像中该对象物的各种属性及其意义的含拓扑关系基础的注释数据，根据注释数据，描述LED灯珠的属性和状态，推理图像的主题/场景，然后分别对多个检测图像进行属性识别，得到每个检测图像对应的属性信息，对多个检测图像进行图像筛选，得到标准图像集，根据属性信息对标准图像集进行图像分类，得到外壳图像集和灯珠图像集，可以全面快速的图像识别。

202、对外壳图像集进行三维空间数据提取，得到外壳图像集对应的初始点云数据，并对灯珠图像集进行图像数据融合，得到灯珠图像集对应的目标融合图像；

具体的，对外壳图像集进行三维特征点匹配，得到外壳图像集的特征点匹配信息；根据特征点匹配信息构建三维坐标系，并根据三维坐标系进行点云数据密集匹配，得到初始点云数据；对灯珠图像集进行图像校正，得到平面灯珠图像集；对平面灯珠图像集进行图像拼接和图像融合，得到灯珠图像集对应的目标融合图像。

其中，服务器对外壳图像集进行特征点匹配，获得多个特征点对，根据预先设置的斜率阈值和距离阈值对特征点对进行过滤，服务器对特征点对集合中的特征点对进行误匹配剔除，计算更新后的特征点对集合中的特征点对内的平均距离、距离标准差、平均斜率和斜率标准差并共同作为过滤标准，根据过滤标准对更新后的特征点对集合再次进行过滤，将再次过滤后的特征点对集合中的特征点对作为外壳图像集的特征点匹配结果，根据特征点匹配信息构建三维坐标系，并根据三维坐标系进行点云数据密集匹配，得到初始点云数据，对灯珠图像集进行图像校正，得到平面灯珠图像集，对平面灯珠图像集进行图像拼接和图像融合，得到灯珠图像集对应的目标融合图像本发明实施例不仅可以提高算法的运算效率，得到的特征点对精度也更高。

203、对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对目标点云数据进行三维重建，得到外壳图像集对应的三维外壳模型；

具体的，对初始点云数据进行偏差点检测，得到偏差点数据；对偏差点数据进行数据集增强，得到目标点云数据；通过预置的第一检测模型对目标点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据多个像素点输出值构建三维结构；对三维结构进行模型渲染，得到外壳图像集对应的三维外壳模型。

其中，获取LED灯珠，根据预先训练的深度估计模型，确定LED灯珠中的边界点集，将LED灯珠中的关键点集对应的图像域和边界点集对应的图像域对齐，确定偏差点集，响应于偏差点集的偏差满足预设偏差阈值和/或偏差点集的方差满足预设方差阈值，确定LED灯珠为异常图像，对偏差点数据进行数据集增强，得到目标点云数据，通过预置的第一检测模型对目标点云数据进行多角度二维卷积运算，得到多个像素点输出值，根据多个像素点输出值构建三维结构；对三维结构进行模型渲染，得到外壳图像集对应的三维外壳模型。

204、通过预置第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；

具体的，将目标融合图像输入预置第二检测模型进行特征提取，得到多个第一特征图像；将多个第一特征图像输入预置特征还原网络进行特征还原，得到多个第二特征图像；分别对多个第二特征图像进行特征融合处理，得到灯珠融合特征。

其中，目标融合图像划分为多个区域，从多个区域中确定至少一个待替换区域和目标区域，并将待替换区域的图像替换为目标区域的图像，以得到多个替换图像，其中，目标区域与待替换区域的区域属性不同，区域属性由该区域所包含感兴趣图像的比例确定，利用编码器模型对替换图像进行特征提取，并利用解码器模型根据特征提取的结果进行图像还原，得到还原图像，根据还原图像与原目标融合图像之间的差异，确定第一差异，以缩小第一差异为目标，分别对多个第二特征图像进行特征融合处理，得到灯珠融合特征。

205、对三维外壳模型进行缺陷点位识别和缺陷类型识别，得到外壳缺陷检测结果；

206、将灯珠融合特征输入预置的灯珠缺陷检测模型进行灯珠缺陷检测，得到灯珠缺陷检测结果，其中，灯珠缺陷检测模型包括：三层卷积网络、三层全连接网络、四层卷积网络和归一化层；

具体的，根据灯珠融合特征、灯珠信息和灯珠的关键部位点信息，确定LED灯珠的检测点位图，利用LED灯珠根据检测路径进行检测，实时地获取检测范围内每个灯珠的灯珠融合特征，并对灯珠融合特征进行图像识别分析，以获取检测任务中的每个灯珠的缺陷类型信息，利用固定的视频摄像灯珠获取采集监测范围内的灯珠的灯珠缺陷检测结果，并对灯珠缺陷检测结果进行图像判别分析，以确定监测范围内每个灯珠的状态信息，根据状态信息确定存在缺陷的灯珠，并根据存在缺陷的灯珠的缺陷类型信息和状态信息，确定存在缺陷的灯珠的最终缺陷类型信息。

207、对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标LED灯珠对应的目标检测结果。

具体的，根据外壳缺陷检测结果生成第一评价指标，以及根据灯珠缺陷检测结果生成第二评价指标；对第一评价指标和第二评价指标进行评价指标映射，生成目标LED灯珠对应的目标检测结果。

其中，获取待评价灯珠在不同时刻的多个运行评价指标数据，基于获取的运行评价指标数据，构建时序立体数据映射空间，计算时序立体数据映射空间中每个运行评价指标数据对应的指标权重值，并计算综合评价函数，根据各子系统的综合评价函数，计算不同时刻各系统的状态评判结果，综合灯珠的状态评判结果得到不同时刻系统的运行状态评价结果，生成目标LED灯珠对应的目标检测结果，本发明能够实现灯珠的动态递阶综合评价，具有实现方法简单、评估准确性以及评估效率高、安全可靠等优点。

本发明实施例中，对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果，本发明通过对LED灯珠区域和保护壳区域进行分类检测，并以此进行神经网络训练得到缺陷检测模型，以及通过缺陷检测模型检测目标LED灯珠中是否存在LED灯珠缺陷，进而提高了检测效率较高，人工成本较低，且检测准确率较高。

上面对本发明实施例中LED灯珠的缺陷检测方法进行了描述，下面对本发明实施例中LED灯珠的缺陷检测装置进行描述，请参阅图3，本发明实施例中LED灯珠的缺陷检测装置一个实施例包括：

采集模块301，用于采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

提取模块302，用于对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；

增强模块303，用于对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；

处理模块304，用于通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；

检测模块305，用于对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；

输出模块306，用于对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

本发明实施例中，对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果，本发明通过对LED灯珠区域和保护壳区域进行分类检测，并以此进行神经网络训练得到缺陷检测模型，以及通过缺陷检测模型检测目标LED灯珠中是否存在LED灯珠缺陷，进而提高了检测效率较高，人工成本较低，且检测准确率较高。

请参阅图4，本发明实施例中LED灯珠的缺陷检测装置另一个实施例包括：

采集模块301，用于采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

提取模块302，用于对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；

增强模块303，用于对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；

处理模块304，用于通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；

检测模块305，用于对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；

输出模块306，用于对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

可选的，所述采集模块301具体用于：按照预设的多个角度，采集目标LED灯珠的检测图像，得到多个检测图像；分别对所述多个检测图像进行属性识别，得到每个检测图像对应的属性信息；对所述多个检测图像进行图像筛选，得到标准图像集；根据所述属性信息对所述标准图像集进行图像分类，得到外壳图像集和灯珠图像集。

可选的，所述提取模块302具体用于：对所述外壳图像集进行三维特征点匹配，得到所述外壳图像集的特征点匹配信息；根据所述特征点匹配信息构建三维坐标系，并根据所述三维坐标系进行点云数据密集匹配，得到初始点云数据；对所述灯珠图像集进行图像校正，得到平面灯珠图像集；对所述平面灯珠图像集进行图像拼接和图像融合，得到所述灯珠图像集对应的目标融合图像。

可选的，所述增强模块303具体用于：对所述初始点云数据进行偏差点检测，得到偏差点数据；对所述偏差点数据进行数据集增强，得到目标点云数据；通过预置的第一检测模型对所述目标点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据所述多个像素点输出值构建三维结构；对所述三维结构进行模型渲染，得到所述外壳图像集对应的三维外壳模型。

可选的，所述处理模块304具体用于：将所述目标融合图像输入预置第二检测模型进行特征提取，得到多个第一特征图像；将所述多个第一特征图像输入预置特征还原网络进行特征还原，得到多个第二特征图像；分别对所述多个第二特征图像进行特征融合处理，得到灯珠融合特征。

可选的，所述检测模块305还包括：

识别单元3051，用于对所述三维外壳模型进行缺陷点位识别和缺陷类型识别，得到外壳缺陷检测结果；

分析单元3052，用于将所述灯珠融合特征输入预置的灯珠缺陷检测模型进行灯珠缺陷检测，得到灯珠缺陷检测结果，其中，所述灯珠缺陷检测模型包括：三层卷积网络、三层全连接网络、四层卷积网络和归一化层。

可选的，所述输出模块306具体用于：根据所述外壳缺陷检测结果生成第一评价指标，以及根据所述灯珠缺陷检测结果生成第二评价指标；对所述第一评价指标和所述第二评价指标进行评价指标映射，生成所述目标LED灯珠对应的目标检测结果。

本发明实施例中，对外壳图像集进行三维空间数据提取，得到初始点云数据，并对灯珠图像集进行图像数据融合，得到目标融合图像；对初始点云数据进行偏差点数据增强，得到目标点云数据，并通过第一检测模型对目标点云数据进行三维重建，得到三维外壳模型；通过第二检测模型对目标融合图像进行特征提取，得到灯珠融合特征；对三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据灯珠融合特征生成灯珠缺陷检测结果；对外壳缺陷检测结果和灯珠缺陷检测结果进行检测结果综合评价，得到目标检测结果，本发明通过对LED灯珠区域和保护壳区域进行分类检测，并以此进行神经网络训练得到缺陷检测模型，以及通过缺陷检测模型检测目标LED灯珠中是否存在LED灯珠缺陷，进而提高了检测效率较高，人工成本较低，且检测准确率较高。

上面图3和图4从模块化功能实体的角度对本发明实施例中的LED灯珠的缺陷检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中LED灯珠的缺陷检测设备进行详细描述。

图5是本发明实施例提供的一种LED灯珠的缺陷检测设备的结构示意图，该LED灯珠的缺陷检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对LED灯珠的缺陷检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在LED灯珠的缺陷检测设备500上执行存储介质530中的一系列指令操作。

LED灯珠的缺陷检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的LED灯珠的缺陷检测设备结构并不构成对LED灯珠的缺陷检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种LED灯珠的缺陷检测设备，所述LED灯珠的缺陷检测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述LED灯珠的缺陷检测方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述LED灯珠的缺陷检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种LED灯珠的缺陷检测方法，其特征在于，所述LED灯珠的缺陷检测方法包括：

采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；

对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；

通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；

对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；

对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

2.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集，包括：

按照预设的多个角度，采集目标LED灯珠的检测图像，得到多个检测图像；

分别对所述多个检测图像进行属性识别，得到每个检测图像对应的属性信息；

对所述多个检测图像进行图像筛选，得到标准图像集；

根据所述属性信息对所述标准图像集进行图像分类，得到外壳图像集和灯珠图像集。

3.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像，包括：

对所述外壳图像集进行三维特征点匹配，得到所述外壳图像集的特征点匹配信息；

根据所述特征点匹配信息构建三维坐标系，并根据所述三维坐标系进行点云数据密集匹配，得到初始点云数据；

对所述灯珠图像集进行图像校正，得到平面灯珠图像集；

对所述平面灯珠图像集进行图像拼接和图像融合，得到所述灯珠图像集对应的目标融合图像。

4.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型，包括：

对所述初始点云数据进行偏差点检测，得到偏差点数据；

对所述偏差点数据进行数据集增强，得到目标点云数据；

通过预置的第一检测模型对所述目标点云数据进行多角度二维卷积运算，得到多个像素点输出值；

根据所述多个像素点输出值构建三维结构；

对所述三维结构进行模型渲染，得到所述外壳图像集对应的三维外壳模型。

5.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征，包括：

将所述目标融合图像输入预置第二检测模型进行特征提取，得到多个第一特征图像；

将所述多个第一特征图像输入预置特征还原网络进行特征还原，得到多个第二特征图像；

分别对所述多个第二特征图像进行特征融合处理，得到灯珠融合特征。

6.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果，包括：

对所述三维外壳模型进行缺陷点位识别和缺陷类型识别，得到外壳缺陷检测结果；

将所述灯珠融合特征输入预置的灯珠缺陷检测模型进行灯珠缺陷检测，得到灯珠缺陷检测结果，其中，所述灯珠缺陷检测模型包括：三层卷积网络、三层全连接网络、四层卷积网络和归一化层。

7.根据权利要求1所述的LED灯珠的缺陷检测方法，其特征在于，所述对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果，包括：

根据所述外壳缺陷检测结果生成第一评价指标，以及根据所述灯珠缺陷检测结果生成第二评价指标；

对所述第一评价指标和所述第二评价指标进行评价指标映射，生成所述目标LED灯珠对应的目标检测结果。

8.一种LED灯珠的缺陷检测装置，其特征在于，所述LED灯珠的缺陷检测装置包括：

采集模块，用于采集目标LED灯珠多个角度的检测图像，并对多个检测图像进行图像筛选和图像分类，得到外壳图像集和灯珠图像集；

提取模块，用于对所述外壳图像集进行三维空间数据提取，得到所述外壳图像集对应的初始点云数据，并对所述灯珠图像集进行图像数据融合，得到所述灯珠图像集对应的目标融合图像；

增强模块，用于对所述初始点云数据进行偏差点数据增强，得到目标点云数据，并通过预置的第一检测模型对所述目标点云数据进行三维重建，得到所述外壳图像集对应的三维外壳模型；

处理模块，用于通过预置第二检测模型对所述目标融合图像进行特征提取，得到灯珠融合特征；

检测模块，用于对所述三维外壳模型进行缺陷检测，生成外壳缺陷检测结果，并根据所述灯珠融合特征生成灯珠缺陷检测结果；

输出模块，用于对所述外壳缺陷检测结果和所述灯珠缺陷检测结果进行检测结果综合评价，得到所述目标LED灯珠对应的目标检测结果。

9.一种LED灯珠的缺陷检测设备，其特征在于，所述LED灯珠的缺陷检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述LED灯珠的缺陷检测设备执行如权利要求1-7中任一项所述的LED灯珠的缺陷检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的LED灯珠的缺陷检测方法。

Images