CN115861156A - 缺陷检测方法、装置、计算机设备和存储介质 - Google Patents
缺陷检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115861156A CN115861156A CN202111123830.XA CN202111123830A CN115861156A CN 115861156 A CN115861156 A CN 115861156A CN 202111123830 A CN202111123830 A CN 202111123830A CN 115861156 A CN115861156 A CN 115861156A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- target object
- light source
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种缺陷检测方法、装置、计算机设备和存储介质。所述方法包括：获取在单一光源下对目标对象进行拍摄所得到的彩色图像；获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。采用本方法能够提高缺陷检测的准确性和全面性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种缺陷检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，出现了基于机器视觉技术的表面缺陷检测技术。通过表面缺陷检测技术能够对各种生产产品的表面进行缺陷检测，以识别产品表面的瑕疵和缺陷，有效提高了生产产品的质量。
传统的缺陷检测技术，通常是对生产产品拍摄RGB图像，通过对RGB图像的分析和处理，检测出产品存在的缺陷。然而，产品的缺陷类型众多，单纯通过RGB图像进行缺陷检测，无法适应不同的缺陷类型，容易导致漏检。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高准确性和全面性的缺陷检测方法、装置、计算机设备和存储介质。
一种缺陷检测方法，所述方法包括：
获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
一种缺陷检测装置，所述装置包括：
第一获取模块，用于获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
第二获取模块，用于获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
生成模块，用于基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
检测模块，用于根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
在一个实施例中，所述装置还包括标定模块；所述标定模块，用于获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张所述标定图像中所述高亮区域的高亮位置和所述球体的球心位置，并根据预设反射方向、所述球心位置和所述高亮位置，确定各所述标定图像中球体表面的法向量；基于各所述法向量和所述预设反射方向，确定各所述标定光源分别对应的方向。
在一个实施例中，所述标定模块，还用于确定每张所述标定图像的所述高亮区域中关键点的位置；根据每个所述高亮区域中关键点的位置，分别确定每个所述高亮区域对应的高亮位置。
在一个实施例中，所述生成模块，还用于将所述多张光源图像进行像素点匹配处理，得到所述多张光源图像中相匹配的目标像素点；根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息；基于每个所述目标像素点对应的反射信息，生成材质图像；根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像。
在一个实施例中，所述材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，所述生成模块，还用于确定所述目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；根据各所述标定光源的方向向量和所述目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息；基于每个所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
在一个实施例中，所述生成模块，还用于根据所述反射信息、各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的法向量；基于每个所述目标像素点对应的法向量，生成表面几何图像。
在一个实施例中，所述检测模块，还用于对所述彩色图像、所述材质图像和所述表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征；将所述彩色特征、所述材质特征和所述几何特征进行融合，得到融合特征；基于所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
在一个实施例中，所述检测模块，还用于从所述融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到所述局部特征对应的局部检测结果；返回从所述融合特征中提取待检测的局部特征的步骤并继续执行，直至所述融合特征中不存在未进行缺陷检测的局部特征时停止，获得每个所述局部特征分别对应的局部检测结果；基于各所述局部检测结果，生成所述目标对象的缺陷检测结果；所述缺陷检测结果包括所述目标对象中存在缺陷的缺陷类别、缺陷位置和缺陷面积中的至少一种。
在一个实施例中，所述检测模块，还用于基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到所述局部特征对应的局部检测结果；所述局部检测结果包括所述局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。
在一个实施例中，所述检测模块，还用于基于各所述局部特征对应的缺陷掩膜图，生成包含所述目标对象的对象掩膜图；根据所述对象掩膜图、各所述局部特征对应的缺陷类别和缺陷包围框，得到所述目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
在一个实施例中，所述目标对象为金属注射成形器件；所述多光源图像包括在至少三个不同方向的标定光源下分别对所述金属注射成形器件进行拍摄所得到的至少三张光源图像；所述缺陷检测结果中的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
上述缺陷检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过获取在单一光源下对目标对象进行拍摄所得到的彩色图像，获取与目标对象对应的多光源图像，该多光源图像包括在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像，基于多光源图像能够准确生成用于表征目标对象的材质信息的材质图像，以及生成用于表征目标对象表面的深度信息的表面几何图像。通过彩色图像和材质图像能够更好地刻画无深度信息的缺陷，表面几何图像能够更好地刻画缺陷的深度信息。根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，能够实现无深度信息的缺陷检测和有深度信息的缺陷检测上的互补，从而更准确、更全面地检测出目标对象存在的缺陷，减少缺陷的漏检率，有效提高缺陷检测的准确性和全面性。
附图说明
图1为一个实施例中缺陷检测方法的应用环境图；
图2为一个实施例中缺陷检测方法的流程示意图；
图3为一个实施例中基于多光源图像生成材质图像和表面几何图像的示意图；
图4为一个实施例中不同的标定光源下的球体表面示意图；
图5为一个实施例中标定光源的入射方向、法向量和反射方向之间的示意图；
图6为一个实施例中基于多光源图像生成材质图像和表面几何图像的流程示意图；
图7为一个实施例中根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的反射信息的示意图；
图8为一个实施例中彩色图像和表面几何图像的对比示意图；
图9为一个实施例中基于融合特征对目标对象进行缺陷检测，得到目标对象的缺陷检测结果的示意图；
图10为一个实施例中缺陷检测模型的架构图；
图11为一个实施例中缺陷检测装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请涉及人工智能(Artificial Intelligence，AI)技术领域，其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例提供的方案涉及人工智能的缺陷检测方法，具体通过如下各实施例进行说明。
本申请提供的缺陷检测方法，可以应用于如图1所示的缺陷检测系统。如图1所示，该缺陷检测系统包括终端110和服务器120。在一个实施例中，终端110和服务器120均可单独执行本申请实施例中提供的缺陷检测方法。终端110和服务器120也可协同用于执行本申请实施例中提供的缺陷检测方法。当终端110和服务器120协同用于执行本申请实施例中提供的缺陷检测方法时，终端110可在单一光源下对目标对象进行拍摄，得到彩色图像，并在不同方向的标定光源下分别对目标对象进行拍摄，得到多张光源图像。终端110将彩色图像和多光源图像发送至服务器120，服务器120基于基于多光源图像生成材质图像和表面几何图像；该材质图像表征目标对象的材质信息，该表面几何图像表征目标对象表面的深度信息。服务器120根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，得到目标对象的缺陷检测结果。服务器120将目标对象的缺陷检测结果返回至终端110。
其中，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，多个服务器可组成区块链，而服务器作为区块链上的节点。
在一个实施例中，与该缺陷检测方法相关的数据可保存于区块链上，例如在一个实施例中，如图2所示，提供了一种缺陷检测方法，以该方法应用于图1中的计算机设备(该计算机设备具体可以是图1中的终端或服务器)为例进行说明，包括以下步骤：
步骤S202，获取在单一光源下对目标对象进行拍摄所得到的彩色图像。
其中，目标对象是指需要进行缺陷检测的对象，具体可以是金属器件、玻璃、陶瓷、塑料等，但不限于此。彩色图像即RGB图像，是指每个像素由R(Red)、G(Green)、B(Blue)分量构成的图像，其中R、G、B是由不同的灰度级来描述的。
具体地，计算机设备获取在单一光源下对目标对象进行拍摄所得到的彩色图像。
在一个实施例中，计算机设备可以是终端，终端可在单一光源下通过摄像头对需要进行缺陷检测的目标对象进行拍摄，得到彩色图像。或者，终端可通过其他拍摄设备在单一光源下对目标对象进行拍摄，得到彩色图像。
在一个实施例中，计算机设备可以是服务器，则可通过终端或其他拍摄设备在单一光源下对目标对象进行拍摄，得到彩色图像，再将该彩色图像上传至服务器。
步骤S204，获取与目标对象对应的多光源图像，该多光源图像包括在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像。
具体地，计算机设备可获取在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像，将该多张光源图像作为多光源图像。
在一个实施例中，计算机设备可以是终端，终端可在不同方向的标定光源下通过摄像头分别对目标对象进行拍摄，得到每个方向下分别对应的光源图像。或者，终端可通过其他拍摄设备不同方向的标定光源下对目标对象进行拍摄，得到每个方向下分别对应的光源图像。
在一个实施例中，计算机设备可以是服务器，则可通过终端或其他拍摄设备在不同方向的标定光源下分别对目标对象进行拍摄，得到每个方向下分别对应的光源图像，再将多张光源图像作为多光源图像上传至服务器。
步骤S206，基于多光源图像生成材质图像和表面几何图像；该材质图像表征目标对象的材质信息，该表面几何图像表征目标对象表面的深度信息。
其中，材质图像即反射率图像，用于表征目标对象表面的材质信息，即表征目标对象表面对标定光源的反射信息。表面几何图像是指目标对象表面的法向量图，通过目标物体表面的法向量可以表征目标对象表面的深度信息。
具体地，计算机设备基于多光源图像计算出目标物体表面对标定光源的反射信息，以基于反射信息生成材质图像。计算机设备通过材质图像生成用于表征目标对象表面的深度信息的表面几何图像。
在一个实施例中，计算机设备可通过材质图像确定出目标对象表面的法向量，基于法向量生成表面几何图像。
如图3所示，为一个实施例中基于多光源图像生成材质图像和表面几何图像的示意图。通过扇区光源能够发射不同方向的标定光源，将扇区光源发射的标定光源照射到目标对象表面，并通过相机对目标对象表面进行多光源成像，得到每个方向所对应的光源图像。基于多光源图像进行光度数据合成，得到表征目标对象的漫反射率的材质图像，以及表征目标对象表面的深度信息的表面几何图像。
步骤S208，根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，得到目标对象的缺陷检测结果。
其中，缺陷检测结果包括目标对象中所存在的缺陷对应的缺陷类别、缺陷位置和缺陷面积中的至少一种。
具体地，计算机设备可提取彩色图像、材质图像和表面几何图像的特征，根据所提取的特征对目标对象进行缺陷检测，以确定目标对象中存在的缺陷，以及所存在的每个缺陷对应的缺陷类别、缺陷位置和缺陷面积中的至少一种。
在一个实施例中，当目标对象为工业器件时，缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。裂纹是指材料在应力和环境中的至少一种作用下产生的裂隙。压伤是指工业器件在加工中，由于外力作用所导致的表面产生凹陷的现象。粘料是指工业器件表面粘连了多余的材料，导致工业器件表面存在凸起的现象。缺料是指在工业器件的加工中，由于型腔填充不满，导致工业器件外形残缺不完整的现象。亮印是指工业器件表面由于摩擦所导致的表面被刮花的现象。脏污是指工业器件表面沾染了其他污渍，例如沾染了其他材料、其他颜色等。
上述缺陷检测方法中，获取在单一光源下对目标对象进行拍摄所得到的彩色图像，获取与目标对象对应的多光源图像，该多光源图像包括在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像，基于多光源图像能够准确生成用于表征目标对象的材质信息的材质图像，以及生成用于表征目标对象表面的深度信息的表面几何图像。通过彩色图像和材质图像能够更好地刻画无深度信息的缺陷，表面几何图像能够更好地刻画缺陷的深度信息。根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，能够实现无深度信息的缺陷检测和有深度信息的缺陷检测上的互补，从而更准确、更全面地检测出目标对象存在的缺陷，减少缺陷的漏检率，有效提高缺陷检测的准确性和全面性。
在一个实施例中，不同方向的标定光源是通过标定步骤得到的；该标定步骤包括：
获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张标定图像中高亮区域的高亮位置和球体的球心位置，并根据预设反射方向、球心位置和高亮位置，确定各标定图像中球体表面的法向量；基于各法向量和预设反射方向，确定各标定光源分别对应的方向。
具体地，计算机设备需要对标定光源的方向进行标定，以确定各标定光源分别对应的方向。计算机设备可将表面光滑的球体放置在不同标定光源下成像，使得球体的表面出现高亮区域，通过高亮区域可以反应标定光源的方向。
使用不同标定光源分别对球体进行照射，并在每种标定光源的照射下分别对球体进行拍摄，得到各张包含高亮区域的标定图像。如图4所示，提供了四种不同的标定光源下球体表面所呈现的高亮区域。图4中最右侧图像表示球体在相应的标定图像中的位置掩码。
对于每张标定图像，计算机设备可确定标定图像中的球体的球心位置，并确定该标定图像中高亮区域的高亮位置。计算机设备可获取预设反射方向，该预设反射方向可通过预设反射向量表征，预设反射向量是观察者到目标对象的距离向量，例如预设反射向量可以为[0，0，1]。计算机设备根据预设反射方向、球心位置和高亮位置，可计算出该标定图像中球体表面的法向量。根据该法向量和预设反射向量，计算出该标定图像对应的标定光源的入射方向向量，该标定光源的入射方向向量即为标定光源的方向。
在一个实施例中，球心位置可以是球心在相应标定图像中的坐标，高亮位置可以是在相应标定图像中的坐标。
按照相同的处理方式对每张标定处理进行处理，可分别计算出每张标定图像对应的标定光源的入射方向向量，即可得到各标定光源的方向。
在一个实施例中，如图5所示，标定光源的方向为L，即入射方向L，球体表面法向量为M，以及预设反射方向为R，根据Phong Reflection光照模型，则标定光源的方向L、法向量M和预设反射方向R之间的关系如下：
R＝2(M·L)M-L (1)
其中，R取[0，0，1]，表示观察者到目标对象的距离向量。(Px,Py)是高亮区域的坐标，(Cx,Cy)是标定图像上球心的坐标，那么就有M的表达式：
通过公式(2)可计算出球体表面法向量M的坐标，再通过公式(1)可计算出标定光源的方向L对应的方向向量。
本实施例中，获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像，确定每张标定图像中高亮区域的高亮位置和球体的球心位置，并根据预设反射方向、球心位置和高亮位置，确定各标定图像中球体表面的法向量，基于各法向量和预设反射方向，确定各标定光源分别对应的方向，从而能够通过球体表面反射出的高亮区域准确标定出光源的方向，有效实现对光源方向的标定。
在一个实施例中，确定每张标定图像中高亮区域的高亮位置，包括：确定每张标定图像的高亮区域中关键点的位置；根据每个高亮区域中关键点的位置，分别确定每个高亮区域对应的高亮位置。
其中，关键点可以是高亮区域的边缘点和中心点中的至少一种。
具体地，计算机设备可确定标定图像中的高亮区域，并从高亮区域中提取关键点。计算机设备确定每个关键点对应的位置，基于每个关键点对应的位置计算平均位置，将平均位置作为该高亮区域对应的高亮位置。按照相同的处理方式，可计算出每个标定图像中高亮区域对应的高亮位置。
在一个实施例中，关键点的位置可以是关键点在对应的标定图像中的坐标，高亮区域对应的高亮位置可以是高亮区域对应的高亮坐标。
在一个实施例中，计算机设备可从高亮区域中提取边缘点，并确定每个边缘点的坐标。根据每个边缘点的坐标计算出平均坐标，将该平均坐标作为该高亮区域对应的高亮坐标。
在一个实施例中，计算机设备可确定高亮区域的中心点的坐标，将中心点的坐标作为该高亮区域对应的高亮坐标。
本实施例中，确定每张标定图像的高亮区域中关键点的位置，能够根据每个高亮区域中关键点的位置，准确地确定每个高亮区域对应的高亮位置。
在一个实施例中，如图6所示，基于多光源图像生成材质图像和表面几何图像，包括：
步骤S602，将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点。
具体地，计算机设备将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点。例如，将3张光源图像进行像素点匹配处理，得到这3张光源图像中相互匹配的目标像素点。
在一个实施例中，计算机设备可从其中一张光源图像中进行像素点提取，将所提取的像素点在其余光源图像中进行像素点匹配，得到相匹配的目标像素点。
步骤S604，根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的反射信息。
其中，反射信息是指目标对象表面对入射的标定光源产生反射时的相关所信息。进一步地，反射信息可以包括目标对象表面对入射的标定光源中的红色色光、绿色色光和蓝色色光产生反射时的相关信息。
具体地，计算机设备确定各目标像素点在对应的光源图像中的像素值，并获取各标点光源分别对应的方向向量。根据各标定光源的方向向量和各目标像素点在对应的光源图像中的像素值，计算目标像素点所对应的反射信息。
在一个实施例中，反射信息包括反射率，计算机设备可根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，计算每个目标像素点所对应的反射率。
步骤S606，基于每个目标像素点对应的反射信息，生成材质图像。
具体地，计算机设备根据每个目标像素点对应的反射信息，生成材质图像。
在一个实施例中，反射信息包括反射率，计算机设备计算出每个目标像素点对应的反射率后，基于各目标像素点的反射率生成材质图像。
可以理解的是，相匹配的目标像素点对应的反射率相同，例如，3个相匹配的目标像素点对应同一个反射率。
在一个实施例中，标定图像的像素值、像素点的反射率与标定光源的方向向量之间具有第一关联关系，则计算机设备可将各标定光源的方向向量构成矩阵，将相匹配的目标像素点在对应标定图像中的像素值构成向量，将所构成的矩阵、所构成的向量代入该第一关联关系，可计算出该相匹配的目标像素点对应的反射率。由此可计算出每个相匹配的目标像素点对应的反射率。
步骤S608，根据各标定光源的方向向量、目标像素点和反射信息，生成表面几何图像。
具体地，计算机设备根据每个目标像素点在对应标定图像中的像素值、各标定光源的方向向量，以及每个目标像素点对应的反射信息，生成表面几何图像。
本实施例中，将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点，根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，能够准确地计算出目标像素点对的标定光源的反射率。基于每个目标像素点对应的反射率，生成材质图像，使得通过材质图像能够准确地表征目标对象表面的特性。根据各标定光源的方向向量、目标像素点和反射信息，准确生成表面几何图像，使得能够通过表面几何图像体现目标对象表面的深度信息。
在一个实施例中，如图7所示，该材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的反射信息，包括步骤S702至步骤S704：
步骤S702，确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值。
具体地，计算机设备将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点。
目标像素点的像素值由在红色通道上的红色通道值、在绿色通道上的绿色通道值和在蓝色通道上的蓝色通道值构成。计算机设备确定每个目标像素点在对应的标定图像中的红色通道值、绿色通道值和蓝色通道值。
步骤S704，根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息。
具体地，反射信息可以包括目标对象表面对入射的标定光源中的红色色光、绿色色光和蓝色色光产生反射时的相关信息。
计算机设备获取各标点光源分别对应的方向向量，根据各标定光源的方向向量和各目标像素点在对应的光源图像中的红色通道值，计算目标像素点对应红色通道的反射信息。
计算机设备根据各标定光源的方向向量和各目标像素点在对应的光源图像中的绿色通道值，计算目标像素点对应绿色通道的反射信息。
计算机设备根据各标定光源的方向向量和各目标像素点在对应的光源图像中的蓝色通道值，计算目标像素点对应蓝色通道的反射信息。
在一个实施例中，反射信息包括反射率，计算机设备可根据各标定光源的方向向量和目标像素点在对应光源图像的像素值中的红色通道值，计算目标像素点对应红色通道的反射率。目标像素点对应红色通道的反射率表征该目标像素点对标定光源中红色色光的反射率。
计算机设备可根据各标定光源的方向向量和目标像素点在对应光源图像的像素值中的绿色通道值，计算目标像素点对应绿色通道的反射率。目标像素点对应绿色通道的反射率表征该目标像素点对标定光源中绿色色光的反射率。
计算机设备可根据各标定光源的方向向量和目标像素点在对应光源图像的像素值中的蓝色通道值，计算目标像素点对应蓝色通道的反射率。目标像素点对应蓝色通道的反射率表征该目标像素点对标定光源中蓝色色光的反射率。
基于每个目标像素点对应的反射信息，生成材质图像，包括步骤S706：
步骤S706，基于每个目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
具体地，计算机设备根据每个目标像素点对应红色通道的反射信息，生成红色通道材质图像。计算机设备根据每个目标像素点对应绿色通道的反射信息，生成绿色通道材质图像。计算机设备根据每个目标像素点对应蓝色通道的反射信息，生成蓝色通道材质图像。
在一个实施例中，计算机设备根据每个目标像素点对应红色通道的反射率，生成红色通道材质图像。计算机设备根据每个目标像素点对应绿色通道的反射率，生成绿色通道材质图像。计算机设备根据每个目标像素点对应蓝色通道的反射率，生成蓝色通道材质图像。
在一个实施例中，标定图像的像素值、像素点的反射率与标定光源的方向向量之间具有映射关系，则计算机设备可将各标定光源的方向向量构成矩阵，将相匹配的目标像素点在对应标定图像中的红色通道值构成通道向量，将所构成的矩阵、所构成的通道向量代入该映射关系，可计算出该相匹配的目标像素点对应红色通道的反射率。按照相同的处理方式，可计算出目标像素点对应绿色通道的反射率和对应蓝色通道的反射率。
本实施例中，确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值，根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，从而能够基于每个目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成对应的红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。通过对每个颜色通道都进行独立的反射率计算，能够分别计算出像素点在不同颜色通道上对标定光源的反射信息，使得能够从多方面体现目标对象表面的特性，提高后续缺陷检测的全面性。
在一个实施例中，根据各标定光源的方向向量、目标像素点和反射信息，生成表面几何图像，包括：根据反射信息、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的法向量；基于每个目标像素点对应的法向量，生成表面几何图像。
具体地，计算机设备根据每个目标像素点在对应标定图像中的像素值、各标定光源的方向向量，以及每个目标像素点对应的反射信息，计算出每个目标像素点分别对应的法向量。根据每个目标像素点对应的法向量，生成用于表征目标对象的深度信息的表面几何图像。
在一个实施例中，该标定图像的像素值、像素点的反射率与标定光源的方向向量，以及目标物体表面的法向量之间具有第二关联关系，则计算机设备可将各标定光源的方向向量构成矩阵，将相匹配的目标像素点在对应标定图像中的像素值构成向量，将所构成的矩阵、所构成的向量代入该第一关联关系，可计算出该相匹配的目标像素点对应的反射率。计算出该相匹配的目标像素点对应的反射率，可将所构成的矩阵、所构成的向量和该反射率代入该第二关联关系，可计算出该相匹配的目标像素点对应的法向量。由此可计算出每个相匹配的目标像素点对应的法向量。
本实施例中，根据反射信息、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，准确确定目标像素点所对应的法向量。基于每个目标像素点对应的法向量，能够生成用于表征目标对象的深度信息的表面几何图像，以在后续缺陷检测中提供相应的深度信息，提高缺陷检测准确性。
在一个实施例中，目标对象表面具有lambertian反射特性，即目标对象表面对入射光产生漫反射，并且在每个方向上反射的光强都是一致的，则标定图像的像素值、像素点的反射率与标定光源的方向向量，以及目标物体表面的法向量之间具有如下公式：
tij＝ρi(Ni·Lj)lj (3)
其中，tij表示标定光源j照射到目标对象表面的第i点形成的像素值，即tij表示像素点i在标定光源j对应的标定图像中的像素值。ρi为像素点i的反射率，Ni为目标对象表面的单位法向量，即像素点i的法向量。ρi和Ni代表了目标对象表面的特性，即ρi反应了目标对象的材质的信息，而Ni反映了目标对象表面几何信息。Lj为标定光源j的方向向量，该方向向量可以是单位向量。lj为标定光源j的光源强度。
假设Ni和Lj都是三维空间中的3×1的单位向量，光源的强度可以用常量1表示。像素值tij可以直接通过标定图像获得，标定光源的方向向量可以通过标定步骤确定。则可以在目标对象和相机都不动的情况下，用至少三个不共面的光线照射目标物体表面的第i点，从而将Ni和ρi求解出来。
例如，使用3个不同方向的标定光源，3个标定光源的方向向量构成的矩阵计为L＝[L1,L2,L3]T，在每个标定光源下拍摄得到一张标定图像，则可得到3张标定图像。像素点i在3张标定图像中的像素值构成向量ti，假设L-1存在，则上述公式(3)可转换为：
为了避免标定光源照射目标对象表面时产生阴影，导致3个光源无法同时照亮的区域出现无法求解出的问题，则可以采用更多的标定光源从不同方向分别照亮目标对象并成像来解决。例如，在一个实施例中，假设有n≥3个光源，那么则有：
L＝[L1,L2,L3,…,Ln]T,ti＝[ti1,ti2,ti3,…tin]T (5)
光源的强度可以用常量1表示，则公式(3)可变为：
tij＝ρiNiL (6)
所以有：
通过上述公式可计算出每个像素点i对应的ρi和Ni。通过每个像素点对应的ρi可生成材质图像，通过每个像素点对应的Ni可生成表面几何图像。所生成的表面几何图像如图8所示，图8中提供了目标对象的彩色图像和表面几何图像，可图中可明显看出，相对于彩色图像，表面几何图像能够明显地刻画出目标对象表面的深度信息。
在一个实施例中，根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，得到目标对象的缺陷检测结果，包括：
对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征；将彩色特征、材质特征和几何特征进行融合，得到融合特征；基于融合特征对目标对象进行缺陷检测，得到目标对象的缺陷检测结果。
具体地，计算机设备对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色图像对应的彩色特征、材质图像对应的材质特征和表面几何图像对应的几何特征。
在一个实施例中，计算机设备可获取彩色特征、材质特征和几何特征分别对应的权重，根据彩色特征、材质特征、几何特征和各自对应的权重，生成融合特征。进一步地，计算机设备可将彩色特征、材质特征、几何特征和各自对应的权重相乘，并将各乘积相加得到融合特征。
计算机设备可基于融合特征对目标对象进行缺陷检测，以检测出该目标对象中存在的缺陷，并生成对应的缺陷检测结果。
在一个实施例中，计算机设备可将彩色图像、材质图像和表面几何图像输入缺陷检测模型。通过缺陷检测模型分别对彩色图像、材质图像和表面几何图像进行深度特征提取，得到彩色图像对应的彩色特征、材质图像对应的材质特征和表面几何图像对应的几何特征。缺陷检测模型将彩色特征、材质特征、几何特征和各自对应的权重相乘，并将各乘积相加得到融合特征。缺陷模型基于该融合特征进行检测，输出该目标对象的缺陷检测结果。
在一个实施例中，可通过融合特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。根据目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积，生成目标对象的缺陷检测结果。
本实施例中，对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征，从而能够提取出图像中的深度特征。将彩色特征、材质特征和几何特征进行融合，得到融合特征，能够将三类图像的特征进行融合，使得融合特征中包含了目标对象的彩色信息、材质信息和深度信息等多方面的特征。基于多方面信息融合的特征对目标对象进行缺陷检测，使得能够在无深度信息的缺陷检测和有深度信息的缺陷检测上形成互补，能够有效避免缺陷的漏检、错检，提高缺陷检测的准确性。
在一个实施例中，如图9所示，基于融合特征对目标对象进行缺陷检测，得到目标对象的缺陷检测结果，包括：
步骤S902，从融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果。
具体地，计算机设备可从融合特征中提取待检测的局部特征，并对多提取的局部特征进行缺陷检测，得到该局部特征对应的局部检测结果。
在一个实施例中，计算机设备可通过缺陷检测模型从融合特征中提取待检测的局部特征，缺陷检测模型对局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到该局部特征对应的局部检测结果。
步骤S904，确定融合特征中是否存在未进行缺陷检测的局部特征，是则返回步骤S902并继续执行，否则执行步骤S906。
具体地，获取所提取的局部特征对应的局部检测结果之后，计算机设备继续从融合提取中提取下一个待检测的局部特征，并对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果，直至融合特征中不存在未进行缺陷检测的局部特征时停止，得到每个局部特征分别对应的局部检测结果。
步骤S906，基于各局部检测结果，生成目标对象的缺陷检测结果；该缺陷检测结果包括目标对象中存在缺陷的缺陷类别、缺陷位置和缺陷面积中的至少一种。
具体地，计算机设备基于每个局部特征区域对应的局部检测结果，确定目标对象存在的缺陷，以及存在缺陷对应的缺陷类别、缺陷位置和缺陷面积中的至少一种。根据目标对象存在的缺陷，以及存在缺陷对应的缺陷类别、缺陷位置和缺陷面积中的至少一种，生成目标对象的缺陷检测结果。
本实施例中，从融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果，从而能够基于局部特征对目标对象进行局部的缺陷检测，避免漏检的问题。返回从融合特征中提取待检测的局部特征的步骤并继续执行，直至融合特征中不存在未进行缺陷检测的局部特征时停止。通过对目标对象的局部缺陷检测，能够获得每个局部特征分别对应的局部检测结果，使得基于各局部检测结果，生成目标对象的完整的缺陷检测结果，提高缺陷检测的全面性。
在一个实施例中，对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果，包括：
基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到局部特征对应的局部检测结果；该局部检测结果包括局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。
具体地，计算机设备从融合特征中提取局部特征，对所提取的局部特征进行缺陷类别检测，得到该局部特征存在的缺陷对应的缺陷类别。计算机设备对所提取的局部特征进行缺陷位置检测，得到该局部特征对应的缺陷掩膜图。该局部特征对应的缺陷掩膜图能够体现缺陷在该局部特征中的缺陷位置。计算机设备对所提取的局部特征进行缺陷面积检测，在该局部特征区域中生成缺陷包围框。该缺陷包围框所包围的区域表征缺陷在该局部特征中所占的面积，即缺陷面积。计算机设备根据局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框，生成该局部特征对应的局部检测结果。
本实施例中，基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，能够基于相同的局部特征分别进行多分支的检测任务，能够提高检测效率，从而快速得到局部特征中的缺陷对应的缺陷类别、缺陷掩膜图和缺陷包围框，以准确获得局部特征对应的局部检测结果。
在一个实施例中，基于各局部检测结果，生成目标对象的缺陷检测结果，包括：
基于各局部特征对应的缺陷掩膜图，生成包含目标对象的对象掩膜图；根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，得到目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
具体地，各局部特征对应的局部检测结果中包括缺陷类别、缺陷掩膜图和缺陷包围框。计算机设备可获取每个局部特征对应的缺陷掩膜图，基于各局部特征对应的缺陷掩膜图，生成目标对象对应的对象掩膜图。该对象掩膜图像能够表征目标对象中存在的缺陷对应的缺陷位置。计算机设备将各局部特征对应的缺陷类别和缺陷包围框对应到对象掩膜图中，从而得到该目标对象中存在的缺陷，以及每个缺陷对应的缺陷类别、每个缺陷对应的缺陷包围框。通过缺陷包围框的坐标，计算出该缺陷包围框的面积，该面积即为缺陷面积。基于目标对象中存在的确定对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积，生成该目标对象的缺陷检测结果。
在一个实施例，对象掩膜图的尺寸与彩色图像、材质图像和表面几何图像的尺寸相同。
本实施例中，基于各局部特征对应的缺陷掩膜图，生成包含目标对象的对象掩膜图，能够基于局部掩膜图准确生成原图尺寸的掩膜图。根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，准确检测出目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
在一个实施例中，该目标对象为金属注射成形器件；多光源图像包括在至少三个不同方向的标定光源下分别对金属注射成形器件进行拍摄所得到的至少三张光源图像；该缺陷检测结果中的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。
具体地，工业上需要对生产的金属注射成形器件(Metal injection Molding，简称MIM件)进行缺陷检测，但MIM件的缺陷通常含有深度信息，单一光源的RGB数据很难捕捉深度特征，因此传统的大多数基于RGB数据的缺陷质检的方式容易导致缺陷漏检的问题。
本实施例中，通过标定步骤确定每个标定光源对应的方向向量。在对MIM件进行缺陷检测时，可通过扇区光源发射至少3个不同方向的标定光源照射到MIM件表面，通过相机分别对在不同方向的标定光源下的MIM件表面进行拍摄，得到对应的3张光源图像。通过相机在单一光源下对MIM件表面拍摄，得到对应的彩色图像。
计算机设备可将3张光源图像进行像素点匹配处理，得到3张光源图像中相匹配的目标像素点，将3个相匹配的目标像素点在各自的光源图像中的像素值构成向量。
将3个标定光源分别对应的方向向量构成矩阵，将所构成的向量和矩阵代入上述公式(7)，即ρi＝|(LTL)-1LTti|,
可分别计算出目标像素点对应的反射率和法向量。可以理解的是，3个相匹配的目标像素点对应同一反射率和同一法向量。
计算机设备基于每个目标像素点对应的反射率，生成MIM件对应的材质图像。该材质图像表征MIM件表面的反射信息。计算机设备基于基于每个目标像素点对应的法向量，生成表面几何图像，该表面几何图像表征MIM件表面的深度信息。
计算机设备对彩色图像、材质图像和表面几何图像分别进行特征提取，得到对应的彩色特征、材质特征和几何特征。将彩色特征、材质特征、几何特征和各自对应的权重进行加权融合，得到融合特征。从融合特征中提取待检测的局部特征，基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到局部特征对应的局部检测结果，局部检测结果包括局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。该MIM件的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。返回从融合特征中提取待检测的局部特征的步骤并继续执行，直至融合特征中不存在未进行缺陷检测的局部特征时停止，获得每个局部特征分别对应的局部检测结果。
计算机设备基于各局部特征对应的缺陷掩膜图，生成包含MIM件的对象掩膜图。计算机设备根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，得到MIM件所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。计算机设备将MIM件所存在的缺陷，及对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积，整合为MIM件对应的缺陷检测结果。
本实施例中，将缺陷检测方法应用于工业的金属注射成形器件上，通过多光源图像数据能够更好的刻画缺陷的深度信息。结合单一光源的RGB成像和多光源的光度立体数据，使得在金属注射成形器件的缺陷特征刻画上具有互补性，从而可以更高质量的地实现金属注射成形器件的缺陷质检。
如图10所示，为一个实施例中缺陷检测模型的架构图，包括以下多个阶段的处理：
(1)多源输入
缺陷检测模型的输入为单光源的RGB图像I，以及基于光度立体算法得到的材质图像A和表面几何图像N。通过RGB图像I和材质图像A可以很好地刻画无深度信息的缺陷，例如裂纹，亮印和脏污。表面几何图像N可以很好的刻画缺陷深度信息，例如压伤和缺料。因此RGB图像I、材质图像A和表面几何图像N在刻画缺陷特征具有互补性，可以增加MIM件的缺陷检出率。
(2)特征提取
MIM件中存在的缺陷普遍偏小，则通过高分辨率保持的HRNet作为基础网络，以提取图像特征，能够更好地保留图像的关键信息，并且在训练中能够提高效率。该HRNet中，RGB图像I、材质图像A和表面几何图像N可同时共享该网络，经过基础网络获得分别获得深度特征图FI、FN、FA。
(3)特征融合
在训练过程中，为了使RGB图像I、材质图像A和表面几何图像N这三类不同源的数据在特征层面相互补充，在训练中使得特征图FI、FN、FA都学习一个通道维度的权重向量，分别计为wI、wN、wA，以达到较好的缺陷检测和分割。权重参数wI、wN、wA基于训练数据学习获得。
通过F＝wIFI+wNFN+wAFA，即可获得融合特征F。
(4)多头预测
MIM件缺陷质检不仅要预测缺陷的类别，还要预测缺陷的位置，以及面积大小。通过预测头部解耦的方式，将三个任务解耦为3条独立的预测分支，分别完成缺陷类别检测，缺陷位置检测和缺陷面积检测，能够避免三个任务存在冲突。
在融合特征F上使用ROIAlign提取局部特征，然后将所提取的局部特征分别送入3个子预测分支，即分类分支、缺陷掩码分支和包围盒预测分支。分类分支主要由两个全连接层组成。包围盒预测分支主要由几个卷积层串联，最后采用全局平均池化来回归对应候选区域的位置坐标。缺陷掩码分支也由卷积层构成，其间使用两次blinenar上采样操作，分别将ROIAlign特征从7×7上采样到14×14，再从14×14上采样到28×28。缺陷掩码分支预测的Mask经过后处理，结合候选区域的位置坐标和图像尺寸进行尺寸还原及背景填充，得到原图尺寸的Mask。
在缺陷检测模型的训练过程中，可统计训练集包围盒的宽高比信息和面积信息，包围盒即缺陷包围框。对包围盒的宽高比做KMeans聚类，设置聚类中心数目为5，9，15。综合至少三次聚类结果的考虑，将锚点比例(anchor ratio)调整为：0.1，0.2，0.5，1.0，2.0，3.5，10，25。对包围盒的面积做KMeans聚类，将锚点大小(anchor size)与聚类结果综合考虑，最终设置anchor scale为2，4，8。
在一个实施例中，基于RGB图像和多源数据融合的部分缺陷质检结果对比，多源数据是指RGB图像、材质图像和表面几何图像，对比结果如下表所示：
| 方法对比 | mAP@50 | mAP@10 | 裂纹 | 压伤 | 缺料 | 沾料 |
| RGB图像 | 37.8 | 39.9 | 89.2 | 47.8 | 57.5 | 5.2 |
| 多源数据融合 | 40.1 | 42.6 | 90.08 | 50.9 | 60.8 | 10.6 |
各缺陷类别的平均精度(average precision，简称AP)均是在交并比(Intersection overUnion，简称IOU)IOU＝0.1时测得，mAP@50和mAP@10分别表示IOU取0.5和0.1时所有类别的平均AP。例如37.8指IOU取0.5时，裂纹、压伤、缺料和沾料的AP的均值。mAP(mean average precision)即各AP的均值。
从表中可以看到，基于RGB数据和多源数据融合的网络，在缺陷质检的各项指标上均有明显的提升，特别是对于压伤，缺料和沾料等具有深度信息的缺陷，但RGB数据很难准确捕捉这种信息从而导致漏检。使用RGB数据和多源数据融合的网络，可以很好利用数据捕捉缺陷特征的优势，达到很好的缺陷质检效果。
在一个实施例中，提供了一种缺陷检测方法，应用于计算机设备，包括：
获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张标定图像的高亮区域中关键点的位置；根据每个高亮区域中关键点的位置，分别确定每个高亮区域对应的高亮位置。
确定每张标定图像中球体的球心位置，并根据预设反射方向、球心位置和高亮位置，确定各标定图像中球体表面的法向量；基于各标定图像中球体表面的法向量和预设反射方向向量，确定各标定光源分别对应的方向向量。
获取在单一光源下对目标对象进行拍摄所得到的彩色图像，并获取在三个不同方向的标定光源下分别对目标对象进行拍摄所得到的至少三张光源图像。一个方向的标定光源下拍摄得到一张光源图像。
将至少三张光源图像进行像素点匹配处理，得到该至少三张光源图像中相匹配的目标像素点。
确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射率、绿色通道的反射率和蓝色通道的反射率。
基于每个目标像素点对应红色通道的反射率生成红色通道材质图像、基于每个目标像素点对应绿色通道的反射率生成绿色通道材质图像，并基于每个目标像素点对应蓝色通道的反射率生成蓝色通道材质图像。
根据目标像素点对应红色通道的反射率、绿色通道的反射率和蓝色通道的反射率、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的法向量。
基于每个目标像素点对应的法向量，生成表面几何图像；表面几何图像表征目标对象表面的深度信息。
将彩色图像、材质图像和表面几何图像输入缺陷检测模型，缺陷检测模型中包括高分辨率保持网络HRNet，特征融合网络和多头预测网络；
通过HRNet分别对彩色图像、材质图像和表面几何图像进行深度特征提取，得到彩色图像对应的彩色特征、材质图像对应的材质特征和表面几何图像对应的几何特征。
特征融合网络中包括彩色特征、材质特征和几何特征分别对应的权重，将彩色特征、材质特征、几何特征和对应的权重相乘，得到融合特征。
将融合特征输入多头预测网络，多头预测网络中包括分类分支、缺陷掩码分支和包围盒预测分支这三个预测子分支。从融合特征中提取待检测的局部特征，分别输入三个预测子分支。分类分支检测分支基于局部特征预测出该局部特征中存在的缺陷及所属的缺陷类别。缺陷掩码分支基于局部特征预测出该局部特征中存在的缺陷对应的缺陷掩膜图。包围盒预测分支基于局部特征在局部特征中生成缺陷包围框，通过缺陷包围框包围该局部特征中存在的缺陷，从而能够确定缺陷面积。
缺陷检测模型基于各局部特征对应的缺陷掩膜图，生成包含目标对象的对象掩膜图，根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，得到目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
本实施例中，预先通过对光源方向的标定，确定出各标定光源分别对应的方向向量。在需要进行缺陷检测时，获取在不同方向的标定光源下目标对象进行拍摄所得到的多张光源图像，以及在单一光源下对目标对象拍摄得到的彩色图像。确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值，根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，从而能够基于每个目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成对应的红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。通过对每个颜色通道都进行独立的反射率计算，能够分别计算出像素点在不同颜色通道上对标定光源的反射信息。
根据反射信息、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，准确确定目标像素点所对应的法向量。基于每个目标像素点对应的法向量，能够生成用于表征目标对象的深度信息的表面几何图像，以在后续缺陷检测中提供相应的深度信息，提高缺陷检测准确性。
对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征，从而能够提取出图像中的深度特征。将彩色特征、材质特征和几何特征进行融合，得到融合特征，能够将三类图像的特征进行融合，使得融合特征中包含了目标对象的彩色信息、材质信息和深度信息等多方面的特征。基于多方面信息融合的特征对目标对象进行缺陷检测，使得能够在无深度信息的缺陷检测和有深度信息的缺陷检测上形成互补，能够有效避免缺陷的漏检、错检，提高缺陷检测的准确性和全面性。
应该理解的是，虽然图2-图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种缺陷检测装置1100，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一获取模块1102、第二获取模块1104、生成模块1106和检测模块1108，其中：
第一获取模块1102，用于获取在单一光源下对目标对象进行拍摄所得到的彩色图像。
第二获取模块1104，用于获取与目标对象对应的多光源图像，多光源图像包括在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像。
生成模块1106，用于基于多光源图像生成材质图像和表面几何图像；材质图像表征目标对象的材质信息，表面几何图像表征目标对象表面的深度信息。
检测模块1108，用于根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，得到目标对象的缺陷检测结果。
本实施例中，通过获取在单一光源下对目标对象进行拍摄所得到的彩色图像，获取与目标对象对应的多光源图像，该多光源图像包括在不同方向的标定光源下分别对目标对象进行拍摄所得到的多张光源图像，基于多光源图像能够准确生成用于表征目标对象的材质信息的材质图像，以及生成用于表征目标对象表面的深度信息的表面几何图像。通过彩色图像和材质图像能够更好地刻画无深度信息的缺陷，表面几何图像能够更好地刻画缺陷的深度信息。根据彩色图像、材质图像和表面几何图像，对目标对象进行缺陷检测，能够实现无深度信息的缺陷检测和有深度信息的缺陷检测上的互补，从而更准确、更全面地检测出目标对象存在的缺陷，减少缺陷的漏检率，有效提高缺陷检测的准确性和全面性。
在一个实施例中，该装置还包括标定模块；标定模块，用于获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张标定图像中高亮区域的高亮位置和球体的球心位置，并根据预设反射方向、球心位置和高亮位置，确定各标定图像中球体表面的法向量；基于各法向量和预设反射方向，确定各标定光源分别对应的方向。
本实施例中，获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像，确定每张标定图像中高亮区域的高亮位置和球体的球心位置，并根据预设反射方向、球心位置和高亮位置，确定各标定图像中球体表面的法向量，基于各法向量和预设反射方向，确定各标定光源分别对应的方向，从而能够通过球体表面反射出的高亮区域准确标定出光源的方向，有效实现对光源方向的标定。
在一个实施例中，标定模块，还用于确定每张标定图像的高亮区域中关键点的位置；根据每个高亮区域中关键点的位置，分别确定每个高亮区域对应的高亮位置。
本实施例中，确定每张标定图像的高亮区域中关键点的位置，能够根据每个高亮区域中关键点的位置，准确地确定每个高亮区域对应的高亮位置。
在一个实施例中，生成模块1106，还用于将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点；根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的反射信息；基于每个目标像素点对应的反射信息，生成材质图像；根据各标定光源的方向向量、目标像素点和反射信息，生成表面几何图像。
本实施例中，将多张光源图像进行像素点匹配处理，得到多张光源图像中相匹配的目标像素点，根据各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，能够准确地计算出目标像素点对的标定光源的反射率。基于每个目标像素点对应的反射率，生成材质图像，使得通过材质图像能够准确地表征目标对象表面的特性。根据各标定光源的方向向量、目标像素点和反射信息，准确生成表面几何图像，使得能够通过表面几何图像体现目标对象表面的深度信息。
在一个实施例中，材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，生成模块1106，还用于确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息；基于每个目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
本实施例中，确定目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值，根据各标定光源的方向向量和目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，从而能够基于每个目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成对应的红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。通过对每个颜色通道都进行独立的反射率计算，能够分别计算出像素点在不同颜色通道上对标定光源的反射信息，使得能够从多方面体现目标对象表面的特性，提高后续缺陷检测的全面性。
在一个实施例中，生成模块1106，还用于根据反射信息、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，确定目标像素点所对应的法向量；基于每个目标像素点对应的法向量，生成表面几何图像。
本实施例中，根据反射信息、各标定光源的方向向量和目标像素点在对应的光源图像中的像素值，准确确定目标像素点所对应的法向量。基于每个目标像素点对应的法向量，能够生成用于表征目标对象的深度信息的表面几何图像，以在后续缺陷检测中提供相应的深度信息，提高缺陷检测准确性。
在一个实施例中，检测模块1108，还用于对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征；将彩色特征、材质特征和几何特征进行融合，得到融合特征；基于融合特征对目标对象进行缺陷检测，得到目标对象的缺陷检测结果。
本实施例中，对彩色图像、材质图像和表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征，从而能够提取出图像中的深度特征。将彩色特征、材质特征和几何特征进行融合，得到融合特征，能够将三类图像的特征进行融合，使得融合特征中包含了目标对象的彩色信息、材质信息和深度信息等多方面的特征。基于多方面信息融合的特征对目标对象进行缺陷检测，使得能够在无深度信息的缺陷检测和有深度信息的缺陷检测上形成互补，能够有效避免缺陷的漏检、错检，提高缺陷检测的准确性。
在一个实施例中，检测模块1108，还用于从融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果；返回从融合特征中提取待检测的局部特征的步骤并继续执行，直至融合特征中不存在未进行缺陷检测的局部特征时停止，获得每个局部特征分别对应的局部检测结果；基于各局部检测结果，生成目标对象的缺陷检测结果；缺陷检测结果包括目标对象中存在缺陷的缺陷类别、缺陷位置和缺陷面积中的至少一种。
本实施例中，从融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到局部特征对应的局部检测结果，从而能够基于局部特征对目标对象进行局部的缺陷检测，避免漏检的问题。返回从融合特征中提取待检测的局部特征的步骤并继续执行，直至融合特征中不存在未进行缺陷检测的局部特征时停止。通过对目标对象的局部缺陷检测，能够获得每个局部特征分别对应的局部检测结果，使得基于各局部检测结果，生成目标对象的完整的缺陷检测结果，提高缺陷检测的全面性。
在一个实施例中，检测模块1108，还用于基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到局部特征对应的局部检测结果；局部检测结果包括局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。
本实施例中，基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，能够基于相同的局部特征分别进行多分支的检测任务，能够提高检测效率，从而快速得到局部特征中的缺陷对应的缺陷类别、缺陷掩膜图和缺陷包围框，以准确获得局部特征对应的局部检测结果。
在一个实施例中，检测模块1108，还用于基于各局部特征对应的缺陷掩膜图，生成包含目标对象的对象掩膜图；根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，得到目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
本实施例中，基于各局部特征对应的缺陷掩膜图，生成包含目标对象的对象掩膜图，能够基于局部掩膜图准确生成原图尺寸的掩膜图。根据对象掩膜图、各局部特征对应的缺陷类别和缺陷包围框，准确检测出目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
在一个实施例中，目标对象为金属注射成形器件；多光源图像包括在至少三个不同方向的标定光源下分别对金属注射成形器件进行拍摄所得到的至少三张光源图像；缺陷检测结果中的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。
本实施例中，将缺陷检测方法应用于工业的金属注射成形器件上，通过多光源图像数据能够更好的刻画缺陷的深度信息。结合单一光源的RGB成像和多光源的光度立体数据，使得在金属注射成形器件的缺陷特征刻画上具有互补性，从而可以更高质量的地实现金属注射成形器件的缺陷质检。
关于缺陷检测装置的具体限定可以参见上文中对于缺陷检测方法的限定，在此不再赘述。上述缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。本实施例以终端为例，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种缺陷检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种缺陷检测方法，其特征在于，所述方法包括：
获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述不同方向的标定光源是通过标定步骤得到的；所述标定步骤包括：
获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；
确定每张所述标定图像中所述高亮区域的高亮位置和所述球体的球心位置，并根据预设反射方向、所述球心位置和所述高亮位置，确定各所述标定图像中球体表面的法向量；
基于各所述法向量和所述预设反射方向，确定各所述标定光源分别对应的方向。
3.根据权利要求2所述的方法，其特征在于，所述确定每张所述标定图像中所述高亮区域的高亮位置，包括：
确定每张所述标定图像的所述高亮区域中关键点的位置；
根据每个所述高亮区域中关键点的位置，分别确定每个所述高亮区域对应的高亮位置。
4.根据权利要求1所述的方法，其特征在于，所述基于所述多光源图像生成材质图像和表面几何图像，包括：
将所述多张光源图像进行像素点匹配处理，得到所述多张光源图像中相匹配的目标像素点；
根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息；
基于每个所述目标像素点对应的反射信息，生成材质图像；
根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像。
5.根据权利要求4所述的方法，其特征在于，所述材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，所述根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息，包括：
确定所述目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；
根据各所述标定光源的方向向量和所述目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息；
所述基于每个所述目标像素点对应的反射信息，生成材质图像，包括：
基于每个所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
6.根据权利要求4所述的方法，其特征在于，所述根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像，包括：
根据所述反射信息、各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的法向量；
基于每个所述目标像素点对应的法向量，生成表面几何图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果，包括：
对所述彩色图像、所述材质图像和所述表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征；
将所述彩色特征、所述材质特征和所述几何特征进行融合，得到融合特征；
基于所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
8.根据权利要求7所述的方法，其特征在于，所述基于所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果，包括：
从所述融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到所述局部特征对应的局部检测结果；
返回从所述融合特征中提取待检测的局部特征的步骤并继续执行，直至所述融合特征中不存在未进行缺陷检测的局部特征时停止，获得每个所述局部特征分别对应的局部检测结果；
基于各所述局部检测结果，生成所述目标对象的缺陷检测结果；所述缺陷检测结果包括所述目标对象中存在缺陷的缺陷类别、缺陷位置和缺陷面积中的至少一种。
9.根据权利要求8所述的方法，其特征在于，所述对所提取的局部特征进行缺陷检测，得到所述局部特征对应的局部检测结果，包括：
基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到所述局部特征对应的局部检测结果；所述局部检测结果包括所述局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。
10.根据权利要求9所述的方法，其特征在于，所述基于各所述局部检测结果，生成所述目标对象的缺陷检测结果，包括：
基于各所述局部特征对应的缺陷掩膜图，生成包含所述目标对象的对象掩膜图；
根据所述对象掩膜图、各所述局部特征对应的缺陷类别和缺陷包围框，得到所述目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述目标对象为金属注射成形器件；所述多光源图像包括在至少三个不同方向的标定光源下分别对所述金属注射成形器件进行拍摄所得到的至少三张光源图像；所述缺陷检测结果中的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。
12.一种缺陷检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
第二获取模块，用于获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
生成模块，用于基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
检测模块，用于根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123830.XA CN115861156A (zh) | 2021-09-24 | 2021-09-24 | 缺陷检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123830.XA CN115861156A (zh) | 2021-09-24 | 2021-09-24 | 缺陷检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861156A true CN115861156A (zh) | 2023-03-28 |
Family
ID=85652624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111123830.XA Pending CN115861156A (zh) | 2021-09-24 | 2021-09-24 | 缺陷检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861156A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118032661A (zh) * | 2024-04-15 | 2024-05-14 | 帕西尼感知科技(张家港)有限公司 | 一种物体的缺陷检测、标定方法、装置及系统 |
-
2021
- 2021-09-24 CN CN202111123830.XA patent/CN115861156A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118032661A (zh) * | 2024-04-15 | 2024-05-14 | 帕西尼感知科技(张家港)有限公司 | 一种物体的缺陷检测、标定方法、装置及系统 |
| CN118032661B (zh) * | 2024-04-15 | 2024-06-11 | 帕西尼感知科技(张家港)有限公司 | 一种物体的缺陷检测、标定方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830153B2 (en) | Generating an augmented reality image using a blending factor | |
| CN111539908B (zh) | 对样本的缺陷检测的方法及其系统 | |
| US20170069075A1 (en) | Classifier generation apparatus, defective/non-defective determination method, and program | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
| JP2019185730A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN107680125A (zh) | 在视觉系统中自动选择三维对准算法的系统和方法 | |
| CN107492142B (zh) | 3d渲染的基于照明引导示例的风格化 | |
| CN114627227B (zh) | 基于pbr材质的物体重建方法、设备及计算机可读存储介质 | |
| CN116612111B (zh) | 一种高强度复合材料加工质量检测方法 | |
| Tanaka et al. | Recovering inner slices of layered translucent objects by multi-frequency illumination | |
| CN117579753A (zh) | 三维扫描方法、装置、计算机设备以及存储介质 | |
| CN116543247A (zh) | 基于光度立体表面重建的数据集制作方法及验证系统 | |
| CN115861156A (zh) | 缺陷检测方法、装置、计算机设备和存储介质 | |
| Stets et al. | Scene reassembly after multimodal digitization and pipeline evaluation using photorealistic rendering | |
| US20220067514A1 (en) | Inference apparatus, method, non-transitory computer readable medium and learning apparatus | |
| CN116630139A (zh) | 数据生成的方法、装置、设备和存储介质 | |
| CN105574844B (zh) | 辐射响应函数估计方法和装置 | |
| Li et al. | Deep hyperspectral-depth reconstruction using single color-dot projection | |
| CN116106318A (zh) | 一种物体表面缺陷检测方法和装置、三维扫描仪 | |
| US11972593B2 (en) | System and methods for quantifying uncertainty of segmentation masks produced by machine learning models | |
| EP4352451A1 (en) | Texture mapping to polygonal models for industrial inspections | |
| JP2019168930A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20170134735A1 (en) | Technique for visualizing elements in images by color coding | |
| CN115861520B (zh) | 高光检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40083844 Country of ref document: HK |