CN117078666A - 二维和三维结合的缺陷检测方法、装置、介质和设备 - Google Patents

Abstract

本申请提供一种二维和三维结合的缺陷检测方法、装置、介质和设备。该方法包括：通过2D摄像模组拍摄目标物，得到第一图像；通过3D摄像模组拍摄所述目标物，得到第二图像；基于所述第一图像对所述目标物中的缺陷进行第一定位，得到所述目标物中疑似存在缺陷的第一缺陷位置；基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域；提取所述缺陷区域中的缺陷深度信息；根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷。本申请可提高目标物的表面缺陷检测的准确性。

Description

二维和三维结合的缺陷检测方法、装置、介质和设备

技术领域

本申请涉及缺陷检测技术领域，尤其涉及一种二维和三维结合的缺陷检测方法、装置、介质和设备。

背景技术

电子设备、汽车零部件、机械制品等产品在出厂前需要进行表面缺陷检测。这些产品的表面缺陷主要包括凹陷、凸起、划痕、气泡、裂纹、颜色和均匀性等缺陷。

目前的产品表面缺陷检测大多数都是采用机器视觉结合人工智能来进行检测。而凹陷、凸起、划痕等缺陷在识别过程中需要根据其深度或高度来确定。故而大多数的产品表面缺陷识别会进一步利用到3D摄像模组来拍摄产品，从其中提取出疑似缺陷的深度或高度来判断到底是否是缺陷。

然而现有的识别过程中，3D摄像模组拍摄出来的产品3D图像虽然包含的了深度或高度信息，但根据3D图像进行缺陷定位的精度还不够高，导致无法满足日益增长的缺陷识别准确性的要求。

发明内容

本申请的目的在于提供一种二维和三维结合的缺陷检测方法、装置、介质和设备。

本申请第一方面，提供了一种二维和三维结合的缺陷检测方法，所述方法包括：

通过2D摄像模组拍摄目标物，得到第一图像；

通过3D摄像模组拍摄所述目标物，得到第二图像；

基于所述第一图像对所述目标物中的缺陷进行第一定位，得到所述目标物中疑似存在缺陷的第一缺陷位置；

基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域；

提取所述缺陷区域中的缺陷深度信息；

根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷。

本申请第二方面，提供了一种二维和三维结合的缺陷检测装置，所述装置包括：

图像获取模块，用于通过2D摄像模组拍摄目标物，得到第一图像；通过3D摄像模组拍摄所述目标物，得到第二图像；

第一图像处理模块，用于基于所述第一图像对所述目标物中的缺陷进行第一定位，得到所述目标物中疑似存在缺陷的第一缺陷位置；

第二图像处理模块，用于基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域；

缺陷确定模块，用于提取所述缺陷区域中的缺陷深度信息；根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷。

本申请第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，所述可执行指令被处理器执行时使所述处理器执行本申请任一项实施例中所述的方法。

本申请第四方面，提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行本申请任一项实施例中所述的方法。

上述的二维和三维结合的缺陷检测方法、装置、介质和设备，通过在第一图像中定位疑似存在缺陷的第一缺陷位置，基于该第一缺陷位置在第二图像中再次进行缺陷定位，最终得到缺陷区域，通过借助二维图像对缺陷定位的准确性，可以提高了三维图像中缺陷定位的精度，从而最终提高了目标物的表面缺陷检测的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请范围的限定。

图1为一个实施例中二维和三维结合的缺陷检测方法的流程示意图；

图2为一个实施例中二维和三维结合的缺陷检测装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请所使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

比如本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一个图像。

再比如本申请所使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在一个实施例中，如图1所示，提供了一种二维和三维结合的缺陷检测方法，该方法包括：

步骤102，通过2D摄像模组拍摄目标物，得到第一图像。

本实施例中，目标物可为在出厂前需要进行表面缺陷检测的任意产品，该产品可为电子设备、汽车零部件、机械制品、玻璃制品、金属制品、纺织品、食品饮料包装、医疗器械、陶瓷制品、光学器材、钟表等产品。电子设备可为手机、平板电脑、电视、电脑等设备的外壳表面或者电子设备所采用的电池的表面；汽车零部件可为汽车车身、车门、车窗等部件；金属制品可为金属板材、管道、金属零件等；光学器材可为光学镜头、眼镜镜片等。比如目标物可为电池、光伏面板等。具体的，可为方形电池。表面缺陷主要包括凹陷、凸起、划痕、气泡、裂纹、褶皱等处于产品表面上的各种类型的缺陷。不同类型的缺陷具有不同的认定标准，不同的产品对表面缺陷的认定标准不同。该认定标准通常涉及到缺陷在产品表面上所覆盖的面积、形状、在表面上凸起或凹陷的深度等特征。以凹陷缺陷为例，比如某个产品针对凹陷缺陷的定义是要求产品上的凹陷区域的凹陷面积和/或平均凹陷深度和/或最大凹陷深度分别需要达到相应设定的数值才属于凹陷缺陷。

在本实施例中，2D摄像模组可为2D线扫模组。优选地，可为分时线扫模组。2D摄像模组可具有多个，每个模组可对目标物的一个或多个区域或面进行拍摄，有多个2D摄像模组共同协作完成针对整个目标物的所有部位的表面拍摄，其中，2D摄像模组的拍摄频率可以根据电子设备内存、处理图像的速率进行设置，例如2D摄像模组的拍摄频率为1s拍摄10张图像。

第一图像为基于2D摄像模组拍摄后处理得到的2D图像。相应地，第一图像同样可包括多个，每个第一图像可体现出目标物中的一个或多个部位的表面信息。比如以方形电池为例，第一图像包括方形电池的左侧面、右侧面、顶部、底部、前面、后面中一个或多个面的图像，还可以包括方形电池某个部位的图像，例如电池的正负极柱、防爆阀的图像。

在一个实施例中，2D摄像模组为分时线扫模组，2D摄像模组搭配线光与线同轴光两种不同的光源，分时线扫模组按照扫描规则切换光源的种类，使搭配的线光与线同轴光成像有序的排列在第一图像中，即第一图像为两种不同光源下的光源合成图像。具体地，扫描规则可以是在一个扫描周期内，按照设定的扫描频率依次进行线光与线同轴光之间的光源切换，例如，一个扫描周期为1s，在1s内，2D摄像模块在拍摄目标物某个部位的第一图像时，2D摄像模块在扫描每一行图像时，线光与线同轴光依次交错扫描。或者，扫描规则可以是在一个扫描周期内，按照预设时序依次进行线光与线同轴光之间的光源切换，例如，一个扫描周期为3s，两种光源扫描时间相同，可各为1.5s。

在完成扫描后，可按照该扫描频率从拍摄的图像中将每种光源拍摄的信息进行区分，最终可以得到与每种光源相对应的图像，该每个图像均为第一图像。举例来说，假设图像高度为1000行，其中奇数行为线光效果图，偶数行为线同轴效果图，通过软件拆图，将奇数行抽取出来合成为一张图，偶数行抽出来为第二张图，则有两张效果图。

步骤104，通过3D摄像模组拍摄目标物，得到第二图像。

本实施例中，3D摄像模组可为结构光摄像模组或线激光摄像模组，可以通过捕捉投射到目标物上的具有编码的光栅图案所反射的光线，进而获得目标物的深度信息；或3D摄像模组为立体视觉摄像模组，以类似于人眼的方式获取目标物不同角度的图像，比较不同图像中的特征进而计算目标物的深度信息。其中，当为线激光摄像模组时，在成像过程中摄像模组与目标物有相对位移，当为结构光模组时，在成像过程中摄像模组与目标物相对静止。

3D摄像模组同样可具有多个，每个模组可对目标物的一个或多个区域或面进行拍摄，由多个3D摄像模组共同协作完成针对整个目标物的所有部位的表面拍摄。其中，3D摄像模组的拍摄频率可以根据电子设备内存、处理图像的速率进行设置，例如3D摄像模组的拍摄频率为1s拍摄10张图像。3D摄像模组在拍摄前，需要根据摄像模组的型号进行校准，确保获取准确的3D数据。

第二图像为电子设备通过3D摄像模组对目标物进行拍摄，并对拍摄形成的3D数据进行处理，最终得到的目标物的深度图像（或高度图像）和灰度图像。灰度图像存储的是目标物相对位置的灰度信息，其可为单通道的8位的方式存储，具体地，采用RGB三通道的方式存储。深度图像存储的是目标物相对位置的高度信息，其可为16位的方式存储。深度图像和深度图像中的像素点之间具有一一对应的关系。深度图像中的各个像素点的像素值可以体现出对应位置的深度。比如处于图像中的第m行第n列的像素点可以对应于目标物的某个区域的对应位置，该像素点的RGB通道值或其它形式的通道值或灰度值等相应的数值可以对应于该区域的深度。其中，该深度可以是目标物表面距离某个参照物的深度，比如为距离摄像模组的深度，或者为距离某个水平面的深度。

在本实施例中，目标物各个区域或面所拍摄的第一图像与第二图像相互对应，电子设备可以根据所拍摄的目标物的区域或面设定标识，区分第一图像与第二图像所对应的目标物的各个区域或面。例如，分别通过2D摄像模组与3D摄像模组拍摄了目标物的前面图像，则获取的该目标物的前面图像包括第一图像与第二图像，即电子设备将该目标物的前面图像包括的第一图像与第二图像设定前面标识。

步骤106，基于第一图像对目标物中的缺陷进行第一定位，得到目标物中疑似存在缺陷的第一缺陷位置。

在本实施例中，根据第一图像所体现出的亮度变化、纹理变化等图像信息对目标物中的缺陷进行第一定位。具体地，在第一图像中，在缺陷所处的区域，图像的亮度会因为光的反射、折射或散射导致缺陷所处区域的亮度发生变化，图像的纹理可能会出现中断、模糊的情况。

例如，当目标物表面出现凹陷或凸起时，光线照射到凹陷或凸起时会发生反射方向的改变，因此凹陷或凸起所在的区域的亮度发生改变，或当目标物表面出现裂纹时，光线在裂纹处发生折射或散射而导致亮度发生变化，或当目标物表面出现污点时，污点所在区域的反射率发生变化，上述情况均会导致缺陷所在区域的亮度发生变化。而图像的纹理则在凹陷处更加平滑，在凸起区域更加粗糙，裂纹会导致图像的纹理出现中断，污点会导致图像的纹理发生模糊。

在一个实施例中，电子设备通过预设的灰度阈值、纹理对比度阈值进行第一定位，识别目标物中疑似存在缺陷的第一缺陷位置。具体地，获取第一图像的灰度图像，第一图像中每个像素点均对应具体的灰度值，灰度值越小表示对应像素的亮度越暗，灰度值越大表示对应像素的亮度越亮，基于灰度值的变化进行第一定位，在灰度值变化超过预设的灰度阈值时，表示目标物的该区域可能存在缺陷，和/或基于第一图像的灰度图像，进一步基于灰度共生矩阵计算纹理对比度，纹理对比度的值越大，表示纹理变化越明显，在纹理对比度超过阈值时表示目标物的该区域可能存在缺陷，进而却行出第一图像中的疑似存在缺陷的第一缺陷位置。

具体地，基于灰度共生矩阵计算纹理对比度包括：

步骤a：根据第一图像中灰度极大值及灰度极小值设置不同的灰度级别，遍历第一图像中的每个像素点，统计具有相同灰度级别的像素点的概率，并将该具有相同灰度级别的像素点的概率值记录到对应的灰度共生矩阵元素中，其中灰度共生矩阵的维度与灰度级别的数量相同，可以按照概率大小将概率值依次记录在灰度共生矩阵的元素中，或者处理器随机将概率值记录在在灰度共生矩阵的元素中；

步骤b：基于公式纹理对比度cr= ∑(i-j)^2 × P(i，j)计算纹理对比度，其中i，j表示每个像素点的灰度级别，由于灰度共生矩阵的维度与灰度级别的数量相同，因此(i，j)也表示记录具有相同灰度级别的像素点的概率值的元素在灰度共生矩阵中的位置，P(i，j)即具有相同灰度级别的像素点的概率值，也就是元素所记录的值。

在一个实施例中，采用结构化元素遍历第一图像中的像素点，结构化元素的大小可以是3×3或5×5的圆形或矩形，结构化元素中每个像素点的灰度值与预设的灰度阈值相同。基于结构化元素遍历第一图像的像素点，可以快速确定第一图像中灰度或基于灰度计算的纹理对比度超过预设的灰度阈值及纹理对比度阈值的区域，提高疑似缺陷的定位效率。

步骤108，基于第一缺陷位置对第二图像进行缺陷识别，得到目标物在第二图像中所体现出来的疑似存在缺陷的缺陷区域。

在本实施例中，缺陷区域由疑似存在缺陷的区域组成，该缺陷区域的边缘位置即为疑似存在缺陷的区域的边缘位置，该缺陷区域所覆盖的面积即为疑似存在缺陷的区域的面积。优选的，缺陷区域不包含正常表面的区域。

每个缺陷区域对应一种类型的疑似存在缺陷的区域。疑似存在缺陷的区域表示可能是某种类型的表面缺陷，但还需要进一步核实，并非一定就是表面缺陷。也就是说，缺陷区域并非一定存在表面缺陷，还需要做进一步识别才能判定是否属于表面缺陷。

在本实施例中，得到第二图像中疑似存在缺陷的缺陷区域的数量可以具有N个，表示目标物的表面可能存在N个缺陷，N可为0、1、2、3……任意非负整数，同样地，第一图像中疑似存在缺陷的第一缺陷位置的数量也可以具有N个。当N为0时，表示初步识别该目标物不存在表面缺陷。

在本实施例中，得到第二图像中疑似存在缺陷的缺陷区域M和缺陷区域N，或第一图像中得到第一缺陷位置M与第一缺陷位置N，不同的字母代表不同类型的表面缺陷，例如M代表划痕类缺陷，N代表气泡类缺陷。

具体地，通常而言，第一图像中的缺陷定位准确性要高于第二图像的缺陷定位的准确性，故而可以直接将第一图像中的第一缺陷位置直接映射到第二图像中，从而将第二图像中的相同位置直接作为缺陷区域。并同时结合该位置处的深度信息，识别出其所属的缺陷类型。

在一个实施例中，还可以根据预先设置的第一缺陷定位模型来识别出第二图像中的缺陷区域。

第二图像为目标物的深度图像，由于3D摄像模组在不同的深度下会呈现出不同的亮度，因此，基于深度值与亮度值之间的映射关系，将第一图像中定位出的第一缺陷位置映射到第二图像中。具体地，获取第二图像的灰度图像，进而获取第二图像中每个像素点的灰度值，基于回归算法建立模型，将第二图像中的像素点的灰度值与深度值分别分为训练集及测试集两个部分，基于测试集中每个像素点的灰度值及深度值训练模型，基于训练集中每个像素点的灰度值及深度值进行模型的迭代，直至模型的输出误差小于预设的阈值。

在完成了模型的训练之后，将第一图像中第一缺陷位置的灰度值作为模型输入，得到对应的第一图像中第一缺陷位置的深度值，基于第一缺陷位置的深度值，定位第二图像中对应的疑似存在缺陷的缺陷区域及其缺陷类型。

在一个实施例中，在确定第一图像中灰度或基于灰度计算出的纹理对比度超过预设的灰度阈值或纹理对比度阈值的疑似存在缺陷的区域后，可进一步提取该区域的轮廓，在定位第二图像中对应的疑似存在缺陷的缺陷区域后，进一步比对第二图像中对应的疑似存在缺陷的缺陷区域的轮廓与第一图像中疑似存在缺陷的区域的轮廓的相似度，在相似度超过相似度阈值时，表示第二图像中疑似存在缺陷的缺陷区域定位准确。该相似度阈值可为预设的任意合适的百分比数值，比如可为95%。

具体地，基于边缘算法提取第一图像与第二图像中疑似存在缺陷的缺陷区域轮廓，当第一图像与第二图像中疑似存在缺陷的缺陷区域的区域轮廓的像素点的位置有95%以上相同时，则表示第一图像与第二图像中疑似存在缺陷的缺陷区域轮廓相似。

在一个实施例中，基于3×3或5×5的结构化元素遍历第一图像与第二图像中疑似存在缺陷的缺陷区域，获得第一图像与第二图像中疑似存在缺陷的缺陷区域的轮廓，当第一图像与第二图像中疑似存在缺陷的缺陷区域的区域轮廓的像素点的位置有95%以上相同时，则表示第一图像与第二图像中疑似存在缺陷的缺陷区域相似。

步骤110，提取缺陷区域中的缺陷深度信息。

在本实施例中，缺陷深度信息包括缺陷区域中的各个像素点到参考区域的深度均值、深度极值、深度极差值等其中的一种或多种，其中参考区域是用于衡量缺陷区域中的缺陷深度的表面，用于对缺陷进行分析或定位。参考区域可根据缺陷区域及其周边的区域得到。

具体地，深度均值即缺陷区域内的平均深度，深度极值即区域内的每个像素点相对于参考区域的深度的集合中的极大值和极小值，深度极差值即为极大值、极小值之间的差值。

步骤112，根据缺陷深度信息计算出缺陷区域是否属于表面缺陷。

确定结果包括缺陷区域属于表面缺陷或不属于表面缺陷等其中的一种结果。电子设备预先设置了各个表面缺陷类型的认定标准信息，该认定标准信息包括相应缺陷的缺陷面积、缺陷深度等其中的一种或多种。在得到了缺陷区域的深度信息之后，可将该深度信息与对应类型的缺陷的认定标准信息进行比对。如果比对结果为符合认定标准，则判定缺陷区域属于表面缺陷。其中，认定标准信息可根据产品的厂家要求来制定，不同的产品通常其认定标准不同，相同的产品，针对不同的厂家而言，其认定标准可能也不一定相同。

举例来说，某个厂家对某个产品（比如某个方形电池）所设定的认定标准信息中的缺陷深度包括平均深度、深度极值、深度极差值等其中的一种或几种。其规定了划痕的平均高度（即平均深度）为0.1mm~0.5mm以上、高度极值为1mm~2mm以上，高度超过0.3mm~0.8mm的区域占比整个缺陷区域面积不小于10%~20%，当均满足这几个条件中的一个或多个时，判定比对结果为符合产品上的划痕的认定标准。

当判定不符合对应的认定标准时，可以再进行下一步检测来进一步判断缺陷区域是否属于表面缺陷，或者可以直接判定不属于表面缺陷。

本申请中的二维和三维结合的缺陷检测方法，通过在二维图像中定位疑似存在缺陷的第一缺陷位置，基于该第一缺陷位置在三维图像中再次进行缺陷定位，最终得到缺陷区域，通过借助二维图像对缺陷定位的准确性，可以提高了三维图像中缺陷定位的精度，从而最终提高了目标物的表面缺陷检测的准确性。

在一个实施例中，在步骤104包括：通过3D线激光扫描目标物的表面，得到目标物表面的3D数据；对3D数据进行滤波处理和分辨率降低处理；并对处理后的3D数据进行特征凸显处理，形成第二图像。

通过扫描得到的3D数据通常数据量非常庞大，为了提高后续的缺陷区域识别以及表面缺陷检测的效率，可以对该3D数据进行滤波处理和分辨率降低处理。举例来说，根据该扫描得到的3D数据得到16位高度图，该3D数据中还包括干扰数据和无效数据。电子设备可通过滤波处理，比如采取中值滤波将其中的干扰数据和无效数据进行滤除。并对滤除后的16位高度图的分辨率进行降低处理，将其由16比特转换至8比特，从而可以减小数据量。

针对降低了分辨率后的3D数据，采取对数变换和/或幂律变换，将3D数据进行灰度空间转换，以对其特征凸显，从而得到了第二图像，为后续的缺陷区域识别和表面缺陷识别步骤提供了重要基础。

在一个实施例中，步骤108包括：对第二图像进行缺陷识别，得到目标物的第二缺陷位置；将第一缺陷位置映射到第二图像中，对第二缺陷位置进行修正，将修正后的位置在第二图像中对应的区域作为缺陷区域。

在本实施例中，第二图像为目标物的深度图像，并获取第二图像的灰度图像，由于不同的深度也会造成图像中的灰度值发生变化，因此基于深度值与亮度值之间的映射关系，将第二图像的灰度图像转换为在同一标准深度下的灰度图像，其中，灰度值与对应像素点的亮度有关。

在本实施例中，基于深度值与灰度值的变化对第二图像进行缺陷识别，得到目标物的第二缺陷位置。其中基于灰度值的变化对第二图像进行缺陷识别的方法与上述实施例中基于第一图像对目标物中的缺陷进行第一定位的方法一致，在此处不再赘述。

在本实施例中，基于深度图像提取的深度信息对第二图像进行缺陷识别，得到目标物的第二缺陷位置。

在一个实施例中，系统可预先训练出相应的第二缺陷定位模型，将第二图像导入该缺陷定位模型中进行识别，缺陷定位模型可以将第二图像的灰度图像转换为在同一标准深度下的灰度图像，并基于灰度值变化及深度信息输出第二图像的第二缺陷位置以及该第二缺陷位置处的缺陷可能所属的缺陷类型。基于该缺陷定位模型可以对疑似缺陷的各个区域实现快速定位。该缺陷定位模型可为基于卷积神经网络模型所训练出来的模型。其中，缺陷类型包括上述的凹陷、凸起、划痕、气泡、裂纹、褶皱等。具体的，可预先建立产品的缺陷识别结果图像，将该结果图像输入至缺陷定位模型中进行迭代训练，并得到训练好的缺陷定位模型。其中，结果图像表示已知存在的第二缺陷位置和该第二缺陷位置处的缺陷可能所属的缺陷类型。

在本实施例中，提取基于第一缺陷位置的深度值定位的第二图像中对应的疑似存在缺陷的缺陷区域的第二区域轮廓，并将第二区域轮廓与第二缺陷位置进行比对。具体地，当第二缺陷位置中的像素点的位置均未超过第二区域轮廓，或处于第二区域轮廓的边界上时，则表示第二缺陷位置定位准确，当第二缺陷位置中存在像素点的位置超出第二区域轮廓，则需要对第二缺陷位置进行修正，具体地，以第二区域轮廓的边界像素点对超出该区域轮廓的第二缺陷位置中的像素点进行修正。

在一个实施例中，将第一缺陷位置映射到第二图像中，即为在第二图像中识别出与第一缺陷位置相同的缺陷位置，将该缺陷位置和第二缺陷位置进行对比。如果两者所标识的位置完全一致，则无需修正，如果存在偏差，则可以基于第一缺陷位置对第二缺陷位置进行修正，比如对存在偏差的部位取均值，或者还可以对第一缺陷位置对第二缺陷位置取交集或并集，从而完成对第二缺陷位置的修正。通过对第二缺陷位置的修正，可以进一步提高缺陷区域定位的准确性。

在一个实施例中，第一缺陷位置和第二缺陷位置均包括多个。对第二缺陷位置进行修正，将修正后的位置在第二图像中对应的区域作为缺陷区域，包括：当检测到映射到第二缺陷位置的第一缺陷位置包括多个时，对第二缺陷位置进行拆分，将每个第一缺陷位置在第二图像中对应的区域作为缺陷区域。

各个图像中的缺陷位置可能存在多个，但可能存在第一图像和对应的第二图像中的缺陷位置的数量不同。比如存在两个或多个相接或相近的第一缺陷位置，在第二图像中被标注为了一个缺陷位置。

在本实施例中，基于第一图像进行第一定位识别出的多个第一缺陷位置相接，具体地，提取多个第一缺陷位置的边缘轮廓，当多个第一缺陷位置的边缘轮廓存在直接接触时，即多个第一缺陷的边缘轮廓的像素点的位置存在互相交叉，则判定该多个第一缺陷位置相接，或者基于多个第一缺陷位置的边缘轮廓的像素点的位置，计算多个第一缺陷位置的边缘轮廓的第一最大垂直距离，当第一最大垂直距离小于相应的第一距离阈值时，同样可以认为多个第一缺陷位置相接，其中，该第一距离阈值可为固定的数值，还可以为根据不同的缺陷类型和/或缺陷尺寸等特征而自适应设定的数值。

举例来说，第一图像中识别出第一缺陷位置A，第一缺陷位置B分别提取第一缺陷位置A，第一缺陷位置B，基于边缘轮廓的像素点的位置，判断第一缺陷位置A，第一缺陷位置B中边缘轮廓的像素点的位置是否互相包含，例如第一缺陷位置A中边缘轮廓的像素点的位置处于第一缺陷位置B的边缘轮廓上，或处于第一缺陷位置B的边缘轮廓内，则判定第一缺陷位置A与第一缺陷位置B相接。或者基于第一缺陷位置A与第一缺陷位置B的边缘轮廓的像素点的位置，计算第一缺陷位置A与第一缺陷位置B的边缘轮廓的第一最大垂直距离，当第一最大垂直距离小于相应的第一距离阈值时，认为第一缺陷位置A与第一缺陷位置B相接。

当第一图像中识别出存在三个缺陷位置，第一缺陷位置A，第一缺陷位置B、第一缺陷位置C，则当第一缺陷位置A与第一缺陷位置B相接且第一缺陷位置B与第一缺陷位置C相接，则认为第一缺陷位置A与第一缺陷位置C相接，或者第一缺陷位置A与第一缺陷位置C之间的第一最大垂直距离小于预设的第二距离阈值时，才判定第一缺陷位置A与第一缺陷位置C相接，其中第二距离阈值大于第一距离阈值。

当将第一图像中识别出多个第一缺陷位置映射到第二图像中，可能在第二图像中仅映射成一个第二缺陷位置，但实际上属于多个相接的第二缺陷位置，因此需要对该第二缺陷位置进行拆分。

具体地，根据多个第一缺陷位置在第一图像中的形状特征，使用形状分割算法，例如轮廓提取算法、边缘检测算法等提取第一缺陷位置的形状特征，再根据第一缺陷位置的形状特征以及对应区域的像素点的位置，将第二缺陷位置进行初始拆分。进一步地，在将第二缺陷位置进行初始拆分后，根据轮廓提取算法、边缘检测算法提取第一缺陷位置的边缘轮廓，并基于第一缺陷位置的边缘轮廓的灰度值变化、纹理对比度进一步修正初始拆分后的第二缺陷位置。

具体地，提取第二图像的灰度图像，基于深度值与亮度值之间的映射关系，将第二图像的灰度图像转换为与第一图像同一深度标准下的灰度图像，其中，灰度值与对应像素点的亮度有关。提取初始拆分后的第二缺陷位置的边缘轮廓，基于第一缺陷位置的边缘轮廓的灰度值变化、纹理对比度将初始拆分后的第二缺陷位置的边缘轮廓进行修正，再基于深度值与亮度值之间的映射关系还原修正后的第二图像。

在本实施例中，在将第二缺陷位置进行拆分前，首先检测第二缺陷位置的数量是否与第一缺陷位置的数量相等，若不相等则需要将第二缺陷位置进行拆分，若相等，则进一步检测第二缺陷位置的形状特征、边缘轮廓的灰度值变化、纹理对比度是否与第一缺陷位置的形状特征、边缘轮廓的灰度值变化、纹理对比度相等，若相等，则认为第二缺陷位置定位准确，无需进行拆分，否则需要将第二缺陷位置进行拆分。

在一个实施例中，步骤102包括：通过2D摄像模组拍摄目标物的第一初始图像；检测第一初始图像是否存在畸变，若是，则对第一初始图像进行矫正，得到第一图像，并根据矫正结果提取补偿数据。步骤104包括：通过3D摄像模组拍摄目标物，得到第二初始图像；根据补偿数据对第二初始图像进行补偿，得到第二图像。

在一个实施例中，上述针对3D数据进行分辨率降低和特征凸显处理得到的图像可为第二初始图像。

在本实施例中，表面缺陷检测设备在针对目标物进行缺陷检测时，会涉及到传送模块对目标物进行传送、2D摄像模组与3D摄像模组移动等一种或几种情况，因此在拍摄时可能存在检测设备振动或目标物抖动等情况，例如发生上下、左右的抖动，导致第一图像与第二图像产生对应的畸变，导致产品缺陷检测存在误差，因此需要对第一图像与第二图像进行补偿，修正由于2D摄像模组与3D摄像模组在拍摄时的抖动而产生的畸变。

可选地，在2D摄像模组与3D摄像模组上分别设置振动传感器，实时检测2D摄像模组与3D摄像模组是否发生上下或左右的抖动，并记录2D摄像模组的第一抖动时刻与3D摄像模组的第二抖动时刻，检测第一初始图像中，第一抖动时刻所对应的多个第一初始图像帧是否出现抖动特征，若出现抖动特征，则表示该第一抖动时刻的第一初始图像出现抖动，其中第一抖动时刻为2D摄像模组在拍摄时，振动传感器检测到发生抖动的时刻，在拍摄过程中，第一抖动时刻可能有多个，且每个第一抖动时刻对应多个第一初始图像帧，抖动特征可以是第一抖动时刻所对应的多个第一初始图像帧中的目标物的外形的上下长度、左右宽度发生变化，或第一抖动时刻所对应的多个第一初始图像帧的图像边缘轮廓出现上下长度、左右宽度的变化或出现一段波形的边缘轮廓。

进一步地，在同一台检测设备上，由于2D摄像模组与3D摄像模组的抖动时刻可能存在差异，即2D摄像模组与3D摄像模组并非同时抖动，因此拟合第一抖动时刻与第二抖动时刻之间的映射关系。具体地，可以基于深度学习或人工神经网络拟合第一抖动时刻与第二抖动时刻之间的映射关系，基于该映射关系，可以计算出实际的第二抖动时刻以及需要修正的第二初始图像。

进一步地，基于第一抖动时刻所对应的多个第一初始图像帧的目标物的外形以及多个第一初始图像帧的图像边缘轮廓的上下长度、左右宽度变化数据，提取补偿数据，根据第一抖动时刻与第二抖动时刻之间的映射关系，求出第一抖动时刻所对应的实际第二抖动时刻，并根据补偿数据将实际第二抖动时刻的第二初始图像的多个第二初始图像帧进行补偿。

具体地，拟合第一抖动时刻与多个第一初始图像帧的目标物的外形以及多个第一初始图像帧的图像边缘轮廓的上下长度、左右宽度变化数据的函数关系，并将计算出的具体数值求反向数据得到补偿数据，例如在第一抖动时刻t1，第一初始图像帧A1向上偏移1mm，第二初始图像帧A2向左偏移1mm，第三初始图像帧A3向下偏移0.2mm，则补偿数据为第一图像在第一抖动时刻按照第一初始图像帧的先后顺序，向下偏移1mm，向左偏移1mm，向上偏移0.2mm。

可选地，电子设备可以预设相应的一个或多个标准图像，标准图像为目标物的参考图像，其不存在畸变。标准图像也包括2D标准图像和3D标准图像。每个摄像模组对应一份标准图像，比如第一初始图像以及第一图像对应的标准图像为与之类型相同的2D标准图像，第二初始图像和第二图像对应的标准图像可为与之类型相同的3D标准图像。

举例来说，目标物可为一个方形电池，则标准图像可为针对方形电池所拍摄的不存在或消除了畸变后的图像。标准图像包括针对方形电池每个不同的部位所准备的多份图像，每份标准图像还标识了相应的拍摄部位，每个拍摄部位对应一个或多个摄像模组。每个第一初始图像根据所拍摄的部位查询出相同部位的参考图像来进行比较。

举例来说，某一2D摄像模组拍摄形成的第一初始图像为针对方形电池的底面的图像，则可以从多个标准图像中，查询出同样属于底面的且与之类型相同的标准图像作为其比较对象。

针对其中一个2D摄像模组拍摄的第一图像，可将该第一图像和对应的标准图像进行比较，检测该第一初始图像是否存在畸变，并基于该标准图像对第一初始图像进行矫正，使得矫正后得到的第一图像消除了畸变的影响，且从矫正结果中提取出补偿数据。该补偿数据即为用于消除畸变而形成的数据。

具体地，可基于目标物表面特征设置一个或多个基准点，并分别从第一初始图像和相应的标准图像中识别出相应的基准点，解析出第一初始图像和标准图像中属于同一个位置的基准点之间的位置差值，根据每对基准点之间的位置差值来对第一初始图像进行矫正，最终得到第一图像以及补偿数据。其中，基准点可为目标物的边缘位置，以方形电池为例，基准点可为方形电池的顶点。

其中，可以根据标准图像建立相应的世界坐标系，并将标准图像和第一初始图像均映射到该世界坐标系中，比较在该坐标系内第一初始图像和标准图像中属于相同基准点（即同一对基准点）之间的位置差值，基于该位置差值对第一初始图像进行矫正，从而使得矫正后的第一初始图像与标准图像中的同一对基准点之间的位置差值为0或者处于预设的差值阈值范围之内，从而完成了对第一初始图像的矫正，形成第一图像以及补偿数据。差值阈值可为预设的任意合适的较小的数值。

第一图像和第二图像同样具有对应性，比如某一对第一图像和第二图像都是部署在同一个表面缺陷检测设备上，且针对方形电池的底面拍摄的图像，故而其存在的畸变具有相同的特征。通过利用第一初始图像而得到的补偿数据同样可以对相应的第二初始图像进行矫正，从而可以得到消除了畸变的第二图像。

由于第二初始图像是3D摄像模组拍摄的图像，其数据量远高于第一初始图像，如果直接对第二初始图像进行矫正，则需要耗费较大的工作量才能完成矫正。而第一初始图像由于是2D图像，其矫正效率远高于第二图像，故而在对2D图像矫正的同时，可以利用第一图像得到的补偿数据直接对第二初始图像来矫正，形成第二图像，可以极大地提高第二初始图像的矫正效率。

在一个实施例中，在根据补偿数据对第二初始图像矫正之后，可以对该矫正后的图像和第二初始图像对应的3D标准图像再次进行比对，以检测矫正后两者是否一致，若不一致，则根据该3D标准图像继续对矫正后的第二初始图像矫正，从而得到第二图像。若一致，则直接将该矫正后的图像作为第二图像。

在一个实施例中，第一图像包括多个方向拍摄的图像，补偿数据包括多个方向的补偿数据；根据补偿数据对第二初始图像进行补偿，包括：根据每个补偿数据对应的方向对第二初始图像进行方向补偿。

在本实施例中，2D摄像模组可以为前后方向或左右方向设置，在前后方向设置时，2D摄像模组可以从前向后或从后向前进行拍摄。同样地，在左右方向设置时，2D摄像模组可以从左向右或从右往左进行拍摄，获取从前向后或从后向前，或者从左向右或从右往左方向拍摄的第一图像。

在一个实施例中，2D摄像模组在前后或左右方向设置时，具有倾斜角度，即拍摄倾斜一定角度的第一图像。

在本实施例中，根据第一图像的方向、角度拟合不同方向，以及不同的倾斜角度下，第一抖动时刻与多个第一初始图像帧的目标物的外形以及多个第一初始图像帧的图像边缘轮廓的上下长度、左右宽度变化数据的函数关系，并将计算出的具体数值求反向数据得到补偿数据。

在本实施例中，根据拟合出的不同方向，不同倾斜角度下的补偿数据，对相应的第一抖动时刻所对应的实际第二抖动时刻下的第二初始图像进行方向及倾斜角度的补偿。

其中，由于第二图像是3D图像，从单个的第一图像中得到的矫正数据仅仅体现的是一个平面的补偿，比如单个第一图像的矫正数据可能只能矫正相应第二初始图像的水平面表面（比如x-y平面），而无法对深度维度（比如z方向）进行矫正。故而还可以进一步结合其他方向拍摄的第一初始图像而形成的补偿数据来对其进行相应方向的补偿，从而实现对第二初始图像的完整的矫正。

举例来说，针对某一个第二初始图像，其拍摄的是方形电池的底面的图像，其可以利用同样拍摄方形电池底面的第一初始图像的矫正数据来其进行底面方向矫正，再利用拍摄方形电池侧面的第一初始图像的矫正数据来其进行深度方向矫正，从而实现了对第二初始图像的矫正。

在一个实施例中，步骤110包括：在第二图像中对缺陷区域进行膨胀处理，得到缺陷膨胀区域；从缺陷膨胀区域中解析出缺陷区域对应的参考区域；基于参考区域计算出缺陷区域的深度信息。

缺陷区域中所包含的整个缺陷都是被初步判定为属于存在表面缺陷的区域。在后续进一步的检测中，需要计算缺陷的深度信息，而该深度信息需要参考缺陷区域周边的区域。故而需要对缺陷区域进行膨胀处理，从而形成一个包含该缺陷区域的缺陷膨胀区域。

可选的，可根据不同的疑似缺陷的缺陷类型、缺陷区域面积等其中的一种或几种来设置相应的膨胀系数，基于该膨胀系数对缺陷区域进行膨胀，形成缺陷膨胀区域。不同的缺陷类型对应的膨胀系数不同，不同的缺陷区域面积对应的膨胀系数也不同。

具体地，可以根据缺陷区域的尺寸和形状特征来确定膨胀系数。比如根据缺陷区域的直径、形状特征、边界框尺寸构建与膨胀系数之间的映射关系，基于该映射关系来确定相应的膨胀系数。其中，缺陷区域尺寸小的，其对应的膨胀系数较小，而尺寸大的缺陷区域对应的膨胀系数较大。

在一个实施例中，可以按照膨胀系数n=e^(min(x,y)/z)来确定膨胀系数，其中，x和y分别为缺陷区域的宽度和长度，z为预设的参数。当缺陷区域不为规则的矩形时，该宽度可为最高点至最低点之间的高度差值，长度可为缺陷区域中，位于最左点和最右点之间的长度差值。z的大小可为固定大小，也可以根据缺陷类型、目标物的特征等所自适应确定的数值，比如z值可为1/375。

电子设备基于所确定的膨胀系数对缺陷区域进行膨胀，比如以圆形、椭圆形或矩形等形状对缺陷区域的边界进行扩张并增加其面积，形成缺陷膨胀区域。

对于最终得到的缺陷膨胀区域，其不存在除缺陷区域外的其他缺陷区域，即缺陷膨胀区域与其他缺陷区域之间不存在重叠。通过使得缺陷膨胀区域与其他缺陷区域不重叠，可以避免其他缺陷区域对当前处理的缺陷区域的高度信息计算的干扰，提高了高度信息计算的准确性。

可选的，针对缺陷膨胀区域的确定，可以结合缺陷区域与其他缺陷区域的位置关系，设置相应的膨胀系数，使得基于该膨胀系数得到的缺陷膨胀区域不会包含其他缺陷区域或不与其他缺陷区域重叠。也可以在得到一个缺陷初始膨胀区域之后，检测缺陷初始膨胀区域是否其他缺陷区域存在重叠，若存在，则去除重叠部分，将去除重叠部分之后的缺陷初始膨胀区域作为最终的缺陷膨胀区域。

为避免形成的缺陷膨胀区域与其他缺陷区域重叠，电子设备可以基于其他缺陷区域对当前处理的缺陷区域设置膨胀边界，并在该膨胀边界内进行膨胀，形成缺陷膨胀区域。该膨胀边界与其他缺陷膨胀区域均不重叠。具体地，可以将第二图像中去除了其他缺陷区域的部分所形成的去除后的边界作为膨胀边界。

本实施例中，该参考区域是用于衡量缺陷区域中的疑似缺陷的缺陷深度的表面，用于对缺陷进行分析和定位。

具体地，将缺陷膨胀区域与缺陷区域作差处理，得到参考区域。通过将缺陷区域与参考区域进行对比，可以确定缺陷的凹凸性质以及其相对位置。缺陷区域中的深度相对于参考区域的变化可以帮助确定缺陷的形态特征和严重程度。差处理的目的是将缺陷的影响从第二图像中剔除，留下参考区域的信息。通过对每个像素点进行差处理，得到参考区域。

针对参考区域，可将其与第二图像进行拟合，得到相应的参考区域参数。比如可以根据最小二乘法进行拟合。参考区域参数用于计算缺陷区域内每个点相对于参考区域的深度信息。

针对深度图像中的参考区域，采用最小二乘法拟合的方法，得到参考区域的数学模型和参数。具体地，可以通过最小化参考区域内各个点到拟合曲面的距离平方和，来获得最佳的拟合结果。得到的参考区域信息将包括参考区域的形状、方程或参数等描述，这些信息可以被用来进行后续的缺陷分析和检测。参考区域的信息的获取对于精确的缺陷定位和尺寸计算具有重要作用，从而提高缺陷检测的准确性和可靠性。

在本实施例中，深度指缺陷区域中的各个点到参考区域的深度，其中缺陷区域为一个或多个缺陷区域。可获取缺陷区域内所有点的坐标，计算各个点到参考区域的距离，该距离即为深度。具体地，可以使用参考区域参数来计算缺陷区域内每个点相对于参考区域的深度。深度信息可包括识别区域内的点相对于参考区域的深度均值、深度极值、深度极差值等其中的一种或多种。深度均值即相应区域内的平均深度，深度极值即区域内的每个点相对于参考区域的深度的集合中的极大值和极小值，深度极差值即为极大值、极小值之间的差值。

在一个实施例中，在得到目标物中疑似存在缺陷的第一缺陷位置之后，还包括：识别第一缺陷位置处的缺陷类型，基于第一图像识别属于第一类缺陷类型的第一缺陷位置处是否属于表面缺陷。

第一缺陷类型为不需要考虑深度信息的缺陷类型，其可包括污染等缺陷类型。对于该类缺陷类型，由于不需要考虑深度信息，故而可以直接根据第一图像的识别结果即可确定是否属于表面缺陷，以提高缺陷识别效率。

具体地，基于第一缺陷位置处与周围区域的色差变化、纹理对比度变化识别该第一缺陷位置处的缺陷类型，并提取该第一缺陷位置处的缺陷面积、缺陷长度等缺陷信息，将该缺陷信息与对应类型的缺陷的认定标准信息进行比对，进而判定该第一缺陷位置处是否属于表面缺陷。

而对于需要考虑深度信息的其他类型的缺陷，则可以根据上述的步骤108~112来确定是否属于表面缺陷。

在一个实施例中，在根据缺陷深度信息计算出缺陷区域是否属于表面缺陷之后，还包括：根据第一图像和第二图像中对每个缺陷位置的缺陷检测结果来判定目标物是否合格。

电子设备预先设置了各个表面缺陷类型的认定标准信息，该认定标准信息包括相应缺陷的缺陷面积、缺陷深度、缺陷长度等其中的一种或多种。

在得到每个缺陷区域的表面缺陷检测结果后，可统计产品上存在表面缺陷的种类以及各个种类下的缺陷数量，当该缺陷数量和/或缺陷种类符合预先设定的不合格判定条件时，则判定其属于不合格的产品。

其中，不合格判定条件可以包括表面缺陷数量、表面缺陷的尺寸、缺陷种类等其中的一种或多种，比如可以为当表面缺陷的总量超过预设的第一数量阈值时，则说明产品不合格，后者当某个种类的任意一个表面缺陷的尺寸超过预设的尺寸规格时，则说明产品不合格，或者当某种类型的表面缺陷的数量超过对应的第二数量阈值时，也说明产品不合格。

举例来说，比如存在某个缺陷区域X，在未排除其临近的缺陷区域Y对其造成的影响的情况下，会得到该缺陷区域X存在表面缺陷，并导致最终认定为产品属于不合格产品。而如果排除了缺陷区域Y对其造成的干扰之后，得到的结果是缺陷区域Y不存在表面缺陷，而基于这样的识别结果可能最终得到的结果是产品为合格的产品。

通过排除临近的缺陷区域对当前处理的缺陷区域造成的影响，从而使得对每个缺陷区域的判定更加的准确，从而可以最终更加准确的得到产品是否合格的识别结果。

在一个实施例中，如图2所示，提供了一种二维和三维结合的缺陷检测装置，该装置包括：

图像获取模块202，用于通过2D摄像模组拍摄目标物，得到第一图像；通过3D摄像模组拍摄目标物，得到第二图像。

第一图像处理模块204，用于基于第一图像对目标物中的缺陷进行第一定位，得到目标物中疑似存在缺陷的第一缺陷位置。

第二图像处理模块206，用于基于第一缺陷位置对第二图像进行缺陷识别，得到目标物在第二图像中所体现出来的疑似存在缺陷的缺陷区域。

缺陷确定模块208，用于提取缺陷区域中的缺陷深度信息；根据缺陷深度信息计算出缺陷区域是否属于表面缺陷。

在一个实施例中，第二图像处理模块206还用于对第二图像进行缺陷识别，得到目标物的第二缺陷位置；将第一缺陷位置映射到第二图像中，对第二缺陷位置进行修正，将修正后的位置在第二图像中对应的区域作为缺陷区域。

在一个实施例中，第一缺陷位置和第二缺陷位置均包括多个，第二图像处理模块206还用于当检测到映射到第二缺陷位置的第一缺陷位置包括多个时，对第二缺陷位置进行拆分，将每个第一缺陷位置在第二图像中对应的区域作为缺陷区域。

在一个实施例中，图像获取模块202还用于通过2D摄像模组拍摄目标物，得到第一初始图像；检测第一初始图像是否存在畸变，若是，则对第一初始图像进行矫正，得到第一图像，并根据矫正结果提取出补偿数据。

在一个实施例中，图像获取模块202还用于通过3D摄像模组拍摄目标物，得到第二初始图像；根据补偿数据对第二初始图像进行补偿，得到第二图像。

在一个实施例中，第一图像包括多个方向拍摄的图像，补偿数据包括多个方向的补偿数据。

图像获取模块202还用于根据每个补偿数据对应的方向对第二初始图像进行方向补偿。

在一个实施例中，缺陷确定模块208还用于在第二图像中对缺陷区域进行膨胀处理，得到缺陷膨胀区域；从缺陷膨胀区域中解析出缺陷区域对应的参考区域；基于参考区域计算出缺陷区域的深度信息。

在一个实施例中，缺陷确定模块208还用于识别第一缺陷位置处的缺陷类型，基于第一图像识别属于第一类缺陷类型的第一缺陷位置处是否属于表面缺陷。

缺陷确定模块208还用于根据第一图像和第二图像中对每个缺陷位置的缺陷检测结果来判定目标物是否合格。

在一个实施例中，图像获取模块202还用于通过3D线激光扫描目标物的表面，得到目标物表面的3D数据；对3D数据进行滤波处理和分辨率降低处理；并对处理后的3D数据进行特征凸显处理，形成第二图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述各方法实施例中的步骤。

在一个实施例中，还提供了一种电子设备，包括一个或多个处理器；存储器，存储器中存储有一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述各方法实施例中的步骤。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在上面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。公开于该背景技术部分的信息仅仅旨在加深对本申请的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种二维和三维结合的缺陷检测方法，其特征在于，所述方法包括：

通过2D摄像模组拍摄目标物，得到第一图像；

通过3D摄像模组拍摄所述目标物，得到第二图像；

基于所述第一图像对所述目标物中的缺陷进行第一定位，得到所述目标物中疑似存在缺陷的第一缺陷位置；

基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域；

提取所述缺陷区域中的缺陷深度信息；

根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域，包括：

对所述第二图像进行缺陷识别，得到所述目标物的第二缺陷位置；

将所述第一缺陷位置映射到所述第二图像中，对所述第二缺陷位置进行修正，将修正后的位置在所述第二图像中对应的区域作为所述缺陷区域。

3.根据权利要求2所述的方法，其特征在于，所述第一缺陷位置和所述第二缺陷位置均包括多个，所述对所述第二缺陷位置进行修正，将修正后的位置在所述第二图像中对应的区域作为所述缺陷区域，包括：

当检测到映射到所述第二缺陷位置的第一缺陷位置包括多个时，对所述第二缺陷位置进行拆分，将每个所述第一缺陷位置在所述第二图像中对应的区域作为所述缺陷区域。

4.根据权利要求1所述的方法，其特征在于，所述通过2D摄像模组拍摄目标物，得到第一图像，包括：

通过2D摄像模组拍摄目标物，得到第一初始图像；

检测所述第一初始图像是否存在畸变，若是，则对所述第一初始图像进行矫正，得到所述第一图像，并根据矫正结果提取出补偿数据；

所述通过3D摄像模组拍摄所述目标物，得到第二图像，包括：

通过所述3D摄像模组拍摄目标物，得到第二初始图像；

根据所述补偿数据对所述第二初始图像进行补偿，得到所述第二图像。

5.根据权利要求4所述的方法，其特征在于，所述第一图像包括多个方向拍摄的图像，所述补偿数据包括多个方向的补偿数据；

所述根据所述补偿数据对所述第二初始图像进行补偿，包括：根据每个补偿数据对应的方向对所述第二初始图像进行方向补偿。

6.根据权利要求1所述的方法，其特征在于，所述提取所述缺陷区域中的缺陷深度信息，包括：

在所述第二图像中对所述缺陷区域进行膨胀处理，得到缺陷膨胀区域；

从所述缺陷膨胀区域中解析出所述缺陷区域对应的参考区域；

基于所述参考区域计算出所述缺陷区域的深度信息。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述得到所述目标物中疑似存在缺陷的第一缺陷位置之后，还包括：

识别所述第一缺陷位置处的缺陷类型，基于所述第一图像识别属于第一类缺陷类型的第一缺陷位置处是否属于表面缺陷；

在所述根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷之后，还包括：

根据所述第一图像和所述第二图像中对每个缺陷位置的缺陷检测结果来判定所述目标物是否合格。

8.一种二维和三维结合的缺陷检测装置，其特征在于，所述装置包括：

图像获取模块，用于通过2D摄像模组拍摄目标物，得到第一图像；通过3D摄像模组拍摄所述目标物，得到第二图像；

第一图像处理模块，用于基于所述第一图像对所述目标物中的缺陷进行第一定位，得到所述目标物中疑似存在缺陷的第一缺陷位置；

第二图像处理模块，用于基于所述第一缺陷位置对所述第二图像进行缺陷识别，得到所述目标物在所述第二图像中所体现出来的疑似存在缺陷的缺陷区域；

缺陷确定模块，用于提取所述缺陷区域中的缺陷深度信息；根据所述缺陷深度信息计算出所述缺陷区域是否属于表面缺陷。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，所述可执行指令被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项所述的方法。