CN114677360B - 墙面缺陷检测方法、装置及存储介质 - Google Patents

Abstract

本公开实施例公开了一种墙面缺陷检测方法、装置及存储介质，其中，方法包括：确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；基于所述光源成像点的世界坐标系坐标，确定所述待检测图像中的曝光区域，所述待检测图像为所述图像采集部件对所述已刷漆墙面采集的图像；从所述待检测图像的待确定缺陷区域中抠除所述曝光区域，得到有效缺陷区域。本公开实施例可以通过确定并抠除待确定缺陷区域中的曝光区域，避免了抠除所有灰度值过高的区域所导致的缺陷漏检的问题，提高了缺陷检测的效率。

Description

墙面缺陷检测方法、装置及存储介质

技术领域

本公开涉及三维视觉图像处理技术领域，尤其涉及一种墙面缺陷检测方法、装置及存储介质。

背景技术

在机器人刷漆场景中，为了避免环境光的变化对刷漆检测相机的成像产生不可控影响，在实际应用场景中，通常采用高亮光源(如高亮闪光灯)为墙面提供光源，从而消除环境光的干扰，但是，高亮光源可导致相机所采集的图像产生过曝区域，进而影响根据所采集的图像进行刷漆缺陷检测的检测结果。

现有技术中，基于存在过曝区域的图像，进行刷漆缺陷检测的操作流程为：将图像转换为灰度图，并将灰度图中灰度值过高的区域进行抠除，对剩余的图像区域进行缺陷检测。但是由于墙面上的白点、未涂刷区域的灰度值通常也比较高，因此采用现有技术检测刷漆缺陷时，可导致墙面上的白点、未涂刷区域以及其他灰度值较高的区域的缺陷问题无法被检测出，存在缺陷漏检的问题。

发明内容

本公开实施例所要解决的一个技术问题是：提供一种墙面缺陷检测方法、装置及存储介质。

根据本公开实施例的一个方面，提供一种墙面缺陷检测方法，所述方法包括：

确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；

基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，所述待检测图像为图像采集部件对所述已刷漆墙面采集的图像；

从所述待检测图像的待确定缺陷区域中抠除所述曝光区域，得到有效缺陷区域。

在本公开一实施例中，所述基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，包括：

将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标；

将所述待检测图像中以所述光源像素坐标为圆心的设定大小的圆形区域确定为所述曝光区域。

在本公开又一实施例中，所述将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标，包括：

基于所述图像采集部件的外参矩阵，将所述光源成像点的世界坐标系坐标转换为所述光源成像点的相机坐标系坐标；

基于所述图像采集部件的内参矩阵，将所述光源成像点的相机坐标系坐标转换为所述光源成像点对应在所述待检测图像中的光源像素坐标。

在本公开又一实施例中，所述确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，包括：

基于机械手的6D位姿和所述图像采集部件相对于机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，所述图像采集部件和所述机械手均设置在机械臂上，所述机械手的6D位姿通过机械手的控制软件实时获取，所述图像采集部件的6D位姿通过所述位姿转换矩阵左乘所述机械手的6D位姿得到；

基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，所述墙面方程用于指示所述已刷漆墙面上任意一点的坐标和墙面法向量。

在本公开又一实施例中，所述基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，包括：

基于镜面反射算法、所述已刷漆墙面的墙面方程以及所述高亮光源的世界坐标系坐标，计算所述高亮光源在所述已刷漆墙面另一侧的光源虚像点的世界坐标系坐标；

基于所述光源虚像点的世界坐标系坐标和所述图像采集部件的世界坐标系坐标，计算所述光源虚像点和所述图像采集部件所在直线的直线方程；

基于所述直线方程和所述已刷漆墙面的墙面方程，计算所述光源虚像点和所述图像采集部件所在直线与所述已刷漆墙面的交点的世界坐标系坐标；

将所述交点的世界坐标系坐标确定为所述光源成像点的世界坐标系坐标。

在本公开又一实施例中，所述基于机械手的6D位姿和所述图像采集部件相对于机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，包括：

计算所述位姿转换矩阵左乘所述机械手的6D位姿，得到所述图像采集部件的6D位姿。

在本公开又一实施例中，所述方法还包括：

根据缺陷区域检测算法，确定所述待检测图像中的待确定缺陷区域。

根据本公开实施例的又一方面，提供一种墙面缺陷检测装置，所述装置包括：

光源坐标确定模块，用于确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；

曝光区域确定模块，用于基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，所述待检测图像为图像采集部件对所述已刷漆墙面采集的图像；

抠除模块，用于从所述待检测图像的待确定缺陷区域中抠除所述曝光区域，得到有效缺陷区域。

在本公开一实施例中，所述曝光区域确定模块包括：

第一转换子模块，用于将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标；

第一确定子模块，用于将所述待检测图像中以所述光源像素坐标为圆心的设定大小的圆形区域确定为所述曝光区域。

在本公开又一实施例中，所述第一转换子模块包括：

第二转换子模块，用于基于所述图像采集部件的外参矩阵，将所述光源成像点的世界坐标系坐标转换为所述光源成像点的相机坐标系坐标；

第三转换子模块，用于基于所述图像采集部件的内参矩阵，将所述光源成像点的相机坐标系坐标转换为所述光源成像点对应在所述待检测图像中的光源像素坐标。

在本公开又一实施例中，所述光源坐标确定模块包括：

第一计算子模块，用于基于机械手的6D位姿和所述图像采集部件相对于机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，所述图像采集部件和所述机械手均设置在机械臂上，所述机械手的6D位姿通过机械手的控制软件实时获取，所述图像采集部件的6D位姿通过所述位姿转换矩阵左乘所述机械手的6D位姿得到；

第二确定子模块，用于基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，所述墙面方程用于指示所述已刷漆墙面上任意一点的坐标和墙面法向量。

在本公开又一实施例中，所述第二确定子模块包括：

第二计算子模块，用于基于镜面反射算法、所述已刷漆墙面的墙面方程以及所述高亮光源的世界坐标系坐标，计算所述高亮光源在所述已刷漆墙面另一侧的光源虚像点的世界坐标系坐标；

第三计算子模块，用于基于所述光源虚像点的世界坐标系坐标和所述图像采集部件的世界坐标系坐标，计算所述光源虚像点和所述图像采集部件所在直线的直线方程；

第四计算子模块，用于基于所述直线方程和所述已刷漆墙面的墙面方程，计算所述光源虚像点和所述图像采集部件所在直线与所述已刷漆墙面的交点的世界坐标系坐标；

第三确定子模块，用于将所述交点的世界坐标系坐标确定为所述光源成像点的世界坐标系坐标。

在本公开又一实施例中，所述第一计算子模块，具体用于计算所述位姿转换矩阵左乘所述机械手的6D位姿，得到所述图像采集部件的6D位姿。

在本公开又一实施例中，所述装置还包括：

缺陷区域确定模块，用于根据缺陷区域检测算法，确定所述待检测图像中的待确定缺陷区域。

根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述墙面缺陷检测方法。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述墙面缺陷检测方法。

根据本公开实施例的再一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述墙面缺陷检测方法。

基于本公开上述实施例提供的墙面缺陷检测方法、装置以及存储介质，在进行机器人刷漆墙面检测时，可以先确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，然后再从待检测图像的待确定缺陷区域中抠除所述曝光区域，即可得到有效缺陷区域。本公开技术方案通过确定并抠除待确定缺陷区域中的曝光区域，可以解决现有技术中抠除所有灰度值过高的区域所导致的缺陷漏检的问题，而且高亮光源的位置发生变化时，所确定的待检测图像中的曝光区域也会随之发生变化，可以有效避免由于抠除高亮光源区域所导致的检测盲区的问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开的墙面缺陷检测方法的一个实施例的流程图；

图2为本公开的墙面缺陷检测方法的确定待检测图像中曝光区域的流程图；

图3A为本公开的墙面缺陷检测方法的确定光源成像点的世界坐标系坐标的流程图；

图3B为本公开的确定高亮光源在所述已刷漆墙面上的光源成像点的示意图；

图3C为本公开确定光源成像点的世界坐标系坐标的具体流程图；

图4为本公开的墙面缺陷检测装置的一个实施例的结构示意图；

图5为本公开的墙面缺陷检测装置的又一个实施例的结构示意图；

图6为本公开一示意性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

本公开实施例提供的技术方案应用于机器人刷漆场景中，在该场景中，为了避免环境光的变化对刷漆检测相机的成像产生不可控影响，通常采用高亮光源(如高亮闪光灯)为墙面提供光源从而消除环境光的干扰，但是同时也导致了使用图像采集部件(如相机)所采集的图像会产生曝光区域，进而影响基于所采集的图像进行缺陷检测的准确性。在实际应用场景中，机器人刷漆部件、图像采集部件(如相机)和高亮光源之间的相对位置是固定的，也即，随着机器人刷漆部件在刷漆过程中移动位置时，高亮光源和图像采集部件也随之移动位置，高亮光源在墙面上的光源成像点的位置也是变化的，光源成像点在图像采集部件所采集的图像中的像素坐标也会发生变化，可以有效避免因为曝光区域而导致存在检测盲区的问题。

示例性实施例

图1为本公开的墙面缺陷检测方法的一个实施例的流程图；该墙面缺陷检测方法可以应用在电子设备(如计算机系统、服务器)上，如图1所示，该墙面缺陷检测方法包括以下步骤：

在步骤101中，确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标。

在一实施例中，由于油漆含水量较高，因此正在刷漆的墙面对强光的反射可以近似为镜面，根据镜面反射算法，可以先计算高亮光源在已刷漆墙面另一侧的光源虚像点，然后将图像采集部件和光源虚像点相连可以得到一条直线，图像采集部件和光源虚像点所在直线与已刷漆墙面之间的交点，即为高亮光源在已刷漆墙面上的光源成像点，参见图3B，图3B以二维平面图的形式示意了高亮光源、光源成像点、光源虚像点的位置。

在一实施例中，要计算高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，需要先获取高亮光源的世界坐标系坐标、墙面方程和图像采集部件的实际坐标系坐标。在具体应用场景中，移动装置载着机械臂(包括机械手、固定在机械臂上的高亮光源和图像采集部件)，每刷完一块墙面并且检测后，移动装置会移动到下一个地点，然后深度采集部件即可拍摄建立一次墙面方程，而高亮光源和图像采集部件是固定在机械臂固定位置的，基于机械手(机械手)的实时6D位姿，可获得到图像采集部件的6D位姿和高亮光源的世界坐标系坐标。其中，机械手的6D位姿可以通过机械手的控制软件实时获取。

在一实施例中，可以基于高亮光源的世界坐标系坐标、墙面方程和图像采集部件的实际坐标系坐标，计算出高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，计算过程具体可参见图3A所示实施例。

在步骤102中，基于光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域。

在一实施例中，待检测图像为图像采集部件对已刷漆墙面采集的图像。

在一实施例中，基于光源成像点的世界坐标系坐标、图像采集部件的外参矩阵(包括平移矩阵和旋转矩阵)，即可将光源成像点的世界坐标系坐标转换为光源成像点的相机坐标系坐标；而根据图像采集部件的内参矩阵和光源成像点的相机坐标系坐标，即可计算出光源成像点对应在待检测图像中的光源像素坐标。其中，图像采集部件的内参矩阵和外参矩阵均可以通过张正友标定获取，因此，基于光源成像点的世界坐标系坐标，可以计算出光源成像点在待检测图像中的光源像素坐标。

在一实施例中，基于光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域的具体实现方式可参见图2所示实施例。

在步骤103中，从待检测图像的待确定缺陷区域中抠除曝光区域，得到有效缺陷区域。

在一实施例中，通过相关技术中的缺陷区域检测算法计算出待检测图像的待确定缺陷区域，从待确定缺陷区域中抠除曝光区域，即可得到有效缺陷区域。

上述步骤101～103在进行机器人刷漆墙面检测时，可以先确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；基于光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，然后再从待检测图像的待确定缺陷区域中抠除曝光区域，即可得到有效缺陷区域。本公开技术方案通过确定并抠除待确定缺陷区域中的曝光区域，可以解决现有技术中抠除所有灰度值过高的区域所导致的缺陷漏检的问题，而且高亮光源的位置发生变化时，所确定的待检测图像中的曝光区域也会随之发生变化，可以有效避免由于抠除高亮光源区域所导致的检测盲区的问题。

为了更好地说明本公开的墙面缺陷检测的方案，下面用另一个实施例说明。

图2为本公开的墙面缺陷检测方法的确定待检测图像中曝光区域的流程图；本实施例以基于光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域的具体实现过程为例进行示例性说明，如图2所示，包括如下步骤：

在步骤201中，将光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标。

在一实施例中，将光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标，包括：基于图像采集部件的外参矩阵，将光源成像点的世界坐标系坐标转换为光源成像点的相机坐标系坐标；基于图像采集部件的内参矩阵，将光源成像点的相机坐标系坐标转换为光源成像点对应在待检测图像中的光源像素坐标。具体实现时，通过计算图像采集部件外参矩阵再左乘光源成像点的世界坐标系坐标，可得到光源成像点的相机坐标系坐标，而计算图像采集部件的内参矩阵左乘光源成像点的相机坐标系坐标可得到待检测图像中的光源像素坐标。

在一实施例中，图像采集部件的内参矩阵和外参矩阵均可以通过张正友标定获取，因此，基于光源成像点的世界坐标系坐标，可以计算出光源成像点在待检测图像中的光源像素坐标。

在步骤202中，将待检测图像中以光源像素坐标为圆心的设定大小的圆形区域确定为曝光区域。

在一实施例中，设定大小可以为预先设定的一个输入参数，用于限定光源像素坐标周边多大范围可能会产生曝光区域，例如，设定大小为以光源像素坐标为圆心的、面积为πR²的圆形区域为曝光区域。

在一实施例中，如果使用相关技术中的缺陷区域检测算法确定出待确定缺陷区域，则可将待确定缺陷区域内属于曝光区域的区域抠除，即可得到有效缺陷区域。

通过上述步骤201～步骤202，可以准确确定出待检测图像中的曝光区域，而将待确定缺陷区域内属于曝光区域的区域抠除，即可得到有效缺陷区域，从而规避了曝光区域带来的误检，识别出有效缺陷区域内的缺陷。

图3A为本公开的墙面缺陷检测方法的确定光源成像点的世界坐标系坐标的流程图，图3B为本公开的确定高亮光源在已刷漆墙面上的光源成像点的示意图，图3C为本公开确定光源成像点的世界坐标系坐标的具体流程图；本实施例以如何确定光源成像点的世界坐标系坐标为例进行示例性说明，如图3A所示，包括如下步骤：

在步骤301中，基于机械手的6D位姿和图像采集部件相对于机械手的位姿转换矩阵，计算图像采集部件的6D位姿。

在一实施例中，图像采集部件的6D位姿包括图像采集部件的世界坐标系坐标和旋转向量，具体可通过计算位姿转换矩阵左乘机械手的6D位姿，得到图像采集部件的6D位姿。其中，缺陷检测电子设备可以从机械手的控制软件实时获取机械手的6D位姿。

在步骤302中，基于高亮光源的世界坐标系坐标、图像采集部件的世界坐标系坐标，以及已刷漆墙面的墙面方程，确定高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标。

在一实施例中，墙面方程用于指示已刷漆墙面上任意一点的坐标和墙面法向量，可以通过深度采集部件获得墙面方程。

在一实施例中，根据高亮光源的世界坐标系坐标、图像采集部件的世界坐标系坐标，以及已刷漆墙面的墙面方程，确定高亮光源的光源成像点的世界坐标系坐标的过程参见图3B和图3C，如图3C所示，包括以下步骤321～步骤324：

在步骤321中，基于镜面反射算法、已刷漆墙面的墙面方程以及高亮光源的世界坐标系坐标，计算高亮光源在已刷漆墙面另一侧的光源虚像点的世界坐标系坐标。

在步骤322中，基于光源虚像点的世界坐标系坐标和图像采集部件的世界坐标系坐标，计算光源虚像点和图像采集部件所在直线的直线方程。

在步骤323中，基于直线方程和已刷漆墙面的墙面方程，计算光源虚像点和图像采集部件所在直线与已刷漆墙面的交点的世界坐标系坐标。

在步骤324中，将交点的世界坐标系坐标确定为光源成像点的世界坐标系坐标。

通过上述步骤301～步骤302，可以获取到高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，基于光源成像点的世界坐标系坐标可以获取到待检测图像中的曝光区域，有助于确定出有效缺陷区域，提高机器人刷漆效果。

与前述墙面缺陷检测方法的实施例相对应，本公开还提供了墙面缺陷检测装置对应的实施例。

图4为本公开的墙面缺陷检测装置的一个实施例的结构示意图，该装置应用在电子设备(如计算机系统、服务器)上，如图4所示，该装置包括：

光源坐标确定模块41，用于确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；

曝光区域确定模块42，用于基于光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，待检测图像为图像采集部件对已刷漆墙面采集的图像；

抠除模块43，用于从待检测图像的待确定缺陷区域中抠除曝光区域，得到有效缺陷区域。

图5为本公开的墙面缺陷检测装置的又一个实施例的结构示意图，如图5所示，在图4所示实施例的基础上，在一实施例中，曝光区域确定模块42包括：

第一转换子模块421，用于将光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标；

第一确定子模块422，用于将待检测图像中以光源像素坐标为圆心的设定大小的圆形区域确定为曝光区域。

在一实施例中，第一转换子模块421包括：

第二转换子模块4211，用于基于图像采集部件的外参矩阵，将光源成像点的世界坐标系坐标转换为光源成像点的相机坐标系坐标；

第三转换子模块4212，用于基于图像采集部件的内参矩阵，将光源成像点的相机坐标系坐标转换为光源成像点对应在待检测图像中的光源像素坐标。

在一实施例中，光源坐标确定模块41包括：

第一计算子模块411，用于基于机械手的6D位姿和图像采集部件相对于机械手的位姿转换矩阵，计算图像采集部件的6D位姿，所述图像采集部件和所述机械手均设置在机械臂上，所述机械手的6D位姿通过机械手的控制软件实时获取，所述图像采集部件的6D位姿通过所述位姿转换矩阵左乘所述机械手的6D位姿得到；

第二确定子模块412，用于基于高亮光源的世界坐标系坐标、图像采集部件的世界坐标系坐标，以及已刷漆墙面的墙面方程，确定高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，墙面方程用于指示已刷漆墙面上任意一点的坐标和墙面法向量。

在一实施例中，第二确定子模块412包括：

第二计算子模块4121，用于基于镜面反射算法、已刷漆墙面的墙面方程以及高亮光源的世界坐标系坐标，计算高亮光源在已刷漆墙面另一侧的光源虚像点的世界坐标系坐标；

第三计算子模块4122，用于基于光源虚像点的世界坐标系坐标和图像采集部件的世界坐标系坐标，计算光源虚像点和图像采集部件所在直线的直线方程；

第四计算子模块4123，用于基于直线方程和已刷漆墙面的墙面方程，计算光源虚像点和图像采集部件所在直线与已刷漆墙面的交点的世界坐标系坐标；

第三确定子模块4124，用于将交点的世界坐标系坐标确定为光源成像点的世界坐标系坐标。

在一实施例中，第一计算子模块411，具体用于计算位姿转换矩阵左乘机械手的6D位姿，得到图像采集部件的6D位姿。

在一实施例中，装置还包括：

缺陷区域确定模块44，用于根据缺陷区域检测算法，确定待检测图像中的待确定缺陷区域。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

下面，参考图6来描述根据本公开实施例的电子设备，其中可以集成本公开实施例实现方法的装置。图6为本公开一示意性实施例提供的电子设备的结构图，如图6所示，电子设备6包括一个或多个处理器61、一个或多个计算机可读存储介质的存储器62，以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器62的程序时，可以实现上述墙面缺陷检测方法。

具体的，在实际应用中，该电子设备还可以包括输入装置63、输出装置64等部件，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。本领域技术人员可以理解，图6中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者某些部件，或者不同的部件布置。其中：

处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，通过运行或执行存储在存储器62内的软件程序和/或模块，以及调用存储在存储器62内的数据，执行各种功能和处理数据，从而对该电子设备进行整体监控。

存储器62可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行程序指令，以实现上文的本公开的各个实施例的墙面缺陷检测方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

输入装置63可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆，光学或轨迹球信号输入。

输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

电子设备还可以包括给各个部件供电的电源，可以通过电源管理系统与处理器61逻辑相连，从而通过电源管理系统实现管理充电、放电，以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

当然，为了简化，图6中仅示出了该电子设备6中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备6还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的墙面缺陷检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的墙面缺陷检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (8)

1.一种墙面缺陷检测方法，其特征在于，所述方法包括：

确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；

基于所述光源成像点的世界坐标系坐标，确定所述待检测图像中的曝光区域，所述待检测图像为图像采集部件对所述已刷漆墙面采集的图像；

从所述待检测图像的待确定缺陷区域中抠除所述曝光区域，得到有效缺陷区域；

所述基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，包括：

将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标；

将所述待检测图像中以所述光源像素坐标为圆心的设定大小的圆形区域确定为所述曝光区域；

所述确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标，包括：

基于机械手的6D位姿和所述图像采集部件相对于所述机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，所述图像采集部件和所述机械手均设置在机械臂上，所述机械手的6D位姿通过机械手的控制软件实时获取，所述图像采集部件的6D位姿通过所述位姿转换矩阵左乘所述机械手的6D位姿得到；

基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，所述墙面方程用于指示所述已刷漆墙面上任意一点的坐标和墙面法向量。

2.根据权利要求1所述的方法，其特征在于，所述将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标，包括：

基于所述图像采集部件的外参矩阵，将所述光源成像点的世界坐标系坐标转换为所述光源成像点的相机坐标系坐标；

基于所述图像采集部件的内参矩阵，将所述光源成像点的相机坐标系坐标转换为所述光源成像点对应在所述待检测图像中的光源像素坐标。

3.根据权利要求1所述的方法，其特征在于，所述基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，包括：

基于镜面反射算法、所述已刷漆墙面的墙面方程以及所述高亮光源的世界坐标系坐标，计算所述高亮光源在所述已刷漆墙面另一侧的光源虚像点的世界坐标系坐标；

基于所述光源虚像点的世界坐标系坐标和所述图像采集部件的世界坐标系坐标，计算所述光源虚像点和所述图像采集部件所在直线的直线方程；

基于所述直线方程和所述已刷漆墙面的墙面方程，计算所述光源虚像点和所述图像采集部件所在直线与所述已刷漆墙面的交点的世界坐标系坐标；

将所述交点的世界坐标系坐标确定为所述光源成像点的世界坐标系坐标。

4.根据权利要求1所述的方法，其特征在于，所述基于机械手的6D位姿和所述图像采集部件相对于机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，包括：

计算所述位姿转换矩阵左乘所述机械手的6D位姿，得到所述图像采集部件的6D位姿。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据缺陷区域检测算法，确定所述待检测图像中的待确定缺陷区域。

6.一种墙面缺陷检测装置，其特征在于，所述装置包括：

光源坐标确定模块，用于确定采集待检测图像时高亮光源在已刷漆墙面上的光源成像点的世界坐标系坐标；

曝光区域确定模块，用于基于所述光源成像点的世界坐标系坐标，确定待检测图像中的曝光区域，所述待检测图像为图像采集部件对所述已刷漆墙面采集的图像；

抠除模块，用于从所述待检测图像的待确定缺陷区域中抠除所述曝光区域，得到有效缺陷区域；

所述曝光区域确定模块包括：

第一转换子模块，用于将所述光源成像点的世界坐标系坐标转换为待检测图像中的光源像素坐标；

第一确定子模块，用于将所述待检测图像中以所述光源像素坐标为圆心的设定大小的圆形区域确定为所述曝光区域；

所述光源坐标确定模块包括：

第一计算子模块，用于基于机械手的6D位姿和所述图像采集部件相对于机械手的位姿转换矩阵，计算所述图像采集部件的6D位姿，所述图像采集部件和所述机械手均设置在机械臂上，所述机械手的6D位姿通过机械手的控制软件实时获取，所述图像采集部件的6D位姿通过所述位姿转换矩阵左乘所述机械手的6D位姿得到；

第二确定子模块，用于基于所述高亮光源的世界坐标系坐标、所述图像采集部件的世界坐标系坐标，以及所述已刷漆墙面的墙面方程，确定所述高亮光源在所述已刷漆墙面上的光源成像点的世界坐标系坐标，所述墙面方程用于指示所述已刷漆墙面上任意一点的坐标和墙面法向量。

7.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-5任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-5任一所述的方法。

Images