CN117197132B - 类镜面缺陷投影方法、装置、电子设备及存储介质 - Google Patents
类镜面缺陷投影方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117197132B CN117197132B CN202311457594.4A CN202311457594A CN117197132B CN 117197132 B CN117197132 B CN 117197132B CN 202311457594 A CN202311457594 A CN 202311457594A CN 117197132 B CN117197132 B CN 117197132B
- Authority
- CN
- China
- Prior art keywords
- mirror
- coordinate system
- dimensional
- defect
- butterfly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000006243 chemical reaction Methods 0.000 claims abstract description 153
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 239000003550 marker Substances 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 25
- 238000013519 translation Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000011179 visual inspection Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 44
- 239000013598 vector Substances 0.000 description 28
- 239000011159 matrix material Substances 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请属于视觉检测的技术领域，公开了一种类镜面缺陷投影方法、装置、电子设备及存储介质，该方法包括：获取类镜面物体的缺陷的二维像素坐标，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，根据转换关系，将相机三维坐标转换为空间三维坐标，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，提高了缺陷定位的效率。
Description
技术领域
本申请涉及视觉检测的技术领域，具体而言，涉及一种类镜面缺陷投影方法、装置、电子设备及存储介质。
背景技术
现有对车漆面的检测主要人工通过眼睛看来寻找。由于缺陷的尺寸类型繁多，并且部分尺寸较小。人工长时间作业容易由于疲劳而导致漏检。从检查到的缺陷信息传递到维修一般通过人工用笔将缺陷标注在蝴蝶图上。使用车身的镜面/类镜面反射率以及折射光路的变换，判断车身上由于几何形变（凹陷、突起、刮蹭）或是材料变化（杂质）导致的漆面缺陷。配合机器人，可以实现对全车身的覆盖。但是，通过相机拍摄到的缺陷只存在于相机的二维平面，而且现存专利方法不具备完整系统地将二维图像空间的缺陷转换到三维车身空间，再投影到蝴蝶图上的方法。
因此，为了解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的技术问题，亟需一种类镜面缺陷投影方法、装置、电子设备及存储介质。
发明内容
本申请的目的在于提供一种类镜面缺陷投影方法、装置、电子设备及存储介质，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
第一方面，本申请提供了一种类镜面缺陷投影方法，用于对类镜面缺陷进行投影，包括步骤：
获取类镜面物体的缺陷的二维像素坐标；
运用PnP算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；
通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；
基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图。
本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
可选地，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标，包括：
设置所述相机的内参，以及设置所述参考平面和所述平面标志物；
运用所述PnP算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数；
根据所述内参、所述参考平面、所述平面标志物和所述转换函数，将所述二维像素坐标转换为所述相机三维坐标。
本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，通过手眼标定法和PnP算法，结合相机的内参、参考平面和平面标志物，将缺陷的二维像素坐标转换为相机三维坐标，能够快速将缺陷的二维空间坐标转换到相机的三维空间坐标，有利于提高类镜面缺陷的投影效率。
可选地，运用所述PnP算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数，包括：
运用所述PnP算法，根据所述参考平面，计算得到所述平面标志物在所述相机坐标系的位置坐标；
基于所述位置坐标，确定所述像素坐标系与所述相机坐标系的转换函数。
可选地，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，包括：
运用所述手眼标定法，通过所述相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定所述相机坐标系与所述法兰盘坐标系的空间转换关系，记为第一转换关系；
根据所述第一转换关系，通过所述法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定所述法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；
根据所述第二转换关系，通过所述机器人坐标系原点与所述类镜面物体坐标系原点的旋转和平移，确定所述机器人坐标系与所述类镜面物体坐标系的转换关系，记为第三转换关系；
汇总所述第一转换关系、所述第二转换关系和所述第三转换关系，得到所述相机坐标系与所述类镜面物体坐标系的转换关系。
本申请提供的类镜面缺陷投影方法可以实现对类镜面缺陷进行投影，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，通过该转换关系，能够将类镜面物体的缺陷从相机的三维空间坐标转换为类镜面物体自身的三维空间坐标，有利于提高类镜面缺陷的投影效率
可选地，基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图，包括：
根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面；
基于垂直于所述类镜面物体各部位且与所述类镜面物体各部位的边缘相切的相切平面，计算得到所述类镜面物体各部位的轴对齐矩形边界框；
以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图。
可选地，根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面，包括：
通过搜索算法，确定所述空间三维坐标中各缺陷对应的所述类镜面物体的部位；
根据所述类镜面物体各缺陷所在部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面。
可选地，以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图，包括：
以所述轴对齐矩形边界框的极大点或极小点为依据，计算得到所述空间三维坐标对应在所述蝴蝶图上的蝴蝶二维坐标;
基于所述蝴蝶二维坐标和所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到初步缺陷二维蝴蝶图；
根据所述类镜面物体的缺陷的实际大小，调整所述初步缺陷二维蝴蝶图，得到所述缺陷二维蝴蝶图。
第二方面，本申请提供了一种类镜面缺陷投影装置，用于对类镜面缺陷进行投影，包括：
获取模块，用于获取类镜面物体的缺陷的二维像素坐标；
第一转换模块，用于运用PnP算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；
构建模块，用于通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
第二转换模块，用于根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；
投影模块，用于基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图。
该类镜面缺陷投影装置，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述类镜面缺陷投影方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述类镜面缺陷投影方法中的步骤。
有益效果：本申请提供的类镜面缺陷投影方法、装置、电子设备及存储介质，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
附图说明
图1为本申请实施例提供的类镜面缺陷投影方法的流程图。
图2为本申请实施例提供的类镜面缺陷投影装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为汽车车身外观展开示意图。
图5为相机坐标系与类镜面物体坐标系的转换关系示意图。
图6为缺陷二维蝴蝶图的缺陷展示示意图。
标号说明：1、获取模块；2、第一转换模块；3、构建模块；4、第二转换模块；5、投影模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种类镜面缺陷投影方法，用于对类镜面缺陷进行投影，包括：
步骤S101，获取类镜面物体的缺陷的二维像素坐标；
步骤S102，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标；
步骤S103，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
步骤S104，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标；
步骤S105，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。
需要说明的是，蝴蝶图为类镜面物体的外观平面展开示意图，是将类镜面物体外表面的各个平面进行展开之后的图片，是一个类似蝴蝶形状的图片，因此被称为蝴蝶图。如图4所示，图4为汽车车身外观展开示意图，其中，汽车属于类镜面物体，黑色字体为对应位置的说明，由图4可以得知，将汽车车身外观进行展开之后的示意图呈蝴蝶形状。
该类镜面缺陷投影方法，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
具体地，在步骤S101中，获取类镜面物体的缺陷的二维像素坐标，记为(u, v)。通过相机拍摄类镜面物体的图像，利用图像分析方法识别该图像中的缺陷，并提取该缺陷的二维像素坐标。
具体地，在步骤S102中，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，包括：
设置相机的内参，以及设置参考平面和平面标志物；
运用PnP算法，基于参考平面和平面标志物，确定像素坐标系与相机坐标系的转换函数；
根据内参、参考平面、平面标志物和转换函数，将二维像素坐标转换为相机三维坐标（即在相机坐标系下的三维坐标）。
在步骤S102中，设置相机的内参，包括相机拍摄图像在x方向的投影焦距（fx）和在y方向的投影焦距（fy）及相机拍摄图像上的投影中心（cx、cy）。将平面标志物（如一块标志板）放置在类镜面物体坐标系的原点位置，根据类镜面物体的位姿设置平面标志物的位姿（即将平面标志物的位姿设置与类镜面物体的位姿一样），以平面标志物顶面所在方向的平面（即平面标志物在类镜面物体坐标系原点位置的平面）为参考平面，将设置有相机的拍摄机器人移动到固定拍照位置，获取参考平面和平面标志物的图像。
具体地，在步骤S102中，运用PnP算法，基于参考平面和平面标志物，确定像素坐标系与相机坐标系的转换函数，包括：
运用PnP算法，根据参考平面，计算得到平面标志物在相机坐标系的位置坐标；
基于位置坐标（平面标志物在相机坐标系的位置坐标），确定像素坐标系与相机坐标系的转换函数。
在步骤S102中，假设平面标志物在参考平面坐标系的坐标为（，/>），则平面标志物在自身的三维坐标系中的坐标为（/>，/>，1）（（/>，/>，1）中的1为坐标从二维坐标系拓展到三维坐标系后为方便计算而设置的数值，该数值没有实际意义），运用PnP算法（Perspective-n-Point算法），利用PnP算法中现有的P3P算法，根据参考平面，计算得到平面标志物在相机坐标系的位置坐标，基于该位置坐标，确定像素坐标系（二维图像坐标所在的坐标系）与相机坐标系的转换函数。
根据内参、参考平面、平面标志物和转换函数，将二维像素坐标转换为相机三维坐标（在相机坐标系中的坐标）。
像素坐标系与相机坐标系的转换函数为小孔变换投影模型，具体为：
；
其中，x、y分别为像素坐标系中任意一点的横坐标和纵坐标，和/>是从平面标志物自身的三维坐标系转换到相机坐标系的旋转矩阵RCW的前两列，/>是坐标系转换中原点的平移向量(即从平面标志物自身的三维坐标系原点指向相机坐标系原点的向量），/>为像素坐标系中任意一点在相机坐标系的竖坐标。
将上述模型的矩阵进行简化计算，定义中间矩阵G为：
；
其中，g11、g12、g13、g21、g22、g23、g31、g32、g33分别为矩阵与矩阵相乘得到的计算结果。
由此可以得出像素坐标系中任意一点在相机坐标系的竖坐标为：
；
再次根据小孔变换投影模型，可以计算得到：
；
；
其中，、/>分别为像素坐标系中像素点（x，y）在相机坐标系的横坐标和纵坐标。
至此，像素坐标系中每一个像素点在相机坐标系的坐标都可以获得。类镜面物体的缺陷的二维像素坐标(u, v)转换为相机坐标系的坐标为（，/>，/>），其中，，/>，/>。
具体地，在步骤S103中，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，包括：
运用手眼标定法，通过相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定相机坐标系与法兰盘坐标系的空间转换关系，记为第一转换关系；
根据第一转换关系，通过法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；
根据第二转换关系，通过机器人坐标系原点与类镜面物体坐标系原点的旋转和平移，确定机器人坐标系与类镜面物体坐标系的转换关系，记为第三转换关系；
汇总第一转换关系、第二转换关系和第三转换关系，得到相机坐标系与类镜面物体坐标系的转换关系。
在步骤S103中，运用手眼标定法，通过不同坐标系原点之间的旋转和平移，能够确定不同坐标系之间的转换关系。根据相机坐标系原点与法兰盘坐标系原点的旋转矩阵和平移向量，计算得到相机坐标系与法兰盘坐标系的空间转换关系为第一转换关系，根据法兰盘坐标系原点与机器人坐标系原点的旋转矩阵和平移向量，确定法兰盘坐标系与机器人坐标系的转换关系为第二转换关系，根据机器人坐标系原点与类镜面物体坐标系原点的旋转矩阵和平移向量，确定机器人坐标系与类镜面物体坐标系的转换关系为第三转换关系，将第一转换关系、第二转换关系和第三转换关系相乘，获得了从相机坐标系转换到类镜面物体坐标系的转换矩阵（相机坐标系与类镜面物体坐标系的转换关系）。
具体地，在步骤S104中，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标（类镜面物体坐标系的三维坐标），转换过程具体为：
；
其中，为第三转换关系，/>为第二转换关系，/>为第一转换关系，/>代表缺陷在类镜面物体坐标系下的坐标，/>代表缺陷在相机坐标系下的坐标。如图5所示，图5为相机坐标系与类镜面物体坐标系的转换关系示意图，其中，汽车为类镜面物体，车身坐标系为类镜面物体坐标系，/>为对应调整的第三转换关系。
具体地，在步骤S105中，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图，包括：
根据类镜面物体各部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面；
基于垂直于类镜面物体各部位且与类镜面物体各部位的边缘相切的相切平面，计算得到类镜面物体各部位的轴对齐矩形边界框；
以轴对齐矩形边界框的极大点或极小点为依据，结合对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。
具体地，在步骤S105中，根据类镜面物体各部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面，包括：
通过搜索算法，确定空间三维坐标中各缺陷对应的类镜面物体的部位；
根据类镜面物体各缺陷所在部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面。
在步骤S105中，通过搜索算法，根据空间三维坐标中各缺陷所在的位置，确定各缺陷在类镜面物体的部位和位置，根据类镜面物体各缺陷所在部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面，确定类镜面物体各部位的所在平面（或平行于类镜面物体各部位的所在平面的平面）为对应的投影平面。例如，假设缺陷在汽车的前盖上，则对应的投影平面为垂直于向量k1（0，0，1）的平面，即与由向量k2（1，0，0）与向量k3（0，1，0）组成的平面（汽车的前盖所在的平面）平行的平面为投影平面，如果缺陷在汽车的左侧门上，则对应的投影平面为垂直于向量k2（1，0，0）的平面，即与由向量k1（0，0，1）与向量k3（0，1，0）组成的平面（汽车的侧门所在的平面）平行的平面为投影平面。
具体地，在步骤S105中，通过垂直于类镜面物体各部位的相切平面，可以计算出轴对齐矩形边界框（AABB（Axis-Aligned Bounding Box）包络），从而得到轴对齐矩形边界框的极大对角坐标和极小对角坐标。轴对齐矩形边界框的计算方式可由三维处理软件自带的算法进行自动计算。
具体地，在步骤S105中，以轴对齐矩形边界框的极大点或极小点为依据，结合对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图，包括：
以轴对齐矩形边界框的极大点或极小点为依据，计算得到空间三维坐标对应在蝴蝶图上的蝴蝶二维坐标;
基于蝴蝶二维坐标和对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到初步缺陷二维蝴蝶图；
根据类镜面物体的缺陷的实际大小，调整初步缺陷二维蝴蝶图，得到缺陷二维蝴蝶图。
在步骤S105中，以轴对齐矩形边界框的极大点（极大对角坐标）或极小点（极小对角坐标）为依据，计算得到空间三维坐标对应在蝴蝶图上的蝴蝶二维坐标，计算过程具体为：
；
；
其中，（）是缺陷在蝴蝶图中对应的投影平面上的投影点，（）是缺陷在类镜面物体表面上的坐标，（/>）是轴对齐矩形边界框上的极大点或极小点，/>是投影平面对应的法向量（单位向量）。dm为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边的距离，m取值为1或2，d1为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边中横坐标方向的边的距离，d2为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边中纵坐标方向的边的距离，/>为/>对应的向量，l和w分别是轴对齐矩形边界框的长度和宽度，cols是蝴蝶图中像素点的列数，rows是蝴蝶图中像素点的行数，/>和/>分别为缺陷在蝴蝶图上的横坐标和纵坐标。
基于蝴蝶二维坐标和对应的投影平面，进行缺陷投影，得到初步缺陷二维蝴蝶图，初步缺陷二维蝴蝶图中记录的缺陷图案的大小是预设大小，因此，需要根据类镜面物体的缺陷的实际大小，调整初步缺陷二维蝴蝶图的缺陷图案大小，得到缺陷二维蝴蝶图。
如图6所示，图6为缺陷二维蝴蝶图的缺陷展示示意图，其中，以汽车为类镜面物体的例子，图中灰色部分为汽车三个部件对应在缺陷二维蝴蝶图上的投影，灰色部分的黑点即为缺陷位置。
由上可知，该类镜面缺陷投影方法，通过获取类镜面物体的缺陷的二维像素坐标，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图；从而，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
参考图2，本申请提供了一种类镜面缺陷投影装置，用于对类镜面缺陷进行投影，包括：
获取模块1，用于获取类镜面物体的缺陷的二维像素坐标；
第一转换模块2，用于运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标；
构建模块3，用于通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
第二转换模块4，用于根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标；
投影模块5，用于基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。
需要说明的是，蝴蝶图为类镜面物体的外观平面展开示意图，是将类镜面物体外表面的各个平面进行展开之后的图片，是一个类似蝴蝶形状的图片，因此被称为蝴蝶图。如图4所示，图4为汽车车身外观展开示意图，其中，汽车属于类镜面物体，黑色字体为对应位置的说明，由图4可以得知，将汽车车身外观进行展开之后的示意图呈蝴蝶形状。
该类镜面缺陷投影装置，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
具体地，获取模块1在执行时，获取类镜面物体的缺陷的二维像素坐标，记为(u,v)。通过相机拍摄类镜面物体的图像，利用图像分析方法识别该图像中的缺陷，并提取该缺陷的二维像素坐标。
具体地，第一转换模块2在运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标的时候，执行：
设置相机的内参，以及设置参考平面和平面标志物；
运用PnP算法，基于参考平面和平面标志物，确定像素坐标系与相机坐标系的转换函数；
根据内参、参考平面、平面标志物和转换函数，将二维像素坐标转换为相机三维坐标（即在相机坐标系下的三维坐标）。
第一转换模块2在执行时，设置相机的内参，包括相机拍摄图像在x方向的投影焦距（fx）和在y方向的投影焦距（fy）及相机拍摄图像上的投影中心（cx、cy）。将平面标志物（如一块标志板）放置在类镜面物体坐标系的原点位置，根据类镜面物体的位姿设置平面标志物的位姿（即将平面标志物的位姿设置与类镜面物体的位姿一样），以平面标志物顶面所在方向的平面（即平面标志物在类镜面物体坐标系原点位置的平面）为参考平面，将设置有相机的拍摄机器人移动到固定拍照位置，获取参考平面和平面标志物的图像。
具体地，第一转换模块2在运用PnP算法，基于参考平面和平面标志物，确定像素坐标系与相机坐标系的转换函数的时候，执行：
运用PnP算法，根据参考平面，计算得到平面标志物在相机坐标系的位置坐标；
基于位置坐标（平面标志物在相机坐标系的位置坐标），确定像素坐标系与相机坐标系的转换函数。
第一转换模块2在执行时，假设平面标志物在参考平面坐标系的坐标为（，/>），则平面标志物在自身的三维坐标系中的坐标为（/>，/>，1）（（/>，/>，1）中的1为坐标从二维坐标系拓展到三维坐标系后为方便计算而设置的数值，该数值没有实际意义），运用PnP算法（Perspective-n-Point算法），利用PnP算法中现有的P3P算法，根据参考平面，计算得到平面标志物在相机坐标系的位置坐标，基于该位置坐标，确定像素坐标系（二维图像坐标所在的坐标系）与相机坐标系的转换函数。
根据内参、参考平面、平面标志物和转换函数，将二维像素坐标转换为相机三维坐标（在相机坐标系中的坐标）。
像素坐标系与相机坐标系的转换函数为小孔变换投影模型，具体为：
；
其中，x、y分别为像素坐标系中任意一点的横坐标和纵坐标，和/>是从平面标志物自身的三维坐标系转换到相机坐标系的旋转矩阵RCW的前两列，/>是坐标系转换中原点的平移向量(即从平面标志物自身的三维坐标系原点指向相机坐标系原点的向量），/>为像素坐标系中任意一点在相机坐标系的竖坐标。
将上述模型的矩阵进行简化计算，定义中间矩阵G为：
；
其中，g11、g12、g13、g21、g22、g23、g31、g32、g33分别为矩阵与矩阵相乘得到的计算结果。
由此可以得出像素坐标系中任意一点在相机坐标系的竖坐标为：
；
再次根据小孔变换投影模型，可以计算得到：
；
；
其中，、/>分别为像素坐标系中像素点（x，y）在相机坐标系的横坐标和纵坐标。
至此，像素坐标系中每一个像素点在相机坐标系的坐标都可以获得。类镜面物体的缺陷的二维像素坐标(u, v)转换为相机坐标系的坐标为（，/>，/>），其中，，/>，/>。
具体地，构建模块3在通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系的时候，执行：
具体地，构建模块3在通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系的时候，执行：
运用手眼标定法，通过相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定相机坐标系与法兰盘坐标系的空间转换关系，记为第一转换关系；
根据第一转换关系，通过法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；
根据第二转换关系，通过机器人坐标系原点与类镜面物体坐标系原点的旋转和平移，确定机器人坐标系与类镜面物体坐标系的转换关系，记为第三转换关系；
汇总第一转换关系、第二转换关系和第三转换关系，得到相机坐标系与类镜面物体坐标系的转换关系。
构建模块3在执行时，运用手眼标定法，通过不同坐标系原点之间的旋转和平移，能够确定不同坐标系之间的转换关系。根据相机坐标系原点与法兰盘坐标系原点的旋转矩阵和平移向量，计算得到相机坐标系与法兰盘坐标系的空间转换关系为第一转换关系，根据法兰盘坐标系原点与机器人坐标系原点的旋转矩阵和平移向量，确定法兰盘坐标系与机器人坐标系的转换关系为第二转换关系，根据机器人坐标系原点与类镜面物体坐标系原点的旋转矩阵和平移向量，确定机器人坐标系与类镜面物体坐标系的转换关系为第三转换关系，将第一转换关系、第二转换关系和第三转换关系相乘，获得了从相机坐标系转换到类镜面物体坐标系的转换矩阵（相机坐标系与类镜面物体坐标系的转换关系）。
具体地，第二转换模块4在执行时，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标（类镜面物体坐标系的三维坐标），转换过程具体为：
；
其中，为第三转换关系，/>为第二转换关系，/>为第一转换关系，/>代表缺陷在类镜面物体坐标系下的坐标，/>代表缺陷在相机坐标系下的坐标。如图5所示，图5为相机坐标系与类镜面物体坐标系的转换关系示意图，其中，汽车为类镜面物体，车身坐标系为类镜面物体坐标系，/>为对应调整的第三转换关系。
具体地，投影模块5在基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图的时候，执行：
根据类镜面物体各部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面；
基于垂直于类镜面物体各部位且与类镜面物体各部位的边缘相切的相切平面，计算得到类镜面物体各部位的轴对齐矩形边界框；
以轴对齐矩形边界框的极大点或极小点为依据，结合对应的投影平面，将所述空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。
具体地，投影模块5在根据类镜面物体各部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面的时候，执行：
通过搜索算法，确定空间三维坐标中各缺陷对应的类镜面物体的部位；
根据类镜面物体各缺陷所在部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面。
投影模块5在执行时，通过搜索算法，根据空间三维坐标中各缺陷所在的位置，确定各缺陷在类镜面物体的部位和位置，根据类镜面物体各缺陷所在部位的平面位置，确定蝴蝶图关于类镜面物体各部位对应的投影平面，确定类镜面物体各部位的所在平面（或平行于类镜面物体各部位的所在平面的平面）为对应的投影平面。例如，假设缺陷在汽车的前盖上，则对应的投影平面为垂直于向量k1（0，0，1）的平面，即与由向量k2（1，0，0）与向量k3（0，1，0）组成的平面（汽车的前盖所在的平面）平行的平面为投影平面，如果缺陷在汽车的左侧门上，则对应的投影平面为垂直于向量k2（1，0，0）的平面，即与由向量k1（0，0，1）与向量k3（0，1，0）组成的平面（汽车的侧门所在的平面）平行的平面为投影平面。
具体地，投影模块5在执行时，通过垂直于类镜面物体各部位的相切平面，可以计算出轴对齐矩形边界框（AABB（Axis-Aligned Bounding Box）包络），从而得到轴对齐矩形边界框的极大对角坐标和极小对角坐标。轴对齐矩形边界框的计算方式可由三维处理软件自带的算法进行自动计算。
具体地，投影模块5在以轴对齐矩形边界框的极大点或极小点为依据，结合对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图的时候，执行：
以轴对齐矩形边界框的极大点或极小点为依据，计算得到空间三维坐标对应在蝴蝶图上的蝴蝶二维坐标;
基于蝴蝶二维坐标和对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到初步缺陷二维蝴蝶图；
根据类镜面物体的缺陷的实际大小，调整初步缺陷二维蝴蝶图，得到缺陷二维蝴蝶图。
投影模块5在执行时，以轴对齐矩形边界框的极大点（极大对角坐标）或极小点（极小对角坐标）为依据，计算得到空间三维坐标对应在蝴蝶图上的蝴蝶二维坐标，计算过程具体为：
；
；
；
其中，（）是缺陷在蝴蝶图中对应的投影平面上的投影点，（/>）是缺陷在类镜面物体表面上的坐标，（/>）是轴对齐矩形边界框上的极大点或极小点，/>是投影平面对应的法向量（单位向量）。dm为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边的距离，m取值为1或2，d1为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边中横坐标方向的边的距离，d2为缺陷在对应的投影平面上的投影点到蝴蝶图任意相邻两边中纵坐标方向的边的距离，/>为/>对应的向量，l和w分别是轴对齐矩形边界框的长度和宽度，cols是蝴蝶图中像素点的列数，rows是蝴蝶图中像素点的行数，/>和/>分别为缺陷在蝴蝶图上的横坐标和纵坐标。
基于蝴蝶二维坐标和对应的投影平面，进行缺陷投影，得到初步缺陷二维蝴蝶图，初步缺陷二维蝴蝶图中记录的缺陷图案的大小是预设大小，因此，需要根据类镜面物体的缺陷的实际大小，调整初步缺陷二维蝴蝶图的缺陷图案大小，得到缺陷二维蝴蝶图。
如图6所示，图6为缺陷二维蝴蝶图的缺陷展示示意图，其中，以汽车为类镜面物体的例子，图中灰色部分为汽车三个部件对应在缺陷二维蝴蝶图上的投影，灰色部分的黑点即为缺陷位置。
由上可知，该类镜面缺陷投影装置，通过获取类镜面物体的缺陷的二维像素坐标，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图；从而，运用手眼标定法和PnP算法，将缺陷从二维图像空间转换到三维空间，结合类镜面物体对应蝴蝶图的投影平面，将三维空间的缺陷投影到蝴蝶图上，解决现有的类镜面缺陷投影技术不能够完整地将缺陷从二维图像空间转换到三维空间再投影到蝴蝶图上的问题，能够完整地将类镜面物体的缺陷投影到蝴蝶图上，提高了类镜面缺陷的投影效率。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的类镜面缺陷投影方法，以实现以下功能：获取类镜面物体的缺陷的二维像素坐标，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的类镜面缺陷投影方法，以实现以下功能：获取类镜面物体的缺陷的二维像素坐标，运用PnP算法，利用相机以及设置的参考平面和平面标志物，将二维像素坐标转换为相机三维坐标，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，根据相机坐标系与类镜面物体坐标系的转换关系，将相机三维坐标转换为空间三维坐标，基于类镜面物体各部位在蝴蝶图上对应的投影平面，将空间三维坐标投影到蝴蝶图上，得到缺陷二维蝴蝶图。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（StaticRandom Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种类镜面缺陷投影方法，用于对类镜面缺陷进行投影，其特征在于，包括步骤：
获取类镜面物体的缺陷的二维像素坐标；
运用Perspective-n-Point算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；
通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；
基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图。
2.根据权利要求1所述的类镜面缺陷投影方法，其特征在于，运用Perspective-n-Point算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标，包括：
设置所述相机的内参，以及设置所述参考平面和所述平面标志物；
运用所述Perspective-n-Point算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数；
根据所述内参、所述参考平面、所述平面标志物和所述转换函数，将所述二维像素坐标转换为所述相机三维坐标。
3.根据权利要求2所述的类镜面缺陷投影方法，其特征在于，运用所述Perspective-n-Point算法，基于所述参考平面和所述平面标志物，确定像素坐标系与相机坐标系的转换函数，包括：
运用所述Perspective-n-Point算法，根据所述参考平面，计算得到所述平面标志物在所述相机坐标系的位置坐标；
基于所述位置坐标，确定所述像素坐标系与所述相机坐标系的转换函数。
4.根据权利要求1所述的类镜面缺陷投影方法，其特征在于，通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系，包括：
运用所述手眼标定法，通过所述相机坐标系原点与法兰盘坐标系原点的旋转和平移，确定所述相机坐标系与所述法兰盘坐标系的空间转换关系，记为第一转换关系；
根据所述第一转换关系，通过所述法兰盘坐标系原点与机器人坐标系原点的旋转和平移，确定所述法兰盘坐标系与机器人坐标系的转换关系，记为第二转换关系；
根据所述第二转换关系，通过所述机器人坐标系原点与所述类镜面物体坐标系原点的旋转和平移，确定所述机器人坐标系与所述类镜面物体坐标系的转换关系，记为第三转换关系；
汇总所述第一转换关系、所述第二转换关系和所述第三转换关系，得到所述相机坐标系与所述类镜面物体坐标系的转换关系。
5.根据权利要求1所述的类镜面缺陷投影方法，其特征在于，基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图，包括：
根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面；
基于垂直于所述类镜面物体各部位且与所述类镜面物体各部位的边缘相切的相切平面，计算得到所述类镜面物体各部位的轴对齐矩形边界框；
以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图。
6.根据权利要求5所述的类镜面缺陷投影方法，其特征在于，根据所述类镜面物体各部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面，包括：
通过搜索算法，确定所述空间三维坐标中各缺陷对应的所述类镜面物体的部位；
根据所述类镜面物体各缺陷所在部位的平面位置，确定所述蝴蝶图关于所述类镜面物体各部位对应的投影平面。
7.根据权利要求5所述的类镜面缺陷投影方法，其特征在于，以所述轴对齐矩形边界框的极大点或极小点为依据，结合所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到所述缺陷二维蝴蝶图，包括：
以所述轴对齐矩形边界框的极大点或极小点为依据，计算得到所述空间三维坐标对应在所述蝴蝶图上的蝴蝶二维坐标;
基于所述蝴蝶二维坐标和所述对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到初步缺陷二维蝴蝶图；
根据所述类镜面物体的缺陷的实际大小，调整所述初步缺陷二维蝴蝶图，得到所述缺陷二维蝴蝶图。
8.一种类镜面缺陷投影装置，用于对类镜面缺陷进行投影，其特征在于，包括：
获取模块，用于获取类镜面物体的缺陷的二维像素坐标；
第一转换模块，用于运用Perspective-n-Point算法，利用相机以及设置的参考平面和平面标志物，将所述二维像素坐标转换为相机三维坐标；
构建模块，用于通过手眼标定法，构建相机坐标系与类镜面物体坐标系的转换关系；
第二转换模块，用于根据所述相机坐标系与类镜面物体坐标系的转换关系，将所述相机三维坐标转换为空间三维坐标；
投影模块，用于基于所述类镜面物体各部位在蝴蝶图上对应的投影平面，将所述空间三维坐标投影到所述蝴蝶图上，得到缺陷二维蝴蝶图。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述类镜面缺陷投影方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述类镜面缺陷投影方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311457594.4A CN117197132B (zh) | 2023-11-03 | 2023-11-03 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311457594.4A CN117197132B (zh) | 2023-11-03 | 2023-11-03 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197132A CN117197132A (zh) | 2023-12-08 |
| CN117197132B true CN117197132B (zh) | 2024-02-13 |
Family
ID=88990898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311457594.4A Active CN117197132B (zh) | 2023-11-03 | 2023-11-03 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197132B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106856003A (zh) * | 2016-12-31 | 2017-06-16 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
| CN114952856A (zh) * | 2022-06-16 | 2022-08-30 | 江西省智能产业技术创新研究院 | 机械臂手眼标定方法、系统、计算机及可读存储介质 |
| CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
| CN116739885A (zh) * | 2023-04-27 | 2023-09-12 | 杭州联汇科技股份有限公司 | 一种全景图像的数据存储方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445502A (zh) * | 2020-11-06 | 2022-05-06 | 财团法人工业技术研究院 | 多摄影机定位调度系统及方法 |
-
2023
- 2023-11-03 CN CN202311457594.4A patent/CN117197132B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106856003A (zh) * | 2016-12-31 | 2017-06-16 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
| CN114952856A (zh) * | 2022-06-16 | 2022-08-30 | 江西省智能产业技术创新研究院 | 机械臂手眼标定方法、系统、计算机及可读存储介质 |
| CN116739885A (zh) * | 2023-04-27 | 2023-09-12 | 杭州联汇科技股份有限公司 | 一种全景图像的数据存储方法 |
| CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Defects Detection in Highly Specular Surface using a Combination of Stereo and Laser Reconstruction;Arpita Dawda et al.;《2020 35th International Conference on Image and Vision Computing New Zealand (IVCNZ)》;第1-6页 * |
| 五金工件表面缺陷检测技术与系统;黄景维;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;第B024-600页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197132A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bogdan et al. | DeepCalib: A deep learning approach for automatic intrinsic calibration of wide field-of-view cameras | |
| ES2642571T3 (es) | Procedimiento y aparato para obtener datos fotogramétricos para estimar la gravedad de un impacto | |
| Ying et al. | Catadioptric camera calibration using geometric invariants | |
| US20190188871A1 (en) | Alignment of captured images by fusing colour and geometrical information | |
| CN104994367B (zh) | 一种图像矫正方法以及摄像头 | |
| JP2018519696A (ja) | 画像の線からのカメラの外部パラメータ推定 | |
| US20030067462A1 (en) | Evaluating method, generating method and apparatus for three-dimensional shape model | |
| CN106952219B (zh) | 一种基于外参数修正鱼眼像机的图像生成方法 | |
| CN112562014A (zh) | 相机标定方法、系统、介质及装置 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN109214350B (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
| Swaminathan et al. | Designing mirrors for catadioptric systems that minimize image errors | |
| CN115272477A (zh) | 应用于全景影像拼接的棋盘格编码角点检测算法 | |
| EP3967969B1 (en) | Fisheye camera calibration system, method and apparatus, electronic device, and storage medium | |
| CN114004890B (zh) | 姿态确定方法、装置、电子设备和存储介质 | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| Sun et al. | A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines | |
| CN117197132B (zh) | 类镜面缺陷投影方法、装置、电子设备及存储介质 | |
| CN111327892B (zh) | 一种智能终端多摄像头静态成像解析力测试方法及装置 | |
| CN117557466A (zh) | 基于成像条件的光学遥感影像目标图像增强方法及装置 | |
| CN110458951B (zh) | 一种电网杆塔的建模数据获取方法及相关装置 | |
| Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images | |
| CN116524041A (zh) | 一种相机标定方法、装置、设备及介质 | |
| CN110163922A (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |