CN116542977B - 图像处理方法、装置、设备、存储介质和程序产品 - Google Patents
图像处理方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116542977B CN116542977B CN202310820447.2A CN202310820447A CN116542977B CN 116542977 B CN116542977 B CN 116542977B CN 202310820447 A CN202310820447 A CN 202310820447A CN 116542977 B CN116542977 B CN 116542977B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional image
- contour
- ellipse
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000013507 mapping Methods 0.000 claims abstract description 79
- 238000003466 welding Methods 0.000 claims abstract description 57
- 230000007547 defect Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 109
- 239000011324 bead Substances 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 17
- 238000005549 size reduction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 73
- 230000008569 process Effects 0.000 abstract description 51
- 238000004140 cleaning Methods 0.000 abstract description 40
- 238000007789 sealing Methods 0.000 abstract description 11
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000007689 inspection Methods 0.000 description 8
- 230000002950 deficient Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010926 purge Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、设备、存储介质和程序产品，方法包括：分别在获取的目标对象的二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆，并根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。本申请实施例实现了无需清洗圈便可以将二维图像与三维图像进行配准处理，能够使得本申请实施例的图像配准方法可以适用于无清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等密封钉焊接工艺的缺陷检测中。可见，本申请实施例可以适配不同焊接工艺的生产场景，有利于提高焊接缺陷检测的检测效率。
Description
技术领域
本申请涉及焊接检测技术领域，尤其涉及一种图像处理方法、装置、设备、存储介质和程序产品。
背景技术
密封钉焊接工序是动力电池生产过程中的不可或缺的工序，其中，密封钉焊接区域会产生一条环形焊道。由于焊接设备及工艺等原因，焊道上经常会存在一些可能会影响电池质量安全的缺陷，例如爆点、台阶、凹坑或者凸起等。为保证电池产品出厂的质量安全，需要对焊道上的缺陷进行检测。
通常情况下，通过对采集的二维焊道图像和三维焊道图像分别进行检测，得到二维焊道图像的缺陷区域和三维焊道图像的缺陷区域。对于类似于凹坑或者凸起等缺陷，通过二维检测方式往往无法分辨出凹陷还是凸起，需要与三维检测方式结合判断，因此，需要将二维焊道图像与三维焊道图像进行配准处理，以便于可以将二维焊道图像中的缺陷区域配准到三维焊道图像中。
相关技术中，通过根据二维焊道图像中的清洗圈与三维焊道图像中的清洗圈来进行配准处理。但是由于工艺情况复杂和/或电芯型号多变等因素，部分焊道图像中可能没有清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等情况，导致无法进行配准处理。
发明内容
鉴于上述问题，本申请提供一种图像处理方法、装置、设备、存储介质和程序产品，能够解决相关技术中无法配准处理的问题。
第一方面，本申请提供了一种图像处理方法，方法包括：
获取目标对象的二维图像和三维图像，其中，目标对象为环形状；
分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆；
根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。
本申请实施例的技术方案中，通过根据目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆和目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系的方式，实现了无需清洗圈便可以将二维图像与三维图像进行配准处理，能够使得本申请实施例的图像配准方法可以适用于无清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等密封钉焊接工艺的缺陷检测中。可见，本申请实施例可以适配不同焊接工艺的生产场景，有利于提高焊接缺陷检测的检测效率。
在一些实施例中，分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆，包括：
分别在二维图像和三维图像中确定轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点；
分别对多个第一轮廓骨架点和多个第二轮廓骨架点进行拟合处理，得到第一拟合椭圆和第二拟合椭圆。
本申请实施例的技术方案中，由于本申请实施例中的目标对象的轮廓骨架在二维图像中对应的多个第一轮廓骨架点可以准确地表示目标对象的轮廓骨架在二维图像中的位置信息，以及目标对象的轮廓骨架在三维图像中对应的多个第二轮廓骨架点可以准确地表示目标对象的轮廓骨架在三维图像中的位置信息，因此，本申请实施例中通过根据轮廓骨架在二维图像中对应的多个第一轮廓骨架点和轮廓骨架在三维图像中对应的多个第二轮廓骨架点分别进行拟合处理的方式，可以准确有效地确定出目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆和目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，以便于可以根据第一拟合椭圆和第二拟合椭圆可以准确地确定二维图像与三维图像之间的区域映射关系。
在一些实施例中，分别在二维图像和三维图像中确定轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点，包括：
分别对二维图像和三维图像进行语义分割处理，得到目标对象的第一掩膜图像和第二掩膜图像；
分别对第一掩膜图像和第二掩膜图像进行轮廓骨架提取处理，得到多个第一轮廓骨架点和多个第二轮廓骨架点。
在一些实施例中，分别对第一掩膜图像和第二掩膜图像进行轮廓骨架提取处理，得到多个第一轮廓骨架点和多个第二轮廓骨架点，包括：
分别对第一掩膜图像和第二掩膜图像进行二值化处理；
分别对二值化处理后得到的第一中间图像和第二中间图像进行去噪处理；
分别对去噪处理后得到的第一去噪图像和第二去噪图像进行图像尺寸还原处理，以得到与第一掩膜图像的尺寸相同的第一轮廓骨架图像，以及与第二掩膜图像的尺寸相同的第二轮廓骨架图像，第一轮廓骨架图像包含多个第一轮廓骨架点，第二轮廓骨架图像包括多个第二轮廓骨架点。
在一些实施例中，分别对第一掩膜图像和第二掩膜图像进行二值化处理之前，方法还包括：
分别对第一掩膜图像和第二掩膜图像进行降采样处理；
对应地，分别对第一掩膜图像和第二掩膜图像进行二值化处理，包括：
分别对降采样处理后的第一掩膜图像和降采样处理后的第二掩膜图像进行二值化处理。
在一些实施例中，根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，包括：
分别在第一拟合椭圆和第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点，其中，第一轮廓基准点在第一拟合椭圆中的位置和第二轮廓基准点在第二拟合椭圆中的位置相同；
根据第一轮廓基准点和第二轮廓基准点，确定区域映射关系。
本申请实施例的技术方案中，由于第一拟合椭圆中的第一轮廓基准点和第二拟合椭圆中的第二轮廓基准点相较于其它位置的坐标点更具有代表性，因此，根据第一轮廓基准点和第二轮廓基准点，可以得到泛化性较好的区域映射关系，以便于可以对二维图像和三维图像进行准确地配准处理。
在一些实施例中，第一轮廓基准点包括：第一拟合椭圆中的中心点、第一拟合椭圆的预设长轴端点和第一拟合椭圆的预设短轴端点；
第二轮廓基准点包括：第二拟合椭圆中的中心点、第二拟合椭圆的预设长轴端点和第二拟合椭圆的预设短轴端点。
在一些实施例中，方法还包括：
根据区域映射关系将从二维图像中识别到的缺陷区域映射到三维图像；
根据三维图像中的映射区域的高度信息，确定缺陷区域的高度特征。
本申请实施例的技术方案中，通过利用区域映射关系可以实现二维图像与三维图像的匹配处理，以便于二维检测方式与三维检测方式可以结合检测处理，从而可以提高焊接缺陷检测的检测效率。
在一些实施例中，目标对象为焊道。
第二方面，本申请提供了一种图像处理装置，装置包括：
获取模块，用于获取目标对象的二维图像和三维图像，其中，目标对象为环形状；
第一确定模块，用于分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆；
第二确定模块，用于根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。
第三方面，本申请提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像处理方法实施例中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法实施例中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例中的步骤。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在全部附图中，用相同的附图标号表示相同的部件。在附图中：
图1为本申请实施例提供的应用环境的示意图；
图2为本申请一些实施例提供的图像处理方法的流程示意图；
图3为本申请一些实施例提供的第一拟合椭圆和第二拟合椭圆的确定方法的流程示意图；
图4为本申请实施例提供的第一掩膜图像的示意图；
图5为本申请实施例提供的第一去噪图像的示意图；
图6为本申请实施例提供的第一轮廓骨架图像的示意图；
图7为本申请实施例提供的第一拟合椭圆图像的示意图；
图8为本申请一些实施例提供的二维图像与三维图像之间的区域映射关系的确定方法的流程示意图；
图9为本申请实施例提供的第一轮廓基准点的示意图；
图10为本申请另一些实施例提供的图像处理方法的流程示意图；
图11为本申请另一些实施例提供的图像处理方法的流程示意图；
图12为本申请另一些实施例提供的图像处理方法的流程示意图；
图13为本申请一些实施例提供的图像处理装置的结构示意图；
图14为本申请一些实施例中电子设备的结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上（包括两个），除非另有明确具体的限定。
本申请实施例提供的图像处理方法、装置、设备、存储介质和程序产品可以应用于焊道图像的缺陷检测应用场景；当然，还可以应用于其它应用场景。
为保证电池产品出厂的质量安全，需要对密封钉焊接区域产生的焊道上的焊接缺陷进行检测。通常情况下，通过分别采用2D相机和3D相机采集焊道的二维焊道图像和三维焊道图像，并分别对二维焊道图像和三维焊道图像进行缺陷检测，得到二维焊道图像的缺陷区域和三维焊道图像的缺陷区域。
通常情况下，对于台阶、凹坑、凸起等这类具有纹理特征和高度特征的缺陷，通过二维检测方式往往无法分辨出高度特征，需要与三维检测方式结合判断。考虑到2D相机采集的焊道的二维焊道图像和3D相机采集的焊道的三维焊道图像一般不会完全匹配，因此，需要将二维焊道图像与三维焊道图像进行配准处理，以便于可以将二维焊道图像中的缺陷区域配准到三维焊道图像中的缺陷区域。
相关技术中，通过根据二维焊道图像中的清洗圈与三维焊道图像中的清洗圈来进行配准处理。但是由于工艺情况复杂和/或电芯型号多变等因素，部分焊道图像中可能存在没有清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等情况，导致无法进行配准处理。
为了解决相关技术中在焊道图像存在没有清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等情况，导致无法进行配准处理的问题，本申请实施例提出通过根据二维焊道图像和三维焊道图像分别确定出焊道轮廓骨架在二维焊道图像和三维焊道图像中对应的拟合椭圆，然后根据焊道轮廓骨架在二维焊道图像中对应的拟合椭圆和三维焊道图像中对应的拟合椭圆，可以确定二维焊道图像与三维焊道图像之间的映射关系，从而实现了无需根据清洗圈便可以将二维焊道图像与三维焊道图像进行配准处理。
图1为本申请实施例提供的应用环境的示意图，如图1所示，本申请实施例的应用环境中可以包括：焊接设备10和检测设备11；其中，焊接设备10用于对焊接对象进行焊接形成焊道，例如，焊接设备10可以用于对电池的密封钉进行焊接，在密封钉的焊接区域可以形成一条环形焊道；检测设备11可以集成有2D相机和3D相机，分别用于采集焊接对象对应的焊道的二维图像和三维图像，并根据采集的焊道的二维图像（或者称之为二维焊道图像）和三维图像（或者称之为三维焊道图像）进行焊接缺陷检测。应理解，检测设备11可以采用本申请实施例提供的图像处理方法进行焊接缺陷检测。
需要说明的是，本申请实施例中的焊接设备10和检测设备11可以集成为一个焊接检测设备。
示例性地，本申请实施例中涉及的任意二维图像可以包括但不限于由2D相机拍摄得到的八位三通道彩色图像，任意三维图像可以包括但不限于由3D相机拍摄得到的八位单通道亮度图像。
在一些实施例中，图2为本申请一些实施例提供的图像处理方法的流程示意图，本申请实施例中以该方法应用于图1中的检测设备为例进行说明。如图2所示，本申请实施例的方法可以包括以下步骤：
步骤S201、获取目标对象的二维图像和三维图像，其中，目标对象为环形状。
示例性地，本申请实施例中涉及的目标对象可以为环形状，例如，目标对象可以包括但不限于：焊道，或者其它需要检测识别的环形状的对象。
一种可能的实现方式中，在检测设备集成有2D相机和3D相机的情况下，检测设备可以获取2D相机采集的目标对象的二维图像和3D相机采集的目标对象的三维图像。
另一种可能的实现方式中，在检测设备未集成有2D相机和3D相机的情况下，检测设备可以从其它集成有2D相机和3D相机的设备处接收目标对象的二维图像和三维图像。
当然，检测设备还可以通过其它方式获取目标对象的二维图像和三维图像。
示例性地，本申请实施例中涉及的目标对象的二维图像和三维图像可以是指在目标对象的状态相同的情况下，分别通过2D相机和3D相机所采集的目标对象的图像。例如，目标对象的二维图像和三维图像可以是指分别通过2D相机和3D相机在同一时刻下所采集的目标对象的图像。
步骤S202、分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆。
本步骤中，检测设备可以在二维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆，以及在三维图像中确定目标对象的轮廓骨架对应的第二拟合椭圆。
示例性地，检测设备可以通过对二维图像中目标对象的轮廓骨架进行分析识别的方式，确定目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆，以及通过对三维图像中目标对象的轮廓骨架进行分析识别的方式，确定目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆。
步骤S203、根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。
本步骤中，检测设备可以根据目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆以及目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，以便于根据区域映射关系可以将二维图像中的感兴趣区域（region of interest，ROI）映射至三维图像中。
一种可能的实现方式中，检测设备可以根据第一拟合椭圆上的多个坐标点以及第二拟合椭圆上的多个坐标点，可以确定二维图像与三维图像之间的区域映射关系。
另一种可能的实现方式中，检测设备可以根据第一拟合椭圆对应的第一椭圆区域以及第二拟合椭圆对应的第二椭圆区域，可以确定二维图像与三维图像之间的区域映射关系。
当然，检测设备根据第一拟合椭圆和第二拟合椭圆，还可以通过其它方式确定二维图像与三维图像之间的区域映射关系。
可见，本申请实施例中，通过根据目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆和目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系的方式，实现了无需根据清洗圈便可以将二维图像与三维图像进行配准处理，从而无需要求2D相机和3D相机在采集焊道的图像过程中将清洗圈拍摄完整（部分相机设备的客观条件限制无法拍摄完整的清洗圈），也不需要在每次图像处理算法横展到不同机台设备时要求现场工艺工程师对清洗圈工艺做出调整（部分设备由于工艺原因，清洗激光无法清洗出满足算法检测需求的完整清洗圈）。
上述图像处理方法，通过分别在获取的目标对象的二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆，并根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。相对于相关技术中，本申请实施例中，通过根据目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆和目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系的方式，实现了无需清洗圈便可以将二维图像与三维图像进行配准处理，能够使得本申请实施例的图像配准方法可以适用于无清洗圈、清洗圈过大、清洗圈过小或者清洗圈破损等密封钉焊接工艺的缺陷检测中。可见，本申请实施例可以适配不同焊接工艺的生产场景，有利于提高焊接缺陷检测的检测效率。
在一些实施例中，图3为本申请一些实施例提供的第一拟合椭圆和第二拟合椭圆的确定方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S202中“分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆”的相关内容进行说明。如图3所示，上述步骤S202可以包括以下步骤：
步骤S2021、分别在二维图像和三维图像中确定轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点。
本步骤中，检测设备可以在二维图像中确定目标对象的轮廓骨架对应的多个第一轮廓骨架点，以及在三维图像中确定目标对象的轮廓骨架对应的多个第二轮廓骨架点。
可选地，检测设备可以分别对二维图像和三维图像进行语义分割处理，得到目标对象的第一掩膜图像和第二掩膜图像，并分别对第一掩膜图像和第二掩膜图像进行轮廓骨架提取处理，得到多个第一轮廓骨架点和多个第二轮廓骨架点。
本申请实施例中，检测设备可以通过对二维图像进行语义分割处理得到目标对象的第一掩膜图像，以及对三维图像进行语义分割处理得到目标对象的第二掩膜图像。其中，本申请实施例中涉及的任意掩膜图像中的前景为白色，背景为黑色。
为了便于理解，本申请下述实施例对二维图像对应的第一掩膜图像进行介绍。图4为本申请实施例提供的第一掩膜图像的示意图，如图4所示，第一掩膜图像中的白色区域为目标对象区域，除目标对象区域之外的其它黑色区域为背景区域，无需处理。
进一步地，检测设备可以对第一掩膜图像进行轮廓骨架提取处理得到多个第一轮廓骨架点，以及对第二掩膜图像进行轮廓骨架提取处理得到多个第二轮廓骨架点。示例性地，轮廓骨架提取处理可以包括但不限于以下至少一项：降采样处理、二值化处理、去噪处理、图像尺寸还原处理。
本申请下述实施例中对轮廓骨架提取处理的相关内容进行详细介绍。
可选地，检测设备可以分别对第一掩膜图像和第二掩膜图像进行二值化处理；分别对二值化处理后得到的第一中间图像和第二中间图像进行去噪处理；分别对去噪处理后得到的第一去噪图像和第二去噪图像进行图像尺寸还原处理，以得到与第一掩膜图像的尺寸相同的第一轮廓骨架图像，以及与第二掩膜图像的尺寸相同的第二轮廓骨架图像，第一轮廓骨架图像包含多个第一轮廓骨架点，第二轮廓骨架图像包括多个第二轮廓骨架点。
本申请实施例中，检测设备可以对第一掩膜图像中的像素灰度值进行二值化处理得到第一中间图像，以及对第二掩膜图像中的像素灰度值进行二值化处理得到第二中间图像。示例性地，检测设备可以将各掩膜图像中的像素灰度值大于预设阈值的各像素灰度值设置为第一预设值（如255），并将各掩膜图像中的其它像素灰度值均设置为第二预设值（如0），其中，预设阈值可以为80-120中的任意值。
进一步地，检测设备可以对二值化处理后得到的第一中间图像进行去噪处理得到第一去噪图像，以及对第二中间图像进行去噪处理得到第二去噪图像。示例性地，去噪处理可以包括但不限于顶帽形态学变换处理或者分块阈值处理。
本申请实施例中通过去噪处理可以去除中间图像中的噪点，以及矫正不均匀光照以便于提取感兴趣的信息。
需要说明的是，若对中间图像进行一次去噪处理后仍然存在噪点，则检测设备可以对去噪处理后的图像再重复进行一次或者多次去噪处理，直至处理后的图像中不存在噪点（例如，腐蚀后的图像中非零点像素个数为0）为止。
为了便于理解，本申请下述实施例以去噪处理为顶帽形态学变换处理为例对二维图像对应的第一去噪图像进行介绍。图5为本申请实施例提供的第一去噪图像的示意图，如图5所示，第一去噪图像中的白色区域可以为目标对象的轮廓骨架，除目标对象的轮廓骨架之外的其它黑色区域为背景区域，无需处理。
进一步地，考虑到经过去噪处理后的去噪图像的尺寸发生了变化，检测设备可以对去噪处理后得到的第一去噪图像进行图像尺寸还原处理，以得到与第一掩膜图像的尺寸相同的第一轮廓骨架图像，以及对去噪处理后得到的第二去噪图像进行图像尺寸还原处理，以得到与第二掩膜图像的尺寸相同的第二轮廓骨架图像，其中，第一轮廓骨架图像包含多个第一轮廓骨架点，第二轮廓骨架图像包括多个第二轮廓骨架点。
示例性地，图像尺寸还原处理可以包括：最临近差值处理、双线性差值处理，或者双三次差值处理；当然，还可以包括其它图像缩放处理方式。
为了便于理解，本申请下述实施例以图像尺寸还原处理为最临近差值处理为例对二维图像对应的第一轮廓骨架图像进行介绍。图6为本申请实施例提供的第一轮廓骨架图像的示意图，如图6所示，第一轮廓骨架图像的尺寸与第一掩膜图像的尺寸相同，其中，第一轮廓骨架图像中的白色区域可以为目标对象的轮廓骨架，除目标对象的轮廓骨架之外的其它黑色区域为背景区域。
在上述实施例的基础上，进一步地为了减少计算量，检测设备在对第一掩膜图像和第二掩膜图像进行二值化处理之前，可以分别对第一掩膜图像和第二掩膜图像进行降采样处理；对应地，上述分别对第一掩膜图像和第二掩膜图像进行二值化处理，包括：分别对降采样处理后的第一掩膜图像和降采样处理后的第二掩膜图像进行二值化处理。
本申请实施例中，检测设备在对第一掩膜图像和第二掩膜图像进行二值化处理之前，通过对第一掩膜图像进行降采样处理得到降采样处理后的第一掩膜图像，以及对第二掩膜图像进行降采样处理得到降采样处理后的第二掩膜图像，可以减少后续图像处理的计算量，从而可以降低图像处理的显存占用。示例性地，降采样处理可以包括但不限于0.5倍降采样处理。
对应地，检测设备在二值化处理的过程中，分别对降采样处理后的第一掩膜图像和降采样处理后的第二掩膜图像进行二值化处理。
步骤S2022、分别对多个第一轮廓骨架点和多个第二轮廓骨架点进行拟合处理，得到第一拟合椭圆和第二拟合椭圆。
本步骤中，检测设备可以对多个第一轮廓骨架点进行拟合处理得到第一拟合椭圆，以及对多个第二轮廓骨架点进行拟合处理得到第二拟合椭圆。
示例性地，本申请实施例中的拟合处理可以包括但不限于系数矩阵奇异值分解的最小二乘处理、霍夫变换处理、卡尔曼滤波处理，或者最小平方中值处理。
应理解，检测设备在得到任意拟合椭圆的情况下，便可以获知该拟合椭圆的椭圆参数，其中，椭圆参数可以包括但不限于：该拟合椭圆的椭圆方程和该拟合椭圆上的各坐标点。
为了便于理解，本申请下述实施例以目标对象为焊道和拟合处理为最小二乘处理为例对二维图像对应的第一拟合椭圆进行介绍。图7为本申请实施例提供的第一拟合椭圆图像的示意图，如图7所示，第一拟合椭圆E可以代表目标对象TB的轮廓骨架，在图7中的清洗圈CR破损或者没有图7中的清洗圈CR的情况下，检测设备采用本申请实施例的图像处理方法也仍然可以进行配准处理。
综上，本申请实施例中，通过分别在二维图像和三维图像中确定轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点，并分别对多个第一轮廓骨架点和多个第二轮廓骨架点进行拟合处理，得到第一拟合椭圆和第二拟合椭圆。可见，由于本申请实施例中的目标对象的轮廓骨架在二维图像中对应的多个第一轮廓骨架点可以准确地表示目标对象的轮廓骨架在二维图像中的位置信息，以及目标对象的轮廓骨架在三维图像中对应的多个第二轮廓骨架点可以准确地表示目标对象的轮廓骨架在三维图像中的位置信息，因此，本申请实施例中通过根据轮廓骨架在二维图像中对应的多个第一轮廓骨架点和轮廓骨架在三维图像中对应的多个第二轮廓骨架点分别进行拟合处理的方式，可以准确有效地确定出目标对象的轮廓骨架在二维图像中对应的第一拟合椭圆和目标对象的轮廓骨架在三维图像中对应的第二拟合椭圆，以便于可以根据第一拟合椭圆和第二拟合椭圆可以准确地确定二维图像与三维图像之间的区域映射关系。
在一些实施例中，图8为本申请一些实施例提供的二维图像与三维图像之间的区域映射关系的确定方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S203中“根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系”的相关内容进行说明。如图8所示，上述步骤S203可以包括以下步骤：
步骤S2031、分别在第一拟合椭圆和第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点。
本步骤中，检测设备可以根据第一拟合椭圆的椭圆参数确定第一拟合椭圆中的第一轮廓基准点，以及根据第二拟合椭圆的椭圆参数确定第二拟合椭圆中的第二轮廓基准点，其中，第一轮廓基准点在第一拟合椭圆中的位置和第二轮廓基准点在第二拟合椭圆中的位置相同。
示例性地，本申请实施例中的第一轮廓基准点可以包括但不限于以下至少一项：第一拟合椭圆中的中心点、第一拟合椭圆的预设长轴端点和第一拟合椭圆的预设短轴端点；本申请实施例中的第二轮廓基准点可以包括但不限于以下至少一项：第二拟合椭圆中的中心点、第二拟合椭圆的预设长轴端点和第二拟合椭圆的预设短轴端点。
例如，第一轮廓基准点可以包括第一拟合椭圆中的中心点和第一拟合椭圆的预设长轴端点；第二轮廓基准点可以包括第二拟合椭圆中的中心点和第二拟合椭圆的预设长轴端点。
又例如，第一轮廓基准点可以包括第一拟合椭圆中的中心点和第一拟合椭圆的预设短轴端点；第二轮廓基准点可以包括第二拟合椭圆中的中心点和第二拟合椭圆的预设短轴端点。
又例如，第一轮廓基准点可以包括第一拟合椭圆中的中心点、第一拟合椭圆的预设长轴端点和第一拟合椭圆的预设短轴端点；第二轮廓基准点可以包括第二拟合椭圆中的中心点、第二拟合椭圆的预设长轴端点和第二拟合椭圆的预设短轴端点。
为了便于理解，本申请下述实施例中对第一拟合椭圆中的第一轮廓基准点的示意图进行介绍。图9为本申请实施例提供的第一轮廓基准点的示意图，如图9所示，第一轮廓基准点可以包括：第一拟合椭圆中的中心点O、第一拟合椭圆的预设长轴端点A和第一拟合椭圆的预设短轴端点B。
步骤S2032、根据第一轮廓基准点和第二轮廓基准点，确定区域映射关系。
本步骤中，检测设备可以根据第一轮廓基准点和第二轮廓基准点进行仿射变换处理，便可以得到二维图像与三维图像之间的区域映射关系，其中，区域映射关系可以包括但不限于仿射变换矩阵。
由于本申请实施例中的第一拟合椭圆中的第一轮廓基准点和第二拟合椭圆中的第二轮廓基准点相较于其它位置的坐标点更具有代表性，因此，根据第一轮廓基准点和第二轮廓基准点，可以准确地确定出区域映射关系。
综上，本申请实施例中，通过分别在第一拟合椭圆和第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点，并根据第一轮廓基准点和第二轮廓基准点，确定区域映射关系。由于第一拟合椭圆中的第一轮廓基准点和第二拟合椭圆中的第二轮廓基准点相较于其它位置的坐标点更具有代表性，因此，根据第一轮廓基准点和第二轮廓基准点，可以得到泛化性较好的区域映射关系，以便于可以对二维图像和三维图像进行准确地配准处理。
在一些实施例中，图10为本申请另一些实施例提供的图像处理方法的流程示意图，在上述实施例的基础上，本申请实施例中对采用二维图像与三维图像之间的区域映射关系将二维图像和三维图像结合检测处理的相关内容进行说明。如图10所示，本申请实施例的方法还可以包括以下步骤：
步骤S204、根据区域映射关系将从二维图像中识别到的缺陷区域映射到三维图像。
本步骤中，检测设备可以根据区域映射关系可以将从二维图像中识别到的缺陷区域映射到三维图像，其中，二维图像中识别到的缺陷区域可以为通过将二维图像输入2D人工智能（artificial inteligence，AI）缺陷检测模型得到的区域。
示例性地，检测设备可以通过将二维图像中识别到的缺陷区域与区域映射关系相乘的方式，可以将二维图像中识别到的缺陷区域映射到三维图像中的目标缺陷区域。
例如，假设目标对象的二维图像中识别到的缺陷区域包括缺陷区域1和缺陷区域2，检测设备可以将该二维图像中的缺陷区域1映射到对应的三维图像中的目标缺陷区域1，以及将二维图像中的缺陷区域2映射到对应的三维图像中的目标缺陷区域2。
步骤S205、根据三维图像中的映射区域的高度信息，确定缺陷区域的高度特征。
本步骤中，检测设备可以根据二维图像中识别到的缺陷区域在三维图像中的映射区域（或者称之为目标缺陷区域）的高度信息，便可以确定二维图像中识别到的缺陷区域的高度特征。可见，本申请实施例实现了二维图像与三维图像的匹配处理，为实现电池生产过程中密封钉焊接工序的台阶、凹坑、凸起等这类同时具有纹理特征和高度特征的焊接缺陷在三维图像上进行高度复判提供了有力的支撑。
综上，本申请实施例中，通过根据区域映射关系将从二维图像中识别到的缺陷区域映射到三维图像，并根据三维图像中的映射区域的高度信息，确定缺陷区域的高度特征。可见，本申请实施例通过利用区域映射关系可以实现二维图像与三维图像的匹配处理，以便于二维检测方式与三维检测方式可以结合检测处理，从而可以提高焊接缺陷检测的检测效率。
在一些实施例中，图11为本申请另一些实施例提供的图像处理方法的流程示意图，在上述实施例的基础上，本申请实施例中对图像处理方法的整体流程进行说明。如图11所示，本申请实施例的方法还可以包括以下步骤：
步骤S1101、分别对二维图像和三维图像进行语义分割处理，得到目标对象的第一掩膜图像和第二掩膜图像。
步骤S1102、分别对第一掩膜图像和第二掩膜图像进行轮廓骨架提取处理，得到多个第一轮廓骨架点和多个第二轮廓骨架点。
需要说明的是，本步骤中的轮廓骨架提取处理中包括至少一次去噪处理，直至处理后的图像中不存在噪点（例如，腐蚀后的图像中非零点像素个数为0）为止。
步骤S1103、分别对多个第一轮廓骨架点和多个第二轮廓骨架点进行拟合处理，得到第一拟合椭圆和第二拟合椭圆。
步骤S1104、分别在第一拟合椭圆和第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点。
其中，第一轮廓基准点在第一拟合椭圆中的位置和第二轮廓基准点在第二拟合椭圆中的位置相同。
示例性地，第一轮廓基准点包括：第一拟合椭圆中的中心点、第一拟合椭圆的预设长轴端点和第一拟合椭圆的预设短轴端点；第二轮廓基准点包括：第二拟合椭圆中的中心点、第二拟合椭圆的预设长轴端点和第二拟合椭圆的预设短轴端点。
步骤S1105、根据第一轮廓基准点和第二轮廓基准点，确定区域映射关系。
步骤S1106、根据区域映射关系将从二维图像中识别到的缺陷区域映射到三维图像。
步骤S1107、根据三维图像中的映射区域的高度信息，确定缺陷区域的高度特征。
为了便于理解，本申请下述实施例中以目标对象为焊道为例，对图像处理方法的整体过程进行介绍。图12为本申请另一些实施例提供的图像处理方法的流程示意图，如图12所示，1）检测设备可以对焊道的二维图像和三维图像通过上述步骤S1101-步骤S1105确定二维图像与三维图像之间的区域映射关系。
2）检测设备可以根据二维图像进行二维检测方式得到二维图像中识别到的缺陷区域（或者称之为二维缺陷区域），以及根据三维图像进行三维检测方式得到三维图像中识别到的缺陷区域（或者称之为三维缺陷区域）。
3）检测设备可以根据区域映射关系将从二维图像中识别到的二维缺陷区域映射到三维图像，以便于根据三维图像中的映射区域的高度信息可以确定二维缺陷区域的高度特征，实现了通过三维图像的融合伪彩图对二维缺陷区域的高度复判。
需要说明的是，本申请实施例中各步骤的具体实现方式，可以参考上述实施例中的相关内容，此处不再赘述。
综上，本申请实施例中对于密封钉无清洗圈、清洗圈过大、清洗圈过小或者或清洗圈不完整等情况，提出了一种通过根据焊道的轮廓骨架在二维图像中对应的第一拟合椭圆和焊道的轮廓骨架在三维图像中对应的第二拟合椭圆，来确定二维图像与三维图像之间的区域映射关系的方式，无需依赖于完整的清洗圈，可以快速地实现二维图像与三维图像的配准处理，不仅高效且鲁棒性强，克服了设备工艺无法提供完整清洗圈和/或相机硬件设备无法拍摄完整的清洗圈等的局限性，能够使得本申请实施例的图像配准方法可以适用于无清洗圈的密封钉焊接工艺的缺陷检测中，从而能够适配不同焊接工艺的生产场景。
另外，本申请实施例中的轮廓骨架提取处理中进行了降采样处理，使得本申请实施例的方法在实现图像配准时的显存占用较少，算法效率较高，从而在高速生产的现代化工厂中更具有实用性。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一些实施例中，图13为本申请一些实施例提供的图像处理装置的结构示意图，本申请实施例提供的图像处理装置可以应用于检测设备中。如图13所示，本申请实施例的图像处理装置可以包括：获取模块1301、第一确定模块1302和第二确定模块1303。
其中，获取模块1301，用于获取目标对象的二维图像和三维图像，其中，目标对象为环形状；
第一确定模块1302，用于分别在二维图像和三维图像中确定目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆；
第二确定模块1303，用于根据第一拟合椭圆和第二拟合椭圆，确定二维图像与三维图像之间的区域映射关系，区域映射关系用于将二维图像中的感兴趣区域映射至三维图像中。
在一些实施例中，第一确定模块1302包括：
第一确定单元，用于分别在二维图像和三维图像中确定轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点；
拟合单元，用于分别对多个第一轮廓骨架点和多个第二轮廓骨架点进行拟合处理，得到第一拟合椭圆和第二拟合椭圆。
在一些实施例中，第一确定单元包括：
分隔子单元，用于分别对二维图像和三维图像进行语义分割处理，得到目标对象的第一掩膜图像和第二掩膜图像；
提取子单元，用于分别对第一掩膜图像和第二掩膜图像进行轮廓骨架提取处理，得到多个第一轮廓骨架点和多个第二轮廓骨架点。
在一些实施例中，提取子单元具体用于：
分别对第一掩膜图像和第二掩膜图像进行二值化处理；
分别对二值化处理后得到的第一中间图像和第二中间图像进行去噪处理；
分别对去噪处理后得到的第一去噪图像和第二去噪图像进行图像尺寸还原处理，以得到与第一掩膜图像的尺寸相同的第一轮廓骨架图像，以及与第二掩膜图像的尺寸相同的第二轮廓骨架图像，第一轮廓骨架图像包含多个第一轮廓骨架点，第二轮廓骨架图像包括多个第二轮廓骨架点。
在一些实施例中，提取子单元还用于：
分别对第一掩膜图像和第二掩膜图像进行降采样处理；
对应地，提取子单元具体用于：
分别对降采样处理后的第一掩膜图像和降采样处理后的第二掩膜图像进行二值化处理。
在一些实施例中，第二确定模块1303具体用于：
分别在第一拟合椭圆和第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点，其中，第一轮廓基准点在第一拟合椭圆中的位置和第二轮廓基准点在第二拟合椭圆中的位置相同；
根据第一轮廓基准点和第二轮廓基准点，确定区域映射关系。
在一些实施例中，第一轮廓基准点包括：第一拟合椭圆中的中心点、第一拟合椭圆的预设长轴端点和第一拟合椭圆的预设短轴端点；
第二轮廓基准点包括：第二拟合椭圆中的中心点、第二拟合椭圆的预设长轴端点和第二拟合椭圆的预设短轴端点。
在一些实施例中，图像处理装置还包括：
识别模块，用于根据区域映射关系将从二维图像中识别到的缺陷区域映射到三维图像；
第四确定模块，用于根据三维图像中的映射区域的高度信息，确定缺陷区域的高度特征。
在一些实施例中，目标对象为焊道。
本申请实施例提供的图像处理装置可以用于执行本申请上述图像处理方法实施例中关于检测设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于检测设备中的处理器中，也可以以软件形式存储于检测设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，图14为本申请一些实施例中电子设备的结构示意图，本申请实施例中的电子设备可以包括但不限于上述实施例中的检测设备。如图14所示，本申请实施例提供的电子设备可以包括通过系统总线连接的处理器、存储器和通信接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进行有线或无线方式的通信。该计算机程序被处理器执行时以实现本申请上述图像处理方法实施例中关于检测设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。例如，电子设备中还可以包括但不限于图像采集部件，以便于可以采集目标对象的二维图像和三维图像。
在一些实施例中，还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现本申请上述图像处理方法实施例中关于检测设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请上述图像处理方法实施例中关于检测设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请上述图像处理方法实施例中关于检测设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric RandomAccess Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本申请并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标对象的二维图像和三维图像，其中，所述目标对象为环形状；所述目标对象为焊道；
分别在所述二维图像和所述三维图像中确定所述目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆；
根据所述第一拟合椭圆和所述第二拟合椭圆，确定所述二维图像与所述三维图像之间的区域映射关系，所述区域映射关系用于将所述二维图像中的感兴趣区域映射至所述三维图像中；
其中，所述分别在所述二维图像和所述三维图像中确定所述目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆，包括：
分别在所述二维图像和所述三维图像中确定所述轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点；
分别对所述多个第一轮廓骨架点和所述多个第二轮廓骨架点进行拟合处理，得到所述第一拟合椭圆和所述第二拟合椭圆。
2.根据权利要求1所述的方法，其特征在于，所述分别在所述二维图像和所述三维图像中确定所述轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点，包括：
分别对所述二维图像和所述三维图像进行语义分割处理，得到所述目标对象的第一掩膜图像和第二掩膜图像；
分别对所述第一掩膜图像和所述第二掩膜图像进行轮廓骨架提取处理，得到所述多个第一轮廓骨架点和所述多个第二轮廓骨架点。
3.根据权利要求2所述的方法，其特征在于，所述分别对所述第一掩膜图像和所述第二掩膜图像进行轮廓骨架提取处理，得到所述多个第一轮廓骨架点和所述多个第二轮廓骨架点，包括：
分别对所述第一掩膜图像和所述第二掩膜图像进行二值化处理；
分别对二值化处理后得到的第一中间图像和第二中间图像进行去噪处理；
分别对去噪处理后得到的第一去噪图像和第二去噪图像进行图像尺寸还原处理，以得到与所述第一掩膜图像的尺寸相同的第一轮廓骨架图像，以及与所述第二掩膜图像的尺寸相同的第二轮廓骨架图像，所述第一轮廓骨架图像包含所述多个第一轮廓骨架点，所述第二轮廓骨架图像包括所述多个第二轮廓骨架点。
4.根据权利要求3所述的方法，其特征在于，所述分别对所述第一掩膜图像和所述第二掩膜图像进行二值化处理之前，所述方法还包括：
分别对所述第一掩膜图像和所述第二掩膜图像进行降采样处理；
对应地，所述分别对所述第一掩膜图像和所述第二掩膜图像进行二值化处理，包括：
分别对降采样处理后的第一掩膜图像和降采样处理后的第二掩膜图像进行二值化处理。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第一拟合椭圆和所述第二拟合椭圆，确定所述二维图像与所述三维图像之间的区域映射关系，包括：
分别在所述第一拟合椭圆和所述第二拟合椭圆中确定第一轮廓基准点和第二轮廓基准点，其中，所述第一轮廓基准点在所述第一拟合椭圆中的位置和所述第二轮廓基准点在所述第二拟合椭圆中的位置相同；
根据所述第一轮廓基准点和所述第二轮廓基准点，确定所述区域映射关系。
6.根据权利要求5所述的方法，其特征在于，所述第一轮廓基准点包括：所述第一拟合椭圆中的中心点、所述第一拟合椭圆的预设长轴端点和所述第一拟合椭圆的预设短轴端点；
所述第二轮廓基准点包括：所述第二拟合椭圆中的中心点、所述第二拟合椭圆的预设长轴端点和所述第二拟合椭圆的预设短轴端点。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
根据所述区域映射关系将从所述二维图像中识别到的缺陷区域映射到所述三维图像；
根据所述三维图像中的映射区域的高度信息，确定所述缺陷区域的高度特征。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象的二维图像和三维图像，其中，所述目标对象为环形状；所述目标对象为焊道；
第一确定模块，用于分别在所述二维图像和所述三维图像中确定所述目标对象的轮廓骨架对应的第一拟合椭圆和第二拟合椭圆；
第二确定模块，用于根据所述第一拟合椭圆和所述第二拟合椭圆，确定所述二维图像与所述三维图像之间的区域映射关系，所述区域映射关系用于将所述二维图像中的感兴趣区域映射至所述三维图像中；
其中，所述第一确定模块具体用于：
分别在所述二维图像和所述三维图像中确定所述轮廓骨架对应的多个第一轮廓骨架点和多个第二轮廓骨架点；
分别对所述多个第一轮廓骨架点和所述多个第二轮廓骨架点进行拟合处理，得到所述第一拟合椭圆和所述第二拟合椭圆。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310820447.2A CN116542977B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310820447.2A CN116542977B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、设备、存储介质和程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542977A CN116542977A (zh) | 2023-08-04 |
| CN116542977B true CN116542977B (zh) | 2024-02-06 |
Family
ID=87449203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310820447.2A Active CN116542977B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542977B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017028516A1 (zh) * | 2015-08-18 | 2017-02-23 | 青岛海信医疗设备股份有限公司 | 一种三维图像的校准方法、装置和系统 |
| CN113781434A (zh) * | 2021-09-10 | 2021-12-10 | 深圳市高川自动化技术有限公司 | 缺陷检测方法、装置、智能终端及计算机可读存储介质 |
| CN114354618A (zh) * | 2021-12-16 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种焊缝检测的方法及装置 |
| CN114693633A (zh) * | 2022-03-28 | 2022-07-01 | 深圳市深视智能科技有限公司 | 一种焊接缺陷检测方法、装置以及检测系统 |
| CN115082410A (zh) * | 2022-06-29 | 2022-09-20 | 西安工程大学 | 基于图像处理的卡簧缺陷检测方法 |
| WO2023108444A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462110B (zh) * | 2020-04-20 | 2021-04-13 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、系统及电子设备 |
-
2023
- 2023-07-06 CN CN202310820447.2A patent/CN116542977B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017028516A1 (zh) * | 2015-08-18 | 2017-02-23 | 青岛海信医疗设备股份有限公司 | 一种三维图像的校准方法、装置和系统 |
| CN113781434A (zh) * | 2021-09-10 | 2021-12-10 | 深圳市高川自动化技术有限公司 | 缺陷检测方法、装置、智能终端及计算机可读存储介质 |
| WO2023108444A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
| CN114354618A (zh) * | 2021-12-16 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种焊缝检测的方法及装置 |
| CN114693633A (zh) * | 2022-03-28 | 2022-07-01 | 深圳市深视智能科技有限公司 | 一种焊接缺陷检测方法、装置以及检测系统 |
| CN115082410A (zh) * | 2022-06-29 | 2022-09-20 | 西安工程大学 | 基于图像处理的卡簧缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542977A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
| JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
| Goel et al. | Specific color detection in images using RGB modelling in MATLAB | |
| CN109344820B (zh) | 基于计算机视觉和深度学习的数字式电表读数识别方法 | |
| CN114550021B (zh) | 基于特征融合的表面缺陷检测方法及设备 | |
| CN115641332B (zh) | 产品边缘外观缺陷的检测方法及装置、介质、设备 | |
| CN110309808B (zh) | 一种大范围尺度空间下的自适应烟雾根节点检测方法 | |
| CN111476758B (zh) | Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质 | |
| CN112037129A (zh) | 图像超分辨率重建方法、装置、设备及存储介质 | |
| CN113706464A (zh) | 一种印刷品外观质量检测方法及系统 | |
| CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
| US20230030689A1 (en) | Systems and methods for quantifying light flares in images | |
| CN112330597A (zh) | 一种图像差异检测方法、装置及计算机设备 | |
| CN115937203A (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
| CN113255537A (zh) | 一种用于航行船舶识别的图像增强去噪方法 | |
| CN112052907A (zh) | 基于图像边缘信息的目标检测方法、装置及存储介质 | |
| CN115631210A (zh) | 一种边缘检测方法及装置 | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| CN113160176B (zh) | 缺陷检测方法和装置 | |
| JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
| Żak et al. | Local image features matching for real-time seabed tracking applications | |
| CN116542977B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| CN107710229B (zh) | 图像中的形状识别方法、装置、设备及计算机存储介质 | |
| CN117372487A (zh) | 图像配准方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |