CN116071240A - 图像拼接方法、装置、计算机设备和存储介质 - Google Patents
图像拼接方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116071240A CN116071240A CN202310206916.1A CN202310206916A CN116071240A CN 116071240 A CN116071240 A CN 116071240A CN 202310206916 A CN202310206916 A CN 202310206916A CN 116071240 A CN116071240 A CN 116071240A
- Authority
- CN
- China
- Prior art keywords
- images
- height
- spliced
- map
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 51
- 238000012937 correction Methods 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 230000001131 transforming effect Effects 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 19
- 238000003702 image correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像拼接方法、装置、计算机设备和存储介质。该方法应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间。该方法包括：获取多组待拼接图像；对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵；利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面；利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图；将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。该方法可以快速、准确地实现对待拼接图像的修正以及拼接。
Description
技术领域
本申请涉及激光成像技术领域，尤其涉及一种图像拼接方法、装置、计算机设备和存储介质。
背景技术
随着工业自动化的发展，各个行业都面临着从效率、节能、信息化、安全化等各方面进行综合性的产业升级，而激光成像可以在产品制造生产的过程中自动进行缺陷检测、良品判断等工作，因而被广泛应用在各种产品的生产工艺中。
三维激光成像是激光成像技术的重要组成部分，三维激光成像既可以采集物品的平面信息，还可获得物品的高度信息，从而实现对物品更好地进行检验。但单个线激光成像单元的视界有限，对于超出视界的物体则需要依赖设置有多个线激光成像单元的多线激光成像系统才能实现。因此，需要将多个线激光成像单元所采集的图像进行拼接。但传统技术中适用于多线激光成像的拼接技术存在理论复杂、计算量大且效率低的问题。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中健壮性测试结果不够准确的技术缺陷。
第一方面，本申请提供了一种图像拼接方法，应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间，拼接方法包括：
获取多组待拼接图像；每组待拼接图像包括灰度图和高度图；
对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵；
利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面；
利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图；
将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
在其中一个实施例中，对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵，包括：
对于任意一组待拼接图像，判断该组待拼接图像是否存在错位现象；
在判定待拼接图像不存在错位现象的情况下，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
在其中一个实施例中，标定图样包括半径不同的第一圆形图样和第二圆形图样，第一圆形图样和第二圆形图样在同一排中等间距交替排布；判断该组待拼接图像是否存在错位现象，包括：
获取灰度图中第一个标定图样的半径；
在第一个标定图样的半径与该组待拼接图像对应的标准半径匹配的情况下，判定该组待拼接图像不存在错位现象；否则，判定该组待拼接图像存在错位现象。
在其中一个实施例中，标定图样为圆形图样，在灰度图中确定各标定图样的实际坐标，包括：
在灰度图中识别多个圆形轮廓区域；
获取各圆形轮廓区域的圆心坐标，并以各圆心坐标为对应的标定图样的实际坐标。
在其中一个实施例中，计算将各实际坐标变换到对应的理想坐标的仿射矩阵，包括：
基于最小距离平方和法，根据各实际坐标和各实际坐标对应的理想坐标，计算仿射矩阵。
在其中一个实施例中，利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图，包括：
对于第一高度图中任意一个像素点，在修正平面上获取与该像素点相同位置的高度信息，并以该高度信息为高度修正信息；
在第一高度图中，将该像素点的高度信息减去高度修正信息。
在其中一个实施例中，将各组修正后的待拼接图像进行拼接，得到待成像物体的成像，包括：
识别各组修正后的待拼接图像之间的重叠部分；
根据重叠部分对各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
第二方面，本申请实施例还提供了一种图像拼接装置，应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间，装置包括：
图像获取模块，用于获取多组待拼接图像；每组待拼接图像包括灰度图和高度图；
图像修正模块，用于对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵；利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面；利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图；
图像拼接模块，用于将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
第三方面，本申请实施例还提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中图像拼接方法的步骤。
第四方面，本申请实施例还提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中图像拼接方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
基于本实施例中的图像拼接方法，将待成像物体放置于具有两排平行标定图样的标定板上，以标定图样为锚点，对各线激光扫描单元所得到的待拼接图像进行修正。具体而言，根据各标定图样的实际坐标和理想坐标计算得到仿射矩阵，利用仿射矩阵对灰度图和高度图进行变换，将其中垂直于高度方向的平面上的误差修正，得到第一高度图和修正灰度图。利用各标定图样在第一高度图上的高度信息所拟合得到的修正平面对包含高度信息的第一高度图在高度方向上做进一步修正，得到修正高度图。最后将各修正后的待拼接图像进行拼接，得到待成像物体的完整成像。该方法无需对线激光修正单元进行参数调整，直接对图像进行处理，可以快速、准确地实现对待拼接图像的修正以及拼接，大大提高成像精度和效率，特别适用于对电芯等产品进行成像的场景，可很好地解决电芯边缘处的成像效果不理想问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一个实施例提供的图像拼接方法的应用场景图；
图2为本申请一个实施例提供的图像拼接方法的流程示意图；
图3为本申请另一个实施例提供的图像拼接方法的应用场景图；
图4为本申请一个实施例提供的图像拼接装置的模块结构图；
图5为本申请一个实施例提供的计算机设备的内部结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中健壮性测试结果不够准确的技术缺陷。
本申请提供了一种图像拼接方法，应用于多线激光成像系统，多线激光成像系统包括多个线激光扫描单元，每个线激光扫描单元通过向待成像物体发射线激光，再接收待成像物体所反射回来的光线，以对待成像物体进行成像。对于单个线激光扫描单元的视界无法容纳的物体而言，则需要将各线激光扫描单元的扫描结果进行拼接。对于普通二维成像而言，常常使用基于关键特征点提取的方式进行拼接，但在面对包含高度信息的线激光成像时，该类方法并不适用。并且，由于在成像过程中各线激光扫描单元需要运动，这可能导致线激光扫描单元出现偏移，从而导致成像结果之间难以进行拼接。而传统技术中对扫描单元进行修正的方法十分繁琐，有很大的计算量，不利于提高生产制造的效率。
基于此，本申请设计了一个标定板来辅助对各待拼接图像的修正。请参阅图1，标定板上设置了两排平行的标定图样，待成像物体被放置于这两排标定图样之间，在放置待成像物体时需注意在线激光扫描单元的成像角度上不得遮挡标定图样。标定图样的形状、大小、间距、颜色等可以根据需要自行选择，如圆形图样、矩形图样、三角形图样等。图1中所呈现的是等间距设置的圆形图样，待成像物体为电芯。
在图像拼接场景下，一般需要设置三维坐标轴，三维坐标轴的设置方式可以根据需要选择。为了方便说明，说明书中以平行于标定板平面的面为X-Y平面，垂直于标定板向上的方向为Z轴方向。
请参阅图2，本申请实施例所提供的拼接方法包括步骤S202至步骤S210。
S202，获取多组待拼接图像。
可以理解，每个线激光成像单元对待成像物体进行扫描即可以得到一组待拼接图像，即各组待拼接图像与线激光成像单元为一一对应关系。根据线激光扫描单元的工作原理可知，每组待拼接图像将包括灰度图和高度图。灰度图中每个像素点的像素值与该物体对应位置的颜色有关。高度图中每个像素点的像素值与该物体对应位置的高度信息有关。
基于前文介绍可知，每个线激光扫描单元在扫描过程中可能出现镜头偏移等问题，导致图像出现变形。步骤S204至步骤S208即为对每组待拼接图像进行修正的过程，即对每组待拼接图像中的灰度图和高度图都需要这些步骤。
S204，对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
可以理解，待拼接图像出现变形是由于线激光扫描单元出现偏移产生的，这将导致待拼接图像中的像素点从不存在镜头偏移时的理想坐标系变化到了存在镜头偏移时的实际坐标系下。因此，需要将待拼接图像重新标定回到理想坐标系下，标定过程既包括对XY平面的修正，也包括对高度信息的修正。而仿射矩阵是用于从一个二维坐标系变换到另一个二维坐标系，适用于本申请中对XY平面的修正。
由于标定图样的位置不会发生变化且数量满足求取仿射矩阵的要求，本实施例选择以各标定图样作为锚点。提前获取各标定图样的理想坐标，再利用图像识别算法在灰度图上识别出各标定图样的实际坐标，基于三对以上的理想坐标和实际坐标，即可拟合出将标定图样从实际坐标变换到理想坐标的仿射矩阵。
值得一提的是，由于标定图样并非一个点，为了以一个坐标代表一个标定图样，需要在各标定图样上选择一个代表点，以该代表点的坐标作为标定图样的坐标。并且，处于同一排的标定图样的代表点应处于同一直线，而不同排的所对应的这两条直线应相互平行，以便于后续拟合修正平面的步骤进行。基于此，在有些实施例中，为了方便理解和图像识别时锁定该代表点，选择每个标定图样的中心点作为代表点。如图1所示，选择每个圆形图样的圆心作为代表点，且处于同一排的圆形图样的圆心处于同一直线，不同排的所对应的这两条直线相互平行。
S206，利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面。
可以理解，在计算出仿射矩阵以后，利用仿射矩阵分别对高度图和灰度图中各像素点的坐标进行坐标变换，即可消除XY平面偏移所带来的误差。经过变换的灰度图即为修正灰度图，由于其不包含高度信息，不需要进行Z轴方向上的修正，因此对灰度图的修正已完成。而高度图中包含了高度信息，仍需要在Z轴方向上坐进一步修正，即需要对第一高度图中各像素点的高度信息做进一步修正。具体而言，各标定图样都应处于同一平面，若Z轴方向不存在偏移，在第一高度图中他们的像素值都应相同，但在实际坐标系中可能出现了偏移，即各标定图样在第一高度图中可能呈现出高低不一的效果。若需要将第一高度图中各标定图样修正为高度一致，标定图样在第一高度图中所表现出的这种效果即反映了在Z轴方向上所需要修正的大小。结合平面几何的相关知识可知，平行的两条直线可以确定一个平面，因此平行的两排标定图样可以在三维空间中确定一个平面，每个标定图样的代表点都处于该平面上。根据第一高度图中各标定图样的高度信息进行平面拟合所得到的修正平面即反映了第一高度图中每个像素点在Z轴方向上的偏移情况。
S208，利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图。
可以理解，第一高度图中每个像素点于修正平面上的各点存在一一对应关系，修正平面上每个点的高度信息即反映该点在第一高度图上对应像素点在Z轴方向上的修正量。因此，对于第一高度图中任意一个像素点，在修正平面上获取与该像素点相同位置的高度信息，并以该高度信息为高度修正信息。在第一高度图中，将该像素点的高度信息减去高度修正信息。对第一高度图中的每个像素点进行了修正后即可得到修正高度图。至此，一组待拼接图像中的灰度图和高度图都经过了修正，消除了线激光扫描单元偏移所带来的误差。
S210，将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
可以理解，将经过修正的待拼接图像进行拼接所得的图像将不存在畸变，可以得到待成像物体的完整成像。
基于本实施例中的图像拼接方法，将待成像物体放置于具有两排平行标定图样的标定板上，以标定图样为锚点，对各线激光扫描单元所得到的待拼接图像进行修正。具体而言，根据各标定图样的实际坐标和理想坐标计算得到仿射矩阵，利用仿射矩阵对灰度图和高度图进行变换，将其中垂直于高度方向的平面上的误差修正，得到第一高度图和修正灰度图。利用各标定图样在第一高度图上的高度信息所拟合得到的修正平面对包含高度信息的第一高度图在高度方向上做进一步修正，得到修正高度图。最后将各修正后的待拼接图像进行拼接，得到待成像物体的完整成像。该方法无需对线激光修正单元进行参数调整，直接对图像进行处理，可以快速、准确地实现对待拼接图像的修正以及拼接，大大提高成像精度和效率，特别适用于对电芯等产品进行成像的场景，可很好地解决电芯边缘处的成像效果不理想问题。
在其中一个实施例中，对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵，包括：
（1）对于任意一组待拼接图像，判断该组待拼接图像是否存在错位现象。
（2）在判定待拼接图像不存在错位现象的情况下，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
可以理解，错位现象指的是激光扫描单元的成像视角与理想中的视角出现过大偏差，导致丢失部分待成像物体的像的情况。错位现象的出现代表着线激光扫描单元的成像结果难以修正。因此，只有在判定待拼接图像不存在错位现象的情况下才可开始执行对待拼接图像的修正。当判定待拼接图像存在错位现象时，可以发出调整提示，以提示工作人员对采集该组待拼接图像的线激光扫描单元进行视角调整。
在其中一个实施例中，为了方便判断是否存在错位现象，可以采取特定的标定图样设置方式。如图3所示，将标定图样设置为半径不同两种圆形图样，分别为第一圆形图样和第二圆形图样。第一圆形图样和第二圆形图样在同一排中等间距交替排布，即半径不同的圆形图样按照一大一小的规律依次等间距排布在同一排上。
判断该组待拼接图像是否存在错位现象，包括：
（1）获取灰度图中第一个标定图样的半径。
可以理解，这里的第一个标定图样指的是同一排标定图样中在预设方向上的第一个标定图样，预设方向可以根据各线激光扫描单元的排布方向确定。例如，线激光扫描单元为从左到右排列，则第一个标定图样即指的是灰度图中最靠近左侧边界的标定图样。而从灰度图中识别出圆形轮廓并基于圆形轮廓确定该圆形轮廓的半径的方式研究已十分成熟，OpenCV等计算机视觉软件库中已有开源、集成的工具可直接使用。在确定预设方向后，根据各标定图样的坐标即可确定预设方向上哪个标定图样为第一个标定图样，再使用相关的半径获取算法即可得到该标定图样的半径。
（2）在第一个标定图样的半径与该组待拼接图像对应的标准半径匹配的情况下，判定该组待拼接图像不存在错位现象；否则，判定该组待拼接图像存在错位现象。
可以理解，由于线激光扫描单元在合理位置时与标定板之间的相对位置是相对固定的。因此，在每个线激光扫描单元所采集的灰度图中的第一个标定图样应该都保持不变。当线激光扫描单元视角范围内的第一个标定图样发生的变化时即可确定线激光扫描单元出现了无法修正的位置偏差，将导致该线激光扫描单元对应的待拼接图像存在错位现象。标准半径指的是该组待拼接图像对应的线激光扫描单元在位置正常时，所采集到的第一个标定图样的半径。由于本申请中间隔设置了半径不同的圆形图样，只有当实际中第一个标定图样的半径和理想中的标准半径一致的时候，才可判定该组待拼接图像存在错位现象。否则可以判定待拼接图像出现了错位。例如，请参阅图3，图中虚线框代表线激光扫描单元处于正常位置时灰度图的视角范围，其视角范围内的第一个标定图样为半径小于第二圆形图样的第一圆形图样。图中点划线框代表线激光扫描单元的实际视角范围，其视角范围内的第一个标定图样为第二圆形图样。因此，可判定该组待拼接图像存在错位现象。值得一提的是，第一圆形图样和第二圆形图样的间距应根据线激光扫描单元可能出现偏差的极限情况来考虑，不应设置得过于密集，以防止出现线激光扫描单元完整错过了一个以上的与标准半径不同的圆形图样，而导致虽然存在错位现象但第一个标定图样未变化的情况出现。
在其中一个实施例中，为了便于对标定图样的坐标采集，以选择电芯作为待成像物体为例，电芯上一般没有轮廓为圆形的部分，选择标定图样为圆形图样可以避免算法的误识别，还有许多成熟算法可用于采集圆形区域的圆心坐标。因此，在灰度图中确定各标定图样的实际坐标，包括：
（1）在灰度图中识别多个圆形轮廓区域。
可以理解，每个圆形轮廓区域则对应的一个圆形图样，通过轮廓识别算法可以在灰度图中找出所有的轮廓，再对每个轮廓的形状进行判断，即可从中找到圆形轮廓区域。
（2）获取各圆形轮廓区域的圆心坐标，并以各圆心坐标为对应的标定图样的实际坐标。
可以理解，本实施例中以圆形轮廓区域的圆心作为代表点，各圆形轮廓区域的圆心坐标即可反映标定图样的位置。在确定出圆形轮廓区域后，通过目前相关的算法可从圆形轮廓区域中找出圆心的位置，并计算出相应的坐标。
在其中一个实施例中，计算将各实际坐标变换到对应的理想坐标的仿射矩阵，包括：基于最小距离平方和法，根据各实际坐标和各实际坐标对应的理想坐标，计算仿射矩阵。
可以理解，仿射矩阵的变换是一种线性变换，以矩阵形式表达即为：
；
其中，
x、y为仿射变换前的坐标，
x’、y’为仿射变换后的坐标。
a 11
、a 12
、a 13
、a 21
、a 22 和
a 23 为仿射矩阵中的待求参数。最小距离平方和法可以由多个实际坐标拟合出仿射矩阵中的待求参数，使用最小距离平方和法的矩阵形式可求得仿射矩阵。
在其中一个实施例中，将各组修正后的待拼接图像进行拼接，得到待成像物体的成像，包括：
（1）识别各组修正后的待拼接图像之间的重叠部分。
（2）根据重叠部分对各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
可以理解，相邻的两个线激光扫描单元的所采集到的待拼接成像将存在重叠的部分，因此，可将各组修正后的待拼接图像之间的重叠部分识别处理出来，以便在拼接时将多余的重叠部分去除。该部分技术在现有技术中十分成熟，可以根据实际需要选择相应的算法。值得一提的是，这里的拼接指的是不同组的灰度图与灰度图之间进行拼接，高度图与高度图之间进行拼接，最后得到的待成像物体的成像包括可呈现整个待成像物体的完整灰度图和完整高度图。
本申请实施例还提供了一种图像拼接装置，应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间。请参阅图4，图像拼接装置包括图像获取模块410、图像修正模块420和图像拼接模块430。
图像获取模块410用于获取多组待拼接图像。每组待拼接图像包括灰度图和高度图。
图像修正模块420用于对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面。利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图。
图像拼接模块430用于将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
在其中一个实施例中，图像修正模块420用于对于任意一组待拼接图像，判断该组待拼接图像是否存在错位现象；在判定待拼接图像不存在错位现象的情况下，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
在其中一个实施例中，标定图样包括半径不同的第一圆形图样和第二圆形图样，第一圆形图样和第二圆形图样在同一排中等间距交替排布。图像修正模块420用于获取灰度图中第一个标定图样的半径；在第一个标定图样的半径与该组待拼接图像对应的标准半径匹配的情况下，判定该组待拼接图像不存在错位现象；否则，判定该组待拼接图像存在错位现象。
在其中一个实施例中，标定图样为圆形图样。图像修正模块420用于在灰度图中识别多个圆形轮廓区域；获取各圆形轮廓区域的圆心坐标，并以各圆心坐标为对应的标定图样的实际坐标。
在其中一个实施例中，图像修正模块420用于基于最小距离平方和法，根据各实际坐标和各实际坐标对应的理想坐标，计算仿射矩阵。
在其中一个实施例中，图像修正模块420用于对于第一高度图中任意一个像素点，在修正平面上获取与该像素点相同位置的高度信息，并以该高度信息为高度修正信息；在第一高度图中，将该像素点的高度信息减去高度修正信息。
在其中一个实施例中，图像修正模块420用于识别各组修正后的待拼接图像之间的重叠部分；根据重叠部分对各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
本申请实施例还提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行：获取多组待拼接图像；每组待拼接图像包括灰度图和高度图；对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵；利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面；利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图；将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：对于任意一组待拼接图像，判断该组待拼接图像是否存在错位现象；在判定待拼接图像不存在错位现象的情况下，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：获取灰度图中第一个标定图样的半径；在第一个标定图样的半径与该组待拼接图像对应的标准半径匹配的情况下，判定该组待拼接图像不存在错位现象；否则，判定该组待拼接图像存在错位现象。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：在灰度图中识别多个圆形轮廓区域；获取各圆形轮廓区域的圆心坐标，并以各圆心坐标为对应的标定图样的实际坐标。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：基于最小距离平方和法，根据各实际坐标和各实际坐标对应的理想坐标，计算仿射矩阵。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：对于第一高度图中任意一个像素点，在修正平面上获取与该像素点相同位置的高度信息，并以该高度信息为高度修正信息；在第一高度图中，将该像素点的高度信息减去高度修正信息。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，执行：识别各组修正后的待拼接图像之间的重叠部分；根据重叠部分对各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
示意性地，如图5所示，图5为本申请实施例提供的一种计算机设备的内部结构示意图。参照图5，计算机设备500包括处理组件502，其进一步包括一个或多个处理器，以及由存储器501所代表的存储器资源，用于存储可由处理组件502的执行的指令，例如应用程序。存储器501中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件502被配置为执行指令，以执行上述任意实施例的文本识别方法。
计算机设备500还可以包括一个电源组件503被配置为执行计算机设备500的电源管理，一个有线或无线网络接口504被配置为将计算机设备500连接到网络，和一个输入输出（I/O）接口505。计算机设备500可以操作基于存储在存储器501的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例还提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：获取多组待拼接图像；每组待拼接图像包括灰度图和高度图；对于任意一组待拼接图像，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵；利用仿射矩阵分别对高度图和灰度图进行变换，得到第一高度图和修正灰度图，并根据第一高度图中各标定图样的高度信息进行平面拟合，得到修正平面；利用修正平面对第一高度图中各像素点的高度信息进行修正，得到修正高度图；将各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：对于任意一组待拼接图像，判断该组待拼接图像是否存在错位现象；在判定待拼接图像不存在错位现象的情况下，在灰度图中确定各标定图样的实际坐标，并计算将各实际坐标变换到对应的理想坐标的仿射矩阵。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：获取灰度图中第一个标定图样的半径；在第一个标定图样的半径与该组待拼接图像对应的标准半径匹配的情况下，判定该组待拼接图像不存在错位现象；否则，判定该组待拼接图像存在错位现象。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：在灰度图中识别多个圆形轮廓区域；获取各圆形轮廓区域的圆心坐标，并以各圆心坐标为对应的标定图样的实际坐标。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：基于最小距离平方和法，根据各实际坐标和各实际坐标对应的理想坐标，计算仿射矩阵。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：对于第一高度图中任意一个像素点，在修正平面上获取与该像素点相同位置的高度信息，并以该高度信息为高度修正信息；在第一高度图中，将该像素点的高度信息减去高度修正信息。
在其中一个实施例中，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行：识别各组修正后的待拼接图像之间的重叠部分；根据重叠部分对各组修正后的待拼接图像进行拼接，得到待成像物体的成像。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像拼接方法，其特征在于，应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间，所述拼接方法包括：
获取多组待拼接图像；每组所述待拼接图像包括灰度图和高度图；
对于任意一组所述待拼接图像，在所述灰度图中确定各所述标定图样的实际坐标，并计算将各所述实际坐标变换到对应的理想坐标的仿射矩阵；
利用所述仿射矩阵分别对所述高度图和所述灰度图进行变换，得到第一高度图和修正灰度图，并根据所述第一高度图中各所述标定图样的高度信息进行平面拟合，得到修正平面；
利用所述修正平面对所述第一高度图中各像素点的高度信息进行修正，得到修正高度图；
将各组修正后的所述待拼接图像进行拼接，得到所述待成像物体的成像。
2.根据权利要求1所述的方法，其特征在于，所述对于任意一组所述待拼接图像，在所述灰度图中确定各所述标定图样的实际坐标，并计算将各所述实际坐标变换到对应的理想坐标的仿射矩阵，包括：
对于任意一组所述待拼接图像，判断该组所述待拼接图像是否存在错位现象；
在判定所述待拼接图像不存在所述错位现象的情况下，在所述灰度图中确定各所述标定图样的实际坐标，并计算将各所述实际坐标变换到对应的理想坐标的仿射矩阵。
3.根据权利要求2所述的方法，其特征在于，所述标定图样包括半径不同的第一圆形图样和第二圆形图样，所述第一圆形图样和所述第二圆形图样在同一排中等间距交替排布；所述判断该组所述待拼接图像是否存在错位现象，包括：
获取所述灰度图中第一个所述标定图样的半径；
在第一个所述标定图样的半径与该组所述待拼接图像对应的标准半径匹配的情况下，判定该组所述待拼接图像不存在所述错位现象；否则，判定该组所述待拼接图像存在所述错位现象。
4.根据权利要求1所述的方法，其特征在于，所述标定图样为圆形图样，所述在所述灰度图中确定各所述标定图样的实际坐标，包括：
在所述灰度图中识别多个圆形轮廓区域；
获取各所述圆形轮廓区域的圆心坐标，并以各所述圆心坐标为对应的所述标定图样的实际坐标。
5.根据权利要求1所述的方法，其特征在于，所述计算将各所述实际坐标变换到对应的理想坐标的仿射矩阵，包括：
基于最小距离平方和法，根据各所述实际坐标和各所述实际坐标对应的所述理想坐标，计算所述仿射矩阵。
6.根据权利要求1所述的方法，其特征在于，所述利用所述修正平面对所述第一高度图中各像素点的高度信息进行修正，得到修正高度图，包括：
对于所述第一高度图中任意一个像素点，在所述修正平面上获取与该所述像素点相同位置的高度信息，并以该高度信息为高度修正信息；
在所述第一高度图中，将该所述像素点的高度信息减去所述高度修正信息。
7.根据权利要求1所述的方法，其特征在于，所述将各组修正后的所述待拼接图像进行拼接，得到所述待成像物体的成像，包括：
识别各组修正后的所述待拼接图像之间的重叠部分；
根据所述重叠部分对各组裁剪后的所述待拼接图像进行拼接，得到所述待成像物体的成像。
8.一种图像拼接装置，其特征在于，应用于多线激光成像系统，待成像物体被放置于两排平行的标定图样之间，所述装置包括：
图像获取模块，用于获取多组待拼接图像；每组所述待拼接图像包括灰度图和高度图；
图像修正模块，用于对于任意一组所述待拼接图像，在所述灰度图中确定各所述标定图样的实际坐标，并计算将各所述实际坐标变换到对应的理想坐标的仿射矩阵；利用所述仿射矩阵分别对所述高度图和所述灰度图进行变换，得到第一高度图和修正灰度图，并根据所述第一高度图中各所述标定图样的高度信息进行平面拟合，得到修正平面；利用所述修正平面对所述第一高度图中各像素点的高度信息进行修正，得到修正高度图；
图像拼接模块，用于将各组修正后的所述待拼接图像进行拼接，得到所述待成像物体的成像。
9.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1-7任一项所述的图像拼接方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-7任一项所述的图像拼接方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310206916.1A CN116071240B (zh) | 2023-03-07 | 2023-03-07 | 图像拼接方法、装置、计算机设备和存储介质 |
| PCT/CN2023/096870 WO2024183165A1 (zh) | 2023-03-07 | 2023-05-29 | 图像拼接方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310206916.1A CN116071240B (zh) | 2023-03-07 | 2023-03-07 | 图像拼接方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071240A true CN116071240A (zh) | 2023-05-05 |
| CN116071240B CN116071240B (zh) | 2023-06-20 |
Family
ID=86183768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310206916.1A Active CN116071240B (zh) | 2023-03-07 | 2023-03-07 | 图像拼接方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116071240B (zh) |
| WO (1) | WO2024183165A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116739898A (zh) * | 2023-06-03 | 2023-09-12 | 广州市西克传感器有限公司 | 基于圆柱特征的多相机点云拼接方法和装置 |
| WO2024183165A1 (zh) * | 2023-03-07 | 2024-09-12 | 广东利元亨智能装备股份有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243637A (zh) * | 2015-09-21 | 2016-01-13 | 武汉海达数云技术有限公司 | 一种基于三维激光点云进行全景影像拼接方法 |
| CN111504202A (zh) * | 2020-02-29 | 2020-08-07 | 深圳市智信精密仪器有限公司 | 一种用于多个线激光高精度标定拼接的方法 |
| CN113566733A (zh) * | 2021-06-29 | 2021-10-29 | 宁波大学 | 一种线激光视觉三维扫描装置及方法 |
| CN114088738A (zh) * | 2022-01-20 | 2022-02-25 | 深圳市华汉伟业科技有限公司 | 一种环状焊缝的高精度缺陷检测方法和装置 |
| CN114359405A (zh) * | 2021-12-24 | 2022-04-15 | 苏州中科行智智能科技有限公司 | 一种离轴沙姆3d线激光相机的标定方法 |
| CN114440792A (zh) * | 2022-01-11 | 2022-05-06 | 重庆固高科技长江研究院有限公司 | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 |
| WO2022143796A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州海康机器人技术有限公司 | 一种线结构光测量系统的标定方法、标定装置、以及系统 |
| CN115546016A (zh) * | 2022-11-26 | 2022-12-30 | 深圳市鹰眼在线电子科技有限公司 | Pcb的2d和3d图像的采集和处理方法及相关装置 |
| CN115713553A (zh) * | 2023-01-06 | 2023-02-24 | 深圳市鹰眼在线电子科技有限公司 | 盲孔板盲孔孔深测量方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071240B (zh) * | 2023-03-07 | 2023-06-20 | 广东利元亨智能装备股份有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-07 CN CN202310206916.1A patent/CN116071240B/zh active Active
- 2023-05-29 WO PCT/CN2023/096870 patent/WO2024183165A1/zh unknown
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243637A (zh) * | 2015-09-21 | 2016-01-13 | 武汉海达数云技术有限公司 | 一种基于三维激光点云进行全景影像拼接方法 |
| CN111504202A (zh) * | 2020-02-29 | 2020-08-07 | 深圳市智信精密仪器有限公司 | 一种用于多个线激光高精度标定拼接的方法 |
| WO2022143796A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州海康机器人技术有限公司 | 一种线结构光测量系统的标定方法、标定装置、以及系统 |
| CN113566733A (zh) * | 2021-06-29 | 2021-10-29 | 宁波大学 | 一种线激光视觉三维扫描装置及方法 |
| CN114359405A (zh) * | 2021-12-24 | 2022-04-15 | 苏州中科行智智能科技有限公司 | 一种离轴沙姆3d线激光相机的标定方法 |
| CN114440792A (zh) * | 2022-01-11 | 2022-05-06 | 重庆固高科技长江研究院有限公司 | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 |
| CN114088738A (zh) * | 2022-01-20 | 2022-02-25 | 深圳市华汉伟业科技有限公司 | 一种环状焊缝的高精度缺陷检测方法和装置 |
| CN115546016A (zh) * | 2022-11-26 | 2022-12-30 | 深圳市鹰眼在线电子科技有限公司 | Pcb的2d和3d图像的采集和处理方法及相关装置 |
| CN115713553A (zh) * | 2023-01-06 | 2023-02-24 | 深圳市鹰眼在线电子科技有限公司 | 盲孔板盲孔孔深测量方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 法弘理: "基于3D视觉的PCB元器件字符识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 84 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024183165A1 (zh) * | 2023-03-07 | 2024-09-12 | 广东利元亨智能装备股份有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
| CN116739898A (zh) * | 2023-06-03 | 2023-09-12 | 广州市西克传感器有限公司 | 基于圆柱特征的多相机点云拼接方法和装置 |
| CN116739898B (zh) * | 2023-06-03 | 2024-04-30 | 广东西克智能科技有限公司 | 基于圆柱特征的多相机点云拼接方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024183165A1 (zh) | 2024-09-12 |
| CN116071240B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116071240B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| US20070091174A1 (en) | Projection device for three-dimensional measurement, and three-dimensional measurement system | |
| CN113393464B (zh) | 一种平板玻璃缺陷的三维检测方法 | |
| US20130258060A1 (en) | Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium | |
| CN103530880A (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
| CN114693529B (zh) | 一种图像拼接方法、装置、设备及存储介质 | |
| CN108596905A (zh) | 物体检测方法、系统、计算机设备和存储介质 | |
| CN115861351A (zh) | 边缘检测方法、缺陷检测方法及检测装置 | |
| US20100103257A1 (en) | System and method for correcting an image | |
| CN111391327B (zh) | 打印误差确定和打印方法、装置、电子设备及存储介质 | |
| CN115147499A (zh) | 标定参数确定方法、混合标定板、装置、设备和介质 | |
| CN111915681B (zh) | 多组3d相机群的外参标定方法、装置、存储介质及设备 | |
| CN112292577B (zh) | 三维测量装置以及方法 | |
| KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
| CN110035279B (zh) | 在棋盘格测试图中寻找sfr测试区域的方法及装置 | |
| CN111341686A (zh) | 一种检测晶圆缺陷的方法及装置 | |
| CN113536822B (zh) | 二维码校正方法、装置及计算机可读存储介质 | |
| CN114562960B (zh) | 一种反射形貌检测投影屏变形方法、系统、设备及介质 | |
| CN113674202B (zh) | 一种实时显示产品偏差的跟踪扫描方法及系统 | |
| CN111595560B (zh) | 线激光器平面度的视觉检测方法 | |
| CN117893535B (zh) | 自动调用尺寸检测方法、系统和电子设备 | |
| CN114841911A (zh) | 面板图像倍率的确定方法、面板检测方法、装置及设备 | |
| CN118293790A (zh) | 一种汽车钣金件上零部件测量方法、系统、设备及介质 | |
| CN116091528A (zh) | 基于双目立体视觉的孔测量方法、装置、电子设备和介质 | |
| CN105303556A (zh) | 基于直线特征的摄像机非线性畸变参数求解方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |