CN113344795B - 一种基于先验信息的快速图像拼接方法 - Google Patents

一种基于先验信息的快速图像拼接方法 Download PDF

Info

Publication number
CN113344795B
CN113344795B CN202110895003.6A CN202110895003A CN113344795B CN 113344795 B CN113344795 B CN 113344795B CN 202110895003 A CN202110895003 A CN 202110895003A CN 113344795 B CN113344795 B CN 113344795B
Authority
CN
China
Prior art keywords
image
line
point
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110895003.6A
Other languages
English (en)
Other versions
CN113344795A (zh
Inventor
曲东升
李长峰
冀伟
陈辉
查进
张文晔
罗文�
朱华波
陶友瑞
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Mingseal Robotic Technology Co Ltd
Original Assignee
Changzhou Mingseal Robotic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Mingseal Robotic Technology Co Ltd filed Critical Changzhou Mingseal Robotic Technology Co Ltd
Priority to CN202110895003.6A priority Critical patent/CN113344795B/zh
Publication of CN113344795A publication Critical patent/CN113344795A/zh
Application granted granted Critical
Publication of CN113344795B publication Critical patent/CN113344795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于先验信息的快速图像拼接方法，首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵；根据先验信息对固定轨迹的任意工件图像进行粗配准，此步骤不依赖任何图像特征；在先验信息中，根据图像重叠区域的宽高比取整确定四叉树的初始节点数目，利用四叉树算法快速提取一定数量的点特征，在拼接缝附近提取线特征，依据点和线约束优化图像配准关系；针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准；利用精确的配准关系拼接出待测工件表面的完整图像信息。该方法能够不依赖图像特征快速解算出图像间的单应性矩阵,使用局部信息优化单应性矩阵。

Description

一种基于先验信息的快速图像拼接方法
技术领域
本发明涉及图像拼接的技术领域，尤其是一种基于先验信息的快速图像拼接方法。
背景技术
为了获取大视场、高清晰、完整的图像，以保证测量精度，需要对被测工件的多幅局部图像进行精确、快速地拼接。对于较大的目标场景，其尺寸超出图像采集摄像机的视场范围，普通摄像机只能采集到其中的一个局部。图像拼接是一种将相互有重叠区域的图像进行配准、融合，从而得到一幅大视野、高分辨率图像的技术。在许多半导体制造、材料科学、生物医学研究等场景中，非常需要图像拼接来获取代表特定结构或整个部分大面积的全景图像，同时又保持微观分辨率。由于镜头拍照的位置不同，图像间虽然有相同的拍摄区域，但是相机的世界坐标位置发生了变化，导致图像间的成像平面不在同一平面，简单重叠的误差极大。
经过多年的发展，图像拼接技术可确定的分为四个主要步骤：图像配准、重投影、拼缝缝合以及图像融合。图像配准和图像融合是影响图像拼接质量最关键的步骤。在一些低纹理、稀疏特征、高度重复特征的场景中，图像配准稳定性差，常出现配准失败的情况，这是因为图像配准需要提取图像中的特征点，低纹理、稀疏特征场景中难以提取足够多的特征点，所以图像间特征点的匹配也基本不行；而高度重复特征场景虽然能够提取足够的特征点，但是每个特征点的特征向量也高度相似，导致特征点间的匹配不准确，最后配准也就不稳定或者直接失败。一般的基于特征点的配准算法难以提取足够的特征或者特征匹配容易混淆，而基于区域的算法计算量大，实时性差，难以满足生产要求。
发明内容
本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于先验信息的快速图像拼接方法，能够不依赖图像特征快速解算出图像间的单应性矩阵,再使用局部信息优化单应性矩阵。
本发明解决其技术问题所采用的技术方案是：一种基于先验信息的快速图像拼接方法，具体步骤如下：
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵；
第二步骤、将该单应性矩阵用于输入图像的粗配准，根据先验信息对固定轨迹的任意工件图像进行粗配准，此步骤不依赖任何图像特征；
第三步骤、在先验信息中，根据图像重叠区域的宽高比取整确定四叉树的初始节点数目，利用四叉树算法快速提取一定数量的点特征，在拼接缝附近提取线特征，依据点和线约束优化图像配准关系，在点和线约束中，相机位姿参数
Figure 100002_DEST_PATH_IMAGE001
在每一帧都用光速平差法进行优化，然后将优化后的位姿用于更新单应性矩阵
Figure DEST_PATH_IMAGE002
，其中
Figure 100002_DEST_PATH_IMAGE003
为相机位姿参数中的旋转参数；
Figure DEST_PATH_IMAGE004
为相机位姿参数中的平移参数；
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准；
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
进一步具体地限定，上述技术方案中，所述三轴机器人的相机坐标系为
Figure 100002_DEST_PATH_IMAGE005
，像素坐标系为
Figure DEST_PATH_IMAGE006
，根据相机模型可得两坐标系之间的变换关系：
Figure 100002_DEST_PATH_IMAGE007
（1）
其中，
Figure DEST_PATH_IMAGE008
表示相机感光芯片X方向在u轴方向上的尺度因子；
Figure 100002_DEST_PATH_IMAGE009
是相机感光芯片Y方向在v轴方向上的尺度因子；（
Figure DEST_PATH_IMAGE010
，
Figure 100002_DEST_PATH_IMAGE011
）表示相机中心点；K表示相机内参；在相机扫描轨迹已知的情况下，通过等距拍摄可轻易计算出图像对的重叠程度和图像对的变换关系。需要说明的是，O-XYZ是相机坐标系，属于我们存在的三维空间，o-uv是相机感光元件上的像素坐标系，X投影到u（X方向在u轴方向上），Y投影到v（Y方向在v轴方向上），Z轴在感光元件上展示不出，所以拍摄的照片是二维的。
进一步具体地限定，上述技术方案中，所述单应性矩阵涉及两个平面之间的变换，通过两个相机位置查看的平面，根据单应性可以投影到同一个平面，变换公式如下：
Figure DEST_PATH_IMAGE012
（2）
其中，u表示像素的横坐标；v表示像素的纵坐标；
Figure 100002_DEST_PATH_IMAGE013
和
Figure DEST_PATH_IMAGE014
表示两图像上的像点且它们是一对匹配的点对；
Figure 100002_DEST_PATH_IMAGE015
表示单应性矩阵；
Figure DEST_PATH_IMAGE016
、
Figure 100002_DEST_PATH_IMAGE017
、
Figure DEST_PATH_IMAGE018
、
Figure 100002_DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE020
、
Figure 100002_DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
、
Figure 100002_DEST_PATH_IMAGE023
以及
Figure DEST_PATH_IMAGE024
均表示为矩阵元素。
进一步具体地限定，上述技术方案中，设有
Figure 100002_DEST_PATH_IMAGE025
对匹配点
Figure DEST_PATH_IMAGE026
和
Figure 100002_DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
， 最少4对匹配的点对，且任意3点不共线，就可以求出两幅图像的单应性矩阵
Figure 180391DEST_PATH_IMAGE015
。其中，n表示匹配点的数量，且n是大于等于4的正整数。
进一步具体地限定，上述技术方案中，所述线特征的线段使用LSD算法进行检测，并使用LBD算法进行线段匹配， 线特征的重投影误差
Figure 100002_DEST_PATH_IMAGE029
等于投影线的端点到在图像平面上检测到的直线的距离
Figure DEST_PATH_IMAGE030
之和。
进一步具体地限定，上述技术方案中，用光束平差法优化包含点和线这两种几何元素的误差函数，最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差。
本发明的有益效果是：本发明的一种基于先验信息的快速图像拼接方法，能够不依赖图像特征快速解算出图像间的单应性矩阵,再使用局部信息优化单应性矩阵，有效解决了因低纹理、稀疏特征以及高度重复特征而导致难以正确拼接的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相机在定高平面拍摄图像的示意图；
图2是拼接的1D扫描方式；
图3是拼接的2D扫描方式；
图4是本发明的流程图；
图5是相机的运动轨迹；
图6是根据重叠关系得到的图像间的单应性矩阵以及重叠关系；
图7是四叉树第一次分裂的示意图；
图8是四叉树第二次分裂的示意图；
图9是四叉树第三次分裂的示意图；
图10是删除多余特征点后的结果；
图11是单应性矩阵示意图；
图12是线特征重投影误差示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于先验信息的快速图像拼接方法，尤其是在三轴机器人上利用运动先验信息进行工件快速图像拼接的方法，具体步骤如下：
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵；
第二步骤、根据先验信息对固定轨迹的任意工件图像进行粗配准，此步骤不依赖任何图像特征；
第三步骤、在先验信息中，根据图像重叠区域的宽高比取整确定四叉树的初始节点数目，利用四叉树算法快速提取一定数量的点特征，在拼接缝附近提取线特征，依据点和线约束优化图像配准关系；
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准；
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
见图1，拍摄装置是一个三轴运动的机器，相机在定高平面拍摄图像，图像间存在一定的重叠区域。
见图2，需要单一方向拼接时，比如：水平或者垂直拼接，用1D扫描方式；1D扫描方式只有一个维度，在这里呈现的就是一条直线。图2表示四幅不同图像，数字1表示图像1，数字2表示图像2，数字3表示图像3，数字4表示图像4。
见图3，拼接场景大，需要水平加垂直两个方向拼接，用2D扫描方式；2D扫描方式是二维，同时存在x和y两个垂直方向的运动。图3表示九幅不同图像，数字1表示图像1，数字2表示图像2，数字3表示图像3，数字4表示图像4，数字5表示图像5，数字6表示图像6，数字7表示图像7，数字8表示图像8，数字9表示图像9。
值得注意的是，相机平行运动，成像场景也是平面的。理想情况下，根据相机内参可精确计算出相机位移与像素位移的关系，然后将图像平移到重合位置就可以完成图像拼接。例如：机器位移与像素位移比为1/60（mm/pixel），相机在坐标(0,0)与(5,0)分别拍摄两张图像（需要说明的是，坐标（0,0）中的第一个0是X坐标，第二个0是Y坐标；坐标（5,0）中的5是X坐标，0是Y坐标），则两张图像顶点置于(0,0)和(300,0)就可以完美的拼接（需要说明的是，坐标（0,0）中的第一个0是X坐标，第二个0是Y坐标；坐标（300,0）中的300是X坐标，0是Y坐标）。但是由于高速运动中机器会产生低频震动，导致相机位移与像素位移换算关系存在误差，图像间并非只是刚性平移关系，微小的仿射变换会存在其中。即使存在误差，这些特性也为稀疏特征或者高度重复特征图像的拼接提供了思路。
见图4，首先根据机器设定的运动轨迹，计算出固定轨迹中拍摄图像位置之间的单应性矩阵；然后将该单应性矩阵用于输入图像的粗配准，此步骤和图像内容无关，即使内容中特征稀疏也可以完成粗匹配，粗配准后，提取图像中的特征点，当特征点不够时，利用互信息计算特征点来替代；下一步提取图像中线特征，若是存在线特征，则利用点和线的共同约束去优化单应性矩阵从而达到精细化配准的作用；若是不存在线特征，则只计算点特征重投影误差优化单应性矩阵；得到最优的配准关系后，选择最佳拼接缝，使用多频段融合将多张图像融合在一起，形成一张高清无缝的大视野图像。和传统拼接不一样的地方是，本发明利用了先验信息计算了固定轨迹的变换关系用以指导图像粗配准，此步骤不依赖图像内容，然后在提取特征点时增加了互信息算法来防止特征稀疏时传统特征点算法提取的特征点数量不足而导致配准失败的情况，并且本发明引入了点和线特征约束的优化方法，对单应性矩阵精细化。
基于先验信息的粗配准：由于机器等距拍摄，可事先计算出重叠区域的大小。特征提取与特征匹配是图像拼接中最耗时的操作步骤之一。在重叠区域内计算特征并匹配特征，比在整幅图像内计算的效率提高很多。三轴机器人的相机坐标系为
Figure 640191DEST_PATH_IMAGE005
，像素坐标系为
Figure 935824DEST_PATH_IMAGE006
，根据相机模型可得相机坐标系和像素坐标系两者之间的变换关系：
Figure DEST_PATH_IMAGE031
（1）
其中，
Figure 76955DEST_PATH_IMAGE008
表示相机感光芯片X方向在u轴方向上的尺度因子；
Figure 637249DEST_PATH_IMAGE009
是相机感光芯片Y方向在v轴方向上的尺度因子；（
Figure 471213DEST_PATH_IMAGE010
，
Figure 985633DEST_PATH_IMAGE011
）表示相机中心点；K表示相机内参。
见图5和图6，在相机扫描轨迹已知的情况下，通过等距拍摄可轻易计算出图像对的重叠程度和图像对的变换关系。图5表示四幅不同图像，数字1表示图像1，数字2表示图像2，数字3表示图像3，数字4表示图像4。图6中的数字1表示图像1，数字2表示图像2，数字3表示图像3，数字4表示图像4，H12表示图像1到图像2的单应性矩阵，H23表示图像2到图像3的单应性矩阵，H34表示图像3到图像4的单应性矩阵，H14表示图像1到图像4的单应性矩阵，H13表示图像1到图像3的单应性矩阵，H24表示图像2到图像4的单应性矩阵。
此步骤依赖于机器运动坐标信息与初始化标定板的特征信息，将机器运动轨迹与图像的配准关系对应了起来。初始化完成后，只要是根据固定轨迹进行拍摄的图像，无论图像内容，无论特征是否丰富，均可直接配准，鲁棒性更强。
图像配准精细化：尽管有依据先验信息的配准步骤，但是由于机器的误差，会导致每次拍摄的图像位置有微小偏差，从而降低图像拼接准确性。所以，还需要进一步对图像配准精细化。由于在低纹理环境中很难提取足够的特征点来进行稳健的单应性估计，本发明提出了一种将点特征和线特征约束在一起用以优化图像配准的方法。
特征点提取：在特征比较丰富的场景中，特征点数量足够并且可以正确匹配下，使用ORB(Oriented FAST and Rotated BRIEF)算法提取特征点。ORB是目前最快速稳定的特征点检测和提取算法，许多图像拼接和目标追踪技术利用ORB特征进行实现。为了进一步提高效率以及准确性，本发明中使用了四叉树算法均匀分布特征点，具体步骤如下（该步骤是四叉树算法的步骤，涉及图7-图10的描述，在第三步骤和第四步骤中都会用到）：
第1步骤：首先确定初始的节点（node）数目，根据先验信息确定的图像重叠区域的宽高比取整来确定，一般刚开始的时候只有一个节点，也是四叉树的根节点。用一个具体的例子来分析四叉树是如何均匀化选取特定数目的特征点的：假设初始节点只有1个，那么所有的特征点都属于该节点，目标是均匀的选取21个特征点，那么后面就需要分裂出21个节点，然后从每个节点中选取一个代表性的特征点。
第2步骤：节点第1次分裂，1个根节点分裂为4个节点。见图7，分裂之后根据图像的尺寸划分节点的区域，对应的边界为左上角、右上角、左下角、右下角的四个坐标。有些坐标会被多个节点共享，比如图像中心点坐标可能同时被四个点共享。落在某个节点区域范围内的所有特征点都属于该节点的元素。然后统计每个节点里包含特征点的数目，如果某个节点里特征点数目为0，则删掉该节点，如果某个节点里特征点数目为1，则该节点不再进行分裂。判断此时的节点总数是否超过设定值21，如果没有超过则继续对每个节点分裂。这里需要注意的是一个母节点分裂为4 个子节点后，需要在节点链表里删掉原来的母节点，所以实际上一次分裂净增加了3 个节点。所以下次分裂后节点的总数是可以提前预估的，计算方式为：（当前节点总数 + 即将分裂的节点总数×3），见图8（图中的×表示没有特征点），下次分裂最多可以得到16个节点，显然还是没有达到21的要求，需要继续分裂。
第3步骤：对上一步得到的4个节点分别进行一分为四的操作，然后统计分裂后的每个节点里包含特征点的数目，可以看到已经有3个节点里的特征点数目为0，于是在节点链表里删掉这3个节点（图8中标记为X）。如果某个节点里特征点数目为1，则该节点不再进行分裂。此次分裂总共得到13个节点。
第4步骤：上一步得到的13个节点继续进行一分为四的操作。计算出这次分裂最多可以得到的节点已经超过需要提取21个特征点数目的需求。此时需要注意，不需要把所有的节点都进行分裂，只需要在分裂得到的所有节点数目刚刚达到21时，即可停止分裂，这样操作的目的一方面是可以避免多分裂后再删除而做无用功，另一方面，因为是指数级分裂，所以也大大加速了四叉树分裂的过程。分裂结果如图9（图中的×表示没有特征点）所示。
第5步骤：上一步中已经得到了所需要的21个节点，只需要从每个节点中选出特征点响应值最高的特征点，作为该节点的唯一特征点，该节点内其他低响应值的特征点全部删掉。这样就得到了均匀化后的需要数目的特征点，最终结果如图10（图中的×表示没有特征点）所示。需要说明的是：特征点是特征中某个方面的响应超过一定阈值的像素点，每个特征点的响应值是不同的，响应值越大表示该特征越明显。
单应性矩阵计算：单应性矩阵涉及两个平面之间的变换，是图像拼接必不可少的步骤。见图11，通过两个相机位置查看的平面，根据单应性可以投影到同一个平面，两图像上的像点
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE033
是一对匹配的点对，其单应性矩阵为
Figure 992773DEST_PATH_IMAGE015
，变换公式如下：
Figure DEST_PATH_IMAGE034
（2）
其中，u表示像素的横坐标；v表示像素的纵坐标；
Figure 968425DEST_PATH_IMAGE015
表示单应性矩阵；
Figure 910974DEST_PATH_IMAGE016
、
Figure 411225DEST_PATH_IMAGE017
、
Figure 894159DEST_PATH_IMAGE018
、
Figure 429046DEST_PATH_IMAGE019
、
Figure 106277DEST_PATH_IMAGE020
、
Figure 93824DEST_PATH_IMAGE021
、
Figure 380449DEST_PATH_IMAGE022
、
Figure 504263DEST_PATH_IMAGE023
以及
Figure 788614DEST_PATH_IMAGE024
均表示为矩阵元素；
设有
Figure 779571DEST_PATH_IMAGE025
对匹配点
Figure DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
，
Figure 932204DEST_PATH_IMAGE028
，其中，n表示匹配点的数量，且n是大于等于4的正整数；则可以通过以下公式求解出单应性矩阵
Figure 176103DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE037
（3）
最少4对匹配的点对，且任意3点不共线，就可以求出两幅图像的单应性矩阵
Figure 54191DEST_PATH_IMAGE015
。
线特征：线段使用LSD(Line Segment Detector)算法进行检测，并使用LBD（LineBand Descriptor）算法进行线段匹配，线段的计算公式为：
Figure DEST_PATH_IMAGE038
（4）
其中，
Figure DEST_PATH_IMAGE039
表示检测到的线参数；
Figure DEST_PATH_IMAGE040
表示图像平面上的2D检测点；
Figure DEST_PATH_IMAGE041
表示图像平面上的2D检测点；
Figure DEST_PATH_IMAGE042
表示对应的齐次坐标；
Figure DEST_PATH_IMAGE043
表示对应的齐次坐标；上标
Figure DEST_PATH_IMAGE044
表示该向量为齐次坐标；下标
Figure DEST_PATH_IMAGE045
表示该向量为三维空间点在二维成像平面的点；
见图12，
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE047
是由
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
根据单应性矩阵重投影的线段端点；
Figure DEST_PATH_IMAGE050
是
Figure 514866DEST_PATH_IMAGE046
点到直线
Figure DEST_PATH_IMAGE051
的距离；
Figure DEST_PATH_IMAGE052
是
Figure 710005DEST_PATH_IMAGE048
点到直线
Figure DEST_PATH_IMAGE053
的距离；
Figure DEST_PATH_IMAGE054
是
Figure 700089DEST_PATH_IMAGE047
点到直线
Figure 122980DEST_PATH_IMAGE051
的距离；
Figure DEST_PATH_IMAGE055
是
Figure 572416DEST_PATH_IMAGE049
点到直线
Figure 4534DEST_PATH_IMAGE053
的距离；线特征的重投影误差
Figure DEST_PATH_IMAGE056
等于投影线的端点到在图像平面上检测到的直线的距离
Figure DEST_PATH_IMAGE057
之和，公式如下：
Figure DEST_PATH_IMAGE058
（5）
其中，
Figure DEST_PATH_IMAGE059
表示一个线特征的3D端点；
Figure DEST_PATH_IMAGE060
表示一个线特征的3D端点；
Figure 206715DEST_PATH_IMAGE039
表示检测到的线参数；
Figure 66086DEST_PATH_IMAGE001
表示相机位姿参数，包含了旋转参数和平移参数。
Figure DEST_PATH_IMAGE061
（6）
其中，
Figure 737239DEST_PATH_IMAGE059
表示一个线特征的3D端点；
Figure 973048DEST_PATH_IMAGE039
表示检测到的线参数；
Figure DEST_PATH_IMAGE062
表示端点
Figure DEST_PATH_IMAGE063
点在图像平面上的投影；
Figure 601039DEST_PATH_IMAGE001
表示相机位姿参数，包含了旋转参数和平移参数；
Figure DEST_PATH_IMAGE064
表示矩阵转置。
在实际应用中会遇到线冲突或者误检测情况，图像平面上检测到的端点
Figure 693629DEST_PATH_IMAGE048
与三维空间的端点
Figure 789761DEST_PATH_IMAGE063
的投影不匹配，图像平面上检测到的端点
Figure 65147DEST_PATH_IMAGE049
与三维空间的端点
Figure DEST_PATH_IMAGE065
的投影不匹配，重新定义检测到的线特征重投影误差为：
Figure DEST_PATH_IMAGE066
（7）
其中，公式（7）表达的含义是：图像平面上检测到的端点
Figure 54968DEST_PATH_IMAGE048
与图像平面上检测到的端点
Figure 256142DEST_PATH_IMAGE049
到检测到的线参数L的误差之和为线特征重投影误差
Figure 400423DEST_PATH_IMAGE056
；
Figure 650138DEST_PATH_IMAGE040
表示图像平面上的2D检测点；
Figure 697729DEST_PATH_IMAGE041
表示图像平面上的2D检测点；
Figure 69804DEST_PATH_IMAGE039
表示检测到的线参数；
Figure DEST_PATH_IMAGE067
表示检测到的点到线误差。
检测到的点到线误差为：
Figure DEST_PATH_IMAGE068
（8）
其中，公式（8）是公式（7）内部的具体计算，检测到的线参数L的矩阵转置乘以点p；
Figure 766627DEST_PATH_IMAGE064
表示矩阵转置；
Figure 882351DEST_PATH_IMAGE040
表示图像平面上的2D检测点。
点和线约束：相机位姿参数
Figure 722131DEST_PATH_IMAGE001
在每一帧都用光束平差法进行优化，然后将优化后的位姿用于更新单应性矩阵
Figure 265108DEST_PATH_IMAGE015
，用光束平差法优化包含这两种几何元素的误差函数，最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差，观察使用端点的线表示方法，因此，可以建立一个统一的误差函数，将每个误差项整合为：
Figure DEST_PATH_IMAGE069
（9）
其中，
Figure DEST_PATH_IMAGE070
表示图像对中两图像的引索，
Figure DEST_PATH_IMAGE071
，
Figure DEST_PATH_IMAGE072
为图像对总数；
Figure DEST_PATH_IMAGE073
为柯西鲁棒核函数；在优化的过程更加鲁棒，使用了柯西鲁棒核函数
Figure DEST_PATH_IMAGE074
，且优化过程使用高斯-牛顿法进行迭代优化，
Figure DEST_PATH_IMAGE075
（10）
其中，
Figure DEST_PATH_IMAGE076
是点特征的误差向量；
Figure DEST_PATH_IMAGE077
和
Figure DEST_PATH_IMAGE078
是线特征的误差向量；
Figure DEST_PATH_IMAGE079
是检测到的点特征的协方差矩阵；
Figure DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE081
是检测到的线特征端点的协方差矩阵；
Figure 685112DEST_PATH_IMAGE064
表示矩阵转置；
Figure 542210DEST_PATH_IMAGE073
为柯西鲁棒核函数。
优化完成后得到最优化的相机位姿参数
Figure 298813DEST_PATH_IMAGE001
，然后根据公式(11)再优化单应性矩阵
Figure 12691DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE082
（11）
其中，公式（11）表达的是单应性矩阵H的优化方法；
Figure 120324DEST_PATH_IMAGE015
为单应性矩阵；
Figure DEST_PATH_IMAGE083
为相机内参；
Figure 79315DEST_PATH_IMAGE003
为相机位姿参数中的旋转参数；
Figure 690425DEST_PATH_IMAGE004
为相机位姿参数中的平移参数；
Figure DEST_PATH_IMAGE084
为
Figure DEST_PATH_IMAGE085
到第一个相机中心（坐标原点）的距离，这两个变量用于表示拍摄平面；
Figure 903101DEST_PATH_IMAGE085
为第一个相机坐标系下的单位法向量；
Figure 748564DEST_PATH_IMAGE064
表示矩阵转置。
图像合成：选择最佳拼缝：考虑了工控机的算力，选择动态规划法以达到实时拼接。设图像1和图像2之间有重叠部分，需要得到它们之间的最佳接缝，首先定义重叠部分的误差表面函数
Figure DEST_PATH_IMAGE086
：
Figure DEST_PATH_IMAGE087
（12）
其中，
Figure 72098DEST_PATH_IMAGE086
表示误差表面函数；
Figure DEST_PATH_IMAGE088
表示两幅图像各自的重叠部分。接缝线有三个限制条件：一是如果重叠区域是宽大于高，则接缝是横向走向的，而如果重叠区域是宽小于高，则接缝是纵向走向的，也就是要保证接缝线要有一定的长度；二是如果是横向的接缝，则不允许有绝对垂直的接缝线，而如果是纵向的接缝，则不允许有绝对水平的接缝线；三是重叠区域是矩形，接缝线从矩形的一边出发，必须到达与该边平行的另一边结束。
垂直拼接缝的计算。假设重叠区域的宽小于高，则接缝线是垂直的，需要横向遍历
Figure 537715DEST_PATH_IMAGE086
值，并且计算所有可能到达当前像素
Figure DEST_PATH_IMAGE089
的路径的累积最小误差
Figure DEST_PATH_IMAGE090
：
Figure DEST_PATH_IMAGE091
（13）
其中，
Figure DEST_PATH_IMAGE092
表示像素
Figure 485073DEST_PATH_IMAGE089
的路径的累积最小误差；
Figure 301719DEST_PATH_IMAGE086
表示误差表面函数；
Figure DEST_PATH_IMAGE093
表示像素的横坐标；
Figure DEST_PATH_IMAGE094
表示像素的纵坐标；
Figure DEST_PATH_IMAGE095
中的
Figure DEST_PATH_IMAGE096
表示当前像素与其左上侧的累积最小误差；
Figure DEST_PATH_IMAGE097
表示当前像素与其上侧的累积最小误差；
Figure DEST_PATH_IMAGE098
表示当前像素与其右上侧的累积最小误差。在
Figure DEST_PATH_IMAGE099
中最后一行的最小值表明已经到达了最小垂直路径的尽头，那么就可以追溯，从而得到最佳路径，即接缝线。需要说明的是，在像素坐标中，其上侧指的是正上方的像素坐标，左上侧是正上方的左边一个位置的像素坐标。
水平拼接缝的计算。假设重叠区域的宽大于高，则接缝线是水平的，需要纵向遍历
Figure 350316DEST_PATH_IMAGE086
值，并且计算所有可能到达当前像素
Figure 936018DEST_PATH_IMAGE089
的路径的累积最小误差
Figure 428179DEST_PATH_IMAGE099
：
Figure DEST_PATH_IMAGE100
（14）
其中，公式（14）表达的是：像素
Figure 466542DEST_PATH_IMAGE089
的路径的累积最小误差等于(i,j)的误差表面函数、左上侧中最小的像素路径的累积最小误差、左侧中最小的像素路径的累积最小误差以及右上侧中最小的像素路径的累积最小误差之和；
Figure 573956DEST_PATH_IMAGE092
表示像素
Figure 217427DEST_PATH_IMAGE089
的路径的累积最小误差；
Figure 614911DEST_PATH_IMAGE076
是点特征的误差向量；
Figure 406149DEST_PATH_IMAGE095
中的
Figure 547281DEST_PATH_IMAGE096
表示当前像素与其左上侧的累积最小误差；
Figure DEST_PATH_IMAGE101
表示当前像素与其左侧的累积最小误差；
Figure DEST_PATH_IMAGE102
表示当前像素与其右下侧的累积最小误差。需要说明的是，在像素坐标中，左侧是正好紧挨着左边的一个像素位置，左上侧是左边像素的往上一个像素坐标。
图像合成：拉普拉斯多频段融合：为了能够保留图像的高频成分（即图像的细节部分），需要应用多频段融合方法，它通过建立拉普拉斯（带通滤波器）金字塔，使各个频段上的信息都保留并融合在一起。多频段融合方法的具体执行步骤：首先分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把它们的金字塔的相同层应用羽化算法进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像。拉普拉斯金字塔是通过高斯金字塔得到。高斯金字塔的上一层图像是对下一层图像进行高斯模糊（卷积高斯内核）再降采样（隔点采样）得到的。而拉普拉斯金字塔的各层图像是由高斯金字塔的相同层减去它的上一层的扩展（即先升采样，再卷积高斯内核）得到的，即：
Figure DEST_PATH_IMAGE103
（15）
其中，
Figure DEST_PATH_IMAGE104
表示拉普拉斯金字塔；
Figure DEST_PATH_IMAGE105
表示高斯金字塔；拉普拉斯金字塔的顶层图像就是高斯金字塔的顶层图像；
Figure 795990DEST_PATH_IMAGE072
表示金字塔的层数，
Figure DEST_PATH_IMAGE106
，底层为
Figure DEST_PATH_IMAGE107
，并且
Figure DEST_PATH_IMAGE108
为图像原图；
Figure DEST_PATH_IMAGE109
表示扩展运算。拉普拉斯金字塔是由底层向顶层逐层构建得到的。
当得到了不同图像的拉普拉斯金字塔后，仍可以应用羽化对不同的区域的不同层进行合并，同样也得到了一个金字塔，称为合并金字塔。其中式羽化算法中的权值，在这里就是掩码，而各层的掩码也是通过建立金字塔得到，也就是需要为掩码建立一个高斯金字塔，金字塔的底层就是该图的掩码。逆拉普拉斯变换的计算公式为：
Figure DEST_PATH_IMAGE110
（16）
其中，
Figure DEST_PATH_IMAGE111
表示融合金字塔；
Figure DEST_PATH_IMAGE112
为由式(15)得到的合并金字塔；
Figure 613643DEST_PATH_IMAGE111
的顶层等于
Figure 892177DEST_PATH_IMAGE112
的顶层，
Figure 774683DEST_PATH_IMAGE111
是从顶层向底层计算得到的，最终得到的融合金字塔的底层图像就是想要的融合图像；
Figure 189483DEST_PATH_IMAGE072
表示金字塔的层数，
Figure 194348DEST_PATH_IMAGE106
。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于先验信息的快速图像拼接方法，其特征在于，具体步骤如下：
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵；
第二步骤、将该单应性矩阵用于输入图像的粗配准，根据先验信息对固定轨迹的任意工件图像进行粗配准，此步骤不依赖任何图像特征；
第三步骤、在先验信息中，根据图像重叠区域的宽高比取整确定四叉树的初始节点数目，利用四叉树算法快速提取一定数量的点特征，在拼接缝附近提取线特征，依据点和线约束优化图像配准关系，在点和线约束中，相机位姿参数
Figure DEST_PATH_IMAGE001
在每一帧都用光速平差法进行优化，然后将优化后的位姿用于更新单应性矩阵
Figure 604977DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
为相机位姿参数中的旋转参数；
Figure 584434DEST_PATH_IMAGE004
为相机位姿参数中的平移参数；
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准；
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
2.根据权利要求1所述的一种基于先验信息的快速图像拼接方法，其特征在于：所述三轴机器人的相机坐标系为
Figure DEST_PATH_IMAGE005
，像素坐标系为
Figure 990270DEST_PATH_IMAGE006
，根据相机模型可得两坐标系之间的变换关系：
Figure DEST_PATH_IMAGE007
（1）
其中，
Figure 447796DEST_PATH_IMAGE008
表示相机感光芯片X方向在u轴方向上的尺度因子；
Figure DEST_PATH_IMAGE009
是相机感光芯片Y方向在v轴方向上的尺度因子；（
Figure 324485DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
）表示相机中心点；K表示相机内参；在相机扫描轨迹已知的情况下，通过等距拍摄可轻易计算出图像对的重叠程度和图像对的变换关系。
3.根据权利要求1所述的一种基于先验信息的快速图像拼接方法，其特征在于：所述单应性矩阵涉及两个平面之间的变换，通过两个相机位置查看的平面，根据单应性可以投影到同一个平面，变换公式如下：
Figure 770117DEST_PATH_IMAGE012
（2）
其中，u表示像素的横坐标；v表示像素的纵坐标；
Figure DEST_PATH_IMAGE013
和
Figure 99467DEST_PATH_IMAGE014
表示两图像上的像点且它们是一对匹配的点对；
Figure DEST_PATH_IMAGE015
表示单应性矩阵；
Figure 360684DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE017
、
Figure 91880DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
、
Figure 711342DEST_PATH_IMAGE020
、
Figure DEST_PATH_IMAGE021
、
Figure 527988DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
以及
Figure 327317DEST_PATH_IMAGE024
均表示为矩阵元素。
4.根据权利要求3所述的一种基于先验信息的快速图像拼接方法，其特征在于：设有
Figure DEST_PATH_IMAGE025
对匹配点
Figure 491449DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE027
，
Figure 983611DEST_PATH_IMAGE028
， 最少4对匹配的点对，且任意3点不共线，就可以求出两幅图像的单应性矩阵
Figure 287553DEST_PATH_IMAGE015
；其中，n表示匹配点的数量，且n是大于等于4的正整数。
5.根据权利要求1所述的一种基于先验信息的快速图像拼接方法，其特征在于：所述线特征的线段使用LSD算法进行检测，并使用LBD算法进行线段匹配， 线特征的重投影误差
Figure DEST_PATH_IMAGE029
等于投影线的端点到在图像平面上检测到的直线的距离
Figure 126458DEST_PATH_IMAGE030
之和。
6.根据权利要求1所述的一种基于先验信息的快速图像拼接方法，其特征在于：用光束平差法优化包含点和线这两种几何元素的误差函数，最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差。
CN202110895003.6A 2021-08-05 2021-08-05 一种基于先验信息的快速图像拼接方法 Active CN113344795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110895003.6A CN113344795B (zh) 2021-08-05 2021-08-05 一种基于先验信息的快速图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110895003.6A CN113344795B (zh) 2021-08-05 2021-08-05 一种基于先验信息的快速图像拼接方法

Publications (2)

Publication Number Publication Date
CN113344795A CN113344795A (zh) 2021-09-03
CN113344795B true CN113344795B (zh) 2021-10-29

Family

ID=77480798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110895003.6A Active CN113344795B (zh) 2021-08-05 2021-08-05 一种基于先验信息的快速图像拼接方法

Country Status (1)

Country Link
CN (1) CN113344795B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011076104A1 (zh) * 2009-12-21 2011-06-30 华为终端有限公司 图像拼接方法及装置
CN105719314A (zh) * 2016-01-30 2016-06-29 西北工业大学 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法
CN111028155A (zh) * 2019-12-17 2020-04-17 大连理工大学 一种基于多对双目相机的视差图像拼接方法
CN111899289A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于图像特征信息的红外图像与可见光图像的配准方法
CN113159169A (zh) * 2021-04-20 2021-07-23 福州大学 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133736A1 (en) * 2005-10-17 2007-06-14 Siemens Corporate Research Inc Devices, systems, and methods for imaging
US7760848B2 (en) * 2006-09-08 2010-07-20 General Electric Company Method and system for generating a multi-spectral image of an object
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
CN111899164B (zh) * 2020-06-01 2022-11-15 东南大学 一种针对多焦段场景的图像拼接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011076104A1 (zh) * 2009-12-21 2011-06-30 华为终端有限公司 图像拼接方法及装置
CN105719314A (zh) * 2016-01-30 2016-06-29 西北工业大学 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法
CN111028155A (zh) * 2019-12-17 2020-04-17 大连理工大学 一种基于多对双目相机的视差图像拼接方法
CN111899289A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于图像特征信息的红外图像与可见光图像的配准方法
CN113159169A (zh) * 2021-04-20 2021-07-23 福州大学 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Fast Aerial Images Mosaic Method Based on ORB Feature and Homography Matrix;Guiqin YANG 等;《2019 International Conference on Computer, Information and Telecommunication Systems (CITS)》;20191231;第1-5页 *
A push-sweep hyperspectral aerial image Mosaic method based on SPHP;Li Sai 等;《JOURNAL OF INFRARED AND MILLIMETER WAVES》;20210228;第40卷(第1期);第64-73页 *
十亿像素瞬态成像系统实时图像拼接;王新华 等;《中国光学》;20151031;第8卷(第5期);第785-793页 *
统筹图像变换与缝合线生成的无参数影像拼接;高炯笠 等;《中国图象图形学报》;20200531;第25卷(第5期);第1007-1018页 *

Also Published As

Publication number Publication date
CN113344795A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108053450B (zh) 一种基于多约束的高精度双目相机标定方法
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
KR100450469B1 (ko) 시차에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템
CN110782394A (zh) 全景视频快速拼接方法及系统
Josephson et al. Pose estimation with radial distortion and unknown focal length
US11568516B2 (en) Depth-based image stitching for handling parallax
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN106447602B (zh) 一种图像拼接方法及装置
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
Hirschmuller et al. Stereo matching in the presence of sub-pixel calibration errors
CN113920205B (zh) 一种非同轴相机的标定方法
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN112862674B (zh) 一种多图像自动拼接方法和系统
CA2605234C (en) A method of local tracing of connectivity and schematic representations produced therefrom
Pulli et al. Mobile panoramic imaging system
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
Wang et al. Relative pose estimation for stereo rolling shutter cameras
Nagy et al. Development of an omnidirectional stereo vision system
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN113344795B (zh) 一种基于先验信息的快速图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant