CN113344795B - 一种基于先验信息的快速图像拼接方法 - Google Patents
一种基于先验信息的快速图像拼接方法 Download PDFInfo
- Publication number
- CN113344795B CN113344795B CN202110895003.6A CN202110895003A CN113344795B CN 113344795 B CN113344795 B CN 113344795B CN 202110895003 A CN202110895003 A CN 202110895003A CN 113344795 B CN113344795 B CN 113344795B
- Authority
- CN
- China
- Prior art keywords
- image
- line
- point
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000017105 transposition Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000032669 eclosion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于先验信息的快速图像拼接方法,首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵;根据先验信息对固定轨迹的任意工件图像进行粗配准,此步骤不依赖任何图像特征;在先验信息中,根据图像重叠区域的宽高比取整确定四叉树的初始节点数目,利用四叉树算法快速提取一定数量的点特征,在拼接缝附近提取线特征,依据点和线约束优化图像配准关系;针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准;利用精确的配准关系拼接出待测工件表面的完整图像信息。该方法能够不依赖图像特征快速解算出图像间的单应性矩阵,使用局部信息优化单应性矩阵。
Description
技术领域
本发明涉及图像拼接的技术领域,尤其是一种基于先验信息的快速图像拼接方法。
背景技术
为了获取大视场、高清晰、完整的图像,以保证测量精度,需要对被测工件的多幅局部图像进行精确、快速地拼接。对于较大的目标场景,其尺寸超出图像采集摄像机的视场范围,普通摄像机只能采集到其中的一个局部。图像拼接是一种将相互有重叠区域的图像进行配准、融合,从而得到一幅大视野、高分辨率图像的技术。在许多半导体制造、材料科学、生物医学研究等场景中,非常需要图像拼接来获取代表特定结构或整个部分大面积的全景图像,同时又保持微观分辨率。由于镜头拍照的位置不同,图像间虽然有相同的拍摄区域,但是相机的世界坐标位置发生了变化,导致图像间的成像平面不在同一平面,简单重叠的误差极大。
经过多年的发展,图像拼接技术可确定的分为四个主要步骤:图像配准、重投影、拼缝缝合以及图像融合。图像配准和图像融合是影响图像拼接质量最关键的步骤。在一些低纹理、稀疏特征、高度重复特征的场景中,图像配准稳定性差,常出现配准失败的情况,这是因为图像配准需要提取图像中的特征点,低纹理、稀疏特征场景中难以提取足够多的特征点,所以图像间特征点的匹配也基本不行;而高度重复特征场景虽然能够提取足够的特征点,但是每个特征点的特征向量也高度相似,导致特征点间的匹配不准确,最后配准也就不稳定或者直接失败。一般的基于特征点的配准算法难以提取足够的特征或者特征匹配容易混淆,而基于区域的算法计算量大,实时性差,难以满足生产要求。
发明内容
本发明要解决的技术问题是:为了解决上述背景技术中存在的问题,提供一种基于先验信息的快速图像拼接方法,能够不依赖图像特征快速解算出图像间的单应性矩阵,再使用局部信息优化单应性矩阵。
本发明解决其技术问题所采用的技术方案是:一种基于先验信息的快速图像拼接方法,具体步骤如下:
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵;
第二步骤、将该单应性矩阵用于输入图像的粗配准,根据先验信息对固定轨迹的任意工件图像进行粗配准,此步骤不依赖任何图像特征;
第三步骤、在先验信息中,根据图像重叠区域的宽高比取整确定四叉树的初始节点数目,利用四叉树算法快速提取一定数量的点特征,在拼接缝附近提取线特征,依据点和线约束优化图像配准关系,在点和线约束中,相机位姿参数在每一帧都用光速平差法进行优化,然后将优化后的位姿用于更新单应性矩阵,其中为相机位姿参数中的旋转参数;为相机位姿参数中的平移参数;
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准;
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
其中,表示相机感光芯片X方向在u轴方向上的尺度因子;是相机感光芯片Y方向在v轴方向上的尺度因子;(,)表示相机中心点;K表示相机内参;在相机扫描轨迹已知的情况下,通过等距拍摄可轻易计算出图像对的重叠程度和图像对的变换关系。需要说明的是,O-XYZ是相机坐标系,属于我们存在的三维空间,o-uv是相机感光元件上的像素坐标系,X投影到u(X方向在u轴方向上),Y投影到v(Y方向在v轴方向上),Z轴在感光元件上展示不出,所以拍摄的照片是二维的。
进一步具体地限定,上述技术方案中,所述单应性矩阵涉及两个平面之间的变换,通过两个相机位置查看的平面,根据单应性可以投影到同一个平面,变换公式如下:
进一步具体地限定,上述技术方案中,用光束平差法优化包含点和线这两种几何元素的误差函数,最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差。
本发明的有益效果是:本发明的一种基于先验信息的快速图像拼接方法,能够不依赖图像特征快速解算出图像间的单应性矩阵,再使用局部信息优化单应性矩阵,有效解决了因低纹理、稀疏特征以及高度重复特征而导致难以正确拼接的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是相机在定高平面拍摄图像的示意图;
图2是拼接的1D扫描方式;
图3是拼接的2D扫描方式;
图4是本发明的流程图;
图5是相机的运动轨迹;
图6是根据重叠关系得到的图像间的单应性矩阵以及重叠关系;
图7是四叉树第一次分裂的示意图;
图8是四叉树第二次分裂的示意图;
图9是四叉树第三次分裂的示意图;
图10是删除多余特征点后的结果;
图11是单应性矩阵示意图;
图12是线特征重投影误差示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一种基于先验信息的快速图像拼接方法,尤其是在三轴机器人上利用运动先验信息进行工件快速图像拼接的方法,具体步骤如下:
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵;
第二步骤、根据先验信息对固定轨迹的任意工件图像进行粗配准,此步骤不依赖任何图像特征;
第三步骤、在先验信息中,根据图像重叠区域的宽高比取整确定四叉树的初始节点数目,利用四叉树算法快速提取一定数量的点特征,在拼接缝附近提取线特征,依据点和线约束优化图像配准关系;
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准;
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
见图1,拍摄装置是一个三轴运动的机器,相机在定高平面拍摄图像,图像间存在一定的重叠区域。
见图2,需要单一方向拼接时,比如:水平或者垂直拼接,用1D扫描方式;1D扫描方式只有一个维度,在这里呈现的就是一条直线。图2表示四幅不同图像,数字1表示图像1,数字2表示图像2,数字3表示图像3,数字4表示图像4。
见图3,拼接场景大,需要水平加垂直两个方向拼接,用2D扫描方式;2D扫描方式是二维,同时存在x和y两个垂直方向的运动。图3表示九幅不同图像,数字1表示图像1,数字2表示图像2,数字3表示图像3,数字4表示图像4,数字5表示图像5,数字6表示图像6,数字7表示图像7,数字8表示图像8,数字9表示图像9。
值得注意的是,相机平行运动,成像场景也是平面的。理想情况下,根据相机内参可精确计算出相机位移与像素位移的关系,然后将图像平移到重合位置就可以完成图像拼接。例如:机器位移与像素位移比为1/60(mm/pixel),相机在坐标(0,0)与(5,0)分别拍摄两张图像(需要说明的是,坐标(0,0)中的第一个0是X坐标,第二个0是Y坐标;坐标(5,0)中的5是X坐标,0是Y坐标),则两张图像顶点置于(0,0)和(300,0)就可以完美的拼接(需要说明的是,坐标(0,0)中的第一个0是X坐标,第二个0是Y坐标;坐标(300,0)中的300是X坐标,0是Y坐标)。但是由于高速运动中机器会产生低频震动,导致相机位移与像素位移换算关系存在误差,图像间并非只是刚性平移关系,微小的仿射变换会存在其中。即使存在误差,这些特性也为稀疏特征或者高度重复特征图像的拼接提供了思路。
见图4,首先根据机器设定的运动轨迹,计算出固定轨迹中拍摄图像位置之间的单应性矩阵;然后将该单应性矩阵用于输入图像的粗配准,此步骤和图像内容无关,即使内容中特征稀疏也可以完成粗匹配,粗配准后,提取图像中的特征点,当特征点不够时,利用互信息计算特征点来替代;下一步提取图像中线特征,若是存在线特征,则利用点和线的共同约束去优化单应性矩阵从而达到精细化配准的作用;若是不存在线特征,则只计算点特征重投影误差优化单应性矩阵;得到最优的配准关系后,选择最佳拼接缝,使用多频段融合将多张图像融合在一起,形成一张高清无缝的大视野图像。和传统拼接不一样的地方是,本发明利用了先验信息计算了固定轨迹的变换关系用以指导图像粗配准,此步骤不依赖图像内容,然后在提取特征点时增加了互信息算法来防止特征稀疏时传统特征点算法提取的特征点数量不足而导致配准失败的情况,并且本发明引入了点和线特征约束的优化方法,对单应性矩阵精细化。
基于先验信息的粗配准:由于机器等距拍摄,可事先计算出重叠区域的大小。特征提取与特征匹配是图像拼接中最耗时的操作步骤之一。在重叠区域内计算特征并匹配特征,比在整幅图像内计算的效率提高很多。三轴机器人的相机坐标系为,像素坐标系为,根据相机模型可得相机坐标系和像素坐标系两者之间的变换关系:
见图5和图6,在相机扫描轨迹已知的情况下,通过等距拍摄可轻易计算出图像对的重叠程度和图像对的变换关系。图5表示四幅不同图像,数字1表示图像1,数字2表示图像2,数字3表示图像3,数字4表示图像4。图6中的数字1表示图像1,数字2表示图像2,数字3表示图像3,数字4表示图像4,H12表示图像1到图像2的单应性矩阵,H23表示图像2到图像3的单应性矩阵,H34表示图像3到图像4的单应性矩阵,H14表示图像1到图像4的单应性矩阵,H13表示图像1到图像3的单应性矩阵,H24表示图像2到图像4的单应性矩阵。
此步骤依赖于机器运动坐标信息与初始化标定板的特征信息,将机器运动轨迹与图像的配准关系对应了起来。初始化完成后,只要是根据固定轨迹进行拍摄的图像,无论图像内容,无论特征是否丰富,均可直接配准,鲁棒性更强。
图像配准精细化:尽管有依据先验信息的配准步骤,但是由于机器的误差,会导致每次拍摄的图像位置有微小偏差,从而降低图像拼接准确性。所以,还需要进一步对图像配准精细化。由于在低纹理环境中很难提取足够的特征点来进行稳健的单应性估计,本发明提出了一种将点特征和线特征约束在一起用以优化图像配准的方法。
特征点提取:在特征比较丰富的场景中,特征点数量足够并且可以正确匹配下,使用ORB(Oriented FAST and Rotated BRIEF)算法提取特征点。ORB是目前最快速稳定的特征点检测和提取算法,许多图像拼接和目标追踪技术利用ORB特征进行实现。为了进一步提高效率以及准确性,本发明中使用了四叉树算法均匀分布特征点,具体步骤如下(该步骤是四叉树算法的步骤,涉及图7-图10的描述,在第三步骤和第四步骤中都会用到):
第1步骤:首先确定初始的节点(node)数目,根据先验信息确定的图像重叠区域的宽高比取整来确定,一般刚开始的时候只有一个节点,也是四叉树的根节点。用一个具体的例子来分析四叉树是如何均匀化选取特定数目的特征点的:假设初始节点只有1个,那么所有的特征点都属于该节点,目标是均匀的选取21个特征点,那么后面就需要分裂出21个节点,然后从每个节点中选取一个代表性的特征点。
第2步骤:节点第1次分裂,1个根节点分裂为4个节点。见图7,分裂之后根据图像的尺寸划分节点的区域,对应的边界为左上角、右上角、左下角、右下角的四个坐标。有些坐标会被多个节点共享,比如图像中心点坐标可能同时被四个点共享。落在某个节点区域范围内的所有特征点都属于该节点的元素。然后统计每个节点里包含特征点的数目,如果某个节点里特征点数目为0,则删掉该节点,如果某个节点里特征点数目为1,则该节点不再进行分裂。判断此时的节点总数是否超过设定值21,如果没有超过则继续对每个节点分裂。这里需要注意的是一个母节点分裂为4 个子节点后,需要在节点链表里删掉原来的母节点,所以实际上一次分裂净增加了3 个节点。所以下次分裂后节点的总数是可以提前预估的,计算方式为:(当前节点总数 + 即将分裂的节点总数×3),见图8(图中的×表示没有特征点),下次分裂最多可以得到16个节点,显然还是没有达到21的要求,需要继续分裂。
第3步骤:对上一步得到的4个节点分别进行一分为四的操作,然后统计分裂后的每个节点里包含特征点的数目,可以看到已经有3个节点里的特征点数目为0,于是在节点链表里删掉这3个节点(图8中标记为X)。如果某个节点里特征点数目为1,则该节点不再进行分裂。此次分裂总共得到13个节点。
第4步骤:上一步得到的13个节点继续进行一分为四的操作。计算出这次分裂最多可以得到的节点已经超过需要提取21个特征点数目的需求。此时需要注意,不需要把所有的节点都进行分裂,只需要在分裂得到的所有节点数目刚刚达到21时,即可停止分裂,这样操作的目的一方面是可以避免多分裂后再删除而做无用功,另一方面,因为是指数级分裂,所以也大大加速了四叉树分裂的过程。分裂结果如图9(图中的×表示没有特征点)所示。
第5步骤:上一步中已经得到了所需要的21个节点,只需要从每个节点中选出特征点响应值最高的特征点,作为该节点的唯一特征点,该节点内其他低响应值的特征点全部删掉。这样就得到了均匀化后的需要数目的特征点,最终结果如图10(图中的×表示没有特征点)所示。需要说明的是:特征点是特征中某个方面的响应超过一定阈值的像素点,每个特征点的响应值是不同的,响应值越大表示该特征越明显。
单应性矩阵计算:单应性矩阵涉及两个平面之间的变换,是图像拼接必不可少的步骤。见图11,通过两个相机位置查看的平面,根据单应性可以投影到同一个平面,两图像上的像点,是一对匹配的点对,其单应性矩阵为,变换公式如下:
线特征:线段使用LSD(Line Segment Detector)算法进行检测,并使用LBD(LineBand Descriptor)算法进行线段匹配,线段的计算公式为:
见图12,和是由和根据单应性矩阵重投影的线段端点;是点到直线的距离;是点到直线的距离;是点到直线的距离;是点到直线的距离;线特征的重投影误差等于投影线的端点到在图像平面上检测到的直线的距离之和,公式如下:
其中,公式(7)表达的含义是:图像平面上检测到的端点与图像平面上检测到的端点到检测到的线参数L的误差之和为线特征重投影误差;表示图像平面上的2D检测点;表示图像平面上的2D检测点;表示检测到的线参数;表示检测到的点到线误差。
检测到的点到线误差为:
点和线约束:相机位姿参数在每一帧都用光束平差法进行优化,然后将优化后的位姿用于更新单应性矩阵,用光束平差法优化包含这两种几何元素的误差函数,最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差,观察使用端点的线表示方法,因此,可以建立一个统一的误差函数,将每个误差项整合为:
其中,公式(11)表达的是单应性矩阵H的优化方法;为单应性矩阵;为相机内参;为相机位姿参数中的旋转参数;为相机位姿参数中的平移参数;为到第一个相机中心(坐标原点)的距离,这两个变量用于表示拍摄平面;为第一个相机坐标系下的单位法向量;表示矩阵转置。
其中,表示误差表面函数;表示两幅图像各自的重叠部分。接缝线有三个限制条件:一是如果重叠区域是宽大于高,则接缝是横向走向的,而如果重叠区域是宽小于高,则接缝是纵向走向的,也就是要保证接缝线要有一定的长度;二是如果是横向的接缝,则不允许有绝对垂直的接缝线,而如果是纵向的接缝,则不允许有绝对水平的接缝线;三是重叠区域是矩形,接缝线从矩形的一边出发,必须到达与该边平行的另一边结束。
其中,表示像素的路径的累积最小误差;表示误差表面函数;表示像素的横坐标;表示像素的纵坐标;中的表示当前像素与其左上侧的累积最小误差;表示当前像素与其上侧的累积最小误差;表示当前像素与其右上侧的累积最小误差。在中最后一行的最小值表明已经到达了最小垂直路径的尽头,那么就可以追溯,从而得到最佳路径,即接缝线。需要说明的是,在像素坐标中,其上侧指的是正上方的像素坐标,左上侧是正上方的左边一个位置的像素坐标。
其中,公式(14)表达的是:像素的路径的累积最小误差等于(i,j)的误差表面函数、左上侧中最小的像素路径的累积最小误差、左侧中最小的像素路径的累积最小误差以及右上侧中最小的像素路径的累积最小误差之和;表示像素的路径的累积最小误差;是点特征的误差向量;中的表示当前像素与其左上侧的累积最小误差;表示当前像素与其左侧的累积最小误差;表示当前像素与其右下侧的累积最小误差。需要说明的是,在像素坐标中,左侧是正好紧挨着左边的一个像素位置,左上侧是左边像素的往上一个像素坐标。
图像合成:拉普拉斯多频段融合:为了能够保留图像的高频成分(即图像的细节部分),需要应用多频段融合方法,它通过建立拉普拉斯(带通滤波器)金字塔,使各个频段上的信息都保留并融合在一起。多频段融合方法的具体执行步骤:首先分别建立各个图像的拉普拉斯金字塔,然后针对重叠区域,把它们的金字塔的相同层应用羽化算法进行合并,最后对该合并后的金字塔进行逆拉普拉斯变换,从而得到最终的融合图像。拉普拉斯金字塔是通过高斯金字塔得到。高斯金字塔的上一层图像是对下一层图像进行高斯模糊(卷积高斯内核)再降采样(隔点采样)得到的。而拉普拉斯金字塔的各层图像是由高斯金字塔的相同层减去它的上一层的扩展(即先升采样,再卷积高斯内核)得到的,即:
当得到了不同图像的拉普拉斯金字塔后,仍可以应用羽化对不同的区域的不同层进行合并,同样也得到了一个金字塔,称为合并金字塔。其中式羽化算法中的权值,在这里就是掩码,而各层的掩码也是通过建立金字塔得到,也就是需要为掩码建立一个高斯金字塔,金字塔的底层就是该图的掩码。逆拉普拉斯变换的计算公式为:
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于先验信息的快速图像拼接方法,其特征在于,具体步骤如下:
第一步骤、首先利用标定板计算出三轴机器人固定运动轨迹中拍摄图像的重叠关系以及图像间的单应性矩阵;
第二步骤、将该单应性矩阵用于输入图像的粗配准,根据先验信息对固定轨迹的任意工件图像进行粗配准,此步骤不依赖任何图像特征;
第三步骤、在先验信息中,根据图像重叠区域的宽高比取整确定四叉树的初始节点数目,利用四叉树算法快速提取一定数量的点特征,在拼接缝附近提取线特征,依据点和线约束优化图像配准关系,在点和线约束中,相机位姿参数在每一帧都用光速平差法进行优化,然后将优化后的位姿用于更新单应性矩阵,其中为相机位姿参数中的旋转参数;为相机位姿参数中的平移参数;
第四步骤、针对特征稀疏而导致点和线约束失败的图像使用四叉树算法在各个小区域计算图像互信息来精细化图像配准;
第五步骤、利用精确的配准关系拼接出待测工件表面的完整图像信息。
6.根据权利要求1所述的一种基于先验信息的快速图像拼接方法,其特征在于:用光束平差法优化包含点和线这两种几何元素的误差函数,最主要的三项是3D点的重投影误差、线特征的端点P重投影线段的误差和端点Q重投影线段的误差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110895003.6A CN113344795B (zh) | 2021-08-05 | 2021-08-05 | 一种基于先验信息的快速图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110895003.6A CN113344795B (zh) | 2021-08-05 | 2021-08-05 | 一种基于先验信息的快速图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344795A CN113344795A (zh) | 2021-09-03 |
CN113344795B true CN113344795B (zh) | 2021-10-29 |
Family
ID=77480798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110895003.6A Active CN113344795B (zh) | 2021-08-05 | 2021-08-05 | 一种基于先验信息的快速图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344795B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011076104A1 (zh) * | 2009-12-21 | 2011-06-30 | 华为终端有限公司 | 图像拼接方法及装置 |
CN105719314A (zh) * | 2016-01-30 | 2016-06-29 | 西北工业大学 | 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法 |
CN106355550A (zh) * | 2016-10-31 | 2017-01-25 | 微景天下(北京)科技有限公司 | 图像拼接系统和图像拼接方法 |
CN111028155A (zh) * | 2019-12-17 | 2020-04-17 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接方法 |
CN111899289A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于图像特征信息的红外图像与可见光图像的配准方法 |
CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070133736A1 (en) * | 2005-10-17 | 2007-06-14 | Siemens Corporate Research Inc | Devices, systems, and methods for imaging |
US7760848B2 (en) * | 2006-09-08 | 2010-07-20 | General Electric Company | Method and system for generating a multi-spectral image of an object |
FR2998400B1 (fr) * | 2012-11-21 | 2016-01-15 | Thales Sa | Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene |
CN111899164B (zh) * | 2020-06-01 | 2022-11-15 | 东南大学 | 一种针对多焦段场景的图像拼接方法 |
-
2021
- 2021-08-05 CN CN202110895003.6A patent/CN113344795B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011076104A1 (zh) * | 2009-12-21 | 2011-06-30 | 华为终端有限公司 | 图像拼接方法及装置 |
CN105719314A (zh) * | 2016-01-30 | 2016-06-29 | 西北工业大学 | 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法 |
CN106355550A (zh) * | 2016-10-31 | 2017-01-25 | 微景天下(北京)科技有限公司 | 图像拼接系统和图像拼接方法 |
CN111028155A (zh) * | 2019-12-17 | 2020-04-17 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接方法 |
CN111899289A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于图像特征信息的红外图像与可见光图像的配准方法 |
CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
Non-Patent Citations (4)
Title |
---|
A Fast Aerial Images Mosaic Method Based on ORB Feature and Homography Matrix;Guiqin YANG 等;《2019 International Conference on Computer, Information and Telecommunication Systems (CITS)》;20191231;第1-5页 * |
A push-sweep hyperspectral aerial image Mosaic method based on SPHP;Li Sai 等;《JOURNAL OF INFRARED AND MILLIMETER WAVES》;20210228;第40卷(第1期);第64-73页 * |
十亿像素瞬态成像系统实时图像拼接;王新华 等;《中国光学》;20151031;第8卷(第5期);第785-793页 * |
统筹图像变换与缝合线生成的无参数影像拼接;高炯笠 等;《中国图象图形学报》;20200531;第25卷(第5期);第1007-1018页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113344795A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
KR100450469B1 (ko) | 시차에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템 | |
US11568516B2 (en) | Depth-based image stitching for handling parallax | |
CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
CN108288294A (zh) | 一种3d相机群的外参标定方法 | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
US20120148145A1 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
US11488322B2 (en) | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same | |
CN106447602B (zh) | 一种图像拼接方法及装置 | |
CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及系统 | |
CN110044374B (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
JP2016194895A (ja) | 室内2d平面図の生成方法、装置及びシステム | |
CN112862674B (zh) | 一种多图像自动拼接方法和系统 | |
CA2605234C (en) | A method of local tracing of connectivity and schematic representations produced therefrom | |
CN112862683A (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
Wang et al. | Relative pose estimation for stereo rolling shutter cameras | |
Nagy et al. | Development of an omnidirectional stereo vision system | |
CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
CN113344795B (zh) | 一种基于先验信息的快速图像拼接方法 | |
Kurz et al. | Bundle adjustment for stereoscopic 3d |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |