CN108596837A - 图像拼接方法、装置、设备和计算机介质 - Google Patents

图像拼接方法、装置、设备和计算机介质 Download PDF

Info

Publication number
CN108596837A
CN108596837A CN201810437458.1A CN201810437458A CN108596837A CN 108596837 A CN108596837 A CN 108596837A CN 201810437458 A CN201810437458 A CN 201810437458A CN 108596837 A CN108596837 A CN 108596837A
Authority
CN
China
Prior art keywords
image
acquisition
projection
acquisition image
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810437458.1A
Other languages
English (en)
Other versions
CN108596837B (zh
Inventor
刘永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiu Rui Technology Co Ltd
Original Assignee
Beijing Jiu Rui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiu Rui Technology Co Ltd filed Critical Beijing Jiu Rui Technology Co Ltd
Priority to CN201810437458.1A priority Critical patent/CN108596837B/zh
Publication of CN108596837A publication Critical patent/CN108596837A/zh
Application granted granted Critical
Publication of CN108596837B publication Critical patent/CN108596837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像拼接方法、装置、设备和计算机介质。该方法包括：采集第一采集图像和第二采集图像；根据第一采集图像和第二采集图像，确定采集图像的投影基准点；基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像；在拼接面上，拼接第一待拼接图像和第二待拼接图像。根据本发明实施例提供的图像拼接方法、装置、设备和计算机介质，可以在特定的拼接面上准确的拼接采集图像。

Description

图像拼接方法、装置、设备和计算机介质
技术领域
本发明涉及图像处理领域，尤其涉及图像拼接方法、装置、设备和计算机介质。
背景技术
随着科技的进步和发展，数码相机、摄像头、超高速扫描仪等图像采集装置的价格越来越低、体积越来越小，同时成像质量又在不断提高，由此使得这些图像采集设备不仅在消费领域，同时也在工业生产中得到了越来越多的应用。伴随着图像处理技术的日益发展，机器视觉技术广泛运用在工业生产过程检测、日常生活安全检测等领域，极大的提升了企业的生产效率和人们的生活水平。
在现有技术中，在对采集目标进行图像采集时，图像采集装置直接将拍摄的目标成像至一个平面上，并不能反映采集目标的空间位置关系。如果不能将采集目标理想为一个极小的点，图像采集装置和采集目标上的每个点的相对距离会不尽相同，尤其是采集目标具有空间形状特征时。由于这种相对距离的不同，相较于真实的采集目标，图像采集装置采集到的图像中采集目标会产生一定的形变。利用现有的图像拼接技术拼接出的图像畸变较大，只能在平面上对图像进行拼接。
发明内容
本发明实施例提供图像拼接方法、装置和系统，可以在特定的拼接面上准确的拼接采集图像。
本发明一实施例提供了一种图像拼接方法，包括：
采集第一采集图像和第二采集图像；
根据第一采集图像和第二采集图像，确定采集图像的投影基准点；
基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像；
在拼接面上，拼接第一待拼接图像和第二待拼接图像。
在一种可能的实施方式中，根据第一采集图像和第二采集图像，确定采集图像的投影基准点，包括：
获取图像采集装置的内参数，其中图像采集装置是采集第一采集图像和第二采集图像的图像采集装置；
基于图像采集装置的内参数，分别对第一采集图像和第二采集图像进行校正；
根据校正后的第一采集图像和校正后的第二采集图像，确定采集图像的投影基准点。
在一种可能的实施方式中，获取图像采集装置的内参数，包括：
建立图像采集装置采集的图像的像素点与标定点之间的关系；
基于图像采集装置采集的图像的像素点，以及图像采集装置采集的图像的像素点与标定点之间的关系，获取图像采集装置的内参数。
在一种可能的实施方式中，采集第一采集图像和第二采集图像，包括：
图像采集装置沿着图像采集目标的轴向移动的过程中，采集第一采集图像和第二采集图像。
在一种可能的实施方式中，拼接面的形状与图像采集目标的表面的形状相同。
在一种可能的实施方式中，根据第一采集图像和第二采集图像，确定采集图像的投影基准点，包括：
提取第一采集图像的特征点和第二采集图像的特征点；
对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系；
基于特征点对的位置关系，确定采集图像的投影基准点。
在一种可能的实施方式中，对第一采集图像的特征点和第二采集图像的特征点进行匹配，包括：
基于第一采集图像的特征点在第一采集图像中的位置信息，在第二采集图像中确定待筛选区域；
对第一采集图像的特征点和待筛选区域内的第二采集图像的特征点进行匹配。
在一种可能的实施方式中，基于采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像，包括：
基于采集图像的投影基准点，分别在第一采集图像中确定第一待投影区域和在第二采集图像中确定第二待投影区域；
将第一待投影区域投影至拼接面，得到第一待拼接图像，以及
将第二待投影区域投影至拼接面，得到第二待拼接图像。
在一种可能的实施方式中，图像采集装置是沿着图像采集目标的轴向移动的，
基于采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像，包括：
获取图像采集装置在采集第一采集图像时的第一位置和像采集装置在采集第二采集图像时的第二位置；
根据第一位置和采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像；以及，
根据第二位置和采集图像的投影基准点，将第二采集图像投影至拼接面，得到第二待拼接图像。
在一种可能的实施方式中，对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系，包括：
对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对；
基于预先设定的特征点对的约束条件对特征点对进行筛选；
计算筛选后的特征点对的位置关系。
在一种可能的实施方式中，基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像，包括：
基于第一采集图像的投影基准点，将第一采集图像的像素点投影至拼接面，获得第一采集图像的像素点的投影点；
基于第二采集图像的投影基准点，将第二采集图像的像素点投影至拼接面，获得第二采集图像的像素点的投影点；
根据第一采集图像的像素点的投影点和插值法，得到第一待拼接图像；
根据第二采集图像的像素点的投影点和插值法，得到第一待拼接图像。
本发明另一实施例提供了一种图像拼接装置，包括：
采集模块，用于采集第一采集图像和第二采集图像；
确定模块，用于根据第一采集图像和第二采集图像，确定采集图像的投影基准点；
投影模块，用于基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像；
拼接模块，用于在拼接面上，拼接第一待拼接图像和第二待拼接图像。
本发明再一实施例提供了一种图像拼接设备，包括：
存储器，用于存储程序；
处理器，用于运行存储器中存储的程序，以执行本发明一实施例的图像拼接方法。
本发明又一实施例提供了一种计算机存储介质，其特征在于，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本发明一实施例的图像拼接方法。
根据本发明实施例中的图像拼接方法、装置、设备和计算机介质，通过将第一采集图像和第二采集图像投影至特定的拼接面上，可以在特定的拼接面上拼接采集图像；通过确定采集图像的投影基准点，可以准确的在特定的拼接面上对采集图像进行拼接。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出根据本发明一实施例的图像拼接方法的流程图；
图2A是示出了第一个实施例的采集目标及图像采集装置的运动轨迹的示意图；
图2B是示出了第二个实施例中的采集目标及图像采集装置的运动轨迹的示意图；
图2C是示出了第三个实施例中的采集目标及图像采集装置的运动轨迹的示意图；
图2D是示出了第四个实施例中的采集目标及图像采集装置的运动轨迹的示意图；
图3是示出了本发明一些实施例中如何根据同名特征点确定投影基准点的示意图；
图4是示出了本发明一些实施例中待筛选区域的示意图；
图5是示出了本发明一些实施例中待投影区域的示意图；
图6是根据本发明一实施例的图像拼接装置的结构示意图；
图7是示出了可以实现根据本发明实施例的图像拼接方法和装置的图像拼接设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图像拼接是利用两张图像的相同特征点直接将两张图像拼接在一起，无法减小拍摄图像的畸形。
示例性的，在对管道内壁进行拍摄的具体场景中，若摄像机安装于图像采集装置的顶部，在进行图像采集时，图像采集装置沿着管道的轴线方向移动，且图像采集装置的轴线与管道的轴线夹角为零，则多张采集图像的中心区域具有相同的图像特征。
此时，若简单的利用图像拼接的方法，在平面上按照图像是否有重叠区域，对上述情况中采集图像并不能进行准确的拼接，且拼接步骤复杂。
示例性的，若操作人员根据图像采集装置的采集图像对采集目标进行操作时，例如，医生依据内窥镜在病患的肠道中采集的图像，对病患进行手术时，采集的图像并不能反映采集目标实际的位置，操作人员容易误操作或降低操作效力。
因此，本发明实施例提供了图像拼接方法、装置、设备和计算机介质，能将采集的图像投影至特定的拼接面上，使采集图像在特定的平面上准确的进行拼接。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的图像拼接方法、装置、设备和计算机介质，应注意，这些实施例并不是用来限制本发明公开的范围。
图1是示出根据本发明实施例的图像拼接方法的示意流程图。如图1所示，本实施例中的图像拼接方法100包括以下步骤：
S110，采集第一采集图像和第二采集图像。
在本发明的一些实施例中，第一采集图像和第二采集图像是从图像采集装置采集的多帧采集图像中选取的两帧采集图像。
其中，多帧采集图像中都包含了采集目标的同一位置或采集目标的同一区域的图像信息。
作一个示例，采集目标上有一个凹陷区域，若图像采集装置采集的1000帧采集图像中有50帧采集图像中都包含了该凹陷区域的图像信息，则可以在该50帧采集图像中任意选取两帧采集图像作为第一采集图像和第二采集图像。
在本发明的一个可选的实施例中，在图像采集装置采集的多帧采集图像中挑选连续的两帧采集图像作为第一采集图像和第二采集图像。
在本发明的一些实施例中，图像采集装置沿着图像采集目标的轴向移动的过程中，采集第一采集图像和第二采集图像。
在本发明的一些实施例中，图像采集装置可以对采集目标的内表面和外表面拍摄，以采集第一采集图像和第二采集图像。
在本发明的一些实施例中，采集目标可以是柱体、空心柱体、锥体、空心锥体、柱体的一部分、空心柱体的一部分、锥体的一部分或空心锥体的一部分。
需要说明的是，本发明实施例中的采集目标不限于此，也可以是上述实施例中采集目标的变型，例如U形管或螺旋空心柱。
下面将结合图2A～图2D，分为四个实施例对采集目标及图像采集装置的运动轨迹进行说明。
在第一个实施例中，如图2A所示，采集目标是一个空心圆柱，图像采集装置在空心圆柱体的内部，可以沿着轨迹A或与轨迹A平行的轨迹对采集目标的内表面进行拍摄。其中轨迹A与空心圆柱的轴线平行。
图像采集装置也可以在空心圆柱体的外部，沿着与轨迹A平行的轨迹，例如轨迹B，对采集目标的部分外表面进行拍摄。
在第二个实施例中，如图2B所示，采集目标是一个空心四棱柱。图像采集装置可以在空心四棱柱内，沿着与侧棱平行的方向移动，例如轨迹C。
同样的，图像采集装置可以在空心四棱柱的外部，沿着与轨迹C平行的方向移动，以对空心四棱柱的两个相邻的侧面或一个侧面进行拍摄。
在第三个实施例中，如图2C所示，采集目标是由两个楔形体组成的。图像采集装置可以沿着与两个楔形体相交的直线所平行的方向移动，例如轨迹D。
同样的，图像采集装置可以在两个长方体的外部，沿着与轨迹D平行的方向移动，以对采集目标的两个侧面或一个侧面进行拍摄。
在第四个实施例中，如图2D所示，采集目标可以是空心圆柱体的一部分，图像采集装置可以沿着轨迹E或与轨迹E平行的方向移动。其中，轨迹E是该空心圆柱体的轴线。
S120，根据第一采集图像和第二采集图像，确定采集图像的投影基准点。
在本发明的一些实施例中，S120具体包括：
首先，获取图像采集装置的内参数，其中图像采集装置是采集第一采集图像和第二采集图像的图像采集装置。
在本发明的一些实施例中，图像采集装置可以为照相机、高分辨率CCD数码相机、红外扫描仪、激光扫描仪、数码摄像机、监控装置或内窥镜。
在本发明的一些实施例中，图像采集装置的内参数包括焦距f，像主点横坐标u和像主点纵坐标v，径向畸变参数k1、k2和k3，和切向畸变参数p1、p2。
然后，基于图像采集装置的内参数，分别对第一采集图像和第二采集图像进行校正。
在本发明的一个实施例中，上述实施例中基于图像采集装置的内参数，分别对第一采集图像和第二采集图像进行校正，具体包括：
将矫正后的第一采集图像的长和宽设定为矫正前的第一采集图像的长和宽，将矫正后的第二采集图像的长和宽设定为矫正前的第二采集图像的长和宽。
分别将第一采集图像的像素点的位置信息和第二采集图像的像素点的位置信息代入图像矫正公式，得到该像素点在矫正后的采集图像中的位置信息，其中，图像矫正公式与图像采集装置的内参数相关。
需要说明的是，本发明实施例中的像素点的位置信息是指像素点在其所在的图像中的像素坐标。其中，像素坐标具体包括像素横坐标和像素纵坐标。
在一个实施例中，对第一采集图像和第二采集图像矫正的图像矫正公式为：
其中，xd和yd分别表示校正前的采集图像中的像素点的像素横坐标和像素纵坐标，xl和yl分别表示校正后的该采集图像的像素点的像素横坐标和像素纵坐标，r表示校正后的该采集图像的像素点到像主点的距离。
作一个具体的示例，分别将第一采集图像中的每一个像素点的像素横坐标作为xd和像素纵坐标作为yd，代入公式(1)，在已知图像采集装置的内参数的情况下，将得到的xl作为每一个像素点在校正后的第一采集图像中的像素横坐标，将得到的yl作为每一个像素点在校正后的第一采集图像中的像素纵坐标。
分别将第二采集图像中的每一个像素点的像素横坐标作为xd和像素纵坐标作为yd，代入公式(1)，在已知图像采集装置的内参数的情况下，将得到的xl作为每一个像素点在校正后的第二采集图像中的像素横坐标，将得到的yl作为每一个像素点在校正后的第二采集图像中的像素纵坐标。
在本发明的另一个实施例中，上述实施例中的分别将第一采集图像的像素点的位置信息和第二采集图像的像素点的位置信息代入图像矫正公式，得到该像素点在矫正后的采集图像中的位置信息之后，还包括：
基于获取矫正前的第一采集图像的像素点的颜色值、以及矫正前的第一采集图像的像素点的位置信息和矫正后的第一采集图像的像素点的位置信息的对应关系，利用插值法计算得到矫正后的第一采集图像的像素点的颜色值。
基于获取矫正前的第二采集图像的像素点的颜色值、以及矫正前的第二采集图像的像素点的位置信息和矫正后的第二采集图像的像素点的位置信息的对应关系，利用插值法计算得到矫正后的第二采集图像的像素点的颜色值。
作一个示例，插值法可以为双线性插值算法、最邻近插值法或双三次B样条插值算法。
最后，根据校正后的第一采集图像和校正后的第二采集图像，确定采集图像的投影基准点。
通过上述实施例中对第一采集图像和第二采集图像进行校正，能够校正图像采集装置的镜头畸变。
在本发明的一些实施例中，上述实施例中的获取图像采集装置的内参数，包括：
首先，建立图像采集装置采集的图像的像素点与标定点之间的关系。
在本发明的一些实施例中，标定点是标定模板上的标定点。
作一个示例，标定模板可以是等间距实心圆阵列图案或国际象棋盘图案。
在本发明的一些实施例中，图像采集装置采集的图像是指从多个位置和/或多个角度对标定模板拍摄而采集的图像。
此时，上述实施例中的建立图像采集装置采集的图像的像素点与标定点之间的关系，具体包括：
从多个位置和/或多个角度对标定模板拍摄并采集多帧图像。
在采集的多帧图像中确定与标定模板的标定点所对应的像素点，并建立该像素点和该标定点之间的对应关系。其中，像素点与标定点的对应关系可以是多对一。
作一个示例，若标定模板上有2个标定点(A和B)，则在采集的5帧图像中有5个像素点(A1、A2、A3、A4和A5)与其中1个标定点(A)对应，采集的5帧图像中另有5个像素点(B1、B2、B3、B4和B5)与另一个标定点(B)对应。其中Ai表示采集的第i帧图像中与标定点A对应的像素点，Bi表示采集的第i帧图像中与标定点B对应的像素点，其中1≤i≤5。
需要说明的是，为了方便理解，本发明的部分实施例中将以标定点A和B，像素点A1、A2、A3、A4和A5，像素点B1、B2、B3、B4和B5为例，进行解释和说明。
然后，基于图像采集装置采集的图像的像素点，以及图像采集装置采集的图像的像素点与标定点之间的关系，获取图像采集装置的内参数。
在本发明的一些实施例中，S120具体包括：
首先，提取第一采集图像的特征点和第二采集图像的特征点。
在本发明的一些可选的实施例中，第一采集图像的特征点和第二采集图像的特征点可以是利用加速稳健特征(Speeded Up Robust Features，SURF)算法、尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算法或方向快速特征点和旋转二值鲁棒独立特征(Oriented Fast and Rotated BRIEF，ORB)算法等计算的具有尺度不变性的特征点。
需要说明的是，本发明实施例中计算特征点的算法也可以是除上述实施例中列举出的算法之外的其他算法，在此不作限定。
然后，对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系。
在本发明的一些实施例中，第一采集图像包括了多个特征点，第二采集图像包括了多个特征点，当第一采集图像的某一特征点和第二采集图像的某一特征点满足特征点匹配的条件后，这两个特征点可以建立一个特征点对。
作一个示例，第一采集图像的特征点为A1、D1、F1和N1，第二采集图像的特征点为A2、C2、F2、L2和M2，对第一采集图像的特征点和第二采集图像的特征点进行匹配之后，建立了两个特征点对(A1-A2，F1-F2)。
为了便于理解，本发明的实施例中以“像素点-像素点”的形式表示两个像素点建立的特征点对。若像素点A和像素点B构成一个特征点对，则像素点A称为像素点B的匹配像素点，同样的，像素点B称为像素点A的匹配像素点。
在本发明的一些实施例中，计算特征点对的位置关系可以为获取每一特征点对中两个特征点的位置信息。
在本发明的一些实施例中，在确定采集图像的投影基准点时，可以根据多帧采集图像的特征点确定。
此时，上述实施例中的对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系，具体包括：
在多帧采集图像中任选一帧图像作为第一采集图像，并确定第一采集图像中的特征点。
分别在除该第一采集图像之外的其他帧图像中确定该特征点的匹配特征点，并将该像素点的所有匹配特征点都称为该像素点的同名特征点。
获取该特征点的位置信息和该特征点的同名特征点的位置信息。
作一个示例，若共有五帧采集图像，第一采集图像的特征点A1在其他四帧采集图像中的匹配特征点分别为A2、A3、A4和A5，则特征点A2、A3、A4和A5统称为特征点A1的同名特征点。同样的，A1、A3、A4和A5也统称为A2的同名特征点。
为了便于理解，本发明实施例中将多帧采集图像中的一个特征点和该特征点的同名特征点称为一组同名特征点。
最后，基于特征点对的位置关系，确定采集图像的投影基准点。
在本发明的一些实施例中，当仅根据第一采集图像和第二采集图像确定采集图像的投影基准点时，上述实施例中的基于特征点对的位置关系，确定采集图像的投影基准点，具体包括：
获取每个特征点对中的两个特征点的位置信息，基于两个特征点的位置信息确定一个直线，则该直线与该特征点对应。
根据多个特征点对对应的多条直线，确定采集图像的投影基准点。
在本发明的一个实施例中，上述实施例中，根据多个特征点对对应的多条直线，确定采集图像的投影基准点的方法为：
利用最小二乘法和多条直线的方程，求解出多条直线的交点，并将该交点确定为采集图像的投影基准点。
在本发明的另一些实施例中，当根据多帧采集图像确定采集图像的投影基准点时，上述实施例中的基于特征点对的位置关系，确定采集图像的投影基准点，具体包括：
首先，获取每组同名特征点中的特征点的位置信息，依据每组同名特征点中的特征点的位置信息确定一个直线方程，该直线方程与该组同名特征点对应。
在本发明的一个实施例中，如图3所示，可以在第一采集图像中(图3中方框内的区域)，根据每组同名特征点中的特征点的位置信息(如图3中的实心点)，将每组同名特征点在第一采集图像中标注出来。
作一个具体的示例，如图3所示，将5帧采集图像中的3组同名特征点在第一帧采集图像中标注出来，例如C2～C4，D1～D5，E1、E2、E3和E5。其中字母的下角标表示为第几帧采集图像，例如E3表示为第三帧采集图像中的像素点。
在本发明的一个实施例中，可以利用随机抽样一致(Random Sample Consensus，RANSAC)算法将每组同名特征点拟合成一条直线。
其中，RANSAC算法是一种基于一组包含异常数据和正确数据的数据，能够建立正确数据的模型参数，并依据正确数据的模型参数从一组包含错误数据和正确数据的数据中筛选出正确数据的方法。
在本发明的一个实施例中，拟合直线的方法可以包括：
第一步，在一组同名特征点中任选两个像素点，确定通过这两个点的直线，并计算该直线的直线方程。
第二步，定义距离阈值δl(例如3个像素)，分别计算该组同名特征点中除选取的两个像素点的其他特征点到该直线的距离。
第三步，将计算的距离与距离阈值δl作比较，如果计算的距离小于距离阈值δl，则认为该特征点在该直线上。
第四步，直到一组同名特征点中的除选取的两个像素点之前的所有像素点都与距离阈值δl作完比较，统计一组同名特征点中在此直线的像素点的个数。
第五步，若同名特征点中有多个像素点，则可以重复第一步～第四步，若一条直线上的像素点的个数多于其他任意一条直线上的像素点的个数，则将该直线作为该组同名特征点对应的直线。
作一个示例，如图3所示，第一步，在一组同名特征点D1～D5中选取像素点D1和像素点D4确定一条直线(图3中的虚线2)。
第二步，定义距离阈值δl，分别计算像素点D2、像素点D3和像素点D5到虚线2的距离。
第三步，将像素点D2、像素点D3和像素点D5到虚线2的距离，与距离阈值δl作比较。
第四步，若像素点D2和像素点D5到虚线2的距离小于距离阈值δl，则通过虚线2的像素点的个数为4(D1、D2、D4和D5)。
然后，根据多组同名特征点对应的多个直线方程，确定采集图像的投影基准点(图3中的实心点O)。
在本发明的一个实施例中，对多组同名特征点对应的多个直线方程，可以利用最小二乘法，计算分别与多个直线方程对应的多条直线的交点，并将该交点作为投影图像的投影基准点。
在本发明的一个实施例中，如图3所示，若分别与多个直线方程对应的多条直线(虚线1、虚线2和虚线3)相交于一点(实心点O)，则该点是投影图像的投影基准点。
通过上述实施例中，根据多帧采集图像确定投影图像的投影基准点，可以精准的确定投影基准点，能够更加真实的还原采集目标。
在本发明的一些实施例中，上述实施例中的对第一采集图像的特征点和第二采集图像的特征点进行匹配，具体包括：
首先，基于第一采集图像的特征点在第一采集图像中的位置信息，在第二采集图像中确定待筛选区域。
在本发明的一个可选的实施例中，待筛选区域的形状可以是矩形、扇形、椭圆形等。
在一个实施例中，结合图4对上述实施例中的基于第一采集图像的特征点在第一采集图像中的位置信息，在第二采集图像中确定待筛选区域，的具体步骤进行说明。其中，图4中的方框表示采集图像。
第一步，确定采集图像的中心点(图4中实心点O)。
第二步，作多条通过采集图像中心点的直线(图4中的直线A、直线B和直线C)，其中相邻直线间的夹角为一固定角度(图4中直线A、直线B和直线C之间的夹角为45度)。
第三步，多条通过采集图像中心点的直线将该采集图像划分为多个闭合的区域(图4中直线A、直线B和直线C将采集图像划分成8个闭合的区域，例如第一区域和第二区域)。
第四步，特征点在第一采集图像中的某一闭合区域(以图4为例，第一采集图像中的第一区域内)，则将第二帧图像中的同一闭合区域(以图4为例，第二采集图像中的第一区域)作为待筛选区域。
在图像采集装置对空心圆柱体拍摄的场景中(例如内窥镜对管道的内表面进行拍摄的场景中)，若图像采集装置从空心圆柱体的一端进入空心圆柱体内部，并沿着空心圆柱体的轴线移动，且摄像头位于图像采集装置的顶部。空心圆柱体内表面上的多个点在连续的多帧图像中，与投影基准点的直线距离逐渐增大。若利用图4所示的过图像中心点作直线以确定待筛选区域的方法确定待筛选区域，可以提高匹配的特征点对的准确率。
为了便于理解，下述实施例中提到的对空心圆柱体拍摄的场景，都特指图像采集装置从空心圆柱体的一端进入空心圆柱体内部，并沿着空心圆柱体的轴线移动，且摄像头位于图像采集装置的顶部的情况。
其次，对第一采集图像的特征点和待筛选区域内的第二采集图像的特征点进行匹配。
通过在待筛选区域内进行特征点匹配，可以提高特征点匹配的效率和准确率。
在本发明的一些实施例中，上述实施例中的对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系，具体包括：
第一步，对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对。
第二步，基于预先设定的特征点对的约束条件对特征点对进行筛选。
在本发明的一个实施例中，上述实施例中的基于预先设定的特征点对的约束条件对特征点对进行筛选，具体包括：
依据图像采集装置的运动方向和特征点对的距离阈值筛选特征点对。
作一个示例，当图像采集装置的摄像头逐渐靠近采集目标时，在先拍摄的第一采集图像中特征点A1距离图像中心点的位置为r1，后拍摄的第二采集图像中特征点A1的匹配像素点A2距离图像中心点的位置为r2，特征点对的距离阈值为Δ，其中Δ>0。
若满足r1-r2≥Δ，则确定A1和A2为一个特征点对；若r1-r2<Δ，则A1和A2不是一个特征点对。
在本发明的另一个实施例中，上述实施例中的基于预先设定的特征点对的约束条件对特征点对进行筛选，具体包括：
使用极几何条件对特征点对进行筛选。
在一个实施例中，上述实施例中的使用极几何条件对特征点对进行筛选，具体包括：
首先，分别将多个特征点对中的两个像素点的像素坐标转换为齐次像素坐标X1和齐次像素坐标X2。
作一个示例，分别将特征点A1和A1的匹配像素点A2的像素坐标转换为齐次像素坐标。例如，特征点A1的像素坐标为[x1 y1]，转换后的齐次像素坐标X1＝[x1 y1 1]′；A1的匹配像素点A2的像素坐标为[x2 y2]，转换后的齐次像素坐标X2＝[x2 y2 1]′。其中符号[]′表示为符号[]表示的矩阵的转置矩阵。
然后，利用极几何约束公式，计算特征点对的初始基本矩阵。
作一个示例，极几何约束公式为：
X2′FX1＝0 (2)
其中，X2′表示为X2对应的行向量，F表示初始基本矩阵。
最后，利用RANSAC算法，从基于计算得到的多个初始基本矩阵筛选出目标基本矩阵，将目标基本矩阵对应的特征点对筛选为正确匹配的特征点对，将其余特征点对丢弃。
作一个示例，利用RANSAC算法，基于计算得到的多个初始基本矩阵建立目标基本矩阵的模型参数，依据所建立的目标基本矩阵的模型参数从多个初始基本矩阵中筛选出目标基本矩阵。
第三步，计算筛选后的特征点对的位置关系。
在本发明的另一个实施例中，上述实施例中的基于预先设定的特征点对的约束条件对特征点对进行筛选，具体包括：
依据图像采集装置的运动方向和特征点对的距离阈值筛选特征点对。
使用极几何条件对特征点对进行筛选。
需要说明的，可以先用图像采集装置的运动方向和特征点对的距离阈值筛选特征点对，也可以先用极几何条件筛选特征点对，对此不作限制。
S130，基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像。
在本发明的一些实施例中，拼接面是三维的面。其中，三维的面是指拼接面上的点的位置坐标是三维的。
在本发明的一些实施例中，拼接面的形状与图像采集目标的表面的形状相同。
作一个示例，如图2A所示，图像采集装置沿着轨迹A对空心圆柱体的内表面进行图像采集，则拼接面的形状可以与空心圆柱体内表面形状相同。
在本发明的一些实施例中，拼接面的形状可以与图像采集装置在采集目标上的采集面的形状相同。
作一个示例，如图2A所示，图像采集装置沿着轨迹B对空心圆柱体的外表面进行图像采集，图像采集装置只能采集到空心圆柱体的外表面的一部分，则可以把空心圆柱体的外表面的能采集到的那一部分称为采集目标上的采集面。
在本发明的一些实施例中，S130具体包括：
首先，基于采集图像的投影基准点，分别在第一采集图像中确定第一待投影区域和在第二采集图像中确定第二待投影区域。
其次，将第一待投影区域投影至拼接面，得到第一待拼接图像，以及
将第二待投影区域投影至拼接面，得到第二待拼接图像。
在本发明的一个实施例中，若对空心体(包括空心柱体、空心锥体或空心棱柱)内表面进行拍摄时，投影基准点表示空心体之外无穷远的位置。且投影基准点附近的区域出现多帧图像中。此时，S130包括：
第一步，以采集图像的投影基准点为中心在采集图像中确定第一区域，并以采集图像的投影基准点为中心在采集图像中确定第二区域，其中第一区域大于第二区域。
第二步，将第一区域中不属于第二区域的其他区域作为待投影区域。
在一个示例中，对空心圆柱体拍摄，投影基准点表示空心圆柱体之外无穷远的位置。
此时，以图5为例，在采集图像中，以投影基准点为圆心(图5中的实心点O)，以r1为半径确定一个第一区域，以r2为半径确定一个第二区域，将第一区域内除第二区域之外的其他区域(图5中的阴影区域)作为待投影区域。
第三步，建立投影模型，并依据投影模型和待投影区域，在拼接面上确定与待投影区域对应的待拼接图像区域。
在一些实施例中，若拼接面的形状与空心圆柱体内表面形状相同，投影模型满足公式(3)：
其中，x表示为采集图像上的像素点的像素横坐标，y表示为采集图像上的像素点的像素纵坐标，l表示为像素点在拼接面上的投影点的横坐标，θ表示为像素点在拼接面上的投影点的纵坐标，(x0，y0)是投影基准点的坐标，表示采集图像上像素点(x,y)距离投影基准点的距离，atan2(,)是反正切函数，R表示拼接面的半径。其中，l表示拼接面上的点在拼接面的轴线方向上与图像采集装置之间的距离。
第四步，对确定的待拼接图像区域进行离散化，并提取待拼接图像区域的离散点。
在一些实施例中，以预先设定的离散分辨率Δ，沿着待拼接图像区域的径向方向和轴向方向，对待拼接图像区域进行离散化，并提取待拼接图像区域的离散点。
作一个示例，首先，将待拼接图像区域展开为一个平面的、矩形的待拼接图像区域。然后，将展开后的待拼接图像区域划分为多个小的正方形子区域，其中，正方形子区域的边长为Δ。最后，将正方形子区域的顶点作为待拼接图像区域的离散点。
第五步，在采集图像上确定与待拼接图像区域的离散点对应的像素点，利用插值法和与待拼接图像区域的离散点对应的像素点，计算得到待拼接图像。
在一些实施例中，设离散点的位置坐标为(u，v)，则在采集图像上与该离散点对应的像素点的像素坐标(x,y)满足公式(4)
在一些实施例中，利用公式(4)计算得到与待拼接图像区域的离散点对应的像素点的像素坐标之后，利用插值算法确定离散点的颜色值。
通过在采集图像中确定待投影区域，避免对多帧采集图像中重复像素点的多次投影，能够对采集图像中的有效区域进行投影，可以提高图像拼接的效率。
在本发明的一些实施例中，图像采集装置是沿着图像采集目标的轴向移动的。
此时，S130具体包括：
获取图像采集装置在采集第一采集图像时的第一位置和像采集装置在采集第二采集图像时的第二位置。
根据第一位置和采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像；以及，
根据第二位置和采集图像的投影基准点，将第二采集图像投影至拼接面，得到第二待拼接图像。
在本发明的一个实施例中，可以根据第一位置和离散分辨率Δ，确定第一采集图像的投影基准点在投影面上的位置。
可以根据第二位置和离散分辨率Δ，确定第二采集图像的投影基准点在拼接面上的位置。
在一个实施例中，离散分辨率Δ可以是采集目标上的采集面与拼接面的缩放比例。
在本发明的一个实施例中，图像采集装置沿着直线运动，设图像采集装置的移动步长为ds，离散分辨率为Δ，那么相邻图像帧的投影区域在沿着圆柱面中心轴方向上的相对偏移量为ds/Δ。其中，图像采集装置的移动步长ds表示图像采集装置拍摄连续两帧采集图像所移动的距离。例如从拍摄前一帧采集图像到拍摄当前帧采集图像，图像采集装置移动的距离。
在本发明的一些实施例中，投影基准点是基于特征点对的位置关系确定的。其中，特征点对是第一采集图像的特征点和第二采集图像的特征点匹配后所建立的。
此时，S130包括：
基于第一采集图像的投影基准点，将第一采集图像的像素点投影至拼接面，获得第一采集图像的像素点的投影点。
基于第二采集图像的投影基准点，将第二采集图像的像素点投影至拼接面，获得第二采集图像的像素点的投影点。
根据第一采集图像的像素点的投影点和插值法，得到第一待拼接图像。
根据第二采集图像的像素点的投影点和插值法，得到第一待拼接图像。
S140，在拼接面上，拼接第一待拼接图像和第二待拼接图像。
在本发明的一些实施例中，S140具体包括：
确定第一待拼接图像和第二待拼接图像的重叠区域，对重叠区域进行图像融合。
在本发明的一个实施例中，图像融合的方法为加权融合的方法。
作一个示例，加权融合的方法具体为：
两张待融合图像的重叠范围为[d1，d2]，那么对于位置d处的像素点，第一张待融合图像中位置d处的像素点的权重值为第一张待融合图像中位置d处的像素点的权重值为w2＝1-w1，则在融合后的图像中位置d处的像素点的颜色值为I＝w1I1+w2I2，其中，d1≤d≤d2。
根据本发明实施例中的图像拼接方法、装置、设备和计算机介质，通过将第一采集图像和第二采集图像投影至特定的拼接面上，可以在特定的拼接面上拼接采集图像；通过确定采集图像的投影基准点，可以准确的在特定的拼接面上对采集图像进行拼接。
基于相同的发明构思，本发明另一实施例提供了图像拼接装置。图6示出了根据本发明一实施例提供的用户设备的定位装置的结构示意图。如图6所示，用户设备的定位装置600包括：
采集模块610，用于采集第一采集图像和第二采集图像。
在本发明的一些实施例中，采集模块610具体用于，
图像采集装置沿着图像采集目标的轴向移动的过程中，采集第一采集图像和第二采集图像。
确定模块620，用于根据第一采集图像和第二采集图像，确定采集图像的投影基准点。
在本发明的一些实施例中，确定模块620具体用于：
获取图像采集装置的内参数，其中图像采集装置是采集第一采集图像和第二采集图像的图像采集装置。
基于图像采集装置的内参数，分别对第一采集图像和第二采集图像进行校正。
根据校正后的第一采集图像和校正后的第二采集图像，确定采集图像的投影基准点。
在本发明的一些实施例中，确定模块620还具体用于：
建立图像采集装置采集的图像的像素点与标定点之间的关系。
基于图像采集装置采集的图像的像素点，以及图像采集装置采集的图像的像素点与标定点之间的关系，获取图像采集装置的内参数。
在本发明的一些实施例中，确定模块620具体用于：
提取第一采集图像的特征点和第二采集图像的特征点；
对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对，并计算特征点对的位置关系；
基于特征点对的位置关系，确定采集图像的投影基准点。
在本发明的一些实施例中，确定模块620还具体用于：
基于第一采集图像的特征点在第一采集图像中的位置信息，在第二采集图像中确定待筛选区域；
对第一采集图像的特征点和待筛选区域内的第二采集图像的特征点进行匹配。
在本发明的一些实施例中，确定模块620还具体用于：
对第一采集图像的特征点和第二采集图像的特征点进行匹配，建立特征点对；
基于预先设定的特征点对的约束条件对特征点对进行筛选；
计算筛选后的特征点对的位置关系。
投影模块630，用于基于采集图像的投影基准点，分别将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像。
在本发明的一些实施例中，拼接面的形状与图像采集目标的表面的形状相同。
在本发明的一些实施例中，投影模块630，具体用于：
基于采集图像的投影基准点，分别在第一采集图像中确定第一待投影区域和在第二采集图像中确定第二待投影区域；
将第一待投影区域投影至拼接面，得到第一待拼接图像，以及
将第二待投影区域投影至拼接面，得到第二待拼接图像。
在本发明的一些实施例中，图像采集装置是沿着图像采集目标的轴向移动的。此时，投影模块630，具体用于：
基于采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像，并将第二采集图像投影至拼接面，得到第二待拼接图像，包括：
获取图像采集装置在采集第一采集图像时的第一位置和像采集装置在采集第二采集图像时的第二位置；
根据第一位置和采集图像的投影基准点，将第一采集图像投影至拼接面，得到第一待拼接图像；以及，
根据第二位置和采集图像的投影基准点，将第二采集图像投影至拼接面，得到第二待拼接图像。
拼接模块640，用于在拼接面上，拼接第一待拼接图像和第二待拼接图像。
在本发明的一些实施例中，投影基准点是基于特征点对的位置关系确定的。其中，特征点对是第一采集图像的特征点和第二采集图像的特征点匹配后所建立的。
拼接模块640具体用于：
基于第一采集图像的投影基准点，将第一采集图像的像素点投影至拼接面，获得第一采集图像的像素点的投影点。
基于第二采集图像的投影基准点，将第二采集图像的像素点投影至拼接面，获得第二采集图像的像素点的投影点。
根据第一采集图像的像素点的投影点和插值法，得到第一待拼接图像。
根据第二采集图像的像素点的投影点和插值法，得到第一待拼接图像。
根据本发明实施例的图像拼接装置的其他细节与以上结合图1至图5描述的根据本发明实施例的图像拼接方法类似，在此不再赘述。
图7是本发明实施例中图像拼接设备的示例性硬件架构的结构图。
如图7所示，图像拼接设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与图像拼接设备700的其他组件连接。
具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到图像拼接设备700的外部供用户使用。
也就是说，图7所示的图像拼接设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图6描述的图像拼接设备的方法和装置。
在一个实施例中，图7所示的图像拼接设备700可以被实现为一种设备，该设备可以包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行本发明实施例的图像拼接方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种图像拼接方法，其特征在于，所述方法包括：
采集第一采集图像和第二采集图像；
根据所述第一采集图像和所述第二采集图像，确定采集图像的投影基准点；
基于所述采集图像的投影基准点，分别将所述第一采集图像投影至拼接面，得到第一待拼接图像，并将所述第二采集图像投影至所述拼接面，得到第二待拼接图像；
在所述拼接面上，拼接所述第一待拼接图像和所述第二待拼接图像。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述根据所述第一采集图像和所述第二采集图像，确定采集图像的投影基准点，包括：
获取图像采集装置的内参数，其中所述图像采集装置是采集所述第一采集图像和所述第二采集图像的图像采集装置；
基于所述图像采集装置的内参数，分别对第一采集图像和第二采集图像进行校正；
根据校正后的第一采集图像和校正后的第二采集图像，确定所述采集图像的投影基准点。
3.根据权利要求2所述的方法，其特征在于，所述获取图像采集装置的内参数，包括：
建立所述图像采集装置采集的图像的像素点与标定点之间的关系；
基于所述图像采集装置采集的图像的像素点，以及所述图像采集装置采集的图像的像素点与标定点之间的关系，获取图像采集装置的内参数。
4.根据权利要求1所述的方法，其特征在于，所述采集第一采集图像和第二采集图像，包括：
图像采集装置沿着所述图像采集目标的轴向移动的过程中，采集第一采集图像和第二采集图像。
5.根据权利要求1所述的方法，其特征在于，所述拼接面的形状与所述图像采集目标的表面的形状相同。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一采集图像和所述第二采集图像，确定采集图像的投影基准点，包括：
提取所述第一采集图像的特征点和所述第二采集图像的特征点；
对所述第一采集图像的特征点和所述第二采集图像的特征点进行匹配，建立特征点对，并计算所述特征点对的位置关系；
基于所述特征点对的位置关系，确定采集图像的投影基准点。
7.根据权利要求6所述的方法，其特征在于，所述对所述第一采集图像的特征点和所述第二采集图像的特征点进行匹配，包括：
基于所述第一采集图像的特征点在第一采集图像中的位置信息，在所述第二采集图像中确定待筛选区域；
对所述第一采集图像的特征点和所述待筛选区域内的所述第二采集图像的特征点进行匹配。
8.根据权利要求1所述的方法，其特征在于，所述基于所述采集图像的投影基准点，将所述第一采集图像投影至拼接面，得到第一待拼接图像，并将所述第二采集图像投影至所述拼接面，得到第二待拼接图像，包括：
基于所述采集图像的投影基准点，分别在所述第一采集图像中确定第一待投影区域和在所述第二采集图像中确定第二待投影区域；
将所述第一待投影区域投影至所述拼接面，得到所述第一待拼接图像，以及
将所述第二待投影区域投影至所述拼接面，得到所述第二待拼接图像。
9.根据权利要求1所述的方法，其特征在于，所述图像采集装置是沿着所述图像采集目标的轴向移动的，
所述基于所述采集图像的投影基准点，将所述第一采集图像投影至拼接面，得到第一待拼接图像，并将所述第二采集图像投影至所述拼接面，得到第二待拼接图像，包括：
获取所述图像采集装置在采集所述第一采集图像时的第一位置和所述像采集装置在采集所述第二采集图像时的第二位置；
根据所述第一位置和所述采集图像的投影基准点，将所述第一采集图像投影至拼接面，得到所述第一待拼接图像；以及，
根据所述第二位置和所述采集图像的投影基准点，将所述第二采集图像投影至拼接面，得到所述第二待拼接图像。
10.根据权利要求6所述的方法，其特征在于，所述对所述第一采集图像的特征点和所述第二采集图像的特征点进行匹配，建立特征点对，并计算所述特征点对的位置关系，包括：
对所述第一采集图像的特征点和所述第二采集图像的特征点进行匹配，建立所述特征点对；
基于预先设定的特征点对的约束条件对所述特征点对进行筛选；
计算所述筛选后的特征点对的位置关系。
11.根据权利要求6所述的方法，其特征在于，所述基于所述采集图像的投影基准点，分别将所述第一采集图像投影至拼接面，得到第一待拼接图像，并将所述第二采集图像投影至所述拼接面，得到第二待拼接图像，包括：
基于所述第一采集图像的投影基准点，将所述第一采集图像的像素点投影至拼接面，获得所述第一采集图像的像素点的投影点；
基于所述第二采集图像的投影基准点，将所述第二采集图像的像素点投影至拼接面，获得所述第二采集图像的像素点的投影点；
根据所述第一采集图像的像素点的投影点和插值法，得到所述第一待拼接图像；
根据所述第二采集图像的像素点的投影点和插值法，得到所述第一待拼接图像。
12.一种图像拼接装置，其特征在于，所述装置包括：
采集模块，用于采集第一采集图像和第二采集图像；
确定模块，用于根据所述第一采集图像和所述第二采集图像，确定采集图像的投影基准点；
投影模块，用于基于所述采集图像的投影基准点，分别将所述第一采集图像投影至拼接面，得到第一待拼接图像，并将所述第二采集图像投影至所述拼接面，得到第二待拼接图像；
拼接模块，用于在所述拼接面上，拼接所述第一待拼接图像和所述第二待拼接图像。
13.一种图像拼接设备，其特征在于，所述设备包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1-11任一权利要求所述的图像拼接方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-11任一权利要求所述的图像拼接方法。
CN201810437458.1A 2018-05-09 2018-05-09 图像拼接方法、装置、设备和计算机介质 Active CN108596837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810437458.1A CN108596837B (zh) 2018-05-09 2018-05-09 图像拼接方法、装置、设备和计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810437458.1A CN108596837B (zh) 2018-05-09 2018-05-09 图像拼接方法、装置、设备和计算机介质

Publications (2)

Publication Number Publication Date
CN108596837A true CN108596837A (zh) 2018-09-28
CN108596837B CN108596837B (zh) 2022-06-10

Family

ID=63636502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810437458.1A Active CN108596837B (zh) 2018-05-09 2018-05-09 图像拼接方法、装置、设备和计算机介质

Country Status (1)

Country Link
CN (1) CN108596837B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381265A (zh) * 2019-07-12 2019-10-25 武汉恒新动力科技有限公司 筒装工件内壁图像获取方法、设备及计算机可读存储介质
CN110428363A (zh) * 2019-07-31 2019-11-08 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质
CN110658674A (zh) * 2019-09-16 2020-01-07 忆备缩微科技(北京)有限公司 一种将电子文件输出至缩微胶片上的方法及装置
CN111435969A (zh) * 2019-01-11 2020-07-21 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
WO2020181469A1 (zh) * 2019-03-11 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1873717A1 (en) * 2006-06-30 2008-01-02 THOMSON Licensing Method to estimate the geometric distortion between two images
US20150022675A1 (en) * 2008-08-19 2015-01-22 Digimarc Corporation Image processing architectures and methods
CN104318604A (zh) * 2014-10-21 2015-01-28 四川华雁信息产业股份有限公司 一种3d图像拼接方法及装置
CN104463959A (zh) * 2014-11-25 2015-03-25 无锡梵天信息技术股份有限公司 一种生成立方体环境贴图的方法
CN104778694A (zh) * 2015-04-10 2015-07-15 北京航空航天大学 一种面向多投影拼接显示的参数化自动几何校正方法
CN106447602A (zh) * 2016-08-31 2017-02-22 浙江大华技术股份有限公司 一种图像拼接方法及装置
CN107316325A (zh) * 2017-06-07 2017-11-03 华南理工大学 一种基于图像配准的机载激光点云与影像配准融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1873717A1 (en) * 2006-06-30 2008-01-02 THOMSON Licensing Method to estimate the geometric distortion between two images
US20150022675A1 (en) * 2008-08-19 2015-01-22 Digimarc Corporation Image processing architectures and methods
CN104318604A (zh) * 2014-10-21 2015-01-28 四川华雁信息产业股份有限公司 一种3d图像拼接方法及装置
CN104463959A (zh) * 2014-11-25 2015-03-25 无锡梵天信息技术股份有限公司 一种生成立方体环境贴图的方法
CN104778694A (zh) * 2015-04-10 2015-07-15 北京航空航天大学 一种面向多投影拼接显示的参数化自动几何校正方法
CN106447602A (zh) * 2016-08-31 2017-02-22 浙江大华技术股份有限公司 一种图像拼接方法及装置
CN107316325A (zh) * 2017-06-07 2017-11-03 华南理工大学 一种基于图像配准的机载激光点云与影像配准融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LILIAN ZHANG ET AL: "An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency", 《J. VIS. COMMUN. IMAGE R.》 *
武雪玲 等: ""仿射变换虚实配准的空间信息增强表达"", 《计算机工程与应用》 *
武雪玲等: "仿射变换虚实配准的空间信息增强表达", 《计算机工程与应用》 *
苏海翔: ""基于SURF的图像拼接及柱面全景图优化"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435969A (zh) * 2019-01-11 2020-07-21 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
US11074670B2 (en) 2019-01-11 2021-07-27 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, recording medium, and information processing system
CN111435969B (zh) * 2019-01-11 2021-11-09 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
WO2020181469A1 (zh) * 2019-03-11 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质
CN110381265A (zh) * 2019-07-12 2019-10-25 武汉恒新动力科技有限公司 筒装工件内壁图像获取方法、设备及计算机可读存储介质
CN110381265B (zh) * 2019-07-12 2021-08-31 武汉恒新动力科技有限公司 筒状工件内壁图像获取方法、设备及计算机可读存储介质
CN110428363A (zh) * 2019-07-31 2019-11-08 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质
CN110658674A (zh) * 2019-09-16 2020-01-07 忆备缩微科技(北京)有限公司 一种将电子文件输出至缩微胶片上的方法及装置

Also Published As

Publication number Publication date
CN108596837B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN108596837A (zh) 图像拼接方法、装置、设备和计算机介质
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN105245841B (zh) 一种基于cuda的全景视频监控系统
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN105550995B (zh) 隧道影像拼接方法及系统
CN104699842B (zh) 图片展示方法和装置
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN103679636B (zh) 基于点、线双重特征的快速图像拼接方法
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
CN103150715B (zh) 图像拼接处理方法及装置
CN107993258B (zh) 一种图像配准方法及装置
US20050122400A1 (en) Photographic apparatus with function of image correction and method thereof
CN106952225B (zh) 一种面向森林防火的全景拼接方法
CN105701827A (zh) 可见光相机与红外相机的参数联合标定方法及装置
CN104751465A (zh) 一种基于lk光流约束的orb图像特征配准方法
CN107833179A (zh) 一种红外图像的快速拼接方法及系统
CN107220931A (zh) 一种基于灰度级映射的高动态范围图像重建方法
CN110855903A (zh) 一种多路视频实时拼接方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN101504761A (zh) 一种图像拼接的方法和装置
CN103679672B (zh) 基于边缘垂直距离匹配的全景图像拼接方法
CN105631811A (zh) 一种用于图像拼接的方法及装置
CN111445389A (zh) 一种高分辨率图像的宽视角快速拼接方法
CN104392416A (zh) 一种运动场景的视频拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant