CN109544447A - 一种图像拼接方法、装置及存储介质 - Google Patents
一种图像拼接方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109544447A CN109544447A CN201811258725.5A CN201811258725A CN109544447A CN 109544447 A CN109544447 A CN 109544447A CN 201811258725 A CN201811258725 A CN 201811258725A CN 109544447 A CN109544447 A CN 109544447A
- Authority
- CN
- China
- Prior art keywords
- overlapping region
- image
- spliced
- subgraph
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000007704 transition Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 2
- 230000003044 adaptive effect Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000002401 inhibitory effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明提供一种图像拼接方法、装置及存储介质，其方法包括：对两个待拼接图像的重合区域进行定位，得到重合区域信息，在重合区域边界线内两个重合子图像中分块，得到重合区域分块子图对，并对其进行特征点定向配准，得到重合区域特征点集；根据优化TPS薄板样条函数对特征点集计算，得到两个待融合变形图像，获取待融合变形图像中的重合区域边界线对应的变形子图块对，将变形子图块对的像素点位置信息映射到单位圆上，进行平滑过渡处理，从而得到重合区域图像。本发明在重合区域提取特征点，提高了特征提取的效率与匹配的准确率；使用优化TPS函数对原图像进行图像变形，有效抑制了重影与形变的问题；单位圆自适应平滑像素值，解决了色差缝隙问题。
Description
技术领域
本发明主要涉及图像处理技术领域，具体涉及一种图像拼接方法、装置及存储介质。
背景技术
图像拼接是视觉领域和图像处理的一个重要分支，它将两幅以上的具有部分重叠的图像，进行无缝拼接从而得到宽视角的图像。
现有的图像拼接方法中最稳定的是采用Lowe提出的SIFT(Scale InvariantFeature Transform)算法进行图像特征的提取匹配。该算法虽具有诸多优点，但其最大弊端就是使图像拼接算法实时性较差，有较多无用消耗是浪费在了非重合区域图像的处理，从而导致大量无用信息的存在。因此，需要提供一种图像拼接方法来克服或缓解上述技术问题。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种图像拼接方法、装置及存储介质。
本发明解决上述技术问题的技术方案如下：一种图像拼接方法，包括：
对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
获取待融合变形图像中的重合区域边界线对应的变形子图块对，将变形子图块对的像素点位置信息映射到单位圆上，并对单位圆内的像素进行平滑过渡处理，从而得到平滑后的待融合变形图像中的重合区域图像。
本发明解决上述技术问题的另一技术方案如下：一种图像拼接装置，包括：
定位模块，用于对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
配准模块，用于在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
融合模块，用于根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
平滑模块，用于获取待融合变形图像中的重合区域边界线对应的变形子图块对，将变形子图块对的像素点位置信息映射到单位圆上，并对单位圆内的像素进行平滑过渡处理，从而得到平滑后的待融合变形图像中的重合区域图像。
本发明解决上述技术问题的另一技术方案如下：一种图像拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述方法的步骤。
本发明的有益效果是：对重合区域进行定位，避免多余非重合信息掺杂在重合区域；在重合区域提取特征点，提高了特征提取的效率与匹配的准确率；对重合区域内子图像进行图像变形，得到了很好的拼接效果，从而有效抑制了重影的问题；单位圆自适应平滑像素值，解决了色差缝隙问题，从而得到高质量、高效的拼接图像。
附图说明
图1为本发明一实施例提供的图像拼接方法的示意性流程图；
图2为本发明一实施例提供的测试块划分的示意图；
图3为本发明一实施例提供的重合区域定位的示意图；
图4为本发明一实施例提供的划分等分边界线的示意图；
图5为本发明一实施例提供的重合区域像素单位圆映射示意图；
图6为本发明一实施例提供的重合区域像素值权重随位置变化的关系图；
图7为本发明一实施例提供的重合区域像素平滑效果图；
图8为本发明一实施例提供的图像拼接效果图；
图9为本发明另一实施例提供的图像拼接装置的模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种图像拼接方法，包括：
对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
获取待融合变形图像中的重合区域边界线对应的变形子图块对，根据变形子图块对生成待融合变形图像中的重合区域图像；
根据待融合变形图像中的重合区域图像将两个所述待拼接图像进行拼接,得到合成图像。
上述实施例中，对重合区域进行定位，避免多余非重合信息掺杂在重合区域；在重合区域提取特征点，提高了特征提取的效率与匹配的准确率；对重合区域内子图像进行图像变形，得到了很好的拼接效果，从而有效抑制了重影的问题；单位圆自适应平滑像素值，解决了色差缝隙问题，从而得到高质量、高效的拼接图像。
可选的，作为本发明的一个实施例，所述对两个待拼接图像的重合区域进行定位，包括：
分别在两个所述待拼接图像中划分多个测试块，并建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理，得到匹配点集；
通过所述匹配点集中的匹配点计算得到透视变换矩阵；
通过所述透视变换矩阵和所述匹配点对应的坐标进行点映射得到所述待拼接图像的边界线；
通过所述边界线定位得到待拼接图像的重合区域。
可选的，作为本发明的一个实施例，所述对两个待拼接图像的重合区域进行定位，包括：
分别在两个所述待拼接图像中划分多个测试块，并建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理，得到匹配点集；
通过所述匹配点集中的匹配点计算得到透视变换矩阵；
通过所述透视变换矩阵和所述匹配点对应的坐标进行点映射得到所述待拼接图像的边界线；
通过所述边界线定位得到待拼接图像的重合区域。
可选的，作为本发明的一个实施例，如图2所示，所述分别在两个所述子图像中划分多个测试块，包括：
设两个所述待拼接图像为图像X和图像Y，分别在所述图像X和图像Y中划分数目相等的矩形区域的测试块，得到所述图像X的测试块X11、X12、X13、X14和X15，以及所述图像Y的测试块Y21、Y22、Y23、Y24和Y25；
所述建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理包括：
建立四个配准线程，为线程一、线程二、线程三和线程四：
所述线程一为测试块X11分别与测试块Y21至Y25进行滑动式配准处理；
所述线程二为测试块Y21分别与测试块X11至X15进行滑动式配准处理；
所述线程三为测试块X15分别与测试块Y21至Y25进行滑动式配准处理；
所述线程四为测试块Y25分别与测试块X11至X15进行滑动式配准处理。
上述实施例中，配准过程为传统配准时间的的1/15到1/3倍，较大幅度的缩短了特征点配准时间,提高采样效率。
下面通过实例说明如何进行配准处理，例如，测试块X11与测试块Y22配对时，测试块X11对应匹配点集R11，测试块Y22对应匹配点集R22，构建相应的透视变换矩阵H，如图3所示，图像X任意点(x,y)在图像Y的映射点(x’,y’)，通过如下公式计算得到透视变换矩阵H：
映射点(x’,y’)为：
再令矩阵M＝H-1，由下列公式计算图像Y的任意点(x’,y’)，由逆透视变到图像X的映射点(x,y)：
映射点(x,y)为：
由上述公式计算出图像X中边界角点A、A的左邻域点A_分别在图像Y中的映射点A’、A_’,并计算出射线A’A_’交图像Y边界的点M。同理可得到点P’、P_’、D，点B’、B_’、N，若其中一个边界角点的映射点超出图像范围，如图3中的点Q’，那么计算射线P’Q’交图像边界的点C，若两个边界角点的映射点A’、B’同时超出图像范围，则计算线段A’B’与图片边界的交点，记为边界端点。如图所示最终得到由点P、M、A’、B’、N所构成的重合区域，以及由P’、D、A、B、C所构成的重合区域。将上述有效匹配区域提取作为重合区域，从而获得只含有公共信息的重合区域以及特征点的置信区间。
实际应用中由于误差等因素，分别将映射的角点平移，如将点A’向右上方平移，同时将B’向右下方平移等，以避免误差导致重合区域的像素损失。
可选的，作为本发明的一个实施例，所述重合区域信息还包括重合子图像特征点的置信区间，所述对重合区域分块子图对进行特征点定向配准，包括：
对所述两个重合子图像进行分块，得到多对重合区域分块子图；
根据SIFT尺度不变特征变换算法对所述的各个重合区域分块子图进行特征点配准，得到多个子特征点集；
根据所述置信区间预估各个所述子特征点集内特征点对的位置，完成特征点定向配准；
根据RANSAC随机抽样一致算法删除所述特征点集中的误匹配点，得到初配准特征点集；
建立贝叶斯概率模型，根据所述贝叶斯概率模型和拉依达3σ准则再次删除所述初配准特征点集中的误匹配点，从而得到重合区域特征点集。
可选的，作为本发明的一个实施例，所述对所述两个重合子图像进行分块，包括：
将其中一个所述重合子图像进行纵向等分，得到n条等分边界线，其中n取1至3，并分别在各条所述等分边界线上取两个标记点；
根据点映射得到另一个重合子图像对应的映射标记点，根据映射标记点得到n条等分边界线，从而完成两个重合子图像的分块。
下面对所述点映射进行说明：
在所述重合区域对应的其中一个子图像的底边边界线的1/3等分处和2/3等分处分别划分等分边界线；
分别在两条分界线上取一对标记点a、b及m、n；
由所述变换矩阵得到所述4个标记点在所述重合区域对应的另一个重合区域子图像的的位置，a’、b’及m’、n’，并在该子图上做过a’、b’的边界线1，以及过m’、n’的边界线2，最终得到相似的分块子图对；
根据所述特征点置信区间确定特征点位置，对所述的相似的分块子图对定向配准特征点，最终得到一个特征点配准集合；
根据BBF及RANSAC配准策略对所述多个特征点对进行并行配准；
根据贝叶斯概率模型结合拉依达3σ准则对经并行配准后的多个特征点对进行校准，得到成对的特征点集。
具体的，如图4所示，首先，在原图像X的重合区域图中，分别过底边边界线1/3等分处、2/3等分处作等分分界线，并在分界线上取点a、b；m、n。由上述变换矩阵得到其在原图像Y的重合区域图中的相应点，并过点a’、b’作分界线1，过m’、n’作分界线2；从而得到所述重合区域子图的相似分块子图对图像X(1、2、3)；子对图像Y(一、二、三)。由特征点的置信区间可预估特征点正确的位置，如图4中所示的A与A’、B与B’、C与C’。从而使特征点对定向配准，避免大量不必要的误匹配，再由BBF及RANSAC结合的配准策略对相应特征点集并行配准。
最后利用贝叶斯概率模型结合拉依达(3σ)准则对上述特征点集进一步校准，去除那些RANSAC算法无法去除的孤立点。最终得到精准的特征点集。从几何学上阐述则为，由残差可得到某位置特征点与其投影对应点周围其它匹配的差值，贝叶斯概率准则可知，当其投影偏差与附近的其他匹配有很大差别，则判断这种匹配则有很大可能是误匹配，而不一定需要4个点才能得到正确匹配点。
如图3所示，实际应用中，特征点直接根据上述预知的位置信息进行配准。位于分割线左右的特征点，方法容忍其与匹配范围的点拓展到分割线左右的点进行配准，以免除因分割特征点点集带来的匹配误差。
上述实施例中，由BBF及RANSAC结合的配准策略，结合坐标与变换矩阵对重合区域特征点分块并行进行配准融合，同时结合残差与贝叶斯概率模型筛选特征点，从而大幅度提高了匹配效率和精度。
可选的，作为本发明的一个实施例，所述根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，包括：
将两个待拼接图像的特征点分别点映射至预设的两个空白变形子图上，再由所述特征点集对两个空白变形子图上的映射特征点集进行差值运算，得到位置偏差集合；
根据优化TPS薄板样条函数将两个所述待拼接图像像素点所在位置进行网格变形，得到两个所述待拼接图像的形变网格图；
根据所述位置偏差集合对所述形变网格图进行坐标矫正，从而得到两个待拼接图像的待融合变形图像。
具体的，利用如下优化薄板样条函数(Thin-Plate Spline)函数进行网格变形：
其中φ(s)是一个样条函数：
s是矩阵S的元素，当前点与点集内其它点的距离，Sij＝||Pi-Pj||2。
TPS的插值函数旨在使得弯曲能量函数最小化：
那么TPS插值函数的系数α、ω可以由匹配的特征点集和通过求解如下方程组而得：
Q＝[11×L；X；Y],u,v是已知的向量。引入正则化参数控制TPS插值的平滑程度以容忍噪声误差。并且将特征点点集内的所有特征点间的平均距离R引入正则参数，以达到自适应的调整曲面平滑程度。
令S＝φ(s)+λI,I是单位矩阵。λ＝R。Sij＝||Pi-Pj||2。
(x,y)经过TPS插值之后的位置(x′,y′)由上述f(x,y)计算得到。
由TPS函数即可得到图像X内的任意坐标到图像Y的坐标的映射关系。求得插值之后的位置，再通过双线性插值进行逐个像素值的映射，便完成了图像X及图像Y到变形图的投影映射。
上述实施例中，由相应的径向基函数对图像变形融合，得到了很好的拼接效果，从而有效抑制了重影等问题。
可选的，作为本发明的一个实施例，所述对单位圆内的像素进行平滑过渡处理，包括：
将待融合变形图像中的变形子图块对的像素点位置信息映射到单位圆上，并对单位圆内的像素进行加权平滑过渡处理，从而平滑待融合变形图像中的重合区域图像。
下面通过实例介绍图像在单位圆上的平滑过渡处理的具体过程：
由于图像之间会因曝光度等原因产生色差，从而导致融合图像常带有拼接色差缝隙问题。该方法将重合区域像素点位置信息映射到单位圆上，由三角函数优化两幅待拼接图像的像素占比，以实现像素的平滑过渡，最终得到无缝隙的拼接图像。映射方法如下：
θ＝0.5*π*r/R
如图5所示，r＝||(xi,yi)-(Xil,Yil)||2。为重合区域任意点像素点与所在行的左侧边界点的距离，R＝||(Xir,Yir)-(Xil,Yil)||2。为该像素点所在行的重合区域的宽度。θ为该像素点距左边界的长度与在其所在行宽度的比例，映射在单位圆上的角度。(Xil,Yil)为所述重合区域左边界点，(Xir,Yir)为所述重合区域右边界点，则可计算任意点的像素值：
P(x,y)＝ω1*P1(x,y)+ω2*P2(x,y)
其中ω1＝cos2θ，为所述原图X的重合区域变形图像X像素权重系数；ω2＝sin2θ，为原图Y的重合区域变形图像Y像素权重系数；ω1+ω2＝1，P1(x,y)为原图X的重合区域变形图像X的像素值，P2(x,y)为原图Y的重合区域变形图像Y的像素值，并且权重随像素位置变化的关系如图6所示，并且最终得到了高质量的拼接图像。
应理解的，对于非重合区域的具体变形，由线性减小至零的TPS与相似变换、单应变换相结合的变形策略将非重合区域图像进行变形、映射，从而过渡到全局变换，最终得到自然的重合区域、非重合区域等待拼接图像。
可选的，作为本发明的一个实施例，如图7所示，一种图像拼接装置，包括：
定位模块，用于对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
配准模块，用于在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
融合模块，用于根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
拼接模块，用于获取待融合变形图像中的重合区域边界线对应的变形子图块对，根据变形子图块对生成待融合变形图像中的重合区域图像；根据待融合变形图像中的重合区域图像将两个所述待拼接图像进行拼接,得到合成图像；如图7所示的效果图。
可选的，作为本发明的一个实施例，所述定位模块具体用于：
分别在两个所述待拼接图像中划分多个测试块，并建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理，得到匹配点集；
通过所述匹配点集中的匹配点计算得到透视变换矩阵；
通过所述透视变换矩阵和所述匹配点对应的坐标进行点映射得到所述待拼接图像的边界线；
通过所述边界线定位得到待拼接图像的重合区域。
可选的，作为本发明的一个实施例，所述分别在两个所述子图像中划分多个测试块，包括：
设两个所述待拼接图像为图像X和图像Y，分别在所述图像X和图像Y中划分数目相等的矩形区域的测试块，得到所述图像X的测试块X11、X12、X13、X14和X15，以及所述图像Y的测试块Y21、Y22、Y23、Y24和Y25；
所述建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理包括：
建立四个配准线程，为线程一、线程二、线程三和线程四：
所述线程一为测试块X11分别与测试块Y21至Y25进行滑动式配准处理；
所述线程二为测试块Y21分别与测试块X11至X15进行滑动式配准处理；
所述线程三为测试块X15分别与测试块Y21至Y25进行滑动式配准处理；
所述线程四为测试块Y25分别与测试块X11至X15进行滑动式配准处理。
可选的，作为本发明的一个实施例，所述配准模块具体用于：
对所述两个重合子图像进行分块，得到多对重合区域分块子图；
根据SIFT尺度不变特征变换算法对所述的各个重合区域分块子图进行特征点配准，得到多个子特征点集；
根据所述置信区间预估各个所述子特征点集内特征点对的位置，完成特征点定向配准；
根据RANSAC随机抽样一致算法删除所述特征点集中的误匹配点，得到初配准特征点集；
建立贝叶斯概率模型，根据所述贝叶斯概率模型和拉依达3σ准则再次删除所述初配准特征点集中的误匹配点，从而得到重合区域特征点集。
可选的，作为本发明的一个实施例，所述对所述两个重合子图像进行分块，包括：
将其中一个所述重合子图像进行纵向等分，得到n条等分边界线，其中n取1至3，并分别在各条所述等分边界线上取两个标记点；
根据点映射得到另一个重合子图像对应的映射标记点，根据映射标记点得到n条等分边界线，从而完成两个重合子图像的分块。
可选的，作为本发明的另一个实施例，一种图像拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
可选的，作为本发明的另一个实施例，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述方法的步骤。
本发明对重合区域进行定位，避免多余非重合信息掺杂在重合区域；在重合区域提取特征点，提高了特征提取的效率与匹配的准确率；使用优化的TPS函数对原图像进行图像变形，有效抑制了重影与形变的问题；单位圆自适应平滑像素值，解决了色差缝隙问题，从而得到高质量、高效的拼接图像，如图8所示的拼接效果图。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像拼接方法，其特征在于，包括：
对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
获取待融合变形图像中的重合区域边界线对应的变形子图块对，根据变形子图块对生成待融合变形图像中的重合区域图像；
根据待融合变形图像中的重合区域图像将两个所述待拼接图像进行拼接,得到合成图像。
2.根据权利要求1所述的一种图像拼接方法，其特征在于，所述对两个待拼接图像的重合区域进行定位，包括：
分别在两个所述待拼接图像中划分多个测试块，并建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理，得到匹配点集；
通过所述匹配点集中的匹配点计算得到透视变换矩阵；
通过所述透视变换矩阵和所述匹配点对应的坐标进行点映射得到所述待拼接图像的边界线；
通过所述边界线定位得到待拼接图像的重合区域。
3.根据权利要求2所述的一种图像拼接方法，其特征在于，所述分别在两个所述子图像中划分多个测试块，包括：
设两个所述待拼接图像为图像X和图像Y，分别在所述图像X和图像Y中划分数目相等的矩形区域的测试块，得到所述图像X的测试块X11、X12、X13、X14和X15，以及所述图像Y的测试块Y21、Y22、Y23、Y24和Y25；
所述建立配准线程，通过所述配准线程对所述多个所述测试块进行滑动式配准处理包括：
建立四个配准线程，为线程一、线程二、线程三和线程四：
所述线程一为测试块X11分别与测试块Y21至Y25进行滑动式配准处理；
所述线程二为测试块Y21分别与测试块X11至X15进行滑动式配准处理；
所述线程三为测试块X15分别与测试块Y21至Y25进行滑动式配准处理；
所述线程四为测试块Y25分别与测试块X11至X15进行滑动式配准处理。
4.根据权利要求1所述的一种图像拼接方法，其特征在于，所述重合区域信息还包括重合子图像特征点的置信区间，所述对重合区域分块子图对进行特征点定向配准，包括：
对所述两个重合子图像进行分块，得到多对重合区域分块子图；
根据S I FT尺度不变特征变换算法对所述的各个重合区域分块子图进行特征点配准，得到多个子特征点集；
根据所述置信区间预估各个所述子特征点集内特征点对的位置，完成特征点定向配准；
根据RANSAC随机抽样一致算法删除所述特征点集中的误匹配点，得到初配准特征点集；
建立贝叶斯概率模型，根据所述贝叶斯概率模型和拉依达3σ准则再次删除所述初配准特征点集中的误匹配点，得到重合区域特征点集。
5.根据权利要求4所述的一种图像拼接方法，其特征在于，所述对所述两个重合子图像进行分块，包括：
将其中一个所述重合子图像进行纵向等分，得到n条等分边界线，其中n取1至3，并分别在各条所述等分边界线上取两个标记点；
根据点映射得到另一个重合子图像对应的映射标记点，根据映射标记点得到n条等分边界线，从而完成两个重合子图像的分块。
6.根据权利要求1所述的一种图像拼接方法，其特征在于，所述根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，包括：
将两个待拼接图像的特征点分别点映射至预设的两个空白变形子图上，再由所述特征点集对两个空白变形子图上的映射特征点集进行差值运算，得到位置偏差集合；
根据优化TPS薄板样条函数将两个所述待拼接图像像素点所在位置进行网格变形，得到两个所述待拼接图像的形变网格图；
根据所述位置偏差集合对所述形变网格图进行坐标矫正，从而得到两个待拼接图像的待融合变形图像。
7.根据权利要求1至6任一项所述的一种图像拼接方法，其特征在于，所述对单位圆内的像素进行平滑过渡处理，包括：
将待融合变形图像中的变形子图块对的像素点位置信息映射到单位圆上，并对单位圆内的像素进行加权平滑过渡处理，平滑待融合变形图像中的重合区域图像。
8.一种图像拼接装置，其特征在于，包括：
定位模块，用于对两个待拼接图像的重合区域进行定位，得到重合区域信息，所述重合区域信息包括重合区域边界线，所述重合区域边界线内包括两个待拼接图像对应的重合子图像；
配准模块，用于在所述重合区域边界线内对应的两个重合子图像中分别进行分块，得到重合区域分块子图对，并对所述重合区域分块子图对进行特征点定向配准，得到重合区域特征点集；
融合模块，用于根据优化TPS薄板样条函数对所述特征点集计算，得到两个待拼接图像的待融合变形图像，其中所述优化TPS薄板样条函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数得到的；
拼接模块，用于获取待融合变形图像中的重合区域边界线对应的变形子图块对，根据变形子图块对生成待融合变形图像中的重合区域图像；
根据待融合变形图像中的重合区域图像将两个所述待拼接图像进行拼接,得到合成图像。
9.一种图像拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811258725.5A CN109544447B (zh) | 2018-10-26 | 2018-10-26 | 一种图像拼接方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811258725.5A CN109544447B (zh) | 2018-10-26 | 2018-10-26 | 一种图像拼接方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109544447A true CN109544447A (zh) | 2019-03-29 |
| CN109544447B CN109544447B (zh) | 2022-10-21 |
Family
ID=65845265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811258725.5A Active CN109544447B (zh) | 2018-10-26 | 2018-10-26 | 一种图像拼接方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544447B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070490A (zh) * | 2019-05-05 | 2019-07-30 | 京东方科技集团股份有限公司 | 图像拼接方法和装置 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN111045090A (zh) * | 2019-12-31 | 2020-04-21 | 核工业北京地质研究院 | 一种磁异常网格快速缝合方法 |
| CN112215749A (zh) * | 2020-04-30 | 2021-01-12 | 北京的卢深视科技有限公司 | 基于柱面投影的图像拼接方法、系统、设备及存储介质 |
| CN112991178A (zh) * | 2021-03-24 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
| CN113034362A (zh) * | 2021-03-08 | 2021-06-25 | 桂林电子科技大学 | 一种高速公路隧道监控全景影像拼接方法 |
| CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
| CN113645443A (zh) * | 2021-07-16 | 2021-11-12 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN114092592A (zh) * | 2022-01-20 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 马赛克图像的生成方法及相关装置 |
| CN114666553A (zh) * | 2022-05-18 | 2022-06-24 | 深圳酷源数联科技有限公司 | 煤矿井下大视角安保监控系统 |
| CN115343013A (zh) * | 2022-10-18 | 2022-11-15 | 湖南第一师范学院 | 空腔模型的压力测量方法及相关设备 |
| CN117372252A (zh) * | 2023-12-06 | 2024-01-09 | 国仪量子技术(合肥)股份有限公司 | 图像拼接方法、装置及存储介质、电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855613A (zh) * | 2011-07-01 | 2013-01-02 | 株式会社东芝 | 图像处理设备和方法 |
| CN102982543A (zh) * | 2012-11-20 | 2013-03-20 | 北京航空航天大学深圳研究院 | 一种多源遥感图像配准方法 |
| CN103295209A (zh) * | 2012-02-24 | 2013-09-11 | 深圳市蓝韵实业有限公司 | Dr图像的拼接方法及系统 |
| EP2826019A1 (en) * | 2012-03-15 | 2015-01-21 | Koninklijke Philips N.V. | Multi-modality deformable registration |
| CN105243636A (zh) * | 2015-11-27 | 2016-01-13 | 武汉工程大学 | 一种基于mrls-tps的图像变形方法及系统 |
| CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
| CN107274336A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种针对车载环境的全景图像拼接方法 |
| CN107330856A (zh) * | 2017-06-17 | 2017-11-07 | 南京理工大学 | 一种基于投影变换和薄板样条的全景成像方法 |
| CN107945113A (zh) * | 2017-11-17 | 2018-04-20 | 北京天睿空间科技股份有限公司 | 局部图像拼接错位的矫正方法 |
| CN107958443A (zh) * | 2017-12-28 | 2018-04-24 | 西安电子科技大学 | 一种基于脊线特征和tps形变模型的指纹图像拼接方法 |
-
2018
- 2018-10-26 CN CN201811258725.5A patent/CN109544447B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855613A (zh) * | 2011-07-01 | 2013-01-02 | 株式会社东芝 | 图像处理设备和方法 |
| CN103295209A (zh) * | 2012-02-24 | 2013-09-11 | 深圳市蓝韵实业有限公司 | Dr图像的拼接方法及系统 |
| EP2826019A1 (en) * | 2012-03-15 | 2015-01-21 | Koninklijke Philips N.V. | Multi-modality deformable registration |
| CN102982543A (zh) * | 2012-11-20 | 2013-03-20 | 北京航空航天大学深圳研究院 | 一种多源遥感图像配准方法 |
| CN105243636A (zh) * | 2015-11-27 | 2016-01-13 | 武汉工程大学 | 一种基于mrls-tps的图像变形方法及系统 |
| CN106504194A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
| CN107274336A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种针对车载环境的全景图像拼接方法 |
| CN107330856A (zh) * | 2017-06-17 | 2017-11-07 | 南京理工大学 | 一种基于投影变换和薄板样条的全景成像方法 |
| CN107945113A (zh) * | 2017-11-17 | 2018-04-20 | 北京天睿空间科技股份有限公司 | 局部图像拼接错位的矫正方法 |
| CN107958443A (zh) * | 2017-12-28 | 2018-04-24 | 西安电子科技大学 | 一种基于脊线特征和tps形变模型的指纹图像拼接方法 |
Non-Patent Citations (5)
| Title |
|---|
| 曹新华: "基于特征点驱动的CT图像配准与拼接方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 罗玲: "无人机图像自动拼接技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 罗玲等: "一种改进的遗传算法与最大互信息图像配准方法", 《广西物理》 * |
| 胡胜男等: "高动态范围成像技术中的鬼影检测与去除方法综述", 《计算机科学》 * |
| 鲍文霞等: "基于最小生成树和TPS变换模型的图像拼接", 《仪器仪表学报》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070490B (zh) * | 2019-05-05 | 2023-10-03 | 京东方科技集团股份有限公司 | 图像拼接方法和装置 |
| CN110070490A (zh) * | 2019-05-05 | 2019-07-30 | 京东方科技集团股份有限公司 | 图像拼接方法和装置 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110197455B (zh) * | 2019-06-03 | 2023-06-16 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN111045090B (zh) * | 2019-12-31 | 2022-05-20 | 核工业北京地质研究院 | 一种磁异常网格快速缝合方法 |
| CN111045090A (zh) * | 2019-12-31 | 2020-04-21 | 核工业北京地质研究院 | 一种磁异常网格快速缝合方法 |
| CN112215749A (zh) * | 2020-04-30 | 2021-01-12 | 北京的卢深视科技有限公司 | 基于柱面投影的图像拼接方法、系统、设备及存储介质 |
| CN113034362A (zh) * | 2021-03-08 | 2021-06-25 | 桂林电子科技大学 | 一种高速公路隧道监控全景影像拼接方法 |
| CN112991178A (zh) * | 2021-03-24 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
| CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
| CN113159169B (zh) * | 2021-04-20 | 2022-07-05 | 福州大学 | 基于先验目标特征点的匹配变形与切缝优化图像拼接方法 |
| CN113645443B (zh) * | 2021-07-16 | 2022-05-13 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN113645443A (zh) * | 2021-07-16 | 2021-11-12 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN114092592B (zh) * | 2022-01-20 | 2022-04-01 | 腾讯科技（深圳）有限公司 | 马赛克图像的生成方法及相关装置 |
| CN114092592A (zh) * | 2022-01-20 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 马赛克图像的生成方法及相关装置 |
| CN114666553A (zh) * | 2022-05-18 | 2022-06-24 | 深圳酷源数联科技有限公司 | 煤矿井下大视角安保监控系统 |
| CN114666553B (zh) * | 2022-05-18 | 2022-09-23 | 深圳酷源数联科技有限公司 | 煤矿井下大视角安保监控系统 |
| CN115343013A (zh) * | 2022-10-18 | 2022-11-15 | 湖南第一师范学院 | 空腔模型的压力测量方法及相关设备 |
| CN115343013B (zh) * | 2022-10-18 | 2023-01-20 | 湖南第一师范学院 | 空腔模型的压力测量方法及相关设备 |
| CN117372252A (zh) * | 2023-12-06 | 2024-01-09 | 国仪量子技术(合肥)股份有限公司 | 图像拼接方法、装置及存储介质、电子设备 |
| CN117372252B (zh) * | 2023-12-06 | 2024-02-23 | 国仪量子技术(合肥)股份有限公司 | 图像拼接方法、装置及存储介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109544447B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544447A (zh) | 一种图像拼接方法、装置及存储介质 | |
| CN110443885B (zh) | 基于随机人脸图像的三维人头脸模型重建方法 | |
| CN109064409B (zh) | 一种移动机器人的视觉图像拼接系统及方法 | |
| TWI742690B (zh) | 人體檢測方法、裝置、電腦設備及儲存媒體 | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CN111815757A (zh) | 基于图像序列的大型构件三维重建方法 | |
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| Varol et al. | Template-free monocular reconstruction of deformable surfaces | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| CN104376596B (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
| CN109754459B (zh) | 一种用于构建人体三维模型的方法及系统 | |
| CN110111250B (zh) | 一种鲁棒的自动全景无人机图像拼接方法及装置 | |
| CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN110223222B (zh) | 图像拼接方法、图像拼接装置和计算机可读存储介质 | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| CN107220997A (zh) | 一种立体匹配方法及系统 | |
| CN103559737A (zh) | 一种对象全景建模方法 | |
| CN107507217A (zh) | 证件照的制作方法、装置及存储介质 | |
| CN109115184B (zh) | 基于非合作目标协同测量方法及系统 | |
| US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
| JP2021505979A (ja) | 自己位置推定と環境マップ作成を同時に行う方法及び装置 | |
| CN103854283A (zh) | 一种基于在线学习的移动增强现实跟踪注册方法 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN103854301A (zh) | 基于复杂背景下可见外壳的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240401 Address after: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen, Guangdong Province, 518000 Patentee after: Shenzhen lizhuan Technology Transfer Center Co.,Ltd. Country or region after: China Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region Patentee before: Guangxi Normal University Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240403 Address after: No. 777 Anshi Road, Dongqianhu Town, Yinzhou District, Ningbo City, Zhejiang Province, 315000 (Room 229) Patentee after: Jingyi Culture Technology Group Co.,Ltd. Country or region after: China Address before: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen, Guangdong Province, 518000 Patentee before: Shenzhen lizhuan Technology Transfer Center Co.,Ltd. Country or region before: China |