CN106204456B - 全景视频序列运动估计越界折叠搜索方法 - Google Patents

全景视频序列运动估计越界折叠搜索方法 Download PDF

Info

Publication number
CN106204456B
CN106204456B CN201610560958.5A CN201610560958A CN106204456B CN 106204456 B CN106204456 B CN 106204456B CN 201610560958 A CN201610560958 A CN 201610560958A CN 106204456 B CN106204456 B CN 106204456B
Authority
CN
China
Prior art keywords
rec
image
pixel
frame
border
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610560958.5A
Other languages
English (en)
Other versions
CN106204456A (zh
Inventor
周益民
彭凤婷
郭江
唐钦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610560958.5A priority Critical patent/CN106204456B/zh
Publication of CN106204456A publication Critical patent/CN106204456A/zh
Application granted granted Critical
Publication of CN106204456B publication Critical patent/CN106204456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种全景视频序列运动估计越界折叠搜索方法，利用图像的拼接融合技术，对运动补偿过程中搜索匹配块范围越界部分的像素进行填补，从而实现可越过当前帧限定范围若干行或列搜索最小失真匹配块。相较于现有技术通过限定运动补偿过程中块匹配搜索范围不得超过当前帧大小范围的做法，本发明通过对当前帧做左右边界的拼接融合操作可以实现块匹配搜索算法的可越界搜索，能够找到失真率更小的匹配块，提高了帧间预测编码中搜索每个块在邻近重构帧中位置的准确度。

Description

全景视频序列运动估计越界折叠搜索方法
技术领域
本发明涉及一种在全景视频序列编码过程中越界折叠搜索最优匹配块的运动补偿方法。
背景技术
全景视频将静态的全景图片转化为动态的视频图像，可以在拍摄角度左右上下360度的任意观看动态视频。在全景视频序列的编码中，运动图像邻近帧的纹理内容存在时域相关性。现有技术中，通常基于帧间预测编码，以去除时域的冗余。具体的，在帧间预测编码中，将图像分成若干块Block或宏块MB，然后在邻近重构图像中搜索出率失真最小的块或宏块并记录其位置，计算得出两者之间空间位置的相对偏移量(运动矢量)，以此来做运动补偿。但是，由于全景视频图像左右边界的图像内容具有运动相关性，传统的编码器仅基于重构图像画面内范围搜索出每个块的最小失真率匹配块位置，因此在全景视频图像中，当宏块位于左右边界或邻近边界时存在最小均方误差MSE偏大，运动矢量不够精确的问题。
发明内容
本发明所要解决的技术问题是，提供一种基于全景视频序列中帧的边界运动相关性的全景视频序列搜索方法。
本发明为解决上述技术问题所采用的技术方案是，全景视频序列运动估计越界折叠搜索方法，包括以下步骤：
步骤1、选取原始帧与重构帧；
步骤2、对重构帧搜索范围进行越界像素填补预处理：
2-1提取重构帧的左边界部分与右边界部分；
2-2对左图像的左边缘与右图像的右边缘进行越界像素填补：
当左边界部分与右边界部分无重合像素且也无缝隙，则直接将左图像的左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；
当左边界部分与右边界部分有重合像素，则通过图像融合去除重复列像素后将左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；
当左边界部分与右边界部分有缝隙，则通过线性插值对缝隙进行填补后将左边界部分拼接在进行了缝隙填补后的重构图像右边缘，将右边界部分拼接在进行了缝隙填补后的重构图像的左边缘；
2-3拼接的图像作为越界像素填补预处理的重构帧；
步骤3、对原始帧进行分块处理；
步骤4、在原始帧中选择一个未匹配块作为待匹配块，在越界像素填补预处理后的重构帧中搜索目标匹配块选择最优匹配块；
步骤5、判断原始帧中是否还有未匹配块，如是，返回步骤4，如否，搜索结束。
本发明基于全景视频图像左右边界内容的相关性原理，利用图像的拼接融合技术，对运动补偿过程中搜索匹配块范围越界部分的像素进行填补，从而实现可越过当前帧限定范围若干行或列搜索最小失真匹配块。本领域技术人员可以理解的是，当运动位于全景图像的左右边界处时，由于全景图像的左右边界运动的连续性，搜索对应块的匹配块的搜索范围若能够越过左(或右)边界到其右(或左)边界若干行或列像素值，则可搜索到失真更小的匹配块。相较于现有技术通过限定运动补偿过程中块匹配搜索范围不得超过当前帧大小范围的做法，本发明通过对当前帧做左右边界的拼接融合操作可以实现块匹配搜索算法的可越界搜索，能够找到失真率更小的匹配块，提高了帧间预测编码中搜索每个块在邻近重构帧中位置的准确度。
本发明的有益效果是，能够有效降低搜索块匹配误差，提高编码质量和效率。
附图说明
图1为运动补偿示意图；
图2为块匹配搜索范围越界示意图；
图3为图像两侧边界像素互相填补示意图；
图4为图像分割示意图；
图5为图像左右边界严密缝合示意图；
图6为图像左右边界存在重叠区域示意图；
图7为图像左右边界存在拼接缝隙示意图；
图8为拼接融合后图像越界搜索匹配块示意图；
图9为可越界折叠搜索算法流程图；
图10为重构帧搜索范围越界像素填补预处理流程图。
具体实施方式
视频图像的分辨率在编码开始前即被给定，以像素点宽W和高的乘积形式表示。
取原始帧Ft org与重构帧Ft-1 rec，其中1<t<L，L为帧序列总长度，t为当前时间，重构帧Ft-1 rec为原始帧Ft org的前一帧。
将原始帧Ft org划分为n×n的正方形子块，其中n的值可取4、8、16、32、64等。可得原始帧Ft org含有的子块数N＝WB×HB，其中 为上取整运算。
在原始帧Ft org中任取一个块Bi,j，i∈(1,...,WB),j∈(1,...,HB)，通常以该块的左上角坐标(x(i-1)×WB org,y(j-1)×HB org)为参考坐标点，在重构帧Ft-1 rec中找到该点对应的位置(x(i-1)×WB rec,y(j-1)×HB rec)，并以该点为中心位置，取其上下左右searchRange个像素作为搜索范围，在该搜索范围内对块Bi,j做运动补偿，寻找该块的最小失真匹配块，并记录运动矢量MVi,j＝(Δx,Δy)
其中，表示原始帧子块，表示重构帧子块，运算|| ||为取均方误差，searchRange为搜索范围由编码器给定值，通常可取64、128等。如图1所示，在t时刻图像中的任意块将在t-1时刻图像中以最小失真率为目的进行搜索，来获得最优匹配块。最小失真率可以用平均绝对偏差MAD亦可以用平均平方误差MSE表示。这时，将计算并得出上述两个块的矢量距离，如图1中所示MVi,j＝(Δx,Δy)。
由于本发明基于全景视频序列，考虑全景图像左右边界运动相关性，在横轴x方向具有三种情况需要讨论，纵轴y方向和现有技术处理方法保持一致。
在原始帧Ft org中任取一个块Bi,j做上述运动补偿时，其搜索范围在横坐标x方向三种情况具体如下：
情况一：x(i-1)×WB org+searchRange<W且x(i-1)×WB org-searchRange>0
情况二：x(i-1)×WB org+searchRange>W
情况三：x(i-1)×WB org-searchRange<0
现有技术的运动补偿搜索具有最小失真率的匹配块算法通常是以情况一作为前提假设条件，对于其他两种搜索范围越界的情况则不予以考虑。但是，由于在全景视频序列中，每一帧图像均为一幅全景图像，该全景图像的左右边界图像内容具有相关性，当搜索范围越出图像边界。如图2，当图像左右边界具有运动相关性的时候，t时刻原始图像201中取靠近右边界的待匹配块202，在t-1时刻重构图像203进行匹配块搜索，在搜索范围204内搜索到块202的最小失真匹配块205越过了当前重构帧的帧边界。
情况二或情况三作为前提假设条件的运动补偿搜索匹配块的问题真是本发明所关注的。若能够对越出部分采用对称方向边界的若干行或列像素进行填补，则块匹配位置的准确度会得到明显的提高。
由于在全景视频序列中，每一帧图像均为一幅全景图像，该全景图像的左右边界图像内容具有相关性，所以当x(i-1)×WB org+searchRange>W或x(i-1)×WB org-searchRange<0时，以x(i-1)×WB org+searchRange>W为例，设Q为越界像素宽度，则有
Q＝x(i-1)×WB org+searchRange-W (2)
根据上式计算结果，在当前帧左侧(或右侧)取Q列像素对当前搜索范围越界部分进行填补，形成一个完整的搜索范围，然后在该搜索范围内做运动补偿。
因此，为实现全景视频帧运动补偿过程中可越界搜索最小失真率匹配块的目的，本发明还提出了基于全景视频图像左右边界图像内容相关性的图像拼接融合预处理方法，用来实现可越界搜索的运动补偿算法，具体包括：
如图3，设当前帧301为Irec(i,j)，取当前帧Irec(i,j)均分成左边界部分图像302为Il rec(i,j)，右边界部分图像303为Ir rec(i,j)，然后将图像Irec(i,j)、Il rec(i,j)和Ir rec(i,j)拼接融合成一幅新的图像304，即，将左边界若干列像素Il rec(i,j)拼接到帧Irec(i,j)的右边界，将右边界若干列像素Ir rec(i,j)拼接到帧Irec(i,j)的左边界；Il rec(i,j)位于Irec(i,j)的右侧，Ir rec(i,j)位于Irec(i,j)的左侧。然后在新的融合后的图像304中做最优匹配块的搜索，从而实现了搜索范围越界部分的像素填补。
其中，如4图所示，对重构图像的分割过程为：重构帧Irec(i,j)401沿4中心对称虚线02进行分割，分为均等的左右两部分图像403、405，再在左图像405的左边界提取若干列像素Il rec(i,j)形成左边界部分406，在右图像403的右边界提取若干列像素Il rec(i,j)形成右边界部分404。左边界部分、右边界部分的高度为重构图像高度，宽度取值范围为8-64。
设拼接融合时图像Irec(i,j)和图像Il rec(i,j)(或Ir rec(i,j))二者水平距离为d，d的取值有三种情况：
情况一：d＝0，即其左右边界图像501、502无重合像素，也无缝隙，刚好能够严密缝合，如图5所示；
情况二：d<0，即左右边界图像601、602具有d列重合像素503，如图6所示；
情况三：d>0，即左右边界图像701、702存在宽为d列像素的缝隙，如图7所示；
针对上述情况一，由于左右图像能够严密缝合，所以对图像I(i,j)和图像Il rec(i,j)(或Ir rec(i,j))不做处理，直接复制各图像像素注册成一幅新的图像。
针对上述情况二，由于左右边界图像内容存在宽度为d的像素重合，需要做图像融合操作去除重复列像素。
为不失一般性，本发明采用加权平均的方法进行图像融合，将当前图像的左右边界部分对应的像素点乘以一个加权系数后再相加得到融合后的图像。具体的，以图像Irec(i,j)和图像Il rec(i,j)的拼接融合为例，设加权系数为α，对Irec(i,j)和Il rec(i,j)重叠区域I(i,j)503按如下公式(3)进行融合。
I(i,j)＝αIrec(i,j)+(1-α)Il rec(i,j) (3)
其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像。去除重复列像素之后，复制各图像像素注册成一幅新的图像。
针对情况三，由于左右边界内容具有宽度为d的缝隙，无法进行无缝拼接操作，需要使用线性插值算法填补缝隙。
为不失一般性，本发明采用线性插值算法对当前缝隙进行填补。具体的，以图像Irec(i,j)和图像Il rec(i,j)之间的缝隙做线性插值为例，在Irec(i,j)的右边界上任意取一点(x1,y1)，设该点的像素值为P1，然后在Il rec(i,j)的左边界水平对应位置处取一点(x1,y2)，设该点的像素值为P2，对于y坐标位于区间[y1,y2]内的点，其像素值P通过公式求得
对图像Irec(i,j)和Il rec(i,j)之间的缝隙做线性插值后，由Irec(i,j)、Il rec(i,j)和二者之间宽度为d的缝隙注册成一幅新的图像。
如图8所示，801为t时刻原始帧，802为在原始图像中选取的待匹配块。803为t-1时进行了左右边界像素填补的重构帧，804为对当前重构帧左边界填补的像素列，805为对当前重构帧右边界填补的像素列，806为在经过左右边界像素填补的重构帧中搜索到的具有最小失真率的匹配块。通过对重构帧左右边界做图像的拼接融合操作来实现可越界的折叠搜索匹配块算法，能够找到匹配程度更高的匹配块，提高了帧间预测编码中搜索每个块在邻近重构图像中位置的准确度。
实施例
图9给出了可越界折叠搜索算法流程图，具体步骤如下：
步骤901：选取原始帧和重构帧。在原始帧序列中取出Ft org，在重构帧序列中取出Ft-1 rec，Ft-1 rec为Ft org的前一帧，其中1<t<L。
步骤902：重构帧搜索范围越界像素填补预处理流程图。对重构帧Ft-1 rec的左右边界做拼接融合预处理，为越界搜索的越界部分做像素填补。具体填补方式由图10给出。
步骤903：对原始帧做分块处理。将Ft org划分为n×n的正方形子块，其中，n的值可取4、8、16、32、64等，本实施例中取n＝16，可得Ft org含有的子块数N＝WB×HB。
步骤904：在原始帧中选择待匹配块。在Ft org中任取一个块Bi,j，i∈(1,...,WB)，j∈(1,...,HB)，以该块作为待匹配块。
步骤905：在重构帧中搜索目标匹配块。由步骤904可得Ft org中的待配匹块Bi,j，以该块的左上角坐标(x(i-1)×WB org,y(j-1)×HB org)为参考坐标点，在Ft-1 rec中找到该点对应的位置(x(i-1)×WB rec,y(j-1)×HB rec)，并以该点为中心位置，取其上下左右serachRange个像素作为搜索范围，本实施例中searchRange＝16，在该搜索范围内寻找Bi,j的最小失真匹配块，并记录运动矢量MVi,j＝(Δx,Δy)，由如下公式
计算得出子块Bi,j运动的距离之后，对子块Bi,j做运动估值，动估值采用最小MSE作为代价，Di,j记为子块Bi,j的运动估值代价。
步骤906：选择最优匹配块。比较步骤905计算得出的Di,j值，选出Di,j最小的块即为失真率最小的匹配块。
步骤907：判断是否还有未匹配块。若存在未匹配块，跳转到步骤904。若不存在未匹配块，则流程结束，至此完成全景视频序列运动估值越界折叠搜索算法全过程。
图10为重构帧搜索范围越界像素填补预处理流程图，具体步骤如下：
步骤1001：复制重构帧并将复制后的图像沿中间均分成左右两部分。如图4所示将当前帧Irec(i,j)均分成左右两部分图像,设左侧图像为Il rec(i,j)，左侧图像为Ir rec(i,j)。
步骤1002：判断左右边界距离d。通过SIFT特征值提取算法对左右图像做图像配准，找到左右图像的相对位置，并判断二者之间距离d的大小。当d>0时，跳转到步骤1003，当d＝0时，跳转到步骤1004，当d<0时，跳转到步骤1005。
步骤1003：对左右边界做线性差值填补缝隙。由步骤1002可知，由于左右边界内容具有宽度为d的缝隙，无法进行无缝拼接操作，需要对该缝隙做线性插值来填补当前缝隙。具体的，以图像Irec(i,j)和图像Il rec(i,j)之间的缝隙做线性插值为例，在Irec(i,j)的右边界上任意取一点(x1,y1)，设该点的像素值为P1，然后在Il rec(i,j)的左边界水平对应位置处取一点(x1,y2)，设该点的像素值为P2，对于y坐标位于区间[y1,y2]内的点，其像素值P通过公式求得
对图像Irec(i,j)和Il rec(i,j)(或Ir rec(i,j))间的缝隙做线性插值后，将图像Irec(i,j)、Il rec(i,j)(或Ir rec(i,j))拼接融合成一幅新的图像，在新的图像中，位于Irec(i,j)的右侧(或Ir rec(i,j)位于Irec(i,j)的左侧)。
步骤1004：融合左右边界形成新的图像。由于左右图像能够严密缝合，所以对图像I(i,j)和图像Il rec(i,j)(或Ir rec(i,j))不做处理，直接将图像Irec(i,j)、Il rec(i,j)(或Ir rec(i,j))注册成一幅新的图像，在新的图像中，Il rec(i,j)位于Irec(i,j)的右侧(或Ir rec(i,j)位于Irec(i,j)的左侧)。
步骤1005：去除左右边界重复像素列并融合成一幅新的图像。由于左右边界图像内容存在宽度为d的像素重合，需要对当前帧做融合操作去除重复像素。本发明采用加权平均的方法进行图像融合，即将当前图像的左右边界部分对应的像素点乘以一个加权系数后再相加得到融合后的图像。具体的，以图像Irec(i,j)和图像Il rec(i,j)的拼接融合为例，设加权系数为α，对Irec(i,j)和Il rec(i,j)重叠区域按如下公式(3)进行融合。
I(i,j)＝αIrec(i,j)+(1-α)Il rec(i,j)
其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像。去除重复列像素之后，将图像Irec(i,j)、Il rec(i,j)(或Ir rec(i,j))拼接融合成一幅新的图像，在新的图像中，Il rec(i,j)位于Irec(i,j)的右侧(或Ir rec(i,j)位于Irec(i,j)的左侧)。
按照HEVC制定通用测试序列及条件，本发明用x265编码器进行编码测试，取每个序列的前300帧做通测，块大小定为16x16，取每帧最左侧4列块和最右侧4列块计算性能提升比。性能提升验证公式如下所示
其中k为总帧数，blocksize为块大小，H为当前帧的高度，MSE(x,y)为采用现有技术计算得出的块最小均方误差，MSE(x,y)*为采用本发明计算得出的块最小均方误差。
根据上述公式计算的结果如下表所示，表中的左1、左2、左3、左4，右1、右2、右3、右4分别表示一帧中左侧第一列块、左侧第二列块、左侧第三列块、左侧第四列块和右侧第一列块、右侧第二列块、右侧第三列块、右侧第四列块。由于MSE残差的降低比率可以用来表示失真的降低比率，所以由下表的数据可知，越靠近边界的块，通过越界搜索最小匹配块算法，失真率降低越大，块匹配程度越高。使用本发明方法能够找到匹配程度更高的匹配块，明显提高了帧间预测编码中搜索每个块在邻近重构图像中的位置的准确度。
序列名称 左1 左2 左3 左4 右4 右3 右2 右1
CrossTree 22.59％ 14.50％ 5.56％ 1.83％ 0.56％ 1.41％ 2.75％ 7.28％
GreatBarrierReef 0.73％ 0.43％ 0.22％ 0.11％ 0.09％ 0.23％ 0.35％ 0.83％
GZCarshow 1.60％ 0.63％ 0.37％ 0.15％ 0.19％ 0.33％ 0.72％ 2.17％
helicopter 10.59％ 2.81％ 1.84％ 0.84％ 0.36％ 1.05％ 1.85％ 8.12％
Himalayas 8.07％ 2.22％ 1.40％ 0.69％ 1.45％ 3.04％ 5.68％ 17.04％
RaceCar 8.26％ 2.09％ 1.09％ 0.58％ 0.36％ 0.86％ 1.70％ 7.93％
Tulips 16.47％ 0.54％ 0.15％ 0.05％ 0.02％ 0.08％ 0.25％ 6.34％
Vienna1 10.21％ 1.45％ 0.69％ 0.26％ 0.34％ 0.68％ 1.73％ 6.11％
Vienna2 14.67％ 0.59％ 0.24％ 0.12％ 0.14％ 0.28％ 0.72％ 6.24％
AverageMSERate 10.36％ 2.81％ 1.28％ 0.51％ 0.39％ 0.88％ 1.75％ 6.89％

Claims (2)

1.全景视频序列运动估计越界折叠搜索方法，其特征在于，包括以下步骤：
步骤1、选取原始帧与重构帧；
步骤2、对重构帧搜索范围进行越界像素填补预处理：
2-1提取重构帧的左边界部分与右边界部分；
2-2对左图像的左边缘与右图像的右边缘进行越界像素填补：
当左边界部分与右边界部分无重合像素且也无缝隙，则直接将左图像的左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；
当左边界部分与右边界部分有重合像素，则通过图像融合去除重复列像素后将左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；
当左边界部分与右边界部分有缝隙，则通过线性插值对缝隙进行填补后将左边界部分拼接在进行了缝隙填补后的重构图像右边缘，将右边界部分拼接在进行了缝隙填补后的重构图像的左边缘；
2-3拼接的图像作为越界像素填补预处理的重构帧；
步骤3、对原始帧进行分块处理；.
步骤4、在原始帧中选择一个未匹配块作为待匹配块，在越界像素填补预处理后的重构帧中搜索目标匹配块选择最优匹配块；
步骤5、判断原始帧中是否还有未匹配块，如是，返回步骤4，如否，搜索结束；
其中，重构帧搜索范围越界像素填补预处理具体步骤如下：
步骤2001：复制重构帧并将复制后的图像沿中间均分成左右两部分，将当前帧Irec(i,j)均分成左右两部分图像,设左侧图像为Il rec(i,j)，左侧图像为Ir rec(i,j)；
步骤2002：判断左右边界距离d，通过SIFT特征值提取算法对左右图像做图像配准，找到左右图像的相对位置，并判断二者之间距离d的大小；当d>0时，跳转到步骤2003，当d＝0时，跳转到步骤2004，当d<0时，跳转到步骤2005；
步骤2003：对左右边界做线性差值填补缝隙，以图像Irec(i,j)和图像Il rec(i,j)之间的缝隙做线性插值为例，在Irec(i,j)的右边界上任意取一点(x1,y1)，设该点的像素值为P1，然后在Il rec(i,j)的左边界水平对应位置处取一点(x1,y2)，设该点的像素值为P2，对于y坐标位于区间[y1,y2]内的点，其像素值P通过公式求得：
对图像Irec(i,j)和Il rec(i,j)或Ir rec(i,j)间的缝隙做线性插值后，将图像Irec(i,j)、Il rec(i,j)或Ir rec(i,j)拼接融合成一幅新的图像，在新的图像中，位于Irec(i,j)的右侧或Ir rec(i,j)位于Irec(i,j)的左侧；
步骤2004：融合左右边界形成新的图像，由于左右图像能够严密缝合，所以对图像I(i,j)和图像Il rec(i,j)或Ir rec(i,j)不做处理，直接将图像Irec(i,j)、Il rec(i,j)或Ir rec(i,j)注册成一幅新的图像，在新的图像中，Il rec(i,j)位于Irec(i,j)的右侧或Ir rec(i,j)位于Irec(i,j)的左侧；
步骤2005：去除左右边界重复像素列并融合成一幅新的图像，设加权系数为α，对Irec(i,j)和Il rec(i,j)重叠区域按如下方式进行融合：
I(i,j)＝αIrec(i,j)+(1-α)Il rec(i,j)
其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像；去除重复列像素之后，将图像Irec(i,j)、Il rec(i,j)或Ir rec(i,j)拼接融合成一幅新的图像，在新的图像中，Il rec(i,j)位于Irec(i,j)的右侧或Ir rec(i,j)位于Irec(i,j)的左侧。
2.如权利要求1所述全景视频序列运动估计越界折叠搜索方法，其特征在于，左边界部分、右边界部分的宽为8-64像素。
CN201610560958.5A 2016-07-18 2016-07-18 全景视频序列运动估计越界折叠搜索方法 Active CN106204456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610560958.5A CN106204456B (zh) 2016-07-18 2016-07-18 全景视频序列运动估计越界折叠搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610560958.5A CN106204456B (zh) 2016-07-18 2016-07-18 全景视频序列运动估计越界折叠搜索方法

Publications (2)

Publication Number Publication Date
CN106204456A CN106204456A (zh) 2016-12-07
CN106204456B true CN106204456B (zh) 2019-07-19

Family

ID=57475502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610560958.5A Active CN106204456B (zh) 2016-07-18 2016-07-18 全景视频序列运动估计越界折叠搜索方法

Country Status (1)

Country Link
CN (1) CN106204456B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
CN108307105B (zh) * 2017-12-27 2020-07-07 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN112055256B (zh) * 2020-09-16 2023-03-24 聚好看科技股份有限公司 一种全景图像的图像处理方法及显示设备
CN113674833B (zh) * 2021-08-23 2024-02-06 成都拟合未来科技有限公司 健身视频生成方法、系统、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN102256111A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 多通道全景视频实时监控系统及方法
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882308A (zh) * 2010-07-02 2010-11-10 上海交通大学 提高图像拼接精度和稳定性的方法
US8773513B2 (en) * 2011-07-01 2014-07-08 Seiko Epson Corporation Context and epsilon stereo constrained correspondence matching
US9969337B2 (en) * 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
CN105488777A (zh) * 2015-04-22 2016-04-13 兰雨晴 一种基于移动前景下全景图实时生成系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN102256111A (zh) * 2011-07-17 2011-11-23 西安电子科技大学 多通道全景视频实时监控系统及方法
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法

Also Published As

Publication number Publication date
CN106204456A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106204456B (zh) 全景视频序列运动估计越界折叠搜索方法
Jeong et al. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization
US8837591B2 (en) Image block classification
CN115022624A (zh) 图像数据编码/解码方法和计算机可读记录介质
CN111598892A (zh) 一种基于Res2-UNeXt网络结构的细胞图像分割方法
CN102163334B (zh) 一种基于Fisher线性判别的动背景下视频对象的提取方法
JP2005100407A (ja) 複数のソース画像からパノラマ画像を作成するシステム及び方法
CN106210449A (zh) 一种多信息融合的帧率上变换运动估计方法及系统
US20040091171A1 (en) Mosaic construction from a video sequence
JP5844745B2 (ja) パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置
CN102263957B (zh) 一种基于搜索窗口自适应的视差估计方法
CN103051857A (zh) 基于运动补偿的1/4像素精度视频图像去隔行方法
CN101036390B (zh) 一种利用可变形网格进行运动估计的方法
Huang et al. Task decoupled framework for reference-based super-resolution
Lei et al. Deep multi-domain prediction for 3D video coding
Shimano et al. Video temporal super-resolution based on self-similarity
Li et al. Self-supervised pansharpening based on a cycle-consistent generative adversarial network
Chung et al. Effective content-aware chroma reconstruction method for screen content images
CN106709873B (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
Zhang et al. As-Deformable-As-Possible Single-image-based View Synthesis without Depth Prior
Yeh et al. VDNet: video deinterlacing network based on coarse adaptive module and deformable recurrent residual network
CN114648446A (zh) 视频处理方法和装置
Raimbault et al. Stereo video inpainting
CN107483936B (zh) 一种基于宏像素的光场视频帧间预测方法
Lu et al. Rational function model based color correction in image stitching applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant