CN109842761B - 前向运动视频的快速高清全景成像方法及装置 - Google Patents

前向运动视频的快速高清全景成像方法及装置 Download PDF

Info

Publication number
CN109842761B
CN109842761B CN201910102736.2A CN201910102736A CN109842761B CN 109842761 B CN109842761 B CN 109842761B CN 201910102736 A CN201910102736 A CN 201910102736A CN 109842761 B CN109842761 B CN 109842761B
Authority
CN
China
Prior art keywords
image area
frame
railway
scene
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910102736.2A
Other languages
English (en)
Other versions
CN109842761A (zh
Inventor
蒋欣兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chnese Academy Of Social Sciences, University of
Original Assignee
Chnese Academy Of Social Sciences, University of
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chnese Academy Of Social Sciences, University of filed Critical Chnese Academy Of Social Sciences, University of
Priority to CN201910102736.2A priority Critical patent/CN109842761B/zh
Publication of CN109842761A publication Critical patent/CN109842761A/zh
Application granted granted Critical
Publication of CN109842761B publication Critical patent/CN109842761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供一种前向运动视频的快速高清全景成像方法及装置，其中，该方法包括以下步骤：对前向运动视频进行图像分割，获得对应的多个场景图像区域；基于运动模糊和全景图分辨率确定最优拼接外框，基于最优拼接外框和高速列车的速度确定最优拼接内框，根据最优拼接外框和最优拼接内框确定不规则矩形条带，并将其进行单应性变换成规则矩形条带；将前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。该方案考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。

Description

前向运动视频的快速高清全景成像方法及装置
技术领域
本发明涉及全景成像技术领域，特别涉及一种前向运动视频的快速高清全景成像方法及装置。
背景技术
前向运动成像是一种特定运动条件下的视频获取方式，前向运动视频的拼接技术已经被广泛用于大范围运动场景下的目标检测、环境监测以及场景重建。对于高速铁路综合检测列车前向车载摄像机采集的高速铁路前向运动视频，其采集帧率达到了117frames/s，是以往视频采集模式的数倍，由此产生了运动模糊的场景，而前向运动视频采集图像序列中每帧图像的单个像素点运动模糊不尽相同，与其它视频采集模式产生的运动模糊并不一致，现有的多视点全景拼接方法一般不考虑产生的运动模糊，将其应用于产生了运动模糊的场景的高速铁路前向运动视频的全景拼接，会导致全景图的生成质量较低，因此其并不适用于产生了运动模糊的场景的高速铁路前向运动视频的全景拼接。
发明内容
本发明实施例提供了一种前向运动视频的快速高清全景成像方法及装置，考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。
本发明实施例提供了一种前向运动视频的快速高清全景成像方法，该方法包括：
按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；
基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；
将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。
本发明实施例还提供了一种前向运动视频的快速高清全景成像装置，该装置包括：
分割模块，用于按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
最优拼接外框确定模块，用于基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框
最优拼接内框确定模块，用于基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
不规则矩形条带确定模块，用于根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
单应性变换模块，用于将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；
拼接模块，用于将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述前向运动视频的快速高清全景成像方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述前向运动视频的快速高清全景成像方法的计算机程序。
在本发明实施例中，首先对高速铁路前向运动视频进行场景划分，获得多个场景图像区域，然后基于运动模糊因素和全景图分辨率因素确定最优拼接外框，基于最优拼接外框和高速列车的速度确定最优拼接内框，再然后根据最优拼接外框和最优拼接内框确定不规则矩形条带，将不规则矩形条带进行单应性变换成规则矩形条带，最后将规则矩形条带进行拼接获得全景图。与现有的全景图拼接算法相比，本发明考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种前向运动视频的快速高清全景成像方法流程图；
图2(a)是本发明实施例提供的一种基于直线段检测确定场景消失点中的第一步：在视频中随机选取的一帧示意图；
图2(b)是本发明实施例提供的一种基于直线段检测确定场景消失点中的第二步：直线段检测结果示意图；
图2(c)是本发明实施例提供的一种基于直线段检测确定场景消失点中的第三步：消失点检测结果示意图；
图3是本发明实施例提供的一种前向运动视频区域划分示意图：“天空”、“左侧”、“地面”、“右侧”区域；
图4是本发明实施例提供的一种不均匀条带拼接示意图；
图5是本发明实施例提供的一种不均匀矩形全景成像模型(左、右、上、下4面绘制)示意图；
图6是本发明实施例提供的一种左侧条带生成左侧全景图示意图；
图7是本发明实施例提供的一种空间采样区域Rk与不规则矩形条带Sk示意图；
图8是本发明实施例提供的一种过采样、欠采样和完全采样示意图；
图9(a)是本发明实施例提供的一种铁路场景中的矩形拼接区域：封闭的铁路环境示意图；
图9(b)是本发明实施例提供的一种铁路场景中的矩形拼接区域：宽阔的道岔环境示意图；
图10是本发明实施例提供的一种检测区域的几何结构示意图；
图11是本发明实施例提供的一种拼接外框和拼接内框示意图；
图12是本发明实施例提供的一种拼接区域构造示意图；
图13是本发明实施例提供的一种图像平面中相邻两帧左侧拼接线在物理空间和场景主平面示意图；
图14是本发明实施例提供的一种相邻3帧像素位移示意图；
图15(a)是本发明实施例提供的一种拼接像素数变化曲线示意图；
图15(b)是本发明实施例提供的一种左拼接线单点清晰度变化曲线示意图；
图15(c)是本发明实施例提供的一种左拼接线清晰度变化曲线示意图；
图16(a)是本发明实施例提供的一种高速铁路弯道的前向运动视频中的一帧示意图；
图16(b)是本发明实施例提供的一种铁路弯道的前向运动视频中的一帧示意图；
图16(c)本发明实施例提供的一种高速铁路直道的前向运动视频中的一帧示意图；
图17(a)是本发明实施例提供的一种从高速铁路弯道生成的左侧全景图示意图；
图17(b)本发明实施例提供的一种高速铁路弯道生成的右侧全景图示意图；
图17(c)本发明实施例提供的一种高速铁路弯道生成的底部全景图示意图；
图17(d)本发明实施例提供的一种高速铁路弯道生成的上部全景图示意图；
图18(a)是本发明实施例提供的一种从弯道场景中生成的左侧全景图示意图；
图18(b)是本发明实施例提供的一种弯道场景中生成的右侧全景图示意图；
图18(c)是本发明实施例提供的一种弯道场景中生成的底部全景图示意图；
图18(d)是本发明实施例提供的一种弯道场景中生成的上部全景图示意图；
图19(a)是本发明实施例提供的一种从高速铁路直道生成的底部全景图示意图；
图19(b)是本发明实施例提供的一种从高速铁路直道生成的右侧全景图示意图；
图19(c)是本发明实施例提供的一种从高速铁路直道生成的左侧全景图示意图；
图19(d)是本发明实施例提供的一种从高速铁路直道生成的上面全景图示意图；
图20(a)是本发明实施例提供的一种最大化分辨率的拼接结果比较示意图；
图20(b)是本发明实施例提供的一种最优化拼接线位置的拼接结果比较示意图；
图21(a)是本发明实施例提供的一种不同方法确定的相邻帧拼接时间对比示意图；
图21(b)本发明实施例提供的一种不同方法确定的图像拼接速度对比示意图；
图22是本发明实施例的前向运动视频的快速高清全景成像装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，提供了一种前向运动视频的快速高清全景成像方法，如图1所示，该方法包括：
步骤101：按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
步骤102：基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；
步骤103：基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
步骤104：根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
步骤105：将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带
步骤106：将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。
下面对该方法的每个步骤进行详细说明。
1、高速铁路前向运动视频图像的区域划分，即基于消失点检测的场景布局估计：
对于场景没有深度变化的场合，如隧道，动物的肠道，炮膛等往往只存在单一深度层，即场景拼接目标物体全部位于同一场景深度层面，相邻拼接帧之间的像素对应关系可以通过选择适当的图像变换模型来求得。而高速铁路虽然运行于一个封闭环境，但并非密闭环境，高铁存在于开阔场景范围中，场景中目标物体位于不同场景深度层次，相邻两帧的图像变换模型虽然满足单应性，像素之间的映射关系无法直接求得。
另外，前向车载摄像机拍摄方向与运动方向平行，采集的视频序列由一系列二维图像构成，其内容通常包括三维欧氏空间的路面、天空和两侧的景物。对于这类景物图像平面上的像素点并非都属于同一个三维欧氏空间，在图像中临近的像素点可能是实际景物上相距很远的景物点。若从光流的角度考虑，图像中临近的像素点可能具有不同的光流速度和方向，表现为像素运动的非一致性，景物由远及近在图像中的反映是对景物的放大。铁路前向视频图像在前向车载视频图像的应用中具有代表性。
成像设备装载在列车上，且运动方向平行于轨道延伸方向，因此图像中像素运动方向的FOE(focus of expansion膨胀点)将会聚于两条钢轨在图像上的交点即消失点处。因此，如图2(a)至2(c)所示，可以利用直线段检测算法提取铁路场景中诸如钢轨对应的线段、电杆对应的线段和图像边缘线段，然后根据钢轨对应的线段、电杆对应的线段和图像边缘线段来确定多个场景消失点，并利用投票规则从多个场景消失点中筛选出最常见位置的场景消失点，将该位置的场景消失点记作全局消失点，最后，经全局消失点Q引出4条穿过左右两侧电杆顶部和底部的射线，将图像的每一帧分割成垂直方向的左侧图像区域和右侧图像区域、水平方向的天空图像区域和地面图像区域，即“天空”、“左侧”、“地面”、“右侧”场景区域，如图3所示。
2、完全采样与场景主平面
本发明提出的是一种不规则矩形采样，所谓“矩形采样”是指场景图像位于三维世界坐标系的不同位置，本发明根据高铁封闭环境检测的需要，选取了4个平面，即左、右护栏(或声屏障)、天空和地面，然后分别对不同区域的图像采用条带拼接的方法进行拼接，形成的条带外边框是矩形，分别采样拼接构筑左侧平面矩形、右侧平面矩形、上侧平面矩形和下侧平面矩形的全景图，针对高铁前向运动视频图像的条带拼接如图4所示。并绘制4面全景图于长方体几何形状管道内；“不规则”是指采样时沿左、右护栏(或声屏障)、天空和地面的拼接条带宽度选取并非规矩一致，根据估计的场景布局、运动模糊、相机姿态和综合检测列车的速度分别计算4个条带各自的宽度。“基于前向运动视频不规矩矩形采样全景成像模型”框架示意图如图5所示。”
下面具体描述如何实现不规则矩形采样。
如图6所示，对于一段帧数为N的前向运动视频，令
Figure BDA0001965966520000071
为从第k帧图像中提取的四条不规矩矩形条带，每个条带都由拼接外框位置ESRk(外矩形框)和拼接内框位置ISRk(内矩形框)构成；令
Figure BDA0001965966520000072
为
Figure BDA0001965966520000073
对应的空间采样区域，如图7所示，对物理场景的4个方向区域Rk-1采样之后形成不规则矩形条带Sk-1。
根据以上定义，拼接区域的构造应满足相邻两帧的空间采样区域之间应不重合即过采样，也不存在间隔即欠采样。各采样区域之间既不重叠也无间隔，则拼接条带对空间的采样称之为完全采样，如图8所示。
全景拼接可记为：
Figure BDA0001965966520000074
这里T(·)为图像拉伸变换。
实际情况下，由于场景中存在变化的深度。因此，根据小孔成像原理，同一条带对场景中不同的深度层的采样距离不同，越远处的采样距离越大。这就导致了抽取的条带不可能对整个场景实行“完全采样”。具体表现在远处的场景由于“过采样”而使得采样区域之间重叠而近处由于“欠采样”而丢失场景信息。因此，大多数基于移动视频拼接的应用中，都要求空间的景深不存在较大的变化，所有景物都大致处于同一平面上，这一平面称作“场景主平面”(Dominant Plane)。铁路场景中，两侧的护栏和电杆，底部的轨道以及顶部的接触网都分别位于同一平面内；各平面距离相机最近；并且是铁路环境检测的重点关注区域。基于这三个原则我们确定铁路场景的检测区域作为场景主平面，全景采样环的构造应确保在检测区域平面上执行“完全采样”。
基于以上定义，前向运动视频的全景拼接可以描述为：从视频序列中提取一组4方向条带序列{S1,S2,S3,…，SN}，并满足任意相邻的空间采样区域之间既不重叠也无间隔，称之为条带序列对物理场景的“完全采样”，而场景中执行“完全采样”的平面就称作场景主平面，将满足条件的条带序列进行几何修正后合并在一起就生成了全景图像。全景图生成方法如图6所示，具体生成全景图算法如表1所示。
表1
Figure BDA0001965966520000081
因此，生成前向运动视频全景图的重点在于确定4个方向的拼接外框ESRk ESRk(外矩形框)和拼接内框位置ISRk(内矩形框)的位置。
3、基于场景布局和运动模糊的拼接区域构造
如图9(a)所示，经消失点Q引出4条穿过左右两侧电杆顶部和底部的射线，将图像划分为垂直方向的左右两侧以及水平方向的天空和地面4个区域，拼接区域由拼接内框和拼接外框围成。选取外框的位置应综合考虑图像分辨率和运动模糊，平衡二者对全景图拼接效果的影响，如图9(b)所示，按照虚线框确定的外框将导致生成的全景图分辨率过低。计算内框的位置必须确保其与拼接外框构成的拼接区域实现对空间场景的“完全采样”，即采样的内容既无重合又无间隔。
之前已有的技术方案中，为了最大化空间采样信息，要求采样线的构造应垂直于像素光流的方向。但这一操作不仅增加了时间开销，而且也影响生成全景图的分辨率。更重要的是，光流的计算易受环境干扰，对于环境多变的铁路场景，许多情况下由于不能满足光流假设条件即“空间一致性”、“亮度恒定”、“局部小运动”而使得计算结果失真。
如图10所示，大多数的实际应用场景都具有固定的几何结构。铁路场景(左侧)由两侧的护栏、电杆，上方的接触网以及地面轨道组成，可以看作一个长方体；隧道(右侧)为拱形的顶部，两侧的墙壁和路面构成的半圆柱几何体；石油运输管道则为弧形管壁包络成的圆柱体。对于实际的高铁场景，固定的场景布局几何结构由两侧的护栏和电杆，上方的接触网以及地面轨道组成，因此，基于场景的检测区域特定的几何形状以及在世界坐标系的具体位置来构造不规矩矩形采样的拼接外框位置，避免了复杂的光流计算，提升了拼接效率和拼接稳定性。为了保证全景图具有最佳的分辨率，拼接外框的位置应位于具有较大空间分辨率的图像边缘处。但列车高速运行条件下，往往导致采集的图像中产生显著的运动模糊(摄像机移动但铁路场景中景物不动会产生全局运动模糊)，在钢轨延伸无穷远处可能产生失焦模糊。这就要求在定位拼接外框位置时对图像分辨率和运动模糊进行折中处理，权衡二者之间的关系，以确定不规矩矩形采样的最优拼接外框位置。
以定位左侧拼接条带Sl为例，先确定拼接外框ESR位置和拼接内框ISR位置，其余3方向的拼接条带方法类似。
Figure BDA0001965966520000091
式中，
Figure BDA0001965966520000092
表示世界坐标系下物理场景中观测到的一个三维物点，
Figure BDA0001965966520000093
表示世界坐标系下物理场景中从另外视点观测到的同一个三维物点，H表示单应性，记为：
Figure BDA0001965966520000094
在图像平面中，使用齐次坐标表示为
Figure BDA0001965966520000095
和
Figure BDA0001965966520000096
如图11中2个点。如果某些点全部位于图像中的一个平面上，图像平面中点之间的直接映射可以直接表示为：
Figure BDA0001965966520000097
此公式可以直接修正对齐图像，无需再对三维坐标点进行操作。式(3)可写为：
Figure BDA0001965966520000098
进一步变换为：
Figure BDA0001965966520000099
变换形式为：
Figure BDA0001965966520000101
写成矩阵形式为：
Figure BDA0001965966520000102
记为：
Figure BDA0001965966520000103
其中，
Figure BDA0001965966520000104
Figure BDA0001965966520000105
同理有
Figure BDA0001965966520000106
可记A为：
Figure BDA0001965966520000107
简写为：
Figure BDA0001965966520000108
基于消失点和场景几何结构，考虑运动模糊的影响和保持最大空间采样分辨率，使用单应性矩阵求解最优拼接外框ESR位置，如图12所示。
假设图12中已经估计出场景布局，即检测到消失点
Figure BDA0001965966520000109
和最长电杆直线段，从
Figure BDA00019659665200001010
出发引出4条射线，则射线所在直线方程可表示为：
Figure BDA0001965966520000111
式(11)中kA，kB，kC和kD为射线所在直线斜率，bA，bB，bC和bD为射线所在直线截距。由于消失点、电杆顶端点和底端点已知，则斜率和截距可求解获得，视为已知。由消失点和式(11)构造拼接区域，由拼接外框
Figure BDA0001965966520000112
(表示为ESR)和拼接内框
Figure BDA0001965966520000113
(表示为ISR)围绕而成。
假设图像坐标系，左上角为原点(0,0)，横轴为X轴，纵轴为Y轴，下面以求拼接外框ESR的左侧拼接线
Figure BDA0001965966520000114
为例推导求解出4条拼接线。又假设
Figure BDA0001965966520000115
的横轴坐标已知，即已知xl，从全景图生成质量考虑xl应满足两个条件：
Figure BDA0001965966520000116
式(12)中第1个条件表示对空间采样后生成的全景图保留最大空间分辨率，W为图像宽度；第2个条件中Dl(·)表示左侧拼接线(·)定义的清晰度要高，取值范围[0,1]。
现假设已知xl，拼接生成的全景图分辨率为m×n，先求出拼接外框ESR和拼接内框ISR的8个顶点坐标，即求出x′l、yu、y′u、xr、x′r、yd和y′d。
从图12可得：
Figure BDA0001965966520000117
想求取xl′，先求解出左侧拼接条带宽度vl。
图13中物理空间中世界坐标系中一个点
Figure BDA0001965966520000118
在场景主平面中表示为
Figure BDA0001965966520000119
在像平面上投影为
Figure BDA00019659665200001110
Figure BDA00019659665200001111
所在垂直线为第m帧视频图像的拼接外框ESRm，vl为左侧拼接条带宽度，离z轴较近的垂直线表示第m帧视频图像的拼接内框ISRm，G为摄像机光轴与场景主平面距离。不失一般性，为简化分析，令各角度为0，即摄像机与成像平面完全平行，姿态角全为0。
可推导出
Figure BDA0001965966520000121
式(14)中V为列车速度，f为摄像机焦距，R为摄像机采集帧率。
由式(13)可知，已知xl和vl，则x′l也已知。
由图12可得
Figure BDA0001965966520000122
由式(15)可知，可求出yu和yd，联合式(13)和式(15)可得xr、y′u、y′d和x′r。至此，基于消失点(xv,yv)和电杆两端顶点得到4条射线所在直线的斜率kA、kB、kC、kD和截距bA、bB、bC、bD，获取到图像的场景布局。假定xl已知，基于场景布局已知的情况下，联合式(13)、式(14)和式(15)可求出拼接外框和拼接内框的8个顶点位置(xl,yu)、(x′l,y′u)、(xl,yd)、(x′l,y′d)、(xr,yd)、(x′r,y′d)、(xr,yu)和(x′r,y′u)。
由图12所示的场景布局结合式(14)可推出
Figure BDA0001965966520000123
则4个方向的拼接条带宽度vl、vr、vu和vd都已求出，从式(16)可分析出“不均匀矩形采样全景成像模型”中“不均匀”指这4个拼接条带Sl、Sr、Su和Sd的拼接宽度并不相同，随列车速度V、拼接外框ESR的左侧拼接线位置xl和场景布局结构而动态变化。
由图12所示的场景布局可推导出全景图分辨率：
Figure BDA0001965966520000131
上述公式的推导前提是假设拼接外框ESR的左侧拼接线
Figure BDA0001965966520000132
的横轴坐标xl已知，由上面分析可知xl必须满足式(12)中2个条件。下面求取xl的最佳位置。
图14中最内部框表示第k-1帧图像fk-1的拼接外框ESRk-1，中间框表示第k帧图像fk的拼接外框ESRk，最外框表示第k+1帧图像fk+1的拼接外框ESRk+1，第k帧图像中一个像素点
Figure BDA0001965966520000133
受前一帧(第k-1帧)和后一帧(第k+1帧)的影响，定义摄像机从帧fk-1移动到帧fk+1通过帧fk时像素(xj,yu)的位移为：
Figure BDA0001965966520000134
式(18)中单应性矩阵H是将像素位置映射到另一像素位置。d(·)为求两像素点之间的欧氏距离。在连续3帧短时间内，可认为有：
Hk-1≈Hk (19)
为满足式(12)中描述的两个条件，我们定义视频帧中像素的清晰度，用来描述相邻3帧之间像素的绝对位移。对于帧fk中的像素(xj,yu)，其清晰度定义为：
Figure BDA0001965966520000135
式(20)中△lk-1,j表示从帧fk-1到帧fk的位移，△lk,j表示从帧fk到帧fk+1的位移，σ为常数，当(xj,yu)的帧间运动较小时，Hk-1和Hk接近单位矩阵I，因此
Figure BDA0001965966520000136
接近于1，表明以(xj,yu)为中心的图像块很可能锐化。否则
Figure BDA0001965966520000137
很小，表示该图像块可能包含大的运动模糊。
又定义4个方向的拼接线
Figure BDA0001965966520000138
和
Figure BDA0001965966520000139
的清晰度为：
Figure BDA0001965966520000141
式(21)中需满足以下数学模型：
Figure BDA0001965966520000142
式(22)表示满足场景几何结构约束条件下，拼接外框的4条拼接线清晰度总和最大，4条拼接线清晰度总和达到极大值情况下求到xl、yu、xr和yd即为外框拼接线最优位置。而yu、xr和yd与xl有关，则可改写式(22)中数学模型为：
Figure BDA0001965966520000143
图15(a)为xl与左拼接线像素个数变化曲线，如图15(a)所示，随xl向图像右侧消失点方向取值，左拼接线像素个数呈单调递减趋势；如图15(b)所示，左拼接线上单个点清晰度变化曲线随xl的取值呈单调递增趋势，表明越趋近于消失点附近，运动模糊越小，清晰度越高；如图15(c)所示，整个左拼接线清晰度Dl变化曲线表明在综合考虑最大化空间采样分辨率，保证生成全景图分辨率最大情况下，结合运动模糊以保证左侧拼接条带的清晰度，可找到最优拼接外框位置，虚线与曲线的交点即为最优xl取值。
如下采用实际数据来说明本发明提出的前向运动视频的快速高清全景成像方法的优点。
图16(a)和图16(c)所示为高速综合检测列车采集的两段视频数据，采集帧率为117frames/sec，其中这两段视频分别记录了高铁直道以及列车过弯道的场景。图16(b)所示为车载相机采集的一段实验视频数据，列车在采集过程中保持相对匀速，相机帧率为25frames/sec，表示一段铁路弯道的场景，详细数据信息如表2所示。
表2视频数据详细信息
Figure BDA0001965966520000151
实验平台配置如下：Intel i7 4.0GHz处理器，Windows 8操作系统，内存32GB。实验视频数据共55577frames，普速线路摄像机采集帧率为25frames/sec，是列车行驶在50km/h速度下获取的低质视频数据；高速线路摄像机采集帧率为117frames/sec，是列车行驶在350km/h速度下获取的高质视频数据。选取2条线路生成全景图，分别为娄底—株洲段列车过弯道场景、长沙南—杭州东段高铁检测列车过直道场景和长沙南—杭州东段高铁检测列车过弯道场景。
图17(a)至图17(d)所示为长沙南—杭州东路段弯道场景的全景图生成结果。可以观察到对于高速条件下拍摄的视频，实验结果获得了令人满意的拼接效果。虽然远处的树木因为采样率过高影响光流预测而发生了横向的扭曲拉升，但是铁路环境的监测目标如近处的电杆和声屏障，由于执行“完全采样”并没有丢失信息且失真较小。图17(a)中可看出声屏障有一段线路是中断的，图17(c)中可看出拼接效果均匀，铁路道床设施等距离间隔排列。此外，倘若关注的监测目标位于远处的场景，则可以通过调节拼接条带的宽度来克服这种拉升变化。
图18(a)至图18(d)为娄底—株洲段列车过弯道时的全景图生成结果。由于弯道场景图像在拼接区域处仍近似于直道，因此按照直道场景的图像对齐方法进行拼接仍然可以得到正确的拼接结果，如图18(a)和图18(b)所示。而对于轨道平面而言，拼接结果也正确反应了弯道的弯曲形态，如图18(c)所示。
图19(a)至图19(d)为长沙南—杭州东段高铁检测列车过直道时的全景图生成结果。列车运行在350km/h速度下，以117frames/sec采集的视频拼接效果很规整。
基于最大化分辨率原则来确定外拼接线位置，即在保持矩形拼接框形状的基础上，外拼接线的位置尽量往图像边缘取。这一方法实现简单，并且可以得到图像分辨率最大的全景图。但由于高速运动条件下，图像边缘存在较大的运动模糊，因此生成的全景图中存在明显的运动模糊，如图20(a)所示。本发明提出的基于拼接线框清晰度最大化的拼接区域构造方法，综合考虑图像分辨率和运动模糊对拼接效果的影响，权衡二者之间的关系，提高了全景图的生成质量，如图20(b)所示。
表3所示为全景图与原始视频的数据量对比。视频的数据量大小与采集时间和视频码流率成正比，而全景图的拼接过程类似于线阵推扫，线扫描相机采集的图像大小只与线阵CCD的分辨率和扫描长度有关，而与采集时间和视频码流率无关。因此，全景图的大小理论上应该只与拼接条带的长度(像素单位)和行驶里程有关。
表3全景图与原始视频的数据量对比
路段 容量(MB) 全景图容量(MB) 压缩比
娄底-株洲 1145 17.3 66:1
长沙南-杭州东 320 6.23 51:1
不均匀矩形采样全景成像模型是面向铁路前向运动视频这一特定场景的，原有全景图拼接模型和视频拼接模型均不适用，这里为了验证方法的有效性和实时性(这里的实时性指在每秒25帧的情况下)，针对不同的图像对齐方法(SIFT Matching、L-K OpticalFlow、MRF Optimization、Fourier-based Registration、基于检测区域几何结构的对齐方法)进行了拼接速度的对比。
图21(a)和图21(b)分别所示为基于6种不同的图像对齐方法进行全景图拼接所得的拼接时间和拼接速度对比图。本发明提出的方法从拼接速度可达到32frames/sec，超过视频采集速率(25frames/sec)，达到了快速实时拼接的效果。该方法基于物理场景的几何结构和相机的运动信息进行图像对齐，避免了耗时的特征估计和光流计算，并且构造“完全采样”拼接区域的全局不变消失点，以及图像速度等关键参数都已离线存储在查询表中，使得图像对齐类似于模拟快速查表的过程。
基于同一发明构思，本发明实施例中还提供了一种前向运动视频的快速高清全景成像装置，如下面的实施例所述。由于前向运动视频的快速高清全景成像装置解决问题的原理与前向运动视频的快速高清全景成像方法相似，因此前向运动视频的快速高清全景成像装置的实施可以参见前向运动视频的快速高清全景成像方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图22是本发明实施例的前向运动视频的快速高清全景成像装置的结构框图，如图22所示，包括：
分割模块2201，用于按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
最优拼接外框确定模块2202，用于基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；
最优拼接内框确定模块2203，用于基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
不规则矩形条带确定模块2204，用于根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
单应性变换模块2205，用于将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；
拼接模块2206，用于将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。
下面对该结构进行说明。
在本发明实施例中，所述不同的铁路场景包括钢轨和电杆；
所述分割模块2201具体用于：
利用直线段检测算法提取所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段；
根据所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段确定场景消失点；
根据所述场景消失点和电杆将每一帧分割成垂直方向的左侧图像区域和右侧图像区域、水平方向的天空图像区域和地面图像区域。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述前向运动视频的快速高清全景成像方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述前向运动视频的快速高清全景成像方法的计算机程序。
综上所述，本发明提出的前向运动视频的快速高清全景成像方法及装置具有如下优点：
1、基于消失点检测的铁路场景布局估计，实现铁路场景不同拼接区域的快速划分；
2、拼接过程充分利用场景的几何结构信息以及列车的运动信息，整个全景图拼接避免了复杂的图像处理过程，实现了高速铁路运行环境全景图的实时获取；
3、针对前向运动视频采集图像序列中每帧图像的单个像素点运动模糊不尽相同，与其它视频采集模式产生的运动模糊并不一致的问题，本发明综合考虑全景图分辨率与运动模糊对图像质量的影响，构建最优化模型求解得到最优拼接线的位置，确保高速铁路运行环境下全景图的生成质量；
4、针对前向运动视频数据存储量巨大，获取的视频编码格式独特，用所有已有播放器都无法播放此类视频，不便于铁路检测工人目测发现铁路运行环境的问题，更加不利于手机等便携设备来播放，需要中国铁路科学研究院专用播放器进行视频格式转换才能使用常用播放器解码播放这一问题，本发明通过全景拼接去除视频中的冗余信息，获取轻量级的全景图，为视频的浏览提供了一种快速的全景索引，大大降低了海量视频数据检索与存储面临的时空开销问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种前向运动视频的快速高清全景成像方法，其特征在于，包括：
按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；
基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；
将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图；
所述不同的铁路场景包括钢轨和电杆；
按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，包括：
利用直线段检测算法提取所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段；
根据所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段确定场景消失点；
根据所述场景消失点和电杆将每一帧分割成垂直方向的左侧图像区域和右侧图像区域、水平方向的天空图像区域和地面图像区域；
基于运动模糊因素和全景图分辨率因素，按照如下方式确定每个铁路场景图像区域对应的最优拼接外框：
从消失点
Figure FDA0002895322560000011
出发引出的四条射线所在直线方程表示为：
Figure FDA0002895322560000021
其中，kA，kB，kC和kD为四条射线所在直线斜率，bA，bB，bC和bD为四条射线所在直线截距；xv、yv表示消失点
Figure FDA0002895322560000022
的坐标点；
xl满足两个条件：
Figure FDA0002895322560000023
其中，xl表示左侧图像区域的拼接外框的横坐标；
Figure FDA0002895322560000024
表示左侧图像区域的拼接外框线；yu、yd表示左侧图像区域的拼接外框线上两个坐标点的纵坐标；W表示高速铁路前向运动视频图像的宽度；Dl(·)表示左侧图像区域对应的拼接外框线的清晰度；xl→0表示对空间采样后生成的全景图保留最大分辨率；
全景图分辨率为m×n，
Figure FDA0002895322560000025
xr表示右侧图像区域的拼接外框的横坐标；
四条拼接外框满足如下数学模型：
Figure FDA0002895322560000026
其中，Du、Dd、Dl、Dr分别表示水平方向的天空图像区域、地面图像区域、左侧图像区域和右侧图像区域对应的拼接外框线的清晰度，
Figure FDA0002895322560000031
Figure FDA0002895322560000032
(xj,yu)表示天空图像区域的第k帧图像fk中的像素；(xj,yd)表示地面图像区域的第k帧图像fk中的像素；(xl,yi)表示左侧图像区域的第k帧图像fk中的像素；(xr,yi)表示右侧图像区域的第k帧图像fk中的像素；Δlk-1,j表示从帧fk-1到帧fk的位移，Δlk,j表示从帧fk到帧fk+1的位移，σ为常数。
2.如权利要求1所述的前向运动视频的快速高清全景成像方法，其特征在于，基于最优拼接外框和高速列车的速度，按照如下公式确定每个铁路场景图像区域对应的最优拼接内框：
Figure FDA0002895322560000033
其中，x′l表示左侧图像区域对应的拼接内框的横坐标；y′u表示左侧图像区域对应的拼接内框的纵坐标；yu表示左侧图像区域对应的拼接外框的纵坐标；vl表示左侧图像区域对应的不规则矩形条带的宽度，
Figure FDA0002895322560000034
V表示列车速度；f表示摄像机焦距；G表示摄像机光轴与场景主平面距离；R表示摄像机采集帧率。
3.一种前向运动视频的快速高清全景成像装置，其特征在于，包括：
分割模块，用于按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；
最优拼接外框确定模块，用于基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；
最优拼接内框确定模块，用于基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；
不规则矩形条带确定模块，用于根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；
单应性变换模块，用于将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；
拼接模块，用于将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图；
所述不同的铁路场景包括钢轨和电杆；
所述分割模块具体用于：
利用直线段检测算法提取所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段；
根据所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段确定场景消失点；
根据所述场景消失点和电杆将每一帧分割成垂直方向的左侧图像区域和右侧图像区域、水平方向的天空图像区域和地面图像区域；
所述最优拼接外框确定模块具体用于：
按照如下方式确定每个铁路场景图像区域对应的最优拼接外框：
从消失点
Figure FDA0002895322560000041
出发引出的四条射线所在直线方程表示为：
Figure FDA0002895322560000042
其中，kA，kB，kC和kD为四条射线所在直线斜率，bA，bB，bC和bD为四条射线所在直线截距；xv、yv表示消失点
Figure FDA0002895322560000043
的坐标点；
xl满足两个条件：
Figure FDA0002895322560000044
其中，xl表示左侧图像区域的拼接外框的横坐标；
Figure FDA0002895322560000051
表示左侧图像区域的拼接外框线；yu、yd表示左侧图像区域的拼接外框线上两个坐标点的纵坐标；W表示高速铁路前向运动视频图像的宽度；Dl(·)表示左侧图像区域对应的拼接外框线的清晰度；xl→0表示对空间采样后生成的全景图保留最大分辨率；
全景图分辨率为m×n，
Figure FDA0002895322560000052
xr表示右侧图像区域的拼接外框的横坐标；
四条拼接外框满足如下数学模型：
Figure FDA0002895322560000053
其中，Du、Dd、Dl、Dr分别表示水平方向的天空图像区域、地面图像区域、左侧图像区域和右侧图像区域对应的拼接外框线的清晰度，
Figure FDA0002895322560000054
Figure FDA0002895322560000055
(xj,yu)表示天空图像区域的第k帧图像fk中的像素；(xj,yd)表示地面图像区域的第k帧图像fk中的像素；(xl,yi)表示左侧图像区域的第k帧图像fk中的像素；(xr,yi)表示右侧图像区域的第k帧图像fk中的像素；Δlk-1,j表示从帧fk-1到帧fk的位移，Δlk,j表示从帧fk到帧fk+1的位移，σ为常数。
4.如权利要求3所述的前向运动视频的快速高清全景成像装置，其特征在于，所述最优拼接内框确定模块具体用于：
按照如下公式确定每个铁路场景图像区域对应的最优拼接内框：
Figure FDA0002895322560000061
其中，x′l表示左侧图像区域对应的拼接内框的横坐标；y′u表示左侧图像区域对应的拼接内框的纵坐标；yu表示左侧图像区域对应的拼接外框的纵坐标；vl表示左侧图像区域对应的不规则矩形条带的宽度，
Figure FDA0002895322560000062
V表示列车速度；f表示摄像机焦距；G表示摄像机光轴与场景主平面距离；R表示摄像机采集帧率。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2任一所述前向运动视频的快速高清全景成像方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至2任一所述前向运动视频的快速高清全景成像方法的计算机程序。
CN201910102736.2A 2019-02-01 2019-02-01 前向运动视频的快速高清全景成像方法及装置 Active CN109842761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910102736.2A CN109842761B (zh) 2019-02-01 2019-02-01 前向运动视频的快速高清全景成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910102736.2A CN109842761B (zh) 2019-02-01 2019-02-01 前向运动视频的快速高清全景成像方法及装置

Publications (2)

Publication Number Publication Date
CN109842761A CN109842761A (zh) 2019-06-04
CN109842761B true CN109842761B (zh) 2021-03-19

Family

ID=66884467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910102736.2A Active CN109842761B (zh) 2019-02-01 2019-02-01 前向运动视频的快速高清全景成像方法及装置

Country Status (1)

Country Link
CN (1) CN109842761B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275621A (zh) * 2020-01-17 2020-06-12 中南大学 一种行车环视系统中全景图生成方法、系统及存储介质
CN113538504B (zh) * 2020-04-16 2023-07-14 杭州海康威视数字技术股份有限公司 目标匀速移动场景中的跟踪目标显示方法和电子设备
CN113034439B (zh) * 2021-03-03 2021-11-23 北京交通大学 一种高速铁路声屏障缺损检测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5508963B2 (ja) * 2010-07-05 2014-06-04 サクサ株式会社 駅ホームの監視カメラシステム
CN106023076B (zh) * 2016-05-11 2019-04-23 北京交通大学 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法
CN107038683B (zh) * 2017-03-27 2020-09-15 中国科学院自动化研究所 运动目标的全景成像方法
CN107103578B (zh) * 2017-03-28 2020-12-11 北京交通大学 一种利用高速铁路前向车载视频进行全景图拼接的方法

Also Published As

Publication number Publication date
CN109842761A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109842761B (zh) 前向运动视频的快速高清全景成像方法及装置
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
US20190220991A1 (en) Multi-directional structured image array capture on a 2d graph
CN103400409B (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
US8077906B2 (en) Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
JP2005056295A (ja) ３６０度画像変換処理装置
CN101540046A (zh) 基于图像特征的全景图拼接方法和装置
CN104463859A (zh) 一种基于跟踪指定点的实时视频拼接方法
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
Saurer et al. Sparse to dense 3d reconstruction from rolling shutter images
Chen et al. 3D texture mapping in multi-view reconstruction
CN105719250A (zh) 基于简单背景的图像修复方法、系统及拍摄终端
CN106355546B (zh) 车辆全景图像的生成方法和装置
Tang et al. Content-based 3-D mosaics for representing videos of dynamic urban scenes
Martins et al. Dense accurate urban mapping from spherical RGB-D images
CN107103578B (zh) 一种利用高速铁路前向车载视频进行全景图拼接的方法
Kim et al. Automatic 3D city modeling using a digital map and panoramic images from a mobile mapping system
Zarpalas et al. Depth estimation in integral images by anchoring optimization techniques
Hyeon et al. Spatial template-based geometric complexity reduction method for photo-realistic modeling of large-scale indoor spaces
Cao et al. Constructing big panorama from video sequence based on deep local feature
Van De Wouw et al. Fast 3D Scene Alignment with Stereo Images using a Stixel-based 3D Model.
Guo et al. Parallax-robust hexahedral panoramic video stitching
US11430143B2 (en) System of depth estimation and method thereof
Lin et al. Fast intra-frame video splicing for occlusion removal in diminished reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant