CN105405158A - 十亿像素视频的实现方法 - Google Patents

Abstract

本发明提出一种十亿像素视频的实现方法，包括：采集十亿像素背景图像，其中，相邻的行和/或列对应的背景图像中存在重叠区域，重叠区域的面积与对应的背景图像的总面积的比例大于预设值；采集十亿像素背景图像对应场景内的动态视频，并以第一存储方式单独存储；根据重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像；对动态视频进行滑动窗口搜索；采用直方图匹配方式对动态视频对应的前景与十亿像素背景图像的背景进行亮度匹配，以将动态视频嵌入十亿像素背景图像中，得到十亿像素视频，其中，以第二存储方式单独存储十亿像素背景图像。本发明易于实现，无需复杂的采集装置，具有有效的数据存储方式及真实感强的交互方式。

Description

十亿像素视频的实现方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种十亿像素视频的实现方法。

背景技术

目前在科学研究、工业生产以及人类生活领域中，对图像高分辨率、宽视野范围的需求不断提高，因此引起了研究人员越来越多的重视。到目前为止，十亿像素媒体技术，尤其是十亿像素图像技术，已经取得了很多研究成果。而十亿像素视频技术，概括起来可以主要可以分为三类：1)采用延时摄影的方法来制作十亿像素视频；2)使用视频文理(例如水波、风吹落叶)来实现简单场景的十亿像素视频；3)采用半球形透镜阵列来采集大场景的视频。这些方法在各自的方面都取得了较大的成功，具有一定的应用价值。但是，十亿像素视频技术目前存在的主要问题在于：1)采集装置制作和使用复杂，不易维护和携带；2)数据存储量巨大，缺乏有效的数据压缩方法；3)实现的交互方式缺乏真实感。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提供一种十亿像素视频的实现方法，该方法易于实现，无需复杂的采集装置，具有有效的数据存储方式及真实感强的交互方式。

为了实现上述目的，本发明的实施例提出了一种十亿像素视频的实现方法，包括以下步骤：通过逐行和/或逐列扫描方式采集十亿像素背景图像，其中，相邻的行和/或列对应的背景图像中存在重叠区域，所述重叠区域的面积与对应的背景图像的总面积的比例大于预设值；采集所述十亿像素背景图像对应场景内的动态视频，并以第一存储方式单独存储所述动态视频；根据相邻的行和/或列对应的背景图像中的重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像；在所述十亿像素背景图像中对所述动态视频进行滑动窗口搜索，并计算相应的变换矩阵；采用直方图匹配方式对所述动态视频对应的前景与所述十亿像素背景图像的背景进行亮度匹配，以将动态视频嵌入十亿像素背景图像中，得到十亿像素视频，其中，以第二存储方式单独存储所述十亿像素背景图像。

另外，根据本发明上述实施例的十亿像素视频的实现方法还可以具有如下附加的技术特征：

在一些示例中，还包括：通过手动浏览模式或者自动浏览模式展示所述十亿像素视频。

在一些示例中，所述手动浏览模式包括：对所述十亿像素视频的平移和/或缩放，并在平移过程中，当浏览到距离所述动态视频的距离小于第一预设距离时，播放对应的动态视频；在缩放过程中，通过显示框显示所述动态视频的位置，并当浏览到距离所述动态视频的距离小于第二预设距离时，淡化所述显示框。

在一些示例中，所述自动浏览模式包括：当点击需要浏览的动态视频的缩略图之后，自动平移和/或缩放到对应的观看视野。

在一些示例中，根据路径规划后的路径自动平移和/或缩放到对应的观看视野，其中，所述路径规划包括：采用三次贝塞尔曲线进行路径规划，并对路径规划后的路径进行优化。

在一些示例中，所述对路径规划后的路径进行优化，具体包括：

定义平滑度能量项为：

$E^{smooth}={\∫}_{-2}^1\mathrm{\κ}\left(s\right(t\left)\right)\left|\frac{ds\left(x\right)}{dt}\right|dt,$

其中，κ(s)定义为s处曲率半径的倒数；

定义“突然出现”能量项为：

$E^{popping}=\frac{R\left(t\right)}{D{\left(t\right)}^2},$

其中，R(t)表示t时刻视野被视频占据的比例，D(t)表示t时刻视频中心和视野中心的距离；

根据优化公式对对路径规划后的路径进行优化，所述优化公式为：

${\min }_{c_i}{E}^{smooth}+E^{popping}.$

在一些示例中，所述预设值为[15％，30％]。

在一些示例中，所述第二存储方式为金字塔状分层存储方式。

在一些示例中，所述根据相邻的行和/或列对应的背景图像中的重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像之前，还包括：通过SURF算法检测所述特征点。

根据本发明实施例的十亿像素视频的实现方法，包括十亿像素视频的采集、制作和展示等三个有机组成的部分。该方法无需复杂的采集装置，即可完成对数据的采集工作，采用图像拼接和视频嵌入的方法实现十亿像素视频制作，将稀疏的动态内容无缝嵌入大范围的场景，从而产生大范围的视频，通过一套算法流程制作成十亿像素视频，并且按照提出的数据格式存储，即具有有效的数据存储方式；另外，该方法的交互方式真实感强，让用户有身临其境的感觉。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的十亿像素视频的实现方法的流程图；

图2是根据本发明一个实施例的逐行和/或逐列采集十亿像素背景图像的示意图；

图3是根据本发明一个实施例的背景图像拼接过程的特征点匹配示意图；

图4是根据本发明一个实施例的几何匹配过程示意图；

图5是根据本发明一个实施例的金字塔状分层存储示意图；

图6是根据本发明一个实施例的手动交互模式状态机示意图；以及

图7是根据本发明一个实施例的自动交互模式视野切换示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的十亿像素视频的实现方法。

图1是根据本发明一个实施例的十亿像素视频的实现方法的流程图。如图1所示，该方法包括以下步骤：

步骤S1：通过逐行和/或逐列扫描方式采集十亿像素背景图像，其中，相邻的行和/或列对应的背景图像中存在重叠区域，重叠区域的面积与对应的背景图像的总面积的比例大于预设值。在本发明的一个实施例中，预设值例如为[15％，30％]。在具体实施过程中，使用的采集设备例如包括：单反相机、对应焦距的镜头(拍远景需要长焦镜头)、三脚架(可以采用专用的支架实现自动采集)。具体地说，在拍摄时，首先使用长镜头相机对场景进行按行和/或列扫描拍摄(例如拍摄20行，10列的图像)，需要注意的是，为了后期数据处理的需要，采集十亿像素背景图像时，相邻的行和/或列之间应该保持约15％～30％的重叠面积，例如图2所示。

步骤S2：采集十亿像素背景图像对应场景内的动态视频，并以第一存储方式单独存储动态视频。

在一些示例中，例如可以多台相机同时采集场景内的动态视频，动态视频可以分为两种：一种是镜头静止，另一种是镜头跟踪某一动态事物(例如飞机)。进一步地，第一存储方式例如为普通格式存储，也就是说，将采集到的动态视频按照普通格式存储，例如JPEG格式。

步骤S3：根据相邻的行和/或列对应的背景图像中的重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像。在本发明的一个实施例中，在该步骤S3之前，还包括：通过SURF算法检测特征点。具体地说，图像拼接的基本原理是利用相邻帧之间的重叠区域进行特征值匹配。例如图3所示，通过左右相邻两帧图像的对应特征点的对应关系可以计算出变换矩阵，图中亮色矩形区域为对应于在右侧图像坐标系中的位置，彩色细线的两个端点表示两幅图像匹配的特征点。特征点的检测和特征计算可以采用成熟的SURF算法

步骤S4：在十亿像素背景图像中对动态视频进行滑动窗口搜索，并计算相应的变换矩阵。视频嵌入技术主要分为：几何匹配、光学匹配、前景图片分割等三个方面。对于几何匹配，对于某一个视频帧，在十亿像素大背景进行滑动窗口搜索，然后计算出变换矩阵，例如图4所示，展示了几何匹配过程的示意图。

步骤S5：采用直方图匹配方式对动态视频对应的前景与十亿像素背景图像的背景进行亮度匹配，以将动态视频嵌入十亿像素背景图像中，得到十亿像素视频，其中，以第二存储方式单独存储十亿像素背景图像。在本发明的一个实施例中，第二存储方式例如为金字塔状分层存储方式。

具体地说，对于光学匹配，主要是采用直方图匹配技术来使得前景和背景的亮度值接近。另外，本发明的实施例提出了对应的数据存储格式，对静态背景和动态前景分别存储。静态背景使用金字塔状分层存储，每一层都被切割成很多小的tile来提高数据访问的速度。金字塔状分层存储示意图如图5所示。

进一步地，在本发明的一个实施例中，还包括：通过手动浏览模式或者自动浏览模式展示十亿像素视频。换言之，即该方法包好两种交互模式：自动模式和手动模式。在自动模式中，用户只需点击感兴趣的动态内容，即可自动实现场景切换。而手动模式支持用户自己在大范围场景中使用拖拽和滚动的方法来浏览场景。

具体地说，手动浏览模式包括：用户可以完全控制十亿像素视频的平移和/或缩放。在交互式浏览时，视频刚开始处于暂停状态，只显示第一帧。并在平移过程中，当浏览到距离动态视频的距离小于第一预设距离时，播放对应的动态视频，换言之，即当用户浏览到离视频足够近的位置时，视频开始播放；在缩放过程中，通过显示框显示动态视频的位置，并当浏览到距离动态视频的距离小于第二预设距离时，淡化显示框，也即当用户缩小图像时，将会显示一个矩形框标示视频的位置。当用户离视频足够近时将该矩形框逐渐淡化。其中，第一预设值和第二预设值根据实际需求而设定。如图6所示，展示了手动浏览模式的状态机图。

自动浏览模式包括：当用户点击需要浏览的动态视频的缩略图之后，系统将会自动平移和/或缩放到对应的(合适的)观看视野。如图7所示，展示了自动浏览模式视野切换示意图。更为具体地，根据路径规划后的路径自动平移和/或缩放到对应的观看视野，其中，路径规划包括：采用三次贝塞尔曲线进行路径规划，并对路径规划后的路径进行优化。

具体地说，路径曲线是在二维空间的曲线，用x(t)表示t时刻用户视野的中心，用v(t)表示t时刻视频帧的中心。视野开始时位于x(-2)，即开始转化视野2秒后视频开始播放，路径结束于v(1)，即匹配到合适视野时视频播放到1秒处。

定义最优化的平移缩放路径要满足的条件包括：1)路径的起始点和目标点坐标分别于当前位置x(-2)和第1秒处视频位置v(1)相匹配；2)匹配视频帧移动路径在t＝1处的速度；3)在t＝0处不要有视频“突然出现”的感觉；4)路径尽量平滑。为了满足上述要求，例如采用三次贝塞尔曲线，使用的四个控制点分别为c₀,...,c₃。其中，c₀位于起始点x(-2)处，c₃位于目标点处v(1)。c₁有两个自由度(二维空间)。c₂被限制在视频路径在t＝1处的切线上，因此有一个自由度。对于静止镜头，定义c₂位于起点和目标点之间的直线上。

其中，上述对路径规划后的路径进行优化，具体包括：

定义平滑度能量项为：

$E^{smooth}={\∫}_{-2}^1\mathrm{\κ}\left(s\right(t\left)\right)\left|\frac{ds\left(x\right)}{dt}\right|dt,$

其中，κ(s)定义为s处曲率半径的倒数。

定义“突然出现”能量项为：

$E^{popping}=\frac{R\left(t\right)}{D{\left(t\right)}^2},$

其中，R(t)表示t时刻视野被视频占据的比例(如果该值在t＝0时刻为0，则认为避免了视频的突然出现)，D(t)表示t时刻视频中心和视野中心的距离。这样优化结果会尽量让视频远离当前视野，防止视频“突然出现”在视野中。

根据优化公式对对路径规划后的路径进行优化，优化公式为：

${\min }_{c_i}{E}^{smooth}+E^{popping},$

通过求解该优化公式即可解决路径规划问题。

综上，根据本发明实施例的十亿像素视频的实现方法，包括十亿像素视频的采集、制作和展示等三个有机组成的部分。该方法无需复杂的采集装置，即可完成对数据的采集工作，采用图像拼接和视频嵌入的方法实现十亿像素视频制作，将稀疏的动态内容无缝嵌入大范围的场景，从而产生大范围的视频，通过一套算法流程制作成十亿像素视频，并且按照提出的数据格式存储，即具有有效的数据存储方式；另外，该方法的交互方式真实感强，让用户有身临其境的感觉。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种十亿像素视频的实现方法，其特征在于，包括以下步骤：

通过逐行和/或逐列扫描方式采集十亿像素背景图像，其中，相邻的行和/或列对应的背景图像中存在重叠区域，所述重叠区域的面积与对应的背景图像的总面积的比例大于预设值；

采集所述十亿像素背景图像对应场景内的动态视频，并以第一存储方式单独存储所述动态视频；

根据相邻的行和/或列对应的背景图像中的重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像；

在所述十亿像素背景图像中对所述动态视频进行滑动窗口搜索，并计算相应的变换矩阵；

采用直方图匹配方式对所述动态视频对应的前景与所述十亿像素背景图像的背景进行亮度匹配，以将动态视频嵌入十亿像素背景图像中，得到十亿像素视频，其中，以第二存储方式单独存储所述十亿像素背景图像。

2.根据权利要求1所述的十亿像素视频的实现方法，其特征在于，还包括：通过手动浏览模式或者自动浏览模式展示所述十亿像素视频。

3.根据权利要求2所述的十亿像素视频的实现方法，其特征在于，所述手动浏览模式包括：

对所述十亿像素视频的平移和/或缩放，并在平移过程中，当浏览到距离所述动态视频的距离小于第一预设距离时，播放对应的动态视频；在缩放过程中，通过显示框显示所述动态视频的位置，并当浏览到距离所述动态视频的距离小于第二预设距离时，淡化所述显示框。

4.根据权利要求2所述的十亿像素视频的实现方法，其特征在于，所述自动浏览模式包括：

当点击需要浏览的动态视频的缩略图之后，自动平移和/或缩放到对应的观看视野。

5.根据权利要求4所述的十亿像素视频的实现方法，其特征在于，根据路径规划后的路径自动平移和/或缩放到对应的观看视野，其中，所述路径规划包括：采用三次贝塞尔曲线进行路径规划，并对路径规划后的路径进行优化。

6.根据权利要求5所述的十亿像素视频的实现方法，其特征在于，所述对路径规划后的路径进行优化，具体包括：

定义平滑度能量项为：

$E^{smooth}={\∫}_{-2}^1\mathrm{\κ}\left(s\left(t\right)\right)\left|\frac{ds\left(x\right)}{dt}\right|dt,$

其中，κ(s)定义为s处曲率半径的倒数；

定义“突然出现”能量项为：

$E^{popping}=\frac{R\left(t\right)}{D{\left(t\right)}^2},$

其中，R(t)表示t时刻视野被视频占据的比例，D(t)表示t时刻视频中心和视野中心的距离；

根据优化公式对对路径规划后的路径进行优化，所述优化公式为：

${\min }_{c_i}{E}^{smooth}+E^{popping}.$

7.根据权利要求1所述的十亿像素视频的实现方法，其特征在于，所述预设值为[15％，30％]。

8.根据权利要求1所述的十亿像素视频的实现方法，其特征在于，所述第二存储方式为金字塔状分层存储方式。

9.根据权利要求1所述的十亿像素视频的实现方法，其特征在于，所述根据相邻的行和/或列对应的背景图像中的重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像之前，还包括：通过SURF算法检测所述特征点。