CN110290385A - 高时空分辨率的天珠视频处理方法及装置 - Google Patents

Abstract

一种高时空分辨率的天珠视频处理方法及装置，通过对天珠进行视频处理，包括视频压缩、图像重建和哈希表建立压缩视频和重建图像的对应关系，对原始视频进行压缩得到高时间分辨率视频，从原始视频帧抽取对应时间节点帧并生成高空间分辨率图像即超分辨率图像实现图像重建，并建立哈希表将二者有机结合，实现了将高空间分辨率图像与压缩后的高时间分辨率视频时间点相对应，实现了既能利用视频压缩减少占用服务器空间，降低视频播放对带宽的要求，提高视频的流畅度；又可以利用重建的天珠超分辨图像，满足用户随意查看天珠任意角度高清细节的需求。

Description

高时空分辨率的天珠视频处理方法及装置

技术领域

本发明涉及计算机视频处理领域，特别涉及一种高时空分辨率的天珠视频处理方法及装置。

背景技术

天珠具有独具特色的图腾图案，渊源流传，是文化的载体。天珠的材质一般为玉石，并且以硬玉多见，形状一般为圆柱体或两端比中间略细的类圆柱体，以及球体或椭球体。天珠一般都具有特殊的纹理。典型的天珠如图1、2、3所示，其中，图1是短圆柱状的天珠，图2是椭球状的天珠，图3是长圆柱状的天珠。天珠的材质可以取自天然材料，也可以人工合成。天珠不仅具有装饰功能，而且还具有一定的历史研究价值，因而具有很高的收藏价值。

随着电子商务的发展，天珠作为一种特殊的商品也需要在互联网平台上进行展示。目前的天珠展示只是普通的视频播放或图片展示，最大不足是播放到特定时间节点处，无法查看该时间点视频细节放大图像，或者只是仅仅能够看到有限的几张细节图片，无法整体全面地对天珠进行观察。而用户在互联网平台上浏览时，希望既能全面快速地浏览天珠视频以获取整体天珠印象，又能根据个人需求随时暂停以查看局部细节信息，达到一种身临其境的观看效果。因此，如何提供一种天珠的互联网展示方法，使得用户在观看天珠视频的过程中可以随时暂停视频以查看当前视角的细节图像，成为亟待解决的技术问题。

目前，现有的互联网平台商品视频展示，受网络带宽的限制，为了保证视频流畅性，一般采用基于H264方法进行视频压缩，降低原有高清视频的细节信息，即为了保持时间分辨率而牺牲了空间分辨率，达到降低视频占用空间的目的，这就导致了在视频播放暂停时，所停留的画面图像的细节信息不能满足需要。

并且，天珠高清视频通常文件较大，占用较多服务器空间，当很多用户同时播放时会占用较大的带宽，不能保证天珠视频播放的流畅度。此外，天珠等珠宝视频在互联网平台播放时，用户还需要根据需要随时暂停视频，进行放大等操作查看细节信息。

因此普通的互联网平台商品视频展示方法并不能满足天珠展示的需要。

发明内容

本发明针对上述技术问题，提出了一种高时空分辨率的天珠视频处理方法及装置。

为了解决在有限带宽的限制下，用户在观看天珠视频的过程中可以随时暂停视频以查看当前视角的细节图像的技术问题，本发明采用了将高空间分辨率图像与压缩后的高时间分辨率视频时间点相对应的方法，而为了将高空间分辨率图像与压缩后的高时间分辨率视频时间点相对应，则需要解决如何从原始视频帧抽取对应时间节点视频帧并生成高空间分辨率图像即超分辨率图像，以及如何对原始视频进行压缩实现高时间分辨率视频，并将二者有机结合。

为解决上述技术问题，根据本发明的一个方面，提供了一种高时空分辨率的天珠视频处理方法，所述方法包括如下步骤：

1)采用所述天珠视频采集装置采集天珠视频，得到原始天珠视频V₀；

2)抽取原始天珠视频V₀的每一帧图像I_HR，对其进行4倍下采样操作；

3)将步骤2)中的下采样后得到的新序列图像组成新的视频V₁，基于H264视频压缩算法进行视频压缩；

4)对于原始天珠视频V₀等时间间隔L连续选取m帧，利用m帧进行超分辨率图像重建，生成一张高空间分辨率的天珠图像即超分辨率图像；

5)建立所述哈希函数hash(t)，将视频t_k时间的帧对应到步骤4)生成的超分辨率图像，计算如式(4)所示：

hash(t)＝(t_k/L)+1 (4)

其中，/表示整除，t_k表示当前帧时间，L为等时间间隔。

优选地，所述每一帧图像I_HR的原始高度和宽度分别为M和N，下采样操作公式如式(1)所示：

其中I_LR表示下采样得到新图像，a_ij表示所述图像I_HR中像素的像素值，式(1)中参数i的取值为从1到M，参数j的取值为从1到N，最后得到的下采样图像尺寸为

优选地，所述超分辨率图像的生成公式如式(2)所示：

其中，I_SR表示重建的超分辨率图像，f()为重建函数，I¹ _HR、I² _HR、...、为选取的原始视频帧。

优选地，采集天珠视频是采用天珠固定、相机转动的方式采集；

优选地，采集天珠视频是采用相机固定、天珠转动的方式采集；

优选地，原始天珠视频V₀的每一帧图像I_HR表示为式(3)的形式：

I_HR＝W_kI_SR+n_k (3)

其中，W_k表示模糊、运动和下采样参数变换矩阵，n_k表示随机噪声。该变换矩阵W_k和噪声n_k由凸集投影(Projection onto convex sets，POCS)方法得到。

优选地，当对天珠商品在互联网平台上进行展示时，天珠压缩视频V₁用于在互联网平台视频播放，高空间超分辨率图像I_SR存储在后台。当用户观看时，播放天珠视频V₁，当用户暂停天珠视频V₁时，调用哈希函数调出天珠的超分辨率图像，用于放大、拖动或者旋转查看天珠的细节信息。

根据本发明的另一个方面，提供了一种高时空分辨率的天珠视频处理装置，包括：

1)天珠视频采集装置，采集天珠视频，得到原始天珠视频V₀；

2)下采样操作单元，抽取原始天珠视频V₀的每一帧图像I_HR，对其进行4倍下采样操作；

3)视频压缩单元，将步骤2)中的下采样后得到的新序列图像组成新的视频V₁，基于H264视频压缩算法进行视频压缩；

4)图像重建单元，对于原始天珠视频V₀等时间间隔L连续选取m帧，利用m帧进行超分辨率图像重建，生成一张高空间分辨率的天珠图像即超分辨率图像；

5)哈希函数单元，建立哈希函数hash(t)，将视频t_k时间的帧对应到步骤4)生成的超分辨率图像，计算如式(4)所示：

hash(t)＝(t_k/L)+1 (4)

其中，/表示整除，t_k表示当前帧时间，L为等时间间隔。

优选地，所述天珠视频采集装置，包括：底板，框架，以及安装于底板中间的转盘，在框架上固定安装的摄像机，安装在摄像机周边的多个补光灯。

优选地，采用将天珠放到转盘，摄像机保持不动的视频采集方式，进行旋转采集天珠视频和图像。

本发明的有益效果：

1、采用本发明的高时空分辨率的天珠视频处理方法，用户既能全面快速地浏览天珠等珠宝视频以获取天珠等珠宝的整体印象，又能根据个人需求随时暂停以查看天珠等珠宝的局部细节信息，达到一种身临其境的观看效果。

2、基于时间节点的天珠高分辨率图像与视频帧哈希对应，完成图像的快速检索和调用，保证用户查看视频暂停时所停留的画面图像是高清的。

3、天珠高空间分辨率图像的多帧超分辨率重建，实现了将高空间分辨率图像与压缩后的高时间分辨率视频时间点相对应，实现了既能利用视频压缩减少占用服务器空间，降低视频播放对带宽的要求，提高视频的流畅度；又可以利用重建的天珠超分辨图像，满足用户随意查看天珠任意角度高清细节的需求。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。

图1是短圆柱状的天珠；

图2是椭球状的天珠；

图3是长圆柱状的天珠；

图4是本发明的天珠图像模板视频采集装置；

图5是对原始视频帧下采样过程；

图6是多帧图像生成超分辨率图像；

图7是凸集投影算法超分辨率重建示意图；

图8是本发明视频处理流程示意图。

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。

天珠视频采集装置如图4所示，包括底板，框架，以及安装于底板中间的转盘，在框架上固定安装的摄像机，安装在摄像机周边的多个补光灯等。为了降低多视角采集天珠图像的难度，采用将天珠放到转盘，摄像机保持不动的视频采集方式，进行旋转采集天珠视频和图像。

高时空分辨率的天珠视频处理方法包括如下步骤：

1)采用天珠视频采集装置采集天珠视频，得到原始天珠视频V₀。

2)抽取原始天珠视频V₀的每一帧图像I_HR，所述每一帧图像I_HR的原始高度和宽度分别为M和N，对其进行4倍下采样操作。下采样过程的示意图如图5所示。其中左侧所示为原始图像，右侧所示为下采样图像，a₀、a₁、a₂、a₃表示原始图像中的像素块，经过下采样操作后得到采样图像的像素块。下采样操作公式如式(1)所示。

其中I_LR表示下采样得到新图像，a_ij表示所述图像I_HR中像素的像素值，式(1)中参数i的取值为从1到M，参数j的取值为从1到N。最后得到的下采样图像尺寸为通过下采样过程达到缩小原始图像的目的，有利于有限带宽的限制下提高视频的流畅度。

3)将步骤2)中的下采样后得到的新序列图像组成新的视频V₁，基于H264视频压缩算法进行视频压缩。这样得到的视频在保持时间分辨率的同时降低空间分辨率。通过首先执行的下采样过程然后再执行基于H264的视频压缩过程，能够在多个用户同时进行视频点播时，不会受到带宽限制造成视频播放不流畅，从而保证了视频播放的流畅度，提高用户的观看体验。

4)对于原始天珠视频V₀等时间间隔L连续选取m帧，利用m帧进行超分辨率图像重建，生成一张高空间分辨率的天珠图像即超分辨率图像。多帧图像生成超分辨率图像的生成过程如图6所示，所述超分辨率图像的生成公式如式(2)所示。

其中，I_SR表示重建的超分辨率图像，f()为重建函数， 为选取的原始视频帧。

采集天珠视频是可以采用天珠固定、相机转动的方式，也可以采用相机固定、天珠转动的方式；本实施例中以采集天珠视频时相机位置固定，只用天珠转动为例进行示例性说明，具体采集时尽量采集天珠的各个角度和各个方位的视频。由于天珠表面弧度有限，本实施例中以天珠图像水平移动进行示例性说明。原始天珠视频V₀的每一帧图像I_HR可以表示为式(3)的形式：

I_HR＝W_kI_SR+n_k (3)

其中，W_k表示模糊、运动和下采样参数变换矩阵，n_k表示随机噪声。该变换矩阵W_k和噪声n_k由凸集投影(Projection onto convex sets，POCS)方法得到。采用凸集投影算法进行超分辨率图像重建的过程如图7所示。所述超分辨率图像是与步骤3)后得到的视频图像中的清晰度不高的图像完全不同的图像，所述超分辨率图像能够给用户提供清晰的天珠细节。

5)建立哈希函数hash(t)，将视频t_k时间的帧对应到步骤4)生成的超分辨率图像，计算如式(4)所示：

hash(t)＝(t_k/L)+1 (4)

其中，/表示整除，t_k表示当前帧时间，L为等时间间隔。

图8为本发明视频处理流程示意图。其中，输入是原始视频V₀，输出为压缩视频V₁和超分辨率图像I_SR。

当对天珠商品在互联网平台上进行展示时。天珠压缩视频V₁用于在互联网平台视频播放，高空间超分辨率图像I_SR存储在后台。当用户观看时，播放天珠视频V₁，当用户暂停天珠视频V₁时，调用哈希函数调出天珠的超分辨率图像，用于放大、拖动或者旋转查看天珠的细节信息。

采用本发明的高时空分辨率的天珠视频处理方法，当用户在互联网平台上浏览天珠等珠宝视频时，既能全面快速地浏览天珠等珠宝视频以获取天珠等珠宝的整体印象，又能根据个人需求随时暂停以查看天珠等珠宝的局部细节信息，达到一种身临其境的观看效果。

本发明所述的高时空分辨率的天珠视频处理方法，可以在视频播放时不受网络带宽的限制，保证了视频播放的流畅性，又能在视频播放暂停时，保证所停留的画面图像是高清的，并且用户可以根据所使用终端的操作系统所支持的图像查看操作方法对所述停留画面进行放大、拖动、旋转或编辑、保存等操作，优选地，当用户在手机界面上进行操作时，可以使用所述手机的操作系统支持的触摸命令模式对所述停留画面进行操作。

采用传统珠宝商品的互联网展示时，天珠高清视频通常文件较大，占用较多服务器空间，当有很多用户同时播放时会占用较大的带宽，不能保证天珠视频播放的流畅度。此外，天珠等珠宝视频在互联网平台播放时，也不能操作高清的视频暂停画面，影响用户的观看体验。本发明通过对天珠进行视频处理，包括视频压缩、图像重建和哈希表建立压缩视频和重建图像的关系，对原始视频进行压缩得到高时间分辨率视频，从原始视频帧抽取对应时间节点视频帧并生成高空间分辨率图像即超分辨率图像实现图像重建，并建立哈希表将二者有机结合，实现了将高空间分辨率图像与压缩后的高时间分辨率视频时间点相对应，实现了既能利用视频压缩减少占用服务器空间，降低视频播放对带宽的要求，提高视频的流畅度；又可以利用重建的天珠超分辨图像，满足用户随意查看天珠任意角度高清细节的需求。本发明所述的高时空分辨率的天珠视频处理方法极大地提升了用户的观看体验，为用户提供了身临其境的观看效果。

至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种高时空分辨率的天珠视频处理方法，其特征在于，

所述方法包括如下步骤：

1)采用所述天珠视频采集装置采集天珠视频，得到原始天珠视频V₀；

2)抽取原始天珠视频V₀的每一帧图像I_HR，对其进行所述4倍下采样操作；

3)将步骤2)中的下采样后得到的新序列图像组成新的视频V₁，基于所述H264视频压缩算法进行视频压缩；

4)对于原始天珠视频V₀等时间间隔L连续选取m帧，利用m帧进行超分辨率图像重建，生成一张高空间分辨率的天珠图像即超分辨率图像；

5)建立所述哈希函数hash(t)，将视频t_k时间的帧对应到步骤4)生成的超分辨率图像，计算如式(4)所示：

hash(t)＝(t_k/L)+1 (4)

其中，/表示整除，t_k表示当前帧时间，L为等时间间隔。

2.根据权利要求1所述的高时空分辨率的天珠视频处理方法，其特征在于，

所述每一帧图像I_HR的原始高度和宽度分别为M和N，下采样操作公式如式(1)所示：

其中I_LR表示下采样得到新图像，a_ij表示所述图像I_HR中像素的像素值，式(1)中参数i的取值为从1到M，参数j的取值为从1到N，最后得到的下采样图像尺寸为

3.根据权利要求2所述的高时空分辨率的天珠视频处理方法，其特征在于，

采集天珠视频是采用天珠固定、相机转动的方式采集。

4.根据权利要求2所述的高时空分辨率的天珠视频处理方法，其特征在于，

采集天珠视频是采用相机固定、天珠转动的方式采集。

5.根据权利要求3或4所述的高时空分辨率的天珠视频处理方法，其特征在于，

当对天珠商品在互联网平台上进行展示时，天珠压缩视频V₁用于在互联网平台视频播放，高空间超分辨率图像I_SR存储在后台；当用户观看时，播放天珠视频V₁，当用户暂停天珠视频V₁时，调用哈希函数调出天珠的超分辨率图像，用于放大、拖动或者旋转查看天珠的细节信息。

6.一种高时空分辨率的天珠视频处理装置，其特征在于，

所述装置包括：

1)天珠视频采集装置，采集天珠视频，得到原始天珠视频V₀；

2)下采样操作单元，抽取原始天珠视频V₀的每一帧图像I_HR，对其进行4倍下采样操作；

3)视频压缩单元，将步骤2)中的下采样后得到的新序列图像组成新的视频V₁，基于H264视频压缩算法进行视频压缩；

4)图像重建单元，对于原始天珠视频V₀等时间间隔L连续选取m帧，利用m帧进行超分辨率图像重建，生成一张高空间分辨率的天珠图像即超分辨率图像；

5)哈希函数单元，建立哈希函数hash(t)，将视频t_k时间的帧对应到步骤4)生成的超分辨率图像，计算如式(4)所示：

hash(t)＝(t_k/L)+1 (4)

其中，/表示整除，t_k表示当前帧时间，L为等时间间隔。

7.根据权利要求6所述的高时空分辨率的天珠视频处理装置，其特征在于，

所述天珠视频采集装置，包括：底板，框架，以及安装于底板中间的转盘，在框架上固定安装的摄像机，安装在摄像机周边的多个补光灯。

8.根据权利要求6所述的高时空分辨率的天珠视频处理装置，其特征在于，

采用将天珠放到转盘，摄像机保持不动的视频采集方式，进行旋转采集天珠视频和图像。