CN112437286A

CN112437286A - 一种全景原始画面视频分块传输方法

Info

Publication number: CN112437286A
Application number: CN202011318188.6A
Authority: CN
Inventors: 胡志发
Original assignee: Chengdu Visionertech Co ltd
Current assignee: Chengdu Visionertech Co ltd
Priority date: 2020-11-23
Filing date: 2020-11-23
Publication date: 2021-03-02
Anticipated expiration: 2040-11-23

Abstract

本发明公开了一种全景原始画面视频分块传输方法，包括：获取使用者在全景场景中视角位置和视角范围，用户视角信息计算转换原始视角区域传递给全景摄像机，截取对应区域图像进行传输，继续第一步实现使用者实时观看交互。本发明通过在全景画面中按照实际的观看需求对全景画面进行分块区域传输，在使用者进行切换视角时，通过快速计算区域范围进行传输，实现用户无感的对全景任意区域进行观看，并且可以达到在相同的带宽条件下更高清全景画面效果的实时传输，用户体验更好。

Description

一种全景原始画面视频分块传输方法

技术领域

本发明属于实时数据传输技术领域，尤其属于一种应用于超高清全景视频数据传输的技术，特别涉及一种全景原始画面视频分块传输方法，用于实时观看全景实时视频画面时节省视频数据传输数据量。

背景技术

全景视频是一种新兴的数据形态，特别是全景720°随着监控安防以及VR行业的发展，各个行业的全景数据量也急剧增长。与传统普通平面图像视频数据相比，全景数据在数据处理以及数据传输部分也会有比较大的困难，特别是为了获取较好的用户体验，得到高画质、低延时的全景图像视频效果，对在传统流媒体技术实现是很大的挑战。

通过传统的流媒体技术，可以把全景图像视频数据编码成标准的数据流格式用于正常的数据传输。而传输这种大分辨率高画质的数据，往往会需要高带宽的网络需求，并且对应的会产生数据传输网络延迟。对于流媒体服务器端而言，同样针对不同用户的观看需要，传输大分辨率高画质数据给多个用户，对于带宽的需求压力就成倍数的增高。然而实际全景观看过程中用户在大多数场景下观看的视角会相对稳定，为了解决在相对低频的全景视角切换的需求，把实时的带宽提升到比较大的量级，会造成数据带宽的浪费。因此需要一种在现有带宽基础上更好的传输方法。

发明内容

本发明根据现有技术的不足公开了一种全景原始画面视频分块传输方法。本发明的目的是针对全景双鱼眼采集设备得到的原始全景视频数据，根据全景实时传输的实际需求实时传输部分全景内容并在线调整传输内容，从而减小图像的传输带宽要求，提高传输效果，获取更好的用户体验。

本发明通过以下技术方案实现。

一种全景原始画面视频分块传输方法：

1、获取使用者在全景场景中视角位置和视角范围；

2、用户视角信息计算转换原始视角区域传递给全景摄像机；

3、截取对应区域图像进行传输；

4、继续步骤1，实现使用者实时观看交互。

通常全景画面因为其分辨率与普通视频相比分辨率过高，其传输带宽要求也很高。本发明提出了一种全景原始画面视频分块传输的方法，特别针对全景双鱼眼采集设备得到原始全景画面。在终端设备上播放的同时，获取用户观看全景视角区域位置，通过坐标计算得到对应区域的原始数据范围，并进一步扩展周围待选区域，从而提高使用者切换视角时实时画面预览更新速度。

本发明的有益效果是，通过在全景画面中按照实际的观看需求对全景画面进行分块区域传输，在使用者进行切换视角时，通过快速计算区域范围进行传输，实现用户无感的对全景任意区域进行观看，并且可以达到在相同的带宽条件下更高清全景画面效果的实时传输，用户体验更好。

附图说明

图1是本发明方法流程框图；

图2是用户观看区域视角范围计算示意图；

图3是全景视野区域投影到原始全景画面区域示意图；

图4是全景原始画面区域膨胀计算示意图；

图5是全景原始画面传输区域计算示意图；

图6是全景原始画面考虑画面缓存的传输区域计算示意图；

图7是全景原始画面考虑画面缓存的传输区域计算示意图；

图8是全景视角范围考虑缓存区域计算示意图。

具体实施方式

下面结合具体实施方式对本发明进一步说明，具体实施方式是对本发明原理的进一步说明，不以任何方式限制本发明，与本发明相同或类似技术均没有超出本发明保护的范围。

结合附图。

对于全景画面数据的传输，特别是高清全景图像，为了解决其流畅传输的问题，本发明提出了一种实时分块传输方案，以达到节省带宽、提升高清全景画面浏览体验的目的。

本发明全景原始画面视频分块传输方法，包括以下步骤：

S1、全景场景中视角位置和范围获取。

用户在观看全景画面中的一个部分时，通常使用全景球模型把原始球形画面投影到屏幕上进行平面显示，在显示过程中视窗的大小往往由用户通过鼠标或者触控屏来控制当前显示画面的视角范围，并且可以通过拖动画面进行画面显示内容切换。根据显示屏幕的显示范围和视角，可以确定在全景画面中观看的画面区域和位置。其中，视角位置由画面正中心所对应的经纬度来确定，视角范围计算如图2所示；

ω＝2θ+fov

其中，E为视点位置，αR为OE的尺寸，由用户观看时控制输入来改变,R为全景球形画面半径AO、BO尺寸，一般归一化取值为1，fov为视点观看视角，一般取值为固定设定值，ω为当前观看画面视角范围计算的范围。

在实际屏幕显示过程中，往往在一个方向上能够保证完整的视点视角，所以最终确定用户观看的屏幕上显示范围由显示屏幕长宽比来确定，如保证屏幕纵向方向视点视角固定，则最终视角范围为：

ω_H＝ω

其中，W，H为屏幕有效窗口显示分辨率尺寸,单位：像素；ω_H、ω_W为实际视角区域范围。

S2、用户视角信息计算转换原始视角区域传递给全景摄像机。

在显示端获取屏幕观看的画面区域和位置后，通过经纬度来确认当前用户观看的区域范围，如图3所示。确定的经纬度范围为：

通过全景与原始画面投影变化关系求取原始视角区域。在计算区域的过程，以一定的区域块来划分最终原始画面中区域，如图4所示。图中使用模版图来表征计算结果，模版图分最终原始图像分为w*h个方格，每个方格表征原始图像的一块小区域。对于最终区域通过标记模版图中每个方格值来确定对应图像区域是否为需要传输区域，1表示需要传输，0表示不需要传输。而在坐标计算过程中，对于经纬度坐标的四个顶点：(lon_L,lat_U)，(lon_L,lat_D)，(lon_R,lat_U)，(lon_R,lat_D)进行投影计算得到原始图像坐标，该坐标进行等效计算到模版图上，并得到近似模版图区域。

当0°＝<lon<180°

x＝x_L-r*cos(lon)；

y＝y_L-r*sin(lat)；

当-180°＝<lon<0°

x＝x_R+r*cos(lon)；

y＝y_R-r*sin(lat)；

S3、截取对应区域图像进行传输。

从模版图上截取对应原始画面的图像，模版图首先进行有效区域“膨胀”处理，如图5所示，即对需要截取的区域周围进行区域扩充，执行此操作可以实现对目标区域的待选区域进行提前选择，从而实现数据的提前缓存。另外，对于最终区域选择，可以通过对使用者的操作记录进行分析并提前预测得到扩大其区域选择，即可提前加载用户想要观测的区域，减小用户实时观看数据的加载延迟。

在S2步骤中，模版图的生成采用可以采用以下方法之一：

方法一，S21、在得到对应定点坐标(lon,lat)后，计算原始双鱼眼坐标，在计算得到对应点后(x’_L,y’_U)，(x’_R,y’_D)，则对应的模板区域计算为：

x_L＝min(x’_L,x’_R)，x_R＝max(x’_L,x’_R)，y_U＝min(y’_U,y’_D)，y_D＝max(y’_U,y’_D)

则种种模板区域为：(x_L,y_U),(x_R,y_U),(x_L,y_D),(x_R,y_D)所围成的矩形区域。

方法二，S22、在得到对应顶点坐标(lon,lat)后，计算原始双鱼眼坐标，在计算得到对应点后(x’₁,y’₁)，(x’₂,y’₂)，(x’₃,y’₃)，(x’₄,y’₄)则对应的模板区域计算为：

x_L＝min(x’₁,x’₂，x’₃,x’₄),x_R＝max(x’₁,x’₂，x’₃,x’₄)，y_u＝min(y’₁,y’₂，y’₃,y’₄)， y_D＝max(y’₁,y’₂，y’₃,y’₄)；

则种种模板区域为：(x_L,y_U),(x_R,y_U),(x_L,y_D),(x_R,y_D)所围成的矩形区域，如图6所示。

在S3步骤中，对模版图的膨胀处理后，进行区域缓冲，如图7所示，使用以下策略：

当用户视角变化时，采用区域变化趋势方向缓存，并根据视角变化速度进行区域大小变化，计算方式为：

对于当前视角范围，对于范围中心坐标P_v(lon，lat),根据视角运动变化方向和速度，计算视角范围连续区域为(如图8所示)

lon_d＝lon+v*arc_x；

lat_d＝lat+v*arc_y；

P_d(lon_d，lat_d)与P_v(lon，lat)之间连续区域为当前需要传输的区域范围，视野宽度保持为ω_H、ω_W；

对于全景画面数据的传输，特别是高清全景图像，为了解决其流畅传输的问题，本发明采用了一种实时分块传输方案，以达到节省带宽、提升高清全景画面浏览体验的目的。

Claims

1.一种全景原始画面视频分块传输方法，其特征在于包括以下步骤：

S1、获取使用者用户在全景场景中视角位置和视角范围；

S2、用户视角信息计算转换原始视角区域传递给全景摄像机；

S3、截取对应区域图像进行传输；

S4、继续S1步骤，实现用户实时观看交互。

2.根据权利要求1所述的全景原始画面视频分块传输方法，其特征在于：步骤S1获取用户在全景场景中视角位置和视角范围是：

全景场景的原始球形画面通过投影到屏幕上进行平面显示，用户观看全景画面中的一个部分时，显示过程中视窗的大小由用户通过鼠标或者触控屏来控制确定当前显示画面的视角范围，并且可以通过拖动画面进行画面显示内容切换；

确定视角范围后，视角位置由画面正中心所对应的经纬度来确定。

3.根据权利要求2所述的全景原始画面视频分块传输方法，其特征在于所述用户控制确定的视角范围由显示屏幕长宽比来确定，视角范围为：

ω_H＝ω

其中，W，H为屏幕有效窗口显示分辨率尺寸,单位：像素；ω为当前观看画面视角范围计算的范围，ω_H、ω_W为实际视角区域范围。

4.根据权利要求3所述的全景原始画面视频分块传输方法，其特征在于：步骤S2用户视角信息计算转换原始视角区域传递给全景摄像机中，用户控制确定视角位置和视角范围后，在显示端获取屏幕观看的画面区域和位置，通过经纬度来确认当前用户观看的区域范围，确定的经纬度范围为：

通过全景球形画面与投影到屏幕上的平面原始画面投影变化关系求取原始视角区域；在计算区域的过程，以区域块来划分最终原始画面中区域，使用模版图来表征计算结果，模版图将最终原始图像分为w*h个方格，每个方格表征原始图像的一块小区域；对于最终区域通过标记模版图中每个方格值来确定对应图像区域是否为需要传输区域，1表示需要传输，0表示不需要传输；

在坐标计算过程中，对于经纬度坐标的四个顶点：(lon_L,lat_U)，(lon_L,lat_D)，(lon_R,lat_U)，(lon_R,lat_D)进行投影计算得到原始图像坐标，该坐标进行等效计算到模版图上，并得到近似模版图区域。首先计算原始双鱼眼画面圆心坐标为(x_L,y_L),(x_R,y_R),像圆半径为r，等效到模版图坐标计算方式为:

当0°＝<lon<180°

x＝x_L-r*cos(lon)；

y＝y_L-r*sin(lat)；

当-180°＝<lon<0°

x＝x_R+r*cos(lon)；

y＝y_R-r*sin(lat)。

5.根据权利要求4所述的全景原始画面视频分块传输方法，其特征在于：所述S2步骤中，模版图的生成采用以下方法，在得到对应定点坐标(lon,lat)后，计算原始双鱼眼坐标，在计算得到对应点后(x’_L,y’_U)，(x’_R,y’_D)，则对应的模板区域计算为：

x_L＝min(x’_L,x’_R),x_R＝max(x’_L,x’_R),y_U＝min(y’_U,y’_D),y_D＝max(y’_U,y’_D)；

6.根据权利要求4所述的全景原始画面视频分块传输方法，其特征在于：所述S2步骤中，模版图的生成采用以下方法，在得到对应定点坐标(lon,lat)后，计算原始双鱼眼坐标，在计算得到对应点后(x’₁,y’₁)，(x’₂,y’₂)，(x’₃,y’₃)，(x’₄,y’₄)则对应的模板区域计算为：

x_L＝min(x’₁,x’₂，x’₃,x’₄),x_R＝max(x’₁,x’₂，x’₃,x’₄)，y_u＝min(y’₁,y’₂，y’₃,y’₄)，y_D＝max(y’₁,y’₂，y’₃,y’₄)；

7.根据权利要求4至6任一项所述的全景原始画面视频分块传输方法，其特征在于：在步骤S3中，对模版图的膨胀处理后，进行区域缓冲，包括以下方法：当用户视角变化时，采用区域变化趋势方向缓存，并根据视角变化速度进行区域大小变化，计算方式为：

对于当前视角范围，对于范围中心坐标P_v(lon，lat),根据视角运动变化方向和速度，计算视角范围连续区域为；

lon_d＝lon+v*arc_x；

lat_d＝lat+v*arc_y；

P_d(lon_d，lat_d)与P_v(lon，lat)之间连续区域为当前需要传输的区域范围，视野宽度保持为ω_H、ω_W。