CN104244019A - 一种全景视频影像室内分屏显示方法及显示系统 - Google Patents

Abstract

本发明公开了一种全景视频影像室内分屏显示方法及系统。通过几何投影和视频映射的方式将一组视频播放设备与全景视频录像动态匹配，实现室内空间与室外景观的自然融合，给人一种身处景区别墅或观景平台的逼真感受。与现有技术和设备相比，该方法及系统在给用户更大景观欣赏空间的同时，也能使用户的整体体验得到明显改善。不仅实现方便、成本可控，而且能够根据用户的个性化需要自由定制景观窗口的数目、大小和画面品质，灵活调整景观的观赏视角。

Description

一种全景视频影像室内分屏显示方法及显示系统

技术领域

本发明专利主要涉及全景视频影像显示，具体指一种全景视频影像室内分屏显示方法及显示系统。

背景技术

随着城市化进程，都市遍地高楼，人们打开窗户往往见到的是灰暗的高楼墙体，即便是处于更高的楼层，放眼望去也是满地的水泥建筑物，毫无风景可言，长期处于这样的环境中使得人们的身心得不到及时的放松，压力将无法缓解，如何将室外优美的风景引入室内，人们足不出户即可行赏世间美景，让人赏心悦目缓解压力，愉悦身心呢。

目前，采用单屏幕播放定点风景录像的方法或者直接采用全景环幕的方法：单屏幕播放定点风景录像的方法，单纯的将室外录制的画面在室内视频播放器中播放，不仅视角有限，且无法对景观方向进行灵活调整，因而给不了用户身临其境的视觉感受；采用全景环幕的方法，不仅造价昂贵，维护成本高，且全景影像带来的全开放式场景，还会破坏室内密闭空间原有的私密性，降低用户在室内的温馨感受。

发明内容

本发明的目的在于提供一种全景视频影像室内分屏显示方法，将室外风景动态地显示在室内若干观景视窗中，实现室内空间与室外景观的自然融合，给人一种身处景区别墅或观景平台的逼真感受。

为实现上述目的，本发明所设计的全景视频影像室内分屏显示方法，其特征在于包括以下步骤：

1)在室内墙壁上设置至少一个观景视窗，所述观景视窗具有视频播放功能；

2)在虚拟空间中构建能够包容步骤1所述室内空间和所有观景视窗的360°虚拟全景环幕，并将室外采集的全景视频影像映射到虚拟全景环幕上；

3)取视窗中垂线上任意点作为观景点(几何投影起点)，根据人眼视线的几何投影关系，将观景视窗投影到虚拟全景环幕上，确定观景视窗对应的可视区域，并获取此投影区域在全景视频影像上所对应的视频块范围；

4)按照步骤3所述方法，获取每个观景视窗在全景视频影像上所对应的不同视频块范围，并在所有室内观景视窗上同步播放其所对应视频块的景观录像。

优选地，步骤二中构建的虚拟全景环幕并不真实存在，而是为了满足观景视窗与全景视频影像中视频块之间映射计算的需要，主观臆造的虚拟对象。虚拟全景环幕为360°环形幕或者球面幕。

优选地，步骤二中全景视频影像水平方向像素原点对应于室外风景录像的正北方向，沿顺时针方向像素坐标取正值，沿逆时针方向像素坐标取负值，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数为全景视频影像水平方向像素原点与室内空间正北方向的夹角，也即室外风景录像正北方向与室内空间正北方向间的角度偏差。

优选地，步骤三中获取视频块的步骤如下：

31)选取室内任一点为原点，构建虚拟空间的三维坐标系，通过几何测量法，确定视窗几何中心、视窗边界拐点的空间三维坐标，并结合虚拟全景环幕几何中心的空间三维坐标参数和虚拟全景环幕的半径参数，参照视窗的中垂线方向，计算出视窗几何中心在虚拟环幕上的投影点坐标；

32)将全景视频影像映射到虚拟全景环幕上，根据全景视频在水平方向的像素数目和虚拟全景环幕的半径，计算视频的角度分辨率和空间分辨率，并根据视频的角度分辨率、空间分辨率，以及全景视频在垂直方向的像素数目、虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数和全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数，对步骤31得到的视窗几何中心在虚拟环幕上的投影点坐标进行换算，得到观景视窗几何中心的在全景视频影像中所对应映射点的像素坐标；

33)利用观景视窗的水平视场角参数，并结合虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，以及观景视窗几何中心和视窗在水平方向边界极值点的空间三维坐标，参照视窗的中垂线方向，计算观景视窗与全景视频影像之间的映射比例；

34)以观景视窗几何中心为原点，在观景视窗所在平面内构建二维坐标系，获得观景视窗所有边界拐点相对于观景视窗几何中心的平面坐标，结合步骤32得到的观景视窗几何中心在全景视频影像中所对应映射点的像素坐标，以及步骤33得到的观景视窗与全景视频影像之间的映射比例，计算观景视窗所有边界拐点在全景视频影像上所对应映射点的像素坐标，并依据观景视窗的边界线，在全景视频影像中按顺序连接所有边界拐点的映射点，从而得到完整的视频块映射范围。

所述虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数，以及每个观景视窗的视场角参数，均可根据需要自由设置。

更进一步地，一种利用全景视频影像室内分屏显示方法的全景视频影像室内分屏显示系统，其特殊之处在于：包括全景视频采集设备，用于采集全景视频影像；

数据编码与传输设备，用于对采集的全景视频影像进行压缩编码，并传输；

数据接收与解码设备，用于接收从网络传输的全景视频影像压缩数据，并通过解压缩算法还原全景视频影像；

视频数据管理设备，用于动态缓存从数据接收与解码设备中传入的连续全景视频影像，并将其转发到视窗总控设备进行处理；

视窗总控设备，用于根据观景视窗和虚拟全景环幕间的空间位置关系、虚拟全景环幕和全景视频影像间的映射关系、以及单视窗分控设备上传的视场角参数，计算各视窗在全景视频影像中所对应的视频块映射范围，并将视频块所对应的影像数据分别传输到不同的单视窗分控设备；

单视窗分控设备，与单个终端显示设备对应，用于根据用户的设置信息，向视窗总控设备传输观景视窗的视场角参数，并依据所对应终端显示设备的显示参数，对从视窗总控设备接收到视频块数据进行重采样处理，使其满足终端显示设备的最终显示需要，然后将处理后的数据转发到终端显示设备。

终端显示设备，用于同步显示从单视窗分控设备接收到的视频块数据。

优选地，所述终端显示设备可选用若干显示屏、投影仪或现有技术中的任意视频播放设备，成本低，购置方便；

所述视窗分组总控设备提供图形化的人机交互界面，用于设置虚拟环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数；

所述单视窗分控设备提供简单的人机操作界面，用于设置单个观景视窗的视场角参数；

本发明的优点在于：通过几何投影和视频映射的方式，将室外获取的全景视频影像显示在室内墙壁上设置的一系列视频播放设备中，实现了室内空间与室外景观的自然融合。景观参数的自由设置，在给用户更大景观欣赏空间的同时，也能使用户的整体体验得到明显改善。视频播放设备与全景视频影像的动态匹配，使得全景视频影像室内分屏显示系统不仅配置灵活、成本可控，而且能够根据用户的个性化需要自由定制景观窗口的数目、大小和画面品质，灵活调整景观的观赏视角。

附图说明

图1为全景视频影像展开图。

图2为室内观景视窗到全景环幕的几何投影立体示意图。

图3为室内观景视窗到全景环幕的几何投影平面示意图。

图4为全景视频影像室内分屏显示效果示意图。

图5为观景视窗到虚拟全景环幕的几何投影计算过程示意图。

图6为观景视窗到全景视频影像的视频映射计算过程示意图。

图7为全景视频影像室内分屏显示系统结构示意图。

图8为分组总控设备图形化人机交互界面结构图。

其中：全景视频影像1，第一观景视窗对应的视频块101，第二观景视窗对应的视频块102，室内空间2，第一观景视窗201，第二观景视窗202，虚拟全景环幕3，虚拟全景环幕几何中心Cnt，虚拟全景环幕半径参数R，全景视频影像1在虚拟全景环幕3上的映射起始位置301，301对应的方向角参数ω，第一观景视窗201在虚拟环幕上的映射范围401，第二观景视窗202在虚拟环幕上的映射范围402，第一观景视窗201的视场角参数δ1，第一观景视窗201几何中心O，视窗201的几何投影起始点P，视窗201的水平方向边界极值点A、B，视窗201的任意边界拐点C，O在虚拟全景环幕上的投影点O¹，A在虚拟全景环幕上的投影点A¹，B在虚拟全景环幕上的投影点B¹，O在全景视频影像上的映射点O²，C在全景视频影像上的映射点C²，分组总控设备的图形界面501，分组总控设备的虚拟全景环幕几何中心调整面板502，分组总控设备的虚拟全景环幕半径调整面板503，分组总控设备的全景视频影像与虚拟全景环幕映射起始位置方向角调整面板504。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

如图1～6所示，本发明全景影像室内分屏显示方法，包括以下步骤：

步骤一，在室内2墙壁上设置若干观景视窗，例如第一观景视窗201，第一观景视窗201可选用各类视频显示设备，如：显示器、投影仪等；

步骤二，在步骤1中所述室内2空间外部构建能包容所有观景视窗的360°虚拟全景环幕3，并将室外采集的全景视频影像1映射到虚拟全景环幕3上；

步骤三，具体如下：

以下计算过程以360°环形虚拟全景环幕为例

31)通过以下方法计算第一观景视窗201几何中心O在虚拟全景环幕3上投影点O¹的空间坐标(Xo¹，Yo¹，Zo¹)：

选取室内任一点为三维坐标原点，并通过几何测量法，得到第一观景视窗201几何中心O的坐标(Xo，Yo，Zo)，第一观景视窗201的中垂线OP的单位方向矢量(Nx，Ny，Nz)，从而获得观景视窗201的中垂线方程组⑴：

X＝Xo+Nx×t

Y＝Yo+Ny×t

Z＝Zo+Nz×t   ⑴

再通过几何测量法，得到景观中心Cnt的坐标(Xcnt，Ycnt，Zcnt)和虚拟全景环幕半径R的大小，将虚拟全景环幕3表示为方程⑵:

(X－Xcnt)²+(Y－Ycnt)²＝R²   ⑵

联立方程组⑴和方程⑵，即可计算观景视窗几何中心O在虚拟全景环幕的投影点O¹的空间坐标(Xo¹，Yo¹，Zo¹)；

32)通过以下方法计算第一观景视窗201几何中心O在全景视频影像1中的映射点O²所对应的像素坐标(Pixel_X，Pixel_Y)：

根据以下全景视频环幕3的参数方程组⑶，将O¹的空间坐标转化为角度与高度集合的参数坐标形式(θo¹，Zo¹)：

X＝Xcnt+RCosθ

Y＝Ycnt+RSinθ   ⑶

其中，Sin和Cos分别为正弦和余弦计算符号(下同)。

基于全景视频影像的水平方向像素数目PixelNumX和虚拟全景环幕的半径R，根据以下公式⑷、⑸，计算视频的角度分辨率ResAngle和空间分辨率ResSpace

ResAngle＝PixelNumX/360   ⑷

ResSpace＝PixelNumX/(2πR)   ⑸

其中，π为圆周率(下同)。

基于投影点O¹的参数坐标(θo¹，Zo¹)，视频的角度分辨率ResAngle、空间分辨率ResSpace，以及全景视频影像的垂直方向像素数目PixelNumY、全景视频影像在虚拟全景环幕上映射起始位置301所对应的方向角参数ω和景观中心Cnt的垂直方向坐标Zcnt，根据以下公式⑹、⑺，计算第一观景视窗几何中心O在全景视频影像中的映射点O²所对应的像素坐标(Pixel_X，Pixel_Y)

Pixel_X＝(ω+90－θo)×ResAngle   ⑹

Pixel_Y＝PixelNumY/2+(Zo¹－Zcnt)×ResSpace   ⑺

33)通过以下方法计算出第一观景视窗201到全景视频影像1的映射比例ViewScale

基于A、B点的几何坐标(Xa，Ya，Za)、(Xb，Yb，Zb)，根据以下公式⑻，计算第一观景视窗201的水平方向尺寸，即线段AB的长度L_AB

L_AB＝SquareRoot((Xa－Xb)²+(Ya－Yb)²+(Za－Zb)²)   ⑻

其中，SquareRoot为平方根计算符号(下同)。

基于线段AB的长度L_AB，以及观景视窗201的视场角参数δ¹，根据以下公式⑼，计算投影起始点P到视窗几何中心O的距离L_OP

L_OP＝Ctan(δ¹/2)×L_AB/2   ⑼

其中，Ctan为余切计算符号(下同)。

基于视窗201几何中心O的坐标(Xo，Yo，Zo)，视窗201的中垂线OP的单位方向矢量(Nx，Ny，Nz)，以及投影起始点P到视窗几何中心O的距离L_OP，根据以下公式⑽、⑾、⑿，计算投影起始点P的空间坐标(Xp，Yp，Zp)

Xp＝Xo+Nx×L_OP   ⑽

Yp＝Yo+Ny×L_OP   ⑾

Zp＝Zo+Nz×L_OP   ⑿

基于投影起始点P的空间坐标(Xp，Yp，Zp)，以及视窗201在水平方向上的边界极值点A的空间坐标(Xa，Ya，Za)，将直线AP表示为方程组⒀

X＝Xp+(Xa－Xp)×t

Y＝Yp+(Ya－Yp)×t

Z＝Zp+(Za－Zp)×t   ⒀

联立方程组⑿与虚拟全景环幕的几何方程⑵，计算投影点A¹的几何坐标(Xa¹，Ya¹，Za¹)，并进一步依据虚拟全景环幕的参数方程⑶，计算A¹的参数坐标(θa¹，Za¹)；

按照计算A在虚拟全景环幕投影点A¹的相同步骤，计算视窗201在水平方向上的另一边界值点B(Xb，Yb，Zb)在虚拟全景环幕投影点B¹的参数坐标(θb¹，Zb¹)；

基于A¹、B¹点的参数坐标(θa¹，Za¹)、(θb¹，Zb¹)，根据以下公式⒁，计算投影点A¹B¹的角度差Δ_A ¹ _B ¹

Δ_A ¹ _B ¹＝|θb¹－θa¹|   ⒁

其中，||为绝对值计算符号(下同)。

基于线段AB的长度L_AB，投影点A¹B¹的角度差Δ_A ¹ _B ¹，以及视频的角度分辨率ResAngle，根据以下公式⒂，计算第一观景视窗201到全景视频影像1的映射比例ViewScale

ViewScale＝Δ_A ¹ _B ¹×ResAn_gle/L_AB。   ⒂

34)通过以下方法计算第一观景视窗201所有边界拐点在全景视频影像1上的映射点像素坐标，并依据观景视窗201的边界线，在全景视频影像1中按顺序连接所有边界拐点的映射点，即可获取该视窗在全景视频影像1上对应视频块101的范围：

以视窗几何中心O为原点，在观景视窗201所在平面内构建二维坐标系，则观景视窗201的所有边界点均可通过二维坐标表示。

假设第一观景视窗201的任意边界拐点C相对于视窗201几何中心O的二维坐标为(Xc，Yc)，则可根据视窗201几何中心O的在全景视频中的映射点O²的像素坐标(Pixel_X，Pixel_Y)和视窗201到全景视频影像1的映射比例ViewScale，根据以下公式⒃、⒄，计算边界拐点C在全景视频1上的映射点C²的像素坐标(Pixel_Xc，Pixel_Yc)

Pixel_Xc＝Xc×ViewScale+Pixel_X   ⒃

Pixel_Yc＝Yc×ViewScale+Pixel_Y   ⒄

步骤四，按照与步骤三相同的方法，计算其他观景视窗所对应全景视频影像中的不同数据块范围，例如：第二景观视窗202在全景视频影像中对应于视频块102，并在所有观景视窗上同步播放其各自所对应视频块的景观录像。

其中，虚拟全景环幕3几何中心的空间三维坐标参数(Xcnt，Ycnt，Zcnt)、虚拟全景环幕3的半径参数R，全景视频影像1在虚拟全景环幕3上映射起始位置301所对应的方向角参数ω，以及每个观景视窗的视场角参数(如：δ¹)，均可根据需要自由设置。且优选地，所述虚拟全景环幕的几何中心默认与室内空间的几何中心重合，虚拟全景环幕的半径默认取室内空间最小外接圆半径的1.5～2倍，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数默认取0度，观景视窗的视场角参数默认取60度。

如图7、图8所示的全景视频影像室内分屏显示系统，主要包括

全景视频采集设备：在室外某地点设置一台全景摄像机或全景监控设备，长时间录制连续的全景视频影像，其中全景视频录像设备和录像方式可自由选择。

数据编码与传输设备：对录制的全景视频影像1进行压缩编码，并通过无线或者有线网络进行传输，关于本发明用到的视频压缩算法不做强制规定，可采用MPEG、H.264等经典算法，也可借助视频分块等技术手段提高视频压缩效率。

数据接收与解码设备：接收从网络传输的全景视频压缩数据，并通过解压缩算法还原全景视频影像。

视频数据管理设备，用于动态缓存从数据接收与解码设备中传入的连续全景视频影像，并将其转发到视窗总控设备进行处理；

视窗总控设备，用于根据虚拟全景环幕和观景视窗的空间位置关系、全景视频影像和虚拟全景环幕之间的映射关系、以及单视窗分控设备上传的视场角参数，计算各视窗所对应视频块在全景视频影像中的范围，并将视频块所对应的影像数据分别传输到不同的单视窗分控设备。结合图1～6详述视频块获取的具体计算方法如下：

1、已知数据：

假设全景视频影像1具有4K分辨率，即其水平和垂直方向的像素数目PixelNumX和PixelNumY分别为4096和2160，室内空间2的最小外接圆半径为5m，观景视窗201为长方形显示屏幕。

2、量测数据：

以房间几何中心为三维坐标原点，通过几何量测法，获得观景视窗201的几何中心O的空间坐标为(-0.2，2，1)，观景视窗201的中垂线OP的单位方向矢量为(0，-1，0)，观景视窗201的水平方向边界极值点A、B的空间坐标分别为(-0.8，2，0.6),(0.4，2，0.6)。

在观景视窗201所在平面内，以观景视窗几何中心O为原点的局部二维坐标系中，通过几何量测法，获得观景视窗任意边界拐点C的二维坐标为(-0.6，-0.4)，而其他三个边界拐点的二维坐标分别为(-0.6，0.4),(0.6，-0.4)，(0.6，0.4)。

3、参数设置：

虚拟全景环幕3的几何中心Cnt的三维空间坐标设置为(0，0，1)，虚拟全景环幕的半径R设置为8m，全景视频影像在虚拟全景环幕上映射起始位置301所对应的方向角参数ω设置为50度，观景视窗201的视场角参数δ1设置为90度。

4、视频映射范围计算

1)计算观景视窗201几何中心O在虚拟全景环幕3上投影点O1的空间坐标(Xo1，Yo1，Zo1)：

中垂线OP的方程组⑴为：

X＝-0.2

Y＝2－t

Z＝1

虚拟全景环幕3的方程⑵为：

X2+Y2＝64

联立方程组⑴和方程⑵，得到观景视窗几何中心O在虚拟全景环幕上投影点O1的空间坐标为(-0.2，7.997，1)

2)计算观景视窗201几何中心O在全景视频影像1中的映射点O2所对应的像素坐标(Pixel_X，Pixel_Y)：

根据参数方程组⑶，得到O1的角度与高度参数坐标为(91.433，1)。

根据公式⑷、⑸，得到全景视频影像的角度分辨率和空间分辨率为

ResAngle＝PixelNumX/360＝4096/360＝11.378

ResSpace＝PixelNumX/(2πR)＝4096/50.2655＝81.487

根据公式⑹、⑺，得到观景视窗几何中心O在全景视频影像中投影点O2所对应的像素坐标(注：像素坐标计算结果取整)

Pixel_X＝(ω+90－θo)×ResAngle

       ＝(50+90－91.433)×11.378＝552.595326≈553

Pixel_Y＝PixelNumY/2+(Zo1－Zcnt)×ResSpace

       ＝2160/2+(1－1)×81.487＝1080

3)计算观景视窗201的视频投影比例ViewScale

根据公式⑻，得到观景视窗201的水平方向尺寸，即线段AB的长度

LAB＝SquareRoot((Xa－Xb)2+(Ya－Yb)2+(Za－Zb)2)＝SquareRoot((-0.8－0.4)2+(2－2)2+(0.6－0.6)2)＝1.2

根据公式⑼，得到投影起始点P到视窗几何中心O的距离LOP

LOP＝Ctan(δ1/2)×LAB/2＝Ctan(90/2)×1.2/2＝0.6

根据公式⑽、⑾、⑿，计算投影起始点P的空间坐标

Xp＝Xo+Nx×LOP＝-0.2+0×0.6＝-0.2

Yp＝Yo+Ny×LOP＝2+(-1)×0.6＝1.4

Zp＝Zo+Nz×LOP＝1+0×0.6＝1

直线AP的方程组⒀为：

X＝-0.2－0.6×t

Y＝1.4+0.6×t

Z＝1－0.4×t

联立方程组⒀与方程⑵，计算投影点A1的几何坐标为(-5.025，6.225，-2.217)，并进一步根据方程⑶，计算投影点A1的参数坐标为(128.912，-2.217)

按照计算A在虚拟全景环幕投影点A1的相同步骤，计算边界值点B在虚拟全景环幕投影点B1的参数坐标为(53.13，-2.333)

根据公式⒁，计算投影点A1B1的角度差

ΔA1B1＝|θb1－θa1|＝|53.13－128.912|＝75.782

根据公式⒂，计算观景视窗201到全景视频影像1的映射比例ViewScale＝ΔA1B1×ResAngle/LAB＝75.782×11.378/1.2＝718.540

4)计算观景视窗201所有边界拐点在全景视频影像1上的映射坐标，并获取该视窗在全景视频影像1上对应视频块101的范围根据公式⒄、⒅，计算边界拐点C在全景视频1上的映射点C2的像素坐标

Pixel_Xc＝Xc×ViewScale+Pixel_X＝-0.6×718.540+553＝122

Pixel_Yc＝Yc×ViewScale+Pixel_Y＝-0.4×718.540+1080＝793

而其他三个边界拐点在全景视频1上的映射点像素坐标依次为(122，1367)，(984，793),(984，1367)。

依据观景视窗201的边界线，在全景视频影像1中按顺序连接所有边界拐点的映射点，所得到的多边形区域即为观景视窗201在全景视频影像1上对应视频块101的范围。

单视窗分控设备，与单个终端显示设备对应，用于根据用户的设置信息，向视窗总控设备传输观景视窗的视场角参数，并依据所对应终端显示设备的显示参数，对从视窗总控设备接收到视频块数据进行重采样处理，使其满足终端显示设备的最终显示需要，然后将处理后的数据转发到终端显示设备。关于本发明用到的视频重采样方法不做强制规定，可采用临近取值、双线性内插、三次卷积内插等经典方法，也可采用其它高保真的视频图像重采样算法。所述单视窗分控设备上提供简单的人机操作界面，供用户设置单个视窗的视场角参数。

终端显示设备：根据用户的个性化需求，采用显示器、投影仪，或者现有技术中的任意视频播放设备，用于同步显示从单视窗分控设备接收到的视频块数据。

本发明中分组总控设备的图形化操作界面由4部分组成：图形化显示界面501，用于根据用户的参数调整结果实时显示当前室内空间与室外景观间的几何位置关系；参数调整面板502，用于对虚拟环幕几何中心Cnt的X、Y、Z三个维度空间坐标进行增加和减小调整；参数调整面板503，用于对虚拟全景环幕的半径R进行增加和减小调整；参数调整面板504，用于对全景视频与虚拟全景环幕间的映射起点进行调整，包括景观方向角度ω进行增加和减小。其中，参数调整面板502、503、504的参数调整按钮也可以设置为触摸屏方式。

本发明中单视窗分控设备的人机操作界面仅提供视场角参数增大或减小功能，用户可直接通过触摸屏或按键方式对参数进行调整。

上述系统中全景视频采集设备和终端显示设备是电子组合窗的输入和输出部件；数据编码与传输设备、数据接收与解码设备、视频数据管理设备则是基础部件；而视窗分组总控设备和单视窗分控设备是核心功能部件。多个单视窗控制设备与视窗分组总控设备之间采用并联方式进行数据通信，而其余设备之间均采用串联方式通信。

以上实例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，本发明的技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (8)

1.一种全景影像室内分屏显示方法，其特征在于包括以下步骤：

1)在室内墙壁上设置至少一个观景视窗，所述观景视窗具有视频播放功能；

2)在虚拟空间中构建能够包容步骤1所述室内空间和所有观景视窗的360°虚拟全景环幕，并将室外采集的全景视频影像映射到虚拟全景环幕上；

3)取视窗中垂线上任意点作为观景点(几何投影起点)，根据人眼视线的几何投影关系，将观景视窗投影到虚拟全景环幕上，确定观景视窗对应的可视区域，并获取此投影区域在全景视频影像上所对应的视频块范围；

4)按照步骤3所述方法，获取每个观景视窗在全景视频影像上所对应的不同视频块范围，并在所有室内观景视窗上同步播放其所对应视频块的景观录像。

2.根据权利要求1所述的全景影像室内分屏显示方法，所述步骤3的特征在于：

31)选取室内任一点为原点，构建虚拟空间的三维坐标系，通过几何测量法，确定视窗几何中心、视窗边界拐点的空间三维坐标，并结合虚拟全景环幕几何中心的空间三维坐标参数和虚拟全景环幕的半径参数，参照视窗的中垂线方向，计算出视窗几何中心在虚拟环幕上的投影点坐标；

32)将全景视频影像映射到虚拟全景环幕上，根据全景视频的水平像素数目和虚拟全景环幕的半径计算视频的角度分辨率和空间分辨率，并根据视频的角度分辨率、空间分辨率，以及全景视频的垂直像素数目、虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数和全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数，对步骤31得到的视窗几何中心在虚拟环幕上的投影点坐标进行换算，得到观景视窗几何中心的在全景视频影像中所对应映射点的像素坐标；

33)利用观景视窗的水平视场角参数，并结合虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，以及观景视窗几何中心和视窗在水平方向边界极值点的空间三维坐标，参照视窗的中垂线方向，计算观景视窗与全景视频影像之间的映射比例；

34)以观景视窗几何中心为原点，在观景视窗所在平面内构建二维坐标系，获得观景视窗所有边界拐点相对于观景视窗几何中心的平面坐标，结合步骤32得到的观景视窗几何中心在全景视频影像中所对应映射点的像素坐标，以及步骤33得到的观景视窗与全景视频影像之间的映射比例，计算观景视窗所有边界拐点在全景视频影像上所对应映射点的像素坐标，并依据观景视窗的边界线，在全景视频影像中按顺序连接所有边界拐点的映射点，从而得到完整的视频块映射范围。

3.根据权利要求2所述的全景影像室内分屏显示方法，其特征在于：所述虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数，以及每个观景视窗的视场角参数，均可根据需要自由设置。

4.一种利用权力要求1所述的全景影像室内分屏显示方法的全景影像室内分屏显示系统，其特征在于：包括全景视频采集设备，用于采集全景视频影像；

数据编码与传输设备，用于对采集的全景视频影像进行压缩编码，并传输；

数据接收与解码设备，用于接收从网络传输的全景视频影像压缩数据，并通过解压缩算法还原全景视频影像；

视频数据管理设备，用于动态缓存从数据接收与解码设备中传入的连续全景视频影像，并将其转发到视窗总控设备进行处理；

视窗总控设备，用于根据观景视窗和虚拟全景环幕间的空间位置关系、虚拟全景环幕和全景视频影像间的映射关系、以及单视窗分控设备上传的视场角参数，计算各视窗在全景视频影像中所对应的视频块映射范围，并将视频块所对应的影像数据分别传输到不同的单视窗分控设备；

单视窗分控设备，与单个终端显示设备对应，用于根据用户的设置信息，向视窗总控设备传输观景视窗的视场角参数，并依据所对应终端显示设备的显示参数，对从视窗总控设备接收到视频块数据进行重采样处理，使其满足终端显示设备的最终显示需要，然后将处理后的数据转发到终端显示设备。

终端显示设备，用于同步显示从单视窗分控设备接收到的视频块数据。

5.根据权利要求4所述的全景影像分屏显示系统，其特征在于：所述视窗分组总控设备的视频块分块处理过程如下：

31)选取室内任一点为原点，构建虚拟空间的三维坐标系，通过几何测量法，确定视窗几何中心、视窗边界拐点的空间三维坐标，并结合虚拟全景环幕几何中心的空间三维坐标参数和虚拟全景环幕的半径参数，参照视窗的中垂线方向，计算出视窗几何中心在虚拟环幕上的投影点坐标；

32)将全景视频影像映射到虚拟全景环幕上，根据全景视频的水平像素数目和虚拟全景环幕的半径计算视频的角度分辨率和空间分辨率，并根据视频的角度分辨率、空间分辨率，以及全景视频的垂直像素数目、虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数和全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数，对步骤31得到的视窗几何中心在虚拟环幕上的投影点坐标进行换算，得到观景视窗几何中心的在全景视频影像中所对应映射点的像素坐标；

33)利用观景视窗的水平视场角参数，并结合虚拟全景环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，以及观景视窗几何中心和视窗在水平方向边界极值点的空间三维坐标，参照视窗的中垂线方向，计算观景视窗与全景视频影像之间的映射比例；

34)以观景视窗几何中心为原点，在观景视窗所在平面内构建二维坐标系，获得观景视窗所有边界拐点相对于观景视窗几何中心的平面坐标，结合步骤32得到的观景视窗几何中心在全景视频影像中所对应映射点的像素坐标，以及步骤33得到的观景视窗与全景视频影像之间的映射比例，计算观景视窗所有边界拐点在全景视频影像上所对应映射点的像素坐标，并依据观景视窗的边界线，在全景视频影像中按顺序连接所有边界拐点的映射点，从而得到完整的视频块映射范围。

6.根据权利要求4～5所述的全景影像分屏显示系统，其特征在于：所述视窗分组总控设备提供图形化的人机交互界面，用于设置虚拟环幕几何中心的空间三维坐标参数、虚拟全景环幕的半径参数，全景视频影像在虚拟全景环幕上映射起始位置所对应的方向角参数。

7.根据权利要求4～6所述的全景影像分屏显示系统，其特征在于：所述单视窗分控设备提供简单的人机操作界面，用于设置单个观景视窗的视场角参数。

8.根据权利要求4～7中任一所述的全景影像分屏显示系统，其特征在于：所述终端显示设备为若干显示屏、投影仪，或者现有技术中的任意视频播放设备。