CN107529021B - 隧道型全景视频采集、分发、定位跟踪系统及其方法 - Google Patents

Abstract

本发明公开了一种隧道型全景视频采集、分发、定位跟踪系统及它们的方法，其使用户可根据自身需要或喜好随意流畅观看隧道型全景视频画面，观看感受好，特别适用于海量用户收看实况直播情形。隧道型全景视频采集系统包括隧道型立体空间，其沿自身长度方向分为若干立体单元块，相邻两个立体单元块紧邻或部分重叠，每个立体单元块内设置全方位摄像装置，各全方位摄像装置对其所在立体单元块所覆盖的区域进行全景拍摄。各全方位摄像装置通过视频采集缓冲存储系统与视频拼接融合系统相连，视频拼接融合系统与拍摄控制中心相连。

Description

隧道型全景视频采集、分发、定位跟踪系统及其方法

技术领域

本发明涉及一种隧道型全景视频采集系统及方法、全景视频分发系统及方法，以及隧道型全景视频定位跟踪系统及方法，属于立体空间全景视频采集、分发与定位跟踪技术领域。

背景技术

经调研与统计，目前已有的视频监控系统存在着很多不理想的地方，比如某交通事故，事故发生后，视频监控设备拍摄的图像存在明显的死区、断续缺陷，对于当事人的去向只能在视频缓冲区里找到些片断而不能形成连续有效的监控视频流，对案件侦破起不到重要的帮助，更谈不上案发前及时发现当事人行为的蛛丝马迹来进行有效预警和防范。由此可见，已有的视频监控系统极大缺少连续有效拍摄的功能。

专利号为200910131666.X的中国发明专利“一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法”中公开了一种全方位摄像装置及方法，其根据仿生学的原理，将多台摄像机组合成类似昆虫球形多截面复眼结构的全方位摄像机，用来实现对某一区域进行360度无缝全景展示，很好地解决了视频监控在覆盖某一区域时存在死区的问题。但是，上述专利文献解决的是全方位摄像机针对有限区域的全方位拍摄问题，当目标移出全方位摄像机覆盖的视野后，其便无法继续拍摄目标而出现盲区。倘若目标继而由其它全方位摄像机来拍摄，那么也存在视频断裂现象，无法形成连续有效的视频流，更谈不上定位跟踪目标了。

发明内容

本发明的目的在于提供一种隧道型全景视频采集系统及方法，其实现了无视频拍摄死区的隧道型全景视频画面的高效采集，隧道型立体空间内的全部景象尽收眼底。

本发明的另一目的在于提供一种隧道型全景视频分发系统及方法，其可满足海量用户同时观看隧道型全景视频画面的情形，视频画面显示流畅，用户观看感受好。

本发明的再一目的在于提供一种隧道型全景视频定位跟踪系统及方法，其实现了用户根据自身需要或喜好随意观看隧道型全景视频画面的目的，观看方式可各种各样，如整体景象观看、局部景象观看、移动式观看以及特定目标的连续追踪观看等，视频画面的显示流畅性、用户观看感受好。

为了实现上述目的，本发明采用了以下技术方案：

一种隧道型全景视频采集系统，其特征在于：隧道型立体空间沿自身长度方向分为若干立体单元块，相邻两个立体单元块紧邻或部分重叠，每个立体单元块内设置一个全方位摄像装置，各全方位摄像装置对其所在立体单元块所覆盖的区域进行全景拍摄；各全方位摄像装置与视频采集缓冲存储系统相连，视频采集缓冲存储系统与视频拼接融合系统相连，视频拼接融合系统与拍摄控制中心相连；全方位摄像装置包括由多台广角摄像机构成的球形或半球形全景摄像机群。

一种基于所述的隧道型全景视频采集系统实现的隧道型全景视频采集方法，其特征在于，它包括步骤：

1)所述全方位摄像装置对其所在所述立体单元块所覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各所述全方位摄像装置将拍摄的单元块全景视频信息传送给所述视频采集缓冲存储系统，由所述视频采集缓冲存储系统进行缓冲存储；

3)所述视频采集缓冲存储系统将其内存储的全部单元块全景视频信息发送给所述视频拼接融合系统，由所述视频拼接融合系统对所有单元块全景视频信息进行融合拼接处理，以针对隧道型立体空间生成隧道型全景视频信息。

一种隧道型全景视频分发系统，其特征在于：它包括所述的隧道型全景视频采集系统、自适应视频分割分发系统，其中：所述视频拼接融合系统与自适应视频分割分发系统相连，自适应视频分割分发系统与客户终端通讯。

一种基于所述的隧道型全景视频分发系统实现的隧道型全景视频分发方法，其特征在于，它包括步骤：

1)所述全方位摄像装置对其所在所述立体单元块所覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各所述全方位摄像装置将各自获得的单元块全景视频信息传送给所述视频采集缓冲存储系统，由所述视频采集缓冲存储系统进行缓冲存储；

3)所述视频拼接融合系统接收所述视频采集缓冲存储系统内存储的全部单元块全景视频信息；

4)所述视频拼接融合系统将接收的各单元块全景视频信息融合拼接成隧道型全景视频信息；

5)所述视频拼接融合系统将隧道型全景视频信息推送至所述自适应视频分割分发系统；

6)所述自适应视频分割分发系统接收所述客户终端发出的观看指令，其中：观看指令包括客户终端用户想要观看隧道型立体空间内的方位信息；

7)所述自适应视频分割分发系统根据观看指令从隧道型全景视频信息中将符合用户观看要求的视频内容剪裁出来，作为待观看视频信息反馈给所述客户终端，供用户观看。

一种隧道型全景视频定位跟踪系统，其特征在于：它包括所述的隧道型全景视频采集系统、自适应视频分割分发系统以及无线基站、定位跟踪设备，定位跟踪设备为智能移动终端或安装在目标上的无线射频标签，其中：所述视频拼接融合系统与自适应视频分割分发系统相连，自适应视频分割分发系统与客户终端通讯，定位跟踪设备通过无线基站与所述拍摄控制中心通讯，其中：所述视频拼接融合系统接收所述拍摄控制中心转发过来的定位跟踪设备的位置信息以及接收所述视频采集缓冲存储系统发送来的各所述全方位摄像装置获得的单元块全景视频信息后，将各单元块全景视频信息融合拼接成隧道型全景视频信息并将位置信息融合嵌入隧道型全景视频信息中，以向所述自适应视频分割分发系统推送带有位置信息的隧道型全景视频信息。

一种基于所述的隧道型全景视频定位跟踪系统实现的隧道型全景视频定位跟踪方法，其特征在于，它包括步骤：

1)所述全方位摄像装置对其所在所述立体单元块所覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各所述全方位摄像装置将各自获得的单元块全景视频信息传送给所述视频采集缓冲存储系统，由所述视频采集缓冲存储系统进行缓冲存储；

3)所述视频拼接融合系统接收所述视频采集缓冲存储系统内存储的全部单元块全景视频信息；

4)所述定位跟踪设备将其位置信息通过所述拍摄控制中心转发给所述视频拼接融合系统；

5)所述视频拼接融合系统进行融合拼接处理：将接收的各单元块全景视频信息融合拼接成隧道型全景视频信息，并将接收的位置信息融合嵌入隧道型全景视频信息中，最终获得带有位置信息的隧道型全景视频信息；

6)所述视频拼接融合系统将带有位置信息的隧道型全景视频信息推送至所述自适应视频分割分发系统；

7)所述自适应视频分割分发系统接收所述客户终端发出的观看指令，其中：观看指令为客户终端用户想要观看隧道型立体空间内的方位信息或客户终端用户想要定位跟踪的对象信息；

8)所述自适应视频分割分发系统根据观看指令从带有位置信息的隧道型全景视频信息中将符合用户观看要求的视频内容剪裁出来，作为待观看视频信息反馈给所述客户终端，供用户观看。

本发明的优点是：

1、本发明采集系统及方法对布设的若干全方位摄像装置各自采集的单元块全景视频信息进行拼接与融合，将各立体单元块相对孤立的“空间面积”连接在一起，形成“立体空间带式”或称“视频空间隧道式”的全景视频信息，视频画面连续性好，无视频拍摄死区，隧道型立体空间内的全部景象尽收眼底，大大提高了视频采集效率。

2、本发明分发系统及方法采用自适应动态分发以及就近分发模式，极大降低了视频流的分发量与次数，大大缓解了网络传输压力，避免了网络瓶颈，大大提高了播放效率与播放效果，可很好地满足海量用户同时观看视频画面情形，视频画面显示流畅，用户观看感受好。

3、本发明定位跟踪系统及方法提供了一种观看隧道型立体空间景象的全新方式，用户可根据自身需要或喜好选择观看模式，既可对隧道型立体空间景象进行整个观看，环顾四周，左顾右盼，想看哪就看哪，又可基于摄像装置IP地址不断切换的方式，从某一台全方位摄像装置切换至另一台全方位摄像装置，以“一边走一边看”的模式对隧道型立体空间景象实现移动观看、浏览的目的，还可基于无线射频标签的设计实现对特定移动目标进行连续追踪观看的功能。本发明大幅提高了视频监控的智能化水平，可适用于远程视频移动展示涉及的诸多领域，如观看体育比赛、文艺表演等、网络购物、楼宇监控，其在未来的视频采集、定位跟踪与分发领域都有着广阔的应用前景，当其应用于体育比赛、文艺表演等场合时，很好地取代了肩扛手提摄像机的记者以及视频转播机器人等自动化装置。

4、本发明定位跟踪系统及方法根据不同用户的观看需求，基于CDN节点和边缘计算服务器的设计实现了“按需分配”的自适应个性化分发视频信息的模式，实时将用户需要观看的内容剪裁下来再进行分发，让不同用户各自观看各自感兴趣的景象而互不影响，实现了低播放(转播/直播)成本、高播放效率、高播放效果，并且本发明定位跟踪系统及方法的这种自适应动态分发以及就近分发的模式，在实现实时分发连续有效视频信息的同时，极大降低了视频流的分发量与次数，大大缓解了网络传输压力，避免了网络瓶颈。

附图说明

图1是包含本发明采集系统的本发明分发系统的组成框图。

图2是本发明定位跟踪系统的组成框图。

图3是本发明分发系统和定位跟踪系统的分发实施例说明图。

图4是隧道型立体空间布设说明示意图。

图5是隧道型全景视频信息的均匀分割说明实例图。

图6是图5中的立体单元块分割示意图。

图7是本发明应用于体育比赛时，无线视频标签的设置说明图。

图8是本发明应用于体育比赛时，远程客户终端的用户界面实例图。

图9是用户界面上用于视野选择的实例图。

图10是用户界面上用于视野移动的实例图。

图11是用户界面上用于视野放大的实例图。

具体实施方式

本发明隧道型全景视频采集系统如图1和图4所示，隧道型立体空间100可视为矩形体或圆柱体等立体空间，隧道型立体空间100沿其自身长度方向分为若干立体单元块101，相邻两个立体单元块101紧邻或部分重叠，这些连续的立体单元块101可以良好拼接还原成隧道型立体空间100，每个立体单元块101内设置一个全方位摄像装置10，各全方位摄像装置10对其所在立体单元块101所覆盖的区域进行全景拍摄，即全方位摄像装置10捕获立体单元块101内各个方位(或称空间)的视频画面；各全方位摄像装置10的信号端口分别与视频采集缓冲存储系统20的相应信号端口相连，视频采集缓冲存储系统20的视频发送端口与视频拼接融合系统30的视频接收端口相连，视频拼接融合系统30的信号接收端口与拍摄控制中心60的相应端口相连。

在本发明中，全方位摄像装置10可包括由多台广角摄像机(如直角型广角摄像机)构成的球形或半球形全景摄像机群，其中，各广角摄像机对其所在立体单元块101覆盖的区域中的某一方位(上、下、左、右、前、后方位)进行全景拍摄，各广角摄像机针对各方位捕获得到的视角视频可以被整合成反映立体单元块101的单元块全景视频信息。

在本发明中，全方位摄像装置10可采用专利号为200910131666.X的中国发明专利“一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法”中公开的全方位摄像装置。

如图4，图中示出了呈矩形体、一定长度的隧道型立体空间100均分为3个正方体形状的立体单元块101且每个立体单元块101布设1台全方位摄像装置10的情形，通常全方位摄像装置10设置在立体单元块101的中心。在这里需要说明的是，各全方位摄像装置10针对自身所在立体单元块101最终得到的全景视频信息通常以立体单元块101的六个正方体表面(前面、后面、左面、右面、上面和下面)来表现出来。

基于上述本发明隧道型全景视频采集系统，本发明提出了一种隧道型全景视频采集方法，它包括步骤：

1)全方位摄像装置10对其所在立体单元块101覆盖的区域进行实时全景拍摄，获得单元块全景视频信息，即某时间段的单元块全景视频流；

2)各全方位摄像装置10将拍摄获得的单元块全景视频信息传送给视频采集缓冲存储系统20，由视频采集缓冲存储系统20进行缓冲存储；

3)当收到拍摄控制中心60发出的视频拼接融合指令时，视频采集缓冲存储系统20将其内存储的全部单元块全景视频信息发送给视频拼接融合系统30，由视频拼接融合系统30对所有单元块全景视频信息进行融合拼接处理，即，将各全方位摄像装置10捕获到的孤立的单元块全景视频信息中的每个时刻(拍摄时刻、拍摄时间间隔可以根据实际需求来合理定义)的“空间面积”连接在一起，以针对隧道型立体空间100生成隧道型全景视频信息，即某一时间段的隧道型全景视频流，其表现为连续动态显现的视频画面，隧道型全景视频信息的生成使得移动目标在隧道型立体空间100内的连续运动可以真实地表现出来。

如图1，本发明还提出了一种隧道型全景视频分发系统，它包括上述本发明隧道型全景视频采集系统、自适应视频分割分发系统50，其中：视频拼接融合系统30与自适应视频分割分发系统50相连，自适应视频分割分发系统50与客户终端90通讯，即视频拼接融合系统30的视频发送端口与自适应视频分割分发系统50的视频接收端口连接，自适应视频分割分发系统50的信息传输端口与客户终端90无线或有线通讯。

基于上述本发明隧道型全景视频分发系统，本发明还提出了一种隧道型全景视频分发方法，它包括步骤：

1)全方位摄像装置10对其所在立体单元块101所覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各全方位摄像装置10将各自获得的单元块全景视频信息传送给视频采集缓冲存储系统20，由视频采集缓冲存储系统20进行缓冲存储；

3)视频拼接融合系统30接收视频采集缓冲存储系统20内存储的全部单元块全景视频信息；

4)视频拼接融合系统30将接收的各单元块全景视频信息融合拼接成隧道型全景视频信息；

5)视频拼接融合系统30将隧道型全景视频信息推送至自适应视频分割分发系统50；

6)自适应视频分割分发系统50接收客户终端90发出的观看指令，其中：观看指令包括客户终端用户想要观看隧道型立体空间内的方位信息；

7)自适应视频分割分发系统50根据观看指令从隧道型全景视频信息中将符合用户观看要求的视频内容剪裁出来，作为待观看视频信息反馈给客户终端90，供用户观看，其中：方位信息为固定位置，如用户想要一直观看整个隧道型立体空间画面、用户想要在某时刻或某时间段观看隧道型立体空间内某一固定空间画面，那么，自适应视频分割分发系统50从隧道型全景视频信息中直接将反映固定位置的对应视频内容剪裁出来。

如图2，本发明还提出了一种隧道型全景视频定位跟踪系统，它包括上述本发明隧道型全景视频采集系统、自适应视频分割分发系统50以及布置在隧道型立体空间100内的若干无线基站70、定位跟踪设备80，定位跟踪设备80为智能移动终端(如手机)或安装在目标上的无线射频标签，其中：

视频拼接融合系统30与自适应视频分割分发系统50相连，自适应视频分割分发系统50与客户终端90通讯，即视频拼接融合系统30的视频发送端口与自适应视频分割分发系统50的视频接收端口连接，自适应视频分割分发系统50的信息传输端口与客户终端90无线或有线通讯，定位跟踪设备通过无线基站70与拍摄控制中心60通讯，其中：视频拼接融合系统30接收拍摄控制中心60转发过来的定位跟踪设备80的位置信息以及接收视频采集缓冲存储系统20发送来的各全方位摄像装置10获得的单元块全景视频信息后，将各单元块全景视频信息融合拼接成隧道型全景视频信息并将位置信息融合嵌入隧道型全景视频信息中，以向自适应视频分割分发系统50推送带有位置信息的隧道型全景视频信息。

在实际应用中，无线基站70与拍摄控制中心60有线连接，定位跟踪设备80与无线基站70无线通讯。

在本发明中，无线基站70为固定设备，其可根据实际需求固定安装在隧道型立体空间100内的任意位置上，定位跟踪设备80需要根据实际需求安装在活动于隧道型立体空间100内的移动目标上。例如，无线射频标签安装在人员(如运动员、裁判员等)、运动器械等上，智能移动终端由需要跟踪监控的人员所携带。

在本发明中，无线基站70、智能移动终端、无线射频标签为本领域的已有设备，客户终端90可为笔记本电脑、手机等终端设备，视频采集缓冲存储系统20、视频拼接融合系统30、自适应视频分割分发系统50和拍摄控制中心60包括服务器。

基于上述本发明隧道型全景视频定位跟踪系统，本发明还提出了一种隧道型全景视频定位跟踪方法，它包括步骤：

1)全方位摄像装置10对其所在立体单元块101覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各全方位摄像装置10将各自获得的单元块全景视频信息传送给视频采集缓冲存储系统20，由视频采集缓冲存储系统20进行缓冲存储；

3)视频拼接融合系统30接收视频采集缓冲存储系统20内存储的全部单元块全景视频信息；

4)定位跟踪设备将其位置信息通过拍摄控制中心60转发给视频拼接融合系统30；

5)视频拼接融合系统30进行融合拼接处理：按照诸如拍摄时刻，将接收的各单元块全景视频信息融合拼接成隧道型全景视频信息，并将接收的位置信息融合嵌入隧道型全景视频信息中，最终获得带有位置信息的隧道型全景视频信息，即获得某一时间段内，连续动态显现隧道立体空间全景画面并标记有定位跟踪设备实时位置信息的视频流；

6)视频拼接融合系统30将带有位置信息的隧道型全景视频信息推送至自适应视频分割分发系统50；

7)自适应视频分割分发系统50接收客户终端90发出的观看指令，其中：观看指令为客户终端用户想要观看隧道型立体空间100内的方位信息或客户终端用户想要定位跟踪的对象信息；

8)自适应视频分割分发系统50根据观看指令从带有位置信息的隧道型全景视频信息中将符合用户观看要求的视频内容剪裁出来，作为待观看视频信息(用户感兴趣的观看区域)反馈给客户终端90，供用户观看，其中：当观看指令的方位信息为固定位置时，如用户想要一直观看整个隧道型立体空间画面、用户想要在某时刻或某时间段观看隧道型立体空间内某一固定空间画面，那么，自适应视频分割分发系统50从隧道型全景视频信息中直接将反映固定位置的对应视频内容剪裁出来；当观看指令的方位信息为动态位置时，如用户通过鼠标在用户界面上的移动来连续改变观看隧道型立体空间100的内部位置，那么，动态位置被拆分为若干固定位置，自适应视频分割分发系统50从隧道型全景视频信息中将反映各固定位置的对应视频内容剪裁出来并整合为连续视频画面；当观看指令为对象信息时，如用户想要跟踪观看1号篮球运动员，那么，自适应视频分割分发系统50根据对象信息提取出定位跟踪设备80的各位置信息，定位跟踪设备80的各位置信息与各对应拍摄时刻的隧道型全景视频信息中标记的位置信息进行比对来实现定位，从而从各隧道型全景视频信息中将反映定位跟踪设备80的各位置信息的对应视频内容剪裁出来并整合为连续视频画面。

在实际应用时，例如，用户想要一直观看隧道型立体空间100内左下角位置的画面，那么，根据用户发出的观看指令中涉及的左下角位置坐标，从带有位置信息的隧道型全景视频信息中将显示左下角位置坐标的局部画面剪裁出来，从而获得以左下角位置坐标为中心显示的待观看视频信息。又例如，用户想要定位跟踪观看某位篮球运动员，那么，通过观看指令中的对象信息获得此篮球运动员佩戴的无线射频标签信息(如ID号)，从而调取出此无线射频标签的实时位置信息，从带有位置信息的隧道型全景视频信息中，将此无线射频标签的位置坐标查找出，从而剪裁出以此无线射频标签为中心显示的视频画面，在这里，用户接收到的是以此篮球运动员为中心显示的连续视频画面。

在本发明中，观看指令所关联的位置和隧道型全景视频信息中标记的位置信息均以位置坐标表示，两者之间可以进行比较与计算处理。

隧道型全景视频信息不但数据量庞大，而且客户终端90数量的波动也很大，尤其是在播放热点新闻、重大体育赛事等时，远程客户终端相对集中，会产生较大的并发量，为了满足更多的客户终端90，本发明分发方法和本发明定位跟踪方法可以采取如下自适应措施：

自适应视频分割分发系统50基于对单元块全景视频信息的按块均匀分割来实现对隧道型全景视频信息的剪裁，并且单元块全景视频信息的均匀分割块数应根据当前网络环境(如宽带传输速度等)进行调整，其中：当前网络环境越不利于视频信息(视频流)传输，分割的块数越少，反之，当前网络环境越利于视频信息传输，分割的块数越多。这样设计的目的在于，面对当前网络环境不利于视频流传输时，令分割块数少些，此措施等效于增大步进幅度，以大角度的视角转移来展示动态画面，这样网络交互时的信息量便可以极大减少，在保证用户顺畅观看的基础上，通过增大用户转换视角的步进幅度来极大减少视频信息的分发量和次数，节省服务器的处理时间，从而可以为更多用户提供服务。

在这里需要说明的是，步进幅度增大即动态画面中相邻两个画面之间的拍摄视角相差的幅度变大或说视角跨度变大，但每一画面的清晰度保持不变，并不会降低。

如图5、图6所示，图中示出了对每一单元块全景视频信息，即立体单元块101的六个正方体表面(前面、后面、左面、右面、上面和下面)均匀分割成3行×3列，共9块的情形。在实际实施时，步进幅度的调整便基于立体单元块101的块分割来实现，分割得越细，步进幅度越小，分割得越宽，步进幅度越大。与小步进幅度相比，在同样完成诸如180度视角转换时，大步进幅度可以使用户在移动视角时提高移动速度，进而极大减少服务器处理时间。

下面以客户终端90显示360度柱状视频画面，从0-90度视角画面过渡到90-180度视角画面为例说明。

当选择小步进幅度进行视角切换时，如以1度的步进幅度切换，即从0-90度视角画面→1-91度视角画面→2-92度视角画面，以此类推，可见，从0-90度视角画面至90-180度视角画面的转换需要边缘计算服务器进行高达90次读取相关位置坐标、发送视频信息等操作，处理量巨大。而如以10度的步进幅度切换，即从0-90度视角画面→10-100度视角画面→20-120度视角画面，以此类推，那么，从0-90度视角画面至90-180度视角画面的转换仅需要边缘计算服务器进行9次读取相关位置坐标、发送视频信息等操作，处理量大大减少。而如以45度的步进幅度切换，即从0-90度视角画面→45-135度视角画面→90-180度视角画面，那么可见，从0-90度视角画面至90-180度视角画面的转换仅需要边缘计算服务器进行2次读取相关位置坐标、发送视频信息等操作，处理量极大减少。由此可见，步进幅度的设置极大决定了边缘计算服务器的处理量级别。当然，步进幅度越小，视野转换得越细致，观看视频会越流畅，赏心悦目。因此，步进幅度应根据实际应用情况来柔性处理。

在实际应用于实况直播时，如图3，本发明分发方法和本发明定位跟踪方法可以针对不同播放环境以下面合适的一种分割分发方式来执行：

当视频信息量大且用户并发量大时，参看图3示出的①路径，视频拼接融合系统30将隧道型全景视频信息(对于本发明分发方法，此处为不带位置信息的隧道型全景视频信息，对于本发明定位跟踪方法，此处为带有位置信息的隧道型全景视频信息，下同)压缩处理后推送至自适应视频分割分发系统50，自适应视频分割分发系统50将其内部的分割分发处理软件与压缩的隧道型全景视频信息一起经由若干CDN(Content Delivery Network，即内容分发网络)节点41推送至与CDN节点41连接的各边缘计算服务器42，从而边缘计算服务器42在接收到分割分发处理软件后发挥自适应视频分割分发系统50的功能而在接收到客户终端90发出的观看指令后对压缩的隧道型全景视频信息进行解压缩处理，从而根据观看指令从隧道型全景视频信息中剪裁出符合用户观看要求的待观看视频信息，将待观看视频信息压缩后反馈给客户终端90。

在本发明中，边缘计算(又称雾计算)是通过在现有互联网络各处设置CDN节点所实现的智能虚拟网络，其目的是使用户就近访问获取所需内容，以解决网络拥挤状况，提高用户访问的响应速度。本发明中的边缘计算服务器42设计可以尽可能地避开互联网上可能影响数据传输速度和稳定性的瓶颈和环节，使视频传输得更快、更稳定，使用户实现顺畅的个性化播放与观看，达到实况现场全景直播效果。

在实际实施中，本发明可定义一个剪裁窗口，剪裁窗口是一个抽象的窗口，它负责将从隧道型全景视频信息中剪裁下来的特定部分压缩后传送给相应远程客户终端90的观众，观众从客户终端90的屏幕中看到的现场区域就是根据观众通过鼠标、摇杆或遥控器等选择的感兴趣的观看区域。边缘计算服务器每生成一帧“隧道型全景视频信息”，剪裁窗口就对其进行剪裁，然后压缩发送给用户，所以对于客户终端90来讲，每时每刻都会收到剪裁窗口大小的视频画面，即“隧道型全景视频信息”中的特定部分区域。

针对客户终端90通过鼠标、摇杆或遥控器等对定位跟踪的对象或观看区域等进行改变时，客户终端90都会发送一条新方位信息(位置坐标)给边缘计算服务器，从而边缘计算服务器在收到这条新方位信息后，在“隧道型全景视频信息”中移动剪裁窗口至新的位置，以完成新的剪裁，压缩后传送给客户终端90。于是就这样，远程客户终端90的用户便如同处于现场一样，自由地观看隧道型立体空间内的任何一个区域的连续画面。

针对上述第一种分割分发方式：

目前，客户终端90具有多种智能终端，其都具有较强的图像处理功能。通常智能手机、计算机等已大多为多核CPU多线程，并具有GPU(图形处理器，Graphics ProcessingUnit)图形处理能力，因而其可参与边缘计算服务器的视频解压缩、融合等图像处理，以在客户终端并发量大的情况时缓解边缘计算服务器的处理压力，具体措施为：

边缘计算服务器42基于对客户终端90进行性能辨识，来决定向客户终端90反馈待观看视频信息的方式，其中：

当客户终端90具有视频解压缩、融合功能时，边缘计算服务器42将隧道型全景视频信息分割成若干视频块并压缩，而后根据观看指令将相应视频块传送给客户终端90，由客户终端90对各视频块进行解压缩及融合处理，恢复成待观看视频信息后存储在视频帧缓存区内，以保障播放时视频的完整性与流畅性。从实际实施可以看出，这种让客户终端90承担部分工作的做法使得边缘计算服务器大大减轻了自身的压力。

当客户终端90不具有视频解压缩、融合功能时，边缘计算服务器42仅对剪裁好的待观看视频信息进行压缩处理便传送给客户终端90，而客户终端90也仅需要进行解压缩处理，便可观看待观看视频信息。

当视频信息量小但用户并发量不确定(即用户并发量可能大，也可能小)时，参看图3示出的②路径，视频拼接融合系统30将隧道型全景视频信息(对于本发明分发方法，此处为不带位置信息的隧道型全景视频信息，对于本发明定位跟踪方法，此处为带有位置信息的隧道型全景视频信息，下同)压缩处理后直接推送至若干CDN节点，从而客户终端90从CDN节点直接获取压缩的隧道型全景视频信息，进行解压缩处理后，用户在客户终端90自身视频缓冲区内选择观看视角进行观看。在这里，此种实况直播方式还特别适用于对局部的隧道型全景视频信息的播放，例如仅实况直播图4所示立体单元块101的单元块全景视频信息。

当视频信息量大但就近访问的用户并发量小时，参看图3示出的③路径，视频拼接融合系统30与自适应视频分割分发系统50整合为一体并与客户终端90进行通讯交互而将从隧道型全景视频信息中剪裁出来的待观看视频信息压缩后反馈给客户终端90。

本发明中的视频编码可选用编码效率较高的H.264编码器，以充分降低视频体积，使之适合在互联网上传输。

在这里需要指出的是，上述本发明分发方法和本发明定位跟踪方法在面对图3示出的三种不同播放环境时，其步骤5)-7)被上述三种分割分发方式中的相应一种所替代。

在实际实施时，对于待观看视频信息中不想显示出的内容，可通过遮挡物进行遮挡处理。例如，有人不愿意出现在视频画面中，则可将其头部用阴影或马赛克进行遮挡处理，而后再反馈给用户观看。在本发明中：

全方位摄像装置10用于对其所在立体单元块101覆盖的区域进行全景拍摄。

视频采集缓冲存储系统20主要用于缓冲存储各全方位摄像装置10拍摄获得的单元块全景视频信息。

视频拼接融合系统30主要用于进行融合拼接处理，生成带有位置信息的隧道型全景视频信息。

自适应视频分割分发系统50主要用于根据接收的用户观看指令，合理切割隧道型全景视频信息，剪裁出符合用户观看要求的待观看视频信息发送给客户终端90。

无线基站70用于传送定位跟踪设备80在隧道型立体空间100内的位置信息。

定位跟踪设备80用于捕获定位跟踪对象的位置信息。

拍摄控制中心60主要用于转送定位跟踪设备80的位置信息，以及对视频采集缓冲存储系统20、视频拼接融合系统30、自适应视频分割分发系统50之前的协同运行进行控制等。

本发明可适用于远程视频移动展示涉及的诸多领域，如观看体育比赛、文艺表演等、网络购物、楼宇监控，其构建出的“隧道型全景视频信息”可与应用领域中的诸如基站、灯光系统、消防报警系统等设施进行联合协同工作，其在未来的视频采集、定位跟踪与分发领域有着广阔的应用前景。

例如，“一边走，一边看”的网上流动逛商场的模式，可以在有人或无人购物环境中实现商品的自由选购。

例如，本发明可应用于手机使用者的定位跟踪。

例如，本发明与智能楼宇安防系统的协同工作，可以大幅提高楼宇安全防范能力。在实际应用时，视频观测与智能楼宇火灾报警器探测内部火场分布可以形成3维透视图，用以发送给智能楼宇的安防部门指挥救火及人员救援，还可以发送给火灾现场消防员及逃生人员的手机屏幕上来用于逃生导航及救援。

例如，本发明应用于奥运会等体育赛事中。每个观众都可以按自己的愿望，选择感兴趣的视角，选择感兴趣的位置，或原地不动切换视角环顾四周，实现想看哪就看哪的个性化直播。用户可在远程客户终端90的屏幕上自动跟踪运动员、运动器械。用户可通过键盘、遥控器、鼠标、摇杆等进行实时移动。客户终端90还可呈现“画中画”、“画联画”，使多个用户同时关注各自感兴趣的画面。

下面以本发明在体育比赛中的应用为例进行具体说明。

当本发明应用于体育比赛时，整个体育场馆可作为隧道型立体空间。根据空间大小、内部构成对无线基站70进行布置。定位跟踪设备80分两方面，一方面，智能移动终端为体育场馆内每个人(包括观众、运动员、教练员、裁判员、工作人员)的手机，另一方面，无线射频标签根据观众感兴趣的对象等因素佩戴在相应人员上，安装在相应器械上。

如图7，图中示出了无线射频标签的布置实例。如图，隧道型立体空间100的下面四角上各设置一个无线基站70，运动员201、裁判员202、运动器械203上安装无线射频标签81来作为定位跟踪目标。在实际中，如滑雪板、雪橇、篮球、排球、足球等运动器械的球体上均可安装无线射频标签81。

相应地，图8示出了针对图7在客户终端90上所显示的用户界面的设置情况。如图8，用户界面601上可设置有用于选择定位跟踪对象的按钮602，如通过按钮602对用户界面601上显示出的图标(运动员201、裁判员202、运动器械203)进行选择。当然，无线射频标签还可安装在其它移动目标上，按钮602还可根据实际应用需求而设计成具有其它选择功能，不受局限。

例如，当选择某位热门运动员作为定位跟踪的目标时，用户可得到以此热门运动员为中心的视频画面，用户动态跟踪显示此热门运动员时无需通过操纵鼠标、遥控器等，滑动手机屏幕等的方式来控制观看视角。

如图9，图中示出了用户用于视野选择的一个球体模型。用户可以通过沿此球体模型300上的诸如水平轨迹301来选择观看的方位，如上、下、左、右、前、后方，用户还可以在此球体模型300上移动来控制视角的移动，例如，通过移动空心箭头302来纵向移动视角，通过移动实心箭头303来水平移动视角，等等。在实际使用中，用户通过上述球体模型可以轻松地对隧道型立体空间100内的全景实现原地不动地或旋转地或任意切换视角地观看。

在实际应用时，隧道型全景视频信息中的每个像素都与坐标系中的一个坐标点相对应。远程用户视为位于其中心，以极坐标的模式，上、下、左、右、前、后向移动来观察隧道型立体空间内四周的视频图像。例如，欲在隧道型立体空间内沿其“空间带”方向移动观看的话，用户只需定义球体模型300的水平坐标，在水平方向上改变左、右、前、后视角。

如图10，图中示出了用户界面上用于视野移动的滑条设计，其中滑条400可代表隧道型立体空间100的长度，用户可通过滑块401在滑条400上的滑动来选择将要观看隧道型立体空间100内的哪部分画面。

如图11，图中示出了用户界面上用于视野放大的滑条设计。用户通过滑块501在滑条500上的移动来确定视频画面的数字放大(调焦)倍数，例如，左边尖端表示放大1倍，右边宽端表示放大5倍。数字放大(调焦)是以牺牲分辨率为代价的，比如2000万像素数字放大(调焦)5倍后即为400万像素。但由于人眼分辨率有限，因此数字放大(调焦)模式可以被合理运用于实际。

在实际中，当体育场馆内发生火灾等灾害时，安防部门可基于本发明定位跟踪系统对体育场馆内每个人的手机进行定位跟踪，实时获得反映某个人或某些人位置的局部或整体视频画面(视频画面上可反映出火场分布)，从而将视频画面发送给现场的消防员及逃生人员的手机上，提高消防员救援效率及实施现场逃生导航。

在本发明中，全方位摄像装置10的所有广角摄像机捕获的各视角视频如何整合成单元块全景视频信息、所有单元块全景视频信息如何融合拼接生成隧道型全景视频信息、位置信息如何融合嵌入隧道型全景视频信息中、基于观看指令如何在隧道型全景视频信息中定位出需要剪裁的视频画面、如何剪裁隧道型全景视频信息等未详述之处均为本领域技术人员应掌握的熟知技术，在这里不再加以描述。

以上所述是本发明较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (4)

1.一种隧道型全景视频定位跟踪方法，其特征在于，

通过隧道型全景视频定位跟踪系统实现的隧道型全景视频定位跟踪方法；

所述隧道型全景视频定位跟踪系统，包括：

隧道型全景视频采集系统、自适应视频分割分发系统以及无线基站、定位跟踪设备，定位跟踪设备为智能移动终端或安装在目标上的无线射频标签，其中：

视频拼接融合系统与自适应视频分割分发系统相连，自适应视频分割分发系统与客户终端通讯，定位跟踪设备通过无线基站与拍摄控制中心通讯，其中：所述视频拼接融合系统接收所述拍摄控制中心转发过来的定位跟踪设备的位置信息以及接收视频采集缓冲存储系统发送来的各全方位摄像装置获得的单元块全景视频信息后，将各单元块全景视频信息融合拼接成隧道型全景视频信息并将位置信息融合嵌入隧道型全景视频信息中，以向所述自适应视频分割分发系统推送带有位置信息的隧道型全景视频信息；

所述隧道型全景视频采集系统，包括：隧道型立体空间沿自身长度方向分为若干立体单元块，相邻两个立体单元块紧邻或部分重叠，每个立体单元块内设置一个全方位摄像装置，各全方位摄像装置对其所在立体单元块所覆盖的区域进行全景拍摄；各全方位摄像装置与视频采集缓冲存储系统相连，视频采集缓冲存储系统与视频拼接融合系统相连，视频拼接融合系统与拍摄控制中心相连；全方位摄像装置包括由多台广角摄像机构成的球形或半球形全景摄像机群；

所述隧道型全景视频定位跟踪方法，具体包括以下步骤：

1)所述全方位摄像装置对其所在所述立体单元块所覆盖的区域进行实时全景拍摄，获得单元块全景视频信息；

2)各所述全方位摄像装置将各自获得的单元块全景视频信息传送给所述视频采集缓冲存储系统，由所述视频采集缓冲存储系统进行缓冲存储；

3)所述视频拼接融合系统接收所述视频采集缓冲存储系统内存储的全部单元块全景视频信息；

4)所述定位跟踪设备将其位置信息通过所述拍摄控制中心转发给所述视频拼接融合系统；

5)所述视频拼接融合系统进行融合拼接处理：将接收的各单元块全景视频信息融合拼接成隧道型全景视频信息，并将接收的位置信息融合嵌入隧道型全景视频信息中，最终获得带有位置信息的隧道型全景视频信息；

6)所述视频拼接融合系统将带有位置信息的隧道型全景视频信息推送至所述自适应视频分割分发系统；

7)所述自适应视频分割分发系统接收所述客户终端发出的观看指令，其中：观看指令为客户终端用户想要观看隧道型立体空间内的方位信息或客户终端用户想要定位跟踪的对象信息，

其中，

当视频信息量大且用户并发量大时，所述视频拼接融合系统将隧道型全景视频信息压缩处理后推送至所述自适应视频分割分发系统，所述自适应视频分割分发系统将其内部的分割分发处理软件与压缩的隧道型全景视频信息一起经由若干CDN节点推送至与CDN节点连接的各边缘计算服务器，从而边缘计算服务器发挥所述自适应视频分割分发系统的功能而在接收到所述客户终端发出的观看指令后进行解压缩处理，根据观看指令从隧道型全景视频信息中剪裁出符合用户观看要求的待观看视频信息，将待观看视频信息压缩后反馈给所述客户终端；

当视频信息量小但用户并发量不确定时，所述视频拼接融合系统将隧道型全景视频信息压缩处理后直接推送至若干CDN节点，从而所述客户终端从CDN节点直接获取压缩的隧道型全景视频信息，进行解压缩处理后，用户在所述客户终端自身视频缓冲区内选择观看视角进行观看；

当视频信息量大但就近访问的用户并发量小时，所述视频拼接融合系统与所述自适应视频分割分发系统整合为一体并与所述客户终端直接通讯交互，将从隧道型全景视频信息中剪裁出来的待观看视频信息压缩后反馈给所述客户终端；

8)所述自适应视频分割分发系统根据观看指令从带有位置信息的隧道型全景视频信息中将符合用户观看要求的视频内容剪裁出来，作为待观看视频信息反馈给所述客户终端，供用户观看；当观看指令的方位信息为固定位置时，所述自适应视频分割分发系统从隧道型全景视频信息中直接将反映固定位置的对应视频内容剪裁出来；当观看指令的方位信息为动态位置时，动态位置被拆分为若干固定位置，所述自适应视频分割分发系统从隧道型全景视频信息中将反映各固定位置的对应视频内容剪裁出来并整合为连续视频画面；当观看指令为对象信息时，所述自适应视频分割分发系统根据对象信息提取出所述定位跟踪设备的各位置信息，所述定位跟踪设备的各位置信息与各对应拍摄时刻的隧道型全景视频信息中标记的位置信息进行比对来实现定位，从而从各隧道型全景视频信息中将反映所述定位跟踪设备的各位置信息的对应视频内容剪裁出来并整合为连续视频画面。

2.如权利要求1所述的隧道型全景视频定位跟踪方法，其特征在于：

所述自适应视频分割分发系统基于对单元块全景视频信息的按块均匀分割来实现对隧道型全景视频信息的剪裁，并且单元块全景视频信息的均匀分割个数根据当前网络环境进行调整，其中：当前网络环境越不利于视频信息传输，分割的块数越少。

3.如权利要求1所述的隧道型全景视频定位跟踪方法，其特征在于：

所述边缘计算服务器基于对所述客户终端进行性能辨识，来决定向所述客户终端反馈待观看视频信息的方式，其中：

当所述客户终端具有视频解压缩、融合功能时，所述边缘计算服务器将隧道型全景视频信息分割成若干视频块并压缩，根据观看指令将相应视频块传送给所述客户终端；

当所述客户终端不具有视频解压缩、融合功能时，所述边缘计算服务器仅对待观看视频信息进行解压缩处理便传送给所述客户终端。

4.如权利要求1至3中任一项所述的隧道型全景视频定位跟踪方法，其特征在于：

对于待观看视频信息中不想显示出的内容，通过遮挡物进行遮挡处理。