CN104602129A - 互动式多视角视频的播放方法及系统 - Google Patents

互动式多视角视频的播放方法及系统 Download PDF

Info

Publication number
CN104602129A
CN104602129A CN201510041794.0A CN201510041794A CN104602129A CN 104602129 A CN104602129 A CN 104602129A CN 201510041794 A CN201510041794 A CN 201510041794A CN 104602129 A CN104602129 A CN 104602129A
Authority
CN
China
Prior art keywords
video
terminal
virtual view
model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510041794.0A
Other languages
English (en)
Other versions
CN104602129B (zh
Inventor
黎安
胡建荣
季兵
熊张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201510041794.0A priority Critical patent/CN104602129B/zh
Publication of CN104602129A publication Critical patent/CN104602129A/zh
Application granted granted Critical
Publication of CN104602129B publication Critical patent/CN104602129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了互动式多视角视频的播放方法及系统，其中，该方法包括：视频终端向服务器端发送包含视频标识的视频请求；视频终端接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图；视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。本发明方案能够有效减小服务器端的运算压力，减少服务器端与终端之间传输流量的占用。

Description

互动式多视角视频的播放方法及系统
技术领域
本发明涉及视频处理技术，尤其涉及互动式多视角视频的播放方法及系统。
背景技术
随着视频服务的不断升级，传统视频所提供的简单视觉信息已经不能满足需求。面对周围多元化的世界，需要从更加全面、更加立体的角度进行观察和分析。于是，多视角视频技术应运而生。相对于传统的单点视频来说，多视角视频可以提供某一事物或场景的不同角度的信息，并且，可以把这些信息进行合成，生成多角度、全方位的自由或立体视觉。
多视角视频的原始数据一般是由多个摄像机组成的集合采集而成，并且根据摄像机的排列方式不同而生成不同类型的多视角视频数据。由于组成集合的摄像机大都距离固定，拍摄的场景也大致相同，因此，多视角视频数据往往表现了同一场景或物体不同角度的信息。作为新型媒体的多视角视频最突出的特征就是视觉信息的多元化和交互性，用户可以有机会以某种方式主动参与到媒体活动中而不是作为被动的观看者存在。多个摄像机同时拍摄同一个场景的不同角度，使得用户可以任意选择其中之一进行观看，或者根据相邻几个摄像机所拍摄的视频序列合成出一个虚拟的中间场景来进行观看，并实现多个视角之间的无缝自由浏览和切换，即所谓的交互式多视角视频。
现有互动式多视角视频的播放方案中，用户侧对遥控器的方向键进行控制，实时调整视频角度；每操作一次按键，服务器端就会进行一次视频数据的提取，并将按键所对应视点的视频数据下发给视频终端进行播放。按此方法，对遥控器按键进行持续控制，以调整到所需要的视频角度，而后，便可持续播放该视频角度对应的视频数据。
采用该方案，用户侧对遥控器每操作一次，服务器端便进行一次视频数据的提取及推送，该方式加大了服务器端的工作量。例如，到达所需的视频角度，需要操作按键5次，则前面四次服务器端也会进行视频数据的提取和推送，大大增加了服务器端的运算压力，且增加了服务器端与视频终端之间的传输流量。
发明内容
本发明提供了一种互动式多视角视频的播放方法，该方法能够有效减小服务器端的运算压力，减少服务器端与终端之间传输流量的占用。
本发明提供了一种互动式多视角视频的播放系统，该系统能够有效减小服务器端的运算压力，减少服务器端与终端之间传输流量的占用。
一种互动式多视角视频的播放方法，该方法包括：
视频终端向服务器端发送包含视频标识的视频请求；
视频终端接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图；
视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；
视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。
一种互动式多视角视频的播放系统，该系统包括视频终端和现场信息服务器；
所述视频终端，向所述现场信息服务器发送包含视频标识的视频请求；接收所述现场信息服务器反馈的与所述视频标识对应的视频现场的3D模型和全景图；接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；获取与所述虚拟视点对应的视频数据，播放获取的视频数据；
所述现场信息服务器，接收来自所述视频终端的视频请求，提取与所述视频标识对应的视频现场的3D模型和全景图，反馈给所述视频终端。
从上述方案可以看出，本发明中，视频终端向服务器端发送包含视频标识的视频请求，接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图；视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。采用本发明方案，服务器端根据请求为视频终端下发相应视频现场的3D模型和全景图之后，便可基于3D模型和全景图选取所需要的虚拟视点，视频终端获取与所选虚拟视点对应的视频数据进行播放。这样，解决了现有技术通过遥控器方式时需服务器端多次进行视频数据处理的缺陷；从而，有效减小了服务器端的运算压力，也减少服务器端与终端之间传输流量的占用，避免出现服务器端因用户数量增加而带来崩溃的隐患。
附图说明
图1为本发明互动式多视角视频的播放方法示意性流程图；
图2为本发明互动式多视角视频的播放方法流程图实例；
图3为构建视频采集和视频播放预设轨道的方法流程图；
图4为生成视频现场的3D模型和全景图的方法流程图；
图5为采集多路视频并生成相应的深度图的方法流程图；
图6为服务器端发送现场3D模型和全景图到电视端的方法流程图；
图7为选取视点的流程图；
图8为电视端播放用户选取角度上的视频的流程图；
图9为电视端合成虚拟视点上合成视频的流程图；
图10为用户重新选择视点的流程图；
图11为用户在3D模型上进行交流的流程图；
图12为用户选择切换到其他用户的视点观看视频的流程图；
图13为智能终端或者电视端上小窗口显示视频现场3D模型的示意图；
图14为视频现场3D模型转动后的示意图；
图15为用户间通过智能终端上现场3D模型进行交流的示意图；
图16为本发明互动式多视角视频的播放系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
为了解决了现有技术通过遥控器方式时需服务器端多次进行视频数据处理的缺陷，本发明中，服务器端根据请求为视频终端下发相应视频现场的3D模型和全景图，而后便可基于3D模型和全景图选取所需要的虚拟视点，视频终端再获取与所选虚拟视点对应的视频数据进行播放。这样，有效减小了服务器端的运算压力，也减少服务器端与终端之间传输流量的占用。参见图1，为本发明互动式多视角视频的播放方法示意性流程图，其包括以下步骤：
步骤101，视频终端向服务器端发送包含视频标识的视频请求。
当需要进行多视角视频的播放时，从节目单中选取相应的视频标识，向服务器端发送视频请求。
步骤102，视频终端接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图。
本发明中，服务器端预先为各视频标识对应的视频现场建立3D模型和全景图，而后根据请求下发给视频终端。
针对某个视频现场建立3D模型，为已有技术，这里不过多赘述。通过转换3D模型，以选取所需的虚拟视点；在转动3D模型的过程中，可同时查看所选虚拟视点对应的全景图，进行预览。针对某个视频现场建立全景图，可采用现有方案实现，例如目前电子地图中为各地理位置建立全景图的技术。
虚拟视点体现了视频现场的某一观看角度。
步骤103，视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图。
选取虚拟视点的实现方式有多种，例如基于视频终端显示的3D模型确定，或者，基于智能终端显示的3D模型确定虚拟视点后，发送给视频终端；等等。具有互动式多视角视频播放功能的视频终端，可以与智能终端进行关联，以协助完成视频播放功能。下面对选取虚拟视点的实现方法进行实例说明。
方式一、
视频终端在本地采用小窗口显示3D模型；视频终端按照来自遥控器的角度转动操作指令，对3D模型进行角度转动操作，并同时显示转动角度对应的全景图；虚拟视点在转动过程中选取。
方式二、
视频终端将来自服务器端的3D模型发送给智能终端，接收来自智能终端的角度转动操作指令，显示转动角度对应的全景图；虚拟视点在转动过程中选取。
智能终端显示视频终端发送的3D模型，通过按键操作或触摸操作转动3D模型，并向视频终端实时发送角度转动操作指令，视频终端显示转动角度对应的全景图，进行预览；当用户确定虚拟视点后，点击“确认”键。
步骤104，视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。
选取虚拟视点后，视频终端便可获取与虚拟视点对应的视频数据，进行播放。
本步骤具体实现时，可采用现有方式，由服务器端提取与虚拟视点对应的视频数据，推送给视频终端。若虚拟视点所处的位置正好设置有摄像机，则服务器端将该摄像机采集的视频数据直接下发给视频终端。若虚拟视点所处的位置没有设置摄像机，则需要进行视频合成，将合成后的视频数据下发给视频终端。
为了进一步减小服务器端的运算压力，并减少服务器端与终端之间传输流量的占用；本发明将视频合成的处理操作转由视频终端完成。具体地：
视频终端将选取的虚拟视点的位置信息发送给服务器端；
服务器端根据虚拟视点的位置信息，查找出虚拟视点左右两侧最近的两台摄像机采集到的视频流，表示为V1、V2；将视频流V1和V2发送给视频终端；
视频终端运用视频合成算法将视频流V1和V2合成为虚拟视点上的合成视频。
完成视频合成后，可采用如下方式进行播放：
视频终端采用两个小窗口分别播放V1和V2，采用一个大视频窗口播放合成视频；
视频终端判断在规定时间段内是否获取到用户选择，如果是，则根据用户选择将其中一个窗口对应的视频数据进行全屏播放，否则，在规定时间段之后全屏播放合成视频。
本发明中，视频终端向服务器端发送包含视频标识的视频请求，接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图；视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。采用本发明方案，服务器端根据请求为视频终端下发相应视频现场的3D模型和全景图之后，便可基于3D模型和全景图选取所需要的虚拟视点，视频终端获取与所选虚拟视点对应的视频数据进行播放。这样，解决了现有技术通过遥控器方式时需服务器端多次进行视频数据处理的缺陷。从而，有效减小了服务器端的运算压力，也减少服务器端与终端之间传输流量的占用，避免出现服务器端因用户数量增加而带来崩溃的隐患，更有利于多视角视频模式的推广。
进一步地，还可基于与视频终端关联的智能终端，实现各用户之间的交流。具体地：
与视频终端A关联的智能终端M进入用户间交流功能，从服务器端获取其他互动式视频终端对应的虚拟视点，并在3D模型上显示获取的各虚拟视点；
智能终端M接收关于指定视频终端B的交流信息，发送到服务器端；
服务器端将交流信息发送给与指定视频终端B关联的智能终端N。
交流信息包括用户在智能终端M上输入的文字、语音、视频等信息。
进一步地：
智能终端M接收通过3D模型选取的关于指定视频终端B的虚拟视点，发送给服务器端；
服务器端发送视频采集命令和视频终端A的地址信息到视频终端B；
视频终端B对当前播放的视频数据进行低分辨率采集，得到低分辨率视频；
视频终端B根据视频终端A的地址信息，将低分辨视频推送到视频终端A进行播放。
可选地，视频终端A采用小窗口播放低分辨率视频。
进一步地：
智能终端M向服务器端发送关于指定视频终端B的停止切换命令；服务器端发送停止命令到视频终端B，视频终端B停止低分辨率采集和视频推送；或者，
智能终端M向服务器端发送关于指定视频终端B的切换命令；服务器端发送停止命令到视频终端B，视频终端B停止低分辨率采集和视频推送；服务器端将记录的视频终端A的虚拟视点更新为视频终端B的虚拟视点信息，并将视频终端B的虚拟视点及其对应的视频流V1和V2的发送给视频终端A。
下面通过图2-15所示的流程，对本发明互动式多视角视频的播放方法进行实例。总体来讲，本发明的互动式多视角视频方案包括以下几个部分：构建多视角视频采集和播放的预设轨道，沿着预设轨道生成视频现场的3D模型和全景图，采集多路视频并生成其相应的深度图流，服务器端发送视频现场的3D模型和全景图到终端，用户通过3D模型和全景图选取视点，电视端播放用户选取角度上的视频，用户重新选择视点，用户之间在3D模型上进行交流，用户选择切换到其他用户的视点观看视频。
构建多视角视频播放的预设轨道的步骤可包括：在视频开始之前，视频提供方提前构建好一条观看视频效果最佳的轨道，多视角视频采集的摄像机将会被分配到预设轨道上，以保证各个摄像机是在同一高度进行视频采集，并且采集的视频场景相近；用户观看视频的所有虚拟视点都将映射到该预设轨道上，以保证虚拟视点和参考视点在统一的高度和场景的远近上。
沿着预设轨道生成视频现场的3D模型和全景图的步骤可包括：在视频开始之前，视频提供方使用三维激光扫描仪沿着预设轨道往复地对视频现场进行扫描，并收集回来的激光信息。根据激光从远近不同的物体表面反射回来的时间差，从而获得视频现场的深度信息即点云数据，然后对原始的点云数据进行去除噪声，平滑操作，最后建立视频现场的3D模型。将摄像机均匀分配在预设轨道上，然后在3D模型中加入预设轨道和摄像机的位置位置信息，形成最终的3D模型并存储在服务器端。使用标定好的相机沿着设定轨道对舞台方向进行图片采集，然后将各个角度采集到的图片融合成沿着轨道能够观看到的舞台方向的全景图。
采集多路视频并生成其相应的深度图的步骤可包括：将摄像机布置到根据预设好的坐标位置上，然后进行视频采集，将各路采集到的视频数据传输到服务器端；服务器端对两个相邻的摄像机采集的视频流进行匹配获取各个视频流对应的深度图流；摄像机A采集的视频流中的视频帧作为目标图像，以其右侧摄像机B在同一时刻采集到的视频帧作为参考图像，采用立体匹配技术进行立体匹配，计算出目标图像中所有像素点与参考图像中对应像素点的视差，然后将视差转换成深度值，进而计算出各个目标图像的深度图。重复以上步骤为每个视频流生成相应的深度图流，存储在服务器端。深度图的生成，可采用现有方式实现。
服务器端发送视频现场的3D模型和全景图到终端的步骤可包括：服务器端根据电视端发送的请求检索该视频的现场3D模型和全景图，然后服务器端将视频现场的3D模型和全景图发送到电视端，电视端再将3D模型发送到智能终端上供用户操作使用。
用户通过3D模型和全景图选取虚拟视点的步骤可包括：电视端以默认的角度显示获取到的视频现场全景图，智能终端以默认的角度显示视频现场的3D模型或者在电视端以小窗口显示默认角度的3D模型。在默认的角度上，用户在3D模型中的虚拟视点和基准视角是在一个角度上。用户可在智能终端上触屏转动现场的3D模型或者通过遥控器控制电视上显示的3D模型，此时，用户在3D模型中的虚拟视点不动，现场3D模型、模型中的摄像机和基准视角随着用户的操作进行转动。用户点击3D模型中的某个位置作为其选择的初始虚拟视点，初始虚拟视点所在视角与转动后基准视角形成的角度即为用户转动的角度，电视端将用户选择的初始虚拟视点所在视角与预设轨道的交点作为用户最终的虚拟视点，然后在电视上显示最终虚拟视点上对应的全景图，用户通过观看电视上显示的全景图，了解当前选择的虚拟视点上能看到的事物，并确定是否选择该视点观看视频，如果不满意则再次转动3D模型选取新的视点，直到获得理想的视点。
播放用户选取角点上的视频的步骤可以包括：电视端将用户选取的虚拟视点的位置信息发送到服务器端。服务器端将用户选取的虚拟试点的位置信息进行保存，同时根据虚拟视点在3D模型中的位置查找出该虚拟视点左右两侧最近的两台摄像机信息，并从视频服务器中检索这两个摄像机采集到的视频V1、V2及其相应的深度信息流D1、D2，将V1、V2和D1、D2发送到电视端。电视端计算出虚拟视点所在视角与两侧摄像机之间的角度，运用视频合成算法将V1和V2合成虚拟视点上的视频，然后通过两个小窗口分别播放V1和V2，通过一个大视频窗口播放合成视频。用户可以根据视觉效果和感受选择其中一个窗口进行全屏播放，如果用户在规定时间内未做出选择，则在一段时间后全屏播放合成视频。
电视端运用视频合成算法合成虚拟视点上视频的步骤可包括：电视端将虚拟视点最近的摄像机采集到的视频作为主参考图像，另外一个作为辅助参考图像。采用基于深度图的渲染(DIBR，Depth Image Based Rendering)技术进行虚拟视点的视频合成；首先，根据主参考点与虚拟视点的视差，将主参考图像的深度信息进行3D变换生成虚拟视点的深度图Depth1；然后，根据辅助参考点与虚拟视点的视差，将辅助参考视点的深度图进行3D变换成虚拟视点的深度图Depth2；再次，将深度图Depth1中的空洞区域使用Depth2中的像素进行填充，生成完整的虚拟视点深度图；最后，对虚拟视点上的完整深度图进行像素颜色填充；对于两个参考视点上都出现的像素点，根据参考视点与虚拟视点的距离对两个参考视点的像素进行加权处理得到虚拟视点上的像素颜色，对于只存在于其中一个参考视点上的像素直接采用该参考视点的像素颜色进行像素填充，最终形成虚拟视点的图像。
用户重新选择视点的步骤可包括：用户在智能终端上选择重新选择视点，电视端发送停止命令到服务器端，停止发送视频到电视端；电视端停止合成和播放视频，并且以上一次用户选择的视点显示全景图，智能终端上以上一次选择的视角显示出现场的3D模型。用户按照通过3D模型和全景图选取视点的步骤再次进行视点，并确定选择的视点，电视端播放用户选取视点上的视频。
用户之间在3D模型上进行交流的步骤可包括：在用户观看视频的同时，在智能终端上打开用户间交流的功能，智能终端向服务器端请求获取其他在线用户的信息，服务器端获取到当前观看该视频的所有用户的位置信息，并发送到智能终端上。智能终端获取了其他用户的位置信息后，在3D模型上以圆点的方式标记显示所有用户的虚拟角点。用户在智能终端上输入文字、语音或视频的交流信息，发送到服务器端；如果用户指定信息接收的用户，则服务器端将交流信息推送到所有用户的智能终端上，否则服务器端将交流信息发送到指定用户的智能终端上；其他用户可以选择接收指定的或者所有的虚拟视点上用户发布的交流信息，然后进行指定用户之间或者所有用户之间的交流互动。
用户选择切换到其他用户的视点观看视频的步骤可以包括：用户通过交流互动或者其他用户的虚拟视点分布情况，可选择感兴趣的视点观看视频。用户A在智能终端显示的现场3D模型上点击某个用户B的虚拟视点，智能终端将切换到用户B虚拟视点的请求发送到服务器端；服务器端将视频采集命令和用户A电视端的网络信息发送到该用户B的电视端；用户B的电视端低分辨率采集当前电视上播放的视频，并将该低分辨视频推送到用户A的电视端，用户A的电视端在小窗口中播放低分辨率视频。如果用户不满意，可以在智能终端上发送停止切换命令到服务器，服务器端发送停止命令到用户B，用户B停止采集和推送视频；用户如果觉得满意，可以在智能终端上发送确定切换命令到服务器端，服务器端接收到请求之后，服务器发送停止命令到用户B，用户B停止采集和推送视频，同时服务器端更新用户A的虚拟视点信息为用户B的虚拟视点信息，将用户B的虚拟视点信息及其源视频V1和V2的发送到用户A，用户A的电视端和智能终端更新虚拟视点信息，用户A的电视端合成虚拟视点上的合成视频。用户A的电视端通过两个小窗口分别播放视频V1和V2，通过一个大窗口播放合成视频。用户可以根据视觉效果和感受选择其中一个窗口进行全屏播放，如果用户在规定时间内未做出选择，则在一段时间后全屏播放合成视频。
参见图2，为本发明互动式多视角视频的播放方法流程图实例，其包括以下步骤：
步骤201，在视频现场构建一条视频采集和视频播放的预设轨道。
构建预设轨道，可采用现有技术实现。
参见图3，为构建视频采集和视频播放预设轨道的方法流程图，其包括以下步骤：
步骤301，选取现场观看节目的最佳距离。
步骤302，选取在现场观看节目的最佳高度。
步骤303，在选取的距离和高度上构建一条覆盖所有现场座位的视角的轨道。
步骤202，生成视频现场的3D模型和全景图。
生成视频现场的3D模型和全景图，可采用现有技术实现。
参见图4，为生成视频现场的3D模型和全景图的方法流程图，其包括以下步骤：
步骤401，将三维激光扫描仪安放在预设轨道上；
步骤402，沿着轨道移动三维激光扫描仪，进行激光扫描；
步骤403，三维激光扫描仪根据激光的反射时间，获得视频现场的点云数据；
三维激光扫描仪对视频现场的每个点进行激光扫描，每个点有各自的反射时间。
步骤404，对原始的点云数据进行噪声去除和平滑操作的预处理；
步骤405，根据预处理后的点云数据构建视频现场的3D模型；
获取预处理后的点云数据后，构建视频现场的3D模型，是本领领域技术人员易于实现的。
步骤406，将预设轨道和各个摄像机的位置信息增加到3D模型中，完成最终的3D模型；
步骤407，将相机朝着节目方向安放在预设轨道上；
步骤408，沿着轨道移动相机，同时采集节目场景照片；
步骤409，将各个角度采集到的图片融合成沿着轨道能够观看到的舞台方向的全景图。
步骤203，采集多路视频并生成相应的深度图。
参见图5，为采集多路视频并生成相应的深度图的方法流程图，其包括以下步骤：
步骤501，将采集视频的摄像机均匀分配到预设轨道的不同位置上；
步骤502，采集视频数据，并传输到服务器端；
步骤503，服务器端生成与视频流相对应的深度图流；
具体的来说，摄像机A采集到的视频流中某个时刻的视频帧Frame1作为目标图像，以A右侧摄像机B在同一时刻采集到的视频帧Frame2作为参考图像，采用立体匹配技术进行立体匹配，计算出Frame1中像素点与Frame2中像素点的视差，然后将视差转换成深度值，进而计算出Frame1对应的深度图。
计算是视频流相对应的深度图流，可采用现有方式实现。
步骤504，重复步骤503，生成所有视频流相对应的深度图流。
步骤204，服务器端将用户选择的视频的现场3D模型和全景图发送到电视端。
参见图6，为服务器端发送现场3D模型和全景图到电视端的方法流程图，其包括以下步骤：
步骤601，服务器端根据电视端发送过来的视频请求，检索该视频的现场3D模型和全景图。
步骤602，服务器端将检索到的视频现场的3D模型和全景图到电视端。
步骤603，电视端将视频现场的3D模型发送到智能终端。
步骤205，电视端获取到视频现场的3D模型和全景图后，通过电视端和智能终端合作完成视点选取。
具体的来说，电视端获取到视频现场的3D模型和全景图后，将3D模型发送到智能终端上；智能终端以默认的角度显示3D模型，电视端以默认的角度显示现场的全景图；用户通过操作智能终端，转动3D模型使得视点进行转动，而同时电视端显示的全景图也随着3D模型的转动也相应的转动，用户观看全景图显示的内容确定该视点是否为其想要的视点。
参见图7，为选取视点的流程图，下面就图7来介绍步骤205的详细过程。
步骤701，电视端以默认的角度显示视频现场的全景图。
步骤702，智能终端上以默认的角度显示视频现场的3D模型或者电视端上以小窗口显示默认角度的3D模型，此时用户在3D模型中的虚拟视点和基准视角是在一个角度上。
本实例中，虚拟视点的位置信息，需结合基准视角确定，虚拟视点是相对于基准视角而言的。
步骤703，用户在智能终端上转动3D模型或者使用遥控器转动电视端显示的3D模型，此时，标记用户的虚拟视点是不移动的，视频现场的3D模型和3D模型中的摄像机和基准视角线，随着用户的操作进行转动。而移动后的基准视角线与用户虚拟视点所在视角线形成的角度即为用户视角转动的角度，3D模型转动的方向的逆向即为用户相对于3D模型的转动方向。如：用户顺时针转动3D模型45度，虚拟视点转动的角度为45度，则虚拟视点相对于基准视角线逆时针转动了45度。
步骤704，电视端获取到虚拟视点转动的角度，并对现场的全景图进行相应的转动，显示转动后的虚拟视点上能看到的图像。
步骤705，用户通过观看电视上显示的全景图，了解当前选择的虚拟视点上能看到的事物，以确定该虚拟视点是否为其满意的视点，如果不满意则返回步骤703，否则进入步骤706。
步骤706，用户在智能终端确定满意的虚拟视点，智能终端将获得的虚拟视点相对于基准视角线的位置信息发送到电视端。
步骤206，电视端播放用户选取角度上的视频，根据用户选取的虚拟视点，运用视频合成算法，将该视点两侧摄像机采集到的视频合成虚拟视点上能看到的视频。
具体的来说，电视端将转动后的虚拟视点相对于基准视角线的位置信息发送到服务器端，服务器端记录了所有现场摄像头在3D模型中的位置信息，服务器可以获得转动后的虚拟视点左右两侧最近的摄像机的编号信息，然后根据摄像机编号信息到视检索这两个摄像机采集到的视频流V1、V2和深度图流D1、D2以及这两个摄像机的位置信息。将V1、V2、D1、D2以及其摄像机的位置信息发送到电视端，电视端根据最终虚拟视点和两侧摄像机的位置信息以及V1、V2、D1、D2，运用DIBR技术合成最终虚拟视点上的视频。DIBR技术为已有方案，这里不多赘述。
参见图8，为电视端播放用户选取角度上的视频的流程图，下面就图8来介绍步骤206的详细过程。
步骤801，电视端将用户选取的虚拟视点的位置信息发送到服务器端。
步骤802，服务器端保存用户选取的虚拟视点的位置信息。
步骤803，服务器端根据该虚拟视点在3D模型中的位置，查找出该虚拟视点左右两侧最近的两台摄像机C1和C2的标记信息，然后检索C1和C2采集到的视频V1、V2、D1、D2以及C1和C2的位置信息。
步骤804，服务器端将视频V1、V2、D1、D2以及其摄像机的位置信息一起发送到电视端。
步骤805，电视端根据虚拟视点的位置信息和C1、C2的位置信息，然后运用视频合成算法，将V1和V2合成虚拟视点上的合成视频V3。
步骤806，电视端通过两个小视频窗口分别播放V1和V2，通过一个大视频窗口播放合成视频V3。
步骤807，用户根据视觉效果和感受选择其中一个窗口进行全屏播放，如果用户在规定时间内未做出选择，则全屏播放合成视频。
参见图9，为电视端合成虚拟视点上合成视频的流程图，下面就图9来介绍虚拟视点上合成视频的详细过程。
步骤901，电视端将离虚拟视点更近的摄像机作为主参考视点，另一个作为辅助参考视点；主参考视点采集到的视频帧作为主参考图像，辅助参考视点采集到的视频帧作为辅助参考图像；
步骤902，将主参考视点的深度图进行3D变换，得到虚拟视点上的深度图Depth1；
步骤903，对辅助参考视点的深度图进行3D变换，得到虚拟视点的深度图Depth2；
步骤904，对于深度图Depth1上空洞的区域，到Depth2中进行查找相应的深度值，填充到空洞区域上，形成一个完成的虚拟视点上的深度图；
步骤905，对最终的深度图上的像素进行颜色填充。
对于只出现在主参考视点或者辅助参考视点中的像素直接选取对应的像素进行填充；对于在两个参考视点中都出现的像素，根据虚拟视点到主参考视点和辅助参考视点的距离进行对两个参考视点上的像素进行加权处理，然后填充到深度图上。
步骤906，最终得到虚拟视点上的合成图像。
在步骤207，在视频播放的过程中，用户重新选择观看视频的视点。
图10示出了用户重新选择视点的流程图，下面就图10来介绍步骤207的详细过程。
步骤1001，用户在智能终端上重新选择视角，智能终端将重新选择的命令请求发送到电视端，电视端再将请求发送到给服务器端。
步骤1002，电视端停止合成和播放视频，并显示上一次用户选择的视点上的视频现场全景图。
步骤1003，服务器端停止发送V1和V2视频流到电视端。
步骤1004，智能终端以用户上一次选择的视点显示现场的3D模型。用户按照205的步骤重新选择观看视频的虚拟视点。
步骤208，用户在观看视频的时候，可在智能终端上进行交流互动。
智能终端显示的3D模型上同时显示在线观看该视频的其他用户，在3D模型中根据其位置信息分别显示在3D模型的不同位置。用户之间可以选择性地通过文字、语音或视频进行交流互动，比如对视频的内容进行讨论，分享自己视角上看到的有趣的事物等。用户间进行交流的时候，可以自由设定消息想要发送到的指定用户或者指定区域的用户，也可以发送到所有用户；同时也可以设定想要接收指定用户或者指定区域的信息，也可以接收所有用户发送的信息。
参见图11，为用户在3D模型上进行交流的流程图，下面就图11来介绍步骤208的详细过程。
步骤1101，在用户观看视频的同时，在智能终端上打开用户间交流的功能。
步骤1102，智能终端向服务器端请求获取其他在线用户的信息，服务器端获取到当前观看该视频的所有用户的位置信息，并发送到智能终端上。
步骤1103，智能终端获取了其他用户的位置信息后，在3D模型上以圆点的方式标记显示所有用户的虚拟视点。
步骤1104，用户在智能终端上输入文字、语音或视频的交流信息，发送到服务器端。
步骤1105，根据用户的设定发送范围，服务器将交流信息，推送到指定用户的智能终端上。
步骤1106，根据用户的设定接收范围，智能终端显示过滤后的交流信息。
步骤209，用户通过与其他用户的交流，或者根据用户在3D模型上的视点分步情况，可能产生选择新的视点的想法，此时用户可在智能终端上点击代表用户虚拟视点的某个圆点，以切换到该用户的视点观看视频。
例如：假设有用户A想要切换到用户B所在的虚拟视点观看视频，用户A通过服务器端发送请求到用户B的电视端，由用户B采集其屏幕上正在播放视频的低分辨率版本，将低分辨率的视频发送到用户A的电视端；用户A的电视端采用小窗口播放用户B传过来的视频，用户A确定是否为其所想要的视点，如果是则将用户B的虚拟视点作为用户A的虚拟视点进行视频播放。
图12示出了用户选择切换到其他用户的视点观看视频的流程图，下面就图11来介绍步骤209的详细过程。
步骤1201，用户A在其智能终端上点击用户B在现场3D模型上的虚拟视点。
步骤1202，用户A的智能终端将切换到用户B的请求发送到服务器。
步骤1203，服务器端向用户B的电视端发送低分辨率视频采集命令以及用户A电视端的网络信息。
步骤1204，用户B的电视端低分辨率采集当前电视屏幕上播放的视频，并根据用户A的网络信息将该低分辨视频Vs推送到用户A的电视端。
步骤1205，用户A的视频端接收到低分辨率视频Vs后，使用小视频窗口播放该低分辨率视频Vs。
步骤1206，一段时间后，服务器发送停止采集命令到用户B的电视端，用户B的电视端停止采集屏幕视频，用户A的电视端停止播放Vs。
步骤1207，用户A选择是否满意用户B的虚拟视点上看到的视频，如果满意则进入到步骤1208，否则重新选择想要切换到的用户，回到步骤1201。
步骤1208，用户A的智能终端将虚拟视点切换到用户B虚拟视点的命令发送到服务器端。
步骤1209，服务器端将用户A的虚拟视点信息更新为用户B的虚拟视点信息。
步骤1210，服务器端将用户A更新后的虚拟视点信息、源视频V1和V2以及采集V1、V2的摄像机C1、C2的位置信息的发送到用户A。
步骤1211，用户A的电视端根据视点信息和C1、C2的位置信息，运用视频合成算法，合成新的虚拟视点上的视频。
步骤1212，用户A的电视端和智能终端更新虚拟视点信息。
步骤1213，用户A的电视端通过两个小窗口分别播放视频V1和V2，通过一个大窗口播放合成视频。
步骤1214，用户A可以根据视觉效果和感受选择其中一个窗口进行全屏播放，如果在规定时间内未做出选择，则在一段时间后全屏播放合成视频。
参见图13，为智能终端或者电视端上小窗口显示视频现场3D模型的示意图。具体来说，3D模型上显示了用户的虚拟视点在现场3D模型中的位置，以及基准视角的位置，还包括了光线、方位等其他信息。
参见图14，为视频现场3D模型转动后的示意图。具体来说，转动后现场的3D模型和模型中的摄像机以及基准视角随着用户的操作进行转动，用户的虚拟视点不动，虚拟视点与转动后的基准视角形成的角度即为转动的角度。
参见图15，为用户间通过智能终端上现场3D模型进行交流的示意图。具体来说，智能终端上用圆点标示出所有在线用户所在的虚拟视点，可以选择对象接受或者发送交流信息，并可以通过点击圆点切换到该用户的虚拟视点观看视频。
本发明通过采用视频现场3D模型和全景图选取用户观看视频的虚拟视点，提供基于现场的3D模型进行用户之间的交流，并在此基础上进行可切换到其他用户观看视频的虚拟视点，将服务器端的视频数据推送到视频终端进行虚拟视点的视频合成，为用户提供完美的多视角视频观看体验。比起传统的遥控器等虚拟视点的选取方法，采用现场的3D模型和全景图来选取虚拟视点能够给用户清晰的位置感和方向感，能够更精准地帮助用户选取视点；同时在选取视点的过程中不需要与服务器端进行通讯和视频合成，这样就能够实时、快速地响应用户选取视点的操作。系统根据每个在线用户的虚拟视点在现场3D模型中标记显示，给用户感觉自己像是在视频现场的某一个位置上观看节目，用户可以基于现场3D模型与其他观看视频、有共同爱好的用户进行交流、聊天，为用户提供更好的视频现场体验；同时基于现场3D模型，用户可选择查看其感兴趣的用户的虚拟视点所看到的视频，并可选择切换到其他用户的虚拟视点上，提供了更加丰富有趣的方式观看视频。比起在服务器端进行虚拟视点的视频合成，在视频终端进行视频合成能够使多视角视频系统更加稳定，更有利于多视角视频的推广；因为当多视角视频观看用户数量庞大的时候，合成所有用户所需的视频需要巨大的运算能力作为支撑，服务器端需要随着用户的增加而不断增强运算能力，存在因为服务器运算能力不够导致的系统崩溃的隐患；而当今的视频终端硬件发展迅猛，视频终端的计算能力越来越强，将视频合成交给视频终端完成能够更有效地利用视频终端的资源，并且降低服务器端的运算压力和成本投入，从而使整个多视角视频系统更加稳定。
参见图16，为本发明互动式多视角视频的播放系统结构示意图，该系统包括视频终端和现场信息服务器；
所述视频终端，向所述现场信息服务器发送包含视频标识的视频请求；接收所述现场信息服务器反馈的与所述视频标识对应的视频现场的3D模型和全景图；接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；获取与所述虚拟视点对应的视频数据，播放获取的视频数据；
所述现场信息服务器，接收来自所述视频终端的视频请求，提取与所述视频标识对应的视频现场的3D模型和全景图，反馈给所述视频终端。
较佳地，所述视频终端包括交互模块、视频合成模块和显示模块；
所述交互模块，向所述现场信息服务器发送包含视频标识的视频请求；接收所述现场信息服务器反馈的与所述视频标识对应的视频现场的3D模型和全景图；接收通过3D模型选取的虚拟视点，并通知所述显示模块展示与该虚拟视点对应的全景图；
所述视频合成模块，获取与所述虚拟视点对应的视频数据，将获取的视频数据发送给所述显示模块进行播放。
较佳地，所述交互模块，通知所述显示模块采用小窗口显示3D模型；按照来自遥控器的角度转动操作指令，通知所述显示模块对3D模型进行角度转动操作，并同时显示转动角度对应的全景图；所述虚拟视点在转动过程中选取；或者，
该播放系统还包括智能终端，所述智能终端包括视点选取模块；所述交互模块，将来自服务器端的3D模型发送给所述视点选取模块，接收来自所述视点选取模块的角度转动操作指令，通知所述显示模块显示转动角度对应的全景图；所述虚拟视点在转动过程中选取；
所述视点选取模块，接收来自所述交互模块的3D模型，显示3D模块；捕获对3D模型的角度转动操作，将角度转动操作指令发送给所述交互模块。
较佳地，该播放系统还包括视频服务器；
所述交互模块，将选取的虚拟视点的位置信息发送给所述视频服务器；接收来自所述视频服务器的视频流V1和V2，发送给所述视频合成模块；
所述视频服务器，根据虚拟视点的位置信息，查找出虚拟视点左右两侧最近的两台摄像机采集到的视频流，表示为V1、V2；将视频流V1和V2发送给所述交互模块；
所述视频合成模块，运用视频合成算法将视频流V1和V2合成为虚拟视点上的合成视频，将获取的视频数据发送给所述显示模块进行播放。
较佳地，所述显示模块，采用两个小窗口分别播放V1和V2，采用一个大视频窗口播放合成视频；判断在规定时间段内是否获取到用户选择，如果是，则根据用户选择将其中一个窗口对应的视频数据进行全屏播放，否则，在规定时间段之后全屏播放合成视频。
较佳地，该播放系统还包括交流服务器，所述智能终端与视频终端A关联，还包括交流模块；
所述交流模块，进入用户间交流功能，从所述交流服务器获取其他互动式视频终端对应的虚拟视点，并在3D模型上显示获取的各虚拟视点；接收关于指定视频终端B的交流信息，发送到所述交流服务器；
所述交流服务器，根据所述交流模块的请求提供交互式视频终端的虚拟视点；接收来自所述交流模块的交流信息，将交流信息发送给与指定视频终端B关联的智能终端N。
较佳地，所述交流模块，接收通过3D模型选取的关于指定视频终端B的虚拟视点，发送给所述交流服务器；接收来自视频终端B的低分辨率视频，进行播放；
所述交流服务器，接收关于指定视频终端B的虚拟视点，发送视频采集命令和视频终端A的地址信息到视频终端B，以通知视频终端B对当前播放的视频数据进行低分辨率采集。
较佳地，所述交流模块，向所述交流服务器端发送关于指定视频终端B的停止切换命令；所述交流服务器，接收停止切换命令，发送停止命令到视频终端B，以通知视频终端停止低分辨率采集和视频推送；或者，
所述交流模块，向所述交流服务器发送关于指定视频终端B的切换命令；所述交流服务器，接收切换命令，发送停止命令到视频终端B，以通知视频终端B停止低分辨率采集和视频推送；所述交流服务器还将记录的视频终端A的虚拟视点更新为视频终端B的虚拟视点信息，并通知所述视频服务器将视频终端B的虚拟视点及其对应的视频流V1和V2的发送给视频终端A的交互模块。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种互动式多视角视频的播放方法，其特征在于，该方法包括：
视频终端向服务器端发送包含视频标识的视频请求；
视频终端接收服务器端反馈的与所述视频标识对应的视频现场的3D模型和全景图；
视频终端接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；
视频终端获取与所述虚拟视点对应的视频数据，播放获取的视频数据。
2.如权利要求1所述的方法，其特征在于，所述视频终端接收通过3D模型选取的虚拟视点包括：
视频终端在本地采用小窗口显示3D模型；视频终端按照来自遥控器的角度转动操作指令，对3D模型进行角度转动操作，并同时显示转动角度对应的全景图；虚拟视点在转动过程中选取；或者，
视频终端将来自服务器端的3D模型发送给智能终端，接收来自智能终端的角度转动操作指令，显示转动角度对应的全景图；虚拟视点在转动过程中选取。
3.如权利要求1所述的方法，其特征在于，所述视频终端获取与所述虚拟视点对应的视频数据包括：
视频终端将选取的虚拟视点的位置信息发送给服务器端；
服务器端根据虚拟视点的位置信息，查找出虚拟视点左右两侧最近的两台摄像机采集到的视频流，表示为V1、V2；将视频流V1和V2发送给视频终端；
视频终端运用视频合成算法将视频流V1和V2合成为虚拟视点上的合成视频。
4.如权利要求3所述的方法，其特征在于，所述播放获取的视频数据包括：
视频终端采用两个小窗口分别播放V1和V2，采用一个大视频窗口播放合成视频；
视频终端判断在规定时间段内是否获取到用户选择，如果是，则根据用户选择将其中一个窗口对应的视频数据进行全屏播放，否则，在规定时间段之后全屏播放合成视频。
5.如权利要求1所述的方法，其特征在于，该方法还包括：
与视频终端A关联的智能终端M进入用户间交流功能，从服务器端获取其他互动式视频终端对应的虚拟视点，并在3D模型上显示获取的各虚拟视点；
智能终端M接收关于指定视频终端B的交流信息，发送到服务器端；
服务器端将交流信息发送给与指定视频终端B关联的智能终端N。
6.如权利要求5所述的方法，其特征在于，该方法还包括：
智能终端M接收通过3D模型选取的关于指定视频终端B的虚拟视点，发送给服务器端；
服务器端发送视频采集命令和视频终端A的地址信息到视频终端B；
视频终端B对当前播放的视频数据进行低分辨率采集，得到低分辨率视频；
视频终端B根据视频终端A的地址信息，将低分辨视频推送到视频终端A进行播放。
7.如权利要求6所述的方法，其特征在于，该方法还包括：
智能终端M向服务器端发送关于指定视频终端B的停止切换命令；服务器端发送停止命令到视频终端B，视频终端B停止低分辨率采集和视频推送；或者，
智能终端M向服务器端发送关于指定视频终端B的切换命令；服务器端发送停止命令到视频终端B，视频终端B停止低分辨率采集和视频推送；服务器端将记录的视频终端A的虚拟视点更新为视频终端B的虚拟视点信息，并将视频终端B的虚拟视点所对应的视频流V1和V2的发送给视频终端A。
8.一种互动式多视角视频的播放系统，其特征在于，该系统包括视频终端和现场信息服务器；
所述视频终端，向所述现场信息服务器发送包含视频标识的视频请求；接收所述现场信息服务器反馈的与所述视频标识对应的视频现场的3D模型和全景图；接收通过3D模型选取的虚拟视点，并展示与该虚拟视点对应的全景图；获取与所述虚拟视点对应的视频数据，播放获取的视频数据；
所述现场信息服务器，接收来自所述视频终端的视频请求，提取与所述视频标识对应的视频现场的3D模型和全景图，反馈给所述视频终端。
9.如权利要求8所述的播放系统，其特征在于，所述视频终端包括交互模块、视频合成模块和显示模块；
所述交互模块，向所述现场信息服务器发送包含视频标识的视频请求；接收所述现场信息服务器反馈的与所述视频标识对应的视频现场的3D模型和全景图；接收通过3D模型选取的虚拟视点，并通知所述显示模块展示与该虚拟视点对应的全景图；
所述视频合成模块，获取与所述虚拟视点对应的视频数据，将获取的视频数据发送给所述显示模块进行播放。
10.如权利要求9所述的播放系统，其特征在于，所述交互模块，通知所述显示模块采用小窗口显示3D模型；按照来自遥控器的角度转动操作指令，通知所述显示模块对3D模型进行角度转动操作，并同时显示转动角度对应的全景图；所述虚拟视点在转动过程中选取；或者，
该播放系统还包括智能终端，所述智能终端包括视点选取模块；所述交互模块，将来自服务器端的3D模型发送给所述视点选取模块，接收来自所述视点选取模块的角度转动操作指令，通知所述显示模块显示转动角度对应的全景图；所述虚拟视点在转动过程中选取；
所述视点选取模块，接收来自所述交互模块的3D模型，显示3D模块；捕获对3D模型的角度转动操作，将角度转动操作指令发送给所述交互模块。
11.如权利要求9或10所述的播放系统，其特征在于，该播放系统还包括视频服务器；
所述交互模块，将选取的虚拟视点的位置信息发送给所述视频服务器；接收来自所述视频服务器的视频流V1和V2，发送给所述视频合成模块；
所述视频服务器，根据虚拟视点的位置信息，查找出虚拟视点左右两侧最近的两台摄像机采集到的视频流，表示为V1、V2；将视频流V1和V2发送给所述交互模块；
所述视频合成模块，运用视频合成算法将视频流V1和V2合成为虚拟视点上的合成视频，将获取的视频数据发送给所述显示模块进行播放。
12.如权利要求11所述的播放系统，其特征在于，所述显示模块，采用两个小窗口分别播放V1和V2，采用一个大视频窗口播放合成视频；判断在规定时间段内是否获取到用户选择，如果是，则根据用户选择将其中一个窗口对应的视频数据进行全屏播放，否则，在规定时间段之后全屏播放合成视频。
13.如权利要求9所述的播放系统，其特征在于，该播放系统还包括交流服务器，所述智能终端与视频终端A关联，还包括交流模块；
所述交流模块，进入用户间交流功能，从所述交流服务器获取其他互动式视频终端对应的虚拟视点，并在3D模型上显示获取的各虚拟视点；接收关于指定视频终端B的交流信息，发送到所述交流服务器；
所述交流服务器，根据所述交流模块的请求提供交互式视频终端的虚拟视点；接收来自所述交流模块的交流信息，将交流信息发送给与指定视频终端B关联的智能终端N。
14.如权利要求13所述的播放系统，其特征在于，所述交流模块，接收通过3D模型选取的关于指定视频终端B的虚拟视点，发送给所述交流服务器；接收来自视频终端B的低分辨率视频，进行播放；
所述交流服务器，接收关于指定视频终端B的虚拟视点，发送视频采集命令和视频终端A的地址信息到视频终端B，以通知视频终端B对当前播放的视频数据进行低分辨率采集。
15.如权利要求14所述的播放系统，其特征在于，所述交流模块，向所述交流服务器端发送关于指定视频终端B的停止切换命令；所述交流服务器，接收停止切换命令，发送停止命令到视频终端B，以通知视频终端停止低分辨率采集和视频推送；或者，
所述交流模块，向所述交流服务器发送关于指定视频终端B的切换命令；所述交流服务器，接收切换命令，发送停止命令到视频终端B，以通知视频终端B停止低分辨率采集和视频推送；所述交流服务器还将记录的视频终端A的虚拟视点更新为视频终端B的虚拟视点信息，并通知所述视频服务器将视频终端B的虚拟视点所对应的视频流V1和V2的发送给视频终端A的交互模块。
CN201510041794.0A 2015-01-27 2015-01-27 互动式多视角视频的播放方法及系统 Active CN104602129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510041794.0A CN104602129B (zh) 2015-01-27 2015-01-27 互动式多视角视频的播放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510041794.0A CN104602129B (zh) 2015-01-27 2015-01-27 互动式多视角视频的播放方法及系统

Publications (2)

Publication Number Publication Date
CN104602129A true CN104602129A (zh) 2015-05-06
CN104602129B CN104602129B (zh) 2018-03-06

Family

ID=53127562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510041794.0A Active CN104602129B (zh) 2015-01-27 2015-01-27 互动式多视角视频的播放方法及系统

Country Status (1)

Country Link
CN (1) CN104602129B (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357585A (zh) * 2015-08-29 2016-02-24 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN105847379A (zh) * 2016-04-14 2016-08-10 乐视控股（北京）有限公司 全景视频运动方向追踪方法及追踪装置
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN105898184A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 视频通话方法及装置
CN105915849A (zh) * 2016-05-09 2016-08-31 惠州Tcl移动通信有限公司 一种虚拟现实体育赛事播放方法及系统
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN105959675A (zh) * 2016-05-25 2016-09-21 腾讯科技（深圳）有限公司 一种视频数据的处理方法和装置
CN106060518A (zh) * 2016-06-06 2016-10-26 武汉斗鱼网络科技有限公司 具备视角切换功能的720度全景播放器的实现方法及系统
CN106101764A (zh) * 2016-07-20 2016-11-09 广州华多网络科技有限公司 一种显示视频数据的方法、装置和系统
CN106445437A (zh) * 2016-09-08 2017-02-22 深圳市金立通信设备有限公司 一种终端及其视角切换方法
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
CN106559663A (zh) * 2016-10-31 2017-04-05 努比亚技术有限公司 图像显示装置和方法
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播系统及全景直播方法
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN106797455A (zh) * 2016-12-23 2017-05-31 深圳前海达闼云端智能科技有限公司 一种投影方法、装置及机器人
CN106791920A (zh) * 2016-12-05 2017-05-31 深圳活控文化传媒有限公司 一种视频数据处理方法及其设备
CN106803993A (zh) * 2017-03-01 2017-06-06 腾讯科技（深圳）有限公司 一种实现视频分支选择播放的方法及装置
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107948759A (zh) * 2016-10-12 2018-04-20 阿里巴巴集团控股有限公司 一种业务对象的交互方法和装置
CN108040260A (zh) * 2017-12-13 2018-05-15 北京视博云科技有限公司 C/s架构下高清全景视频的观看方法及系统、终端及服务器
WO2018103384A1 (zh) * 2016-12-07 2018-06-14 华为技术有限公司 一种360度全景视频的播放方法、装置及系统
CN108513096A (zh) * 2017-02-27 2018-09-07 中国移动通信有限公司研究院 信息传输方法、代理服务器、终端设备以及内容服务器
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN108810600A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 一种视频场景的切换方法、客户端及服务器
TWI653882B (zh) 2017-11-23 2019-03-11 宏碁股份有限公司 視訊裝置及其三維物件編解碼方法
CN109716782A (zh) * 2016-07-22 2019-05-03 泽利提公司 定制沉浸式媒体内容的方法和系统
CN109729438A (zh) * 2017-10-31 2019-05-07 杭州海康威视数字技术股份有限公司 一种发送视频包、接收视频包的方法及装置
CN109741466A (zh) * 2018-12-20 2019-05-10 北京惠佳家品科技有限公司 一种3d家装设计直播平台系统及直播方法
CN109874037A (zh) * 2019-01-17 2019-06-11 北京文香信息技术有限公司 一种多路音视频播放方法、装置、存储介质、及终端设备
CN110198457A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 视频播放方法及其设备、系统、存储介质、终端、服务器
CN110581936A (zh) * 2018-06-07 2019-12-17 钰立微电子股份有限公司 产生深度图像的图像装置和相关的电子装置
CN110662119A (zh) * 2018-06-29 2020-01-07 华为技术有限公司 一种视频拼接方法及装置
CN111200758A (zh) * 2018-11-16 2020-05-26 北京字节跳动网络技术有限公司 全景视频的多视场控制方法、装置、电子设备及存储介质
CN112738010A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据交互方法及系统、交互终端、可读存储介质
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN113473244A (zh) * 2020-06-23 2021-10-01 青岛海信电子产业控股股份有限公司 一种自由视点视频播放控制方法及设备
CN113473156A (zh) * 2020-04-24 2021-10-01 海信集团有限公司 一种自由视点视频传输方法以及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1167400A (zh) * 1996-02-29 1997-12-10 松下电器产业株式会社 电视信号的发送、接收方法及装置和发/收方法及装置
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN202838444U (zh) * 2012-09-27 2013-03-27 乐华建科技（北京）有限公司 一种三维模型处理系统
CN103177475A (zh) * 2013-03-04 2013-06-26 腾讯科技（深圳）有限公司 一种街景地图展现方法及系统
US20140145942A1 (en) * 2009-10-02 2014-05-29 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1167400A (zh) * 1996-02-29 1997-12-10 松下电器产业株式会社 电视信号的发送、接收方法及装置和发/收方法及装置
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
US20140145942A1 (en) * 2009-10-02 2014-05-29 Kabushiki Kaisha Toshiba Video reproduction apparatus and video reproduction method
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN202838444U (zh) * 2012-09-27 2013-03-27 乐华建科技（北京）有限公司 一种三维模型处理系统
CN103177475A (zh) * 2013-03-04 2013-06-26 腾讯科技（深圳）有限公司 一种街景地图展现方法及系统

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036329A1 (zh) * 2015-08-29 2017-03-09 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN105357585A (zh) * 2015-08-29 2016-02-24 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
RU2679316C1 (ru) * 2015-08-29 2019-02-07 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство для воспроизведения видеоконтента из любого местоположения и с любого момента времени
CN105357585B (zh) * 2015-08-29 2019-05-03 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN105847379A (zh) * 2016-04-14 2016-08-10 乐视控股（北京）有限公司 全景视频运动方向追踪方法及追踪装置
CN105898184A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 视频通话方法及装置
CN105915849A (zh) * 2016-05-09 2016-08-31 惠州Tcl移动通信有限公司 一种虚拟现实体育赛事播放方法及系统
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN105915937B (zh) * 2016-05-10 2019-12-13 上海乐相科技有限公司 一种全景视频播放方法及设备
CN105959675A (zh) * 2016-05-25 2016-09-21 腾讯科技（深圳）有限公司 一种视频数据的处理方法和装置
CN106060518B (zh) * 2016-06-06 2017-12-08 武汉斗鱼网络科技有限公司 具备视角切换功能的720度全景播放器的实现方法及系统
CN106060518A (zh) * 2016-06-06 2016-10-26 武汉斗鱼网络科技有限公司 具备视角切换功能的720度全景播放器的实现方法及系统
CN106101764A (zh) * 2016-07-20 2016-11-09 广州华多网络科技有限公司 一种显示视频数据的方法、装置和系统
CN109716782A (zh) * 2016-07-22 2019-05-03 泽利提公司 定制沉浸式媒体内容的方法和系统
CN106445437A (zh) * 2016-09-08 2017-02-22 深圳市金立通信设备有限公司 一种终端及其视角切换方法
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107948759A (zh) * 2016-10-12 2018-04-20 阿里巴巴集团控股有限公司 一种业务对象的交互方法和装置
CN107948759B (zh) * 2016-10-12 2021-05-18 阿里巴巴集团控股有限公司 一种业务对象的交互方法和装置
CN106559663A (zh) * 2016-10-31 2017-04-05 努比亚技术有限公司 图像显示装置和方法
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
CN106454450B (zh) * 2016-10-31 2019-07-12 努比亚技术有限公司 全景视频播放装置及方法
CN106559663B (zh) * 2016-10-31 2019-07-26 努比亚技术有限公司 图像显示装置和方法
CN106791920A (zh) * 2016-12-05 2017-05-31 深圳活控文化传媒有限公司 一种视频数据处理方法及其设备
CN108174265A (zh) * 2016-12-07 2018-06-15 华为技术有限公司 一种360度全景视频的播放方法、装置及系统
WO2018103384A1 (zh) * 2016-12-07 2018-06-14 华为技术有限公司 一种360度全景视频的播放方法、装置及系统
US11184646B2 (en) 2016-12-07 2021-11-23 Huawei Technologies Co., Ltd. 360-degree panoramic video playing method, apparatus, and system
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播系统及全景直播方法
CN106797455A (zh) * 2016-12-23 2017-05-31 深圳前海达闼云端智能科技有限公司 一种投影方法、装置及机器人
CN108513096A (zh) * 2017-02-27 2018-09-07 中国移动通信有限公司研究院 信息传输方法、代理服务器、终端设备以及内容服务器
CN108513096B (zh) * 2017-02-27 2021-09-14 中国移动通信有限公司研究院 信息传输方法、代理服务器、终端设备以及内容服务器
CN106803993A (zh) * 2017-03-01 2017-06-06 腾讯科技（深圳）有限公司 一种实现视频分支选择播放的方法及装置
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN108632631B (zh) * 2017-03-16 2020-08-07 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN108810600A (zh) * 2017-04-28 2018-11-13 华为技术有限公司 一种视频场景的切换方法、客户端及服务器
CN108810600B (zh) * 2017-04-28 2020-12-22 华为技术有限公司 一种视频场景的切换方法、客户端及服务器
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
CN107835434B (zh) * 2017-06-09 2021-09-14 越野一族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN109729438B (zh) * 2017-10-31 2022-02-08 杭州海康威视数字技术股份有限公司 一种发送视频包、接收视频包的方法及装置
CN109729438A (zh) * 2017-10-31 2019-05-07 杭州海康威视数字技术股份有限公司 一种发送视频包、接收视频包的方法及装置
TWI653882B (zh) 2017-11-23 2019-03-11 宏碁股份有限公司 視訊裝置及其三維物件編解碼方法
CN108040260A (zh) * 2017-12-13 2018-05-15 北京视博云科技有限公司 C/s架构下高清全景视频的观看方法及系统、终端及服务器
CN108040260B (zh) * 2017-12-13 2020-09-18 江苏视博云信息技术有限公司 C/s架构下高清全景视频的观看方法、系统及服务器
CN110198457A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 视频播放方法及其设备、系统、存储介质、终端、服务器
CN110581936A (zh) * 2018-06-07 2019-12-17 钰立微电子股份有限公司 产生深度图像的图像装置和相关的电子装置
CN110662119A (zh) * 2018-06-29 2020-01-07 华为技术有限公司 一种视频拼接方法及装置
CN111200758B (zh) * 2018-11-16 2021-08-10 北京字节跳动网络技术有限公司 全景视频的多视场控制方法、装置、电子设备及存储介质
CN111200758A (zh) * 2018-11-16 2020-05-26 北京字节跳动网络技术有限公司 全景视频的多视场控制方法、装置、电子设备及存储介质
CN109741466A (zh) * 2018-12-20 2019-05-10 北京惠佳家品科技有限公司 一种3d家装设计直播平台系统及直播方法
CN109874037A (zh) * 2019-01-17 2019-06-11 北京文香信息技术有限公司 一种多路音视频播放方法、装置、存储介质、及终端设备
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
WO2021083178A1 (zh) * 2019-10-28 2021-05-06 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN112738010A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据交互方法及系统、交互终端、可读存储介质
CN112738010B (zh) * 2019-10-28 2023-08-22 阿里巴巴集团控股有限公司 数据交互方法及系统、交互终端、可读存储介质
CN113473156A (zh) * 2020-04-24 2021-10-01 海信集团有限公司 一种自由视点视频传输方法以及相关设备
CN113473244A (zh) * 2020-06-23 2021-10-01 青岛海信电子产业控股股份有限公司 一种自由视点视频播放控制方法及设备

Also Published As

Publication number Publication date
CN104602129B (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN104602129A (zh) 互动式多视角视频的播放方法及系统
EP3238445B1 (en) Interactive binocular video display
US9751015B2 (en) Augmented reality videogame broadcast programming
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
US10158685B1 (en) Viewing and participating at virtualized locations
CN108900857B (zh) 一种多视角视频流处理方法和装置
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
CN101489150B (zh) 一种虚实混合的远程协同工作方法
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN102450011A (zh) 用于自由视点视频的高效流传输的方法和设备
CN102342100A (zh) 用于在网络环境中提供三维成像的系统和方法
US11703942B2 (en) System and method for interactive 360 video playback based on user location
KR20210072086A (ko) 정보 처리 시스템, 정보 처리 방법, 및 저장 매체
KR101987062B1 (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
KR101752691B1 (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
CN102118568A (zh) 一种用于体育比赛的图形生成系统
KR102568021B1 (ko) 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
KR20180059281A (ko) 타임 슬라이스 영상을 제공하는 사용자 단말 및 영상 제공 서버
Zhou et al. Streaming Location-Based Panorama Videos into Augmented Virtual Environment
CN114885147A (zh) 融合制播系统及方法
JP2003333581A (ja) コンテンツ表示システム、コンテンツ表示装置、サーバ、電子機器、コンテンツ表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant