CN113038262A - 一种全景直播方法和装置 - Google Patents

一种全景直播方法和装置 Download PDF

Info

Publication number
CN113038262A
CN113038262A CN202110025486.4A CN202110025486A CN113038262A CN 113038262 A CN113038262 A CN 113038262A CN 202110025486 A CN202110025486 A CN 202110025486A CN 113038262 A CN113038262 A CN 113038262A
Authority
CN
China
Prior art keywords
image
data
acquiring
image acquisition
acquisition end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110025486.4A
Other languages
English (en)
Inventor
何威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhisheng Technology Information Co ltd
Original Assignee
Shenzhen Zhisheng Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhisheng Technology Information Co ltd filed Critical Shenzhen Zhisheng Technology Information Co ltd
Priority to CN202110025486.4A priority Critical patent/CN113038262A/zh
Publication of CN113038262A publication Critical patent/CN113038262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及视频直播技术领域，尤其涉及一种全景直播方法和装置，其中，方法包括获取用户设备虚拟视线的角位信息和位移信息；根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备，本发明摒弃了原有搭设虚拟3D环境的设想，不用将实时采集的图像投射形成虚拟的直播环境，通过拍摄直播者在幕布中的动作并实时抠像，给观众带来直播者在真实环境中直播的播放效果。

Description

一种全景直播方法和装置
技术领域
本发明涉及视频直播技术领域，尤其涉及一种全景直播方法和装置。
背景技术
目前，视频直播越来越受大众欢迎，涉及领域众多。特别是在5G通信技术的加持下，流媒体技术所进行直播的带宽增强，平面直播的方式也逐渐朝着全景直播的方式发展。
全景视频采用以计算机技术以及图像处理为核心，从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过配准及融合等技术而得到全景视频图像。
然而现在的全景直播采用的定点拍摄，无法做到实时移动跟随直播。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种全景直播方法和装置。
本发明提供一种全景直播方法，包括：
获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备。
进一步的，所述根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端，包括：
获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据。
进一步的，所述获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备，包括：
获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
通过所述映射关系确定应获取的其中一路图像；
获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像。
还提供另一种全景直播方法，包括：
获取第二图像采集端所采集的幕布图像数据；
根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
进一步的，所述根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像，包括：
构建预设幕布环境与所述第一图像采集端各路图像的对应关系；
获取所述第二图像采集装置在所述幕布环境中的方位角度数据；
根据所述对应关系、方位角度数据，获取第一图像采集端中相匹配的其中一路图像。
还提供一种全景直播装置，包括：
虚拟视线获取模块，用于获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
计算模块，用于根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
图像截取模块，用于获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备；
幕布图像获取模块，用于获取第二图像采集端所采集的幕布图像数据；
环境图像获取模块，用于根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
抠像模块，用于通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
进一步的，所述计算模块，包括：
第一获取子模块，用于获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
第二获取子模块，用于获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算子模块，用于计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据。
进一步的，所述图像截取模块，包括：
关系子模块，用于获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
确定子模块，用于通过所述映射关系确定应获取的其中一路图像；
截取子模块，用于获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像
本发明实施例包括以下优点：
本发明通过第一图像采集端实时采集真实环境中的图像形成虚拟图像，通过用户设备替代用户在虚拟图像中的视角，通过第二图像采集端实时采集用户直播画面，借助抠像技术将虚拟图像与幕布图像进行处理，使得用户可以沉浸式直播，也给观众带来直播者在真实环境中直播的播放效果。
附图说明
图1是本发明的一种全景直播方法的步骤流程图。
图2是本发明的另一种全景直播方法的步骤流程图。
图3是本发明的一种全景直播装置的结构框图。
图4是本发明的一种全景直播的计算机设备的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本申请实施例所提供的一种全景直播的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理、手持设备、计算设备、车载设备、可穿戴设备等。
本发明中，直播者佩戴用户设备站在背景幕布中，例如佩戴AR眼镜站在绿幕中，由无人机在外部实时采集真实环境图像，借助5G通信网络的“大带宽、低延迟”的优点，将所采集的图像实时快速的传输至云端服务器，然后将图像实时的投射到AR眼镜上，给直播者如临其境的直播体验。同时，在背景幕布的环境中搭设移动式摄影设备，将直播者的直播动作拍摄下来，形成直播画面，借助现今实时抠像的技术，将直播画面中幕布背景替换成无人机所采集的图像。
本发明摒弃了原有搭设虚拟3D环境的设想，不用将实时采集的图像投射形成虚拟的直播环境，通过拍摄直播者在幕布中的动作并实时抠像，给观众带来直播者在真实环境中直播的播放效果。
下面以执行主体为计算机设备为例来对本申请所公开的一种全景直播的方法加以说明。
以直播者的角度，如图1所示，其方法包括以下步骤：
S110，获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
需要说明的，用户设备虚拟视线可理解为在虚拟环境中的用户(直播者) 视线，其中就包括用户视线的立体方位数据以及角度数据，即用户保持不动时视线的俯、仰、左、右偏转以及角度，不同的角位信息，用户所看到的图像则不同；还包括用户视线的坐标数据，可理解位用户视线角位不变而形体位移，即视线不变，将图像拉近或推远；抑或，用户的角位信息和位移信息同时变化。
S120，根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
需要说明的，第一图像采集端可以为搭载N路摄像头的无人机装置，可在真实环境中实时同步采集N路视频图像并通过5G通信发送至云端服务器，当第一图像采集端接收到坐标变量数据后，根据坐标变量数据中的坐标参数进行相应的移动，移动后采集新的视频图像并进行传输。
S130，获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备。
需要说明的，根据用户设备虚拟视线的立体方位数据，例如，虚拟视线为向前方、仰视50°，则获取第一图像采集端中与前方对应的一路图像，将图像中心线以偏移至仰视50°处，然后截取与用户设备显示窗口相匹配的显示图像发送至用户设备。
可理解的，通过上述实施方案，用户可通过佩戴用户设备看到远处的真实环境，并且的可视画面跟随用户的位移、视线而变化，给用户以身临其境的体验。
在本实施例中，步骤S120，所述根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端，包括：
获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据
需要说明的，用户设备根据用户身位移动而跟随移动，而用户实际为平面移动，伴随用户设备的坐标数据也仅是平面的变化。为体现出坐标变量在空间中的多样性的变化，用户设备中还可以涵盖接受用户发出的上升和下降指令的装置，例如可控制上升和下降的按键。
在本实施例中，步骤S130，所述所述获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备，包括：
获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
通过所述映射关系确定应获取的其中一路图像；
获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像。
需要说明的，用户设备的虚拟视线朝向的各个立体方位分别对应一路图像采集装置，即第一图像采集端的其中一路图像。一般的，每一路的图像采集装置的视场角角度大于用户设备的视场角角度，即用户视角的图像并非其中一路所采集图像的全部图像。
以观众的角度，如图2所示，其方法包括以下步骤：
S210，获取第二图像采集端所采集的幕布图像数据；
需要说明的，第二图像采集端可以为在背景幕布中可移动的摄像头装置，也可以为多路定点拍摄的摄像头装置，第二图像采集端所采集的图像处理后用于展现给观众观看，背景幕布为绿幕或者蓝幕，将用户(直播者)在幕布环境中的直播画面拍摄下来，形成幕布图像数据。
S220，根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
需要说明的，本发明中的幕布环境可以为一背景色为蓝色或绿色的球形，用户站在球形内部直播，第一图像采集端根据用户设备虚拟视线的变化而变化，所采集的图像形成用户所处的虚拟直播环境，通过第二图像采集端代替观众视角采集用户在虚拟直播环境中的直播状态。
S230，通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
通过上述中的抠像技术将远处通过第一图像采集端所采集的真实环境图像叠合在用户所处的幕布环境图像上，形成观众视角中用户处于真实环境中的直播图像，发送该直播图像至观众客户端进行播放。
在本实施例中，步骤S220，所述根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像，包括：
构建预设幕布环境与所述第一图像采集端各路图像的对应关系；
获取所述第二图像采集装置在所述幕布环境中的方位角度数据；
根据所述对应关系、方位角度数据，获取第一图像采集端中相匹配的其中一路图像。
可理解的，用户在预设的幕布环境中直播时，设有绕其周向移动的第二图像采集端，第二图像采集端所采集的图像实则为幕布环境中的图像，沿所述第二图像采集端投射角度所采集的幕布图像即为待抠像图像，将第一图像采集端对应采集的真实环境中的图像与幕布图像进行抠像处理即可。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种全景直播的结构框图，具体可以包括如下模块：
虚拟视线获取模块100，用于获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
计算模块200，用于根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
图像截取模块300，用于获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备；
幕布图像获取模块400，用于获取第二图像采集端所采集的幕布图像数据；
环境图像获取模块500，用于根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
抠像模块600，用于通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
在本实施例中，所述计算模块200，包括：
第一获取子模块，用于获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
第二获取子模块，用于获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算子模块，用于计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据。
在本实施例中，所述图像截取模块300，包括：
关系子模块，用于获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
确定子模块，用于通过所述映射关系确定应获取的其中一路图像；
截取子模块，用于获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
如图4，示出了本发明的一种全景直播的方法的计算机设备，具体可以包括如下：
在本发明实施例中，本发明还提供一种计算机设备，上述计算机设备12 以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线 18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线 18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)31和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD～ROM，DVD～ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块 42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具41，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN) 和/或公共网络(例如因特网)通信。如图所示，网络适配器21通过总线18 与计算机设备12的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种全景直播方法。
即上述处理单元16执行上述程序时实现：获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备。和/或，
获取第二图像采集端所采集的幕布图像数据；根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的一种全景直播方法。
也即，给程序被处理器执行时实现：获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备。和 /或，
获取第二图像采集端所采集的幕布图像数据；根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD～ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，改计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种全景直播方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种全景直播方法，其特征在于，包括：
获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备。
2.根据权利要求1所述的方法，其特征在于，所述根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端，包括：
获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据。
3.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备，包括：
获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
通过所述映射关系确定应获取的其中一路图像；
获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像。
4.一种全景直播方法，其特征在于，包括：
获取第二图像采集端所采集的幕布图像数据；
根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像，包括：
构建预设幕布环境与所述第一图像采集端各路图像的对应关系；
获取所述第二图像采集装置在所述幕布环境中的方位角度数据；
根据所述对应关系、方位角度数据，获取第一图像采集端中相匹配的其中一路图像。
6.一种全景直播装置，其特征在于，包括：
虚拟视线获取模块，用于获取用户设备虚拟视线的角位信息和位移信息，其中，所述角位信息包括虚拟视线的立体方位数据及角度数据，所述位移信息包括用户设备的坐标数据；
计算模块，用于根据实时的所述坐标数据和历史的所述坐标数据，计算得到坐标变量数据，将所述坐标变量数据发送至第一图像采集端；
图像截取模块，用于获取所述第一图像采集端中与所述立体方位数据相匹配的的其中一路图像，根据所述角度数据截取相应的显示图像发送至所述用户设备；
幕布图像获取模块，用于获取第二图像采集端所采集的幕布图像数据；
环境图像获取模块，用于根据所述第二图像采集端的方位角度数据，获取第一图像采集端与所述方位角度数据相匹配的其中一路图像；
抠像模块，用于通过抠像技术将所获取的其中一路图像与所述幕布图像中的幕布背景叠合，得到直播图像并发送。
7.根据权利6所述的装置，其特征在于，所述计算模块，包括：
第一获取子模块，用于获取与所述第一图像采集端所采集的当前帧图像同一时间节点对应的坐标数据，得到实时的坐标数据；
第二获取子模块，用于获取与所述第一图像采集端所采集的前一帧图像同一时间节点对应的坐标数据，得到历史的坐标数据；
计算子模块，用于计算实时的坐标数据与历史的坐标数据之间的差值，得到所述坐标变量数据。
8.根据权利要求6所述的装置，其特征在于，所述图像截取模块，包括：
关系子模块，用于获取预先建立的立体方位数据中各立体方位与所述第一图像采集端各路图像的映射关系；
确定子模块，用于通过所述映射关系确定应获取的其中一路图像；
截取子模块，用于获取用户设备的视场角信息，确定用户设备图像显示大小，根据所述角度数据中的角度值截取相应的显示图像。
9.电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的的方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的的方法。
CN202110025486.4A 2021-01-08 2021-01-08 一种全景直播方法和装置 Pending CN113038262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110025486.4A CN113038262A (zh) 2021-01-08 2021-01-08 一种全景直播方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110025486.4A CN113038262A (zh) 2021-01-08 2021-01-08 一种全景直播方法和装置

Publications (1)

Publication Number Publication Date
CN113038262A true CN113038262A (zh) 2021-06-25

Family

ID=76459262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110025486.4A Pending CN113038262A (zh) 2021-01-08 2021-01-08 一种全景直播方法和装置

Country Status (1)

Country Link
CN (1) CN113038262A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室系统
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
WO2017088491A1 (zh) * 2015-11-23 2017-06-01 乐视控股（北京）有限公司 一种视频的播放方法和装置
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN110310300A (zh) * 2018-03-20 2019-10-08 腾讯科技（深圳）有限公司 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备
CN111246237A (zh) * 2020-01-22 2020-06-05 视联动力信息技术股份有限公司 一种全景视频直播方法和装置
CN111277890A (zh) * 2020-02-25 2020-06-12 广州华多网络科技有限公司 虚拟礼物的获取方法和三维全景直播间的生成方法
CN111541909A (zh) * 2020-04-30 2020-08-14 广州华多网络科技有限公司 全景直播的送礼方法、装置、设备及存储介质
CN111698522A (zh) * 2019-03-12 2020-09-22 北京竞技时代科技有限公司 一种基于混合现实的直播系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统
WO2017088491A1 (zh) * 2015-11-23 2017-06-01 乐视控股（北京）有限公司 一种视频的播放方法和装置
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN110310300A (zh) * 2018-03-20 2019-10-08 腾讯科技（深圳）有限公司 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备
CN111698522A (zh) * 2019-03-12 2020-09-22 北京竞技时代科技有限公司 一种基于混合现实的直播系统
CN111246237A (zh) * 2020-01-22 2020-06-05 视联动力信息技术股份有限公司 一种全景视频直播方法和装置
CN111277890A (zh) * 2020-02-25 2020-06-12 广州华多网络科技有限公司 虚拟礼物的获取方法和三维全景直播间的生成方法
CN111541909A (zh) * 2020-04-30 2020-08-14 广州华多网络科技有限公司 全景直播的送礼方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
EP3065049B1 (en) Interactive video display method, device, and system
US20150222815A1 (en) Aligning videos representing different viewpoints
US20130089301A1 (en) Method and apparatus for processing video frames image with image registration information involved therein
CN111766951B (zh) 图像显示方法和装置、计算机系统和计算机可读存储介质
WO2010028559A1 (zh) 图像拼接方法及装置
CN110675506A (zh) 实现多路视频融合的三维增强现实的系统、方法及设备
WO2016045381A1 (zh) 呈现图像的方法、终端设备和服务器
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
US20210342971A1 (en) Photogrammetric alignment for immersive content production
CN113099245A (zh) 全景视频直播方法、系统和计算机可读存储介质
CN113596544A (zh) 视频生成方法、装置、电子设备及存储介质
JP2018033107A (ja) 動画の配信装置及び配信方法
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
JP7395855B2 (ja) ３６０度ビデオへのデジタルストリームの自動検出及び挿入のためのシステム、方法及びプログラム
CN117115267A (zh) 免标定的图像处理方法、装置、电子设备和存储介质
CN108734791B (zh) 全景视频的处理方法和装置
CN107426561B (zh) 一种3d360度的虚拟现实直播方法及装置
CN113038262A (zh) 一种全景直播方法和装置
CN116506563A (zh) 虚拟场景渲染方法、装置、电子设备以及存储介质
CN112312041B (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN111161148B (zh) 一种全景图像生成方法、装置、设备和存储介质
CN107404661A (zh) 一种微电影视频获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination