CN112702522B - 一种基于vr直播系统的自适应控制播放方法 - Google Patents

一种基于vr直播系统的自适应控制播放方法 Download PDF

Info

Publication number
CN112702522B
CN112702522B CN202011564741.4A CN202011564741A CN112702522B CN 112702522 B CN112702522 B CN 112702522B CN 202011564741 A CN202011564741 A CN 202011564741A CN 112702522 B CN112702522 B CN 112702522B
Authority
CN
China
Prior art keywords
live broadcast
live
stream
dimensional
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011564741.4A
Other languages
English (en)
Other versions
CN112702522A (zh
Inventor
李灯
张晖
史雪勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Vtc Network Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011564741.4A priority Critical patent/CN112702522B/zh
Publication of CN112702522A publication Critical patent/CN112702522A/zh
Application granted granted Critical
Publication of CN112702522B publication Critical patent/CN112702522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种基于VR直播系统的自适应控制播放方法，涉及VR直播领域，包括：采用全景摄像机实时采集直播流、合并拼接成360度全景画面，进行压缩编码；然后将编码后的全景直播流实时推送到流媒体服务器上进行切片存储；客户端浏览器从流媒体服务器获取VR直播流并解码，运用开源三维绘图引擎对解码后的VR直播流结合重力感应进行360度全景绘图，根据用户终端位置和方向的改变，虚拟摄像机的位置和方向也随之变化，以生成并显示不同视角的直播画面；借助于反馈记忆模型，以实现对不同用户的自适应播放效果；本发明极大地提高了用户观看直播视频的自由度和方向切换的流畅度，不仅扩展了视野范围，而且用户不用佩戴VR眼镜就可以享受沉浸式的体验。

Description

一种基于VR直播系统的自适应控制播放方法
技术领域
本发明属于VR直播领域，特别是涉及一种基于VR直播系统的自适应控制播放方法。
背景技术
随着5G时代的到来，在给网络直播行业带来巨大商机的同时，人们对观看直播的体验度和舒适度的要求也越来越高。在VR直播领域，沉浸式体验逐渐走向人们的视野，然而传统的沉浸式体验需要购买佩戴专业的VR眼镜，不仅价格十分昂贵，而且也不利于人们的携带和直播的推广，因而随时随地看直播成为了人们更高的追求。此外，以往的直播形式并不支持用户观察视角的改变，存在视野范围十分受限及切换不流畅等问题，因此，消除视野盲区和提高用户的视觉感受，成为了直播领域迫切解决的问题。
发明内容
为了解决上述技术问题，本发明的目的是：提出一种能够消除直播时视野盲区、提高用户的视觉感受的自适应控制播放方法。
为了实现上述目的，本发明所采用的的技术方案为：一种基于VR直播系统的自适应控制播放方法，包括以下步骤：
步骤1，采用全景摄像机实时采集直播流、合并拼接成360度全景画面，进行压缩编码；
步骤2，将编码后的全景直播流实时推送到流媒体服务器上进行切片流存储；
步骤3，客户端浏览器从流媒体服务器获取VR切片流并解码，运用三维绘图引擎对解码后的VR切片流进行360度全景绘图；
步骤4，结合移动设备携带的陀螺仪，根据用户手持终端位置和方向的改变，虚拟摄像机的位置和方向也随之变化，从而显示不同视角的直播画面，以达到重力感应的效果；
步骤5，根据不同用户的习惯及偏好，建立反馈记忆模型，动态调整虚拟摄像机参数，以实现对不同用户自适应播放的目的。
进一步的，所述步骤2中的上行采用RTMP传输协议，实时推流到SRS流媒体服务器，直播流切片为ts格式。
进一步的，所述步骤3中的下行采用HLS传输协议，三维绘图引擎技术为threejs，客户端浏览器需支持html5，所述步骤3具体包括：
步骤3-1，在开发环境中创建一个虚拟场景；建立一个半径为500，水平垂直分割面分别为60和40的三维球体对象；在虚拟场景内，通过三维球体对象和视频纹理材质构建一个网格模型对象；
步骤3-2，虚拟相机采用透视相机，初始位置指定在(r,0,0),r为三维球体对象的半径，方向指向目标对象，视野范围为75度。
步骤3-3，场景中创建三维渲染器，将虚拟摄像机视野范围内的二维直播画面通过坐标系变换转变成三维画面并显示；
进一步的，所述步骤4中的移动设备需要支持陀螺仪，所述的陀螺仪可以感知用户设备XYZ三个不同坐标轴的旋转角度alpha、beta、gamma，当用户手持终端移动时，根据陀螺仪传递的这三个角度信息来相应改变虚拟摄像机的坐标位置，达到给用户展示当前三维直播画面的效果，可以根据用户自己的喜好观看到不同的视角，同时建立反馈记忆模型，对陀螺仪获取的参数进行动态调整，以实现不同用户的自适应播放。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
该方法应用在支持陀螺仪的移动设备上，采用三维绘图引擎技术threejs对全景直播画面进行三维重建，达到重力感应渲染的效果，可以使用户在不佩戴任何设备的情况下，体验到裸眼3D的效果和沉浸感，从而还原最真实的三维直播场景，同时建立反馈记忆模型以实现不同用户的自适应播放，极大地提高了用户观看直播视频的自由度和方向切换的流畅度，非常有利于直播的推广。
附图说明
图1为本发明的基于VR直播系统的重力感应渲染方法示意图；
图2为本发明的基于VR直播系统的自适应控制播放方法的总体流程图；
具体实施方式
为了更加详细的描述本发明提出的一种VR直播系统的自适应控制播放方法，结合附图和具体实施方式，举例说明如下:
图1显示了本发明的基于VR直播系统的重力感应渲染方法，该方法主要包括以下步骤:
步骤S101，本发明采用threejs引擎构建一个虚拟场景；
步骤S102，在虚拟场景内建立一个半径r为500，水平垂直分割面分别为60和40的三维球体对象，通过三维球体对象和视频纹理材质构建一个网格模型；
其中，threejs引擎基于ts直播流创建视频纹理对象，使用视频纹理作为材质，将小段的ts视频流贴在三维球体的内表面。
步骤S103，之后在虚拟场景中创建虚拟透视相机，初始位置指定在(r,0,0),r为三维球体对象的半径，方向指向目标对象，视野范围为75度。
步骤S104，在开发环境中，使用threejs引擎创建一个渲染器并设置好渲染范围，将构建好的三维全景直播画面显示在容器中，通过循环实时刷新直播画面。
步骤S105，在支持陀螺仪的移动设备上，根据用户手持终端位置和方向的改变，虚拟摄像机的位置和方向也随之变化，从而实时更新渲染直播画面，以达到重力感应的效果。移动终端中的陀螺仪可以感知用户设备XYZ三个不同坐标轴的旋转角度alpha、beta、gamma，这里的alpha、beta、gamma表示的是相对于坐标轴，设备在某个给定轴上的旋转量，采用笛卡尔坐标系。
alpha:表示设备沿Z轴旋转的角度，范围为0～360；
beta:表示设备在X轴上的旋转角度，范围为-180～180，它描述的是设备由前向后旋转的情况；
gamma:表示设备在Y轴上的旋转角度，范围为-90～90，它描述的是设备由左向右旋转的情况。
当用户手持终端移动时，可将设备状态划分为六个状态：竖屏向上、竖屏向下、横屏向左、横屏向右、水平向上和其他。根据设备状态的不同，陀螺仪传递的这三个角度相应改变虚拟摄像机的坐标位置，从而达到重力感应的效果。
注意，重力感应时要把摄像机绕X轴旋转负90度，因为手机陀螺仪的初始状态是在手机平放于水平面的时候，但是我们处理3D环绕视角场景时是希望在手机竖直时的状态为初始状态，因此需要把坐标系绕X轴旋转负90度，旋转负90度之后，现在Z轴相当于以前的负Y轴，现在的Y轴相当于以前的Z轴，此时gamma和alpha的位置发生了交换。
图2显示了本发明的基于VR直播系统的自适应控制播放方法的总体流程图，该方法主要包括以下步骤:
步骤S201，采用全景摄像机实时采集直播流、合并拼接成360度全景画面，进行压缩编码，采用H.264编码格式；
步骤S202，将编码后的全景直播流实时推送到流媒体服务器上进行切片流存储，上行采用RTMP传输协议，实时推流到SRS流媒体服务器，直播流切片为ts格式，一个ts切片为2s；
步骤S203，客户端浏览器采用HLS协议从流媒体服务器获取VR切片流并解码，运用三维绘图引擎对解码后的VR切片流进行360度全景绘图，下行采用HLS传输协议，三维绘图引擎技术为threejs，客户端浏览器需支持html5；
步骤S204，结合移动设备携带的陀螺仪，根据用户手持终端位置和方向的改变，虚拟摄像机的位置和方向也随之变化，从而显示不同视角的直播画面，以达到重力感应的效果；
步骤S205,在上述基础上同时建立反馈记忆模型，对当前用户来说，先对陀螺仪获取的参数进行存储，对这些存储的参数进行训练，输出虚拟摄像机对应的角度；参考神经网络模型训练方法，输入参数alpha、beta、gamma,输出为虚拟摄像机的坐标位置(x,y,z),采用随机梯度下降算法，具体公式如下：
Figure BDA0002860282400000041
之后进行VR直播时，可以快速找到当前用户的感兴趣区域，预测当前用户的行为习惯，以实现对不同用户的自适应播放。
以上仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。本发明未涉及的技术均可通过现有的技术加以实现。

Claims (4)

1.一种基于VR直播系统的自适应控制播放方法，采用threejs引擎构建一个虚拟场景，threejs引擎基于ts直播流创建视频纹理对象，使用视频纹理作为材质；其特征在于，包括以下步骤：
步骤1，采用全景摄像机实时采集直播流、合并拼接成360度全景画面，进行压缩编码；
步骤2，将编码后的全景直播流实时推送到流媒体服务器上进行切片流存储；
步骤3，客户端浏览器从流媒体服务器获取VR切片流并解码，运用三维绘图引擎对解码后的VR切片流进行360度全景绘图；
所述步骤3具备包括：步骤3-1，创建一个虚拟场景：建立一个半径为500，水平垂直分割面分别为60和40的三维球体对象；在虚拟场景内，通过三维球体对象和视频纹理材质构建一个网格模型对象； threejs引擎将小段的ts视频流贴在三维球体的内表面；
步骤3-2，虚拟相机采用透视相机，初始位置指定在(r,0,0)，r为三维球体对象的半径，方向指向目标对象，视野范围为75度；
步骤3-3，在虚拟场景中创建三维渲染器，将虚拟摄像机视野范围内的二维直播画面通过坐标系变换转变成三维画面并显示；
步骤4，结合移动设备携带的陀螺仪，根据用户手持终端位置和方向的改变，虚拟摄像机的位置和方向也随之变化，从而显示不同视角的直播画面，以达到重力感应的效果；
步骤5，根据不同用户的习惯及偏好，建立反馈记忆模型，动态调整虚拟摄像机参数，以实现对不同用户自适应播放的目的；
所述步骤4中陀螺仪能够感知用户设备XYZ三个不同坐标轴的旋转角度alpha、beta和gamma，所述alpha、beta和gamma 表示的是相对于坐标轴，设备在某个给定轴上的旋转量，其中：
alpha:表示设备沿Z轴旋转的角度，范围为0~360；
beta:表示设备在X轴上的旋转角度，范围为-180~180，它描述的是设备由前向后旋转的情况；
gamma:表示设备在Y轴上的旋转角度，范围为-90~90，它描述的是设备由左向右旋转的情况；
所述步骤5具体为：对当前用户来说，先对陀螺仪获取的参数进行存储，对这些存储的参数进行训练，输出虚拟摄像机对应的角度；利用神经网络模型训练方法，输入参数alpha、beta、gamma，输出为虚拟摄像机的坐标位置(x,y,z),采用随机梯度下降算法；之后进行VR直播时，能够快速找到当前用户的感兴趣区域，预测当前用户的行为习惯，以实现对不同用户的自适应播放。
2.根据权利要求1所述的自适应控制播放方法，其特征在于，所述步骤2具体为：上行采用RTMP传输协议，实时推流到SRS流媒体服务器，直播流切片为ts格式。
3.根据权利要求1所述的自适应控制播放方法，其特征在于，所述步骤3具体为：下行采用HLS传输协议，三维绘图引擎技术为threejs，客户端浏览器需支持html5。
4.根据权利要求1所述的自适应控制播放方法，其特征在于：当用户手持终端移动屏幕方向时，可将设备状态划分为六个状态：竖屏向上、竖屏向下、横屏向左、横屏向右、水平向上和其他，根据陀螺仪传递的这三个角度信息来相应改变虚拟摄像机的坐标位置，达到给用户展示当前直播画面的效果。
CN202011564741.4A 2020-12-25 2020-12-25 一种基于vr直播系统的自适应控制播放方法 Active CN112702522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564741.4A CN112702522B (zh) 2020-12-25 2020-12-25 一种基于vr直播系统的自适应控制播放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564741.4A CN112702522B (zh) 2020-12-25 2020-12-25 一种基于vr直播系统的自适应控制播放方法

Publications (2)

Publication Number Publication Date
CN112702522A CN112702522A (zh) 2021-04-23
CN112702522B true CN112702522B (zh) 2022-07-12

Family

ID=75510697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564741.4A Active CN112702522B (zh) 2020-12-25 2020-12-25 一种基于vr直播系统的自适应控制播放方法

Country Status (1)

Country Link
CN (1) CN112702522B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11736748B2 (en) * 2020-12-16 2023-08-22 Tencent America LLC Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points
CN113438495A (zh) * 2021-06-23 2021-09-24 中国联合网络通信集团有限公司 Vr直播方法、装置、系统、设备及存储介质
CN113794893A (zh) * 2021-08-11 2021-12-14 广州方硅信息技术有限公司 全景视频直播连麦的显示处理方法、电子设备及存储介质
CN113452935B (zh) * 2021-08-31 2021-11-09 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成系统及方法
CN114285994A (zh) * 2021-12-21 2022-04-05 众信方智(苏州)智能技术有限公司 基于全景工作空间显示设备信息的方法、装置及存储介质
CN114339192B (zh) * 2021-12-27 2023-11-14 南京乐知行智能科技有限公司 一种web vr内容的虚拟现实眼镜播放方法
CN115756175B (zh) * 2023-01-06 2023-05-16 山东维创精密电子有限公司 一种基于虚拟现实数据的数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557776A (zh) * 2015-09-30 2017-04-05 三星电子株式会社 从图像分割对象的设备和方法
CN107680434A (zh) * 2017-11-02 2018-02-09 江苏海事职业技术学院 一种基于vr的船舶通信导航教学与考试系统
CN109426343A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于虚拟现实的协作训练方法及系统
CN110910497A (zh) * 2019-11-15 2020-03-24 北京信息科技大学 实现增强现实地图的方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
CN105898337A (zh) * 2015-11-18 2016-08-24 乐视网信息技术（北京）股份有限公司 全景视频的显示方法和装置
EP3500911B1 (en) * 2016-08-22 2023-09-27 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN106604087B (zh) * 2016-12-13 2019-09-10 杭州映墨科技有限公司 一种全景直播的渲染实现方法
CN106658212A (zh) * 2017-01-20 2017-05-10 北京红马传媒文化发展有限公司 一种基于html5的vr在线播放方法、系统及播放器
US10078909B1 (en) * 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
US11922489B2 (en) * 2019-02-11 2024-03-05 A9.Com, Inc. Curated environments for augmented reality applications
US10989916B2 (en) * 2019-08-20 2021-04-27 Google Llc Pose prediction with recurrent neural networks
CN111318009A (zh) * 2020-01-19 2020-06-23 张衡 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557776A (zh) * 2015-09-30 2017-04-05 三星电子株式会社 从图像分割对象的设备和方法
CN109426343A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于虚拟现实的协作训练方法及系统
CN107680434A (zh) * 2017-11-02 2018-02-09 江苏海事职业技术学院 一种基于vr的船舶通信导航教学与考试系统
CN110910497A (zh) * 2019-11-15 2020-03-24 北京信息科技大学 实现增强现实地图的方法和系统

Also Published As

Publication number Publication date
CN112702522A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112702522B (zh) 一种基于vr直播系统的自适应控制播放方法
US10757162B2 (en) Video data processing method and apparatus
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
CN106101741B (zh) 在网络视频直播平台上观看全景视频的方法及系统
US10681342B2 (en) Behavioral directional encoding of three-dimensional video
KR102545195B1 (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
CN112533002A (zh) 一种用于vr全景直播的动态图像融合方法及系统
US10897646B2 (en) Video stream transmission method and related device and system
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
CN108780584B (zh) 用于流传输和渲染的球形视频的转换和预处理
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
CN113099204B (zh) 一种基于vr头戴显示设备的远程实景增强现实方法
CN106165415A (zh) 立体观看
CN112235585B (zh) 一种虚拟场景的直播方法、装置及系统
US20190045178A1 (en) Generating a Three-Dimensional Preview of a Three-Dimensional Video
WO2019043025A1 (en) ZOOMING AN OMNIDIRECTIONAL IMAGE OR VIDEO
WO2021259054A1 (zh) 沉浸媒体数据的处理方法及装置、存储介质和电子装置
EP3671653A1 (en) Generating and signaling transition between panoramic images
CN106210856A (zh) 在网络视频直播平台上观看3d全景视频的方法及系统
WO2023098279A1 (zh) 视频数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端
CN108810567A (zh) 一种音频与视频视角匹配的方法、客户端和服务器
WO2018223241A1 (en) Building and rendering immersive virtual reality experiences
WO2022263709A1 (en) A method, an apparatus and a computer program product for video conferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221008

Address after: Room 1009, Floor 10, Huizhi Building, No. 28, Ningshuang Road, Yuhuatai District, Nanjing, Jiangsu Province, 210012

Patentee after: NANJING VTC NETWORK TECHNOLOGY CO.,LTD.

Address before: Room 106, building 6, 168 Xinglong Street, Jianye District, Nanjing City, Jiangsu Province, 210000

Patentee before: Li Deng