CN111093086A - 一种虚拟现实用户视角分享系统及方法 - Google Patents

一种虚拟现实用户视角分享系统及方法 Download PDF

Info

Publication number
CN111093086A
CN111093086A CN201911412506.2A CN201911412506A CN111093086A CN 111093086 A CN111093086 A CN 111093086A CN 201911412506 A CN201911412506 A CN 201911412506A CN 111093086 A CN111093086 A CN 111093086A
Authority
CN
China
Prior art keywords
module
image
instruction
sharing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911412506.2A
Other languages
English (en)
Inventor
文志平
沈德欢
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201911412506.2A priority Critical patent/CN111093086A/zh
Publication of CN111093086A publication Critical patent/CN111093086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Abstract

本发明公开了一种虚拟现实用户视角分享系统及方法。它具体包括如下步骤：(1)程序启动后，指令接收模块启动并实时监听用户指令，指令接收模块生命周期与程序生命周期一致；(2)当指令接收模块接收到直播分享指令后，观看直播分享的用户可通过直播分享方法经播放器直接访问流媒体服务器进行直播分享音视频的观看；(3)当指令接收模块接收到录制分享指令后，观看录制分享的用户可通过录制分享方法直接将设备上存储的音视频文件分享到各种网络平台或者直接发送给朋友家人。本发明的有益效果是：脱离服务器依赖，降低流媒体服务器性能消耗，降低传输带宽节省流量成本，方便快捷，降低分享内容的带宽消耗，提高内容生成的实时性。

Description

一种虚拟现实用户视角分享系统及方法
技术领域
本发明涉及虚拟现实相关技术领域，尤其是指一种虚拟现实用户视角分享系统及方法。
背景技术
VR是虚拟现实技术(Virtual Reality)的英文简称，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
随着流媒体技术的发展，游戏直播和短视频应用方兴未艾。短视频应用上很多的内容都是用户分享上来的电影电视剧的精彩片段和游戏玩家玩游戏的精彩片段。对于普通的非VR视频和游戏，已经有大量的方法来实现视频和游戏精彩片段的截取和分享。VR视频分享及游戏直播分享一直有人在研究，但是实际应用上还没有通用和成熟的方案。现有的直播分享方法主要是通过共享视角参数和设备参数，然后其它观看端同时连接同一个VR源并进行参数同步来实现内容分享，该方法缺点是其它端也必须同步下载VR源，然后只观看用视角参数规定范围内的部分内容，VR内容清晰度高码率大，带宽消耗大。精彩片段裁剪分享，主要是通过将视角参数和设备参数上传至服务器，有服务器进行片段的裁剪，然后在下发到客户端。该方法缺点是增加了服务器负担，同时下发裁剪后的片段内容再一次消耗流量。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种降低带宽消耗的虚拟现实用户视角分享系统及方法。
为了实现上述目的，本发明采用以下技术方案：
一种虚拟现实用户视角分享系统，包括指令接收模块、VR渲染模块、裁剪模块、图像变换模块、编码模块、音频共享模块、录制模块、发送模块、流媒体服务器和播放器，所述的指令接收模块负责检测用户指令，与VR渲染模块连接；所述的VR渲染模块负责虚拟现实画面的呈现，与裁剪模块连接；所述的裁剪模块负责按照给定的用户时间参数及设备参数进行图像裁剪，分别与图像变换模块和编码模块连接；所述的图像变换模块负责裁剪图像的图像变换，与编码模块连接；所述的编码模块负责图像数据的编码，分别与录制模块和发送模块连接；所述的音频共享模块负责音频数据的提供，分别与录制模块和发送模块连接；所述的录制模块负责音视频数据实时的存储到指定的设备存储路径下；所述的发送模块负责音视频数据的发送，与流媒体服务器连接；所述的流媒体服务器提供直播分享，与播放器连接；所述的播放器负责分享音视频数据的播放。
通过在设备端根据用户视角参数和设备参数进行图像的实时裁剪、编码、录制和发送，实现VR内容的直播分享和精彩片段的录制分享；使用该装置可以大大降低分享内容的带宽消耗，同时提高了内容生成的实时性。
本发明还提供了一种虚拟现实用户视角分享方法，具体包括如下步骤：
(1)程序启动后，指令接收模块启动并实时监听用户指令，指令接收模块生命周期与程序生命周期一致；
(2)当指令接收模块接收到直播分享指令后，观看直播分享的用户可通过直播分享方法经播放器直接访问流媒体服务器进行直播分享音视频的观看；
(3)当指令接收模块接收到录制分享指令后，观看录制分享的用户可通过录制分享方法直接将设备上存储的音视频文件分享到各种网络平台或者直接发送给朋友家人。
本方法充分利用VR终端设备的能力实现视频图像的实时采集裁剪、编码、发送、录制，既能够脱离服务器依赖，大大降低流媒体服务器性能消耗，也能大大降低传输带宽节省流量成本，同时使用者也能更方便快捷的直接拿到视频文件。
作为优选，在步骤(2)中，直播分享方法具体如下：
(21)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(22)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(23)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；
(24)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；
(25)编码模块将编码后的视频数据传送给发送模块，同时音频共享模块会实时的将音频发送至发送模块，发送模块将音视频数据发送至流媒体服务器；
(26)观看直播分享的用户通过播放器直接访问流媒体服务器进行直播分享音视频的观看；
(27)指令接收模块收到结束指令后同步通知各模块结束运行。
作为优选，在步骤(23)中，用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；在步骤(24)中，图像变换的类型有：单目变双目、双目变单目和图像畸变校正。
作为优选，在步骤(3)中，录制分享方法具体如下：
(31)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(32)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(33)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；
(34)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；
(35)编码模块将编码后的视频数据传送给录制模块，同时音频共享模块会实时的将音频发送至录制模块，录制模块将音视频数据实时的存储到指定的设备存储路径下；
(36)VR用户可以直接将设备上存储的视频文件分享到各种网络平台或者直接发送给朋友家人；
(37)指令接收模块收到结束指令后同步通知各模块结束运行。
作为优选，在步骤(33)中，用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；在步骤(34)中，图像变换的类型有：单目变双目、双目变单目和图像畸变校正。
作为优选，所述的单目变双目图像变换方法指的是：单目图像为图像画面在屏幕上只有一份，单目图像是适合裸眼直接观看的图像；双目图像是图像画面在屏幕上有两份，一份是左眼图像，一个是右眼图像，双目图像是适合使用VR眼镜观看的图像；变换过程为，将图像克隆变成两份，然后根据VR眼镜参数中两眼中心距离和镜头到屏幕距离计算左右眼视角差，然后根据视角差将左眼图像右移，将右眼图像进行左移。
作为优选，所述的双目变单目图像变换方法指的是：将双目图像的左眼图像和右眼图像拆分成独立的两幅图像，然后根据VR眼镜参数将两幅图像进行融合，最终生成一幅图像。
作为优选，所述的图像畸变校正图像变换方法指的是：由于VR眼镜的透镜会产生物理畸变，通过透镜看到图像会有弧形的凹凸感，为了抵消这种物理畸变，VR渲染时会进行图像反畸变，从而使得通过VR眼镜看到的图像无任何变形，裁剪模块裁剪到的图像如果是反畸变后的图像，则可以使用图像变换模块的图像畸变校正将反畸变后的图像进行还原，还原后的图像适合裸眼观看，如果不还原则适合佩戴VR眼镜进行观看。
作为优选，结束指令有两种方式触发：一种是手动触发，一种是通过定义头部姿态来触发；头部姿态触发指令是通过定义头部姿态欧拉角来实现，具体角度参数可根据实际情况设置；当收到结束指令后，指令接收模块会先通知VR渲染模块，VR渲染模块将结束指令传给裁剪模块，裁剪模块将结束指令传给编码模块和图像变换模块同时暂停裁剪，编码模块将结束指令传给发送模块和录制模块同时暂停编码，录制模块暂停录制，发送模块将结束指令传给流媒体服务器同时暂停发送，流媒体服务器将结束指令传给播放器停止拉流播放。
本发明的有益效果是：既能够脱离服务器依赖，大大降低流媒体服务器性能消耗，也能大大降低传输带宽节省流量成本，同时使用者也能更方便快捷的直接拿到视频文件，可以大大降低分享内容的带宽消耗，同时提高了内容生成的实时性。
附图说明
图1是本发明直播分享的方法流程图；
图2是本发明录制分享的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
一种虚拟现实用户视角分享系统，包括指令接收模块、VR渲染模块、裁剪模块、图像变换模块、编码模块、音频共享模块、录制模块、发送模块、流媒体服务器和播放器，所述的指令接收模块负责检测用户指令，与VR渲染模块连接；所述的VR渲染模块负责虚拟现实画面的呈现，与裁剪模块连接；所述的裁剪模块负责按照给定的用户时间参数及设备参数进行图像裁剪，分别与图像变换模块和编码模块连接；所述的图像变换模块负责裁剪图像的图像变换，与编码模块连接；所述的编码模块负责图像数据的编码，分别与录制模块和发送模块连接；所述的音频共享模块负责音频数据的提供，分别与录制模块和发送模块连接；所述的录制模块负责音视频数据实时的存储到指定的设备存储路径下；所述的发送模块负责音视频数据的发送，与流媒体服务器连接；所述的流媒体服务器提供直播分享，与播放器连接；所述的播放器负责分享音视频数据的播放。
本发明还提供了一种虚拟现实用户视角分享方法，具体包括如下步骤：
(1)程序启动后，指令接收模块启动并实时监听用户指令，指令接收模块生命周期与程序生命周期一致；
(2)当指令接收模块接收到直播分享指令后，观看直播分享的用户可通过直播分享方法经播放器直接访问流媒体服务器进行直播分享音视频的观看；
如图1所示，直播分享方法具体如下：
(21)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(22)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(23)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；
(24)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；图像变换的类型有：单目变双目、双目变单目和图像畸变校正；
(25)编码模块将编码后的视频数据传送给发送模块，同时音频共享模块会实时的将音频发送至发送模块，发送模块将音视频数据发送至流媒体服务器；
(26)观看直播分享的用户通过播放器直接访问流媒体服务器进行直播分享音视频的观看；
(27)指令接收模块收到结束指令后同步通知各模块结束运行。
(3)当指令接收模块接收到录制分享指令后，观看录制分享的用户可通过录制分享方法直接将设备上存储的音视频文件分享到各种网络平台或者直接发送给朋友家人；
如图2所示，录制分享方法具体如下：
(31)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(32)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(33)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；
(34)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；图像变换的类型有：单目变双目、双目变单目和图像畸变校正；
(35)编码模块将编码后的视频数据传送给录制模块，同时音频共享模块会实时的将音频发送至录制模块，录制模块将音视频数据实时的存储到指定的设备存储路径下；
(36)VR用户可以直接将设备上存储的视频文件分享到各种网络平台或者直接发送给朋友家人；
(37)指令接收模块收到结束指令后同步通知各模块结束运行。
其中：单目变双目图像变换方法指的是：单目图像为图像画面在屏幕上只有一份，单目图像是适合裸眼直接观看的图像；双目图像是图像画面在屏幕上有两份，一份是左眼图像，一个是右眼图像，双目图像是适合使用VR眼镜观看的图像；变换过程为，将图像克隆变成两份，然后根据VR眼镜参数中两眼中心距离和镜头到屏幕距离计算左右眼视角差，然后根据视角差将左眼图像右移，将右眼图像进行左移。
双目变单目图像变换方法指的是：将双目图像的左眼图像和右眼图像拆分成独立的两幅图像，然后根据VR眼镜参数将两幅图像进行融合，最终生成一幅图像。
图像畸变校正图像变换方法指的是：由于VR眼镜的透镜会产生物理畸变，通过透镜看到图像会有弧形的凹凸感，为了抵消这种物理畸变，VR渲染时会进行图像反畸变，从而使得通过VR眼镜看到的图像无任何变形，裁剪模块裁剪到的图像如果是反畸变后的图像，则可以使用图像变换模块的图像畸变校正将反畸变后的图像进行还原，还原后的图像适合裸眼观看，如果不还原则适合佩戴VR眼镜进行观看。
无论是开始指令还是结束指令都有两种方式触发：一种是手动触发，一种是通过定义头部姿态来触发；头部姿态触发指令是通过定义头部姿态欧拉角来实现，具体角度参数可根据实际情况设置，比如定义一个头朝下看的欧拉角表示结束指令，往左看的某个欧拉角表示直播分享指令，往右看的某个欧拉角表示录制分享指令。当收到结束指令后，指令接收模块会先通知VR渲染模块，VR渲染模块将结束指令传给裁剪模块，裁剪模块将结束指令传给编码模块和图像变换模块同时暂停裁剪，编码模块将结束指令传给发送模块和录制模块同时暂停编码，录制模块暂停录制，发送模块将结束指令传给流媒体服务器同时暂停发送，流媒体服务器将结束指令传给播放器停止拉流播放。
通过在VR设备终端根据用户视角参数和设备参数进行图像的实时裁剪、编码、录制和发送，实现VR内容的直播分享和精彩片段的录制分享，既能够脱离服务器依赖，大大降低流媒体服务器性能消耗，也能大大降低传输带宽节省流量成本，同时使用者也能更方便快捷的直接拿到视频文件，使用该方法可以大大降低分享内容的带宽消耗，同时提高了内容生成的实时性。

Claims (10)

1.一种虚拟现实用户视角分享系统，其特征是，包括指令接收模块、VR渲染模块、裁剪模块、图像变换模块、编码模块、音频共享模块、录制模块、发送模块、流媒体服务器和播放器，所述的指令接收模块负责检测用户指令，与VR渲染模块连接；所述的VR渲染模块负责虚拟现实画面的呈现，与裁剪模块连接；所述的裁剪模块负责按照给定的用户时间参数及设备参数进行图像裁剪，分别与图像变换模块和编码模块连接；所述的图像变换模块负责裁剪图像的图像变换，与编码模块连接；所述的编码模块负责图像数据的编码，分别与录制模块和发送模块连接；所述的音频共享模块负责音频数据的提供，分别与录制模块和发送模块连接；所述的录制模块负责音视频数据实时的存储到指定的设备存储路径下；所述的发送模块负责音视频数据的发送，与流媒体服务器连接；所述的流媒体服务器提供直播分享，与播放器连接；所述的播放器负责分享音视频数据的播放。
2.一种虚拟现实用户视角分享方法，其特征是，具体包括如下步骤：
(1)程序启动后，指令接收模块启动并实时监听用户指令，指令接收模块生命周期与程序生命周期一致；
(2)当指令接收模块接收到直播分享指令后，观看直播分享的用户可通过直播分享方法经播放器直接访问流媒体服务器进行直播分享音视频的观看；
(3)当指令接收模块接收到录制分享指令后，观看录制分享的用户可通过录制分享方法直接将设备上存储的音视频文件分享到各种网络平台或者直接发送给朋友家人。
3.根据权利要求2所述的一种虚拟现实用户视角分享方法，其特征是，在步骤(2)中，直播分享方法具体如下：
(21)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(22)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(23)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；
(24)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；
(25)编码模块将编码后的视频数据传送给发送模块，同时音频共享模块会实时的将音频发送至发送模块，发送模块将音视频数据发送至流媒体服务器；
(26)观看直播分享的用户通过播放器直接访问流媒体服务器进行直播分享音视频的观看；
(27)指令接收模块收到结束指令后同步通知各模块结束运行。
4.根据权利要求3所述的一种虚拟现实用户视角分享方法，其特征是，在步骤(23)中，用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；在步骤(24)中，图像变换的类型有：单目变双目、双目变单目和图像畸变校正。
5.根据权利要求2所述的一种虚拟现实用户视角分享方法，其特征是，在步骤(3)中，录制分享方法具体如下：
(31)指令接收模块将直播分享指令下发至VR渲染模块，VR渲染模块收到指令后将当前正在渲染的的VR图像画布共享给裁剪模块，同时将用户视角参数和VR设备参数传给裁剪模块；
(32)裁剪模块会根据用户视角参数和VR设备参数对VR图像画布中的图像进行裁剪，裁剪后的图像大小与用户实际看到的图像大小一致；
(33)裁剪模块根据用户指令判断图像是否需要进行图像变换，如果需要进行图像变换，则进入到下一步；如果不需要进行图像变换，则裁剪模块将裁剪后的图像传送给编码模块进行编码，进入到步骤(25)；
(34)裁剪模块会将裁剪后的图像传送给图像变换模块，图像变换模块对裁剪后的图像进行图像变换，变换后的图像传送给编码模块进行编码；
(35)编码模块将编码后的视频数据传送给录制模块，同时音频共享模块会实时的将音频发送至录制模块，录制模块将音视频数据实时的存储到指定的设备存储路径下；
(36)VR用户可以直接将设备上存储的视频文件分享到各种网络平台或者直接发送给朋友家人；
(37)指令接收模块收到结束指令后同步通知各模块结束运行。
6.根据权利要求5所述的一种虚拟现实用户视角分享方法，其特征是，在步骤(33)中，用户指令是指用户指定采用哪种图像变换方法，或者指定不进行图像变换；在步骤(34)中，图像变换的类型有：单目变双目、双目变单目和图像畸变校正。
7.根据权利要求4或6所述的一种虚拟现实用户视角分享方法，其特征是，所述的单目变双目图像变换方法指的是：单目图像为图像画面在屏幕上只有一份，单目图像是适合裸眼直接观看的图像；双目图像是图像画面在屏幕上有两份，一份是左眼图像，一个是右眼图像，双目图像是适合使用VR眼镜观看的图像；变换过程为，将图像克隆变成两份，然后根据VR眼镜参数中两眼中心距离和镜头到屏幕距离计算左右眼视角差，然后根据视角差将左眼图像右移，将右眼图像进行左移。
8.根据权利要求4或6所述的一种虚拟现实用户视角分享方法，其特征是，所述的双目变单目图像变换方法指的是：将双目图像的左眼图像和右眼图像拆分成独立的两幅图像，然后根据VR眼镜参数将两幅图像进行融合，最终生成一幅图像。
9.根据权利要求4或6所述的一种虚拟现实用户视角分享方法，其特征是，所述的图像畸变校正图像变换方法指的是：由于VR眼镜的透镜会产生物理畸变，通过透镜看到图像会有弧形的凹凸感，为了抵消这种物理畸变，VR渲染时会进行图像反畸变，从而使得通过VR眼镜看到的图像无任何变形，裁剪模块裁剪到的图像如果是反畸变后的图像，则可以使用图像变换模块的图像畸变校正将反畸变后的图像进行还原，还原后的图像适合裸眼观看，如果不还原则适合佩戴VR眼镜进行观看。
10.根据权利要求3或5所述的一种虚拟现实用户视角分享方法，其特征是，结束指令有两种方式触发：一种是手动触发，一种是通过定义头部姿态来触发；头部姿态触发指令是通过定义头部姿态欧拉角来实现，具体角度参数可根据实际情况设置；当收到结束指令后，指令接收模块会先通知VR渲染模块，VR渲染模块将结束指令传给裁剪模块，裁剪模块将结束指令传给编码模块和图像变换模块同时暂停裁剪，编码模块将结束指令传给发送模块和录制模块同时暂停编码，录制模块暂停录制，发送模块将结束指令传给流媒体服务器同时暂停发送，流媒体服务器将结束指令传给播放器停止拉流播放。
CN201911412506.2A 2019-12-31 2019-12-31 一种虚拟现实用户视角分享系统及方法 Pending CN111093086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911412506.2A CN111093086A (zh) 2019-12-31 2019-12-31 一种虚拟现实用户视角分享系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911412506.2A CN111093086A (zh) 2019-12-31 2019-12-31 一种虚拟现实用户视角分享系统及方法

Publications (1)

Publication Number Publication Date
CN111093086A true CN111093086A (zh) 2020-05-01

Family

ID=70398185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911412506.2A Pending CN111093086A (zh) 2019-12-31 2019-12-31 一种虚拟现实用户视角分享系统及方法

Country Status (1)

Country Link
CN (1) CN111093086A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN107659824A (zh) * 2017-10-20 2018-02-02 哈尔滨市舍科技有限公司 基于用户视角的虚拟播放器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN107659824A (zh) * 2017-10-20 2018-02-02 哈尔滨市舍科技有限公司 基于用户视角的虚拟播放器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111862348B (zh) * 2020-07-30 2024-04-30 深圳市腾讯计算机系统有限公司 视频显示方法、视频生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105915937B (zh) 一种全景视频播放方法及设备
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN113347405B (zh) 缩放相关的方法和装置
CN105227963B (zh) 对终端进行流媒体采集自动识别方向并调整的方法及系统
KR102387161B1 (ko) 비디오 스크린 프로젝션 방법과 장치, 컴퓨터 장비, 및 저장 매체
WO2017080199A1 (zh) 一种全景直播视频资源的处理方法及装置
CN106878764A (zh) 一种虚拟现实的直播方法、系统及其用途
CN108307182A (zh) 一种基于虚拟现实技术的网络交互共享体验系统和方法
US20200120380A1 (en) Video transmission method, server and vr playback terminal
CN108307197A (zh) 虚拟现实视频数据的传输方法、播放方法及装置和系统
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN104065951A (zh) 视频拍摄方法、视频播放方法及智能眼镜
CN104808946A (zh) 图像播放控制方法及装置
CN108965643B (zh) 一种利用多个4k电视实现不低于12k超高清显示的方法
CN110996097A (zh) Vr多媒体的体验质量确定方法及装置
JP2022514140A (ja) ビデオストリームを生成及びレンダリングするための装置及び方法
CN113438495A (zh) Vr直播方法、装置、系统、设备及存储介质
CN111093086A (zh) 一种虚拟现实用户视角分享系统及方法
CN108134928A (zh) Vr显示方法和装置
US20170221174A1 (en) Gpu data sniffing and 3d streaming system and method
CN103959805B (zh) 一种显示图像的方法和装置
CN111818347A (zh) 一种基于参考帧替换的快速视角切换方法
CN103621063A (zh) 用于控制视频流中的数据图像的呈现的系统、方法与介质
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
Gül et al. Interactive volumetric video from the cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200501