CN109889814A - 非固定全景视频对虚拟现实头戴原生实时视频直播方法 - Google Patents

非固定全景视频对虚拟现实头戴原生实时视频直播方法 Download PDF

Info

Publication number
CN109889814A
CN109889814A CN201910202970.2A CN201910202970A CN109889814A CN 109889814 A CN109889814 A CN 109889814A CN 201910202970 A CN201910202970 A CN 201910202970A CN 109889814 A CN109889814 A CN 109889814A
Authority
CN
China
Prior art keywords
terminal
virtual reality
full
view camera
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910202970.2A
Other languages
English (en)
Inventor
罗叶迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yedi Electronics Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910202970.2A priority Critical patent/CN109889814A/zh
Priority to US16/379,471 priority patent/US10880355B2/en
Publication of CN109889814A publication Critical patent/CN109889814A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了非固定全景视频对虚拟现实头戴原生实时视频直播方法，包括PC终端一和PC终端二，还包括与PC终端一连接的全景摄像头，与全景摄像头连接的四轴电子机械结构以及与PC终端二连接的虚拟现实头戴。本发明让全景摄像头可以在低延迟或实时的情况下对虚拟现实头戴进行原生的视频直播传输，这将实现不同场景的虚拟现实，如可以将全景高清摄像头放在汽车驾驶舱内，为用户完美还原驾驶环境，搭配实时的全景视频传输，这让用户以同样的体验完成远程车辆操控，当用户前后摆动头部或倾斜身体，四轴电子机械结构可以使原本固定的全景摄像头能够对自身位置做出空间上的改变。

Description

非固定全景视频对虚拟现实头戴原生实时视频直播方法
技术领域
本发明涉及实时视频直播领域，具体涉及非固定全景视频对虚拟现实头戴原生实时视频直播方法。
背景技术
1.目前市场上的虚拟现实直播视频,在视频传输技术上，大多都使用的是RMTP或RTSP传输技术，只能够完成高延迟的全景视频传输,延迟在5秒到15秒之间。让全景视频的及时性和实用性大打折扣。可以使用的场景大多为无严格时间要求的娱乐性视频直播。
2.目前能够实现低延迟或实时视频传输(500ms以下)的技术，都停留在2D平面视频的阶段,即使是用上实验性的WEBRTC+WEBVR的融合，能做到的也只是在VR虚拟环境内进行2D画面的视频通话。并不可以直接对3D全景视频进行低延迟的视频通话呈现.
3.内容的呈现方面，能够直接在HTCVIVE等头戴显示器上直接对高清摄像头进行低延迟或实时视频传输的商用应用或APP目前还没有。
4.传统摄像头可以为虚拟现实提供一个固定点上的全景视角，用户可以通过头部的转向借由虚拟现实头戴来控制用户在虚拟世界的观察点。但是此观察点的坐标是固定不可改变的，这有背于用户的现实操作方式。也就是说，在现有的技术条件下，用户通过信号传递所能看到的只是一个固定点的全景，而非活动点的全景。当用户前后摆动头部或倾斜身体，固定点摄像头将无法对自身位置做出任何改变。
发明内容
为了解决上述的技术问题，本发明的目的在于提供非固定全景视频对虚拟现实头戴原生实时视频直播方法。
本发明所要解决的技术问题为：
(1)如何能够直接在HTCVIVE等头戴显示器上直接对高清摄像头进行低延迟或实时视频传输。
(2)如何使用户看到的全景可以根据用户前后摆动头部或倾斜身体进行改变。
本发明的目的可以通过以下技术方案实现：
非固定全景视频对虚拟现实头戴原生实时视频直播方法，包括PC终端一和PC终端二，还包括与PC终端一连接的全景摄像头，与全景摄像头连接的四轴电子机械结构以及与PC终端二连接的虚拟现实头戴，所述方法的具体步骤如下：
步骤一：全景摄像头空间坐标的确定，将四轴电子机械结构上的转动关节R1、转动关节R2、移动关节P1和移动关节P2构成四个关节点，利用四个所述关节点的固定角度以及移动距离，找出全景摄像头的空间坐标；
其中，连接全景摄像头的PC终端一将首先根据各个关节点的现有位置，利用ForwardKinematics计算出全景摄像头现有的位置，随后其归至默认的零界点；
连接虚拟现实头戴的PC终端二，当用户带上虚拟现实头戴后，利用虚拟现实头戴的三轴定位仪，定位虚拟现实头戴现在所处虚拟空间的位置，随后将全景摄像头的空间位置以及虚拟现实头戴的虚拟位置进行同步；
其中，确定四个关节点固定角度以及移动距离后，通过以下计算方式找出全景摄像头的空间坐标，具体计算方式为：
将四轴电子机械结构中的杆件长度标记为a，杆件扭角标记为α，关节距离标记为d，关节转角标记为θ，计算cos(θi)且标记为Ci，计算sin(θi)，且标记为Si，转换得到A1、A2、A3、A4，并根据公式计算得到T；
Link a α d θ
1 0 0 0 θ1
2 0 90 d2 0
3 0 90 0 θ3
4 0 0 d4 0
其中T为确定四轴电子机械结构末端，即全景摄像头的位置相对于四轴电子机械结构底座的相对坐标的变换矩阵；
步骤二：选用全景摄像头的正反两个相机作为输入图像设备，提取的图像为鱼眼型，分别标记为图像一和图像二并输送到PC终端一上；
步骤三：PC终端一和PC终端二通过WEBRTC信道直接连接，PC终端一用于对输入图像进行采集、打包、整合以及传送，WEBRTC信道是利用WEBSOCKET为服务器传递信令，利用服务器打通WEBRTC信道；
步骤四：PC终端二根据PC性能以固定帧率更新每一帧的图像，图像一作为左半球内部贴图，图像二作为右半球内部贴图，PC终端二利用3D项目引擎制造空心球体，球体半径为虚拟距离10，然后将接收到的逐帧的图像作为贴图贴在空心球体的内测；
步骤五：根据引擎处理贴图的方向，对normal进行调整，选用Unity引擎时，贴图的normal需要设置为-1，让原本左右反向的贴图变正，也可以选用其他引擎。
步骤六：将虚拟视角设置在球体中心，且虚拟视角的观察方向由虚拟现实头戴的陀螺仪决定；
步骤七：将步骤一中确定的全景摄像头的空间坐标(x,y,z)作为标准从PC终端一传输至PC终端二，然后对用户当前在虚拟世界的空间坐标(x_1,y_1,z_1)进行同步；
步骤八：根据用户头部和身体摆动配合虚拟现实头戴的陀螺仪，PC终端二更新出当前用户在虚拟世界的空间坐标(x_1,y_1,z_1)；
步骤九：PC终端二将更新过的虚拟世界的空间坐标(x_1,y_1,z_1)发送至PC终端一；
步骤十：PC终端一根据接收到的虚拟世界的空间坐标，更新四轴电子机械结构需要达到的空间坐标，通过inversekinematic计算，并对四轴电子机械结构发出指令坐标。
进一步的，所述步骤六虚拟视角采用HTCvive头显进行显示和控制。
进一步的，所述步骤一中的全景摄像头为Insta360air摄像头。
进一步的，所述步骤十通过使用矩阵计算的方式进行反推得到的指令坐标，其中，反推计算结果为非唯一解，任意选择其中的一个。
进一步的，所述四轴电子机械结构包括底座，所述底座的中心处固定连接有第一转动组件，所述第一转动组件的输出端固定连接在第一连接组件下端的中心处，且所述第一连接组件的上端固定连接在Y轴移动组件的下端面的中心处，所述Y轴移动组件连接有第二连接组件的一端，所述第二连接组件的另一端固定连接在X轴移动组件的下端面的中心处，所述X轴移动组件与Y轴移动组件的结构相同且相互垂直设置，所述X轴移动组件的上端面固定连接有第二转动组件，所述第二转动组件上活动卡接有全景摄像头。
进一步的，所述第一连接组件包括安装圆板，所述安装圆板的上端面固定连接有四个呈矩阵设置的支撑柱，所述支撑柱的上端与Y轴移动组件固定连接。
进一步的，所述Y轴移动组件包括条形板，所述条形板的下端面与第一连接组件连接，所述条形板的上端面开设有两条平行设置的上滑槽，所述上滑槽滑动连接有滑动板，且滑动板与第二连接组件固定连接，所述滑动板固定连接在第一线性步进电机的输出端，所述第一线性步进电机固定连接在条形板上端面的一端，所述条形板下端面的中心开设有下滑槽，所述下滑槽与上滑槽的长度相同，且下滑槽的滑动连接有配重滑块，配重滑块与滑动板距条形板的中心处的距离保持相等且对称设置，所述配重滑块固定连接在第二线性步进电机的输出端，所述第二线性步进电机固定连接在条形板下端面远离第一线性步进电机的一端。
进一步的，所述第二转动组件包括支撑板，所述支撑板的一端与X轴移动组件连接，所述支撑板的另一端固定连接在第三步进电机的外壳上，所述第三步进电机的输出端固定连接有固定板，所述固定板贯穿固定插接有两个对称设置的连接杆，两个所述连接杆的下端固定连接在同一个下固定环，两个所述连接杆的上端活动套设有套筒，所述套筒，所述套筒的下端面同轴固定连接有圆筒弹簧的一端，所述圆筒弹簧的另一端固定连接在固定板的上端面，且圆筒弹簧套设在连接杆上，两个所述套筒均通过支撑杆固定连接在同一个上固定环，所述上固定环位于下固定环的正上方，且全景摄像头放置在上固定环与下固定环之间。
进一步的，所述第二连接组件为四个呈矩阵分布的电动推杆，且第一转动组件为步进电机。
本发明的有益效果：本发明让全景摄像头可以在低延迟或实时(500ms以下)的情况下对虚拟现实头戴进行原生的视频直播传输，这将实现不同场景的虚拟现实，如可以将全景高清摄像头放在汽车驾驶舱内，为用户完美还原驾驶环境，搭配实时的全景视频传输，这让用户以同样的体验完成远程车辆操控，当用户前后摆动头部或倾斜身体，四轴电子机械结构可以使原本固定的全景摄像头能够对自身位置做出空间上的改变。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明中的四轴电子机械结构的立体图；
图2是本发明中的四轴电子机械结构的爆炸图；
图3是四轴电子机械结构中的Y轴移动组件的反面立体图；
图4是四轴电子机械结构中的第二转动组件的结构示意图。
图中：底座1、第一转动组件2、第一连接组件3、安装圆板301、支撑柱302、Y轴移动组件4、条形板401、上滑槽402、滑动板403、第一线性步进电机404、下滑槽405、配重滑块406、第二线性步进电机407、第二连接组件5、X轴移动组件6、第二转动组件7、支撑板701、第三步进电机702、固定板703、连接杆704、下固定环705、套筒706、上固定环707、全景摄像头8。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-4所示，本实施例提供了非固定全景视频对虚拟现实头戴原生实时视频直播方法，包括PC终端一和PC终端二，还包括与PC终端一连接的全景摄像头8，与全景摄像头8连接的四轴电子机械结构以及与PC终端二连接的虚拟现实头戴，方法的具体步骤如下：
步骤一：全景摄像头8空间坐标的确定，将四轴电子机械结构上的转动关节R1、转动关节R2、移动关节P1和移动关节P2构成四个关节点，利用四个关节点的固定角度以及移动距离，找出全景摄像头8的空间坐标；
其中，连接全景摄像头8的PC终端一将首先根据各个关节点的现有位置，利用ForwardKinematics计算出全景摄像头8现有的位置，随后其归至默认的零界点；
连接虚拟现实头戴的PC终端二，当用户带上虚拟现实头戴后，利用虚拟现实头戴的三轴定位仪，定位虚拟现实头戴现在所处虚拟空间的位置，随后将全景摄像头8的空间位置以及虚拟现实头戴的虚拟位置进行同步；
其中，确定四个关节点固定角度以及移动距离后，通过以下计算方式找出全景摄像头8的空间坐标，具体计算方式为：
将四轴电子机械结构中的杆件长度标记为a，杆件扭角标记为α，关节距离标记为d，关节转角标记为θ，计算cos(θi)且标记为Ci，计算sin(θi)，且标记为Si，转换得到A1、A2、A3、A4，并根据公式计算得到T；
其中T为确定四轴电子机械结构末端，即全景摄像头8的位置相对于四轴电子机械结构底座1的相对坐标的变换矩阵；
步骤二：选用全景摄像头8的正反两个相机作为输入图像设备，提取的图像为鱼眼型，分别标记为图像一和图像二并输送到PC终端一上；
步骤三：PC终端一和PC终端二通过WEBRTC信道直接连接，PC终端一用于对输入图像进行采集、打包、整合以及传送，WEBRTC信道是利用WEBSOCKET为服务器传递信令，利用服务器打通WEBRTC信道；
步骤四：PC终端二根据PC性能以固定帧率更新每一帧的图像，图像一作为左半球内部贴图，图像二作为右半球内部贴图，PC终端二利用3D项目引擎制造空心球体，球体半径为虚拟距离10，然后将接收到的逐帧的图像作为贴图贴在空心球体的内测；
步骤五：根据引擎处理贴图的方向，对normal进行调整，选用Unity引擎时，贴图的normal需要设置为-1，让原本左右反向的贴图变正，或是其他引擎，如虚幻引擎；
步骤六：将虚拟视角设置在球体中心，且虚拟视角的观察方向由虚拟现实头戴的陀螺仪决定；
步骤七：将步骤一中确定的全景摄像头8的空间坐标(x,y,z)作为标准从PC终端一传输至PC终端二，然后对用户当前在虚拟世界的空间坐标(x_1,y_1,z_1)进行同步；
步骤八：根据用户头部和身体摆动配合虚拟现实头戴的陀螺仪，PC终端二更新出当前用户在虚拟世界的空间坐标(x_1,y_1,z_1)；
步骤九：PC终端二将更新过的虚拟世界的空间坐标(x_1,y_1,z_1)发送至PC终端一；
步骤十：PC终端一根据接收到的虚拟世界的空间坐标，更新四轴电子机械结构需要达到的空间坐标，通过inversekinematic计算，并对四轴电子机械结构发出指令坐标。
步骤六虚拟视角采用HTCvive头显进行显示和控制，也可使用其他头显设备，如Oculus Rift或是谷歌的daydream设备。
步骤一中的全景摄像头8为Insta360air摄像头，也可为其他全景摄像头。
步骤十通过使用矩阵计算的方式进行反推得到的指令坐标，其中，反推计算结果为非唯一解，任意选择其中的一个。
本发明中全景摄像头可以在低延迟或实时(500ms以下)的情况下对虚拟现实头戴进行原生的视频直播传输，这将实现不同场景的虚拟现实，如可以将全景高清摄像头放在汽车驾驶舱内，为用户完美还原驾驶环境，搭配实时的全景视频传输，这让用户以同样的体验完成远程车辆操控，当用户前后摆动头部或倾斜身体，四轴电子机械结构可以使原本固定的全景摄像头能够对自身位置做出空间上的改变。
四轴电子机械结构包括底座1，底座1的中心处固定连接有第一转动组件2，第一转动组件2为步进电机，并作为转动关节R1，实现全景摄像头8在水平面的转动，第一转动组件2的输出端固定连接在第一连接组件3下端的中心处。
第一连接组件3包括安装圆板301，安装圆板301的上端面固定连接有四个呈矩阵设置的支撑柱302，支撑柱302的上端与Y轴移动组件4固定连接。且将Y轴移动组件4作为移动关节P2。
第一连接组件3的上端固定连接在Y轴移动组件4的下端面的中心处，Y轴移动组件4连接有第二连接组件5的一端，第二连接组件5为四个呈矩阵分布的电动推杆，并作为移动关节P1，第二连接组件5的另一端固定连接在X轴移动组件6的下端面的中心处。
Y轴移动组件4包括条形板401，条形板401的下端面与第一连接组件3连接，条形板401的上端面开设有两条平行设置的上滑槽402，上滑槽402滑动连接有滑动板403，且滑动板403与第二连接组件5固定连接，滑动板403固定连接在第一线性步进电机404的输出端，第一线性步进电机404固定连接在条形板401上端面的一端，条形板401下端面的中心开设有下滑槽405，下滑槽405与上滑槽402的长度相同，且下滑槽405的滑动连接有配重滑块406，第一线性步进电机404和第二线性步进电机407通过同一信号控制，使配重滑块406与滑动板403距条形板401的中心处的距离保持相等且对称设置，配重滑块406可从支撑柱302之间穿过，且X轴移动组件6上的配重滑块可从电动推杆之间穿过，配重滑块406固定连接在第二线性步进电机407的输出端，第二线性步进电机407固定连接在条形板401下端面远离第一线性步进电机404的一端。
X轴移动组件6与Y轴移动组件4的结构相同且相互垂直设置，X轴移动组件6的上端面固定连接有第二转动组件7，第二转动组件7上活动卡接有全景摄像头8。
第二转动组件7包括支撑板701，支撑板701的一端与X轴移动组件6连接，支撑板701的另一端固定连接在第三步进电机702的外壳上，且将第三步进电机702作为转动关节R2，第三步进电机702的输出端固定连接有固定板703，固定板703贯穿固定插接有两个对称设置的连接杆704，两个连接杆704的下端固定连接在同一个下固定环705，两个连接杆704的上端活动套设有套筒706，套筒706，套筒706的下端面同轴固定连接有圆筒弹簧的一端，圆筒弹簧的另一端固定连接在固定板703的上端面，且圆筒弹簧套设在连接杆704上，可上下拉动套筒706，圆筒弹簧给于通过拉动套筒706向下的拉力，两个套筒706均通过支撑杆固定连接在同一个上固定环707，上固定环707位于下固定环705的正上方，且全景摄像头8放置在上固定环707与下固定环705之间。向上拉动上固定环707，增大上固定环707与下固定环705的间距，即可放入全景摄像头8，可方便的安装拆卸全景摄像头8，
四轴电子机械的工作过程如下：以水平面为X轴和Y轴所在平面，以垂直水平面的方向为Z轴，第一转动组件2根据信号控制全景摄像头8在水平方向上转动的角度，第二连接组件5根据信号同时控制四个电动推杆，进而控制全景摄像头8在Z轴上的移动距离，Y轴移动组件4与X轴移动组件6分别根据各自的信号控制全景摄像头8在X轴和Y轴方向上的移动距离，第二转动组件7控制全景摄像头8在竖直方向上的转动角度，同时Y轴移动组件4与X轴移动组件6均设置有配重结构，通过调节配重滑块406的位置，保持重心平稳，进而保证全景摄像头8在机动时的稳定。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (9)

1.非固定全景视频对虚拟现实头戴原生实时视频直播方法，包括PC终端一和PC终端二，其特征在于，还包括与PC终端一连接的全景摄像头(8)，与全景摄像头(8)连接的四轴电子机械结构以及与PC终端二连接的虚拟现实头戴，所述方法的具体步骤如下：
步骤一：全景摄像头(8)空间坐标的确定，将四轴电子机械结构上的转动关节R1、转动关节R2、移动关节P1和移动关节P2构成四个关节点，利用四个所述关节点的固定角度以及移动距离，找出全景摄像头(8)的空间坐标；
其中，连接全景摄像头(8)的PC终端一将首先根据各个关节点的现有位置，利用ForwardKinematics计算出全景摄像头(8)现有的位置，随后其归至默认的零界点；
连接虚拟现实头戴的PC终端二，当用户带上虚拟现实头戴后，利用虚拟现实头戴的三轴定位仪，定位虚拟现实头戴现在所处虚拟空间的位置，随后将全景摄像头(8)的空间位置以及虚拟现实头戴的虚拟位置进行同步；
其中，确定四个关节点固定角度以及移动距离后，通过以下计算方式找出全景摄像头(8)的空间坐标，具体计算方式为：
将四轴电子机械结构中的杆件长度标记为a，杆件扭角标记为α，关节距离标记为d，关节转角标记为θ，计算cos(θi)且标记为Ci，计算sin(θi)，且标记为Si，转换得到A1、A2、A3、A4，并根据公式计算得到T；
其中T为确定四轴电子机械结构末端，即全景摄像头(8)的位置相对于四轴电子机械结构的底座(1)的相对坐标的变换矩阵；
步骤二：选用全景摄像头(8)的正反两个相机作为输入图像设备，提取的图像为鱼眼型，分别标记为图像一和图像二并输送到PC终端一上；
步骤三：PC终端一和PC终端二通过WEBRTC信道直接连接，PC终端一用于对输入图像进行采集、打包、整合以及传送，WEBRTC信道是利用WEBSOCKET为服务器传递信令，利用服务器打通WEBRTC信道；
步骤四：PC终端二根据PC性能以固定帧率更新每一帧的图像，图像一作为左半球内部贴图，图像二作为右半球内部贴图，PC终端二利用3D项目引擎制造空心球体，球体半径为虚拟距离10，然后将接收到的逐帧的图像作为贴图贴在空心球体的内测；
步骤五：根据引擎处理贴图的方向，对normal进行调整，选用Unity引擎，贴图的normal设置为-1，让原本左右反向的贴图变正；
步骤六：将虚拟视角设置在球体中心，且虚拟视角的观察方向由虚拟现实头戴的陀螺仪决定；
步骤七：将步骤一中确定的全景摄像头(8)的空间坐标(x,y,z)作为标准从PC终端一传输至PC终端二，然后对用户当前在虚拟世界的空间坐标(x_1,y_1,z_1)进行同步；
步骤八：根据用户头部和身体摆动配合虚拟现实头戴的陀螺仪，PC终端二更新出当前用户在虚拟世界的空间坐标(x_1,y_1,z_1)；
步骤九：PC终端二将更新过的虚拟世界的空间坐标(x_1,y_1,z_1)发送至PC终端一；
步骤十：PC终端一根据接收到的虚拟世界的空间坐标，更新四轴电子机械结构需要达到的空间坐标，通过inversekinematic计算，并对四轴电子机械结构发出指令坐标。
2.根据权利要求1所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述步骤六虚拟视角采用HTCvive头显进行显示和控制。
3.根据权利要求1所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述步骤一中的全景摄像头(8)为Insta360air摄像头。
4.根据权利要求1所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述步骤十通过使用矩阵计算的方式进行反推得到的指令坐标，其中，反推计算结果为非唯一解，任意选择其中的一个。
5.根据权利要求1所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述四轴电子机械结构包括底座(1)，所述底座(1)的中心处固定连接有第一转动组件(2)，所述第一转动组件(2)的输出端固定连接在第一连接组件(3)下端的中心处，且所述第一连接组件(3)的上端固定连接在Y轴移动组件(4)的下端面的中心处，所述Y轴移动组件(4)连接有第二连接组件(5)的一端，所述第二连接组件(5)的另一端固定连接在X轴移动组件(6)的下端面的中心处，所述X轴移动组件(6)与Y轴移动组件(4)的结构相同且相互垂直设置，所述X轴移动组件(6)的上端面固定连接有第二转动组件(7)，所述第二转动组件(7)上活动卡接有全景摄像头(8)。
6.根据权利要求5所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述第一连接组件(3)包括安装圆板(301)，所述安装圆板(301)的上端面固定连接有四个呈矩阵设置的支撑柱(302)，所述支撑柱(302)的上端与Y轴移动组件(4)固定连接。
7.根据权利要求5所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述Y轴移动组件(4)包括条形板(401)，所述条形板(401)的下端面与第一连接组件(3)连接，所述条形板(401)的上端面开设有两条平行设置的上滑槽(402)，所述上滑槽(402)滑动连接有滑动板(403)，且滑动板(403)与第二连接组件(5)固定连接，所述滑动板(403)固定连接在第一线性步进电机(404)的输出端，所述第一线性步进电机(404)固定连接在条形板(401)上端面的一端，所述条形板(401)下端面的中心开设有下滑槽(405)，所述下滑槽(405)与上滑槽(402)的长度相同，且下滑槽(405)的滑动连接有配重滑块(406)，配重滑块(406)与滑动板(403)距条形板(401)的中心处的距离保持相等且对称设置，所述配重滑块(406)固定连接在第二线性步进电机(407)的输出端，所述第二线性步进电机(407)固定连接在条形板(401)下端面远离第一线性步进电机(404)的一端。
8.根据权利要求5所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述第二转动组件(7)包括支撑板(701)，所述支撑板(701)的一端与X轴移动组件(6)连接，所述支撑板(701)的另一端固定连接在第三步进电机(702)的外壳上，所述第三步进电机(702)的输出端固定连接有固定板(703)，所述固定板(703)贯穿固定插接有两个对称设置的连接杆(704)，两个所述连接杆(704)的下端固定连接在同一个下固定环(705)，两个所述连接杆(704)的上端活动套设有套筒(706)，所述套筒(706)，所述套筒(706)的下端面同轴固定连接有圆筒弹簧的一端，所述圆筒弹簧的另一端固定连接在固定板(703)的上端面，且圆筒弹簧套设在连接杆(704)上，两个所述套筒(706)均通过支撑杆固定连接在同一个上固定环(707)，所述上固定环(707)位于下固定环(705)的正上方，且全景摄像头(8)放置在上固定环(707)与下固定环(705)之间。
9.根据权利要求7所述的非固定全景视频对虚拟现实头戴原生实时视频直播方法，其特征在于，所述第二连接组件(5)为四个呈矩阵分布的电动推杆，且第一转动组件(2)为步进电机。
CN201910202970.2A 2019-03-18 2019-03-18 非固定全景视频对虚拟现实头戴原生实时视频直播方法 Pending CN109889814A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910202970.2A CN109889814A (zh) 2019-03-18 2019-03-18 非固定全景视频对虚拟现实头戴原生实时视频直播方法
US16/379,471 US10880355B2 (en) 2019-03-18 2019-04-09 Method for performing original real-time video broadcasting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910202970.2A CN109889814A (zh) 2019-03-18 2019-03-18 非固定全景视频对虚拟现实头戴原生实时视频直播方法

Publications (1)

Publication Number Publication Date
CN109889814A true CN109889814A (zh) 2019-06-14

Family

ID=66932815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910202970.2A Pending CN109889814A (zh) 2019-03-18 2019-03-18 非固定全景视频对虚拟现实头戴原生实时视频直播方法

Country Status (2)

Country Link
US (1) US10880355B2 (zh)
CN (1) CN109889814A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739234A (zh) * 2020-05-12 2020-10-02 广东奔腾达电子有限公司 一种自助金融设备
CN113253218A (zh) * 2021-06-24 2021-08-13 北京理工大学重庆创新中心 一种基于车身定位的毫米波雷达快速定位安装装置及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021158468A (ja) * 2020-03-26 2021-10-07 東芝テック株式会社 撮影装置及び撮影方法
CN114940180A (zh) * 2021-02-10 2022-08-26 华为技术有限公司 一种控制方法及装置
CN115898398B (zh) * 2022-11-16 2023-11-03 苏尼特金曦黄金矿业有限责任公司 一种不规则厚大矿体采用中深孔开采装置及工艺

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086188A1 (en) * 2005-01-07 2015-03-26 Joseph M. JOHNSON, SR. Panoramic camera mount
CN204241814U (zh) * 2014-12-02 2015-04-01 王凯 一种便携摄影装置及其摄影机云台
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106447705A (zh) * 2016-11-24 2017-02-22 华南理工大学 应用于室内场景虚拟现实直播的多目立体视觉系统及方法
CN106604087A (zh) * 2016-12-13 2017-04-26 杭州映墨科技有限公司 一种全景直播的渲染实现方法
CN107800946A (zh) * 2016-09-02 2018-03-13 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN107901039A (zh) * 2017-11-13 2018-04-13 浙江工业大学 基于Python的桌面级机器人离线编程仿真系统
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN108980539A (zh) * 2018-06-19 2018-12-11 华南农业大学 多自由度运动拍摄平台装置及空间点坐标测量方法
WO2018227098A1 (en) * 2017-06-09 2018-12-13 Vid Scale, Inc. External camera assisted virtual reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073023A1 (en) * 2014-09-05 2016-03-10 360fly, Inc. Panoramic camera systems
US20200055195A1 (en) * 2017-05-03 2020-02-20 Taiga Robotics Corp. Systems and Methods for Remotely Controlling a Robotic Device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086188A1 (en) * 2005-01-07 2015-03-26 Joseph M. JOHNSON, SR. Panoramic camera mount
CN204241814U (zh) * 2014-12-02 2015-04-01 王凯 一种便携摄影装置及其摄影机云台
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN107800946A (zh) * 2016-09-02 2018-03-13 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106447705A (zh) * 2016-11-24 2017-02-22 华南理工大学 应用于室内场景虚拟现实直播的多目立体视觉系统及方法
CN106604087A (zh) * 2016-12-13 2017-04-26 杭州映墨科技有限公司 一种全景直播的渲染实现方法
WO2018227098A1 (en) * 2017-06-09 2018-12-13 Vid Scale, Inc. External camera assisted virtual reality
CN107901039A (zh) * 2017-11-13 2018-04-13 浙江工业大学 基于Python的桌面级机器人离线编程仿真系统
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN108980539A (zh) * 2018-06-19 2018-12-11 华南农业大学 多自由度运动拍摄平台装置及空间点坐标测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁浩，等: "基于ADAMS的四轴冲压搬运机器人的运动学分析及仿真", 《机床与液压》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739234A (zh) * 2020-05-12 2020-10-02 广东奔腾达电子有限公司 一种自助金融设备
CN113253218A (zh) * 2021-06-24 2021-08-13 北京理工大学重庆创新中心 一种基于车身定位的毫米波雷达快速定位安装装置及方法

Also Published As

Publication number Publication date
US20200304553A1 (en) 2020-09-24
US10880355B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109889814A (zh) 非固定全景视频对虚拟现实头戴原生实时视频直播方法
CN107560601A (zh) 一种用于航空器的单相机五视角倾斜摄影的实现方法
CN103500446B (zh) 一种头戴显示装置
CN108495048B (zh) 基于云台控制的双摄像头图像采集设备
KR101223242B1 (ko) 지형정보 변화에 따른 영상 이미지의 공간영상 도화 시스템
CN104881049B (zh) 有限空间内无人机全景拍摄云台
CN104890875A (zh) 全景拍摄用多旋翼无人机
CN105684415A (zh) 球面全景视频拍摄系统
CN106133629A (zh) 信息处理装置、信息处理方法、程序和成像系统
CN108650494B (zh) 基于语音控制的可即时获取高清照片的直播系统
CN105739231B (zh) 一种平面分布的多摄像头全景立体成像装置
CN107097966B (zh) 一种云台及无人飞行器
CN108650522B (zh) 基于自动控制的可即时获取高清照片的直播系统
CN204726673U (zh) 全景拍摄用多旋翼无人机
CN205675254U (zh) 一种用于拍摄全景视频的飞行器
CN112069589A (zh) 一种低速风洞空中加油软管-锥套动态特性试验方法
CN108318007B (zh) 一种拼接式航空倾斜摄影的拍摄方法
CN104463956B (zh) 一种月表虚拟场景构建方法及装置
CN110290409A (zh) 数据处理方法、vr设备以及系统
CN108696724B (zh) 可即时获取高清照片的直播系统
KR20090118461A (ko) 원샷 파노라마 ｖｒ 촬영장치
CN210440866U (zh) 一种超高清三维全景采集装置
CN108419052B (zh) 一种多台无人机全景成像方法
CN205847410U (zh) 一种带实景测绘的航拍器
CN105991972A (zh) 航拍系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211231

Address after: 213022 No. 20, private Second Road, Luoxi Town, Xinbei District, Changzhou City, Jiangsu Province

Applicant after: Jiangsu Yedi Electronics Co.,Ltd.

Address before: 213000 No. 91, Qiu Xiangli, Guanli village committee, Menghe Town, Xinbei District, Changzhou City, Jiangsu Province

Applicant before: Luo Yedi

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614