CN106600676A - 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 - Google Patents
在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 Download PDFInfo
- Publication number
- CN106600676A CN106600676A CN201611183847.3A CN201611183847A CN106600676A CN 106600676 A CN106600676 A CN 106600676A CN 201611183847 A CN201611183847 A CN 201611183847A CN 106600676 A CN106600676 A CN 106600676A
- Authority
- CN
- China
- Prior art keywords
- video
- videos
- curved surface
- virtual scene
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000011514 reflex Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 210000004247 hand Anatomy 0.000 claims 1
- 238000007654 immersion Methods 0.000 abstract description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种在三维虚拟场景中使用曲面播放3D视频的方法,包括,在三维引擎中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机前;通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。本发明实现了在虚拟现实场景中采用一种曲面模型对3D视频进行播放的功能,使用ijkMediaPlayer得到的视频纹理信息对unity中生成的模型进行绘制,从而实现3D视频的播放,提供更好的兼容性和沉浸式体验感。
Description
技术领域
本发明涉及虚拟现实技术领域,特别是涉及一种种在三维虚拟场景中使用曲面播放3D视频的方法、装置及手机。
背景技术
各大视频网站如搜狐、爱奇艺、优酷、腾讯、乐视等纷纷布局VR产业,推出了各自的APP应用程序推动VR视频应用发展,影响着中国VR产业的发展。而在激烈的市场竞争中,除了优质的VR内容外,提供更好的播放视频效果和沉浸感是决定市场份额的关键因素。
在VR视频应用程序中,为了给用户提供更好的沉浸式,各家视频公司都会推出眼睛模式,即在一个虚拟场景中放置一块巨屏来播放视频,提供震撼的虚拟感受,这就需要提供更好的解决方案增强虚拟感受。
目前在Android手机平台,比较普遍的做法是用谷歌的unity版本的GoogleVR SDK实现双眼模式,在unity构建虚拟场景,在虚拟场景的前方放置一个面片(Quad)或者平面(Plane)模型,利用android系统播放器采集视频信息,然后对采集到的视频信息进行处理后在平面或者面片模型上进行播放。
现有技术是采用系统播放器进行解码,在android手机平台上,兼容性有一定的问题,而且现有技术是在平面上对视频纹理信息进行渲染,虽然处在虚拟空间,但是屏幕是平面的,没有使用曲面对3D视频进行播放,用户体验不够好,无法提供较好的沉浸式体验。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷,而提供一种在三维虚拟场景中使用曲面播放3D视频的方法及装置,在unity中生成曲面模型,并使用ijkMediaPlayer采集视频信息传送到unity层,并最终达到播放3D视频的效果,给用户带来较好的沉浸式体验。
为实现本发明的目的所采用的技术方案是:
一种在三维虚拟场景中使用曲面播放3D视频的方法,包括,
在三维引擎中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机前;
通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;
将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。
三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例。
三维引擎建立曲面模型的方法为:
1)选取两两对称4个顶点,其中,外侧两个顶点为屏幕左上角和右上角,另外两个顶点为屏幕左上角和右上角之间对称点;
2)通过贝塞尔公式得到经过这4个点的连接曲线的多个点,将这些点及顶点连接会构成一条平滑的曲线;
3)在该曲线下部再生成一条相同的曲线,将两条曲线的边缘连接形成曲面;
4)将构成曲面的顶点信息存储在一个数组中,同时将纹理贴图位置按照点的位置进行设置并存储在另一个列表中。
所述的三维引擎为unity,所述的系统为andriod系统,所述的视频播放器为ijkmediaplayer。
一种在三维虚拟场景中曲面播放3D视频的装置,包括,
曲面模型生成模块,用以在三维引擎中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机(camera)前;
视频信息传输模块,用以通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;
纹理绘制模块,将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。
还包括曲面模型调整子模块,用以在三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例。
所述的三维引擎为unity,所述的系统为andriod系统,所述的视频播放器为ijkmediaplayer。
一种具有所述在三维虚拟场景中曲面播放3D视频的装置的手机。
与现有技术相比,本发明的有益效果是:
本发明实现了在虚拟现实场景中采用一种曲面模型对3D视频进行播放的功能,使用ijkMediaPlayer得到的视频纹理信息对unity中生成的模型进行绘制,从而实现3D视频的播放,提供更好的兼容性和沉浸式体验感。
附图说明
图1所示为本发明的曲面模型示意图;
图2所示为在三维虚拟场景中使用曲面播放3D视频的装置的示意图;
图3所示为在三维虚拟场景中使用曲面播放3D视频的方法的流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
虚拟现实技术:虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中
3D视频技术:3D视频技术利用双眼分视原理,在节目拍摄的过程中,摄像机在工作模式上模仿人的双眼,左右镜头分别拍摄一幅具有细微差别的二维图像,在观看3D影像时,采用技术让左眼只能看到摄像机的左镜头所拍摄的影像,而右眼只能看到摄像机的右镜头所拍摄的影像,从而形成3D立体感。
曲面播放可以提高用户沉浸感,在将图像朝前弯曲之后,用户看到的会呈现出一种包裹感,从而可以更加深入到余光当中,让用户更加深入正在观看的物体。增强景深,用曲面观看会获得一种类似观看3D画面的体验,即便视频源只是2D的,因为图像的弯曲边缘增强了景深的感知。为提高虚拟场景中的观影效果,本发明在三维虚拟场景中引入了曲面播放。
如图1-3所示,本发明在三维虚拟场景中使用曲面播放3D视频的方法,包括,
步骤101,在三维引擎,如unity中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机(camera)前;
Camera相当于人的双眼,曲面模型相当于屏幕,放在camera前边用以观看视频曲面模型是重叠的,但是两个曲面绘制的内容不一样,用以实现3d效果。
Unity中并没有提供曲面模型,而是平面模型,在Unity创建曲面模型的方法为:
1)选取两两对称4个顶点,这四个点用来生成曲面屏幕的一条曲线,如顶边所在的曲线,两个点是屏幕左上角和右上角,另外两个点在屏幕左上角和右上角之间对称点,如图1所示。
2)通过下列贝塞尔公式1得到经过这4个点的连接曲线的多个,如20点,将这些点及顶点连接会构成一条平滑的近似曲线;
B(t)=P0(1-t)3+3P1t(1-t)2+3P2t2(1-t)+P3t3,t∈[0,1] (1)
3)在曲线下部预定位置,如对称轴位置采用贝塞尔公式生成一条相同的曲线,将两条曲线的边缘连接形成曲面;其中,在上一步生成的曲线中,如位置向下的位置,如y轴向下10个单位长度位置,以同样方式生成曲线以进一步连接构成曲面。
4)将构成曲面的顶点信息存储在一个数组中,同时将纹理贴图位置按照顶点的位置进行设置并存储在另一个列表中。顶点信息与纹理信息应该相对应,即左上角的纹理信息应该从左上角的顶点开始贴起,有效保证贴图位置顺序,保证成图像显示正确。
步骤102,通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;
在unity层调用android层的方法需要用到java反射机制,播放器,如ijkmediaplayer由android层提供,视频纹理信息获取到后需要传送到unity层进行绘制。
三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例,曲面模型在unity中生成一个object,unity会得到这个object的空间信息,同时提供控制大小的方法可以改变模型大小。
Android层播放器获取到纹理信息后通过java反射机制传送到unity,unity得到视频宽高比,然后在通过宽高比设定曲面模型的大小,如得到视频宽高比16:9,那么通过unity控制方法改变模型比例以正常显示视频不变形;
步骤104,将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上,用camera来观察模型即视频播放。
由于3D视频分为两种格式:左右3D和上下3D,根据不同格式的视频源,播放器获得不同的纹理信息,在左右格式视频源中,需要将获得视频信息的左半部分信息绘制到一个曲面模型中,将右半部分的视频信息绘制到另一个曲面模型上,上下格式的视频信息是将上半部分和下半部分的视频信息绘制到两个曲面模型中,这样对应地将左眼的纹理信息和右眼的纹理信息分别绘制到unity中的两个曲面模型上,带上VR眼镜后就会呈现出曲面播放3D视频的效果。
本发明实现了在虚拟现实场景中采用一种曲面模型对3D视频进行播放的功能,使用ijkMediaPlayer得到的视频纹理信息对unity中生成的模型进行绘制,从而实现3D视频的播放,提供更好的兼容性和沉浸式体验感。
本发明同时还公开了在三维虚拟场景中曲面播放3D视频的装置,包括,
曲面模型生成模块,用以在三维引擎,如Unity中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的camera前;
视频信息传输模块,用以通过java反射机制三维引擎调用系统,如andriod系统层中的3D视频的纹理信息;其还包括曲面模型调整子模块,用以在三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例。
纹理绘制模块,将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。
本发明使用ijkmediaplayer替换android系统播放器获取视频信息,并与unity进行结合使用,ijkMediaPlayer播放器对视频进行解码,能很好的解决android平台的兼容性问题,同时在unity的虚拟场景中使用曲面屏幕对3D视频进行渲染,提供了较好的三维空间感和虚拟沉浸感。
本发明采用以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种在三维虚拟场景中使用曲面播放3D视频的方法,其特征在于,包括,
在三维引擎中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机前;
通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;
将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。
2.如权利要求1所述的在三维虚拟场景中使用曲面播放3D视频的方法,其特征在于,三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例。
3.如权利要求1所述的在三维虚拟场景中使用曲面播放3D视频的方法,其特征在于,三维引擎建立曲面模型的方法为:
1)选取两两对称4个顶点,
2)通过贝塞尔公式得到经过这4个点的连接曲线的多个点,将这些点及顶点连接会构成一条平滑的曲线;
3)在该曲线下部再生成一条相同的曲线,将两条曲线的边缘连接形成曲面;
4)将构成曲面的顶点信息存储在一个数组中,同时将纹理贴图位置按照点的位置进行设置并存储在另一个列表中。
4.如权利要求1所述的在三维虚拟场景中使用曲面播放3D视频的方法,其特征在于,所述的三维引擎为unity,所述的系统为andriod系统,所述的视频播放器为ijkmediaplayer。
5.一种在三维虚拟场景中曲面播放3D视频的装置,其特征在于,包括,
曲面模型生成模块,用以在三维引擎中生成两个曲面模型,将这两个曲面模型全局坐标置为相同后放在虚拟场景中的相机前;
视频信息传输模块,用以通过java反射机制三维引擎调用系统层中的3D视频的纹理信息;
纹理绘制模块,将3D视频的两部分纹理分别以贴图的方式贴到对应的曲面模型上。
6.如权利要求4所述的在三维虚拟场景中曲面播放3D视频的装置,其特征在于,还包括曲面模型调整子模块,用以在三维引擎获得3D视频信息后计算出视频宽高比并对应调整曲面屏幕的比例。
7.如权利要求4所述的在三维虚拟场景中曲面播放3D视频的装置,其特征在于,所述的三维引擎为unity,所述的系统为andriod系统,所述的视频播放器为ijkmediaplayer。
8.一种具有如权利要求5-7任一项所述在三维虚拟场景中曲面播放3D视频的装置的手机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611183847.3A CN106600676A (zh) | 2016-12-20 | 2016-12-20 | 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611183847.3A CN106600676A (zh) | 2016-12-20 | 2016-12-20 | 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106600676A true CN106600676A (zh) | 2017-04-26 |
Family
ID=58599856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611183847.3A Pending CN106600676A (zh) | 2016-12-20 | 2016-12-20 | 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106600676A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108958568A (zh) * | 2017-05-17 | 2018-12-07 | 北京暴风魔镜科技有限公司 | 一种三维图形引擎中曲面ui的显示、交互方法和装置 |
CN110163941A (zh) * | 2018-07-16 | 2019-08-23 | 南京洛普科技有限公司 | 一种用于led曲面体的图像处理装置及图像处理方法 |
CN112037341A (zh) * | 2020-08-26 | 2020-12-04 | 北京掌中飞天科技股份有限公司 | 基于Web前端处理VR全景交互功能的方法及装置 |
CN113676753A (zh) * | 2021-10-21 | 2021-11-19 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
CN114461057A (zh) * | 2020-11-09 | 2022-05-10 | 华为技术有限公司 | Vr显示控制方法、电子设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004274642A (ja) * | 2003-03-12 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | 3次元映像情報の伝送方法 |
US20110249090A1 (en) * | 2010-04-12 | 2011-10-13 | Moore John S | System and Method for Generating Three Dimensional Presentations |
CN102802005A (zh) * | 2011-04-26 | 2012-11-28 | 李国君 | 三维视频内容产生方法 |
CN105894585A (zh) * | 2016-04-28 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种远程视频的实时播放方法及装置 |
CN105898337A (zh) * | 2015-11-18 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 全景视频的显示方法和装置 |
-
2016
- 2016-12-20 CN CN201611183847.3A patent/CN106600676A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004274642A (ja) * | 2003-03-12 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | 3次元映像情報の伝送方法 |
US20110249090A1 (en) * | 2010-04-12 | 2011-10-13 | Moore John S | System and Method for Generating Three Dimensional Presentations |
CN102802005A (zh) * | 2011-04-26 | 2012-11-28 | 李国君 | 三维视频内容产生方法 |
CN105898337A (zh) * | 2015-11-18 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 全景视频的显示方法和装置 |
CN105894585A (zh) * | 2016-04-28 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种远程视频的实时播放方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108958568A (zh) * | 2017-05-17 | 2018-12-07 | 北京暴风魔镜科技有限公司 | 一种三维图形引擎中曲面ui的显示、交互方法和装置 |
CN110163941A (zh) * | 2018-07-16 | 2019-08-23 | 南京洛普科技有限公司 | 一种用于led曲面体的图像处理装置及图像处理方法 |
CN112037341A (zh) * | 2020-08-26 | 2020-12-04 | 北京掌中飞天科技股份有限公司 | 基于Web前端处理VR全景交互功能的方法及装置 |
CN114461057A (zh) * | 2020-11-09 | 2022-05-10 | 华为技术有限公司 | Vr显示控制方法、电子设备及计算机可读存储介质 |
WO2022095744A1 (zh) * | 2020-11-09 | 2022-05-12 | 华为技术有限公司 | Vr显示控制方法、电子设备及计算机可读存储介质 |
CN113676753A (zh) * | 2021-10-21 | 2021-11-19 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
CN113676753B (zh) * | 2021-10-21 | 2022-02-15 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106600676A (zh) | 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机 | |
US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
US7596259B2 (en) | Image generation system, image generation method, program, and information storage medium | |
US9292962B2 (en) | Modifying perspective of stereoscopic images based on changes in user viewpoint | |
CN114615486B (zh) | 用于生成合成流的方法、系统和计算机可读存储介质 | |
US8249335B2 (en) | Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing | |
Frueh et al. | Headset removal for virtual and mixed reality | |
WO2017009181A1 (en) | Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace) | |
TWI584222B (zh) | 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法 | |
CN106303706A (zh) | 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法 | |
CN101631257A (zh) | 一种实现二维视频码流立体播放的方法及装置 | |
CN113256815A (zh) | 虚拟现实场景融合及播放方法和虚拟现实设备 | |
CN205287569U (zh) | 一种基于增强现实的儿童拼图 | |
JP2004178579A (ja) | 立体視用印刷物の製造方法、立体視用印刷物 | |
JP4397217B2 (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
CN206002838U (zh) | 基于体感交互的360度幻影成像系统 | |
EP3623908A1 (en) | A system for controlling audio-capable connected devices in mixed reality environments | |
Miyashita et al. | Display-size dependent effects of 3D viewing on subjective impressions | |
JP2020530218A (ja) | 没入型視聴覚コンテンツを投影する方法 | |
JP3640256B2 (ja) | 立体視用印刷物の製造方法、立体視用印刷物 | |
JP5085722B2 (ja) | 画像生成システム | |
CN103024414A (zh) | 一种基于WinXP系统的3D显示方法 | |
JP4662238B2 (ja) | 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法及びプログラム | |
JP4397216B2 (ja) | 立体視用印刷物の製造方法、立体視用印刷物 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |