CN108053495B - 2d数字资源转化为可动态变化的3d数字资源的方法及系统 - Google Patents
2d数字资源转化为可动态变化的3d数字资源的方法及系统 Download PDFInfo
- Publication number
- CN108053495B CN108053495B CN201810054706.4A CN201810054706A CN108053495B CN 108053495 B CN108053495 B CN 108053495B CN 201810054706 A CN201810054706 A CN 201810054706A CN 108053495 B CN108053495 B CN 108053495B
- Authority
- CN
- China
- Prior art keywords
- resource
- scene
- plane
- coordinate
- digital resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 7
- 201000009487 Amblyopia Diseases 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000004379 myopia Effects 0.000 claims abstract description 6
- 208000001491 myopia Diseases 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 5
- 230000001886 ciliary effect Effects 0.000 abstract 1
- 210000003205 muscle Anatomy 0.000 abstract 1
- 238000003672 processing method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种2D数字资源转化为可动态变化的3D数字资源的方法，2D数字资源转化为可动态变化的3D数字资源的方法为：对2D数字资源进行图像抽取，将抽取结果通过纹理贴图运算置于3D坐标系中，然后在3D坐标系中进行运动处理与渲染实现动态变化，再通过投影计算形成2D图像；通过实时计算视差，将2D数字资源的多媒体内容通过可运动平面的方式融入3D场景，使其可在3D虚拟场景中按照预定方式进行3D图像的动态变化。本发明的终端处理方法使得治疗弱视或近视的系统无需再重新制作专门的视频，仅使用现有的VR图像，视频或影片等即可实现对眼睛睫状肌的放松，改善视力。
Description
技术领域
本发明属于数字处理领域，涉及一种用于2D数字资源转化为可动态变化的3D数字资源的方法及系统。
背景技术
VR(Virtual Reality，虚拟现实)技术可通过设备在用户眼前呈现出虚拟的场景，包括视觉、听觉、交互等等方面。其中视觉是目前形成虚拟感官的最重要因素，现有VR设备利用人体双目立体视觉，使用户的两只眼睛看到的不同图像，从而通过视差就产生立体感3D场景。这一特性可用于包括医疗用途在内的各种领域。
目前，VR设备的内容形成机制复杂，导致VR设备可展示的内容呈现数量不足、不可定制化等问题。
现有形成VR设备视觉内容的方法如下：
通过人工建模或编辑3D场景，再进行3D影像录制，来为VR设备提供特定的虚拟现实内容。即先通过人工3D建模，再利用计算机图形学计算形成固定的视差的双屏内容直接提供给VR设备。此方法，构建场景的人工成本很高，导致内容数量的规模无法进行有效地扩展。另一方面，由于形成的虚拟场景是事先录制的，该虚拟场景无法进行定制化的更改和更新。
通过引入2D多媒体资源(图像和视频)，将2D资源与人工构建的3D场景进行结合，再利用计算以达到2D媒体可在固定的3D虚拟场景下展示的目的。即将2D资源固定于特定3D虚拟场景下，到达2D资源存在于3D虚拟场景中的伪3D视觉效果，通过计算机视差计算形成双屏内容可使用户调整不同的视角观看2D资源内容。该方法可以有效通过现有的大量2D多媒体资源来形成虚拟场景内容，但是2D资源在3D场景下的位置是固定不可动态调节，不能使2D资源内容在3D场景中动态变更。由此，内容展现也是无法进行定制化变更的，从而很大程度失去了VR内容的可配置、可互动的特性。
而现在现有技术中虽然有2D资源转换成3D资源，但是缺少治疗所需要的3D图像的变换功能，比如图像的平移、翻转、缩放等，因此在近视或弱视的治疗中无法很好的利用现有的其他领域的2D资源。
发明内容
本发明的目的是提供将2D资源转化为3D场景中的3D实体，并通过计算机图形学的3D转换，使之可在3D场景中位置可动态变更(包括位移，旋转、缩放)。
为实现上述目的，本发明采取下述技术方案来实现：
2D数字资源转化为可动态变化的3D数字资源的方法为：对2D数字资源进行图像抽取，将抽取结果通过纹理贴图运算置于3D坐标系中，然后在3D坐标系中进行运动处理与渲染实现动态变化，再通过投影计算形成2D图像；通过实时计算视差，将2D数字资源的多媒体内容通过可运动平面的方式融入3D场景，使其可在3D虚拟场景中按照预定方式进行3D图像的动态变化
进一步，所述3D图像的动态变化为图像的平移、旋转、翻转或缩放中的一种或多种。
具体的，所述方法包括以下步骤：
步骤a，对2D图像进行图像抽取；
步骤b，选取所需的3D虚拟场景；
步骤c，在3D虚拟场景中构建2D资源平面，并为其构建所在坐标系的初始位置、夹角以及大小；
步骤d，构建2D资源平面的内部坐标系，通过解析2D资源图像的特征，进行坐标映射计算，将2D资源图像转化为2D资源平面的贴图；
步骤e，通过实时计算视差，将2D多媒体内容通过可运动平面的方式融入3D场景，使之可进行可配置的3D图形转换。
作为本发明一种实施方式，步骤e中，2D资源实体通过可配置的变化方式在3D场景中进行转换，其计算过程如下：
获取平面初始坐标矩阵，以及当前的坐标转换矩阵；
获取已配置的平面运动轨迹，并计算当前阶段的转换矩阵，并使之平滑化；
在3D场景下进行资源平面的坐标计算，以获得下一帧下资源平面的坐标，并重新计算光线的反射效果；
通过VR设备的运动传感器数据以及设备的配置数据计算当前双眼在虚拟场景中的位置和视角；
转换矩阵通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2D内容在内的3D场景下所有物体的投影关系，形成具有视差效果的双屏本发明还提供上述的2D数字资源转化为可动态变化的3D数字资源的方法在治疗弱视或近视中的用途。
此外本发明还提供一种用于治疗弱视或近视的3D视频转换系统，包括图像抽取模块，计算模块，3D处理模块和VR设备；其中图像抽取模块对2D数字资源进行图像抽取，计算模块先进行3D坐标转换计算，通过实时计算视差，利用3D处理模块将2D数字资源的多媒体内容通过可运动平面的方式融入3D场景，使其可VR设备的3D虚拟场景中按照预定方式进行3D图像的动态变化。
与现有技术相比，本发明具有以下优点：
本发明将2D多媒体内容通过可运动平面的方式融入3D场景，来实现快速VR内容产生；
通过使用实时计算视差的方法，将2D多媒体内容通过可运动平面的方式融入3D场景，使之可进行可配置的3D图形学转换，即多媒体内容可在虚拟场景中按照预定方式进行平移、旋转、翻转、缩放等改变；
通过先进行3D坐标转换计算再进行2D投影的计算方法，在设备计算能力的支持下可进行虚拟场景的动态光计算，可使2D多媒体内容运动在虚拟场景下更为真实。
具体实施方式
下面结合具体实施例对本发明进行详细阐述。
本发明一个实施例中，将普通的2D资源转换为3D资源，具体步骤如下：
在VR软件系统中对2D资源(特别是视频)进行图像抽取；
VR软件系统导入选取3D虚拟场景；在3D虚拟场景中构建2D资源平面(一个大小适中的平面)，并为其构建所在坐标系的初始位置、夹角以及大小；
构建2D资源平面的内部坐标系，通过解析2D资源图像的特征，进行坐标映射计算，将2D资源图像转化为2D资源平面的贴图；
2D资源实体可通过可配置的变化方式在3D场景中进行转换，其计算过程如下：
获取平面初始坐标矩阵，以及当前转化坐标矩阵；
平面初始坐标即为开始时间为0时候的坐标；
计算每个阶段的转换矩阵；
转换矩阵是从时间点0(定义的开始时间)到当前时间点这段时间内的位移、旋转等操作的总和，初始坐标*转换矩阵＝目前的坐标。
就本发明一个实施例中如果视频有100帧，那如果每一帧进行一次位置更新的话，就会有99次位置更新，也就有99个转换矩阵。
获取已配置的平面运动轨迹，并计算当前阶段的转换矩阵，并使之平滑化；
比如，从左上匀速移动到右下”这样的意图变成99个转换矩阵(每一个都表示右移一点点，下移一点点)。
获取已配置的平面运动轨迹就是通过软件配置，可以预定义运动效果，比如平滑的从左到右，同时随机的上下，同时加速的自转等等，此处的运动轨迹指用户希望得到的效果。
在3D场景下进行资源平面的坐标计算，以获得下一帧下资源平面的坐标(涉及平移、旋转及缩放)，并重新计算光线的反射效果；
此步就是将“当前坐标”*“下一阶段转换矩阵”，结果是下一帧它应该在的坐标，然后再根据新坐标进行光的计算。通过当前平面与光源的相对位置及夹角处理如点光源或者平行光源下的反光效果。
通过VR设备的运动传感器数据以及不同设备的配置数据(瞳距等)计算当前双眼在虚拟场景中的位置和视角；
VR设备的运动传感器获取的运动数据，主要表示用户转头的角度，抬头的角度等等。以用户视角为输入，考虑瞳距，计算得出左右眼在3D场景中的坐标及朝向，通过将3D场景进行左右眼的投影计算形成最终图像。
通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2D内容在内的3D场景下所有物体的投影关系，形成具有视差效果的双屏。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的遮蔽装置和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (5)
1.2D数字资源转化为可动态变化的3D数字资源的方法，其特征在于，所述方法为，对2D数字资源进行图像抽取，将抽取结果通过纹理贴图运算置于3D坐标系中，然后在3D坐标系中进行运动处理与渲染实现动态变化，先进行3D坐标转换计算再通过投影计算形成进行2D图像投影；通过实时计算视差，将2D数字资源的多媒体内容通过可运动平面的方式融入3D场景，使其可在3D虚拟场景中按照预定方式进行3D图像的动态变化；2D资源实体通过可配置的变化方式在3D场景中进行转换的计算过程如下：获取平面初始坐标矩阵，以及当前的坐标转换矩阵；获取已配置的平面运动轨迹，并计算当前阶段的转换矩阵，并使之平滑化；在3D场景下进行资源平面的坐标计算，以获得下一帧下资源平面的坐标，并重新计算光线的反射效果；通过VR设备的运动传感器数据以及设备的配置数据计算当前双眼在虚拟场景中的位置和视角；通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2D内容在内的3D场景下所有物体的投影关系，形成具有视差效果的双屏。
2.根据权利要求1所述的2D数字资源转化为可动态变化的3D数字资源的方法，其特征在于，3D图像的动态变化为图像的平移、旋转、翻转或缩放中的一种或多种。
3.根据权利要求1所述的2D数字资源转化为可动态变化的3D数字资源的方法，其特征在于，所述方法包括以下步骤：
步骤a，对2D图像进行图像抽取；
步骤b，选取所需的3D虚拟场景；
步骤c，在3D虚拟场景中构建2D资源平面，并为其2D资源平面构建所在坐标系的初始位置、夹角以及大小；
步骤d，构建2D资源平面的内部坐标系，通过解析2D资源图像的特征，进行坐标映射计算，将2D资源图像转化为2D资源平面的贴图；
步骤e，通过实时计算视差，将2D多媒体内容通过可运动平面的方式融入3D场景，使之可进行可配置的3D图形转换。
4.如权利要求1-3任意一项所述的2D数字资源转化为可动态变化的3D数字资源的方法在治疗弱视或近视中的用途。
5.一种用于治疗弱视或近视的3D视频转换系统，其特征在于，所述3D视频转换系统包括图像抽取模块，计算模块，3D处理模块和VR设备；其中图像抽取模块对2D数字资源进行图像抽取，计算模块先进行3D坐标转换计算，通过实时计算视差，利用3D处理模块将2D数字资源的多媒体内容通过可运动平面的方式融入3D场景，使其能够在VR设备的3D虚拟场景中按照预定方式进行3D图像的动态变化；2D资源实体通过可配置的变化方式在3D场景中进行转换的计算过程如下：获取平面初始坐标矩阵，以及当前的坐标转换矩阵；获取已配置的平面运动轨迹，并计算当前阶段的转换矩阵，并使之平滑化；在3D场景下进行资源平面的坐标计算，以获得下一帧下资源平面的坐标，并重新计算光线的反射效果；通过VR设备的运动传感器数据以及设备的配置数据计算当前双眼在虚拟场景中的位置和视角；通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2D内容在内的3D场景下所有物体的投影关系，形成具有视差效果的双屏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054706.4A CN108053495B (zh) | 2018-01-19 | 2018-01-19 | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054706.4A CN108053495B (zh) | 2018-01-19 | 2018-01-19 | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053495A CN108053495A (zh) | 2018-05-18 |
| CN108053495B true CN108053495B (zh) | 2019-05-28 |
Family
ID=62127311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810054706.4A Active CN108053495B (zh) | 2018-01-19 | 2018-01-19 | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053495B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669753B (zh) * | 2018-12-21 | 2022-02-22 | 福建星网视易信息系统有限公司 | 数字视听系统界面显示方法及计算机可读存储介质 |
| CN113139217B (zh) * | 2021-04-30 | 2023-08-29 | 深圳市行识未来科技有限公司 | 一种平面设计与三维空间设计的转换系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1344186A2 (fr) * | 2000-11-13 | 2003-09-17 | France Telecom Sa | Procede de representation de scenes 3d en realite virtuelle et dispositif correspondant |
| CN103400409A (zh) * | 2013-08-27 | 2013-11-20 | 华中师范大学 | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 |
| CN106131533A (zh) * | 2016-07-20 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像显示方法和终端 |
| CN106303706A (zh) * | 2016-08-31 | 2017-01-04 | 杭州当虹科技有限公司 | 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9183666B2 (en) * | 2013-03-15 | 2015-11-10 | Google Inc. | System and method for overlaying two-dimensional map data on a three-dimensional scene |
| CN106954012A (zh) * | 2017-03-29 | 2017-07-14 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种高清多相机全景立体成像系统及方法 |
-
2018
- 2018-01-19 CN CN201810054706.4A patent/CN108053495B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1344186A2 (fr) * | 2000-11-13 | 2003-09-17 | France Telecom Sa | Procede de representation de scenes 3d en realite virtuelle et dispositif correspondant |
| CN103400409A (zh) * | 2013-08-27 | 2013-11-20 | 华中师范大学 | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 |
| CN106131533A (zh) * | 2016-07-20 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像显示方法和终端 |
| CN106303706A (zh) * | 2016-08-31 | 2017-01-04 | 杭州当虹科技有限公司 | 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053495A (zh) | 2018-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945282A (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| Raj et al. | Anr: Articulated neural rendering for virtual avatars | |
| CN104504671B (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| CN110533752B (zh) | 一种人体动作编辑模型的生成方法、存储介质及电子设备 | |
| CN109410298B (zh) | 一种虚拟模型的制作方法及表情变化方法 | |
| JP7026222B2 (ja) | 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体 | |
| CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 | |
| US20130286017A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
| CN104702936A (zh) | 一种基于裸眼3d显示的虚拟现实交互方法 | |
| CN106412556B (zh) | 一种图像生成方法及装置 | |
| CN104506872B (zh) | 一种平面视频转立体视频的方法及装置 | |
| CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
| CN108053495B (zh) | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 | |
| Li et al. | Bringing instant neural graphics primitives to immersive virtual reality | |
| US11328488B2 (en) | Content generation system and method | |
| WO2023160074A1 (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
| CN108769644B (zh) | 一种基于深度学习的双目动画风格化渲染方法 | |
| CN106408666A (zh) | 混合现实实境演示方法 | |
| CN109658326A (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
| CN108234986B (zh) | 用于治疗近视或弱视的3d图像管理方法及管理系统和装置 | |
| Park et al. | Template‐Based Reconstruction of Surface Mesh Animation from Point Cloud Animation | |
| CN108181993A (zh) | 用于增强现实设备的场景绘制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |