CN109598796A - 将真实场景与虚拟物体进行3d融合显示的方法和装置 - Google Patents
将真实场景与虚拟物体进行3d融合显示的方法和装置 Download PDFInfo
- Publication number
- CN109598796A CN109598796A CN201710923129.3A CN201710923129A CN109598796A CN 109598796 A CN109598796 A CN 109598796A CN 201710923129 A CN201710923129 A CN 201710923129A CN 109598796 A CN109598796 A CN 109598796A
- Authority
- CN
- China
- Prior art keywords
- target mark
- real
- virtual object
- target
- mark position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 111
- 210000001508 eye Anatomy 0.000 claims abstract description 92
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 239000011159 matrix material Substances 0.000 claims abstract description 75
- 230000000694 effects Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 19
- 230000001131 transforming effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 abstract 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 abstract 1
- 235000003140 Panax quinquefolius Nutrition 0.000 abstract 1
- 235000008434 ginseng Nutrition 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 6
- 210000001061 forehead Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000034303 cell budding Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种将真实场景与虚拟物体进行3D融合显示的方法和装置。该方法包括:获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;确定三维虚拟物体在图像画面上的第一目标标记位置,并获取其深度值;根据第一目标标记位置的深度值,确定出三维虚拟物体在图像画面上的所有目标标记位置的世界空间向量;根据双目相机的内参矩阵和外参矩阵,对所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;根据两幅2D左右眼图像画面和每个目标标记位置对应的目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;根据两幅2D左右眼虚实融合画面,进行立体显示。
Description
技术领域
本发明涉及增强现实(Augmented Reality,AR)与3D显示技术,尤其涉及一种将真实场景与虚拟物体进行3D融合显示的方法和装置。
背景技术
在增强现实领域中,如何更为逼真地将相机预览到的真实场景画面与虚拟物体融合到一起,且能让观察者在观察时能感觉到融合后的虚拟物体融合于真实场景中一直是该领域中研究的难题。
目前技术大多采用单目相机捕捉到的一副图像或者双目相机捕捉两幅图像,在获取的图像中添加一些虚拟特效进行虚实融合的方法,但是这样合成的最终效果只是在真实场景中添加了虚拟物体的2D图像,对观察者来说并不能呈现出融合显示的立体效果。
另外一种融合显示技术是将提前训练好的二维标记物放置到将要预览的真实场景中,通过检测二维标记物的姿态等信息,在二维标记物对应的图像位置绘制虚拟物体,但是这种方法有极大的局限性,因为对于要求实时性高的很多应用场合,不可能要预先进行漫长的标记物训练操作。
因此,在真实场景中融合虚拟物体时,如何既能够呈现出虚实融合的立体显示效果又能够保证实时性,是一个需要解决的技术问题。
发明内容
(一)要解决的技术问题
本发明提供一种将真实场景与虚拟物体进行3D融合显示的方法和装置,以便在真实场景中融合虚拟物体时,既能够呈现出虚实融合的立体显示效果又能够保证实时性。
(二)技术方案
为了解决上述技术问题,本发明提供了一种本发明提供一种将真实场景与虚拟物体进行3D融合显示的方法,包括:
获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;
确定三维虚拟物体在图像画面上的第一目标标记位置,并获取所述第一目标标记位置的深度值;
针对每幅所述图像画面,根据所述第一目标标记位置的深度值,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量;
根据所述双目相机的内参矩阵Min,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;
根据所述两幅2D左右眼图像画面和所有目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;
根据所述两幅2D左右眼虚实融合画面,进行立体显示。
为了进一步描述上述方法,该方法还包括:
所述确定三维虚拟物体在图像画面上的第一目标标记位置包括:根据用户输入的位置指示,确定三维虚拟物体在所述图像画面上的所述第一目标标记位置;或者,检测所述图像画面上的预定标记特征点,根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系,确定所述第一目标标记位置。
所述获取所述第一目标标记位置的深度值包括:采用双目立体视觉算法,获取所述第一目标标记位置的深度值;或者,接收深度传感器获取的所述第一目标标记位置的深度值。
所述根据所述第一目标标记位置的深度值,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量包括:根据所述第一目标标记位置的深度值,确定出所述第一目标标记位置的世界空间向量;根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。
所述根据所述双目相机的内参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量包括:根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
所述在根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换前,所述方法还包括:根据所述第一目标标记位置的世界空间向量,确定出所述双目相机的位姿参数,根据所述位姿参数得到外参矩阵;根据所述双目相机的预设属性参数得到内参矩阵。
所述根据所述双目相机的内参矩阵和外参矩阵,对所述目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量包括:根据矩阵变换的乘法规则PosAm*Mes*Min,得到所有目标标记剪裁空间位置向量,其中PosAm为所述目标标记位置的世界空间向量,Mes为所述外参矩阵,Min为所述内参矩阵,m为所述目标标记位置的序号。
所述根据所述两幅2D左右眼虚实融合画面,进行立体显示包括将所述两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
为了解决上述技术问题,本发明还提供一种将真实场景与虚拟物体进行3D融合显示的装置,包括:
获取模块,获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;
确定模块,确定三维虚拟物体在图像画面上的第一目标标记位置,并获取所述第一目标标记位置的深度值d;
计算模块,根据所述第一目标标记位置的深度值d,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量;
变换模块,根据所述双目相机的内参矩阵Min、外参矩阵Mes,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;
虚实融合模块,根据所述两幅2D左右眼图像画面和每幅图像画面的每个目标标记位置对应的目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;
显示模块,根据所述两幅2D左右眼虚实融合画面,进行立体显示。
为了进一步描述上述装置,该装置还包括:
所述确定模块包括:第一确定模块,根据用户输入的位置指示,确定三维虚拟物体在所述图像画面上的所述第一目标标记位置;或者,
第二确定模块,检测所述图像画面上的预定标记特征点,根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系,确定所述第一目标标记位置。
所述确定模块包括:第三确定模块,采用双目立体视觉算法,获取所述第一目标标记位置的深度值d;或者,第四确定模块,接收深度传感器获取的所述第一目标标记位置的深度值d。
所述计算模块包括:第一计算模块,根据所述第一目标标记位置的深度值,计算出第一目标标记位置的世界空间向量;第二计算模块,根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。
所述变换模块根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
所述变换模块包括以下模块:外参矩阵模块,根据所述第一目标标记位置的世界空间向量,确定出所述双目相机的位姿参数,根据所述位姿参数得到外参矩阵;内参矩阵模块,根据所述双目相机的预设属性参数得到内参矩阵。
所述变换模块包括:矩阵变换模块,根据矩阵变换的乘法规则PosAm*Mes*Min,得到所有目标标记剪裁空间位置向量,其中PosAm为所述目标标记位置的世界空间向量,m为初始值为0的正整数,m的最大值为n+1个目标标记的数量,Mes为所述外参矩阵,Min为所述内参矩阵,m为所述目标标记位置的序号。
所述显示模块将所述两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
为了解决上述技术问题,本发明还提供一种电子设备,包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述的将真实场景与虚拟物体进行3D融合显示的方法。
为了解决上述技术问题,本发明还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时实现前述的将真实场景与虚拟物体进行3D融合显示的方法。
(三)有益效果
本发明的上述技术方案与现有技术相比的有益效果是:利用双目相机获取左右眼图像画面,针对每一幅图像画面,根据需要添加虚拟物体的目标标记位置的深度值,确定出虚拟物体的裁切空间位置向量,进而将虚拟物体与真实场景进行一致性融合,获取虚实融合后的两幅图像画面,由于使用深度值来确定裁切空间位置向量,则在两幅融合图像中虚拟物体和原真实场景一样均是具有一定视差,在进行立体显示后,这样观察者观察到的图像具有立体效果,即所呈现的虚拟物体和原真实场景一样是立体的,融合效果较佳,用户体验较好。此外,本发明方案将增强现实与3D显示进行融合,不用预先进行标记点训练,也不用人工对图像进行干预,比传统的增强现实虚实融合具有更强的真实性,且这种将增强现实与3D显示的技术方案具有更广的应用空间,比如脸萌、游戏、教育与医疗行业等。同时,本发明方案无需预先进行漫长的标记物训练操作,通过实时采集和实时计算等操作保证了融合显示的实时性。
附图说明
图1是本发明方法的一种实施例的流程图;
图2是本发明方法的另一种实施例的流程图;
图3是本发明装置的一种实施例的结构示意图;
图4是本发明装置的另一种实施例的结构示意图;
图5(a)是本发明一种具体实施例中虚拟物体的模型示意图;
图5(b)是在真实场景中添加图5(a)所示的虚拟物体模型后的左右眼虚实融合画面;
图5(c)是利用图5(b)所示的左右眼虚实融合画面进行裸眼立体显示的效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了便于理解本发明实施例,在开始描述本发明各个实施例前,对本发明所有实施例中涉及的一些术语进行解释。
人们通常通过双眼同时观看物体,由于两只眼睛视轴的间距(约65mm),左眼和右眼在看一定距离的物体时,双眼的注视角度不同,所接收到的视觉图像是不同的,具有一定的视差。由于左右眼所接收到的视觉图像不同,大脑通过眼球的运动、调整,综合了左右眼两幅图像的信息对图像进行叠加重生,从而使观看者产生立体感。基于上述原理,在立体显示中,将构建分别被人的左眼和右眼接收的具有细微差异的不同图像,当显示3D图像时,观众左眼只能接收到左眼图像,右眼只能接收到右眼图像,再通过人双眼的视角差和会聚功能,人脑就会对所看到的景象产生立体视觉。
在本发明实施例中,真实场景信息包括由双目相机拍摄的周围环境信息。从原理上讲,双目摄像机用于模拟人眼,通常包括左右两个摄像头,左摄像头拍摄真实场景的左眼图像画面,右摄像头拍摄右眼图像画面,两幅画面具有一定的视差。在进行立体显示时,左眼图像画面被送入用户的左眼,右眼图像画面被送入用户的右眼,从而呈现真实场景的立体效果。
双目相机工作时,左右两个摄像头实时拍摄真实场景的图像序列,在某一时刻t,可以从左摄像头提供的图像序列中获取一张图像,作为左图,从右摄像头提供的图像序列中获取一张图像,作为右图。
本发明实施例中,三维虚拟物体是准备融合到双目摄像机的真实场景信息中,实现了虚拟物体和真实场景融合后,融合后的画面即虚拟物体和真实场景均呈现立体显示效果,实现虚拟物体和真实场景的一致性融合,增强了用户的真实感。
下面结合具体实施例,对本发明实施例作进一步阐述。
实施例一
如图1和图2是本发明实施例一提供的一种将真实场景与虚拟物体进行3D融合显示的方法流程图。如图1所示,该方法包括以下步骤:
步骤A,获取双目相机实时采集的真实场景的两幅2D左右眼图像画面。
本实施例中的融合显示方法可以应用于带有双目相机的终端,例如,智能手机等,利用双目相机实时采集真实场景信息,其中,双目相机包括左摄像头及右摄像头。在需要进行拍摄时,利用双目相机实时采集真实场景信息,实时采集的真实场景信息包括左摄像头拍摄的左眼图像画面及右摄像头拍摄的右眼图像画面。
针对左眼图像画面和右眼图像画面中的每一幅图像画面,将执行如下步骤B至步骤D。由于两幅图像画面的操作方式相同,因此,步骤B和步骤D以图像画面进行描述,而未指明是左眼图像画面还是右眼图像画面。
步骤B,确定三维虚拟物体在图像画面上的第一目标标记位置,并获取第一目标标记位置的深度值d。
为了在真实场景图像中添加三维虚拟物体,所以需要确定三维虚拟物体在图像画面上的添加位置,即目标标记位置,本步骤中,首先确定与该添加位置相对应的第一目标标记位置。
其中,三维虚拟物体是预先设置好的虚拟模型,其可以通过3D建模工具等计算机工具获取,通常包括多个点或者多个网格的组合。当然,本发明对于三维虚拟物体以及三维虚拟物体的制作方式不限。
可以理解的是,由于三维虚拟物体包括若干个点或者若干个网格,本步骤中,首先确定第一目标标记位置,该第一目标标记位置可以为三维虚拟物体的至少一个点或者至少一个网格对应的添加位置,后续将进一步根据三维虚拟物体的模型信息,即点或者网格的位置关系,获取到三维虚拟物体的所有点或者网格对应的添加位置。当然,第一目标标记位置也可以是当添加三维虚拟物体后,图像画面中位于三维虚拟物体外部但与三维虚拟物体具有位置关系的点或者网格对应的位置,基于该位置以及该位置与三维虚拟物体的位置关系,可以获取到三维虚拟物体的所有点或者网格对应的添加位置,即目标标记位置。
可选的,在本发明的一个实施例中,用户可以自行选择三维虚拟物体的添加位置,步骤B具体包括:根据用户输入的位置指示,确定三维虚拟物体在图像画面上的第一目标标记位置。举例来说,可以将双目摄像机实时采集的图像画面立体显示在屏幕上,或者2D显示左眼图像画面或者右眼图像画面中的至少一张,用户可通过点击、圈定画面上的某位置,从而输入第一目标标记位置。
或者,针对一些特定的三维虚拟物体在添加到真实场景图像中时是有明确的添加位置的,比如,虚拟猫鼻头,是需要添加到真实场景图像中的人脸的鼻子部位,而虚拟兔耳朵是需要添加到真实场景图像中的人脸的额头部位。针对这种情况,可选的,在本发明的一个实施例中,步骤B可具体包括:检测图像画面上的预定标记特征点,根据检测到的预定标记特征点在图像画面上的位置以及预先设定的预定标记特征点与第一目标标记位置的位置关系,确定第一目标标记位置。比如,在需要添加猫鼻头时,可以检测图像画面中人脸的鼻子部位对应的位置点,将该位置点作为第一目标标记位置或者根据该位置点进一步计算出第一目标标记位置。再比如,在需要添加兔耳朵时,可以检测图像画面中人脸的眉心位置点,在眉心位置点的基础上向上偏移若干个像素的位置点作为第一目标标记位置。
可以理解的是,确定第一目标标记位置,即确定了第一目标标记位置在图像画面上的位置坐标。
在确定第一目标标记位置后,本步骤中,将获取第一目标标记位置的深度值d,本发明对于如何获取深度值不做限定,可以采用任意合理可行的方式获取,例如,可采用双目立体视觉算法,获取第一目标标记位置的深度值d,双目立体视觉算法可参见现有技术,这里不再赘述。或者,还可通过深度传感器获取深度值并接收深度传感器获取的第一目标标记位置的深度值d,深度传感器可以是Kinect传感器或者RealSense传感器等。
步骤C,根据第一目标标记位置的深度值d,确定出三维虚拟物体在图像画面上的所有目标标记位置的世界空间向量。
可选的,在本实施例中,步骤C包括:
根据第一目标标记位置的深度值d,确定出第一目标标记位置的世界空间向量;
根据第一目标标记位置的世界空间向量和三维虚拟物体的模型信息计算出三维虚拟物体其余目标标记位置的世界空间向量。
具体而言,本步骤中,将根据第一目标标记位置在图像画面上的位置坐标和深度值,确定出第一目标标记位置在世界坐标系中的世界坐标,即世界空间向量。对于如何确定世界空间向量,这是本领域的公知技术,这里不再赘述。
前文已经说明,三维虚拟物体上包括若干个点或者若干个网格,在构建该三维物体的模型时,点与网格之间是具有位置关系的,而第一标记位置与点或者网格具有位置关系,该虚拟三维物体的模型信息则可以指示该位置关系,则,在已知第一目标标记位置的世界空间向量,可以确定出三维虚拟物体在图像画面上的所有目标标记位置的世界空间向量。
步骤D,根据双目相机的内参矩阵Min,对所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
其中,内参矩阵Min用于将三维虚拟物体进行透视投影变换,也就是得到正确的与现实中人眼观察效果一样的近大远小效果。经过对每个目标标记位置的世界空间向量的透视投影变换,则可以获得每个目标标记位置对应的目标标记裁切空间位置向量,通俗的讲,该目标标记裁切空间位置向量,即为在二维图像画面中三维虚拟物体的位置坐标。得到给位置坐标,即可将三维虚拟物体放置在图像画面中,从而得到融合画面,进而进行立体显示时,三维虚拟物体可呈现立体效果。
针对于仿真的添加虚拟场景的场景,即将三维虚拟物体模拟真实物体添加至图像画面时,例如,将虚拟茶杯放置在图像画面上的真实餐桌上,将虚拟兔耳朵放置在图像画面上的真实人脸的额头上,为了加强真实感和沉浸感,三维虚拟物体需要图像画面上与其所要添加位置处的目标对象具有相同的姿态,比如,在桌面倾斜时茶杯是倾斜的,即虚拟茶杯需要倾斜,在人转头时耳朵随之转动,则虚拟兔耳朵偏转的。因此,在本发明的一个具体实施例中,本步骤中,根据双目相机的内参矩阵Min和外参矩阵Mes,对所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
其中,外参矩阵Mes用来将三维虚拟物体变换到与图像画面中将要添加三维虚拟物体的添加位置处的目标内容具有相同的姿态,即对三维虚拟物体进行相应的旋转缩放与位移相关操作;而内参矩阵Min将具有正确姿态的虚拟物体进行透视投影变换,也就是得到正确的与现实中人眼观察效果一样的近大远小效果,通过Mes和Min则可以获得每个目标标记位置对应的目标标记裁切空间位置向量,即二维图像画面中三维虚拟物体的位置坐标。得到给位置坐标,即可将三维虚拟物体放置在图像画面中,从而得到融合画面,进而进行立体显示时,三维虚拟物体可呈现立体效果的同时呈现正确的姿态。
其中,内参矩阵Min可以是预先设定的,而外参矩阵Mes可以为预先设定的,也可以根据任意合理方式实时获取的,本发明对此不做限定。为了执行步骤D,在步骤D之前,即进行变换前,需要获取到这两个矩阵。可选的,可以根据第一目标标记位置的世界空间向量确定出双目相机的位姿参数,根据位姿参数得到外参矩阵Mes;而根据双目相机的预设属性参数得到内参矩阵Min。
其中,位姿参数用于指示相机的拍摄姿态。可以理解的是,相机的姿态与其拍摄的物体的姿态是相对的,即相机的姿态改变,其拍摄的物体姿态不变,相机拍摄的图像上物体的姿态改变,而反之,相机姿态不变,其拍摄的物体姿态改变,相机拍摄的图像上物体的姿态改变。因此,可以根据第一目标标记位置的世界空间向量,通过立体匹配、深度学习、GPU加速或者平面检测等方法,确定出图像画面中第一目标标记位置对应的真实目标物体的姿态,进而反演计算出双目相机的位姿参数,从而根据位姿参数得到外参矩阵Mes。举例来说,对于人的额头,可以预先设定标准人脸模型,得到在相机预定标准拍摄姿态下额头的姿态,而根据实时得到的第一目标标记位置的世界空间向量,利用立体匹配等方式,与标准姿态进行比对,即可得到额头当前的姿态,进而反演出双目相机的位姿参数。
具体的,根据矩阵变换的乘法规则PosAm*Mes*Min,得到所有目标标记剪裁空间位置向量,其中PosAm为目标标记位置的世界空间向量,m为目标标记位置的序号,当共有n个目标标记位置时,m初始值可为0,则m的最大值为n-1,当共有n+1个目标标记位置时,m初始值可为0,则m的最大值为n。
再次强调,上述步骤B-D是分别对两幅2D左右眼图像画面进行操作,以便得到虚拟物体分别在每副2D左右眼图像画面中所有目标标记剪裁空间位置向量。这些操作可以是同时并行进行的,除此之外,还可采取另一种替换方式,也就是对2D左右眼图像画面先后进行上述操作,即先对其中一幅2D左/右图像画面进行步骤B-D的操作,得到虚拟物体在该图像画面中所有目标标记剪裁空间位置向量,然后,在对另一幅2D图像右/左画面进行步骤B-D的操作,得到虚拟物体在另一幅图像画面中所有目标标记剪裁空间位置向量。
步骤E,根据两幅2D左右眼图像画面和所有目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面。
具体而言,在两幅2D左右眼图像画面中利用所有目标标记剪裁空间位置向量,绘制出虚拟物体从而得到虚实融合画面。
如果是根据相机实时计算得出的矩阵参数而获取到的目标标记裁切空间位置向量,可以保证虚拟物体在融合中与场景目标位置有相同的姿态,即保证了虚实融合的几何一致性。
步骤F,根据两幅2D左右眼虚实融合画面,进行立体显示。
可以使用任意公知的方法利用两幅画面进行立体显示,本发明对此不做限定。
在一个实施例中,本步骤中将进行裸眼立体显示,即步骤F具体包括:将两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
裸眼立体显示的排图的方式请参见现有技术,这里不再赘述。
本发明实施例提供的3D融合显示方法,利用双目相机获取左右眼图像画面,针对每一幅图像画面,根据需要添加虚拟物体的目标标记位置的深度值,确定出虚拟物体的裁切空间位置向量,进而将虚拟物体与真实场景进行一致性融合,获取虚实融合后的两幅图像画面,由于使用深度值来确定裁切空间位置向量,则在两幅融合图像中虚拟物体和原真实场景一样均是具有一定视差,在进行立体显示后,这样观察者观察到的图像具有立体效果,即所呈现的虚拟物体和原真实场景一样是立体的,融合效果较佳,用户体验较好。此外,本发明方案将增强现实与3D显示进行融合,不用预先进行标记点训练,也不用人工对图像进行干预,比传统的增强现实虚实融合具有更强的真实性,且这种将增强现实与3D显示的技术方案具有更广的应用空间,比如脸萌、游戏、教育与医疗行业等。同时,本发明方案无需预先进行漫长的标记物训练操作,通过实时采集和实时计算等操作保证了融合显示的实时性。
参见图2,在一个具体实施例中,本发明提供的3D融合显示方法包括:
获取双目相机实时采集的真实场景的两幅2D左右眼图像画面。
根据用户输入的位置指示,分别确定在两幅2D左右眼图像画面中的第一目标标记位置Pos左0和Pos右0;或者,检测图像画面上的预定标记特征点,根据检测到的预定标记特征点分别在两幅2D左右眼图像画面中的位置以及预先设定的预定标记特征点与第一目标标记位置的位置关系,确定第一目标标记位置Pos左0和Pos右0。
采用双目立体视觉算法,获取第一目标标记位置Pos左0和Pos右0的深度值d左和d右;或者,接收深度传感器获取的第一目标标记位置Pos左0和Pos右0的深度值d左和d右。
根据第一目标标记位置Pos左0和Pos右0的深度值d左和d右,分别计算出第一目标标记位置的世界空间向量PosA左1和PosA右1。
根据第一目标标记位置的世界空间向量PosA左1和PosA右1以及三维虚拟物体的模型信息计算出三维虚拟物体其余n个目标标记位置的世界空间向量PosA左n和PosA右n,n表示目标标记位置的序号,n为初始值为2的正整数。
根据第一目标标记位置的世界空间向量PosA左1和PosA右1确定出双目相机的位姿参数,根据位姿参数得到外参矩阵Mes;根据双目相机的预设外部属性参数得到内参矩阵Min。
根据矩阵变换的乘法规则PosA右m*Mes*Min,得到三维虚拟物体下右眼图像画面上的所有目标标记剪裁空间位置向量PosB右m,根据矩阵变换的乘法规则PosA左m*Mes*Min,得到三维虚拟物体下右眼图像画面上的所有目标标记剪裁空间位置向量PosB左m,其中m表示序号,为初始值为1的正整数。
根据左眼图像画面和PosB左m,得到虚实融合后的左眼虚实融合画面,根据右眼图像画面和PosB右m,得到虚实融合后的右眼虚实融合画面。
根据左右眼虚实融合画面进行裸眼立体显示。
具体而言,将两幅图杂合排列在一起,配合光栅的分光,将左眼融合图像送到左眼,右图融合图像送到右眼,从而将虚实融合画面进行立体显示。
举例说明,参见图5(a),三维虚拟物体为兔子耳鼻,采用本发明实施例提供的方法,得到的2副虚实融合画面参见图5(b),在人的额头和鼻子添加了虚拟物体模型后,该两幅画面是具有视差的,且虚拟物体的姿态与人的姿态相匹配,利用图5(b)所示的左右眼虚实融合画面进行裸眼立体显示的效果请参见图5(c),三维虚拟物体呈现了明显的立体效果和人脸姿态所匹配的正确姿态。
实施例二
图3和图4是本发明实施例二提供的一种将真实场景与虚拟物体进行3D融合显示的装置示意图,该装置包括:
获取模块31,获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;
确定模块32,确定三维虚拟物体在图像画面上的第一目标标记位置,并获取所述第一目标标记位置的深度值d;
计算模块33,根据所述第一目标标记位置的深度值d,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量;
变换模块34,根据所述双目相机的内参矩阵Min,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;
虚实融合模块35,根据所述两幅2D左右眼图像画面和所有目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;
显示模块36,根据所述两幅2D左右眼虚实融合画面,进行立体显示。
在本发明实施例中,所述确定模块32还可包括:
第一确定模块321,根据用户输入的位置指示,确定三维虚拟物体在所述图像画面上的所述第一目标标记位置;
或者,
第二确定模块322,检测所述图像画面上的预定标记特征点,根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系,确定所述第一目标标记位置。
在本发明实施例中,所述确定模块32还可包括:
第三确定模323,采用双目立体视觉算法,获取所述第一目标标记位置的深度值d;
或者,
第四确定模块324,接收深度传感器获取的所述第一目标标记位置的深度值d。
在本发明实施例中,所述计算模块33还包括:
第一计算模块331,根据所述第一目标标记位置的深度值d,计算出第一目标标记位置的世界空间向量;
第二计算模块332,根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。
在本发明实施例中,所述变换模块34根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
在本发明实施例中,所述变换模块34还包括:
外参矩阵模块341,根据所述第一目标标记位置的世界空间向量确定出所述双目相机的位姿参数,根据所述位姿参数得到外参矩阵Mes;
内参矩阵模块342,根据所述双目相机的预设属性参数得到内参矩阵Min。
在本发明实施例中,所述变换模块34还包括:
矩阵变换模块343,根据矩阵变换的乘法规则PosAm*Mes*Min,得到所有目标标记剪裁空间位置向量,其中PosAm为所有目标标记位置的世界空间向量,m为初始值为0的正整数,m的最大值为n+1个目标标记的数量。
在本发明实施例中,所述显示模块36将所述两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
实施例三
本发明实施例还提供一种电子设备,包括至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述实施例一所述的方法。
处理器的具体执行过程,可以参见本发明实施例一的描述,在此不再赘述。
实施例四
本发明实施例还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时实现前述实施例一的方法。
计算机程序使得计算机对上述步骤的具体执行过程,可以参见本发明实施例一的描述,在此不再赘述。
本领域技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (18)
1.一种将真实场景与虚拟物体进行3D融合显示的方法,其特征在于:
获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;
针对每幅所述图像画面,确定三维虚拟物体在图像画面上的第一目标标记位置,并获取所述第一目标标记位置的深度值;
根据所述第一目标标记位置的深度值,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量;
根据所述双目相机的内参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;
根据所述两幅2D左右眼图像画面和每幅图像画面的每个目标标记位置对应的目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;
根据所述两幅2D左右眼虚实融合画面,进行立体显示。
2.根据权利要求1所述的方法,其特征在于,所述确定三维虚拟物体在图像画面上的第一目标标记位置包括:
根据用户输入的位置指示,确定三维虚拟物体在所述图像画面上的所述第一目标标记位置;
或者,
检测所述图像画面上的预定标记特征点,根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系,确定所述第一目标标记位置。
3.根据权利要求1所述的方法,其特征在于,所述获取所述第一目标标记位置的深度值包括:
采用双目立体视觉算法,获取所述第一目标标记位置的深度值;
或者,
接收深度传感器获取的所述第一目标标记位置的深度值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一目标标记位置的深度值,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量包括:
根据所述第一目标标记位置的深度值,确定出所述第一目标标记位置的世界空间向量;
根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。
5.根据权利要求1所述的方法,其特征在于,
所述根据所述双目相机的内参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量包括:
根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换前,所述方法还包括:
根据所述第一目标标记位置的世界空间向量,确定出所述双目相机的位姿参数,根据所述位姿参数得到外参矩阵;
根据所述双目相机的预设属性参数得到内参矩阵。
7.根据权利要求5所述的方法,其特征在于,所述根据所述双目相机的内参矩阵和外参矩阵,对所述目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量包括:
根据矩阵变换的乘法规则PosAm*Mes*Min,得到所述目标标记剪裁空间位置向量,其中PosAm为所述目标标记位置的世界空间向量,Mes为所述外参矩阵,Min为所述内参矩阵,m为所述目标标记位置的序号。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述根据所述两幅2D左右眼虚实融合画面,进行立体显示包括:
将所述两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
9.一种将真实场景与虚拟物体进行3D融合显示的装置,其特征在于,所述装置包括以下模块:
获取模块,获取双目相机实时采集的真实场景的两幅2D左右眼图像画面;
确定模块,确定三维虚拟物体在图像画面上的第一目标标记位置,并获取所述第一目标标记位置的深度值;
计算模块,根据所述第一目标标记位置的深度值,确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量;
变换模块,根据所述双目相机的内参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量;
虚实融合模块,根据所述两幅2D左右眼图像画面和每幅图像画面的每个目标标记位置对应的目标标记剪裁空间位置向量,得到虚实融合后的两幅2D左右眼虚实融合画面;
显示模块,根据所述两幅2D左右眼虚实融合画面,进行立体显示。
10.根据权利要求9所述的装置,其特征在于,所述确定模块包括以下模块:
第一确定模块,根据用户输入的位置指示,确定三维虚拟物体在所述图像画面上的所述第一目标标记位置;
或者,
第二确定模块,检测所述图像画面上的预定标记特征点,根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系,确定所述第一目标标记位置。
11.根据权利要求9所述的装置,其特征在于,所述确定模块包括以下模块,
第三确定模块,采用双目立体视觉算法,获取所述第一目标标记位置的深度值;
或者,
第四确定模块,接收深度传感器获取的所述第一目标标记位置的深度值。
12.根据权利要求9所述的装置,其特征在于,所述计算模块包括以下模块:
第一计算模块,根据所述第一目标标记位置的深度值,确定出第一目标标记位置的世界空间向量;
第二计算模块,根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。
13.根据权利要求12所述的装置,其特征在于,所述变换模块根据所述双目相机的内参矩阵和外参矩阵,对所述所有目标标记位置的世界空间向量进行变换,得到每个目标标记位置对应的目标标记剪裁空间位置向量。
14.根据权利要求13所述的装置,其特征在于,所述变换模块包括以下模块:
外参矩阵模块,根据所述第一目标标记位置的世界空间向量,确定出所述双目相机的位姿参数,根据所述位姿参数得到外参矩阵;
内参矩阵模块,根据所述双目相机的预设属性参数得到内参矩阵。
15.根据权利要求9所述的装置,其特征在于,所述变换模块包括以下模块:
矩阵变换模块,根据矩阵变换的乘法规则PosAm*Mes*Min,得到所述目标标记剪裁空间位置向量,其中PosAm为所述目标标记位置的世界空间向量,Mes为所述外参矩阵,Min为所述内参矩阵,m为所述目标标记位置的序号。
16.根据权利要求9至15任一项所述的装置,其特征在于,所述显示模块将所述两幅2D左右眼虚实融合画面按照预定规则进行排图,并通过光栅对排图后的虚实融合画面进行左右眼投射,从而得到虚实融合后的裸眼3D效果图像。
17.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8任一项所述的方法。
18.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被计算机执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710923129.3A CN109598796A (zh) | 2017-09-30 | 2017-09-30 | 将真实场景与虚拟物体进行3d融合显示的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710923129.3A CN109598796A (zh) | 2017-09-30 | 2017-09-30 | 将真实场景与虚拟物体进行3d融合显示的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109598796A true CN109598796A (zh) | 2019-04-09 |
Family
ID=65956327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710923129.3A Withdrawn CN109598796A (zh) | 2017-09-30 | 2017-09-30 | 将真实场景与虚拟物体进行3d融合显示的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598796A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及系统 |
CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
CN111047548A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 姿态变换数据处理方法、装置、计算机设备和存储介质 |
CN111223192A (zh) * | 2020-01-09 | 2020-06-02 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
CN111651056A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种沙盘演示方法、装置、计算机设备及存储介质 |
CN111857341A (zh) * | 2020-06-10 | 2020-10-30 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
CN112017300A (zh) * | 2020-07-22 | 2020-12-01 | 青岛小鸟看看科技有限公司 | 混合现实图像的处理方法、装置及设备 |
CN112235562A (zh) * | 2020-10-12 | 2021-01-15 | 聚好看科技股份有限公司 | 一种3d显示终端、控制器及图像处理方法 |
CN112764546A (zh) * | 2021-01-29 | 2021-05-07 | 重庆子元科技有限公司 | 一种虚拟人物位移控制方法、装置及终端设备 |
CN113902880A (zh) * | 2021-10-15 | 2022-01-07 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
EP4040219A4 (en) * | 2019-09-30 | 2023-10-25 | Hoya Lens Thailand Ltd. | METHOD AND PROGRAM FOR MEASURING BINOCULAR FUNCTION, METHOD FOR DESIGNING AND MANUFACTURING SPECTACLE GLASS, AND SYSTEM FOR MEASURING BINOCULAR FUNCTION |
CN116958766A (zh) * | 2023-07-04 | 2023-10-27 | 阿里巴巴(中国)有限公司 | 图像处理方法 |
-
2017
- 2017-09-30 CN CN201710923129.3A patent/CN109598796A/zh not_active Withdrawn
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及系统 |
EP4040219A4 (en) * | 2019-09-30 | 2023-10-25 | Hoya Lens Thailand Ltd. | METHOD AND PROGRAM FOR MEASURING BINOCULAR FUNCTION, METHOD FOR DESIGNING AND MANUFACTURING SPECTACLE GLASS, AND SYSTEM FOR MEASURING BINOCULAR FUNCTION |
CN110708384A (zh) * | 2019-10-12 | 2020-01-17 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
CN110708384B (zh) * | 2019-10-12 | 2020-12-15 | 西安维度视界科技有限公司 | 一种基于ar的远程协助系统的交互方法、系统和存储介质 |
CN111223192A (zh) * | 2020-01-09 | 2020-06-02 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
CN111223192B (zh) * | 2020-01-09 | 2023-10-03 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
CN111047548A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 姿态变换数据处理方法、装置、计算机设备和存储介质 |
CN111857341B (zh) * | 2020-06-10 | 2023-06-13 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
CN111651056A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种沙盘演示方法、装置、计算机设备及存储介质 |
CN111857341A (zh) * | 2020-06-10 | 2020-10-30 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
CN112017300A (zh) * | 2020-07-22 | 2020-12-01 | 青岛小鸟看看科技有限公司 | 混合现实图像的处理方法、装置及设备 |
CN112235562A (zh) * | 2020-10-12 | 2021-01-15 | 聚好看科技股份有限公司 | 一种3d显示终端、控制器及图像处理方法 |
CN112235562B (zh) * | 2020-10-12 | 2023-09-15 | 聚好看科技股份有限公司 | 一种3d显示终端、控制器及图像处理方法 |
CN112764546B (zh) * | 2021-01-29 | 2022-08-09 | 重庆子元科技有限公司 | 一种虚拟人物位移控制方法、装置及终端设备 |
CN112764546A (zh) * | 2021-01-29 | 2021-05-07 | 重庆子元科技有限公司 | 一种虚拟人物位移控制方法、装置及终端设备 |
CN113902880B (zh) * | 2021-10-15 | 2023-05-30 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
CN113902880A (zh) * | 2021-10-15 | 2022-01-07 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
CN116958766A (zh) * | 2023-07-04 | 2023-10-27 | 阿里巴巴(中国)有限公司 | 图像处理方法 |
CN116958766B (zh) * | 2023-07-04 | 2024-05-14 | 阿里巴巴(中国)有限公司 | 图像处理方法及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598796A (zh) | 将真实场景与虚拟物体进行3d融合显示的方法和装置 | |
CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
CN105704468B (zh) | 用于虚拟和现实场景的立体显示方法、装置及电子设备 | |
US8817073B2 (en) | System and method of processing 3D stereoscopic image | |
US9460555B2 (en) | System and method for three-dimensional visualization of geographical data | |
EP3057066A1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
US10235806B2 (en) | Depth and chroma information based coalescence of real world and virtual world images | |
EP2340534A1 (en) | Optimal depth mapping | |
JPWO2017094543A1 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法 | |
US20140036039A1 (en) | Techniques for producing creative stereo parameters for stereoscopic computer animation | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
JP2023551864A (ja) | 自動立体テレプレゼンスシステムのための3次元(3d)顔特徴追跡 | |
US9165393B1 (en) | Measuring stereoscopic quality in a three-dimensional computer-generated scene | |
WO2017062730A1 (en) | Presentation of a virtual reality scene from a series of images | |
JP6775669B2 (ja) | 情報処理装置 | |
CN106993179A (zh) | 一种3d模型转立体双视点视图的方法 | |
JP6996450B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6168597B2 (ja) | 情報端末装置 | |
Louis et al. | Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping | |
WO2018173206A1 (ja) | 情報処理装置 | |
CN117376541B (zh) | 一种全息立体画面同步方法、装置、设备及存储介质 | |
JP2024062935A (ja) | 立体視表示コンテンツを生成する方法および装置 | |
CN113436345A (zh) | 增强现实显示系统、方法、计算机设备及可读存储介质 | |
Yang | on HMD Platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190409 |
|
WW01 | Invention patent application withdrawn after publication |