CN109685906A - 基于增强现实的场景融合方法和装置 - Google Patents
基于增强现实的场景融合方法和装置 Download PDFInfo
- Publication number
- CN109685906A CN109685906A CN201710973492.6A CN201710973492A CN109685906A CN 109685906 A CN109685906 A CN 109685906A CN 201710973492 A CN201710973492 A CN 201710973492A CN 109685906 A CN109685906 A CN 109685906A
- Authority
- CN
- China
- Prior art keywords
- information
- dummy model
- augmented reality
- scene
- filming apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 77
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 5
- 235000013350 formula milk Nutrition 0.000 claims 4
- 238000002844 melting Methods 0.000 claims 1
- 230000008018 melting Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 239000013558 reference substance Substances 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明实施例公开了一种基于增强现实的场景融合方法和装置。所述方法包括：通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型，检测拍摄装置的姿态信息，该姿态信息包括拍摄装置的高度和方向，根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息，根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。本申请通过将增强现实虚拟模型与现实场景进行融合，实现了对现实场景的增强，并且能大幅提高场景融合的精确度。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的场景融合方法和装置。
背景技术
AR(Augmented Reality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息充、叠加。
目前用于AR的显示设备以头盔式显示器(HMD：Headmounteddisplay)为主。根据使用原理不同，HMD又可分为视频透视式和光学透视式两种。使用光学透视式HMD，用户既可直接观察到周围的真实环境，还可看到计算机产生的增强图像或信息，显示效果明显强于视频透视式HMD。但光学式HMD中，由于来自真实场景的图像直接成像于用户视网膜上，无法直接定标，需要用户在线标定，这种人机交互过程高度依赖于用户。所以光学式HMD的标定是阻碍其实际应用的技术难点，目前尚未有成熟的基于光学式HMD的增强现实导航系统应用于临床实践。Tuceryan描述了一种光学式HMD的定标法——单点活动排列法(SPAAM)，取得了较好的效果，但它的定标过程仍然需要人工对准，精度受人为影响较大。
发明内容
本发明实施例提供一种基于增强现实的场景融合方法和装置，可将增强现实虚拟模型与现实场景进行融合，并且能大幅提高融合的精确度。
本发明实施例提供了一种基于增强现实的场景融合方法，包括：
通过拍摄装置获取用户的身体特征图像，并根据所述身体特征图像生成增强现实虚拟模型；
检测所述拍摄装置的姿态信息，所述姿态信息包括所述拍摄装置的高度和方向；
根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息；
根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
相应地，本发明实施例还提供一种基于增强现实的场景融合装置，包括：拍摄模块、检测模块、定标模块以及融合模块；
所述拍摄模块，用于通过拍摄装置获取用户的身体特征图像，并根据所述身体特征图像生成增强现实虚拟模型；
所述检测模块，用于检测所述拍摄装置的姿态信息，所述姿态信息包括所述拍摄装置的高度和方向；
所述定标模块，用于根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息；
所述融合模块，用于根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
本发明实施例提供的种基于增强现实的场景融合方法和装置，通过将增强现实虚拟模型与现实场景进行融合，实现了对现实场景的增强，并且能大幅提高场景融合的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的种基于增强现实的场景融合方法的一种流程示意图。
图2是本发明实施例提供的种基于增强现实的场景融合方法的另一种流程示意图。
图3是本发明实施例提供的增强现实的显示方法示意图。
图4是本发明实施例提供的种基于增强现实的场景融合装置的一种结构示意图。
图5是本发明实施例提供的种基于增强现实的场景融合装置的另一种结构示意图。
图6是本发明实施例提供的种基于增强现实的场景融合装置的又一种结构示意图。
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于增强现实的场景融合方法和装置。以下将分别进行详细说明。
在一优选实施例中，提供一种基于增强现实的场景融合方法，如图1所示，流程可以如下：
步骤S101,通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型。
具体的，在本发明实施例当中，可以通过摄像头对用户的身体特征进行图像采集，以获取用户身体特征的原始图像。
在本实施例当中，摄像头针对用户的身体特征拍摄的画面，获取该图片。其中，该图片的格式可以为Bmp、jpg或其他格式。
进一步的，在获取场景图像之后，还可以对该图像进行预处理，该预处理可以包括降噪处理和平滑处理。
在一实施例当中，在获取用户的身体特征对应的图像之后，上述方法还可以包括：根据用户的身体特征图像建立用户的身体特征三维模型也即增强现实虚拟模型。进一步的，在建立三维模型后，可以对该三维模型进行图像渲染，通过图像渲染最终使图像符合3D场景的阶段。渲染有多种软件，如：各CG软件自带渲染引擎，还有诸如RenderMan等。得到三维场景图像，然后将该三维场景图像投射至增强现实头盔的显示屏，用户可以通过佩戴增强现实头戴设备对三维场景图像进行查看，以得到3D效果。
步骤S102,检测拍摄装置的姿态信息，所述姿态信息包括所述拍摄装置的高度和方向。
具体的，可以通过竖直加速度传感器获取拍摄装置的实时高度，通过陀螺仪获取拍摄装置的偏转角度信息。
在一实施例当中，可将上述竖直加速度传感器和陀螺仪安装在增强现实头盔当中，用户将该增强现实头盔佩戴在头上后，头盔中的竖直加速度传感器和陀螺仪即可实时获取增强现实头盔中的拍摄装置的高度信息以及偏转角度信息，也即方向。
步骤S103，根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息。
具体的，通过对所述虚拟模型进行定标，可以确定真实世界到虚拟模型的坐标系变换和确定虚拟模型在真实世界三维欧式空间里的位置和方向角，完成虚拟模型到真实世界的坐标系变换。
其中，对虚拟模型进行定标可以包括两种方法。比如第一种方法，使用已知尺寸和形状的定标标准物，通过对定标物上的基准点的检测完成定标。第二种方法是根据直接照射在真实物体上的激光线进行定标。由于定标过程比较复杂，也有报道自动定标的方法，用冗余的传感器信息来自动测量和补偿定标参数的变化。定标的结果直接决定了虚实匹配和显示的准确性，因此它是基于增强现实的场景融合技术的基础。
在本发明实施例中，上述根据所述姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息的步骤可以具体包括：
根据姿态信息确定虚拟模型在真实场景中的位置和方向；
在真实场景中选取多个标识点，并获取标识点的坐标信息；
计算标识点相对于虚拟模型中对应虚拟标识点的位置偏差，并根据位置偏差生成虚拟模型的空间坐标。
步骤S104，根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
在一实施例中，将虚拟模型与真实场景融合需要将计算机产生的虚拟模型与使用者的真实环境全方位对准。由于应用增强现实的目的是使虚拟环境与真实环境合成起来，使它们看起来象一个整体。如果没有准确的匹配，虚拟模型看起来会漂浮在真实环境之上，因此准确的三维匹配对AR至关重要。
上述三维匹配可以包含多种方法，比如：基准点法、基于表面法、模板法、无定标发等等。以基准点法为例对本发明实施例进行说明，该法是在真实环境中人为放置一些基准点或者利用体表显著的解剖特征如眼角、鼻尖等，根据基准点匹配的方法实现系统的三维匹配。这些基准点可以是LED或是特定的标志点，它们在真实环境中的位置已知，可以通过图像处理来识别，之后经计算得到不同空间的变换矩阵，最后用最小二乘法完成匹配。这种方法可简化计算量，而且准确性好。
当然，除了上述多种三维匹配方法之外，还有一些方法可帮助提高匹配的准确性。如可用激光扫描器获得真实环境物体的深度信息分布图，来帮助虚实配准。还有必要时，也可由使用者应用中为医生手工介人匹配。鉴于准确的三维匹配是整个系统的关键，简单、有效的匹配方法是急待研究的问题。同时实时性要求较高，快速也是三维匹配的要求之一。近来对自动匹配方法的研究兴起，将手工匹配与自动匹配结合,可以进一步提升准确性与效率。
得到的虚拟模型与真实场景匹配后，再添加人器械的跟踪信息，最后就可以增强现实的形式显示给外科大夫。这种作为反馈形式的显示，是实现IGS(Image guidedsurgery，基于图像的外科手术导航)交互的重要前提。上述增强现实设备的显示器可以为基于头盔式显示器(HMD，Head Mounted Display)。
由上可知，本发明实施例提供了一种基于增强现实的场景融合方法，包括：通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型，检测拍摄装置的姿态信息，该姿态信息包括拍摄装置的高度和方向，根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息，根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。本申请通过将增强现实虚拟模型与现实场景进行融合，实现了对现实场景的增强，并且能大幅提高场景融合的精确度。
在本发明又一实施例中，还提供另一种基于增强现实的场景融合方法，以增强现实头盔为例来进行说明。如图2所示，流程可以如下：
步骤S201，通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型。
具体的，在本发明实施例当中，可以通过摄像头对用户的身体特征进行图像采集，以获取目标对应的原始图像。
在一实施例当中，在获取用户的身体特征对应的图像之后，上述方法还可以包括：根据图像建立三维模型。进一步的，在建立三维模型后，可以对该三维模型进行图像渲染。其中，上述渲染可以具体包括光线处理和纹理处理，光线处理包括对碰撞模型进行光照效果模拟，纹理处理包括对碰撞模型进行纹理效果模拟。具体的，可以通过光线处理模块构建了光照模型。在基本光照模型中，一个物体的表面颜色是放射(emissive)、环境反射(ambient)、漫反射(diffuse)和镜面反射(specular)等光照作用的总和。每种光照作用取决于表面材质的性质(例如亮度和材质颜色)和光源的性质(例如光的颜色和位置)的共同作用。该模块支持多种光源模型，包括平行光、聚光灯、泛光灯等，并可通过调整参数实时查看光照效果。然后基于GPU Shader技术进行光照模拟。通过纹理处理模块管理和调度虚拟场景的纹理数据。
步骤S202，检测拍摄装置的姿态信息，姿态信息包括拍摄装置的高度和方向。
具体的，可以通过竖直加速度传感器获取拍摄装置的实时高度，通过陀螺仪获取拍摄装置的偏转角度信息。
步骤S203，根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息。
其中，对虚拟模型进行定标可以包括两种方法。比如第一种方法，使用已知尺寸和形状的定标标准物，通过对定标物上的基准点的检测完成定标。第二种方法是根据直接照射在真实物体上的激光线进行定标。由于定标过程比较复杂，也有报道自动定标的方法，用冗余的传感器信息来自动测量和补偿定标参数的变化。
步骤S204，计算虚拟模型所在空间与真实场景所在空间之间的几何变换公式。
步骤S205，根据几何变换公式以及虚拟模型的位置信息，将虚拟模型与真实场景融合。
具体的，这种方法根据不同空间的对应表面计算得两者的几何变换，从而实现表面之间的配准。该法在操作中不需要人为附加基准点，而是用体表和头颅表面来辅助匹配。这些三维空间中的表面可通过3D导针、立体摄像机或激光扫描器得到。该法包括表面点定位和表面匹配两步。表面点定位有多种方法，如Ryan利用可跟踪医学器械对150个点探察，得到了病人的头皮模型。Colchester用自主立体法获得头皮表面模型，匹配方法如Lavallee和Szeliski，也采用了最小二乘法来配准。基于表面的匹配法计算处理过程相对较复杂，但比较灵活，精度也较高。
步骤S206，将上述融合后的图像映射在增强现实设备的显示器上。
医学体数据(如MRI\CT)三维可视化大致可分为面绘制和体绘制两大类。面绘制(Surface rendering)首先在三维空间数据场中构造出中间几何图元，然后由传统的计算图形学实现画面绘制。体绘制(Volume rendering)是将三维空间的离散数据直接转换为二维图像，不必生成几何图元，又称为直接绘制。面绘制技术目前已发展得相当成熟，且具有速度快的优点，适用于绘制表面特征分明的组织和器官。其缺点是对数据分割要求高，且物体内部信息无法保留，对于精细组织和器官的三维显示常常效果不佳。面绘制有多种算法，IGS最常用的是Marching Cubes算法。体绘制可利用模糊分割的结果，甚至可不进行分割即可直接进行绘制，有利于保留三维医学图像中的细节信息。其缺点是计算量大，速度比面绘制慢。但随着硬件图形加速器的发展，体绘制速度已经大大提高，应用的前景还是相当乐观的。适用于形状特征模糊不清的组织和器官的三维显示。
步骤S207，实时获取拍摄装置的动态信息，动态信息包括拍摄装置的角度变换信息。
具体的，上述实时获取所述拍摄装置的动态信息，动态信息包括所述拍摄装置的角度变换信息的步骤具体包括：
通过光学跟踪器获取拍摄装置的角度变换信息，根据角度变换信息生成拍摄装置的动态信息。
步骤S208，根据动态信息实时更新虚拟模型的位置信息，并根据更新后的位置信息对虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
AR的显示主要有三种：基于计算机显示器(Monitor-based)和两种基于头盔式显示器(HMD，Head-mounted displays)的方法。基于计算机显示器的方法是将摄像机摄取的真实世界图像输人计算机，与计算机产生的虚拟物体合成，输人到屏幕显示器。增强的场景图片也可以立体的方式在显示器上显示，此时使用者需带上立体眼镜观看，如图3(a)所示。这是最简单实用的AR显示方法，是大多数实验室所采用的。基于HMD的方法有两种，分别是基于光学原理的穿透式HMD(optical see-through HMD)和基于视频合成技术的穿透式HMD(video see-through HMD)。optical see-through HMD方法中，真实场景直接进人人眼，与虚拟信息以光学方法合成，如图3(b)所示。videosee-through HMD方法的合成方式与a相似，但合成后图像是在头盔上的，如图3(c)所示。后两种头盔方法在手术室中极少采用，一是因为要求虚实景象有一个共同的焦平面，这还很难做到，另一是因为头盔会给医生带来额外的负担，使用不方便。
由上可知，本发明实施例提供了一种基于增强现实的场景融合方法可以通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型，检测拍摄装置的姿态信息，姿态信息包括拍摄装置的高度和方向，根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息，计算虚拟模型所在空间与真实场景所在空间之间的几何变换公式，根据几何变换公式以及虚拟模型的位置信息，将虚拟模型与真实场景融合，将上述融合后的图像映射在增强现实设备的显示器上，实时获取拍摄装置的动态信息，动态信息包括拍摄装置的角度变换信息，根据动态信息实时更新虚拟模型的位置信息，并根据更新后的位置信息对虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。本申请通过将增强现实虚拟模型与现实场景进行融合，实现了对现实场景的增强，并且能大幅提高场景融合的精确度。
在本发明又一实施例中，还提供一种基于增强现实的场景融合装置。如图4所示，该种基于增强现实的场景融合装置30可以包括：拍摄模块301、检测模块302、定标模块303以及融合模块304；
拍摄模块301，用于通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型；
检测模块302，用于检测拍摄装置的姿态信息，姿态信息包括拍摄装置的高度和方向；
定标模块303，用于根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息；
融合模块304，用于根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
在一实施例中，如图5所示，定标模块303具体包括：确定子模块3031、选取子模块3032以及生成子模块3033；
确定子模块3031，用于根据姿态信息确定虚拟模型在真实场景中的位置和方向；
选取子模块3032，用于在真实场景中选取多个标识点，并获取标识点的坐标信息；
生成子模块3033，用于计算标识点相对于虚拟模型中对应虚拟标识点的位置偏差，并根据位置偏差生成虚拟模型的空间坐标。
进一步的，上述融合模块304具体包括：计算子模块3041和融合子模块3042；
计算子模块3041，用于计算虚拟模型所在空间与真实场景所在空间之间的几何变换公式；
融合子模块3042，用于根据几何变换公式以及虚拟模型的位置信息，将虚拟模型与真实场景融合。
在一实施例中，如图6所示，上述基于增强现实的场景融合装置30还包括：获取模块305和更新模块306；
获取模块305，用于在融合模块304根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上之后，实时获取拍摄装置的动态信息，动态信息包括拍摄装置的角度变换信息；
更新模块306，用于根据动态信息实时更新虚拟模型的位置信息，并根据更新后的位置信息对虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
其中，获取模块305具体用于通过光学跟踪器获取拍摄装置的角度变换信息，根据角度变换信息生成拍摄装置的动态信息。
由上可知，本发明实施例提供了一种基于增强现实的场景融合装置，通过拍摄装置获取用户的身体特征图像，并根据身体特征图像生成增强现实虚拟模型，检测拍摄装置的姿态信息，该姿态信息包括拍摄装置的高度和方向，根据姿态信息对虚拟模型进行定标，以得到虚拟模型的位置信息，根据位置信息将虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。本申请通过将增强现实虚拟模型与现实场景进行融合，实现了对现实场景的增强，并且能大幅提高场景融合的精确度。
相应地，本发明实施例还提供一种服务器500，该服务器500具体可以是智能手机、平板电脑等终端设备。如图7所示，该服务器500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该服务器500的控制中心，利用各种接口和线路连接整个服务器500的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器500的各种功能和处理数据，从而对服务器500进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中，信号的接收和发送，特别地，通讯单元503接收终端发送的信号，并将该数据获取请求交由一个或者一个以上处理器501处理。同时，通讯单元503将处理器501发出的反馈信号发送给服务器。
服务器500还包括给各个部件供电的电源504(比如电池)。优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器500还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器500还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及服务器500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本发明的概念，而并非对本发明的概念的范围加以限制。
以上对本发明实施例所提供的一种基于增强现实的场景融合方法和装置进行了详细介绍。应理解，本文所述的示例性实施方式应仅被认为是描述性的，用于帮助理解本发明的方法及其核心思想，而并不用于限制本发明。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本发明，但可建议所属领域的技术人员进行各种变化和更改。本发明意图涵盖所附权利要求书的范围内的这些变化和更改。
Claims (10)
1.一种基于增强现实的场景融合方法，其特征在于，包括：
通过拍摄装置获取用户的身体特征图像，并根据所述身体特征图像生成增强现实虚拟模型；
检测所述拍摄装置的姿态信息，所述姿态信息包括所述拍摄装置的高度和方向；
根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息；
根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
2.如权利要求1所述的基于增强现实的场景融合方法，其特征在于，所述根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息的步骤具体包括：
根据所述姿态信息确定所述虚拟模型在真实场景中的位置和方向；
在所述真实场景中选取多个标识点，并获取所述标识点的坐标信息；
计算所述标识点相对于所述虚拟模型中对应虚拟标识点的位置偏差，并根据所述位置偏差生成所述虚拟模型的空间坐标。
3.如权利要求1所述的基于增强现实的场景融合方法，其特征在于，所述根据所述位置信息将所述虚拟模型与真实场景融合的步骤包括：
计算所述虚拟模型所在空间与所述真实场景所在空间之间的几何变换公式；
根据所述几何变换公式以及所述虚拟模型的位置信息，将所述虚拟模型与真实场景融合。
4.如权利要求1所述的基于增强现实的场景融合方法，其特征在于，在步骤根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上之后，所述方法还包括：
实时获取所述拍摄装置的动态信息，所述动态信息包括所述拍摄装置的角度变换信息；
根据所述动态信息实时更新所述虚拟模型的位置信息，并根据更新后的位置信息对所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
5.如权利要求4所述的基于增强现实的场景融合方法，其特征在于，所述实时获取所述拍摄装置的动态信息，所述动态信息包括所述拍摄装置的角度变换信息的步骤具体包括：
通过光学跟踪器获取所述拍摄装置的角度变换信息，根据所述角度变换信息生成所述拍摄装置的动态信息。
6.一种基于增强现实的场景融合装置，其特征在于，包括：拍摄模块、检测模块、定标模块以及融合模块；
所述拍摄模块，用于通过拍摄装置获取用户的身体特征图像，并根据所述身体特征图像生成增强现实虚拟模型；
所述检测模块，用于检测所述拍摄装置的姿态信息，所述姿态信息包括所述拍摄装置的高度和方向；
所述定标模块，用于根据所述姿态信息对所述虚拟模型进行定标，以得到所述虚拟模型的位置信息；
所述融合模块，用于根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
7.如权利要求6所述的基于增强现实的场景融合装置，其特征在于，所述定标模块具体包括：确定子模块、选取子模块以及生成子模块；
所述确定子模块，用于根据所述姿态信息确定所述虚拟模型在真实场景中的位置和方向；
所述选取子模块，用于在所述真实场景中选取多个标识点，并获取所述标识点的坐标信息；
所述生成子模块，用于计算所述标识点相对于所述虚拟模型中对应虚拟标识点的位置偏差，并根据所述位置偏差生成所述虚拟模型的空间坐标。
8.如权利要求6所述的基于增强现实的场景融合装置，其特征在于，所述融合模块具体包括：计算子模块和融合子模块；
所述计算子模块，用于计算所述虚拟模型所在空间与所述真实场景所在空间之间的几何变换公式；
所述融合子模块，用于根据所述几何变换公式以及所述虚拟模型的位置信息，将所述虚拟模型与真实场景融合。
9.如权利要求6所述的基于增强现实的场景融合装置，其特征在于，所述装置还包括：获取模块和更新模块；
所述获取模块，用于在所述融合模块根据所述位置信息将所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上之后，实时获取所述拍摄装置的动态信息，所述动态信息包括所述拍摄装置的角度变换信息；
所述更新模块，用于根据所述动态信息实时更新所述虚拟模型的位置信息，并根据更新后的位置信息对所述虚拟模型与真实场景融合，并映射在增强现实设备的显示器上。
10.如权利要求9所述的基于增强现实的场景融合装置，其特征在于，
所述获取模块具体用于通过光学跟踪器获取所述拍摄装置的角度变换信息，根据所述角度变换信息生成所述拍摄装置的动态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710973492.6A CN109685906A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的场景融合方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710973492.6A CN109685906A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的场景融合方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109685906A true CN109685906A (zh) | 2019-04-26 |
Family
ID=66183377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710973492.6A Pending CN109685906A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的场景融合方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685906A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110400334A (zh) * | 2019-07-10 | 2019-11-01 | 佛山科学技术学院 | 一种基于配准的虚实融合仿真实验数据采集方法及系统 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN111190485A (zh) * | 2019-12-27 | 2020-05-22 | 北京市商汤科技开发有限公司 | 信息显示方法、装置、电子设备、及计算机可读存储介质 |
| CN111679742A (zh) * | 2020-06-10 | 2020-09-18 | 浙江商汤科技开发有限公司 | 基于ar的交互控制方法、装置、电子设备及存储介质 |
| CN111882675A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
| CN114125310A (zh) * | 2022-01-26 | 2022-03-01 | 荣耀终端有限公司 | 拍照方法、终端设备及云端服务器 |
| CN114550525A (zh) * | 2020-11-24 | 2022-05-27 | 郑州畅想高科股份有限公司 | 一种基于混合现实技术的机车部件检修实训系统 |
| CN114760458A (zh) * | 2022-04-28 | 2022-07-15 | 中南大学 | 高真实感增强现实演播室虚拟与现实相机轨迹同步的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140108128A (ko) * | 2013-02-28 | 2014-09-05 | 삼성전자주식회사 | 증강 현실 제공 장치 및 방법 |
| CN105931237A (zh) * | 2016-04-19 | 2016-09-07 | 北京理工大学 | 一种图像校准方法和系统 |
-
2017
- 2017-10-18 CN CN201710973492.6A patent/CN109685906A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140108128A (ko) * | 2013-02-28 | 2014-09-05 | 삼성전자주식회사 | 증강 현실 제공 장치 및 방법 |
| CN105931237A (zh) * | 2016-04-19 | 2016-09-07 | 北京理工大学 | 一种图像校准方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| 北京航天情报与信息研究所, 中国原子能出版社 * |
| 申玉斌等: "基于增强现实技术中虚拟物体投影的应用研究", 《微计算机应用》 * |
| 赵明友: "增强现实演播室技术与实现", 《电视技术》 * |
| 钮艳华等: "基于增强现实的外科手术导航技术", 《中国医疗器械杂志》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378990B (zh) * | 2019-07-03 | 2023-01-10 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110400334A (zh) * | 2019-07-10 | 2019-11-01 | 佛山科学技术学院 | 一种基于配准的虚实融合仿真实验数据采集方法及系统 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN111190485A (zh) * | 2019-12-27 | 2020-05-22 | 北京市商汤科技开发有限公司 | 信息显示方法、装置、电子设备、及计算机可读存储介质 |
| CN111190485B (zh) * | 2019-12-27 | 2023-05-09 | 北京市商汤科技开发有限公司 | 信息显示方法、装置、电子设备、及计算机可读存储介质 |
| CN111679742A (zh) * | 2020-06-10 | 2020-09-18 | 浙江商汤科技开发有限公司 | 基于ar的交互控制方法、装置、电子设备及存储介质 |
| CN111882675A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
| CN114550525A (zh) * | 2020-11-24 | 2022-05-27 | 郑州畅想高科股份有限公司 | 一种基于混合现实技术的机车部件检修实训系统 |
| CN114550525B (zh) * | 2020-11-24 | 2023-09-29 | 郑州畅想高科股份有限公司 | 一种基于混合现实技术的机车部件检修实训系统 |
| CN114125310A (zh) * | 2022-01-26 | 2022-03-01 | 荣耀终端有限公司 | 拍照方法、终端设备及云端服务器 |
| CN114760458A (zh) * | 2022-04-28 | 2022-07-15 | 中南大学 | 高真实感增强现实演播室虚拟与现实相机轨迹同步的方法 |
| CN114760458B (zh) * | 2022-04-28 | 2023-02-24 | 中南大学 | 高真实感增强现实演播室虚拟与现实相机轨迹同步的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685906A (zh) | 基于增强现实的场景融合方法和装置 | |
| JP6751456B2 (ja) | ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法 | |
| McJunkin et al. | Development of a mixed reality platform for lateral skull base anatomy | |
| Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
| US11963723B2 (en) | Visualization of medical data depending on viewing-characteristics | |
| JP6808320B2 (ja) | 三次元物体上の注視点を決定するシステム | |
| EP3593227B1 (en) | Augmented reality pre-registration | |
| EP3593226B1 (en) | Medical augmented reality navigation | |
| CN103735312B (zh) | 多模影像超声引导手术导航系统 | |
| US20170357397A1 (en) | Virtual object display device, method, program, and system | |
| US20080024523A1 (en) | Generating images combining real and virtual images | |
| US20220265357A1 (en) | Positioning a camera for perspective sharing of a surgical site | |
| US11340708B2 (en) | Gesture control of medical displays | |
| CN110051434A (zh) | Ar与内窥镜结合手术导航方法及终端 | |
| US20220365342A1 (en) | Eyeball Tracking System and Method based on Light Field Sensing | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| CN107233134B (zh) | 显示三维医学模型内部标记点的方法、装置和医疗设备 | |
| KR20170116971A (ko) | 대상물의 다감각연계 표현을 위한 방법 및 표현 시스템 | |
| US20230026489A1 (en) | Surgical guidance for surgical tools | |
| EP4135615A1 (en) | Systems and methods for enhancing medical images | |
| TWI697317B (zh) | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 | |
| US10854005B2 (en) | Visualization of ultrasound images in physical space | |
| US20230146371A1 (en) | Mixed-reality humeral-head sizing and placement | |
| Kirmizibayrak et al. | Interactive visualization and analysis of multimodal datasets for surgical applications | |
| Livingston et al. | Evaluating system capabilities and user performance in the battlefield augmented reality system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |