CN109085915B - 一种增强现实方法、系统、设备及移动终端 - Google Patents
一种增强现实方法、系统、设备及移动终端 Download PDFInfo
- Publication number
- CN109085915B CN109085915B CN201711473463.XA CN201711473463A CN109085915B CN 109085915 B CN109085915 B CN 109085915B CN 201711473463 A CN201711473463 A CN 201711473463A CN 109085915 B CN109085915 B CN 109085915B
- Authority
- CN
- China
- Prior art keywords
- image
- mobile terminal
- measurement data
- information
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005259 measurement Methods 0.000 claims abstract description 94
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；获取第二图像；其中，第一图像和第二图像分别为摄像组件和移动终端采集目标物体所在场景得到的图像；获取灰度图像和惯性测量数据；根据深度信息和第二图像得到相应的三维图像信息；根据灰度图像和惯性测量数据得到移动终端的位姿信息；利用三维图像信息与位姿信息，对目标物体进行渲染，以在第二图像中的目标物体上呈现增强现实效果。相对于单目摄像头算法得到的深度信息，本发明中的深度信息更准确真实，进而得到了更准确真实的三维图像信息，对目标物体进行渲染，获得更真实立体的效果。本申请还公开了一种增强现实系统、设备及移动设备。
Description
技术领域
本发明涉及增强现实领域，特别涉及一种增强现实方法、系统、设备及移动终端。
背景技术
现今社会，人们使用增强现实（Augment Reality，简称AR）技术将真实世界信息与虚拟世界信息集成到一起。通过计算机仿真模拟，将虚拟信息叠加到真实世界，被人类感官感知，从而获得超越现实的感官体验。目前的增强现实系统，由于对摄像头，IMU（InertialMeasuring Unit，惯性测量单元）的数据及它们数据的同步性有很高的要求，主要应用在军事领域以及一些特定场合，特别是在军事领域，增强现实技术可以帮助无人机操作手操作无人机、战斗机头盔可以显示更多参数以帮助飞行员准确判断。
但目前大多数人们还没有条件去体验增强现实技术，受限制于目前大多数移动终端为单目摄像头，无法获取深度信息，因此对物体进行渲染获得的增强现实技术的效果较差。
发明内容
有鉴于此，本发明的目的在于提供一种增强现实方法、系统、设备及移动终端，以实现较好的增强现实效果。其具体方案如下：
一种增强现实方法，应用于移动终端，包括：
获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
根据所述深度信息和所述第二图像得到相应的三维图像信息；
根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
优选的，所述灰度图像为基于所述第一图像得到的灰度图像；
所述惯性测量数据还包括所述摄像组件的组件惯性测量数据；
相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：
根据所述灰度图像和所述组件惯性测量数据得到组件运动轨迹；
通过所述组件运动轨迹和所述移动终端和所述摄像组件之间的位置关系，得到所述终端运动轨迹。
优选的，所述灰度图像为基于所述第二图像得到的灰度图像；
相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：
根据所述灰度图像和所述终端惯性测量数据得到所述终端运动轨迹。
优选的，所述根据所述终端运动轨迹得到所述移动终端的位置信息的过程包括：
根据所述终端运动轨迹得到所述移动终端相对于原点的第一位置关系；其中，所述原点为预先在所述三维图像信息对应的空间中预设的原点；
根据所述第一位置关系和所述目标物体相对于所述原点的位置关系，得到所述移动终端相对于所述目标物体的位置信息。
优选的，所述获取基于摄像组件采集的第一图像得到的深度信息的过程，包括：
获取所述摄像组件发送的所述深度信息；其中，所述深度信息由所述摄像组件对所述第一图像进行计算后得到。
优选的，所述获取惯性测量数据的过程，还包括：
消除所述惯性测量数据中的漂移和噪声。
相应的，本发明还公开了一种增强现实系统，应用于移动终端，包括：
第一获取模块，用于获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
第二获取模块，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
第三获取模块，用于获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
三维信息获取模块，用于根据所述深度信息和所述第二图像得到相应的三维图像信息；
运动轨迹获取模块，用于根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
位姿信息获取模块，用于根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
渲染模块，用于利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
优选的，所述增强现实系统还包括：
数据优化模块，用于消除所述惯性测量数据中的漂移和噪声。
相应的，本发明还公开了一种移动终端，包括信息获取端口、摄像头、惯性测量单元和数据处理器；其中，
所述信息获取端口，用于获取灰度图像和基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
所述摄像头，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
所述惯性测量单元，用于惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
所述数据处理器，用于根据所述深度信息和所述第二图像得到相应的三维图像信息，并根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹，然后根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息，最后利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
优选的，本发明还公开了一种增强现实设备，包括：
如上文所述移动终端；
位于所述移动终端外部的摄像组件；
其中，所述摄像组件包括相应的图像采集器。
本发明公开了一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。由于通过摄像组件获取了深度信息，相对于单目摄像头算法得到的深度信息，本发明中的深度信息更准确真实，进而得到了目标物体的更准确真实的三维图像信息，利用该三维图像信息对目标物体进行渲染，获得更真实立体的增强现实效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种增强现实方法的步骤流程图；
图2为本发明实施例中一种具体的增强现实方法的步骤流程图；
图3为本发明实施例中另一种具体的增强现实方法的步骤流程图；
图4为本发明实施例中一种增强现实系统的结构分布图；
图5为本发明实施例中一种移动终端的结构分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种增强现实方法，应用于移动终端，参见图1所示，包括：
S11：获取基于摄像组件采集的第一图像得到的深度信息；
其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
可以理解的是，所述目标物体为需要叠加在真实场景中的虚拟物体。
具体的，这里的第一图像为由摄像组件的不同摄像头采集到的两张或两张以上的图像，由此通过对第一图像计算得到深度信息。这里的摄像头可以为单色摄像头或彩色摄像头，考虑到单色摄像头的帧率高于彩色摄像头，数据处理量更小，故而一般采用单色摄像头。其中，计算第一图像的动作可以由移动终端获取摄像组件的第一图像后执行，也可以由摄像组件执行，得到深度信息后发送给移动终端。其具体计算可以采用三角测量等现有技术中的方法，此处不再赘述。
本实施例中，移动终端和摄像组件之间的通信通过接口连接实现，一般可以采用互相匹配的USB接口组，例如摄像组件的接口为USB公口，移动终端的接口为USB母口。
S12：获取第二图像；
其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
可以理解的是，移动终端自带的图像采集器通常为彩色摄像头，因此第二图像一般为彩色RGB图。
S13：获取灰度图像和惯性测量数据；
其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
本实施例中，灰度图像可以是通过第一图像中的任意一张得到的，也可以是通过第二图像得到的。如果原图像是由单色摄像头采集到的，则直接可以获得灰度图像；如果原图像由彩色摄像头得到，可以通过浮点算法、整数方法、移位方法、平均值法或者仅取绿色等其他算法获得灰度图像。
可以理解的是，获取惯性测量数据的元件惯性测量单元，包括陀螺仪和加速度计。其中，陀螺仪主要获取各个方向的角加速度，加速度计主要获取各个方向的重力加速度。陀螺仪对高频噪声有抑制作用，所以获得的角加速度数据比较稳定，但是会有漂移；加速度计对低频噪声有抑制作用，所以获得的重力加速度数据没有漂移，但是会有很多高频噪声。可以通过互补滤波或者卡尔曼滤波算法，使陀螺仪和加速度计各取其长，从而达到消除陀螺仪的漂移和加速度计的噪声，进一步得到稳定的惯性测量数据。
S14：根据所述深度信息和所述第二图像得到相应的三维图像信息；
所述第二图像为二维RGB图像，根据所述深度信息可以获得目标物体所在场景中各点相对于移动终端的图像采集器的距离，结合所述第二图像即获得所述三维图像信息。
S15：根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
其中，根据灰度图像和惯性测量数据的来源不同，会有多种情况，具体参考下文实施例，但是实施手段基本相同，具体可以使用视觉惯性里程计（VIO，Visual–InertialOdometry）实现本步骤，本领域技术人员知晓其具体算法，例如基于滤波的算法或者基于优化的算法，在此不再赘述。
S16：根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
具体的，所述根据所述终端运动轨迹得到所述移动终端的位置信息的过程包括下面步骤S161和S162：
S161：根据所述终端运动轨迹得到所述移动终端相对于原点的第一位置关系；
S162：根据所述第一位置关系和所述目标物体相对于所述原点的位置关系，得到所述移动终端相对于所述目标物体的位置信息。
其中，所述原点为预先在所述三维图像信息对应的空间中预设的原点；一般设置原点为移动终端初始化时的位置，即在哪里开启移动终端，哪里就是所述原点；当然，也可以设置空间中其他一定点作为原点，此处不作要求。
由于目标物体相对于原点的位置关系是预先设置好的，将移动终端相对于原点的位置关系和目标物体相对于原点的位置关系进行叠加，即可获得渲染目标物体时移动终端的位置数据。
S17：利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
根据移动终端的位姿信息对目标物体进行渲染，可以在第二图像上呈现增强现实效果，并且，由于所述三维图像信息包含了深度信息，在目标物体距离移动终端距离大于场景中真实物体距离移动终端的距离时，不显示目标物体，实现遮挡效果，使增强现实效果更逼真。
本发明公开了一种增强现实方法，应用于移动终端，包括：获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；根据所述深度信息和所述第二图像得到相应的三维图像信息；根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
由于通过摄像组件获取了深度信息，相对于单目摄像头算法得到的深度信息，本发明中的深度信息更准确真实，进而得到了目标物体的更准确真实的三维图像信息，利用该三维图像信息对目标物体进行渲染，获得更真实立体的增强现实效果。
本发明实施例公开了一种具体的增强现实方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
S21：获取基于摄像组件采集的第一图像得到的深度信息；
其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
S22：获取第二图像；
其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
S23：获取基于所述第一图像得到的灰度图像和惯性测量数据；
其中，所述惯性测量数据包括移动终端的终端惯性测量数据和摄像组件的组件惯性测量数据；
S24：根据所述深度信息和所述第二图像得到相应的三维图像信息；
S25：根据所述灰度图像和所述组件惯性测量数据得到组件运动轨迹；
S26：通过所述组件运动轨迹和所述移动终端和所述摄像组件之间的位置关系，得到所述终端运动轨迹;
通常摄像组件有两个图像采集器，理想情况下移动终端的图像采集器位于两个摄像组件的图像采集器连线的中点上，此时摄像组件的运动轨迹即为移动终端的运动轨迹。在实际情况中，移动终端的图像采集器并不是位于两个摄像组件的图像采集器连线的中点上，摄像组件的运动轨迹和移动终端的运动轨迹有偏差。因此，可以通过移动终端的图像采集器和摄像组件的图像采集器之间的位置关系，对外接的摄像组件运动轨迹进行矫正以获得移动终端实时运动轨迹。本领域技术人员知晓如何对外接摄像组件实时运动轨迹数据进行矫正，在此不再赘述。
S27：根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
S28：利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
本发明实施例公开了一种具体的增强现实方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图3所示，具体的：
S31：获取基于摄像组件采集的第一图像得到的深度信息；
其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
S32：获取第二图像；
其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
S33：获取基于第二图像得到的灰度图像和移动终端的终端惯性测量数据；
S34：根据所述深度信息和所述第二图像得到相应的三维图像信息；
S35：根据所述灰度图像和所述终端惯性测量数据得到所述终端运动轨迹；
相对于上一实施例，本发明不需要先获取组件运动轨迹，再校正得到终端运动轨迹，而是直接使用了基于移动终端的灰度图像和惯性测量数据，得到准确的终端运动轨迹。
S36：根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
S37：利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
相应的，本发明实施例还公开了一种增强现实系统，应用于移动终端，参见图4所示，包括：
第一获取模块01，用于获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
第二获取模块02，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
第三获取模块03，用于获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
三维信息获取模块04，用于根据所述深度信息和所述第二图像得到相应的三维图像信息；
运动轨迹获取模块05，用于根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
位姿信息获取模块06，用于根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
渲染模块07，用于利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
优选的，所述增强现实系统还包括：
数据优化模块，用于消除所述惯性测量数据中的漂移和噪声。
其中，有关所述增强现实系统的具体细节，可以参考上述实施例中有关增强现实方法的描述，此处不再赘述。
相应的，本发明实施例还公开了一种移动终端，参见图5所示，包括信息获取端口11、摄像头12、惯性测量单元13和数据处理器14；其中，
所述信息获取端口11，用于获取灰度图像和基于摄像组件采集的第一图像得到的深度信息；
其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
所述摄像头12，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
所述惯性测量单元13，用于惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
所述数据处理器14，用于根据所述深度信息和所述第二图像得到相应的三维图像信息，并根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹，然后根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息，最后利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
其中，有关所述移动终端的具体细节，可以参考上述实施例中有关增强现实方法的描述，此处不再赘述。
相应的，本发明实施例还公开了一种增强现实设备，包括：
如上文实施例所述移动终端；
位于所述移动终端外部的摄像组件；
其中，所述摄像组件包括相应的图像采集器。
其中，有关所述增强现实设备的具体细节，可以参考上述实施例中有关增强现实方法的描述，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种增强现实方法、系统、设备及移动终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种增强现实方法，其特征在于，应用于移动终端，包括：
获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；所述灰度图像为基于所述第一图像或所述第二图像得到的灰度图像；
根据所述深度信息和所述第二图像得到相应的三维图像信息；
根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
2.根据权利要求1所述增强现实方法，其特征在于，
所述灰度图像为基于所述第一图像得到的灰度图像；
所述惯性测量数据还包括所述摄像组件的组件惯性测量数据；
相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：
根据所述灰度图像和所述组件惯性测量数据得到组件运动轨迹；
通过所述组件运动轨迹和所述移动终端和所述摄像组件之间的位置关系，得到所述终端运动轨迹。
3.根据权利要求1所述增强现实方法，其特征在于，
所述灰度图像为基于所述第二图像得到的灰度图像；
相应的，所述根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹的过程包括：
根据所述灰度图像和所述终端惯性测量数据得到所述终端运动轨迹。
4.根据权利要求1所述增强现实方法，其特征在于，所述根据所述终端运动轨迹得到所述移动终端的位置信息的过程包括：
根据所述终端运动轨迹得到所述移动终端相对于原点的第一位置关系；其中，所述原点为预先在所述三维图像信息对应的空间中预设的原点；
根据所述第一位置关系和所述目标物体相对于所述原点的位置关系，得到所述移动终端相对于所述目标物体的位置信息。
5.根据权利要求1至4任一项所述增强现实方法，其特征在于，所述获取基于摄像组件采集的第一图像得到的深度信息的过程，包括：
获取所述摄像组件发送的所述深度信息；其中，所述深度信息由所述摄像组件对所述第一图像进行计算后得到。
6.根据权利要求1至4任一项所述增强现实方法，其特征在于，所述获取惯性测量数据的过程，还包括：
消除所述惯性测量数据中的漂移和噪声。
7.一种增强现实系统，其特征在于，应用于移动终端，包括：
第一获取模块，用于获取基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
第二获取模块，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
第三获取模块，用于获取灰度图像和惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；所述灰度图像为基于所述第一图像或所述第二图像得到的灰度图像；
三维信息获取模块，用于根据所述深度信息和所述第二图像得到相应的三维图像信息；
运动轨迹获取模块，用于根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹；
位姿信息获取模块，用于根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息；
渲染模块，用于利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
8.根据权利要求7所述增强现实系统，其特征在于，还包括：
数据优化模块，用于消除所述惯性测量数据中的漂移和噪声。
9.一种移动终端，其特征在于，包括信息获取端口、摄像头、惯性测量单元和数据处理器；其中，
所述信息获取端口，用于获取灰度图像和基于摄像组件采集的第一图像得到的深度信息；其中，所述第一图像为所述摄像组件对目标物体所在场景进行图像采集后得到的图像，所述摄像组件为位于所述移动终端外部的组件；
所述摄像头，用于获取第二图像；其中，所述第二图像为所述移动终端对所述目标物体所在场景进行图像采集后得到的图像；
所述惯性测量单元，用于惯性测量数据；其中，所述惯性测量数据包括移动终端的终端惯性测量数据；
所述数据处理器，用于根据所述深度信息和所述第二图像得到相应的三维图像信息，并根据所述灰度图像和所述惯性测量数据得到所述移动终端的终端运动轨迹，所述灰度图像为基于所述第一图像或所述第二图像得到的灰度图像，然后根据所述终端运动轨迹得到所述移动终端的位置信息，再结合所述终端惯性测量数据得到所述移动终端的位姿信息，最后利用所述三维图像信息与所述位姿信息，对所述目标物体进行渲染，以在所述第二图像中的所述目标物体上呈现增强现实效果。
10.一种增强现实设备，其特征在于，包括：
如权利要求9所述移动终端；
位于所述移动终端外部的摄像组件；
其中，所述摄像组件包括相应的图像采集器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711473463.XA CN109085915B (zh) | 2017-12-29 | 2017-12-29 | 一种增强现实方法、系统、设备及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711473463.XA CN109085915B (zh) | 2017-12-29 | 2017-12-29 | 一种增强现实方法、系统、设备及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109085915A CN109085915A (zh) | 2018-12-25 |
| CN109085915B true CN109085915B (zh) | 2021-05-14 |
Family
ID=64839541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711473463.XA Active CN109085915B (zh) | 2017-12-29 | 2017-12-29 | 一种增强现实方法、系统、设备及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109085915B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538701A (zh) * | 2021-06-28 | 2021-10-22 | 浙江商汤科技开发有限公司 | 渲染位置预测方法及装置、电子设备和存储介质 |
| CN113893034A (zh) * | 2021-09-23 | 2022-01-07 | 上海交通大学医学院附属第九人民医院 | 基于增强现实的一体式手术导航方法、系统和存储介质 |
| CN114200364A (zh) * | 2021-12-08 | 2022-03-18 | 深圳市联影高端医疗装备创新研究院 | 位姿检测方法、位姿检测装置和位姿检测系统 |
| CN116156142A (zh) * | 2023-01-05 | 2023-05-23 | 杭州易现先进科技有限公司 | Ar视频数据的离线渲染方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069804A (zh) * | 2015-08-21 | 2015-11-18 | 清华大学 | 基于智能手机的三维模型扫描重建方法 |
| CN105474273A (zh) * | 2013-07-25 | 2016-04-06 | 微软技术许可有限责任公司 | 后期重投影 |
| CN106125907A (zh) * | 2016-06-13 | 2016-11-16 | 西安电子科技大学 | 一种基于线框模型的三维目标注册定位方法 |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
| CN106846497A (zh) * | 2017-03-07 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 应用于终端的呈现三维地图的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160358382A1 (en) * | 2015-06-04 | 2016-12-08 | Vangogh Imaging, Inc. | Augmented Reality Using 3D Depth Sensor and 3D Projection |
-
2017
- 2017-12-29 CN CN201711473463.XA patent/CN109085915B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105474273A (zh) * | 2013-07-25 | 2016-04-06 | 微软技术许可有限责任公司 | 后期重投影 |
| CN105069804A (zh) * | 2015-08-21 | 2015-11-18 | 清华大学 | 基于智能手机的三维模型扫描重建方法 |
| CN106125907A (zh) * | 2016-06-13 | 2016-11-16 | 西安电子科技大学 | 一种基于线框模型的三维目标注册定位方法 |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
| CN106846497A (zh) * | 2017-03-07 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 应用于终端的呈现三维地图的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109085915A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10366511B2 (en) | Method and system for image georegistration | |
| CN109085915B (zh) | 一种增强现实方法、系统、设备及移动终端 | |
| EP3149698B1 (en) | Method and system for image georegistration | |
| EP2915140B1 (en) | Fast initialization for monocular visual slam | |
| JP6276475B2 (ja) | カラービデオと深度ビデオとの同期方法、装置、および媒体 | |
| CN105959625B (zh) | 控制无人机追踪拍摄的方法及装置 | |
| CN110866977B (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| US20160055671A1 (en) | Techniques for Enhanced Accurate Pose Estimation | |
| CN108463840B (zh) | 信息处理设备、信息处理方法以及记录介质 | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| EP3136964A1 (en) | Improved registration for vehicular augmented reality using auto-harmonization | |
| EP4194811A1 (en) | Robust vision-inertial pedestrian tracking with heading auto-alignment | |
| EP4030391A1 (en) | Virtual object display method and electronic device | |
| WO2020014987A1 (zh) | 移动机器人的控制方法、装置、设备及存储介质 | |
| CN113056904A (zh) | 图像传输方法、可移动平台及计算机可读存储介质 | |
| Oskiper et al. | Augmented reality binoculars | |
| CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| US11726320B2 (en) | Information processing apparatus, information processing method, and program | |
| US10540809B2 (en) | Methods and apparatus for tracking a light source in an environment surrounding a device | |
| KR102475790B1 (ko) | 지도제작플랫폼장치 및 이를 이용한 지도제작방법 | |
| CN110800023A (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| EP3903285B1 (en) | Methods and systems for camera 3d pose determination | |
| CN117689826A (zh) | 三维模型构建和渲染方法、装置、设备以及介质 | |
| KR20150081975A (ko) | 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 | |
| WO2019015261A1 (en) | DEVICES AND METHODS FOR SCENE DETERMINATION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |