CN107564012A - 面向未知环境的增强现实方法及装置 - Google Patents
面向未知环境的增强现实方法及装置 Download PDFInfo
- Publication number
- CN107564012A CN107564012A CN201710647717.9A CN201710647717A CN107564012A CN 107564012 A CN107564012 A CN 107564012A CN 201710647717 A CN201710647717 A CN 201710647717A CN 107564012 A CN107564012 A CN 107564012A
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- semantic
- mobile terminal
- observation data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000000638 solvent extraction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 56
- 238000005457 optimization Methods 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 10
- 230000001965 increasing effect Effects 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
Abstract
本发明涉及移动增强现实技术领域，具体提供了一种面向未知环境的增强现实方法及装置，旨在解决当前增强现实系统物体识别能力、虚实融合真实感和鲁棒性较低的技术问题。为此目的，本发明中增强现实方法包括：采用SLAM算法构建未知环境的三维栅格地图，计算移动终端的位姿数据；依据所获取的图像信息，并采用图像语义分割算法得到图像信息中物体的语义标签及二维图像位置，进而构建三维语义地图；依据移动终端的位姿数据和三维语义地图，叠加虚拟信息并进行虚实融合。同时，本发明中的装置可以实现上述增强现实方法。本发明的技术方案，可以实现在位置环境下自适应增加虚拟物体并进行具有真实感的增强现实。
Description
技术领域
本发明涉及移动增强现实技术领域，具体涉及一种面向未知环境的增强现实方法及装置。
背景技术
增强现实(Augmented Reality，AR)是一种实时计算摄像机位置和角度并在真实场景中叠加虚拟物体的技术，通过附加虚拟的数字信息以提升用户与真实环境的交互体验。具体地，首先在真实场景中定位摄像机位姿，然后采用计算机图形渲染技术将虚拟物体注册到真实场景中生成虚实融合的应用视图。其中，可以采用跟踪注册技术实时计算摄像机位置和角度，并将虚拟物体注册到真实场景中。
但是，现有的跟踪注册技术需要提前在环境中布置可识别的标记物，限制了增强现实的使用场景。目前，可以采用SLAM技术(Simultaneous localization and mapping)，在未知环境中实时构建环境三维结构地图，同时使用该地图推断设备当前状态。其中，设备的状态由位姿来描述，其他信息也可以附加在状态中，比如速度，传感器偏差等。基于SLAM技术的增强现实系统主要包括微软公司设计的HoloLens和谷歌公司Project Tango所设计的产品。
HoloLens的硬件部分包括六个相机，四个环境感知相机、一个深度相机和一个彩色相机，同时HoloLens还集成了惯性测量单元。Project Tango所设计的产品的硬件部分包括三个相机(彩色相机、鱼眼相机和深度相机)，同时该产品也集成了惯性测量单元。上述增强现实系统虽然实现了面向未知环境的增强现实，但是还存在下述缺陷：1、缺乏物体识别能力。2、虚实融合真实感较低。具体为表现在虚实碰撞、虚实遮挡和虚拟阴影三个方面效果较差。其中，虚实碰撞指的是允许虚拟物体与场景中的真实物体有物理交互，可以产生碰撞效果。虚实遮挡指的是虚拟物体可以被场景中的真实物体遮挡，使得虚拟物体与真实物体的空间关系更加清晰。虚拟阴影指的是在真实环境中叠加虚拟物体的阴影，实现视觉效果的一致性。3、鲁棒性较低。具体为当设备快速运动时容易导致跟踪丢失。
发明内容
为了解决现有技术中的上述问题，即为了解决当前增强现实系统物体识别能力、虚实融合真实感和鲁棒性较低的技术问题，本发明提供了一种面向未知环境的增强现实方法及装置。
在第一方面，本发明中的面向未知环境的增强现实方法包括：
通过移动终端获取未知环境的图像信息；
依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据；
依据所获取的图像信息，并采用图像语义分割算法得到所述图像信息中物体的语义标签及二维图像位置；依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图；
依据所述移动终端的位姿数据和所述三维语义地图，叠加虚拟信息并进行虚实融合。
进一步地，本发明提供的一个优选技术方案为：
所述移动终端包括：
一个或多个彩色相机；
一个或多个深度相机；
一个或多个惯性传感器。
进一步地，本发明提供的一个优选技术方案为：
“依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据”的步骤具体包括：
在所述惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对所述匹配区域进行裁剪，得到裁剪区域；
选取所述裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对所述的相邻两个图像帧进行匹配；
依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的观测数据权重进行优化；
依据所述优化后的观测数据权重，并采用图像优化算法计算所述移动终端的位姿数据和场景点的三维坐标；所述场景点为保存在预设场景点管理系统内的特征点，所述特征点为所述裁剪区域内对应阈值在预设范围内的特征点；
以所述深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、所述彩色相机的观测数据和所述移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和所述深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
进一步地，本发明提供的一个优选技术方案为：
“依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的权重进行优化”的步骤具体包括：
若N≤Nl，则将所述彩色相机的观测数据权重设置为零；
若Nl＜N＜Nh，则减小所述彩色相机的观测数据权重，并增大所述惯性传感器的观测数据权重；
若N≥Nh，则增大所述彩色相机的观测数据权重，并减小所述惯性传感器的观测数据权重；
其中，所述N为所选取的特征点的数量，所述Nl和Nh分别为所述数量N的下限值和上限值。
进一步地，本发明提供的一个优选技术方案为：
“依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图”的步骤具体包括：
将所述物体的语义标签及二维图像位置反向投影到所述三维栅格地图上，得到初始的三维语义地图；
采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图；
聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以所述碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
进一步地，本发明提供的一个优选技术方案为：
所述预设的场景图为树形图；所述树形图包括一个根节点，以及与所述根节点依次连接的第一级子节点、第二级子节点和第三级子节点；
所述根节点表示所述场景图对应的场景节点，所述第一级子节点表示所述场景图中物体的语义标签，所述第二级子节点表示对应物体的碰撞体或位姿数据，所述第三级子节点表示对应物体的点云。
在第二方面，本发明中的面向未知环境的增强现实装置包括：
移动终端，用于获取未知环境的图像信息；
第一图像处理模块，配置为依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据；
第二图像处理模块，配置为依据所获取的图像信息，并采用图像语义分割算法得到所述图像信息中物体的语义标签及二维图像位置；依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图；
第三图像处理模块，配置为依据所述移动终端的位姿数据和所述三维语义地图，叠加虚拟信息并进行虚实融合。
进一步地，本发明提供的一个优选技术方案为：
所述移动终端包括：
一个或多个彩色相机；
一个或多个深度相机；
一个或多个惯性传感器。
进一步地，本发明提供的一个优选技术方案为：
所述第一图像处理模块包括：
第一处理单元，配置为在所述惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对所述匹配区域进行裁剪，得到裁剪区域；
第二处理单元，配置为选取所述裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对所述的相邻两个图像帧进行匹配；
第三处理单元，配置为依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的观测数据权重进行优化；
第四处理单元，配置为依据所述优化后的观测数据权重，并采用图像优化算法计算所述移动终端的位姿数据和场景点的三维坐标；所述场景点为保存在预设场景点管理系统内的特征点，所述特征点为所述裁剪区域内对应阈值在预设范围内的特征点；
第五处理单元，配置为以所述深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、所述彩色相机的观测数据和所述移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和所述深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
进一步地，本发明提供的一个优选技术方案为：
所述第三处理单元包括：
第一优化子单元，配置为在N≤Nl时将所述彩色相机的观测数据权重设置为零；
第二优化子单元，配置为在Nl＜N＜Nh时减小所述彩色相机的观测数据权重，并增大所述惯性传感器的观测数据权重；
第三优化子单元，配置为在N≥Nh时增大所述彩色相机的观测数据权重，并减小所述惯性传感器的观测数据权重；
其中，所述N为所选取的特征点的数量，所述Nl和Nh分别为所述数量N的下限值和上限值。
进一步地，本发明提供的一个优选技术方案为：
所述第二图像处理模块包括：
第六处理单元，配置为将所述物体的语义标签及二维图像位置反向投影到所述三维栅格地图上，得到初始的三维语义地图；
第七处理单元，配置为采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图；
第八处理单元，配置为聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以所述碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
进一步地，本发明提供的一个优选技术方案为：
所述预设的场景图为树形图；所述树形图包括一个根节点，以及与所述根节点依次连接的第一级子节点、第二级子节点和第三级子节点；
所述根节点表示所述场景图对应的场景节点，所述第一级子节点表示所述场景图中物体的语义标签，所述第二级子节点表示对应物体的碰撞体或位姿数据，所述第三级子节点表示对应物体的点云。
在第三方面，本发明中的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述技术方案所述的面向未知环境的增强现实方法。
在第四方面，本发明中的处理装置，包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现：上述技术方案所述的面向未知环境的增强现实方法。
与现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中面向未知环境的增强现实方法，可以依据相邻两个图像帧内裁剪区域的特征点，优化彩色相机和惯性传感器的观测数据权重，在视觉跟踪丢失时可以鲁棒地采用惯性传感器的观测数据进行跟踪。同时，采用多级阈值比较的方法确定观测数据权重的优化值，进一步提升了增强现实方法的鲁棒性。具体为：若N≤Nl，则将彩色相机的观测数据权重设置为零；若Nl＜N＜Nh，则减小彩色相机的观测数据权重，并增大惯性传感器的观测数据权重；若N≥Nh，则增大彩色相机的观测数据权重，并减小惯性传感器的观测数据权重；其中，N为所选取的特征点的数量，Nl和Nh分别为数量N的下限值和上限值。
2、本发明中面向未知环境的增强现实方法，可以在惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对匹配区域进行裁剪，得到裁剪区域。通过上述步骤可以在预测移动终端的相对运动后，依据运动方向确定相邻两个图像帧的匹配区域，可以减小增强现实方法的计算量。
3、本发明中面向未知环境的增强现实方法，可以采用基于全卷积神经网络的图像语义分割算法进行图像语义分割，提升了增强现实算法对场景的感知能力。
4、本发明中面向未知环境的增强现实方法，在虚实碰撞、虚实遮挡和虚拟阴影三个方面对叠加的虚拟信息进行虚实融合，可以获得更加真实的增强现实效果。
附图说明
图1是本发明实施例中面向未知环境的增强现实方法的主要步骤流程图；
图2是本发明实施例中面向未知环境的增强现实装置的结构示意图；
图3是图1所示的增强现实方法中构建三维栅格地图的主要步骤流程图；
图4是本发明实施例中滑动窗口的示意图；
图5是本发明实施例中四种滑动窗口内相邻两个图像帧的匹配区域示意图；
图6是图1所示的增强现实方法中构建三维语义地图的主要步骤流程图；
图7是本发明实施例中场景图的示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
下面结合附图，对本实施例中的一种面向未知环境的增强现实方法进行说明。
参阅附图1，图1示例性示出了本实施例中面向未知环境的增强现实方法的主要步骤。如图1所示，本实施例中面向未知环境的增强现实方法可以包括下述步骤：
步骤S101：通过移动终端获取未知环境的图像信息。
本实施例中移动终端指包括多个传感器，这些传感器可以用于采集未知环境的图像信息。具体地，本实施例中移动终端可以包括一个或多个彩色相机，一个或多个深度相机，一个或多个惯性传感器。相应地，本实施例中移动终端采集得到图像信息包括彩色图像及其时间戳，深度图像及其时间戳。本实施例中移动终端通过惯性传感器可以得到移动终端在空间三个方向上的角速度和加速度，以及获取角速度和加速度时相应的时间戳。
在本实施例的一个优选实施方案中移动终端包括一个彩色相机、一个深度相机和一个惯性传感器。
步骤S102：依据所获取的图像信息，并采用SLAM算法构建未知环境的三维栅格地图，计算移动终端的位姿数据。
参阅附图3，图3示例性示出了本实施例中图1所示增强现实方法中构建三维栅格地图的主要步骤。如图3所示，本实施例中可以按照下述步骤构建未知环境的三维栅格地图，计算移动终端的位姿数据：
步骤S201：在惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对匹配区域进行裁剪，得到裁剪区域。
具体地，本实施例中滑动窗口以获取到的最新一帧图像为时间窗口的末端，且该滑动窗口包含多帧关键帧图像。
本实施例中可以按照下述步骤预测滑动窗口内相邻两个图像帧的匹配区域，并对匹配区域进行裁剪：
(1)依据滑动窗口内各图像帧的特征点，确定相邻两个图像帧的匹配区域，该匹配区域包含这两个图像帧共有的特征点。
参阅附图4，图4示例性示出了本实施例中三个时间间隔的滑动窗口示意图。如图4所示，本实施例中设定彩色相机从附图4的左侧向其右侧匀速运动。
具体地，在T-2时刻，彩色相机所获取的彩色图像的特征点为A和B。在T-1时刻，彩色相机所获取的彩色图像的特征点为B和C。在T时刻，彩色相机所获取的彩色图像的特征点为C和D。T-2时刻与T-1时刻匹配的特征点为B，因此T-2时刻与T-1时刻的匹配区域为特征点B所在的区域。由于T-1时刻与T时刻匹配的特征点为C，因此T-1时刻与T时刻的匹配区域为特征点C所在的区域。
本实施例中相邻两个图像帧的匹配区域具有共同的特征点，因此在该区域上进行特征匹配能够提高匹配算法的收敛速度，进而提升整个增强现实方法的运行效率。
继续参阅附图5，图5示例性示出了本实施例中四种滑动窗口内相邻两个图像帧的匹配区域。如图5所示，本实施例中相邻两个图像帧的匹配区域可能会随着惯性传感器测量的运动方向不同而发生变化。
具体地，状态21表示t时刻图像帧相对于t-1时刻图像帧向下运动，则这两个图像帧的匹配区域为t-1时刻图像帧的下方和t时刻图像帧的上方所包含的图像区域，待匹配的特征点为B。
状态22表示t时刻图像帧相对于t-1时刻图像帧向上运动，则这两个图像帧的匹配区域为t-1时刻图像帧的上方和t时刻图像帧的下方所包含的图像区域，待匹配的特征点为B。
状态23表示t时刻图像帧相对于t-1时刻图像帧向右运动，则这两个图像帧的匹配区域为t-1时刻图像帧的右侧和t时刻图像帧的左侧所包含的图像区域，待匹配的特征点为B。
状态24表示t时刻图像帧相对于t-1时刻图像帧向左运动，则这两个图像帧的匹配区域为t-1时刻图像帧的左侧和t时刻图像帧的右侧所包含的图像区域，待匹配的特征点为B。
(2)依据惯性传感器测量得到的移动终端的位姿数据，对相邻两个图像帧的匹配区域进行裁剪。
具体地，本实施例中移动终端的位姿数据如下式(1)所示：
公式(1)中各参数含义为：
Rk、vk和pk分别为移动终端在k时刻的旋转值、速度和位置，即移动终端在k时刻的位姿数据。Rj、vj和pj分别为移动终端在j时刻的旋转值、速度和位置，且j＞k。ωi为移动终端在i时刻的角速度，为ωi的负对称矩阵。
为移动终端在i时刻的线性加速度，如下式(2)所示：
公式(2)中各参数含义为：
ak为k时刻移动终端在其设备坐标系下的加速度，g为重力加速度，为i时刻移动终端在世界坐标系下的旋转矩阵的转置矩阵。
假设：本实施例中依据惯性传感器的测量数据，得到移动终端的相对位移为Δp(x＞0,y＞0,z＝0)，相对旋转为0，即t时刻图像帧相对于t-1时刻图像帧向右上方运动。同时，彩色相机的焦距为(fx,fy)，彩色图像的宽和高分别为w和h，彩色图像的宽w与坐标系单位长度的比例为rx，彩色图像的高h与坐标系单位长度的比例为ry。依据上述数据，可以得到t-1时刻图像帧的裁剪区域为t时刻图像帧的裁剪区域为
步骤S202：选取裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对相邻两个图像帧进行匹配。
步骤S203：依据所选取的特征点的数量和预设的优化原则，对彩色相机和惯性传感器的观测数据权重进行优化。
具体地，本实施例中可以按照下述步骤优化彩色相机和惯性传感器的观测数据：
若N≤Nl，则将彩色相机的观测数据权重设置为零。若Nl＜N＜Nh，则减小彩色相机的观测数据权重，并增大惯性传感器的观测数据权重。若N≥Nh，则增大彩色相机的观测数据权重，并减小惯性传感器的观测数据权重。其中，N为所选取的特征点的数量，Nl和Nh分别为数量N的下限值和上限值。
本实施例中通过设置多级特征点的选取阈值，去除未参与优化的特征点，可以获取鲁棒性较高的特征点。
步骤S204：依据优化后的观测数据权重，并采用图像优化算法计算移动终端的位姿数据和场景点的三维坐标。
具体地，本实施例中场景点为保存在预设场景点管理系统内的特征点，特征点为裁剪区域内对应阈值在预设范围内的特征点。即，本实施例中预设场景点管理系统内存储的特征点为上述步骤S203中参与观测数据权重优化的特征点。本实施例中可以通过该场景点管理系统对这些特征点进行存储和标号。
在本实施例的一个优选实施方案中，图5所示的步骤S204还包括下述步骤：将场景点的三维坐标转化为点云，并以点云的形式保存上述场景点的三维坐标。
步骤S205：以深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、彩色相机的观测数据和移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
具体地，本实施例中依据所获取的场景点、观测数据、位姿数据，对深度相机的观测数据进行深度点云匹配，并依据匹配得到的稠密点云构建三维栅格地图。
步骤S103：依据所获取的图像信息，并采用图像语义分割算法得到图像信息中物体的语义标签及二维图像位置；依据三维栅格地图，以及物体的语义标签及二维图像位置，构建三维语义地图。
具体地，本实施例中采用全卷积深度神经网络对图像信息进行图像语义分割。
进一步地，参阅附图6，图6示例性示出了本实施例中图1所示增强现实方法中构建三维语义地图的主要步骤。如图6所示，本实施例中可以按照下述步骤构建未知环境的三维语义地图：
步骤S301：将物体的语义标签及二维图像位置反向投影到三维栅格地图上，得到初始的三维语义地图。
步骤S302：采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图。
本实施例中通过基于条件随机场的点云标注算法，可以对没有在步骤S301中没有语义标签且临近有语义标签的点云，添加语义标签，使得大部分的点云均具有语义标签。其中，本实施例中点云指的是上述步骤S204中以点云形式保存的场景点。
步骤S303：聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
继续参阅附图7，图7示例性示出了本实施例中的场景图。如图7所示，本实施例中预设的场景图为树形图，该树形图包括一个根节点，以及与根节点依次连接的第一级子节点、第二级子节点和第三级子节点。
具体地，根节点31表示场景图对应的场景节点，提供了场景图的访问入口。
第一级节点32表示场景图中物体的语义标签。例如，节点321～节点326对应的语义标签依次为相机、地面、墙壁、桌子、椅子和人。本实施例每个第一级节点均可以连接多个第二级节点。
第二级节点33表示对应物体的碰撞体或位姿数据。例如，节点331表示相机的位姿数据，节点332～节点336分别表示地面、墙壁、桌子、椅子和人的碰撞体。
第三级节点34表示对应物体的点云。例如，节点341～节点345分别表示地面、墙壁、桌子、椅子和人的点云。其中，本实施例中点云指的是上述步骤S204中以点云形式保存的场景点。
本实施例中通过构建树形结构的场景图，可以快速定位场景中物体的位置，便于管理和更新三维语义地图。
步骤S204：移动终端的位姿数据和三维语义地图，叠加虚拟信息并进行虚实融合。其中，虚拟信息可以为图片、视频或模型等。
具体地，本实施例中可以按照下述步骤对虚拟信息进行虚实融合：
(1)虚实碰撞处理。
本实施例中首先依据三维语义地图，采用物理引擎给场景中的物体添加虚拟碰撞体。然后对虚拟碰撞体施加贴合真实物体表面的约束力，从而获得贴合度较好的虚拟碰撞体，提升增强现实虚实碰撞效果。最后对虚拟碰撞体与三维语义地图中物体的碰撞体进行碰撞检测，在发生碰撞的情况下，修正虚拟碰撞体的叠加位置，避免视觉上的重叠效果。具体地，本实施例中虚拟碰撞体与物体的语义信息相关，可以通过物体语义查询模型获得虚拟碰撞体的基本模型。。
(2)虚实遮挡处理。
本实施例中可以依据三维语义地图，分别计算虚拟物体与移动终端的距离，以及真实物体与移动终端的距离，依据二者的距离信息判断是否发生遮挡。具体地，当虚拟物体与移动终端的距离较远时，则判断为发生遮挡。同时，可以采用半透明的纹理渲染出虚拟物体的结构，提供虚实遮挡的效果。
(3)虚拟阴影处理。
本实施例中可以依据三维语义地图，以及移动终端的光照感应器进行光照估计，确定光源的位置。将虚拟物体在光源的照射方向上投射生成虚拟阴影，提升虚实融合的可视化效果。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明实施例还提供一种面向未知环境的增强现实装置。下面结合附图对该面向未知环境的增强现实装置进行具体说明。
参阅附图2，图2示例性示出了本实施例中面向未知环境的增强现实装置的结构。如图2所示，本实施例中面向未知环境的增强现实装置可以包括移动终端11、第一图像处理模块12、第二图像处理模块13和第三图像处理模块14。其中，移动终端11可以用于获取未知环境的图像信息。第一图像处理模块12可以配置为依据所获取的图像信息，并采用SLAM算法构建未知环境的三维栅格地图，计算移动终端的位姿数据。第二图像处理模块13可以配置为依据所获取的图像信息，并采用图像语义分割算法得到图像信息中物体的语义标签及二维图像位置；依据三维栅格地图，以及物体的语义标签及二维图像位置，构建三维语义地图。第三图像处理模块14可以配置为依据移动终端的位姿数据和三维语义地图，叠加虚拟信息并进行虚实融合。
进一步地，本实施例中移动终端11可以包括一个或多个彩色相机，一个或多个深度相机，一个或多个惯性传感器。
进一步地，本实施例中第一图像处理模块12可以包括第一处理单元、第二处理单元、第三处理单元、第四处理单元和第五处理单元。其中，第一处理单元可以配置为在惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对匹配区域进行裁剪，得到裁剪区域。第二处理单元可以配置为选取裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对相邻两个图像帧进行匹配。第三处理单元可以配置为依据所选取的特征点的数量和预设的优化原则，对彩色相机和惯性传感器的观测数据权重进行优化。第四处理单元可以配置为依据优化后的观测数据权重，并采用图像优化算法计算移动终端的位姿数据和场景点的三维坐标；第五处理单元可以配置为以深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、彩色相机的观测数据和移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
具体地，本实施例中第三处理单元可以包括第一优化子单元、第二优化子单元和第三优化子单元。其中，第一优化子单元可以配置为在N≤Nl时将彩色相机的观测数据权重设置为零。第二优化子单元可以配置为在Nl＜N＜Nh时减小彩色相机的观测数据权重，并增大惯性传感器的观测数据权重。第三优化子单元可以配置为在N≥Nh时增大彩色相机的观测数据权重，并减小惯性传感器的观测数据权重。其中，N为所选取的特征点的数量，Nl和Nh分别为数量N的下限值和上限值。
进一步地，本实施例中第二图像处理模块13可以包括第六处理单元、第七处理单元和第八处理单元。其中，第六处理单元可以配置为将物体的语义标签及二维图像位置反向投影到三维栅格地图上，得到初始的三维语义地图。第七处理单元可以配置为采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图。第八处理单元可以配置为聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
具体地，本实施例中预设的场景图为树形图，该树形图包括一个根节点，以及与根节点依次连接的第一级子节点、第二级子节点和第三级子节点。其中，根节点表示场景图对应的场景节点，第一级子节点表示场景图中物体的语义标签，第二级子节点表示对应物体的碰撞体或位姿数据，第三级子节点表示对应物体的点云。
上述面向未知环境的增强现实装置实施例可以用于执行上述面向未知环境的增强现实方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的面向未知环境的增强现实的具体工作过程及有关说明，可以参考前述面向未知环境的增强现实方法实施例中的对应过程，在此不再赘述。
领域技术人员可以理解，上述面向未知环境的增强现实装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图2中示出。
应该理解，图2中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
基于上述面向未知环境的增强现实方法实施例，本发明还提供一种存储装置，该存储装置中存储有多条程序，这些程序适于由处理器加载并执行以实现上述方法实施例所述的面向未知环境的增强现实方法。
基于上述面向未知环境的增强现实方法实施例，本发明还提供一种处理装置，该处理装置包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序。这些程序适于由处理器加载并执行以实现上述方法实施例所述的面向未知环境的增强现实方法。
本领域技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (14)
1.一种面向未知环境的增强现实方法，其特征在于，所述方法包括：
通过移动终端获取未知环境的图像信息；
依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据；
依据所获取的图像信息，并采用图像语义分割算法得到所述图像信息中物体的语义标签及二维图像位置；依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图；
依据所述移动终端的位姿数据和所述三维语义地图，叠加虚拟信息并进行虚实融合。
2.根据权利要求1所述的方法，其特征在于，所述移动终端包括：
一个或多个彩色相机；
一个或多个深度相机；
一个或多个惯性传感器。
3.根据权利要求2所述的方法，其特征在于，
“依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据”的步骤具体包括：
在所述惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对所述匹配区域进行裁剪，得到裁剪区域；
选取所述裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对所述的相邻两个图像帧进行匹配；
依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的观测数据权重进行优化；
依据所述优化后的观测数据权重，并采用图像优化算法计算所述移动终端的位姿数据和场景点的三维坐标；所述场景点为保存在预设场景点管理系统内的特征点，所述特征点为所述裁剪区域内对应阈值在预设范围内的特征点；
以所述深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、所述彩色相机的观测数据和所述移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和所述深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
4.根据权利要求3所述的方法，其特征在于，
“依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的权重进行优化”的步骤具体包括：
若N≤Nl，则将所述彩色相机的观测数据权重设置为零；
若Nl＜N＜Nh，则减小所述彩色相机的观测数据权重，并增大所述惯性传感器的观测数据权重；
若N≥Nh，则增大所述彩色相机的观测数据权重，并减小所述惯性传感器的观测数据权重；
其中，所述N为所选取的特征点的数量，所述Nl和Nh分别为所述数量N的下限值和上限值。
5.根据权利要求1所述的方法，其特征在于，
“依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图”的步骤具体包括：
将所述物体的语义标签及二维图像位置反向投影到所述三维栅格地图上，得到初始的三维语义地图；
采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图；
聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以所述碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
6.根据权利要求5所述的方法，其特征在于，
所述预设的场景图为树形图；所述树形图包括一个根节点，以及与所述根节点依次连接的第一级子节点、第二级子节点和第三级子节点；
所述根节点表示所述场景图对应的场景节点，所述第一级子节点表示所述场景图中物体的语义标签，所述第二级子节点表示对应物体的碰撞体或位姿数据，所述第三级子节点表示对应物体的点云。
7.一种面向未知环境的增强现实装置，其特征在于，所述装置包括：
移动终端，用于获取未知环境的图像信息；
第一图像处理模块，配置为依据所获取的图像信息，并采用SLAM算法构建所述未知环境的三维栅格地图，计算所述移动终端的位姿数据；
第二图像处理模块，配置为依据所获取的图像信息，并采用图像语义分割算法得到所述图像信息中物体的语义标签及二维图像位置；依据所述三维栅格地图，以及所述物体的语义标签及二维图像位置，构建三维语义地图；
第三图像处理模块，配置为依据所述移动终端的位姿数据和所述三维语义地图，叠加虚拟信息并进行虚实融合。
8.根据权利要求7所述的装置，其特征在于，所述移动终端包括：
一个或多个彩色相机；
一个或多个深度相机；
一个或多个惯性传感器。
9.根据权利要求8所述的装置，其特征在于，
所述第一图像处理模块包括：
第一处理单元，配置为在所述惯性传感器测量的运动方向上，预测滑动窗口内相邻两个图像帧的匹配区域，并对所述匹配区域进行裁剪，得到裁剪区域；
第二处理单元，配置为选取所述裁剪区域内对应阈值在预设范围内的特征点，并依据所选取的特征点对所述的相邻两个图像帧进行匹配；
第三处理单元，配置为依据所选取的特征点的数量和预设的优化原则，对所述彩色相机和惯性传感器的观测数据权重进行优化；
第四处理单元，配置为依据所述优化后的观测数据权重，并采用图像优化算法计算所述移动终端的位姿数据和场景点的三维坐标；所述场景点为保存在预设场景点管理系统内的特征点，所述特征点为所述裁剪区域内对应阈值在预设范围内的特征点；
第五处理单元，配置为以所述深度相机的观测数据获取时刻为基准，获取在该时刻附近的场景点、所述彩色相机的观测数据和所述移动终端的位姿数据；对所获取的场景点、观测数据、位姿数据和所述深度相机的观测数据进行匹配，并依据匹配后的数据构建三维栅格地图。
10.根据权利要求9所述的装置，其特征在于，
所述第三处理单元包括：
第一优化子单元，配置为在N≤Nl时将所述彩色相机的观测数据权重设置为零；
第二优化子单元，配置为在Nl＜N＜Nh时减小所述彩色相机的观测数据权重，并增大所述惯性传感器的观测数据权重；
第三优化子单元，配置为在N≥Nh时增大所述彩色相机的观测数据权重，并减小所述惯性传感器的观测数据权重；
其中，所述N为所选取的特征点的数量，所述Nl和Nh分别为所述数量N的下限值和上限值。
11.根据权利要求7所述的装置，其特征在于，
所述第二图像处理模块包括：
第六处理单元，配置为将所述物体的语义标签及二维图像位置反向投影到所述三维栅格地图上，得到初始的三维语义地图；
第七处理单元，配置为采用基于条件随机场的点云标注算法，将没有语义标签的点云进行归类，得到优化后的三维语义地图；
第八处理单元，配置为聚合具有相同语义标签且邻近的点云，采用片元包围所聚合的点云形成物体的碰撞体；以所述碰撞体的中心点作为对应物体的中心点，将各物体添加到预设的场景图中。
12.根据权利要求11所述的装置，其特征在于，
所述预设的场景图为树形图；所述树形图包括一个根节点，以及与所述根节点依次连接的第一级子节点、第二级子节点和第三级子节点；
所述根节点表示所述场景图对应的场景节点，所述第一级子节点表示所述场景图中物体的语义标签，所述第二级子节点表示对应物体的碰撞体或位姿数据，所述第三级子节点表示对应物体的点云。
13.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的面向未知环境的增强现实方法。
14.一种处理装置，包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-6任一项所述的面向未知环境的增强现实方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710647717.9A CN107564012B (zh) | 2017-08-01 | 2017-08-01 | 面向未知环境的增强现实方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710647717.9A CN107564012B (zh) | 2017-08-01 | 2017-08-01 | 面向未知环境的增强现实方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107564012A true CN107564012A (zh) | 2018-01-09 |
| CN107564012B CN107564012B (zh) | 2020-02-28 |
Family
ID=60974919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710647717.9A Active CN107564012B (zh) | 2017-08-01 | 2017-08-01 | 面向未知环境的增强现实方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107564012B (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
| CN108735052A (zh) * | 2018-05-09 | 2018-11-02 | 北京航空航天大学青岛研究院 | 一种基于slam的增强现实自由落体实验方法 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109272554A (zh) * | 2018-09-18 | 2019-01-25 | 北京云迹科技有限公司 | 一种识别目标的坐标系定位和语义地图构建的方法及系统 |
| CN109344748A (zh) * | 2018-09-19 | 2019-02-15 | 高新兴科技集团股份有限公司 | 一种基于监控点gps在图像画面添加ar标签的方法 |
| CN109345574A (zh) * | 2018-08-31 | 2019-02-15 | 西安电子科技大学 | 基于语义点云配准的激光雷达三维建图方法 |
| CN109345581A (zh) * | 2018-07-30 | 2019-02-15 | 中国科学院自动化研究所 | 基于多目相机的增强现实方法、装置及系统 |
| CN109345588A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于Tag的六自由度姿态估计方法 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN109682381A (zh) * | 2019-02-22 | 2019-04-26 | 山东大学 | 基于全向视觉的大视场场景感知方法、系统、介质及设备 |
| CN109782902A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 一种操作提示方法及眼镜 |
| CN109828658A (zh) * | 2018-12-17 | 2019-05-31 | 彭晓东 | 一种人机共融的远程态势智能感知系统 |
| CN109920055A (zh) * | 2019-03-08 | 2019-06-21 | 视辰信息科技(上海)有限公司 | 三维视觉地图的构建方法、装置与电子设备 |
| CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110097584A (zh) * | 2019-03-18 | 2019-08-06 | 国网浙江省电力有限公司信息通信分公司 | 结合目标检测和语义分割的图像配准方法 |
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN110148178A (zh) * | 2018-06-19 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 相机定位方法、装置、终端及存储介质 |
| CN110163963A (zh) * | 2019-04-12 | 2019-08-23 | 南京华捷艾米软件科技有限公司 | 一种基于slam的建图装置和建图方法 |
| CN110276317A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 |
| CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
| CN110298921A (zh) * | 2019-07-05 | 2019-10-01 | 青岛中科智保科技有限公司 | 具有人物语义信息的三维地图的构建方法以及处理设备 |
| CN110411441A (zh) * | 2018-04-30 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 用于多模态映射和定位的系统和方法 |
| CN111292408A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于注意力机制的阴影生成方法 |
| WO2020119684A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
| CN111381585A (zh) * | 2018-12-11 | 2020-07-07 | 北京图森智途科技有限公司 | 一种构建占据栅格地图的方法及其装置、相关设备 |
| CN111553181A (zh) * | 2019-02-12 | 2020-08-18 | 上海欧菲智能车联科技有限公司 | 车载相机语义识别方法、系统及装置 |
| CN111609852A (zh) * | 2019-02-25 | 2020-09-01 | 北京奇虎科技有限公司 | 语义地图构建方法、扫地机器人及电子设备 |
| CN111679661A (zh) * | 2019-02-25 | 2020-09-18 | 北京奇虎科技有限公司 | 基于深度相机的语义地图构建方法及扫地机器人 |
| CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析系统及方法 |
| CN112525184A (zh) * | 2019-08-28 | 2021-03-19 | 深圳拓邦股份有限公司 | 一种洗地机初始数据的获取方法、系统及洗地机 |
| CN113269861A (zh) * | 2020-01-30 | 2021-08-17 | 丰田自动车株式会社 | 构建室内场景的光照自适应地图并用其估计未知光设置的方法和系统 |
| CN113743287A (zh) * | 2021-08-31 | 2021-12-03 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413352A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于rgbd多传感器融合的场景三维重建方法 |
| CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
| US20170132794A1 (en) * | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Pose estimation method and apparatus |
| WO2017117675A1 (en) * | 2016-01-08 | 2017-07-13 | Sulon Technologies Inc. | Head mounted device for augmented reality |
-
2017
- 2017-08-01 CN CN201710647717.9A patent/CN107564012B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413352A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于rgbd多传感器融合的场景三维重建方法 |
| CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
| US20170132794A1 (en) * | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Pose estimation method and apparatus |
| WO2017117675A1 (en) * | 2016-01-08 | 2017-07-13 | Sulon Technologies Inc. | Head mounted device for augmented reality |
Non-Patent Citations (3)
| Title |
|---|
| ALEXANDER HERMANS等: "《Dense 3D Semantic Mapping of Indoor Scenes from RGB-D Images》", 《2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS & AUTOMATION (ICRA)》 * |
| HAOMIN LIU等: "《Robust Keyframe-based Monocular SLAM for Augmented Reality》", 《2016 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 * |
| ONDREJ MIKSIK等: "《The Semantic Paintbrush: Interactive 3D Mapping and Recognition in Large Outdoor Spaces》", 《AUGMENTED & VIRTUAL REALITY IN THE REAL WORLD》 * |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| US11030525B2 (en) | 2018-02-09 | 2021-06-08 | Baidu Usa Llc | Systems and methods for deep localization and segmentation with a 3D semantic map |
| CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
| CN110411441B (zh) * | 2018-04-30 | 2023-04-07 | 北京京东乾石科技有限公司 | 用于多模态映射和定位的系统和方法 |
| CN110411441A (zh) * | 2018-04-30 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 用于多模态映射和定位的系统和方法 |
| CN108735052A (zh) * | 2018-05-09 | 2018-11-02 | 北京航空航天大学青岛研究院 | 一种基于slam的增强现实自由落体实验方法 |
| CN110148178A (zh) * | 2018-06-19 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 相机定位方法、装置、终端及存储介质 |
| CN109117718B (zh) * | 2018-07-02 | 2021-11-26 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109345581B (zh) * | 2018-07-30 | 2020-10-27 | 中国科学院自动化研究所 | 基于多目相机的增强现实方法、装置及系统 |
| CN109345581A (zh) * | 2018-07-30 | 2019-02-15 | 中国科学院自动化研究所 | 基于多目相机的增强现实方法、装置及系统 |
| CN109345574B (zh) * | 2018-08-31 | 2020-10-09 | 西安电子科技大学 | 基于语义点云配准的激光雷达三维建图方法 |
| CN109345574A (zh) * | 2018-08-31 | 2019-02-15 | 西安电子科技大学 | 基于语义点云配准的激光雷达三维建图方法 |
| CN109272554A (zh) * | 2018-09-18 | 2019-01-25 | 北京云迹科技有限公司 | 一种识别目标的坐标系定位和语义地图构建的方法及系统 |
| CN109344748A (zh) * | 2018-09-19 | 2019-02-15 | 高新兴科技集团股份有限公司 | 一种基于监控点gps在图像画面添加ar标签的方法 |
| CN109345588A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于Tag的六自由度姿态估计方法 |
| CN109584302B (zh) * | 2018-11-27 | 2023-12-01 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN111381585B (zh) * | 2018-12-11 | 2023-06-16 | 北京图森智途科技有限公司 | 一种构建占据栅格地图的方法及其装置、相关设备 |
| CN111381585A (zh) * | 2018-12-11 | 2020-07-07 | 北京图森智途科技有限公司 | 一种构建占据栅格地图的方法及其装置、相关设备 |
| WO2020119684A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
| CN109782902A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 一种操作提示方法及眼镜 |
| CN109828658A (zh) * | 2018-12-17 | 2019-05-31 | 彭晓东 | 一种人机共融的远程态势智能感知系统 |
| CN109828658B (zh) * | 2018-12-17 | 2022-03-08 | 彭晓东 | 一种人机共融的远程态势智能感知系统 |
| CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110009573B (zh) * | 2019-01-29 | 2022-02-01 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及存储介质 |
| CN111553181A (zh) * | 2019-02-12 | 2020-08-18 | 上海欧菲智能车联科技有限公司 | 车载相机语义识别方法、系统及装置 |
| CN109682381A (zh) * | 2019-02-22 | 2019-04-26 | 山东大学 | 基于全向视觉的大视场场景感知方法、系统、介质及设备 |
| CN111609852A (zh) * | 2019-02-25 | 2020-09-01 | 北京奇虎科技有限公司 | 语义地图构建方法、扫地机器人及电子设备 |
| CN111679661A (zh) * | 2019-02-25 | 2020-09-18 | 北京奇虎科技有限公司 | 基于深度相机的语义地图构建方法及扫地机器人 |
| CN109920055A (zh) * | 2019-03-08 | 2019-06-21 | 视辰信息科技(上海)有限公司 | 三维视觉地图的构建方法、装置与电子设备 |
| CN110097584B (zh) * | 2019-03-18 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 结合目标检测和语义分割的图像配准方法 |
| CN110097584A (zh) * | 2019-03-18 | 2019-08-06 | 国网浙江省电力有限公司信息通信分公司 | 结合目标检测和语义分割的图像配准方法 |
| CN110163963A (zh) * | 2019-04-12 | 2019-08-23 | 南京华捷艾米软件科技有限公司 | 一种基于slam的建图装置和建图方法 |
| CN110163963B (zh) * | 2019-04-12 | 2023-06-20 | 南京华捷艾米软件科技有限公司 | 一种基于slam的建图装置和建图方法 |
| CN110276317A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 |
| CN110276317B (zh) * | 2019-06-26 | 2022-02-22 | Oppo广东移动通信有限公司 | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 |
| CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
| CN110298921A (zh) * | 2019-07-05 | 2019-10-01 | 青岛中科智保科技有限公司 | 具有人物语义信息的三维地图的构建方法以及处理设备 |
| CN112525184A (zh) * | 2019-08-28 | 2021-03-19 | 深圳拓邦股份有限公司 | 一种洗地机初始数据的获取方法、系统及洗地机 |
| CN111292408A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于注意力机制的阴影生成方法 |
| CN111292408B (zh) * | 2020-01-21 | 2022-02-01 | 武汉大学 | 一种基于注意力机制的阴影生成方法 |
| CN113269861A (zh) * | 2020-01-30 | 2021-08-17 | 丰田自动车株式会社 | 构建室内场景的光照自适应地图并用其估计未知光设置的方法和系统 |
| CN111958592B (zh) * | 2020-07-30 | 2021-08-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析系统及方法 |
| CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析系统及方法 |
| CN113743287A (zh) * | 2021-08-31 | 2021-12-03 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
| CN113743287B (zh) * | 2021-08-31 | 2024-03-26 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107564012B (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107564012A (zh) | 面向未知环境的增强现实方法及装置 | |
| JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN106940186B (zh) | 一种机器人自主定位与导航方法及系统 | |
| CN109643127A (zh) | 构建地图、定位、导航、控制方法及系统、移动机器人 | |
| CN107945265B (zh) | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 | |
| CN109387204A (zh) | 面向室内动态环境的移动机器人同步定位与构图方法 | |
| CN104658012B (zh) | 一种基于惯性与光学测量融合的运动捕捉方法 | |
| CN103984037B (zh) | 基于视觉的移动机器人障碍物检测方法和装置 | |
| CN102609942B (zh) | 使用深度图进行移动相机定位 | |
| CN108401461A (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| CN102622762B (zh) | 使用深度图的实时相机跟踪 | |
| CN108648272A (zh) | 三维实景采集建模方法、可读存储介质及装置 | |
| Gallego et al. | Event-based camera pose tracking using a generative event model | |
| CN105094335B (zh) | 场景提取方法、物体定位方法及其系统 | |
| CN109737974A (zh) | 一种3d导航语义地图更新方法、装置及设备 | |
| CN107491070A (zh) | 一种移动机器人路径规划方法及装置 | |
| CN105785989B (zh) | 利用行进中机器人标定分布式网络摄像机的系统和相关方法 | |
| CN108170137A (zh) | 移动机器人及其控制方法和控制系统 | |
| CN108369743A (zh) | 使用多方向相机地图构建空间 | |
| CN108154550A (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
| CN108053449A (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
| CN107036594A (zh) | 智能电站巡检智能体的定位与多粒度环境感知技术 | |
| CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
| CN107341442A (zh) | 运动控制方法、装置、计算机设备和服务机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |