CN108629248A - 一种实现增强现实的方法及设备 - Google Patents

一种实现增强现实的方法及设备 Download PDF

Info

Publication number
CN108629248A
CN108629248A CN201710181815.8A CN201710181815A CN108629248A CN 108629248 A CN108629248 A CN 108629248A CN 201710181815 A CN201710181815 A CN 201710181815A CN 108629248 A CN108629248 A CN 108629248A
Authority
CN
China
Prior art keywords
face
scene image
environment scene
posture
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710181815.8A
Other languages
English (en)
Inventor
陈卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201710181815.8A priority Critical patent/CN108629248A/zh
Publication of CN108629248A publication Critical patent/CN108629248A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实现增强现实的方法及设备，实时采集包含人脸图像的环境场景图像；通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找对应的虚拟信息；利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合；通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。

Description

一种实现增强现实的方法及设备
技术领域
本发明涉及增强现实技术领域，尤其涉及一种实现增强现实的方法及设备。
背景技术
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。
现有的AR-Glass设备通过SLAM算法根据输入端(灰度摄像头、彩色摄像头、深度摄像头、传感器设备等器件中的一种或多种)数据得到场景3D信息(三维重建)和设备在场景中的姿态(位置和旋转数据)，并通过videosee-through或者optical see-through的方式呈现真实场景。同时根据SLAM算法得到的场景3D信息和设备在场景中的姿态在真实场景中融合显示虚拟信息(文字、图片、视频、三维模型、独立的三维场景等)。但是，在显示虚拟信息时通常是通过预设其在真实场景中的姿态或者让用户手动控制虚拟信息移动到想要显示的位置，这种方式操作复杂而且虚实融合会存在较大偏差的问题。
发明内容
本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的位置，简化操作且能够有效降低虚实融合存在的偏差。
本申请实施例提供了一种实现增强现实的方法，包括：
实时采集包含人脸图像的环境场景图像；
通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
可选的，所述利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，具体包括：
利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；
根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
可选的，所述根据人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中，具体包括：
根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
可选的，所述通过人脸识别算法对当前帧环境场景图像进行人脸识别，具体包括：
按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。
可选的，在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，所述方法还包括：
利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。
本申请一实施例还提供了一种实现增强现实设备，包括：
图像采集单元，用于实时采集包含人脸图像的环境场景图像；
人脸识别单元，用于通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
脸部对齐单元，用于利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
图像配准单元，用于通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
姿态计算单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
叠加显示单元，用于根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
可选的，所述姿态计算单元，包括：
三维坐标计算子单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；
姿态计算子单元，用于根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
可选的，所述叠加显示单元，具体用于根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
可选的，所述人脸识别单元，具体用于按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。
可选的，还包括：
姿态跟踪单元，用于在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
所述叠加显示单元，还用于利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。本发明的有益效果如下：
由于本申请实施例是通过对采集包含人脸图像的环境场景图像进行人脸识别得到识别结果及其对应的虚拟信息，并继续对环境场景图像进行脸部对齐处理和slam算法进行运算，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，再根据当前帧环境场景图像中的人脸姿态，将所述虚拟信息显示在当前帧环境场景图像中，由此可知，可以通过设备自动每帧环境场景图像对应的虚拟信息及人脸姿态，然后将虚拟信息自动显示在人脸姿态对应的位置上，从而实现了自动控制所述虚拟信息移动到想人脸的对应位置进行显示，且通过设备计算出的人脸姿态的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
附图说明
图1为本发明实施例中实现增强现实的方法流程图；
图2为本发明实施例中获取第i帧环境场景图像的平面集合的方法流程图；
图3为本发明实施例中实现增强现实设备的模块图。
具体实施方式
本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的位置，简化操作且能够有效降低虚实融合存在的偏差。
下面结合附图对本发明优选的实施方式进行详细说明。
如图1所示，本发明公开了一种实现增强现实的方法，具体包括以下步骤：
S101、实时采集包含人脸图像的环境场景图像；
S102、通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
S103、利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
S104、通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
S105、利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
S106、根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
其中，在步骤S101中，可以通过如摄像头、摄像机、鱼眼镜头等摄像设备实时采集包含人脸图像的环境场景图像。
接下来执行步骤S102，由于所述环境场景图像中包含有人脸图像，因此，可以通过人脸识别算法对当前帧环境场景图像进行人脸识别，并得到所述人脸识别结果；再根据所述人脸识别结果在所述预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息。
在具体实施过程中，在执行步骤S101或步骤S102之前，需要预先所述预设的人脸数据库，所述预设的人脸数据库中存储有大量的人脸数据及其对应的虚拟信息；所述虚拟信息可以包括人脸数据对应的用户的身高、体重、年龄、姓名、职业、从事工作、学历和所在公司等信息；如此，在从所述预设的人脸数据库中查找到所述人脸识别结果之后，能够获取到与所述人脸识别结果对应的虚拟信息。
具体来讲，所述人脸识别算法可以是基于几何特征的识别算法、基于模板的识别算法和基于模型的识别算法，其中，在所述人脸识别算法为基于模板的识别算法时，所述人脸识别算法可以为基于相关匹配的算法、特征脸算法、线性判别分析算法、奇异值分解算法、神经网络算法、动态连接匹配算法等；在所述人脸识别算法为基于模型的算法时，所述人脸识别算法可以为基于隐马尔柯夫模型，主动形状模型和主动外观模型的算法等，本申请不作具体限制。
例如，首先建立了一个预设的人脸数据库A，A中存储有人脸图像a1、a2、a3、a4和a5及其对应的虚拟信息；然后通过摄像头实时采集包含人脸图像的环境场景图像；并通过人脸识别算法对当前帧环境场景图像进行人脸识别，识别出当前帧环境图像中的人脸图像为a2，则判定所述人脸识别结果为a2并获取a2对应的虚拟信息。
本申请实施例中，为了降低计算量，可以按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别，从而使得在一定时间内需要进行人脸识别的当前帧环境场景图像的数量减少，如此，能够有效降低计算量，其中，所述预设频率可以根据设备的性能来设定，在设备的性能越高时，所述预设频率设置的越大；在设备的性能越低时，所述预设频率设置的越小；当然，为了确保计算的实时性，所述预设频率可以设置为小于每秒刷新频率的数值。若所述每秒刷新频率为60帧，则所述预设频率可以设置为小于60的50、45、40、30、20等。
本申请实施例中，在通过人脸识别算法对当前帧环境场景图像进行人脸识别时，若某一帧环境场景图像未识别出相应的人脸识别结果，则禁止对该帧环境场景图像进行人脸识别，对该帧环境场景图像的下一帧场景图像进行人脸识别。
接下来执行步骤S103，在通过步骤S102得到所述人脸识别结果后，必然可以利用所述面部3D模型对所述人脸图像区域进行脸部对齐处理，得到所述人脸特征点集合。
在具体实施过程中，在执行步骤S103之前，需要预先建立所述脸部3D模型，而在建立所述面部3D模型过程中，首先会建立一个通用的面部模型，即使用三角面网格对人脸进行逼近，从而获得所述面部3D模型，并保存所述面部3D模型中的人脸上的眼睛、鼻子、下巴和嘴部、面部轮廓等特征部位的特征点的三维坐标，而所述面部3D模型中的人脸上的眼睛、鼻子、下巴和嘴部、面部轮廓等特征部位的所有特征点组成所述面部3D模型的预设对齐特征点集，并保存所述预设对齐特征点集的三维坐标集。
具体来讲，在建立所述面部3D模型之后，然后通过脸部对齐算法使用所述面部3D模型对所述人脸图像区域进行脸部对齐处理，从所述人脸图像区域中得到完成面部对齐的匹配特征点集的二维坐标集；其中，所述匹配特征点集和所述预设对齐特征点集中的特征点匹配；其中，所述匹配特征点集的二维坐标集为所述人脸特征点集合中的一组在所述图像区域的特征点的二维坐标；所述预设对齐特征点集的三维坐标集所述人脸特征点集合中的一组对应在所述脸部3D模型中的特征点的三维坐标；即可知，所述匹配特征点集及其二维坐标集和所述预设对齐特征点集及其三维坐标集组成所述人脸特征点集合。
本申请实施例中，所述面部对齐算法例如可以是AAM(Active Appreance Model)算法、ASM(Active Shape Model)和CLM(Constrained local model)算法等，本申请不作具体限制。
具体的，由于特征点对齐是面部对齐的前置条件，使得在获取到完成面部对齐的一帧图像时，所述匹配对齐特征点集中的特征点必然是与所述预设对齐特征点集中的特征点是匹配的，进而可以获取到所述匹配对齐特征点集的二维特征点集并进行保存；而所述预设对齐特征点集的三维坐标集在建立所述面部3D模型时已保存，如此，使得所述匹配对齐特征点的二维坐标集和所述预设对齐特征点集的三维坐标集均已保存。
例如，以摄像设备为摄像头b为例，首先建立一个通用的面部3D模型并保存所述面部3D模型中的对齐特征点集的三维坐标，其中，所述面部3D模型中的预设对齐特征点集用G表示，以及在摄像头b通电开始工作之后，通过摄像头n在一段时间内实时获取包含人脸图像的环境场景图像，若摄像头b在该段时间内获取的当前帧环境场景图像依次为b1、b2、b3….bk，如此，在当前帧环境场景图像为b1时，对b1进行人脸识别，得到人脸识别结果及其虚拟信息；以及利用所述脸部3D模型对b1进行脸部对齐处理，从b1中提取与G匹配的特征点集B11，将G及其三维坐标集和B11及其二维坐标集作为所述人脸特征点集合。
本申请实施例过程中，步骤S102和步骤S103可以同时执行，也可以先执行步骤S103后执行步骤S102，本申请不作具体限制。
接下来执行步骤S104，从采集的环境场景图像中挑选出与当前帧环境场景图像相邻的至少一帧环境场景图像，然后使用同时定位与建图(Simultaneous Localization andMapping，简称slam)算法对当前帧环境场景图像和挑选出的所述至少一帧环境场景图像进行图像配准，计算出当前帧环境场景图像对应的世界坐标系相对于相机坐标系的姿态和三维场景。
具体来讲，通过slam算法可以对当前帧环境场景图像进行三维重建，从而可以获取到当前帧环境场景图像对应的三维场景；而且通过slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像对应的世界坐标系相对于相机坐标系的姿态。
具体的，当前帧环境场景图像对应的世界坐标系(XS，YS，ZS)即三维场景用WSlam表示，以及对应的相机坐标系(XC，YC，ZC)用CSlam表示，当前帧环境场景图像对应的世界坐标系相对于相机坐标系的姿态用Rt表示，R表示旋转矩阵(3x3)，t表示位移向量(tx，ty，tz),则可知：
WSlam×Rt＝CSlam 公式(1)
如此，通过公式(1)可以计算得到Rt。
接下来执行步骤S105，可以利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
在具体实施过程中，由于所述匹配对齐特征点的二维坐标集中的每个坐标均可以作为CSlam中的一个值；而所述预设对齐特征点集的三维坐标集与所述匹配对齐特征点的二维坐标集对应，如此，通过公式(1)和所述人脸特征点集合即可计算出所述脸部3D模型所在的物体坐标系相对于世界坐标系的转换关系用P表示；根据所述匹配对齐特征点的二维坐标集和所述转换关系，即可计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
具体来讲，利用所述人脸特征点集合中的二维坐标集和三维坐标集进行计算，得到当前帧环境场景图像对应的物体坐标系相对于相机坐标系的姿态用R1t1表示，其中，R1表示旋转矩阵(3x3)，t1表示位移向量(tx，ty，tz),；然后根据公式(1)得到的Rt和R1t1进行计算可得到所述转换关系，即P＝Rt×R1t1-1；然后利用所述转换关系和所述预设对齐特征点集的三维坐标集，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标。
接下来执行步骤S106，根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
在具体实施过程中，可以在当前帧环境场景图像中显示的人脸的左右两侧显示所述虚拟信息，也可以在当前帧环境场景图像中显示的人脸的上部显示所述虚拟信息，也可以当前帧环境场景图像中显示的人脸的前后方显示所述虚拟信息，本申请不作具体限制。
如此，可以对每帧或每几帧环境场景图像的执行步骤S101～S106,从而可以在每帧或每几帧环境场景图像中显示的人脸姿态的对应位置显示所述虚拟信息，进而实现了自动控制所述虚拟信息移动到人脸姿态的对应位置进行显示，而且通过设备计算出的人脸姿态的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
在本申请另一实施例中，在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，如图2所示，所述方法还包括：
S201、利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
S202、利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。
本申请实施例中，人脸在世界坐标系中的姿态简称为人脸姿态，其含义相同。
在步骤S201中，以当前帧环境场景图像为初始帧环境场景图像，利用相邻一帧或多帧环境场景图像中的人脸姿态对后续帧环境场景图像中的人脸姿态进行跟踪，以得到所述后续帧环境场景图像中的人脸姿态；所述后续帧环境场景图像为当前帧环境场景图像之后的一帧或多帧连线的环境场景图像。
具体来讲，可以首先利用利用当前帧环境场景图像中的人脸姿态对后一帧环境场景图像的姿态进行跟踪，获取跟踪得到的后一帧环境场景图像中的人脸姿态；在获取到后一帧环境场景图像中的人脸姿态之后；再利用相邻一帧或多帧环境场景图像中的人脸姿态对后二帧环境场景图像中的人脸姿态进行跟踪，获得后二帧环境场景图像中的人脸姿态，通过此种方式可以获取后续帧环境场景图像的人脸姿态。
接下来执行步骤S202,利用跟踪得到的所述后续帧环境场景图像中的人脸姿态，将所述虚拟信息叠加到所述后续帧环境场景图像中显示的人脸所对应的位置上。
本发明有益效果如下：
由于本申请实施例是通过对采集包含人脸图像的环境场景图像进行人脸识别得到识别结果及其对应的虚拟信息，并继续对环境场景图像进行脸部对齐处理和slam算法进行运算，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，再根据当前帧环境场景图像中的人脸姿态，将所述虚拟信息显示在当前帧环境场景图像中，由此可知，可以通过设备自动每帧环境场景图像对应的虚拟信息及人脸姿态，然后将虚拟信息自动显示在人脸姿态对应的位置上，从而实现了自动控制所述虚拟信息移动到想人脸的对应位置进行显示而无需人工操作，且通过设备计算出的人脸姿态的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
基于与上述方法相同的技术构思，本发明还提供了一种实现增强现实设备，如图3所示，包括：
图像采集单元301，用于实时采集包含人脸图像的环境场景图像；
人脸识别单元302，用于通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
脸部对齐单元303，用于利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
图像配准单元304，用于通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
姿态计算单元305，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
叠加显示单元306，用于根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
优选的，姿态计算单元305，包括：
三维坐标计算子单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；
姿态计算子单元，用于根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
优选的，叠加显示单元306，具体用于根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
优选的，人脸识别单元302，具体用于按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。
优选的，还包括：
姿态跟踪单元，用于在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
叠加显示单元306，还用于利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。
本发明的有益效果如下：
由于本申请实施例是通过对采集包含人脸图像的环境场景图像进行人脸识别得到识别结果及其对应的虚拟信息，并继续对环境场景图像进行脸部对齐处理和slam算法进行运算，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，再根据当前帧环境场景图像中的人脸姿态，将所述虚拟信息显示在当前帧环境场景图像中，由此可知，可以通过设备自动每帧环境场景图像对应的虚拟信息及人脸姿态，然后将虚拟信息自动显示在人脸姿态对应的位置上，从而实现了自动控制所述虚拟信息移动到想人脸的对应位置进行显示，且通过设备计算出的人脸姿态的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application SpecificIntegratedCircuit，专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种实现增强现实的方法，其特征在于，包括：
实时采集包含人脸图像的环境场景图像；
通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
2.如权利要求1所述的方法，其特征在于，所述利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，具体包括：
利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；
根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
3.如权利要求1所述的方法，其特征在于，所述根据人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中，具体包括：
根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
4.如权利要求1所述的方法，其特征在于，所述通过人脸识别算法对当前帧环境场景图像进行人脸识别，具体包括：
按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。
5.如权利要求1所述的方法，其特征在于，在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，所述方法还包括：
利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。
6.一种实现增强现实设备，其特征在于，包括：
图像采集单元，用于实时采集包含人脸图像的环境场景图像；
人脸识别单元，用于通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；
脸部对齐单元，用于利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；
图像配准单元，用于通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；
姿态计算单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；
叠加显示单元，用于根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。
7.如权利要求6所述的设备，其特征在于，所述姿态计算单元，包括：
三维坐标计算子单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；
姿态计算子单元，用于根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。
8.如权利要求6所述的设备，其特征在于，所述叠加显示单元，具体用于根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。
9.如权利要求6所述的设备，其特征在于，所述人脸识别单元，具体用于按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。
10.如权利要求6所述的设备，其特征在于，还包括：
姿态跟踪单元，用于在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；
所述叠加显示单元，还用于利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。
CN201710181815.8A 2017-03-24 2017-03-24 一种实现增强现实的方法及设备 Pending CN108629248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710181815.8A CN108629248A (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710181815.8A CN108629248A (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Publications (1)

Publication Number Publication Date
CN108629248A true CN108629248A (zh) 2018-10-09

Family

ID=63707569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710181815.8A Pending CN108629248A (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Country Status (1)

Country Link
CN (1) CN108629248A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584347A (zh) * 2018-12-18 2019-04-05 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
CN109859857A (zh) * 2019-01-30 2019-06-07 深圳安泰创新科技股份有限公司 身份信息的标注方法、装置和计算机可读存储介质
CN110348370A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种人体动作识别的增强现实系统及方法
CN110597442A (zh) * 2019-09-20 2019-12-20 北京华捷艾米科技有限公司 一种手机ar绘画方法及装置
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110956571A (zh) * 2019-10-10 2020-04-03 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN111862288A (zh) * 2020-07-29 2020-10-30 北京小米移动软件有限公司 一种位姿渲染方法、装置及介质
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
WO2023070870A1 (zh) * 2021-10-28 2023-05-04 歌尔股份有限公司 标识定位方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020318A1 (en) * 2012-07-30 2014-02-06 Sony Computer Entertainment Europe Limited Localisation and mapping
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
CN104573737A (zh) * 2013-10-18 2015-04-29 华为技术有限公司 特征点定位的方法及装置
CN106373182A (zh) * 2016-08-18 2017-02-01 苏州丽多数字科技有限公司 一种增强现实人脸互动娱乐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
WO2014020318A1 (en) * 2012-07-30 2014-02-06 Sony Computer Entertainment Europe Limited Localisation and mapping
CN104573737A (zh) * 2013-10-18 2015-04-29 华为技术有限公司 特征点定位的方法及装置
CN106373182A (zh) * 2016-08-18 2017-02-01 苏州丽多数字科技有限公司 一种增强现实人脸互动娱乐方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584347A (zh) * 2018-12-18 2019-04-05 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
CN109584347B (zh) * 2018-12-18 2023-02-21 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
CN109859857A (zh) * 2019-01-30 2019-06-07 深圳安泰创新科技股份有限公司 身份信息的标注方法、装置和计算机可读存储介质
CN110348370A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种人体动作识别的增强现实系统及方法
CN110597442A (zh) * 2019-09-20 2019-12-20 北京华捷艾米科技有限公司 一种手机ar绘画方法及装置
CN110597442B (zh) * 2019-09-20 2021-03-16 北京华捷艾米科技有限公司 一种手机ar绘画方法及装置
CN110956571A (zh) * 2019-10-10 2020-04-03 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN110956571B (zh) * 2019-10-10 2024-03-15 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111862288A (zh) * 2020-07-29 2020-10-30 北京小米移动软件有限公司 一种位姿渲染方法、装置及介质
WO2023070870A1 (zh) * 2021-10-28 2023-05-04 歌尔股份有限公司 标识定位方法、装置、电子设备及计算机可读存储介质
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置

Similar Documents

Publication Publication Date Title
CN108629248A (zh) 一种实现增强现实的方法及设备
US11836943B2 (en) Virtual face model creation based on key point
KR102136241B1 (ko) 표정 검출 성능을 갖는 머리-장착형 디스플레이
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN106529409B (zh) 一种基于头部姿态的眼睛注视视角测定方法
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US20180158230A1 (en) Methods and Systems to Modify a Two Dimensional Facial Image to Increase Dimensional Depth and Generate a Facial Image That Appears Three Dimensional
WO2019168673A1 (en) Matching meshes for virtual avatars
CN106503671A (zh) 确定人脸姿态的方法和装置
US11417069B1 (en) Object and camera localization system and localization method for mapping of the real world
CN112602090A (zh) 用于插值不同输入的方法和系统
CN105118023B (zh) 基于人脸特征点的实时视频人脸卡通化生成方法
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
JP2004094917A (ja) 仮想化粧装置及びその方法
CN107730449B (zh) 一种人脸五官美化处理的方法及系统
US11482041B2 (en) Identity obfuscation in images utilizing synthesized faces
CN110717391A (zh) 一种基于视频图像的身高测量方法、系统、装置和介质
CN112509040A (zh) 对提供镜面反射和反射修改的表面进行基于图像的检测
CN111815768B (zh) 三维人脸重建方法和装置
JP2023521593A (ja) 視線追跡のための方法
CN110866139A (zh) 一种化妆处理方法、装置及设备
Barros et al. Combined Framework for Real-time Head Pose Estimation using Facial Landmark Detection and Salient Feature Tracking.
CN109754467A (zh) 三维人脸构建方法、计算机存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181009