CN106600638A - 一种增强现实的实现方法 - Google Patents

Abstract

本发明公开了一种增强现实的实现方法，所述方法包括：采集现实场景的场景图像；根据所述场景图像确定所述现实场景中的物体的边缘轮廓；在所述现实场景与增强现实内容的结合过程中根据所述边缘轮廓对所述增强现实内容进行位置匹配。通过上述方式，能够将虚拟的增强现实内容与现实场景边缘轮廓相匹配，精准对位，进而为用户提供更加真实的观看效果。

Description

一种增强现实的实现方法

技术领域

本发明涉及计算机增强现实技术领域，特别是涉及一种增强现实的实现方法。

背景技术

增强现实技术是一种将屏幕上的虚拟世界套在现实世界中并进行互动的虚拟信息与现实信息相叠加的技术，广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。随着计算机技术的应用在人们的生活中越来越深入，以及人们需求的增加，能够拉近人与互联网之间距离的增强现实技术为人们的生活提供越来越多的便利，因而受到人们的青睐。

然而，由于各方面技术的原因，目前增强现实的显示中虚拟图像与现实场景的“融合”并不完善，在边缘轮廓的接合处容易出现“错位”情况，尤其是在图像采集设备相对于现实场景进行移动时尤其明显，严重影响了观看效果。

发明内容

本发明主要解决的技术问题是提供一种增强现实的实现方法，能够将增强现实的内容与现实场景中的物体精准对位，提供更加真实的观看效果。

为解决上述技术问题，本发明采用的技术方案是：提供一种增强现实的实现方法，包括：采集现实场景的场景图像；根据场景图像确定现实场景中的物体的边缘轮廓；在现实场景与增强现实内容的结合过程中根据边缘轮廓对增强现实内容进行位置匹配。

其中，场景图像包括深度图像；根据场景图像确定现实场景中的物体的边缘轮廓的步骤包括：根据深度图像的深度值确定边缘轮廓。

进一步地，场景图像包括颜色图像；根据场景图像确定现实场景中的物体的边缘轮廓的步骤包括：根据颜色图像的颜色值确定边缘轮廓。

进一步地，场景图像是RGB-D图像。

其中，在现实场景与增强现实内容的结合过程中根据边缘轮廓对增强现实内容进行位置匹配的步骤包括：根据边缘轮廓对增强现实内容的位置进行设置，以使得在现实场景与增强现实内容结合后所呈现的视觉效果中增强现实内容与物体的边缘匹配。

进一步地，在现实场景与增强现实内容的结合过程中根据边缘轮廓对增强现实内容进行位置匹配的步骤包括：根据边缘轮廓对增强现实内容相对于物体的运动规律进行设置。

进一步地，方法包括：根据场景图像确定场景图像的图像采集设备在现实场景中的位置信息；根据位置信息对增强现实内容进行视角匹配。

进一步地，方法包括：对图像采集设备的运动参数进行采集；根据场景图像确定场景图像的图像采集设备在现实场景中的位置信息的步骤进一步包括：根据运动参数确定位置信息。

其中，根据位置信息对增强现实内容进行视角匹配的步骤包括：根据位置信息对增强现实内容进行转动和/或缩放。

其中，在现实场景与增强现实内容的结合过程中根据边缘轮廓对增强现实内容进行位置匹配的步骤包括：利用同一显示设备同时显示现实场景和增强现实内容，或者利用不同的视觉投影设备分别将现实场景和增强现实内容投射到人眼。

本发明的有益效果是：区别于现有技术的情况，本发明通过对现实场景图像中的物体进行边缘轮廓的确定，进而将增强现实内容与其进行定位匹配，使得二者在接合时的对位更加精准，降低了出现增强现实内容与现实场景中的物体“错位”的几率，为用户带来更加真实的观看效果。

附图说明

图1是本发明增强现实的实现方法一实施的例流程示意图；

图2是本发明增强现实的实现方法一实施例中步骤S122的流程示意图。

具体实施方式

请参阅图1和图2，本发明增强现实的实现方法一实施例包括：

S110，采集现实场景的场景图像；

所谓增强现实是将真实世界信息和虚拟世界信息“无缝”集成的技术，使得真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。现实场景即增强现实技术当中的真实世界信息。

场景图像具体可以是深度图像，灰度图像以及具有颜色信息的彩色图像等中的至少一种。

场景图像可由深度相机(具体可以是RGB-D相机)，数码相机，手机摄像头，红外扫描仪等图像采集设备中的至少一种进行采集。

S121，根据场景图像确定现实场景中的物体的边缘轮廓；

物体的边缘轮廓在图像中是指图像局部强度变化最显著的部分。边缘轮廓的检测是对场景图像分析与识别的第一步，图像的其他特征都是由边缘和区域这些基本特征推导出来的，边缘识别的效果会直接影响图像的分割和识别性能。检测的方法的种类很多，如微分算子法、样板匹配法、小波检测法、神经网络法等，每一类检测法又有不同的具体方法。基于微分算子的边缘识别是目前较为常用的方法，通常用一阶或二阶导数来检测边缘。微分算子法中有Roberts，Sobel，Prewitt，Canny，Laplacian，Log以及MATLAB仿真等检测方法，在应用中可根据实际情况选择不同的算子。

当采集的场景图像为深度图像时，可根据深度图像中所包含的深度信息确定场景中物体的边缘轮廓。由于图像的边缘有方向和幅度两个属性，沿边缘方向深度变化平缓，垂直于边缘方向深度变化剧烈，即边缘处像素点的深度值突变，利用这种突变特征，采用一阶或二阶差分近似微分就可以进行边缘识别与检测。以深度图像的左上角为坐标原点，m和n代表像素的第m行，第n列，Z(m,n)代表像素点(m,n)的深度值。在距离图像中，用两个核对每个像素点(m,n)的八邻域做卷积，对于垂直的边缘和水平边缘相应最大为g₁，g₂，其公式为

g₁(m,n)＝[Z(m-1,n+1)+2Z(m,n+1)+Z(m+1,n+1)]

-[Z(m-1,n-1)+2Z(m,n-1)+Z(m+1,n-1)]

g₂(m,n)＝[Z(m-1,n-1)+2Z(m-1,n)+Z(m-1,n+1)]

-[Z(m+1,n-1)+2Z(m+1,n-1)+Z(m+1,n+1)]

通常边缘响应g(m,n)为

g(m,n)＝max{g₁(m,n),g₂(m,n)}

根据上述计算结果便可得到一幅深度图像对应的边缘图像。

在一个应用场景中，场景图像进一步包括颜色图像，具体可以是RGB三通道彩色图像，在其它应用场景中也可以是HSV空间中的彩色图像。在本应用场景中，主要利用场景的RGB彩色图像中每个像素点所对应的RGB色值，在x和y方向上求一阶导数或者二阶导数，最后根据求导结果确定现实场景中的物体的边缘轮廓。

在另一个场景中，场景图像是RGB-D图像，既包含有普通的具有颜色信息的RGB三通道彩色图像，又包含具有深度信息的Depth图像。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

S131，在现实场景与增强现实内容的结合过程中根据边缘轮廓对增强现实内容进行位置匹配。

对现实场景与增强现实内容的匹配通常可以采用图像识别技术进行，图像识别技术通常是以图像的主要特征为基础的。容易理解地，每个图像都有它的特征，如字母A有个尖，P有个圈、而Y的中心有个锐角等。例如将现实场景中所具有的特征A与增强现实内容的特征A’进行匹配。其中，特征A和特征A’可以是相同种类的特征，也可以是不同种类的特征。在本实施例中，主要根据现实场景中物体的边缘轮廓与增强现实内容进行匹配。当然，在其它实施例中也可以采用物体的其它特征例如场景图像中物体的色彩特征等进行匹配。

可选地，步骤S131包括：根据边缘轮廓对增强现实内容的位置进行设置；

容易理解地，在对增强现实内容的位置与现实场景的边缘轮廓进行匹配时，需要对增强现实内容的位置信息进行设置，以使得在现实场景与增强现实内容结合后所呈现的视觉效果中增强现实内容与物体的边缘匹配。其中，具体的位置信息包括增强现实内容相对于现实场景的坐标，以及姿态角等。

在一个应用场景中，增强现实内容为一只小狗的3D模型，要得到小狗在地面上跑动的视觉效果，则需要根据地面的边缘轮廓对3D小狗模型的足部的位置进行设置，使得其可以很好地贴合地面跑动，不会发生失实。

可选地，步骤S131包括：根据边缘轮廓对增强现实内容相对于物体的运动规律进行设置。

在对增强现实内容的位置与现实场景的边缘轮廓进行匹配时，若增强现实内容为动态内容，如视频，动画等时，需要将视频，动画等在每个变动的状态下均与现实场景的边缘轮廓相匹配。例如，增强现实内容为一个在桌面上滚动的塑胶球，并在桌子边缘掉落地面，则为了使其与现实场景桌面的边缘轮廓无缝接合，需要对塑胶球滚动的物理运动规律进行设置，以使其运动规律与桌面上的每个位置尤其在边缘轮廓处能够精准匹配。

可选地，步骤S110之后进一步包括：S122，根据场景图像确定场景图像的图像采集设备在现实场景中的位置信息；

具体地，本实施例中所涉及的增强现实的设备为利用同一显示设备同时显示现实场景和增强现实内容，例如手机，平板电脑，VR眼镜等，或者利用不同的视觉投影设备分别将现实场景和增强现实内容投射到人眼中的至少一种。

以手机为例，由于其属于同一台显示设备同时显示现实场景和增强现实内容，因此，图像采集设备便集成在手机内部。通常用户在使用手机进行观看时，往往希望通过改变手机的方位来对匹配后的内容进行不同方位的观测，然而运动的手机造成了现实场景中物体的不断变化，唯有通过确定手机等图像采集设备在现实场景中的位置信息并与增强现实内容的位置等信息进行配准，才能够保证当现实场景不断变化时增强现实的内容与现实场景匹配。

可选地，步骤S122进一步包括：

S1221，对图像采集设备的运动参数进行采集；

具体地，图像采集设备例如手机的运动参数主要通过手机中的惯性传感器(如陀螺仪、加速度计、重力加速度传感器、磁强计或者上述器件中至少两种的集成设备)，GPRS等中的至少一种进行获取。

其中，运动参数主要包括手机中各个采集端所采集到的手机与现实场景的相对坐标位置，速度，加速度以及角速度等。

S1222，根据运动参数确定位置信息；

根据惯性导航原理对图像采集设备的运动参数进行处理，进而获得各个采集端的空间位置坐标和轨迹信息，结合同一时刻各个数据采集端的空间位置坐标、轨迹信息和运动角度、速度可以推算下一时刻的空间位置坐标、轨迹信息和运动角度、速度，从而建立实时运动模型，以及图像采集设备的物理运动规律，并能够进一步确定其实时的位置信息。

可选地，步骤S122之后进一步包括：S132，根据位置信息对增强现实内容进行视角匹配。

容易理解地，在图像采集器不断运动的过程中，用户对现实场景观察的视角也在不断变化，在这种情况下如若不对增强现实内容进行调整，必然会造成增强现实内容与现实场景的边缘轮廓出现错位等的情况，因此，往往需要根据图像采集设备的运动的位置信息对增强现实内容的视角进行适当的调整，以与现实场景中物体边缘匹配。

可选地，步骤S132包括：根据位置信息对增强现实内容进行转动和/或缩放；

在图像采集器不断运动的过程中，具体如与图像采集器的距离以及姿态角等的变化，此时，需要根据图像采集设备的运动的位置信息对增强现实内容进行适当的调整，如转动和/或缩放等，以使得当图像采集器的角度发生改变时增强显示内容的姿态角也跟着改变，当图像采集器的距离改变时增强现实内容的大小也发生变化以与现实场景匹配。

通过上述实施例的实施，将预先设置的增强现实内容，根据现实场景中物体的边缘轮廓，将其与所获取的现实场景通过纹理映射、光照渲染以及添加阴影等方式整合在一起，实现几何一致，光照一致性，得到逼真的合成场景，进一步利用实时接收到的图像采集设备的位置信息对增强现实内容进一步修正、处理，从而使得生成的增强现实内容与实时变化的现实场景的中的物体的边缘轮廓精准接合，提供更真实的观看效果。

值得注意的是，步骤S110，S121，S131之外的步骤并非实现本发明的必选步骤，本领域技术人员可根据实际使用情况进行修改或省略。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种增强现实的实现方法，其特征在于，包括：

采集现实场景的场景图像；

根据所述场景图像确定所述现实场景中的物体的边缘轮廓；

在所述现实场景与增强现实内容的结合过程中根据所述边缘轮廓对所述增强现实内容进行位置匹配。

2.根据权利要求1所述的方法，其特征在于，所述场景图像包括深度图像；

所述根据所述场景图像确定所述现实场景中的物体的边缘轮廓的步骤包括：

根据所述深度图像的深度值确定所述边缘轮廓。

3.根据权利要求2所述的方法，其特征在于，所述场景图像进一步包括颜色图像；

所述根据所述场景图像确定所述现实场景中的物体的边缘轮廓的步骤包括：

根据所述颜色图像的颜色值确定所述边缘轮廓。

4.根据权利要求3所述的方法，其特征在于，

所述场景图像是RGB-D图像。

5.根据权利要求1所述的方法，其特征在于，所述在所述现实场景与增强现实内容的结合过程中根据所述边缘轮廓对所述增强现实内容进行位置匹配的步骤包括：

根据所述边缘轮廓对所述增强现实内容的位置进行设置，以使得在所述现实场景与增强现实内容结合后所呈现的视觉效果中所述增强现实内容与所述物体的边缘匹配。

6.根据权利要求5所述的方法，其特征在于，所述在所述现实场景与增强现实内容的结合过程中根据所述边缘轮廓对所述增强现实内容进行位置匹配的步骤进一步包括：

根据所述边缘轮廓对所述增强现实内容相对于所述物体的运动规律进行设置。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

根据所述场景图像确定所述场景图像的图像采集设备在所述现实场景中的位置信息；

根据所述位置信息对所述增强现实内容进行视角匹配。

8.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：

对所述图像采集设备的运动参数进行采集；

所述根据所述场景图像确定所述场景图像的图像采集设备在所述现实场景中的位置信息的步骤进一步包括：

根据所述运动参数确定所述位置信息。

9.根据权利要求7所述的方法，其特征在于，所述根据所述位置信息对所述增强现实内容进行视角匹配的步骤包括：

根据所述位置信息对所述增强现实内容进行转动和/或缩放。

10.根据权利要求7所述的方法，其特征在于，所述在所述现实场景与增强现实内容的结合过程中根据所述边缘轮廓对所述增强现实内容进行位置匹配的步骤包括：

利用同一显示设备同时显示所述现实场景和增强现实内容，或者利用不同的视觉投影设备分别将所述现实场景和增强现实内容投射到人眼。