CN107818596B - 一种场景参数确定方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种场景参数确定方法、装置及电子设备，以及一种面向增强现实的图像融合方法、装置及电子设备。其中所述场景参数确定方法包括：根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像；所述第二实景图像中包括所述物体的图像；根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。采用本申请提供的场景参数确定方法，可以通过用于衡量场景模型比例的物体的大小来估算场景模型的比例尺，当将虚拟图像放在场景模型中时，能够避免出现虚拟图像的大小从视觉上与实际场景的比例失真的现象。

Description

一种场景参数确定方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种场景参数确定方法、装置及电子设备。本申请同时涉及一种面向增强现实的图像融合方法、装置及电子设备。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

AR技术中有一种非标定的AR技术，也称为实时场景建模技术，它是通过摄像头获取的图像对现实世界进行实时建模，有了模型之后，就可以很方便的将虚拟图像叠加到真实场景中，以色列公司的Cimagine就是类似的产品，如图1所示。目前，通过手机单目摄像头的实时建模技术无法确定模型的比例，例如，图1中椅子的高度是100厘米，将该椅子的虚拟图像放在场景模型中，其大小从视觉上与实际场景的比例会出现失真的现象。

综上所述，现有技术存在无法确定目标场景的场景模型的比例尺的问题。

发明内容

本申请提供一种场景参数确定方法、装置及电子设备，以解决现有技术下无法确定目标场景的场景模型的比例尺的问题。本申请还提供一种面向增强现实的图像融合方法、装置及电子设备。

本申请提供一种场景参数确定方法，包括：

根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；

从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；

根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

可选的，还包括：

通过移动终端设备上配置的图像摄取装置，摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

可选的，所述构建所述目标场景的场景模型，采用如下方式：

通过预设的实时场景建模算法，根据所述至少一个实景图像构建所述场景模型。

可选的，所述从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，采用如下方式：

通过预设的图像识别算法，从所述第二实景图像中提取所述物体在所述第二实景图像中的图像。

可选的，所述预设的图像识别算法，包括：

根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；

根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

可选的，所述物体的特征信息集，采用如下步骤生成：

获取所述物体的图像；

通过预设的图像特征提取算法，从所述物体的图像中提取所述物体的特征信息，形成所述物体的特征信息集。

可选的，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；

所述确定所述场景模型的比例尺，包括：

通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；

将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

可选的，所述物体包括人体特定部位。

可选的，所述人体特定部位包括手掌。

可选的，所述手掌的特征信息是指手掌的生理特征信息；所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

可选的，所述场景模型包括用于实现增强现实的初始化场景模型。

相应的，本申请还提供一种场景参数确定装置，包括：

模型构建单元，用于根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；

物体图像提取单元，用于从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；

参数确定单元，用于根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

可选的，还包括：

实景图像摄取单元，用于通过移动终端设备上配置的图像摄取装置，摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

可选的，所述物体图像提取单元包括：

物体图像特征识别子单元，用于根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；

物体图像获取子单元，用于根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

可选的，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；

所述参数确定单元包括：

物体轮廓识别子单元，用于通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；

比例尺生成子单元，用于将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

相应的，本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现场景参数确定方法的程序，该设备通电并通过所述处理器运行该场景参数确定方法的程序后，执行下述步骤：根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

相应的，本申请还提供一种面向增强现实的图像融合方法，包括：

针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；

根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；

根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；

将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

可选的，所述虚拟物体包括三维虚拟物体；

所述确定预设的虚拟物体在所述实景图像中的呈现状态，采用如下方式：

根据所述距离和所述角度，确定所述虚拟物体在所述实景图像中呈现的虚拟图像及所述虚拟图像的尺寸；

相应的，所述将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置，采用如下方式：

将所述尺寸的所述虚拟图像叠加至所述实景图像中所述人体预设部位的位置。

可选的，还包括：

通过预设的图像特征提取算法，从所述人体预设部位的图像中提取所述人体预设部位的生理特征信息，形成所述人体预设部位的生理特征信息集；

存储所述人体预设部位的生理特征信息集。

可选的，所述将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置，包括：

根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述人体预设部位的图像在所述实景图像中的位置；

将所述呈现状态下的所述虚拟物体叠加至所述位置处。

可选的，所述人体预设部位包括手掌。

可选的，所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

可选的，所述图像摄取装置包括移动终端设备中配置的图像摄取装置。

相应的，本申请还提供一种面向增强现实的图像融合装置，包括：

标定物特征识别单元，用于针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；

机位确定单元，用于根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；

虚拟物体状态确定单元，用于根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；

图像叠加单元，用于将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

相应的，本申请还提供一种电子设备，包括：

图像摄取装置；

显示器；

处理器；以及

存储器，用于存储实现面向增强现实的图像融合方法的程序，该设备通电并通过所述处理器运行该面向增强现实的图像融合方法的程序后，执行下述步骤：针对所述图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

与现有技术相比，本申请提供的场景参数确定方法，根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像；所述第二实景图像中包括所述物体的图像；根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

使用本申请提供的场景参数确定方法，根据用于衡量场景模型比例的物体在实景图像中的尺寸及所述物体的预设尺寸，确定所述场景模型的比例尺；这种处理方式，可以通过用于衡量场景模型比例的物体的大小来估算场景模型的比例尺，当将虚拟图像放在场景模型中时，能够避免出现虚拟图像的大小从视觉上与实际场景的比例失真的现象。

附图说明

图1是本申请提供的一种场景参数确定方法的背景技术的使用示意图；

图2是本申请提供的一种场景参数确定方法的实施例的流程图；

图3是本申请提供的一种场景参数确定装置的实施例的示意图；

图4是本申请提供的一种电子设备的实施例的示意图；

图5是本申请提供的一种面向增强现实的图像融合方法的背景技术的使用示意图；

图6是本申请提供的一种面向增强现实的图像融合方法的实施例的流程图；

图7是本申请提供的一种面向增强现实的图像融合装置的实施例的示意图；

图8是本申请提供的一种电子设备的实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了一种场景参数确定方法、装置及电子设备，以及一种面向增强现实的图像融合方法、装置及电子设备。在下面的实施例中逐一进行详细说明。

本申请提供的场景参数确定方法，其核心的基本思想为：根据用于衡量场景模型比例的物体在实景图像中的尺寸及所述物体的预设尺寸，确定所述场景模型的比例尺。

请参考图1，其为本申请的场景参数确定方法实施例的流程图。所述方法包括如下步骤：

步骤S101：根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型。

所述场景模型又称为空间模型，包括但不限于用于实现增强现实的初始化场景模型，通过本申请提供的场景参数确定方法所构建的所述场景模型也可应用在其它图像处理的应用中。

要实施本申请提供的场景参数确定方法，首先需要通过图像摄取装置摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

所述第一实景图像是指，所述目标场景在某一拍摄角度所呈现的实际场景的图像。所述至少一个第一实景图像包括所述目标场景在多个拍摄角度所呈现的实际场景的多个图像。

所述第二实景图像是指，将所述预设的用于衡量场景模型比例的物体放置在所述目标场景中后、所拍摄到的包括该物体影像的所述目标场景的实际场景的图像。

所述图像摄取装置可以为配置在移动终端设备上的图像摄取装置。所述移动终端设备包括但不限于AR设备，例如，GOOGLE眼镜等，这些AR设备在摄像头拍摄的画面基础上，结合虚拟画面进行展示和互动。所述移动终端设备还可以为IPAD、手机等配置有摄像头的智能产品，只要在移动终端设备上部署本申请提供的场景参数确定方法，即可构建目标场景的场景模型、及确定目标场景的场景模型的比例尺。

所述图像摄取装置还可以为连接至个人电脑等电子设备的图像摄取装置。个人电脑等电子设备是固定位置放置、通常不变换位置的设备，而连接至个人电脑等电子设备的图像摄取装置本身是可以移动的，在通过图像摄取装置摄取目标场景的实景图像后，再通过个人电脑等电子设备运行本申请提供的场景参数确定方法，即可构建目标场景的场景模型、及确定目标场景的场景模型的比例尺。

此外，本申请提供的场景参数确定方法也可部署在服务器端，当通过移动终端设备上的图像摄取装置或连接至个人电脑等电子设备的图像摄取装置摄取到所述目标场景的至少一个第一实景图像及所述第二实景图像之后，所述移动终端设备或个人电脑等电子设备将所述至少一个第一实景图像及所述第二实景图像上传至服务器，服务器端将运行本申请提供的场景参数确定方法，以构建目标场景的场景模型、及确定目标场景的场景模型的比例尺。

本步骤可通过预设的实时场景建模算法进行具体的实施，以实现根据所述至少一个实景图像构建所述场景模型的功能。

实时场景建模技术又称为即时定位与地图构建(SLAM，simultaneouslocalization and mapping)、或并发建图与定位(CML，Concurrent Mapping andLocalization)。实时场景建模问题可以描述为：机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。通过实时场景建模技术，可根据目标场景的至少一个实景图像构建该场景的场景模型。

具体实施时，所述预设的实时场景建模算法主要需要考虑以下4个方面：1)地图表示问题；2)信息感知问题；3)数据关联问题；4)定位与构图问题，此外，还有回环检测问题，探索问题(exploration)，以及绑架问题(kidnapping)。

由于实时场景建模技术是一种较为成熟的现有技术，此处不再赘述。下面仅列举几个目前比较有名的实时场景建模算法：PTAM、MonoSLAM、ORB-SLAM、RGBD-SLAM、RTAB-SLAM、LSD-SLAM等。

通过本步骤生成所述目标场景的场景模型，然而，还无法确定场景模型的比例尺，因此，需要结合以下步骤确定场景模型的比例尺。要确定场景模型的比例尺，首先需要进入下一步骤，从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像。

步骤S103：从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像。

所述第二实景图像包括所述预设的用于衡量场景模型比例的物体的图像。所述预设的用于衡量场景模型比例的物体，包括但不限于：人体特定部位，还可以为其它物体，例如，钞票、身份证、信用卡、杂志等。

由于钞票、身份证等身外物体需要额外携带，因此，可优先选用所述人体特定部位作为所述预设的用于衡量场景模型比例的物体。

所述人体特定部位可以为手掌等特定部位。由于人的手掌大小变化并不大，因此，所述人体特定部位可优先选用手掌部位。

所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

作为一种可选的方案，可以选取特定币种的特定面额的钞票作为所述预设的用于衡量场景模型比例的物体，例如，选取100元的第五套人民币或50元的第五套人民币作为所述预设的用于衡量场景模型比例的物体。

所述钞票的特征信息即钞票的特征点信息，可以通过多种图像特征提取算法(如：FAST特征提取算法、SIFT特征提取算法、SURF特征提取算法、ORB特征提取算法)，提取钞票的特征点。

所述钞票的特征信息包括以下特征信息的至少一者：图像纹理特征信息，图像灰度变化特征信息，图像颜色分布特征信息，图像角点特征信息，及其它能够表征钞票特征的信息。

此外，还可以选取特定版本的身份证作为所述预设的用于衡量场景模型比例的物体，例如，选取第二代身份证作为所述预设的用于衡量场景模型比例的物体。所述身份证的特征信息及提取方法均与所述钞票的特征信息及提取方法类似，此处不再赘述。

本步骤在具体实施时，可通过预设的图像识别算法，从所述第二实景图像中提取所述物体在所述第二实景图像中的图像。

所述预设的图像识别算法可采用现有技术下任意一种图像识别算法，例如，基于机器学习的图像识别算法或基于模板匹配的算法等。其中，常用的基于机器学习的图像识别算法包括基于CNN(卷积神经网络)模型的图像识别算法、基于SVM(支持向量机)模型的图像识别算法等；常用的基于模板匹配的图像识别算法包括边缘检测的图像识别算法、肤色匹配的图像识别算法等。由于各种图像识别算法均属较为成熟的现有技术，此处不再赘述。

作为一种优选的方案，所述预设的图像识别算法，可包括如下步骤：1)根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；2)根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

要采用这种优选方案从所述第二实景图像中提取所述物体在所述第二实景图像中的图像，需要首先生成所述物体的特征信息集。所述物体的特征信息集，可采用如下步骤生成：第一步，获取所述物体的图像；第二步，通过预设的图像特征提取算法，从所述物体的图像中提取所述物体的特征信息，形成所述物体的特征信息集。

图像特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量，即本申请所述的特征信息集。

所述预设的图像特征提取算法，包括但不限于：FAST特征提取算法、SIFT特征提取算法、SURF特征提取算法、或ORB特征提取算法。上述各种特征提取算法均为较成熟的现有技术，此处不再赘述。

下面对上述步骤1及步骤2作简要说明。

步骤1)根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息。

所述预先记录的所述物体的特征信息集，包括特征点(如SIFT，SURF，ORB等)的集合，这些特征点主要用于描述所述物体的纹理、肤色、轮廓约束特征。

根据预先记录的所述物体的特征信息集，能够从第二实景图像中提取出所述物体在所述第二实景图像中的特征信息。在本实施例中，所述用于衡量场景模型比例的物体采用人的手掌，相应的，本步骤的实施可采用如下方式：首先，通过基于特征点(如：SIFT，SURF和ORB)匹配的方法，可以直接通过特征点对应的计算方法，匹配第二实景图像中是否出现某一个或多个特征点，从而得到第二实景图像中特征点对应记录的特征点空间变换关系，例如，大小变化和方向变化等；然后，可再根据轮廓和肤色约束特征过滤错误的匹配结果，由此即可在第二实景图像中匹配到已记录的人体手掌的特征信息，即：获取到所述物体在所述第二实景图像中的特征信息。

步骤2)根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

从第二实景图像中提取出所述物体在所述第二实景图像中的特征信息之后，根据这些特征信息就可以确定所述物体在所述第二实景图像中的图像。

作为另一种优选的方案，所述预设的图像识别算法，还可采用如下方式：首先，通过机器学习算法(如神经网络、SVM)训练得到用于识别所述物体的特征的模型，并保存模型参数信息；然后，可以直接将第二实景图像作为该模型的输入图像，经过模型计算后，即可在第二实景图像中匹配到已记录的人体手掌的特征信息。

通过本步骤提取出所述物体在所述第二实景图像中的图像之后，就可以进入下一步骤，根据该图像的尺寸与所述物体的预设尺寸之间的比例，确定步骤S101构建的场景模型的比例尺。

步骤S105：根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

所述物体的预设尺寸，从设置方式划分，包括但不限于：根据统计等手段确定的所述物体的平均尺寸，还可以为其它具有代表性的所述物体的尺寸。

所述物体的预设尺寸，从指标类型划分，包括但不限于：所述物体轮廓的预设尺寸，还可以为所述物体面积的预设尺寸等。相应的，所述图像的尺寸包括但不限于：所述图像轮廓的预设尺寸，还可以为所述图像面积的预设尺寸等。

在本实施例中，所述图像的尺寸采用所述图像轮廓的预设尺寸，所述物体的预设尺寸采用所述物体轮廓的预设尺寸，所述物体的预设尺寸根据统计手段确定，为所述物体的平均尺寸。

具体实施时，本步骤可包括如下具体步骤：1)通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；2)将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。下面对上述步骤1及步骤2作简要说明。

1)通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓。

所述预设的图像轮廓识别算法包括但不限于：基于模板的图像轮廓识别算法或基于机器学习的图像轮廓识别算法，还可以为其它图像轮廓识别算法，例如，Sobel、Canny算法等。由于各种图像轮廓识别算法均属较为成熟的现有技术，此处不再赘述。

2)将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

以图一为例对本步骤进行说明，当对目标场景建模后，假设手掌轮廓坐标所在三维空间坐标分别为：(0,0,0),(0,1,0),(0,0,2),(0,1,2)，由此可知手掌轮廓的宽度对应三维空间一个单位长度，手掌轮廓的高度对应三维空间长度两个单位长度，假设手掌的预设宽度为平均值5厘米、预设高度为平均值10厘米，则可以推算出三维空间一个单位长度对应实际空间的5厘米，在三维空间摆放椅子模型时，就可以根据椅子高100厘米，对应算出应该在三维空间对应20个单位长度，从而就知道在图像上如何绘制椅子，绘制多大。

在本实施例中，所构建的场景模型为用于实现增强现实的初始化场景模型。在实现增强现实时，图像摄取装置会实时变换摄像角度及位置，因此，在构建初始化场景模型后，还需要对目标场景进行实时场景建模和跟踪的处理。因此，本申请提供的场景参数确定方法，还包括：根据确定模型比例尺的初始化场景模型，对所述目标场景进行实时场景建模和跟踪的处理。由于基于初始化场景模型对目标场景进行实时场景建模和跟踪的处理属于较为成熟的现有技术，此处不再赘述。

在上述的实施例中，提供了一种场景参数确定方法，与之相对应的，本申请还提供一种场景参数确定装置。该装置是与上述方法的实施例相对应。

请参看图3，其为本申请的场景参数确定装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种场景参数确定装置，包括：

模型构建单元101，用于根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；

物体图像提取单元103，用于从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；

参数确定单元105，用于根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

可选的，还包括：

实景图像摄取单元，用于通过移动终端设备上配置的图像摄取装置，摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

可选的，所述物体图像提取单元103包括：

物体图像特征识别子单元，用于根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；

物体图像获取子单元，用于根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

可选的，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；

所述参数确定单元105包括：

物体轮廓识别子单元，用于通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；

比例尺生成子单元，用于将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

请参考图4，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器101；以及存储器102，所述存储器102用于存储实现场景参数确定方法的程序，该设备通电并通过所述处理器101运行该场景参数确定方法的程序后，执行下述步骤：根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺。

与上述的方法相对应，本申请还提供一种面向增强现实的图像融合方法。下面首先对现有技术下的面向增强现实的图像融合方法及其存在的问题作简要说明。

增强现实技术还有一种标定的AR技术。标定的AR技术是指，事先对跟踪物体进行标定，简称标定物，存储其特征信息，摄像头实时识别跟踪标定物特征信息，以获取摄像头相对标定物的位置和角度信息，从而知道虚拟图像应该叠加在摄像头获取的图像的什么位置。目前常用的标定物有钞票、身份证等身外物品，如图5所示。但是，由于这种AR方法需要额外物品，用户很难随时随地、想用就用。

综上所述，现有技术存在需要用户携带作为标定物的额外物品的问题，从而导致用户使用不方便、降低了用户体验。

请参考图6，其为本申请提供的一种面向增强现实的图像融合方法实施例的流程图，本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种方法包括：

步骤S101：针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息。

所述人体预设部位，其作用为：作为确定所述虚拟物体叠加在实景图像中的位置及姿态的标定物。所述人体预设部位可以为手掌等特定人体部位。所述人体特定部位的特征信息是指生理特征信息。

由于人的手掌大小变化并不大，因此，所述人体特定部位可优先选用手掌部位。所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

要实施本申请提供的面向增强现实的图像融合方法，首先需要通过图像摄取装置摄取实景图像。当摄取到实景图像包括所述人体预设部位的生理特征信息时，则可以根据本申请提供的方法将虚拟物体叠加在实景图像中；如果摄取到实景图像不包括所述人体预设部位的生理特征信息时，则无需将虚拟物体叠加在实景图像中。

所述图像摄取装置可以为具有单目摄像头的图像摄取装置、具有双目摄像头的图像摄取装置或者具有带有景深信息的深度摄像头的图像摄取装置。

所述图像摄取装置可以为配置在移动终端设备上的图像摄取装置。所述移动终端设备包括但不限于AR设备，例如，GOOGLE眼镜等，这些AR设备在摄像头拍摄的画面基础上，结合虚拟画面进行展示和互动。所述移动终端设备还可以为IPAD、手机等配置有摄像头的智能产品，只要在移动终端设备上安装AR软件就可以实现AR的功能。

所述图像摄取装置还可以为连接至个人电脑等电子设备的图像摄取装置。个人电脑等电子设备是固定位置放置、通常不变换位置的设备，而连接至个人电脑等电子设备的图像摄取装置本身是可以移动的，在通过图像摄取装置摄取实景图像后，再通过个人电脑等电子设备运行本申请提供的面向增强现实的图像融合方法，即可实现AR的功能。

要实施本申请提供的面向增强现实的图像融合方法，需要首先生成所述人体预设部位的生理特征信息集。具体实施时，生成所述人体预设部位的生理特征信息集的步骤，可包括如下具体步骤：1)通过预设的图像特征提取算法，从所述人体预设部位的图像中提取所述人体预设部位的生理特征信息，形成所述人体预设部位的生理特征信息集；2)存储所述人体预设部位的生理特征信息集。

所述预设的图像特征提取算法，包括但不限于：FAST特征提取算法、SIFT特征提取算法、SURF特征提取算法、或ORB特征提取算法。上述各种特征提取算法均为较成熟的现有技术，此处不再赘述。

本步骤S101根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息。

在本实施例中，所述人体预设部位采用手掌部位。所述手掌部位的特征信息集，包括特征点(如SIFT，SURF，ORB等)的集合，这些特征点主要用于描述所述物体的纹理、肤色、轮廓约束特征或者其他机器学习算法(如神经网络、SVM)训练后得到的模型参数信息。

根据预先记录的所述人体预设部位的特征信息集，能够从实景图像中提取出所述人体预设部位在所述实景图像中的特征信息。

步骤S103：根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度。

本步骤根据上一步骤获取到的所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度。具体实施时，可通过二维图像估算三维位置的算法进行处理。通过二维图像估算三维位置的算法为较成熟的现有技术，在OpenCV和ARToolKit等工具中均有提供，此处不再赘述。

步骤S105：根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态。

通过上一步骤已知所述图像摄取装置的机位信息(所述距离和角度)后，就可以计算三维实景到所述图像摄取装置获取的二维图像的变换矩阵，通过这个矩阵则可以精确知道虚拟物体在所述实景图像中的呈现状态。这个处理过程属于较为成熟的现有技术，此处不再赘述。

所述虚拟物体包括但不限于三维虚拟物体，也可以为平面虚拟物体等。当所述虚拟物体为三维虚拟物体时，所述虚拟物体的呈现状态，可包括两个方面：呈现的虚拟图像及所述虚拟图像的尺寸。

当所述图像摄取装置相对于所述人体预设部位的距离越远时，则所述虚拟物体在所述实景图像中的尺寸越小；当所述图像摄取装置相对于所述人体预设部位的距离越近时，则所述虚拟物体在所述实景图像中的尺寸越大。

当所述虚拟物体为三维虚拟物体时，根据所述图像设置装置对所述人体特定部位的不同拍摄角度，在所述实景图像中显示所述虚拟物体在不同拍摄角度下的虚拟图像。通过用户对所述图像设置装置旋转角度，可以看清虚拟物体的全貌。

步骤S107：将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

要实现本步骤，首先需要根据步骤S101所识别出的所述实景图像包括的所述人体预设部位的生理特征信息，确定所述人体预设部位的图像在所述实景图像中的位置；然后，就可以将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

由于本实施例采用三维虚拟物体作为虚拟物体，因此，所述将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置，采用如下方式：将所述尺寸的所述虚拟图像叠加至所述实景图像中所述人体预设部位的位置。

本申请提供的面向增强现实的图像融合方法，利用手掌等人体特定部位作为标定物，使得AR技术的使用不再局限在特定场景下，可以随时随地使用，从而达到了提高用户体验的效果。

在上述的实施例中，提供了一种面向增强现实的图像融合方法，与之相对应的，本申请还提供一种面向增强现实的图像融合装置。该装置是与上述方法的实施例相对应。

请参看图7，其为本申请的面向增强现实的图像融合装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种面向增强现实的图像融合装置，包括：

标定物特征识别单元101，用于针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；

机位确定单元103，用于根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；

虚拟物体状态确定单元105，用于根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；

图像叠加单元107，用于将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

请参考图8，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：图像摄取装置101；显示器102；处理器103；以及存储器104，所述存储器104用于存储实现面向增强现实的图像融合方法的程序，该设备通电并通过所述处理器103运行该面向增强现实的图像融合方法的程序后，执行下述步骤：针对所述图像摄取装置101摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (23)

1.一种场景参数确定方法，其特征在于，包括：

根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；

从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；

根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺；其中，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；

所述确定所述场景模型的比例尺，包括：通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

2.根据权利要求1所述的场景参数确定方法，其特征在于，还包括：

通过移动终端设备上配置的图像摄取装置，摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

3.根据权利要求2所述的场景参数确定方法，其特征在于，所述构建所述目标场景的场景模型，采用如下方式：

通过预设的实时场景建模算法，根据所述至少一个实景图像构建所述场景模型。

4.根据权利要求1所述的场景参数确定方法，其特征在于，所述从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，采用如下方式：

通过预设的图像识别算法，从所述第二实景图像中提取所述物体在所述第二实景图像中的图像。

5.根据权利要求4所述的场景参数确定方法，其特征在于，所述预设的图像识别算法，包括：

根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；

根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

6.根据权利要求5所述的场景参数确定方法，其特征在于，所述物体的特征信息集，采用如下步骤生成：

获取所述物体的图像；

通过预设的图像特征提取算法，从所述物体的图像中提取所述物体的特征信息，形成所述物体的特征信息集。

7.根据权利要求1所述的场景参数确定方法，其特征在于，所述物体包括人体特定部位。

8.根据权利要求7所述的场景参数确定方法，其特征在于，所述人体特定部位包括手掌。

9.根据权利要求8所述的场景参数确定方法，其特征在于，所述手掌的特征信息是指手掌的生理特征信息；所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

10.根据权利要求1所述的场景参数确定方法，其特征在于，所述场景模型包括用于实现增强现实的初始化场景模型。

11.一种场景参数确定装置，其特征在于，包括：

模型构建单元，用于根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；

物体图像提取单元，用于从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；

参数确定单元，用于根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺；

其中，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；

所述参数确定单元包括：

物体轮廓识别子单元，用于通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；

比例尺生成子单元，用于将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

12.根据权利要求11所述的场景参数确定装置，其特征在于，还包括：

实景图像摄取单元，用于通过移动终端设备上配置的图像摄取装置，摄取所述目标场景的至少一个第一实景图像及所述第二实景图像。

13.根据权利要求11所述的场景参数确定装置 ，其特征在于，所述物体图像提取单元包括：

物体图像特征识别子单元，用于根据预先记录的所述物体的特征信息集，获取所述物体在所述第二实景图像中的特征信息；

物体图像获取子单元，用于根据所述物体在所述第二实景图像中的特征信息，获取所述物体在所述第二实景图像中的图像。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现场景参数确定方法的程序，该设备通电并通过所述处理器运行该场景参数确定方法的程序后，执行下述步骤：根据目标场景的至少一个第一实景图像，构建所述目标场景的场景模型；从所述目标场景的第二实景图像中提取预设的用于衡量场景模型比例的物体的图像，所述第二实景图像中包括所述物体的图像；根据所述图像的尺寸与所述物体的预设尺寸之间的比例，确定所述场景模型的比例尺；其中，所述物体的预设尺寸包括所述物体轮廓的预设尺寸；所述确定所述场景模型的比例尺，包括：通过预设的图像轮廓识别算法，从所述物体的图像中提取所述物体的轮廓；将所述轮廓的尺寸与所述物体轮廓的预设尺寸之间的比例作为所述比例尺。

15.一种面向增强现实的图像融合方法，其特征在于，包括：

针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；

根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；

根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；

将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

16.根据权利要求15所述的面向增强现实的图像融合方法，其特征在于：

所述虚拟物体包括三维虚拟物体；

所述确定预设的虚拟物体在所述实景图像中的呈现状态，采用如下方式：

根据所述距离和所述角度，确定所述虚拟物体在所述实景图像中呈现的虚拟图像及所述虚拟图像的尺寸；

相应的，所述将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置，采用如下方式：

将所述尺寸的所述虚拟图像叠加至所述实景图像中所述人体预设部位的位置。

17.根据权利要求15所述的面向增强现实的图像融合方法，其特征在于，还包括：

通过预设的图像特征提取算法，从所述人体预设部位的图像中提取所述人体预设部位的生理特征信息，形成所述人体预设部位的生理特征信息集；

存储所述人体预设部位的生理特征信息集。

18.根据权利要求15所述的面向增强现实的图像融合方法，其特征在于，所述将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置，包括：

根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述人体预设部位的图像在所述实景图像中的位置；

将所述呈现状态下的所述虚拟物体叠加至所述位置处。

19.根据权利要求15所述的面向增强现实的图像融合方法，其特征在于，所述人体预设部位包括手掌。

20.根据权利要求19所述的面向增强现实的图像融合方法，其特征在于，所述手掌的生理特征信息包括以下生理特征信息的至少一者：手掌颜色特征信息，手掌轮廓特征信息，手指缝隙特征信息，手掌和手指上的主手纹特征信息，手纹和轮廓的空间约束特征信息。

21.根据权利要求15所述的面向增强现实的图像融合方法，其特征在于，所述图像摄取装置包括移动终端设备中配置的图像摄取装置。

22.一种面向增强现实的图像融合装置，其特征在于，包括：

标定物特征识别单元，用于针对图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；

机位确定单元，用于根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；

虚拟物体状态确定单元，用于根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；

图像叠加单元，用于将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

23.一种电子设备，其特征在于，包括：

图像摄取装置；

显示器；

处理器；以及

存储器，用于存储实现面向增强现实的图像融合方法的程序，该设备通电并通过所述处理器运行该面向增强现实的图像融合方法的程序后，执行下述步骤：针对所述图像摄取装置摄取到的实景图像，根据预先记录的人体预设部位的生理特征信息集，识别所述实景图像包括的所述人体预设部位的生理特征信息；根据所述实景图像包括的所述人体预设部位的生理特征信息，确定所述图像摄取装置相对于所述人体预设部位的距离和角度；根据所述距离和所述角度，确定预设的虚拟物体在所述实景图像中的呈现状态；将所述呈现状态下的所述虚拟物体叠加至所述实景图像中所述人体预设部位的位置。

Images