CN108932051B - 增强现实图像处理方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种增强现实图像处理方法，包括：接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接，该请求中包括所述用户终端的摄像头参数；接收所述应用客户端发送的所述用户终端的方位信息及姿态信息；根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；将所述增强现实图像发送给所述应用客户端以进行展示。本申请还提供了相应的增强现实图像处理装置及存储介质。

Description

增强现实图像处理方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及增强现实图像处理方法、装置及存储介质。

背景技术

增强现实(Augmented Reality，AR)是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实。通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。目前已经应用在导航、信息查询、娱乐等。例如通过增强现实可以获取商户信息或者播放娱乐动画；甚至为用户显示当前位置、附近餐馆、旅游热点、公交站等信息。

发明内容

本申请实例提供了一种增强现实图像处理方法，包括：

接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；

接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接；

接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；

根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；

将所述增强现实图像发送给所述应用客户端以进行展示。

本申请实例提供了一种增强现实图像处理方法，包括：

向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据上述方法生成增强现实图像；

从所述应用服务器接收所述增强现实图像并展示。

本申请实例还提供了一种增强现实图像处理装置，包括：

图像接收单元，用于接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；

请求接收单元，用于接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接；

终端参数接收单元，用于接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

查找单元，用于根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；

增强现实图像生成单元，用于根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；

发送单元，用于将所述增强现实图像发送给所述应用客户端以进行展示。

本申请实例还提供了一种增强现实图像处理装置，包括：

请求模块，向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

获取模块，获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

发送模块，发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据权利要求1所述的方法生成增强现实图像；

展示模块，从所述应用服务器接收所述增强现实图像并展示。

本申请实例还提供一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如上述所述的方法。

采用本申请提供的上述方案，能够提供地上真实场景中的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是是本申请实例涉及的系统构架图；

图2是本申请一实例增强现实图像处理方法的流程图；

图3是本申请又一实例增强现实图像处理方法的流程图；

图4是本申请一实例中物体坐标系与设备坐标系的结构示意图；

图5是本申请一实例中物体坐标系的结构示意图；

图6是本申请一实例增强现实图像处理方法的消息交互图；

图7是本申请一实例增强现实图像处理装置的结构示意图；

图7A是本申请另一实例增强现实图像处理装置的结构示意图；以及

图8为本申请实例中的计算设备组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一些实例中，地铁作为现代化的交通工具，给人们的交通出行提供了极大的便利，但是和地上的交通工具比也存在一个问题：用户在乘坐地铁时无法看到地面上的真实环境，也因此在乘坐地铁时会遇到一些困扰，比如用户到了某站下车想到某一个位置而不确定从哪个地铁口出。又比如用户到了一个新的城市，在乘坐地铁时很难了解城市的真实环境。

为解决以上技术问题，本申请提出了一种增强现实图像处理方法，该方法可应用在如图1所示的系统架构中，如图1所示，该系统架构包括：采集终端101、服务器102及客户端103，采集终端101、服务器102及客户端103通过互联网进行通信。该采集终端101可以为任何具有视频采集功能的终端，例如可以为地上的监控摄像头，也可以为智能终端摄像头，采集终端采集真实场景中的视频信号，该视频信号可以为实时信号，采集终端101将采集到的真实场景中的视频发送给服务器102。该客户端103可以为用户的移动设备中的增强现实APP，当用户打开该增强现实APP后，向服务器102发送增强现实图像获取请求，同时定时向服务器102发送用户终端的方位信息，服务器102为用于图像处理的应用服务器，服务器102根据该方位信息将对应的视频信号生成增强现实视频，并将生成的视频发送给客户端103，以供用户观看。

本申请提供一种增强现实图像处理方法，该方法可应用在如图1所示的系统架构中的服务器102，如图2所示，该方法包括：

步骤201：接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中。

本申请采用市场占有率高并且相对稳定的iOS和android等智能设备进行图像的采集。理想的采样环境通常由多台部署在不同角度的摄像机组成，而且采样环境中光照效果应保持均匀、目标和相机之间的位置应固定。通过android或iOS平台的底层代码，调用智能设备的摄像头模块，将实时场景捕获到智能设备中。智能设备再将摄像头拍摄到的图片视频进行实时的图像转换，转换为系统支持的图像格式。智能终端同时还要收集采集到的图像的方位信息，该方位信息包括位置信息及方向信息，其中位置信息可以通过智能设备的GPS传感器将相关数据采集到，方向信息可以通过智能设备的电子罗盘得到。智能终端同时还需要收集图像亮度、大小等信息，为后续的图像处理提供支持。智能终端将采集到的图像、图像的GPS数据、方向数据等发送给服务器102。

例如，对于采集地铁地面上真实场景中的图像时，可以通过调用手机、相机等移动设备的摄像头，将地铁周围的实时场景捕获到。此外还需要收集图像的亮度、大小、位置及方向等信息，将采集到的图像以及图像的亮度、大小、位置、方向等信息通过网络传输协议传送到服务器。该网络传输协议可以为HTTP协议。

步骤202：接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接。

当用户想要观看AR图像时，例如地铁中的用户想要观看地面上的真实场景中的图像时，打开用户终端例如手机中的应用客户端，用以观看地面上的真实场景中的图像，该真实场景中的图像可以为视频。当用户打开应用客户端时，应用客户端向服务器102发送图像获取请求，用以建立应用客户端与服务器102之间的连接，进而在应用客户端与服务器102之间进行数据传输。

步骤203：接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数。

用户终端中的应用客户端展示AR图像时，当用户终端的方位、姿态及摄像头参数变化时，在应用客户端中展示的AR图像也会不同，因而应用客户端可以定时发送所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数，用户终端发送的时间间隔。例如，可以为5s、10s等。应用客户端也可以在所述用户终端的方位信息、姿态信息或摄像头参数发生变化时实时发送最新的方位信息、姿态信息或摄像头参数到服务器。所述方位信息包括位置信息及方向信息，其中位置信息可以通过用户终端的GPS传感器将相关数据采集到，方向信息可以通过用户终端的电子罗盘得到，假设用户终端水平放置，读数为0°时指示正北方向；读数为90°时是正东方向；读数为180°时为正南方向；读数为270°时为正西方向。由于电子罗盘敏感度高，数据会发生抖动。为有效的减少抖动，我们可以使用低通滤波器，从而有效的滤除抖动带来的影响。所述姿态信息包括用户终端的左右倾斜角及俯仰倾斜角，该左右倾斜角及俯仰倾斜角可以根据加速度传感器的数据计算得到。所述用户终端的摄像头参数包括相机焦距f、摄像头的感光芯片上像素的实际大小dx和dy，图像平面中心在图像坐标系上的像素坐标值μ₀及ν₀。其中，当用户需要观看AR视频打开手机上的该增强现实APP时，用户手机的摄像头启动一下后关闭，增强现实APP在摄像头启动时，获取摄像头的焦距初始值f0，在用户观看AR视频时，在视频展示界面上，设置焦距调节控件，用户点击该控件，增强现实APP响应于用户的操作，同时根据焦距初始值f0，获得当前的焦距f，并将该焦距f发送给服务器。dx和dy表示单个像素在图像平面横纵向的物理尺寸。

步骤204：根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像。

该方位信息包括用户终端的位置信息及方向信息，即用户终端的GPS数据及方向数据，服务器在图像数据库中保存的图像是将图像与该图像的GPS信息及方向信息关联保存，进而根据用户终端的GPS数据及方向数据在图像数据库中能够查找到对应的图像。该步骤能够保证用户在地下交通工具中能够观看到对应的地上的场景图像。例如，用户乘坐地铁10号线到达西土城站，打开应用客户端，能够观看地铁西土城站对应的地面上的视频，同时用户拿着用户终端的方向不同，观看的地面上的视频不同。服务器102在根据用户终端的GPS数据及方向数据查找对应的图像时，会设置一个误差范围，查找误差在预设值之内的GPS及误差在预设值之内的方向对应的图像。

步骤205：根据查找到的所述真实场景中的图像、所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数，生成增强现实图像。

根据在步骤204中查找到的真实场景中的图像，同时根据用户终端的GPS信息、方向信息、左右倾斜角、前后倾斜角及用户终端的摄像头参数，将所述真实场景中的图像转换为用户终端中的AR图像。具体地，提取出所述真实场景图像中的虚拟物体，并根据所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数，确定所述虚拟物体在用户终端的图像坐标系中的位置，即得到虚拟物体在用户终端的图像坐标系中的三维物体投影，根据虚拟物体的在用户终端的图像坐标系中的三维物体投影，同时计算虚拟物体在真实场景中的回放定位、遮挡、阴影效果等，对虚拟物体进行渲染，生成AR图像。

步骤206：将所述增强现实图像发送给所述应用客户端以进行展示。

将在步骤205中形成的AR图像发送给应用客户端进行展示，该AR图像可以为视频，AR视频在应用客户端中展示时，当用户终端的位置、方向、左右倾斜角、前后倾斜角及摄像头参数改变时，用户终端中展示的AR图像也会改变。

采用本申请提供的增强现实图像处理方法，在地上采集的真实场景的图像中提取虚拟物体，并根据地下交通工具中的用户终端的方位信息、姿态信息及倾斜角信息确定虚拟物体在用户终端的图像坐标系中的位置，进而生成AR图像，能够向用户终端提供地上真实场景中的图像。

在一些实例中，在上述步骤205中，在执行所述根据查找到的所述真实场景中的图像、所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数，确定增强现实图像时，如图3所示，包括以下步骤：

步骤301：根据所述用户终端的姿态信息，建立设备坐标系。

在这里，建立设备坐标系即建立相机坐标系，设备坐标系建立在用户终端上，如图4所示，该设备坐标系建立在用户的手机上，在相机所在平面建立坐标系的X轴及Y轴，设备坐标系的Z轴垂直于相机所在平面。在采集的图像上确定虚拟物体，在虚拟物体上建立的坐标系为物体坐标系，也即世界坐标系。认为虚拟物体与设备的位置及方向相同，即GPS数据及方向相同，因而可以认为设备坐标系与物体坐标系的位置及方向相同，那么设备坐标系相对于物体坐标系可能存在一定的夹角，即设备坐标系相对于物体坐标系可能存在左右倾斜角及前后倾斜角的角度偏移，因而相对于的物体坐标系，根据用户终端的姿态信息，即根据用户的左右倾斜角及前后倾斜角建立设备坐标系。

步骤302：根据所述用户终端的摄像头参数，确定设备坐标系到图像坐标系的第一变换矩阵。

设备坐标系中的坐标到图像坐标系中的像素坐标之间的变换矩阵为M1，其中，M1以以下公式(1)表示：

其中，M1为通过用户设备标定获取的内部参数，α_x＝f/dx，α_y＝f/dy，f为移动设备的相机焦距，dx和dy表示单个像素在图像平面横纵向的物理尺寸，即摄像头的感光芯片上像素的实际大小dx和dy，μ₀及ν₀为图像坐标系中的平面中心的像素的坐标值。

步骤303：根据所述真实场景中的图像确定一个或多个目标标记，针对任一目标标记，执行以下操作：

在上述步骤204中查找到的真实场景的图像中确定1个或多个目标标记，通过对采集的视频流中的图像进行检查，识别出合法的目标标记。例如，在采集终端采集的视频流的图像中存在3个物体，则在视频流的图像中确定该三个物体的目标标记。

上述步骤301-303为并行步骤。

步骤304：将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体。

模板数据库中包括多个模板图像，每一个模板图像对应一个物体，例如汽车的模板图像、道路的模板图像、高层建筑楼的模板图像等。模板数据库能够支持大量的识别物的识别。将确定的目标标记中的图像与模板数据库中的模板图像进行匹配，将匹配成功的模板图像对应的物体确定为与所述目标标记对应的虚拟物体。

步骤305：根据所述确定的虚拟物体建立物体坐标系。

在步骤304中确定目标标记对应的虚拟物体后，根据虚拟物体的中心确定目标标记的中心，在真实场景图像中目标标记的中心处建立物体坐标系，也即世界坐标系。建立的坐标系如图5所示，在图像所在平面建立物体坐标系的X轴、Y轴，Z轴垂直于图像所在平面。

步骤306：根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵。

第一变换矩阵为从设备坐标系到图像坐标系的变换矩阵，根据建立的物体坐标系及设备坐标系，能够确定从物体坐标系到设备坐标系的第二变换矩阵，根据第一变换矩阵及从物体坐标系到设备坐标系的第二变换矩阵，能够得到从物体坐标系到图像坐标系的变换矩阵。变换矩阵之间的关系以公式(2)表示：

其中，U_i、V_i为图像坐标系中的像素坐标，X_i、Y_i、Z_i为物体坐标系中的坐标，参考图5所示的物体坐标系，其中Z_i＝0。M1为第一变换矩阵，具体形式如公式(1)所示，M2为从物体坐标系到设备坐标系的变换矩阵，M2以公式(3)来表示：

其中，r为从物体坐标系到设备坐标系的旋转变换参数，t为从物体坐标系到设备坐标系的平移变换参数。

步骤307：根据所述物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置。

根据M1及M2能够确定从物体坐标系到图像坐标系的坐标变换矩阵，根据该变换矩阵，通过上述公式(2)，能够计算得到目标标记中的真实物体图像在用户终端的图像坐标系中的像素坐标，即确定了目标标记对应的虚拟物体在图像坐标系中的三维物体投影。

步骤308：根据每一个目标标记在图像坐标系中的位置确定增强现实图像。

根据在步骤307中得到的每一个目标标记在图像坐标系中的位置，对于每一个目标标记，根据通过模板匹配识别出的该目标标记对应的虚拟物体，以及目标标记中的图像，得到三维图像，对该三维图像进行渲染，得到AR图像。

在一些实例中，在上述步骤306中，在执行所述根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵时，包括以下步骤：

步骤S401：根据所述物体坐标系、设备坐标系，确定从物体坐标系到设备坐标系的第二变换矩阵。

第二变换矩阵的公式如公式(3)所示，在公式(3)右边的矩阵中，其中前三列为从物体坐标系到设备坐标系的旋转变换参数，最后一列为从物体坐标系到设备坐标系的平移变换矩阵。在物体坐标系和设备坐标系已知的情况下，通过四个共面不共线的已知点求得M2，即根据四个已知点在物体坐标系中的坐标X_i、Y_i、Z_i，以及在图像坐标系中的像素坐标U_i、V_i，可以得到M2用于旋转变换的前两列向量和用于平移变换的最后一列向量。根据旋转变换的正交性，可以求出用于旋转变换的第三列向量。

步骤S402：根据所述第二变换矩阵、第一变换矩阵，确定从物体坐标系到图像坐标系的变换矩阵。

根据上述公式(2)，可以得到从物体坐标系到图像坐标系的变换矩阵为矩阵M1与矩阵M2之间的乘积。

在一些实例中，在上述步骤307中，在执行所述根据所述从物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置时，包括：

针对所述目标标记中的任一像素点，根据所述从物体坐标系到图像坐标系的变换矩阵，确定该像素点在图像坐标系中的位置。

将目标标记的图像中的每一个像素点，根据建立的物体坐标系，确定该像素点在物体坐标系中的坐标，同时根据上述公式(2)，根据从物体坐标系到图像坐标系的变换矩阵，确定目标标记图像中每一个像素点在用户终端的图像坐标系中的像素坐标。

在一些实例中，在上述步骤303中，在执行所述根据所述真实场景中的图像确定1个或多个目标标记时，包括以下步骤：

步骤S501：将所述真实场景中的图像转换为黑白图像。

采集终端采集的视频流中的图像是由一个个的像素点构成的，每个像素点由RGB三个颜色分量组成，每个颜色分量的取值范围为[0，255]。图像RGB分量与YUV分量是可以相互转换的。利用转换公式可以实现图像所有像素点的RGB转换为YUV的Y分量值，即像素灰度值。转换公式以以下公式(4)表示：

得到每个像素点的灰度值后，将每个像素的灰度值与一预设阀值比较，大于该值则置为白色(0)，小于该值则置为黑色(255)。阈值化处理后的图像变成黑白图像。

步骤S502：在所述黑白图像中提取矩形形状的连通域作为目标标记。

在步骤S501中，经图像转换为黑白图像后，再执行轮廓提取继续对黑白图像进行处理，图像标记的形状是矩形，因此要对阈值之后的黑白图像进行跟踪标记，提取具有矩形形状的连通域。首先对所有轮廓为白色的连通域检测并标记，然后对其中连通域的形状进行判定，排除非矩形轮廓的连通域。所有提取到的矩形连通域看作是目标标记。

在一些实例中，在上述步骤304中，在执行所述将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体时，包括以下步骤：

步骤S601：计算目标标记中的图像与一个模板图像的相似度。

每一个模板图像对应一个物体，模板数据库中有多个模板图像，模板数据库能够支大量的识别物的识别。将目标标记与模板数据库中的模板图像进行匹配，计算目标标记与模板图像的相似度。相似度越高，模板图像对应的物体与目标标记对应的虚拟物体越相符。

步骤S602：将相似度满足预设条件的模板图像对应的物体确定为与所述目标标记对应的虚拟物体。预设条件的相似度可以为相似度最高，也可以为相似度大于一预设值。当出现目标标记与任何一个模板图像都不匹配的情况时，则将该目标标记丢弃。当识别出目标标记对应的虚拟物体后，该目标标记也可称为合法目标标记。

在一些实例中，在上述步骤S601中，在执行所述计算目标标记中的图像与一个模板图像的相似度时，包括以下步骤：

步骤S701：调整所述目标标记中图像的分辨率，使得所述目标标记中的图像与所述模板图像具有相同的像素尺寸。

步骤S702：对于目标标记图像中的任一像素点，计算该像素点与模板图像中对应像素点的灰度值的差值的平方；将计算得到的目标标记图像中与每一个像素点对应的灰度值的差值的平方进行加和，根据计算得到的加和值确定所述相似度。

将目标标记中的的图像与模板图像进行对比，对于目标标记中的一个像素点，计算该像素点与模板图像中对应像素点的差值的平方，将计算得到的所述差值的平方进行加和，根据加和得到的值确定所述相似度。具体地，相似度的计算公式如公式(5)所示：

其中，n和m分别表示图像宽高，g₁(x，y)表示目标标记图像的灰度值，g₂(x，y)表示模板图像像素点的灰度值。所述err的值越小，目标标记与模板图像的相似度越高。

在一些实例中，所述接收采集终端发送的地上真实场景中不同位置及方向的图像为实时图像。

采集终端可以定时采集地上的视频信号，采集终端定时采集地上真实场景中的视频，将采集的视频发送给服务器。当用户打开手机上的应用客户端时，向服务器发送AR视频请求，服务器将距离当前时间最近的采集的视频，采用上述所述的增强现实图像处理方法进行处理得到AR视频，将AR视频发送到用户手机中的应用客户端展示。从而使得用户可以观看地上最新的场景视频，提高了用户体验。

采集终端也可以采集实时的视频，例如，服务器建立与采集终端的连接，该连接用于传输采集终端采集到的实时的视频流，该视频流包括GPS及方向参数，当用户手机中的应用客户端请求AR视频时，服务器建立与该应用客户端的用于传输实时AR视频流的连接，同时根据用户手机的GPS及方向，查找对应的视频流进行AR处理，把处理后的AR视频以视频流的方式通过所述连接发送给用户手机中的应用客户端展示。

本申请实例提供了一种增强现实图像处理方法，该方法可应用于用户终端上的应用客户端，该方法包括如下步骤：

1、向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

2、获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

3、发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据前述实例提供的方法生成增强现实图像；

4、从所述应用服务器接收所述增强现实图像并展示。

当将本申请提供的增强现实图像处理方法应用在地下交通工具中的用户观看地上真实场景AR视频时，例如地铁中的用户，如图6所示，包括以下步骤：

步骤601：采集终端采集地铁地面上的真实场景图像，同时记录采集到的图像的GPS信息及方法信息。

步骤602：采集终端将采集到的不同GPS及方向的真实场景图像发送给服务器。

步骤603：服务器将不同GPS及不同方向的真实场景图像保存在图像数据库中。

步骤604：用户打开手机中的应用客户端，该应用客户端为观看地上真实场景AR视频的客户端。

步骤605：用户手机中的应用客户端向服务器发送AR图像获取请求。

步骤607：地铁中的地下的用户通过手机的GPS装置、电子罗盘及加速度传感器等传感器获得手机的GPS数据、方向数据、前后、左右倾斜角数据及摄像头参数。

步骤608：用户手机中的应用客户端将获取到的手机的GPS数据、方向数据、前后、左右倾斜角数据及摄像头参数发送给服务器。

步骤609：服务器根据手机的GPS数据及方向数据，在图像数据库中查找相同GPS及方向的图像。

步骤610：在步骤609中确定的图像中提取目标标记，将目标标记与模板数据中的模板图像进行匹配，确定目标标记对应的虚拟物体。在确定的真实场景图像中的目标标记对应的虚拟物体的中心建立物体坐标系。

步骤611：根据手机的左右、前后倾斜角数据建立设备坐标系，根据物体坐标系及设备坐标系确定从物体坐标系到设备坐标系的变换矩阵M2。

步骤612：根据用户手机的摄像头参数确定从设备坐标系到图像坐标系的变换矩阵M1，根据M1、M2确定从物体坐标系到图像坐标系的像素坐标的变换矩阵；

步骤613：根据步骤612中确定的从物体坐标系到图像坐标系的像素坐标的变换矩阵，确定目标标记中每一个像素点在用户手机的图像坐标系中的像素坐标u、v。

步骤614：对用户手机的图像坐标系中的目标标记对应的虚拟物体进行渲染，形成AR视频。

步骤615：将形成的AR视频发送到应用客户端展示。

本申请还提供一种增强现实图像处理装置700，应用在如图1所示的系统架构中的服务器102，如图7所示，该装置包括：

图像接收单元701，用于接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；

请求接收单元702，用于接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接；

终端参数接收单元703，用于接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

查找单元704，用于根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；

增强现实图像生成单元705，用于根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；

发送单元706，用于将所述增强现实图像发送给所述应用客户端以进行展示。

采用本申请提供的增强现实图像处理装置，在地上采集的真实场景的图像中提取虚拟物体，并根据地下交通工具中的用户终端的方位信息、姿态信息及倾斜角信息确定虚拟物体在用户终端的图像坐标系中的位置，进而生成AR图像，能够向用户终端提供地上真实场景中的图像。

在一些实例中，所述增强现实图像生成单元705，用于：

根据所述用户终端的姿态信息，建立设备坐标系；

根据所述用户终端的摄像头参数，确定设备坐标系到图像坐标系的第一变换矩阵；

根据所述真实场景中的图像确定一个或多个目标标记，针对任一目标标记，执行以下操作：

将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体；

根据所述确定的虚拟物体建立物体坐标系；

根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵；

根据所述从物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置；

根据每一个目标标记在图像坐标系中的位置生成所述增强现实图像。

在一些实例中，所述增强现实图像生成单元705，用于：

根据所述物体坐标系、设备坐标系，确定从物体坐标系到设备坐标系的第二变换矩阵；

根据所述第二变换矩阵、第一变换矩阵，确定所述从物体坐标系到图像坐标系的变换矩阵。

在一些实例中，所述增强现实图像生成单元705，用于：

针对所述目标标记中的任一像素点，根据所述从物体坐标系到图像坐标系的变换矩阵，确定该像素点在图像坐标系中的位置。

在一些实例中，所述增强现实图像生成单元705，用于：

将所述真实场景中的图像转换为黑白图像；

在所述黑白图像中提取矩形形状的连通域作为目标标记。

在一些实例中，所述增强现实图像生成单元705，用于：

计算目标标记中的图像与一个模板图像的相似度；

将相似度满足预设条件的模板图像对应的物体确定为与所述目标标记对应的虚拟物体。

在一些实例中，所述增强现实图像生成单元705，用于：

调整所述目标标记中图像的分辨率，使得所述目标标记中的图像与所述模板图像具有相同的像素尺寸；

对于目标标记图像中的任一像素点，计算该像素点与模板图像中对应像素点的灰度值的差值的平方；

将计算得到的目标标记图像中与每一个像素点对应的灰度值的差值的平方进行加和，根据计算得到的加和值确定所述相似度。

本申请还提供一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如上述所述的方法。

本申请实例还提供了一种增强现实图像处理装置700A，该装置可应用于应用客户端，包括：

请求模块711，向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

获取模块712，获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

发送模块713，发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据权利要求1所述的方法生成增强现实图像；

展示模块714，从所述应用服务器接收所述增强现实图像并展示。

图8示出了增强现实图像处理装置700及增强现实图像处理装置700A所在的计算设备的组成结构图。如图8所示，该计算设备包括一个或者多个处理器(CPU)802、通信模块804、存储器806、用户接口810，以及用于互联这些组件的通信总线808。

处理器802可通过通信模块804接收和发送数据以实现网络通信和/或本地通信。

用户接口810包括一个或多个输出设备812，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口810也包括一个或多个输入设备814，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器806可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器806存储处理器802可执行的指令集，包括：

操作系统816，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用818，包括用于增强现实图像处理的各种应用程序，这种应用程序能够实现上述各实例中的处理流程，比如可以包括增强现实图像处理装置700或700A中的部分或全部单元或者模块。增强现实图像处理装置700或700A中的各单元中的至少一个单元可以存储有机器可执行指令。处理器802通过执行存储器806中各单元/模块中至少一个单元/模块中的机器可执行指令，进而能够实现上述各单元或模块中的至少一个单元或模块的功能。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施例中的硬件模块可以以硬件方式或硬件平台加软件的方式实现。上述软件包括机器可读指令，存储在非易失性存储介质中。因此，各实施例也可以体现为软件产品。

各例中，硬件可以由专门的硬件或执行机器可读指令的硬件实现。例如，硬件可以为专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。

另外，本申请的每个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请，本申请还提供了一种非易失性存储介质，其中存储有数据处理程序，这种数据处理程序可用于执行本申请上述方法实例中的任何一种实例。

图8中装置或模块对应的机器可读指令可以使计算机上操作的操作系统等来完成这里描述的部分或者全部操作。非易失性计算机可读存储介质可以是插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器。安装在扩展板或者扩展单元上的CPU等可以根据指令执行部分和全部实际操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种增强现实图像处理方法，其特征在于，包括：

接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；

接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接；所述用户终端位于地下交通工具中；

接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；

根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；

将所述增强现实图像发送给所述应用客户端以进行展示。

2.根据权利要求1所述的方法，其中，所述根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，确定增强现实图像包括：

根据所述用户终端的姿态信息，建立设备坐标系；

根据所述用户终端的摄像头参数，确定设备坐标系到图像坐标系的第一变换矩阵；

根据所述真实场景中的图像确定一个或多个目标标记，针对任一目标标记，执行以下操作：

将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体；

根据所述确定的虚拟物体建立物体坐标系；

根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵；

根据所述从物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置；

根据每一个目标标记在图像坐标系中的位置生成所述增强现实图像。

3.根据权利要求2所述的方法，其中，所述根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵包括：

根据所述物体坐标系、设备坐标系，确定从物体坐标系到设备坐标系的第二变换矩阵；

根据所述第二变换矩阵、第一变换矩阵，确定所述从物体坐标系到图像坐标系的变换矩阵。

4.根据权利要求2所述的方法，其中，所述根据所述从物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置包括：

针对所述目标标记中的任一像素点，根据所述从物体坐标系到图像坐标系的变换矩阵，确定该像素点在图像坐标系中的位置。

5.根据权利要求2所述的方法，其中，所述根据所述真实场景中的图像确定一个或多个目标标记包括：

将所述真实场景中的图像转换为黑白图像；

在所述黑白图像中提取矩形形状的连通域作为目标标记。

6.根据权利要求2所述的方法，其中，所述将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体包括：

计算目标标记中的图像与一个模板图像的相似度；

将相似度满足预设条件的模板图像对应的物体确定为与所述目标标记对应的虚拟物体。

7.根据权利要求6所述的方法，其中，所述计算目标标记中的图像与一个模板图像的相似度包括：

调整所述目标标记中图像的分辨率，使得所述目标标记中的图像与所述模板图像具有相同的像素尺寸；

对于目标标记图像中的任一像素点，计算该像素点与模板图像中对应像素点的灰度值的差值的平方；

将计算得到的目标标记图像中与每一个像素点对应的灰度值的差值的平方进行加和，根据计算得到的加和值确定所述相似度。

8.一种增强现实图像处理方法，其特征在于，包括：

向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据权利要求1所述的方法生成增强现实图像；

从所述应用服务器接收所述增强现实图像并展示。

9.一种增强现实图像处理装置，其特征在于，包括：

图像接收单元，用于接收采集终端发送的地上真实场景中不同方位的图像，保存在图像数据库中；

请求接收单元，用于接收用户终端中的应用客户端发送的图像获取请求，建立与所述应用客户端之间的连接；所述用户终端位于地下交通工具中；

终端参数接收单元，用于接收所述应用客户端发送的所述用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；

查找单元，用于根据所述用户终端的方位信息，在图像数据库中查找对应的地上真实场景中的图像；

增强现实图像生成单元，用于根据查找到的所述真实场景中的图像、所述用户终端的姿态信息及所述用户终端的摄像头参数，生成增强现实图像；

发送单元，用于将所述增强现实图像发送给所述应用客户端以进行展示。

10.根据权利要求9所述的装置，其中，所述增强现实图像生成单元，用于：

根据所述用户终端的姿态信息，建立设备坐标系；

根据所述用户终端的摄像头参数，确定设备坐标系到图像坐标系的第一变换矩阵；

根据所述真实场景中的图像确定一个或多个目标标记，针对任一目标标记，执行以下操作：

将所述目标标记与模板数据库中的模板图像进行匹配，确定与所述目标标记对应的虚拟物体；

根据所述确定的虚拟物体建立物体坐标系；

根据所述物体坐标系、设备坐标系及所述第一变换矩阵确定从物体坐标系到图像坐标系的变换矩阵；

根据所述从物体坐标系到图像坐标系的变换矩阵确定所述目标标记在图像坐标系中的位置；

根据每一个目标标记在图像坐标系中的位置生成所述增强现实图像。

11.根据权利要求10所述的装置，其中，所述增强现实图像生成单元，用于：

根据所述物体坐标系、设备坐标系，确定从物体坐标系到设备坐标系的第二变换矩阵；

根据所述第二变换矩阵、第一变换矩阵，确定所述从物体坐标系到图像坐标系的变换矩阵。

12.根据权利要求10所述的装置，其中，所述增强现实图像生成单元，用于：

针对所述目标标记中的任一像素点，根据所述从物体坐标系到图像坐标系的变换矩阵，确定该像素点在图像坐标系中的位置。

13.根据权利要求10所述的装置，其中，所述增强现实图像生成单元，用于：

将所述真实场景中的图像转换为黑白图像；

在所述黑白图像中提取矩形形状的连通域作为目标标记。

14.一种增强现实图像处理装置，其特征在于，包括：

请求模块，向应用服务器发送图像获取请求，以使所述应用服务器建立与自身的连接；

获取模块，获取自身所在用户终端的方位信息、姿态信息及所述用户终端的摄像头参数；所述用户终端位于地下交通工具中；

发送模块，发送所述方位信息、所述姿态信息及所述摄像头参数至所述应用服务器，以使所述应用服务器根据权利要求1所述的方法生成增强现实图像；

展示模块，从所述应用服务器接收所述增强现实图像并展示。

15.一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如权利要求1-8任一项所述的方法。

Images