CN109712249A - 地理要素增强现实方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种地理要素增强现实方法及装置，其中，所述方法包括：获得待处理图像及待处理图像对应的方位元素；获得表征地理要素的第一坐标集；将第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将第二坐标集转换为第三坐标集；依据方位元素，将第三坐标集转换到像平面坐标系，得到第四坐标集，并从第四坐标集中确定出目标坐标集；将目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像。与现有技术相比，本发明提供的地理要素增强现实方法及装置，实现了地理要素在地图学上的抽象和表达。

Description

地理要素增强现实方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种地理要素增强现实方法及装置。

背景技术

增强现实技术，是一种在影像(一般为视频)上有目的地叠加显示文字、图形、图像或三维模型等信息的技术，这种技术能够把虚拟事物套在现实世界的表象上进行显示、甚至交互。

目前针对室内的应用场景，基于穿戴设备、智能终端或固定平台的摄像机等设备，已经有比较成熟实用的增强现实技术应用案例，例如：倒车影像辅助线、直播间或短视频里可互动的虚拟饰物、体育赛事直播的国别图标和虚拟吉祥物，以及增强现实的电子游戏(如Pokemon GO)等；但是现有的增强现实技术，缺乏地图学上对地理要素的抽象和表达。

发明内容

本发明的目的在于提供一种地理要素增强现实方法及装置，以改善现有技术中缺乏地图学上对地理要素的抽象和表达的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，在本发明实施例提供了一种地理要素增强现实方法，所述方法包括：获得待处理图像及所述待处理图像对应的方位元素；获得表征地理要素的第一坐标集；将所述第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将所述第二坐标集转换为第三坐标集；依据所述方位元素，将所述第三坐标集转换到像平面坐标系，得到第四坐标集，并从所述第四坐标集中确定出目标坐标集；将所述目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据所述目标像素坐标集对所述待处理图像进行渲染，得到增强现实图像。

第二方面，本发明实施例提供了一种地理要素增强现实装置，所述装置包括：获取模块，用于获得待处理图像及所述待处理图像对应的方位元素；获得表征地理要素的第一坐标集；处理模块，用于将所述第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将所述第二坐标集转换为第三坐标集；依据所述方位元素，将所述第三坐标集转换到像平面坐标系，得到第四坐标集，并从所述第四坐标集中确定出目标坐标集；将所述目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据所述目标像素坐标集对所述待处理图像进行渲染，得到增强现实图像。

相对现有技术，本发明实施例具有以下有益效果：

本发明实施例提供的一种地理要素增强现实方法及装置，通过将表征地理要素的第一坐标集转换到摄影测量坐标系，得到第二坐标集，并将第二坐标集依据中心投影关系，转换为第三坐标集，将第三坐标集转换到像平面坐标系，得到第四坐标集，并从第四坐标集中确定出目标坐标集，将目标坐标集转换到像素坐标系下，得到目标像素坐标系得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像。与现有技术相比，通过表征地理要素的第一坐标集进行转换及确定，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像，实现了地理像素在地图学上的抽象和表达，进而实现使得增强现实后的影像具备地图般的可量测性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术用户员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的方框示意图。

图2示出了本发明实施例提供的地理要素增强现实方法的流程图。

图3示出了本发明实施例提供的第一平面示意图。

图4示出了本发明实施例提供的第二平面示意图。

图5示出了本发明实施例提供的第三平面示意图。

图6示出了本发明实施例提供的投影坐标集的投影示意图。

图7示出了本发明实施例提供的光束投影示意图。

图8示出了本发明实施例提供的像平面投影示意图。

图9示出了本发明实施例提供的地理要素增强现实装置的方框示意图。

图标：100-电子设备；101-处理器；102-存储器；103-总线；104-通信接口；200-增强现实装置；201-获取模块；202-处理模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的集件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术用户员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

增强现实技术，是一种在影像(一般为视频)上有目的地叠加显示文字、图形、图像或三维模型等信息的技术，这种技术能够把虚拟事物套在现实世界的表象上进行显示、甚至交互。

目前针对室内的应用场景，基于穿戴设备、智能终端或固定平台的摄像机等设备，已经有比较成熟实用的增强现实技术应用案例，例如：倒车影像辅助线、直播间或短视频里可互动的虚拟饰物、体育赛事直播的国别图标和虚拟吉祥物，以及增强现实的电子游戏(如Pokemon GO)等。

目前针对户外应用场景，如搭载摄像机的无人飞行器系统，在其行业应用方面的增强现实技术还不成熟。

增强现实的关键技术问题是如何对渲染信息进行像素级定位，而其技术途径无非以下两种：(1)最低级的方式，直接提取图像特征点作为定位点，可将客观事物0～2维的表象信息匹配到定位点并进行渲染，例如相关专利《用于无人机航拍的增强现实方法、处理器及无人机(申请号201780004992.7)》所示的虚拟饰物用例；(2)较高级的方式，以摄像机为中心定义三维坐标系，通过提取图像特征点或图像框幅角点，将客观事物0～3维的表象信息匹配到同名点并进行渲染，例如相关专利《通过跟踪和定位算法实现虚拟三维叠加的方法(申请号201210040095.0)》所示的3维模型用例。

增强现实技术对于生产行业，特别是在无人机遥感领域，有着广阔的应用前景；这些应用场景需要从采集的遥感图像上，直接获取地图级的地理要素信息。但上述第(1)、(2)种技术途径仅仅是以图像或摄像机为中心的相对定位，不是在地理空间坐标系下的绝对定位，不同系统之间坐标难以互用、互转，没有严密的数学基础和可量测性；并且，受限于图像内已知特征点信息，无法表达超出图像范围的表象信息；除此之外，现有的增强现实技术对地理要素缺乏地图学上的抽象和表达。所以，增强现实技术的现状，难以满足诸如电力、石油、公路、建筑和减灾等行业或领域的户外应用场景。

本发明所要解决的技术问题是，针对上述问题，提供一种地理要素增强现实方法，可以实现对地理要素在地图学上的抽象和表达。本发明提供的地理要素增强现实方法与传统的增强现实方法不同，利用包括但不限于摄像机或搭载摄像机的载体自带的定位系统(如GPS)和姿态传感器(如INS)等数据，计算并恢复出摄像机的成像几何模型，建立起物方坐标和像方坐标的映射关系，由此将客观事物从绝对地理空间坐标系变换到像素坐标系，并可对其0～3维的表象信息进行渲染。

下面提供一种地理要素增强现实方法的可能实施的应用场景，地理要素增强现实方法可以在此应用场景中使用也可以在其它可能的应用场景中使用，本发明实施例中不作限定。

本发明实施例提供的地理要素增强现实方法可以运用于载体上的电子设备100，也可以运用在地面上的电子设备100上。

载体可以是，但不限于飞机和无人机。载体上安装有卫星-惯导组合定位系统，载体上设置有摄像机。摄像机可以是，但不限于电荷耦合元件(Charge Coupled Device，CCD)摄像机或者金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor，CMOS)摄像机。

电子设备100与卫星-惯导组合定位系统连接，且与摄像机连接，这里的连接可以是电连接，也可以是通信连接，在本发明实施例中不作限定。

请参阅图1，图1示出了本发明实施例提供的电子设备的方框示意图，电子设备100包括处理器101、存储器102、总线103及通信接口104。处理器101、存储器102及通信接口104通过总线103连接，处理器101用于执行存储器102中存储的可执行模块，例如计算机程序。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，地理要素增强现实方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器101，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现成可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器102可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器102可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read OnlyMemory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

总线103可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线103或一种类型的总线103。

电子设备100通过至少一个通信接口104(可以是有线或者无线)实现该电子设备100与外部设备(例如，摄像机、卫星-惯导组合定位系统等)之间的通信连接。存储器102用于存储程序，例如地理要素增强现实装置200。地理要素增强现实装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器101在接收到执行指令后，执行所述程序以实现地理要素增强现实方法。

应当理解的是，图1所示的结构仅为电子设备100的结构应用示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

基于上述的电子设备100，下面给出一种地理要素增强现实方法可能的实现方式，该方法的执行主体可以为上述电子设备100，请参阅图2，图2示出了本发明实施例提供的地理要素增强现实方法的流程图。地理要素增强现实方法可以包括以下步骤：

S1，获得待处理图像及待处理图像对应的方位元素。

在本发明实施例中，待处理图像可以是载体上的摄像机拍摄得到的，获取待处理图像的步骤，可以理解为，电子设备100发送控制指令至摄像机，控制摄像机拍摄，得到待处理图像，并将所述待处理图像发送至电子设备100。

方位元素可以是外方位元素和内方位元素，外方位元素可以是摄影光束在摄影瞬间的空间位置和姿态的参数，待处理图像的外方位元素包括6个参数，其中三个是线元素，即外方位线元素，用于描述摄影中心在物方坐标系中的坐标，另外三个是角元素，即外方位角元素，用于描述待处理图像的空间姿态；内方位元素可以是摄影中心与待处理图像之间的位置关系的参数，即摄影中心到待处理图像的垂距及像主点在像平面坐标系中的坐标。

获取待处理图像对应的方位元素的步骤，可以理解为，分别获取待处理图像的外方位线元素、外方位角元素以及内方位元素。获取外方位线元素，可以是获取摄影中心在物方坐标系中的坐标，可以直接由卫星-惯导组合定位系统中的GPS测量得到；获取内方位元素可以是预设在电子设备100中的，也可以预设在摄像机中，电子设备100去获取得到的，在此不作限制。

下面对获取待处理图像的外方位角元素进行阐述：

首先，获取像空间坐标系到摄像机坐标系的第一旋转矩阵，其次，获取摄像机坐标系到载体坐标系的第二旋转矩阵，获取载体坐标系到局部导航坐标系的第三旋转矩阵，然后，获取局部导航坐标系到摄影测量坐标系的第四旋转矩阵，依据第一旋转矩阵、第二旋转矩阵、第三旋转矩阵以及第四旋转矩阵，计算像空间坐标系到摄影测量坐标系的像空间-摄影测量旋转矩阵，最后，使得像空间-摄影测量旋转矩阵和包括外方位角元素的像空间坐标系到像空间辅助坐标系的像空间-像辅助旋转矩阵相等，以求解得到外方位角元素。

S2，获得表征地理要素的第一坐标集。

在本发明实施例中，第一坐标集可以是包括多个表征地理要素的第一坐标的集合，第一坐标为WGS84大地坐标系下的经纬高坐标，地理要素可以是表征地球表面自然形态所包含的要素，如地貌、水系、植被和土壤等自然地理要素与人类在生产活动中改造自然界所形成的要素，如居民地、道路网、通讯设备、工农业设施等。

第一坐标可以是表征地理要素物方坐标系中的位置坐标，可以理解为，第一坐标是地理要素对应的位置坐标，也可以是表征地理要素的转角坐标(为了减少数据处理量)。可以理解为，描述一段从A点到B点的路程，可以选择获取A点至B点这段路程中的每一个位置坐标来描述这段路程，也可以选择通过A点的位置坐标和B点的位置坐标来描述这段路程，A点和B点的位置坐标可以理解为转角坐标。

控制摄像头进行拍摄，摄像头的所有的拍摄区域内包含有地理要素，但地理要素不一定会直观地体现在待处理图像中，第一种情况，地理要素在待处理图像中是可见的，例如，当地理要素为水系等时；第二种情况，在待处理图像中是不可见的，地理要素在地面之下的(例如，一些深埋在地下的管道)或者是超出待处理图像像幅区域的。

获得表征地理要素的第一坐标集的步骤，可以理解为，获取预先存储在电子设备100内部的第一坐标集，也可以是获取外部设备通过通信接口104发送至过来的第一坐标集。

S3，将第一坐标集转换到摄影测量坐标系，得到第二坐标集。

在本发明实施例中，第二坐标集可以包括多个与第一坐标一一对应的摄影测量坐标系下的第二坐标，将第一坐标集转换到摄影测量坐标系下，即可得到第二坐标集。也可以理解为，将地理要素转换到摄影测量坐标系下，得到第二坐标集。

将第一坐标集转换到摄影测量坐标系，得到第二坐标集的步骤，可以理解为，首先，获取WGS84大地坐标系到摄影测量坐标系的转换关系，然后依据所述转化关系和第一坐标集，将第一坐标集转换到摄影测量坐标系下，得到第二坐标集。

S4，依据中心投影关系，将第二坐标集转换为第三坐标集。

在本发明实施例中，第三坐标集可以是摄影测量坐标系下，地理要素(即物点)对应的多个像点的坐标，第三坐标集包括多个第三坐标。

S5，依据方位元素，将第三坐标集转换到像平面坐标系，得到第四坐标集，并从第四坐标集中确定出目标坐标集。

依据中心投影关系，将第二坐标集转换为第三坐标集，再依据方位元素，将第三坐标集转换到像平面坐标系的步骤，可以共同理解为：依据方位元素和中心投影关系，将第二转换集转换到像平面坐标系下，得到第四坐标集，可以理解为，首先，设第四坐标在像空间坐标系的坐标矢量V_i＝[x_i y_i -f]^T，其中f为摄像机主距；该第二坐标在摄影测量坐标系的坐标矢量V_P＝[X_P Y_P Z_P]^T，设摄影中心在摄影测量坐标系的坐标矢量V_S＝[X_S Y_S Z_S]^T，像空间-像辅助旋转矩阵为中心投影关系，即共线方程为：

在本发明实施例中，第三坐标集可以包括表征地理要素对应的像点在摄影测量坐标系下的第三坐标，第四坐标集可以包括多个与第三坐标一一对应的表征地理要素对应的像点在像平面坐标系下的第四坐标。

方位元素包括外方位元素和内方位元素。依据方位元素，将第三坐标集转换到像平面坐标系，得到第四坐标集的步骤，可以包括子步骤S51～S52：

S51，按照外方位元素，将第三坐标集转换到像空间坐标系中，得到中间坐标集。

在本发明实施例中，中间坐标集可以是多个与第三坐标一一对应的中间坐标构成的集合，中间坐标可以是第三坐标从摄影测量坐标系转换到像空间坐标系中对应的位置坐标。

按照外方位元素，将第三坐标集转换到像空间坐标系中，得到中间坐标系的步骤，可以理解为，外方位元素包括外方位角元素和外方位线元素，将依据外方位角元素和外方位线元素，得到摄影测量系到像空间坐标系的转换关系，依据转换关系将第三坐标集中的每一个第三坐标转换成中间坐标，得到中间坐标集。

S52，按照内方位元素，将中间坐标集转换到像平面坐标系中，得到第四坐标集。

在本发明实施例中，内方位元素可以是摄像中心和待处理图像之间的位置关系的参数。按照内方位元素，将中间坐标集转换到像平面坐标系中，得到第四坐标集的步骤，可以理解为，依据内方位元素，得到像空间坐标系到像平面坐标系的平移关系，依据平移关系将中间坐标集中的每一个中间坐标转换成第四坐标，得到第四坐标集。

请参阅图3，摄影中心S，主垂面W，遁面S，投影平面T，合面G，像平面P，请参阅图4，透视轴tt为投影平面T与像平面P的交线，摄影方向线KN为主垂面W和投影平面T的交线，主纵线iV为主垂面W和像平面P的交线，灭线kk为遁面S和投影平面T的交线，请参阅图5，将投影中心S投影到(作垂线)投影平面T，得到地底点N，像底点n为光束SN与像平面P的交点；将投影中心S投影到(作垂线)像平面P，得到像主点o，地主点O为光束So与投影平面T的交点，迹点V为主垂面W、投影平面T和像平面P的交点，合点i为合面G、主垂面W和像平面P的交点。

待处理图像包括主纵线，从第四坐标集中确定出目标坐标集的步骤，可以包括子步骤S53～S56：

S53，将第二坐标集转换到投影平面内，得到投影坐标集，其中，投影坐标集包括多个投影坐标，投影平面包括摄影方向线。

在本发明实施例中，投影坐标集可以是多个与第二坐标一一对应的投影坐标构成的集合。投影坐标可以是第二坐标沿光束转换的投影平面内的位置坐标。投影平面可以是过地主点O的水平面，其中，地主点O为光束So投影到数字表面模型上的交点。

将第二坐标集转换到投影平面内，得到投影坐标集的步骤，可以理解为，首先，将光束So投影到数字表面模型上，得到光束So与数字表面模型的交点，即地主点O，并将过地主点O的水平面设置为投影平面；然后，将摄影中心S到每个第二坐标所在的光束与投影平面的交点坐标均作为投影坐标，即将每个光束与投影平面的交点坐标均作为投影坐标，投影坐标与第二坐标一一对应。

例如，地主点的坐标为(30，45，10)过地主点的水平面即为高度为10的水平面，那么将第二坐标集转换到投影平面内，投影坐标集中的每个投影坐标的高度均为10。

S54，将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到每个投影坐标在摄影方向线上的第一投影次序。

在本发明实施例中，第一投影次序可以是一个投影坐标投影到摄影方向线上的次序。将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到每个投影坐标在摄影方向线上的第一投影次序的步骤，可以理解为，将每个投影坐标点均投影到摄影方向线上，记录每一个投影坐标对应的第一投影次序。可以理解为，请参阅图6，请参阅图6，将每个投影坐标点均投影到摄影方向线上，记录每一个投影坐标对应的第一投影次序。例如，三投影坐标分别为投影坐标E、投影坐标F和投影坐标Q，将投影坐标E、投影坐标F和投影坐标Q以及其它投影坐标均投影到摄影方向线上，可以将投影坐标E在摄影方向线的第一投影次序记录为①，将投影坐标F在摄影方向线的第一投影次序记录为②，将投影坐标Q在摄影方向线的第一投影次序记录为③，以此类推，将所有的投影坐标集内的投影坐标均投影到摄影方向线上。

S55，将第四坐标集内的多个第四坐标均投影到主纵线上，得到每个第四坐标在主纵线上的第二投影次序。

在本发明实施例中，主纵线可以是主纵线iV，第二投影次序可以是一个第四坐标投影到主纵线上的次序。将第四坐标集内的多个第四坐标均投影到主纵线上，得到第四坐标在主纵线的第二投影次序的步骤，可以理解为，将每个第四坐标点均投影到摄影方向线上，记录每一个第四坐标对应的第二投影次序。其具体的投影示例可以参照步骤S53中将投影坐标投影到主纵线中的示例。

需要说明的是，于本发明的其它实施例中，步骤S54和步骤S55的执行顺序可以交换，也可以同时执行步骤S54和步骤S55，在此不作限定。

S56，将目标第四坐标的第二投影次序与目标投影坐标的第一投影次序进行对比，并在第一投影次序与第二投影次序一致时，将目标第四坐标加入目标坐标集。

在本方发明实施例中，目标第四坐标与目标投影坐标一一对应，将目标第四坐标的第二投影次序与其对应的目标投影坐标的第一投影次序进行对比，当所述第一投影次序与所述第二投影次序一致时，将目标第四坐标加入目标坐标集。该目标第四坐标即为目标坐标。例如，目标第四坐标的第二投影次序是②，其对应的目标投影坐标的第一投影次序是②，第一投影次序和第二投影次序一致，那么将目标第四坐标作为目标坐标，加入目标坐标集。

待处理图像包括主纵线，从第四坐标集中确定出目标坐标集的步骤，还可以包括子步骤S57～S510：

S57，将第二坐标集转换到投影平面内，得到投影坐标集，其中，投影坐标集包括多个投影坐标，投影平面包括摄影方向线。

在本发明实施例中，投影坐标集可以是多个与第二坐标一一对应的投影坐标构成的集合。投影坐标可以是第二坐标沿光束转换的投影平面内的位置坐标。投影平面可以是过地主点O的水平面，其中，地主点O为光束So投影到数字表面模型上的交点。

将第二坐标集转换到投影平面内，得到投影坐标集的步骤，可以理解为，首先，将光束So投影到数字表面模型上，得到光束So与数字表面模型的交点，即地主点O，并将过地主点O的水平面设置为投影平面；然后，将摄影中心S到每个第二坐标所在的光束与投影平面的交点坐标均作为投影坐标，即将每个光束与投影平面的交点坐标均作为投影坐标，投影坐标与第二坐标一一对应。

例如，地主点的坐标为(30，45，10)过地主点的水平面即为高度为10的水平面，那么将第二坐标集转换到投影平面内，投影坐标集中的每个投影坐标的高度均为10。

S58，将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到包含每个投影坐标的投影次序的第一链表。

在本发明实施例中，第一链表可以是所有的投影坐标投影在摄影方向线上后，依据每个投影坐标在摄影方向线上的投影次序进行排列的投影坐标的排列组合。将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到包含每个投影坐标的投影次序的第一链表的步骤，可以理解为，将投影坐标集内的所有的投影坐标投影在摄影方向线上，按照投影坐标在摄影方向线上的投影次序，将投影坐标进行排列，最后得到第一链表。例如，投影坐标E-投影坐标F-投影坐标Q。

S59，将第四坐标集内的多个第四坐标均投影到主纵线上，得到包含每个第四坐标的投影次序的第二链表。

在本发明实施例中，主纵线可以是主纵线iV，第二链表可以是所有的第四坐标投影在主纵线上后，依据每个第四坐标在主纵线上的投影次序进行排列的第四坐标的排列组合。将第四坐标集内的多个第四坐标均投影到主纵线上，得到包含每个第四坐标的投影次序的第二链表的步骤，可以理解为，将第四坐标集内的所有的第四坐标投影在主纵线上，按照第四坐标在主纵线上的投影次序，将第四坐标进行排列，最后得到第二链表。

需要说明的是，于本发明的其它实施例中，步骤S58和步骤S59的执行顺序可以交换，也可以同时执行步骤S58和步骤S59，在此不作限定。

S510，将第一链表和第二链表进行对比，从第二链表中确定出所有与投影坐标的投影次序一致的第四坐标的投影次序，并将第四坐标加入目标坐标集。

在本发明实施例中，将第一链表和第二链表进行对比，从第二链表中确定出与所有与投影坐标的投影次序一致的第四坐标的投影次序，并将第四坐标加入目标坐标集的步骤，可以理解为，例如，第一链表为A-B-C-D，第二链表为d-a-b-c，以第一链表为基准，第二链表中的与投影坐标的投影次序一致的第四坐标为a、b、c，那么将第四坐标a、b、c作为目标坐标并加入目标坐标集。

请参阅图7，接下来进行举例说明：

如图7所示是理想的中心投影成像几何模型剖面图，根据摄影测量学定义：以小写字母表示的像点，共同所在的平面为像平面(剖面图中表示为一条直线)；除点S外以大写字母表示的物点，共同所在的平面为投影平面(剖面图中表示为一条直线)；点S为摄影中心，点o为像主点，光束So与投影平面的交点O称为地主点，线段So的长度即为主距f；垂直于投影平面的光束Sn与投影平面的交点N称为地底点，直线NO也是摄影方向线，过摄影中心S、地主点O和地底点N的平面称为主垂面；点a和点b分别为主垂面与像幅上下边界的交点，光束Sa和Sb与投影平面的交点分别为点A和点B；像平面与投影平面交线称为迹线(剖面图中表示为一个点)，迹线上的点称为迹点，迹点既是物点也是像点，具有二重性质；过像主点o作直线no与迹线垂直交于迹点V(v)，则直线no称为主纵线；过摄影中心S作平行于投影平面的平面称为合面(剖面图中表示为一条直线)，主纵线与合面的交点i称为主合点；在主垂面内过摄影中心S作平行于像平面的平面称为遁面(剖面图中表示为一条直线)，摄影方向线与遁面的的交点J称为主遁点。

投影平面上物点从右至左依次为A、O、B、N、V、C、J、D；特殊地，位于遁面左侧的点D经过共线条件构象的点d会反折到像平面的最上方，这导致像平面上像点从右至左依次为d、i、a、o、b、n、v、c；其中，除了主遁点J没有对应像点以及主合点i没有对应物点外，其余物点与像点的相对顺序，只有物点D和像点d是错误的。如果要素对象不是0维的MultiPoint类型，则会连接c和d构象出一条冗余线段。

图8(A)所示是图7的一种像平面投影的可能形式，图8(B)所示是另一种可能的像平面投影形式；虚线为像幅外的部分，实现为像幅内的部分。显然，不能理想化地直接删除像幅外所有像点，因为这样会使内外连接线段在像幅内应该显示的部分也无法绘制(如图8(B)中线段qr和rs的实线部分)。特别地，如图7中C点这类位于像平面和遁面之间的物点，如果其像点c存在直接和像幅内的像点相连接的拓扑关系时，决定了该跨界线段在像幅内那部分的走向；而且不论是以像幅边界还是像平面为界去剪辑图形，都会把该点误删掉。

剪辑策略可以是：

①将所有物点垂直投影到摄影方向线上，用一个链表L按N-O方向记录这些摄影方向线上的投影点顺序；

②将所有像点投影到主纵线上，用一个链表l按n-o方向记录这些主纵线上的投影点顺序；

③比较链表l和链表L中投影点顺序，以链表L为准，删除链表l中顺序不对的投影点所对应的像点。

S6，将目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像。

在本本发明实施例中，目标像素坐标集可以包括多个与目标坐标一一对应的像素坐标系下的目标像素坐标，将目标坐标集转换到像素坐标系下，即可得到目标像素坐标集。

将目标坐标集转换到像素坐标系，得到目标像素坐标集的步骤，可以理解为，首先，获取像平面坐标系到像素坐标系的转换关系，然后，依据所述转换关系和目标坐标集，将所述目标坐标集转换到像素坐标系下，得到目标像素坐标集。

依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像的步骤，可以理解为，按照目标像素坐标集内的多个目标像素坐标，对待处理图像进行渲染处理，即可得到增强现实图像。

与现有技术相比，本发明实施例具有以下优势：

首先，地理要素的表达和渲染不受限于待处理图像的范围，超出待处理图像的部分仍可以进行某些形式展现，如可将地图映射到待处理图像以外的范围作为背景。

其次，通过从第四坐标集中确定出目标坐标，目标坐标不仅仅受限于待处理图像内已知特征点信息，还有在待处理图像像幅之外的特征点信息，依据目标坐标进行转换，得到目标像素坐标集，并依据目标像素坐标及对待处理图像进行渲染，可以表达超出待处理图像范围的表象信息，实现对地理要素在地图学上的抽象和表达，以便让地理要素像在地图中一样的显示在显示器上，使得增强现实后的影像具备地图般的可量测性。

针对上述图2方法流程，下面给出一种地理要素增强现实装置200的可能的实现方式，该地理要素增强现实装置200可以采用上述实施例中的电子设备100的器件结构实现，也可以为该电子设备100中的处理器101实现，请参阅图9，图9示出了本发明实施例提供的地理要素增强现实装置的方框示意图。地理要素增强现实装置200包括获取模块201和处理模块202。

获取模块201，用于获得待处理图像及待处理图像对应的方位元素；获得表征地理要素的第一坐标集。

处理模块202，用于将第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将第二坐标集转换为第三坐标集；依据方位元素，将第三坐标集转换到像平面坐标系，得到第四坐标集，并从第四坐标集中确定出目标坐标集；将目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像。

在本发明实施例中，方位元素包括外方位元素和内方位元素，处理模块202具体用于：按照外方位元素，将第三坐标集转换到像空间坐标系中，得到中间坐标集；按照内方位元素，将中间坐标集转换到像平面坐标系中，得到第四坐标集。

待处理图像包括主纵线，处理模块202具体用于：将第二坐标集转换到投影平面内，得到投影坐标集，其中，投影坐标集包括多个投影坐标，投影平面包括摄影方向线；将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到每个投影坐标在摄影方向线上的第一投影次序；将第四坐标集内的多个第四坐标均投影到主纵线上，得到每个第四坐标在主纵线上的第二投影次序；将目标第四坐标的第二投影次序与目标投影坐标的第一投影次序进行对比，并在第一投影次序与第二投影次序一致时，将目标第四坐标加入目标坐标集。

待处理图像包括主纵线，处理模块202具体用于：将第二坐标集转换到投影平面内，得到投影坐标集，其中，投影坐标集包括多个投影坐标，投影平面包括摄影方向线；将投影坐标集内的多个投影坐标均投影到摄影方向线上，得到包含每个投影坐标的投影次序的第一链表；将第四坐标集内的多个第四坐标均投影到主纵线上，得到包含每个第四坐标的投影次序的第二链表；将第一链表和第二链表进行对比，从第二链表中确定出所有与投影坐标的投影次序一致的第四坐标的投影次序，并将第四坐标加入目标坐标集。

处理模块202还具体用于：将每个光束与投影平面的交点坐标均作为投影坐标，其中，光束经过第二坐标。

综上所述，本发明实施例提供一种地理要素增强现实方法及装置，所述方法包括：获得待处理图像及待处理图像对应的方位元素；获得表征地理要素的第一坐标集；将第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将第二坐标集转换为第三坐标集；依据方位元素，将第三坐标集转换到像平面坐标系，得到第四坐标集，并从第四坐标集中确定出目标坐标集；将目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像。与现有技术相比，通过读表征地理要素的第一坐标集进行转换及确定，得到目标像素坐标集，并依据目标像素坐标集对待处理图像进行渲染，得到增强现实图像，实现了地理像素在地图学上的抽象和表达。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的集合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的集合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种地理要素增强现实方法，其特征在于，所述方法包括：

获得待处理图像及所述待处理图像对应的方位元素；

获得表征地理要素的第一坐标集；

将所述第一坐标集转换到摄影测量坐标系，得到第二坐标集；

依据中心投影关系，将所述第二坐标集转换为第三坐标集；

依据所述方位元素，将所述第三坐标集转换到像平面坐标系，得到第四坐标集，并从所述第四坐标集中确定出目标坐标集；

将所述目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据所述目标像素坐标集对所述待处理图像进行渲染，得到增强现实图像。

2.如权利要求1所述的方法，其特征在于，所述方位元素包括外方位元素和内方位元素，所述依据所述方位元素，将所述第三坐标集转换到像平面坐标系，得到第四坐标集的步骤，包括：

按照所述外方位元素，将所述第三坐标集转换到像空间坐标系中，得到中间坐标集；

按照所述内方位元素，将所述中间坐标集转换到像平面坐标系中，得到第四坐标集。

3.如权利要求1所述的方法，其特征在于，所述待处理图像包括主纵线，所述从所述第四坐标集中确定出目标坐标集的步骤，包括：

将所述第二坐标集转换到投影平面内，得到投影坐标集，其中，所述投影坐标集包括多个投影坐标，所述投影平面包括摄影方向线；

将所述投影坐标集内的多个投影坐标均投影到所述摄影方向线上，得到每个投影坐标在所述摄影方向线上的第一投影次序；

将所述第四坐标集内的多个第四坐标均投影到所述主纵线上，得到每个第四坐标在所述主纵线上的第二投影次序；

将目标第四坐标的第二投影次序与目标投影坐标的第一投影次序进行对比，并在所述第一投影次序与所述第二投影次序一致时，将所述目标第四坐标加入目标坐标集。

4.如权利要求1所述的方法，其特征在于，所述待处理图像包括主纵线，所述从所述第四坐标集中确定出目标坐标集的步骤，包括：

将所述第二坐标集转换到投影平面内，得到投影坐标集，其中，所述投影坐标集包括多个投影坐标，所述投影平面包括摄影方向线；

将所述投影坐标集内的多个投影坐标均投影到所述摄影方向线上，得到包含每个投影坐标的投影次序的第一链表；

将所述第四坐标集内的多个第四坐标均投影到所述主纵线上，得到包含每个第四坐标的投影次序的第二链表；

将所述第一链表和所述第二链表进行对比，从所述第二链表中确定出所有与投影坐标的投影次序一致的第四坐标的投影次序，并将所述第四坐标加入目标坐标集。

5.如权利要求3或4所述的方法，其特征在于，所述第二坐标集包括多个第二坐标，所述将所述第二坐标集转换到投影平面内，得到投影坐标集的步骤，包括：

将每个光束与投影平面的交点坐标均作为投影坐标，其中，所述光束经过所述第二坐标。

6.一种地理要素增强现实装置，其特征在于，所述装置包括：

获取模块，用于获得待处理图像及所述待处理图像对应的方位元素；获得表征地理要素的第一坐标集；

处理模块，用于将所述第一坐标集转换到摄影测量坐标系，得到第二坐标集；依据中心投影关系，将所述第二坐标集转换为第三坐标集；依据所述方位元素，将所述第三坐标集转换到像平面坐标系，得到第四坐标集，并从所述第四坐标集中确定出目标坐标集；将所述目标坐标集转换到像素坐标系，得到目标像素坐标集，并依据所述目标像素坐标集对所述待处理图像进行渲染，得到增强现实图像。

7.如权利要求6所述的装置，其特征在于，所述方位元素包括外方位元素和内方位元素，所述处理模块具体用于:

按照所述外方位元素，将所述第三坐标集转换到像空间坐标系中，得到中间坐标集；

按照所述内方位元素，将所述中间坐标集转换到像平面坐标系中，得到第四坐标集。

8.如权利要求6所述的装置，其特征在于，所述待处理图像包括主纵线，所述处理模块具体用于：

将所述第二坐标集转换到投影平面内，得到投影坐标集，其中，所述投影坐标集包括多个投影坐标，所述投影平面包括摄影方向线；

将所述投影坐标集内的多个投影坐标均投影到所述摄影方向线上，得到每个投影坐标在所述摄影方向线上的第一投影次序；

将所述第四坐标集内的多个第四坐标均投影到所述主纵线上，得到每个第四坐标在所述主纵线上的第二投影次序；

将目标第四坐标的第二投影次序与目标投影坐标的第一投影次序进行对比，并在所述第一投影次序与所述第二投影次序一致时，将所述目标第四坐标加入目标坐标集。

9.如权利要求6所述的装置，其特征在于，所述待处理图像包括主纵线，所述处理模块具体用于：

将所述第二坐标集转换到投影平面内，得到投影坐标集，其中，所述投影坐标集包括多个投影坐标，所述投影平面包括摄影方向线；

将所述投影坐标集内的多个投影坐标均投影到所述摄影方向线上，得到包含每个投影坐标的投影次序的第一链表；

将所述第四坐标集内的多个第四坐标均投影到所述主纵线上，得到包含每个第四坐标的投影次序的第二链表；

将所述第一链表和所述第二链表进行对比，从所述第二链表中确定出所有与投影坐标的投影次序一致的第四坐标的投影次序，并将所述第四坐标加入目标坐标集。

10.如权利要求8或9所述的装置，其特征在于，所述第二坐标集包括多个第二坐标，所述处理模块具体用于：

将每个光束与投影平面的交点坐标均作为投影坐标，其中，所述光束经过所述第二坐标。