CN110989840A - 数据处理方法、前端设备、后端设备及地理信息系统 - Google Patents

Abstract

本申请提出一种数据处理方法、前端设备、后端设备及地理信息系统，涉及信息技术领域，由前端设备获得在时间轴上对齐的空间数据以及图像数据后，将空间数据以及图像数据发送给后端设备，使得后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景，相比于现有技术，能够使在进行增强现实处理时所使用的空间数据与图像数据在时间轴上是同步的，即能够利用同一时刻的空间数据以及图像数据进行增强现实渲染，使得渲染后的画面中的地理要素与视频画面的场景之间不存在错位，渲染得到的画面中的地理要素不会出现抖动。

Description

数据处理方法、前端设备、后端设备及地理信息系统

技术领域

本申请涉及信息技术领域，具体而言，涉及一种数据处理方法、前端设备、后端设备及地理信息系统。

背景技术

增强现实(Augmented Reality，AR)技术，是一种在例如视频等影像上有目的地叠加显示文字、图形、图像或三维模型等信息的技术，利用增强现实技术能够把虚拟事物套在现实世界的表象上进行显示、甚至交互。

AR技术能够应用在诸多的场景中，比如电力、石油、公路等的巡检中，或者是交通监控以及防灾减灾等。但在这些应用场景下应用的AR技术，需要实现例如空间数据等地理信息与图像数据之间的地图级配准。

然而，在目前的处理方案中，由于空间数据与图像数据两者在时间轴上并不同步，导致增强现实后的视频图像效果较差，视频画面中的地理要素会出现抖动。

发明内容

本申请的目的在于提供一种数据处理方法、前端设备、后端设备及地理信息系统，能够使渲染得到的画面中的地理要素不会出现抖动，提升渲染效果。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种数据处理方法，应用于地理信息系统，所述地理信息系统包括相互建立通信的前端设备和后端设备；所述方法包括：

所述前端设备获得在时间轴上对齐的空间数据以及图像数据；

所述前端设备将所述空间数据以及所述图像数据发送给所述后端设备；

所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

第二方面，本申请实施例提供一种数据处理方法，应用于与后端设备建立通信的前端设备，所述方法包括：

获得在时间轴上对齐的空间数据以及图像数据；

将所述空间数据以及所述图像数据发送给所述后端设备，以使所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

第三方面，本申请实施例提供一种数据处理方法，应用于与前端设备建立通信的后端设备，所述方法包括：

接收所述前端设备发送的在时间轴上对齐的空间数据以及图像数据；

依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

第四方面，本申请实施例提供一种前端设备，所述前端设备包括：

处理模块，用于获得在时间轴上对齐的空间数据以及图像数据；

发送模块，用于将所述空间数据以及所述图像数据发送给后端设备，以使所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

第五方面，本申请实施例提供一种后端设备，所述后端设备包括：

接收模块，用于接收前端设备发送的在时间轴上对齐的空间数据以及图像数据；

渲染模块，用于依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

第六方面，本申请实施例提供一种地理信息系统，包括相互建立通信的前端设备和后端设备；

所述前端设备用于，获得在时间轴上对齐的空间数据以及图像数据；

所述前端设备还用于，将所述空间数据以及所述图像数据发送给所述后端设备；

所述后端设备用于，依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

本申请实施例提供的一种数据处理方法、前端设备、后端设备及地理信息系统，由前端设备获得在时间轴上对齐的空间数据以及图像数据后，将空间数据以及图像数据发送给后端设备，使得后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景，相比于现有技术，能够使在进行增强现实处理时所使用的空间数据与图像数据在时间轴上是同步的，即能够利用同一时刻的空间数据以及图像数据进行增强现实渲染，使得渲染后的画面中的地理要素与视频画面的场景之间不存在错位，渲染得到的画面中的地理要素不会出现抖动。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出本申请实施例提供的地理信息系统的一种示意性结构框图；

图2示出本申请实施例提供的通用设备的一种示意性结构框图；

图3示出本申请实施例提供的应用于地理信息系统的数据处理方法的一种示意性流程图；

图4示出图3中步骤203的子步骤的一种示意性流程图；

图5示出图3中步骤205的子步骤的一种示意性流程图；

图6示出图5中步骤205-3的子步骤的一种示意性流程图；

图7示出示出本申请实施例提供的应用于前端设备的数据处理方法的一种示意性流程图；

图8示出示出本申请实施例提供的应用于后端设备的数据处理方法的一种示意性流程图；

图9示出本申请实施例提供的前端设备的一种示意性结构框图；

图10示出本申请实施例提供的后端设备的一种示意性结构框图。

图中：100-通用设备；101-存储器；102-处理器；103-通信接口；500-前端设备；501-处理模块；502-发送模块；600-后端设备；601-接收模块；602-渲染模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在上述将增强现实技术应用在比如电力、石油、公路等的巡检场景中，由于进行增强现实渲染时需要对目标对象的地理信息与视频图像之间进行地图级配准，因此需要对目标对象的空间数据以及视频图像数据进行采集并处理。

比如在一些可能的应用场景中，可以利用无人飞行器作为采集前端，并在无人飞行器上搭载例如GPS(Global Positioning System，全球定位系统)、BDS(BeiDouNavigation Satellite System，北斗卫星导航系统)等定位设备，结合例如IMU(Inertialmeasurement unit，惯性测量单元)、INS(Inertial Navigation System，惯性导航系统)等定姿设备构成定位定姿系统，以及搭载例如吊舱、云台等图像数据采集装置；利用定位定姿系统采集目标对象的地理信息数据，且利用图像数据采集装置采集目标对象的图像数据，并将空间数据以及图像数据传输给例如地面站、指挥中心等端设备，从而使端设备能够利用接收的空间数据以及图像数据进行增强现实处理，得到目标对象的增强现实场景。

然而，在目前的处理方案中，由于空间数据与视频图像数据是通过不同的通信链路进行传输，或者即使通过图数一体通信链路传输也不能将空间数据与图像数据编码到同一个视频帧中，且两者的采集频率一般也存在差异，空间数据与图像数据在时间轴上并不同步；导致在利用空间数据和图像数据进行增强现实处理时，渲染的地理要素与视频画面的场景之间存在错位，使得渲染得到的画面中的地理要素会出现抖动。

为此，基于上述缺陷，本申请实施例提供的一种可能的实现方式为：由前端设备获得在时间轴上对齐的空间数据以及图像数据后，将空间数据以及图像数据发送给后端设备，使得后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景，以使进行增强现实处理时所使用的空间数据与图像数据在时间轴上是同步的，使得渲染的画面中的地理要素与视频画面的场景之间不存在错位，渲染得到的画面中的地理要素不会出现抖动。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1示出本申请实施例提供的地理信息系统的一种示意性结构框图，该地理信息系统包括相互建立通信的前端设备和后端设备，前端设备可以采用无人飞行器，通过在无人飞行器上搭载例如卫星-惯导组合定位系统(GPS and INS IntegratedPositioning System)等空间数据采集装置，以及例如吊舱或者是云台等图像数据采集装置，使得前端设备可以采集目标对象的空间数据以及图像数据等，并利用视频码流编码器，按照时间序列将空间数据以及图像数据编码到同一视频帧中，形成一路视频码流，然后通过数据链路发送给后端设备。

在后端设备一侧，后端设备可以采用例如工作站或者是服务器等，在接收到前端设备发送的视频码流后，后端设备可以采用与前端设备对应的例如视频码流解码器解码接收的视频码流；从而获得采集目标对象时的空间数据以及图像数据后，利用该空间数据以及图像数据进行增强现实处理，得到该目标对象的增强现实场景；并可以通过例如后端设备自带的比如地图浏览器或者是视频播放器等图像界面对该增强现实场景进行展示，也可以将增强现实场景发送给其他终端设备，以使其他终端设备对该增强现实场景进行展示。

其中，作为一种可能的实现方式，请参阅图2，图2示出本申请实施例提供的通用设备100的一种示意性结构框图；该通用设备100可以用作图1中的前端设备，也可以用作图1中的后端设备。

其中，通用设备100包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理，进而执行本申请实施例提供的数据处理方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图2所示的结构仅为示意，通用设备100还可以包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

下面以图1所示的地理信息系统为执行主体为例，对本申请实施例提供的数据处理方法进行示意性说明。

请参阅图3，图3示出本申请实施例提供的应用于地理信息系统的数据处理方法的一种示意性流程图，可以包括以下步骤：

步骤201，前端设备获得在时间轴上对齐的空间数据以及图像数据；

步骤203，前端设备将空间数据以及图像数据发送给后端设备；

步骤205，后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

在本申请实施例中，前端设备可以采用例如上述的搭载卫星-惯导组合定位系统的方案，获得采集目标对象时的空间数据，比如目标对象的姿态数据、位置坐标信息等；并且，还可以采用例如上述的搭载吊舱或者是云台等设备，获得采集目标对象时的图像数据。

其中，前端设备所获得空间数据以及图像数据在时间轴上对齐。比如，假定图像数据的采集频率为25帧/秒，即每秒采集目标对象25张视频帧，则空间数据的采集频率同样为25次/秒，即每秒采集目标对象25次空间数据，且空间数据与图像数据具有相同的起始时间，即每一视频帧均对应有一个具有相同采集时间的空间点。

接下来，前端设备可以依据H.264/AVC或者是H.265/HEVC编码标准的元数据格式协议，按照时间序列将空间数据作为元数据与图像数据一起编码到同一视频帧中，形成一路视频码流，然后通过数据链路发送给后端设备；或者，可以采用例如基于图像变换域的无损信息隐藏技术，先将图像数据通过例如离散余弦变换(Discrete Cosine Transform，DCT)、傅里叶梅林变换(Fourier Mellin Transform，FMT)或小波变换(WaveletTransform，WT)等变换到频率域，然后将其中的高频部分进行无损压缩得到冗余空间，将空间数据编码成频段信息并嵌入到冗余空间中，再反变换回图像的空间域，得到隐藏保存了空间数据的图像数据，进而将该图像数据编码到视频码流中。

然后，前端设备可以通过例如4G(the 4th generation mobile communicationtechnology，第四代移动通信技术)网络等数据链路，将编码后的数据发送给后端设备；前端设备按照时间序列连续地对空间数据以及图像数据进行编码并发送给后端设备，即能够使后端设备获得采集目标对象时的视频码流。

最后，后端设备可以利用与上述的编码方式相对应的解码方式对接收的视频码流进行解码，从而获得上述在时间轴上对齐的空间数据以及图像数据；并依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景；其中，由于空间数据以及图像数据两者在时间轴上进行了对齐，即空间数据与图像数据在时间轴上是同步的，使得后端设备在对空间数据以及图像数据进行增强现实处理时，每一视频帧均具有对应的空间数据，画面中的地理要素不会出现抖动。

可见，基于上述设计，本申请实施例提供的数据处理方法，由前端设备获得在时间轴上对齐的空间数据以及图像数据后，将空间数据以及图像数据发送给后端设备，使得后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景，相比于现有技术，能够使在进行增强现实处理时所使用的空间数据与图像数据在时间轴上是同步的，即能够利用同一时刻的空间数据以及图像数据进行增强现实渲染，使得渲染后的画面中的地理要素与视频画面的场景之间不存在错位，渲染得到的画面中的地理要素不会出现抖动。

其中，前端设备在获得在时间轴上对齐的空间数据以及图像数据时，作为一种可能的实现方式，前端设备可以按照图像数据的采集频率对空间数据进行处理，以使处理后的空间数据的采集频率与图像数据的采集频率相同且具有相同的起始时间；如此，即可确保空间数据与图像数据两者在时间轴上是同步的。

比如，当图像数据的采集频率与空间数据的采集频率不同时，前端设备采用例如基于卡尔曼滤波的采样数据的样条插值方法，对空间数据进行插值处理，从而实现空间数据与图像数据两者在时间轴上的对齐，同一时刻均具有对应的空间数据和图像数据(即在时间戳上的相同)。

需要说明的是，上述实现方案是基于软件算法的方式，将空间数据的通过算法的方式与图像数据在时间轴上对齐；在本申请实施例其他一些可能的实现方式中，还可以采用硬件的方式使得空间数据与图像数据在时间轴上对齐。

比如，可以在前端设备设置空间数据采集装置以及图像数据采集装置，空间数据采集装置用于采集空间数据，图像数据采集装置用于采集图像数据。

示例性地，结合图1所示，可以采用定位器和定姿器相配合的方式作为空间数据采集装置，以获取目标对象的空间数据；并可以采用遥感器和测角器相配合的方式作为图像数据采集装置，以获取目标对象的图像数据。

此时，前端设备在获得采集目标对象时的空间数据以及图像数据时，前端设备可以将空间数据采集装置的采集频率配置为图像数据采集装置的采集频率，以使空间数据采集装置和图像数据采集装置按照相同的采集频率且在相同的起始时间分别采集空间数据和图像数据，进而使得采集的空间数据与图像数据在时间轴上对齐，每一时间戳均具有对应的空间数据和图像数据。

需要说明的是，上述仅为示例，选择将空间数据采集装置的采集频率配置为图像数据采集装置的采集频率；在本申请实施例其他一些可能的实现方式中，还可以将图像数据采集装置的采集频率配置为空间采集装置的采集频率，只要能够使得空间采集装置以及图像数据采集装置能够按照相同的采集频率且在相同的起始时间分别采集空间数据以及图像数据，使得空间数据与图像数据在时间轴上可以对齐即可；比如还可以将空间采集装置以及图像数据采集装置的各自的采集频率配置为设定的频率后在相同的起始时间分别采集空间数据和图像数据。

另外，前端设备在将空间数据以及图像数据发送给后端设备时，前端设备可以将空间数据和图像数据分别单独发送给后端设备，只要后端设备能够将接收的空间数据和图像数据在时间轴上对齐后进行增强现实处理。

当然，可以理解的是，在本申请实施例其他一些可能的实现方式中，前端设备还可以采用其他的方式将空间数据和图像数据发送给后端设备；比如，请参阅图4，图4示出图3中步骤203的子步骤的一种示意性流程图，作为一种可能的实现方式，步骤203可以包括以下子步骤：

步骤203-1，前端设备按照时间序列将空间数据和图像数据编码到同一个视频帧中，形成一路视频码流；

步骤203-2，前端设备将视频码流发送给后端设备，以使后端设备从视频码流中按照时间序列解析获得空间数据和图像数据。

在本申请实施例中，前端设备可以采用上述的方案，利用例如H.264/AVC或者是H.265/HEVC编码标准的元数据格式协议，按照时间序列将空间数据作为元数据与图像数据一起编码到同一视频帧中，形成一路视频码流。

然后，前端设备可以采用例如上述的4G网络的方式，将视频码流发送给后端设备，以使后端设备可以利用与上述的编码方式相对应的解码方式对接收的视频码流进行解码，即从视频码流中按照时间序列解析获得在时间轴上对齐的空间数据以及图像数据。

并且，目前的增强现实系统与地理信息系统之间存在互操作问题，即渲染到视频帧中的地理要素不能够进行地图学范畴的抽象和表达，使得增强现实系统与其他地理信息系统之间不能对地理要素互操作。

为此，在图3的基础上，请参阅图5，图5示出图3中步骤205的子步骤的一种示意性流程图，作为一种可能的实现方式，步骤205可以包括以下子步骤：

步骤205-1，后端设备将从地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素；

步骤205-2，后端设备根据空间数据以及每一目标简单要素，获得每一目标简单要素在像素坐标系下对应的目标像素坐标；

步骤205-3，后端设备根据所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景。

在本申请实施例中，后端设备中可以记录有地理信息数据库，该地理信息数据库中可以记录有多个地理要素。后端设备在对空间数据以及图像数据进行增强现实处理时，可以先将从该地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素，以符合例如OpenGIS Implementation Specification for Geographicinformation-Simple feature access等标准接口的要求。

然后，后端设备可以利用增强现实引擎，根据空间数据以及每一目标简单要素，获得每一目标简单要素在像素坐标系下的目标像素坐标。

比如，后端设备可以利用增强现实引擎中的计算核，以空间数据和DSM(DigitalSurface Model，数字地表模型)为输入，通过直接定位计算外方位元素或者是等价的旋转-平移矩阵的方式，计算共线条件方程系数；进而通过计算得到的共线条件方程将每一目标简单要素的坐标值从物方坐标系变换到像平面坐标系。

接下来，后端设备可以利用增强现实引擎中的计算核，按照设定的策略，对像平面坐标系下的每一目标简单要素的图形进行剪辑，以消除反向投影造成的冗余像点和线段。

如此，后端设备可以以设定的遥感参数，比如摄像机内参数、镜头畸变参数以及CCD(Charge-coupled Device，电荷耦合元件)/CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)传感器的几何尺寸等作为输入，通过仿射变换将剪辑后的每一目标简单要素从像平面坐标系变换到像素坐标系，从而获得每一目标简单要素在像素坐标系下的目标像素坐标。

需要说明的是，上述仅为示意，简单列举出如何根据空间数据以及每一目标简单要素，获得每一目标简单要素各自在像素坐标系下的目标像素坐标；对于更为详细的说明，可以参照申请号为CN201811651486.X的中国专利申请，本申请实施例在此不再进行赘述。

最后，在通过上述方案获得每一目标简单要素在像素坐标系下的目标像素坐标后，后端设备可以利用增强现实引擎中的渲染器作为处理硬件，并利用所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景。

可见，基于上述设计，本申请实施例提供的数据处理方法，由后端设备将从地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素；进而再根据空间数据以及每一目标简单要素，获得每一目标简单要素在像素坐标系下的目标像素坐标；从而利用所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景；如此，能够使得到的增强现实场景可以与其他的地理信息系统之间实现序列化和反序列化，提升与其他地理信息系统对地理要素的互操作性。

另外，在实现步骤205-3时，在比如电力、石油、公路等的巡检场景中，增强现实成像时获得的增强现实场景与其他应用场景所不同的是，不同的地理要素之间存在必然的空间上的顺序，比如在电力巡检的场景中，电力线不可能位于地面以下。

因此，在图5的基础上，请参阅图6，图6示出图5中步骤205-3的子步骤的一种示意性流程图，作为一种可能的实现方式，步骤205-3包括以下子步骤：

步骤205-3a，后端设备根据每一目标简单要素的类型以及空间关系划分出多个图层；

步骤205-3b，后端设备将处于同一图层的所有地理要素进行合并，获得对应图层的渲染对象；

步骤205-3c，后端设备将所有渲染对象绘制于图像数据中，以得到增强现实场景。

在本申请实施例中，后端设备在利用渲染器对像素坐标系下的增强现实要素进行渲染时，渲染器可以根据每一目标简单要素的类型以及空间关系划分出多个图层；并根据要素属性表的符号描述字段，从地理信息数据库中查询地图符号，进而将同一图层的所有地理要素合并成一个渲染对象，从而获得每一图层对应的渲染对象，比如GDI+(GraphicsDevice Interface，图形设备接口)库的GraphicsPath对象；然后将所有渲染对象绘制于图像数据中，从而得到增强现实场景，即增强现实的视频帧。

需要说明的是，本申请实施例提供的上述实现方式，是以图1所示的地理信息系统作为执行主体；本申请实施例还提供一种以图1所示地理信息系统中的前端设备为执行主体的数据处理方法。

示意性地，请参阅图7，图7示出示出本申请实施例提供的应用于前端设备的数据处理方法的一种示意性流程图，可以包括以下步骤：

步骤301，获得在时间轴上对齐的空间数据以及图像数据；

步骤303，将空间数据以及图像数据发送给后端设备，以使后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

需要说明的是，为描述的方便与简洁，上述步骤301及步骤303的具体实现方式，请参照上述对应的步骤201及步骤203所述的内容，本申请实施例在此不再进行赘述。

另一方面，本申请实施例还提供一种以图1所示地理信息系统中的后端设备为执行主体的数据处理方法。

示意性地，请参阅图8，图8示出示出本申请实施例提供的应用于后端设备的数据处理方法的一种示意性流程图，可以包括以下步骤：

步骤401，接收前端设备发送的在时间轴上对齐的空间数据以及图像数据；

步骤403，依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

需要说明的是，为描述的方便与简洁，上述步骤401及步骤403的具体实现方式，请参照上述对应的步骤205所述的内容，本申请实施例在此不再进行赘述。

并且，基于与上述应用于地理信息系统的数据处理方法相同的发明构思，本申请实施例还提供一种例如图1所示的地理信息系统，该地理信息系统包括相互建立通信的前端设备和后端设备；其中：

前端设备用于，获得在时间轴上对齐的空间数据以及图像数据；

前端设备还用于，将空间数据以及图像数据发送给后端设备；

后端设备用于，依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

可选地，作为一种可能的实现方式，前端设备在获得在时间轴上对齐的空间数据以及图像数据时，具体用于：

前端设备按照图像数据的采集频率对空间数据进行处理，以使处理后的空间数据的采集频率与图像数据的采集频率相同且具有相同的起始时间。

可选地，作为另一种可能的实现方式，前端设备包括空间数据采集装置以及图像数据采集装置，空间数据采集装置用于采集空间数据，图像数据采集装置用于采集图像数据；

前端设备在获得在时间轴上对齐的空间数据以及图像数据时，具体用于：

前端设备将空间数据采集装置的采集频率配置为图像数据采集装置的采集频率，以使空间数据采集装置和图像数据采集装置按照相同的采集频率且在相同的起始时间分别采集空间数据和图像数据。

可选地，作为一种可能的实现方式，前端设备将空间数据以及图像数据发送给后端设备时，具体用于：

前端设备按照时间序列将空间数据和图像数据编码到同一个视频帧中，形成一路视频码流；

前端设备将视频码流发送给后端设备，以使后端设备从视频码流中按照时间序列解析获得空间数据和图像数据。

可选地，作为一种可能的实现方式，后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景时，具体用于：

后端设备将从地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素；

后端设备根据空间数据以及每一目标简单要素，获得每一目标简单要素在像素坐标系下对应的目标像素坐标；

后端设备根据所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景。

可选地，作为一种可能的实现方式，后端设备在根据所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景时，具体用于：

后端设备根据每一目标简单要素的类型以及空间关系划分出多个图层；

后端设备将处于同一图层的所有地理要素进行合并，获得对应图层的渲染对象；

后端设备将所有渲染对象绘制于图像数据中，以得到增强现实场景。

另外，基于与上述应用于地理信息系统中的前端设备的数据处理方法相同的发明构思，本申请实施例还提供一种如图9所示的前端设备500，该前端设备包括处理模块501及发送模块502。其中：

处理模块501，用于获得在时间轴上对齐的空间数据以及图像数据；

发送模块502，用于将空间数据以及图像数据发送给后端设备，以使后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

需要说明的是，为描述的方便与简洁，前端设备500的具体实现方式，请参照上述对应的步骤201及步骤203所述的内容，本申请实施例在此不再进行赘述。

并且，基于与上述应用于地理信息系统中的后端设备的数据处理方法相同的发明构思，本申请实施例还提供一种如图10所示的后端设备600，该后端设备600包括接收模块601及渲染模块602。其中：

接收模块601，用于接收前端设备发送的在时间轴上对齐的空间数据以及图像数据；

渲染模块602，用于依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景。

需要说明的是，为描述的方便与简洁，后端设备600的具体实现方式，请参照上述对应的步骤205所述的内容，本申请实施例在此不再进行赘述。

综上所述，本申请实施例提供的一种数据处理方法、前端设备、后端设备及地理信息系统，由前端设备获得在时间轴上对齐的空间数据以及图像数据后，将空间数据以及图像数据发送给后端设备，使得后端设备依据空间数据对同一时刻的图像数据进行增强现实处理，得到增强现实场景，相比于现有技术，能够使在进行增强现实处理时所使用的空间数据与图像数据在时间轴上是同步的，即能够利用同一时刻的空间数据以及图像数据进行增强现实渲染，使得渲染后的画面中的地理要素与视频画面的场景之间不存在错位，渲染得到的画面中的地理要素不会出现抖动。

并且，由后端设备将从地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素；进而再根据空间数据以及每一目标简单要素，获得每一目标简单要素在像素坐标系下的目标像素坐标；从而利用所有目标像素坐标，将对应的目标简单要素渲染到图像数据，以得到增强现实场景；如此，能够使得到的增强现实场景可以与其他的地理信息系统之间实现序列化和反序列化，提升与其他地理信息系统对地理要素的互操作性。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (11)

1.一种数据处理方法，其特征在于，应用于地理信息系统，所述地理信息系统包括相互建立通信的前端设备和后端设备；所述方法包括：

所述前端设备获得在时间轴上对齐的空间数据以及图像数据；

所述前端设备将所述空间数据以及所述图像数据发送给所述后端设备；

所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

2.如权利要求1所述的方法，其特征在于，所述前端设备获得在时间轴上对齐的空间数据以及图像数据的步骤，包括：

所述前端设备按照所述图像数据的采集频率对所述空间数据进行处理，以使处理后的空间数据的采集频率与所述图像数据的采集频率相同且具有相同的起始时间。

3.如权利要求1所述的方法，其特征在于，所述前端设备包括空间数据采集装置以及图像数据采集装置，所述空间数据采集装置用于采集所述空间数据，所述图像数据采集装置用于采集所述图像数据；

所述前端设备获得在时间轴上对齐的空间数据以及图像数据的步骤，包括：

所述前端设备将所述空间数据采集装置的采集频率配置为所述图像数据采集装置的采集频率，以使所述空间数据采集装置和所述图像数据采集装置按照相同的采集频率且在相同的起始时间分别采集所述空间数据和所述图像数据。

4.如权利要求1所述的方法，其特征在于，所述前端设备将所述空间数据以及所述图像数据发送给所述后端设备的步骤，包括：

所述前端设备按照时间序列将所述空间数据和所述图像数据编码到同一个视频帧中，形成一路视频码流；

所述前端设备将所述视频码流发送给所述后端设备，以使所述后端设备从所述视频码流中按照时间序列解析获得所述空间数据和所述图像数据。

5.如权利要求1所述的方法，其特征在于，所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景的步骤，包括：

所述后端设备将从地理信息数据库获得的每一地理要素反序列化处理为各自对应的目标简单要素；

所述后端设备根据所述空间数据以及每一所述目标简单要素，获得每一所述目标简单要素在像素坐标系下对应的目标像素坐标；

所述后端设备根据所有所述目标像素坐标，将对应的所述目标简单要素渲染到所述图像数据，以得到所述增强现实场景。

6.如权利要求5所述的方法，其特征在于，所述后端设备根据所有所述目标像素坐标，将对应的所述目标简单要素渲染到所述图像数据，以得到所述增强现实场景的步骤，包括：

所述后端设备根据每一所述目标简单要素的类型以及空间关系划分出多个图层；

所述后端设备将处于同一图层的所有地理要素进行合并，获得对应图层的渲染对象；

所述后端设备将所有所述渲染对象绘制于所述图像数据中，以得到所述增强现实场景。

7.一种数据处理方法，其特征在于，应用于与后端设备建立通信的前端设备，所述方法包括：

获得在时间轴上对齐的空间数据以及图像数据；

将所述空间数据以及所述图像数据发送给所述后端设备，以使所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

8.一种数据处理方法，其特征在于，应用于与前端设备建立通信的后端设备，所述方法包括：

接收所述前端设备发送的在时间轴上对齐的空间数据以及图像数据；

依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

9.一种前端设备，其特征在于，所述前端设备包括：

处理模块，用于获得在时间轴上对齐的空间数据以及图像数据；

发送模块，用于将所述空间数据以及所述图像数据发送给后端设备，以使所述后端设备依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

10.一种后端设备，其特征在于，所述后端设备包括：

接收模块，用于接收前端设备发送的在时间轴上对齐的空间数据以及图像数据；

渲染模块，用于依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

11.一种地理信息系统，其特征在于，包括相互建立通信的前端设备和后端设备；

所述前端设备用于，获得在时间轴上对齐的空间数据以及图像数据；

所述前端设备还用于，将所述空间数据以及所述图像数据发送给所述后端设备；

所述后端设备用于，依据所述空间数据对同一时刻的所述图像数据进行增强现实处理，得到增强现实场景。

Images