CN115238318A - 一种基于多种采集端的内外业一体化平差处理方法 - Google Patents

Abstract

本发明提供一种基于多种采集端的内外业一体化平差处理方法，本方案中通过分布式消息队列对封装后的采集数据进行传送去预设系统处理，并对处理后的数据同样是通过分布式消息队列进行传输至信息管理平台，从而实现对同种数据进行不同的处理，其高并行性以及分布性的优点可以让同种数据同时生成不同的结果，达到了高效率的效果，且不容易出错，并且可以防止数据被篡改和丢失；同时方法包括了外业的数据监测采集，和内业的数据处理生成预平差文件后传送到信息管理平台整个步骤，实现了从外业到内业一体化，无需重复操作多次，从而保证了数据反馈的及时性，节约了成本。

Description

一种基于多种采集端的内外业一体化平差处理方法

技术领域

本发明涉及工程监测技术领域，具体涉及一种基于多种采集端的内外业一体化平差处理方法。

背景技术

近年来，我国的基础建设发展迅速，市政道路、桥梁、隧道、高层建筑、大型场馆、轨道交通，建设期和运营期等大型工程的安全性是目前最重要且最关键的问题，工程监测的重要性可见一斑，并且工程监测贯穿有于整个施工过程及运营过程；定期对其进行变形监测以及安全维护是其能够安全、长久运营的重要保障。然而目前市面上流行的监测数据处理软件及信息管理平台都是分开的，无法做到两者兼容。从而导致监测数据的滞后，会带来对监测数据监测状态安全性评估的不及时；不仅如此，数据的多次扭转会造成数据文件的丢失，不利于管理和保存。除此之外，目前的处理模式数据容易被篡改，无法保障数据的真实性。

目前的技术方案使用现有的测量平差软件，通过采集端设备获取数据后，生成与测量平差软件格式一一对应的数据预处理文件，接着结合测量平差软件人工操作解算到对应的数据；将数据通过人工填写表格的方式传入信息管理平台，从而得到数据分析报表。

在现有的方案下，数据采集，数据处理，信息管理平台这三者是独立存在，无法相兼容。这样第一：外业数据未进行加密，会造成数据流转多次，数据容易被篡改和丢失；第二：内业处理需要多次重复粘贴工作才能录入信息管理平台，效率低，容易出错；第三：数据采集和数据处理需要分开处理，如果在不增加人手的情况下无法实时获得数据，从而造成数据反馈不及时，多次返工的情况。

发明内容

针对现有技术存在的不足，本发明提出一种基于多种采集端的内外业一体化平差处理方法，以解决现有技术中存在的数据容易被篡改和丢失，效率低，容易出错，以及数据采集和数据处理需要分开处理导致数据反馈不及时的技术问题。

一种基于多种采集端的内外业一体化平差处理方法，包括：采用多个不同种类的采集设备对监测点进行监测，得到原始数据，所述原始数据携带有对应种类采集设备的数据标签；基于所述数据标签，采用分布式消息队列对封装后的所述原始数据分发至不同队列中，并将所述原始数据基于所在队列传入预设系统；所述预设系统基于所述数据标签对所述原始数据进行转换，得到目标数据；所述预设系统对所述目标数据进行数据预处理，计算得到目标数据的基本信息，所述基本信息至少包括均值、高差和平距；对所述基本信息进行处理得到预平差文件；通过分布式消息队列将所述预平差文件传送至信息管理平台中。

在一个实施例中，所述预设系统基于所述数据标签对所述原始数据进行转换，得到目标数据步骤，包括：根据所述数据标签，对所述原始数据进行标签结构的配准；对配准标签结构后的原始数据进行标签结构补齐；对标签结构补齐后的原始数据进行过滤；对过滤后的原始数据进行字符串转换，得到目标数据。

在一个实施例中，采用多个不同种类的采集设备对监测点进行监测，得到原始数据，所述原始数据携带有对应种类采集设备的数据标签步骤之前，还包括：布设多个不同种类的采集设备，并设置监测基准点。

在一个实施例中，基于所述数据标签，采用分布式消息队列对封装后的所述原始数据分发至不同队列中步骤之前，还包括：根据所述监测基准点确定所述采集设备的采集参数，所述采集参数包括采集设备所在测量点的盘左盘右值、加常数、乘常数；并获取所述采集设备采集时的环境参数，所述环境参数包括温度值和气压值。

在一个实施例中，所述预设系统对所述目标数据进行数据预处理，计算得到目标数据的基本信息，所述基本信息至少包括均值、高差和平距步骤，包括：根据多种不同种类的采集设备在各自的测量点的盘左盘右值进行角度转换，计算得到每个测量点的平均值和2C值；根据所述平均值，结合盘左的读数值，得到差值，结合所述差值和所述每个测量点的平均值计算得到每个测量点的方向值；根据测回数和所述每个测量点的方向值计算所述每个测量点的方向均值；获取并根据每个采集设备所在测量点的垂直角的数值，计算得到指标差以及垂直角的均值；获取并根据每个采集设备所在测量点的边长的观测值，计算所述边长的均值；根据所述加常数、所述乘常数、所述环境参数、所述垂直角的均值以及所述边长的均值，计算得到每个测量点的平距和高差。

在一个实施例中，对所述基本信息进行处理得到预平差文件步骤，包括：将每个测量点的平距和高差与对应的采集设备进行组合，并基于采集设备的种类不同，进行分网处理，得到分网列表；根据所述分网列表，结合设置的监测基准点，生成对应的预平差文件。

在一个实施例中，所述预平差文件分为高程平差文件和水平方向平差文件，其中所述高程平差文件中至少包括测量点、监测点、高差，所述水平方向平差文件中至少包括测量点、监测点、平距。

在一个实施例中，所述采用多个不同种类的采集设备对监测点进行监测的监测模式分为单点基准、两点基准和自由设置站三种模式。

在一个实施例中，在单点基准的监测模式中，对所述基本信息进行处理得到预平差文件步骤之前，还包括：给后视点自动添加一个假设的方位角，并将所述方位角纳入所述水平方向平差文件中。

在一个实施例中，在两点基准的监测模式中，对所述基本信息进行处理得到预平差文件步骤之前，还包括：给后视点以及测量点之间手动计算一个方位角，并且所述方位角纳入所述水平方向平差文件中。

由上述技术方案可知，本发明的有益技术效果如下：

1.数据从监测获得到处理后，再到进入信息管理平台，都是通过分布式消息队列直接传送，且传送前进行了封装，从而可以防止数据被篡改和丢失。

2.整个方法包括了外业的数据监测采集，和内业的数据处理生成预平差文件后传送到信息管理平台整个步骤，实现了从外业到内业一体化，无需重复操作多次，从而保证了数据反馈的及时性，节约了成本。

3.内业的数据处理通过分布式消息队列进行分队列处理，并且在上传信息管理平台时也是采用分布式消息队列进行分队列传输，从而实现对同种数据进行不同的处理，其高并行性以及分布性的优点可以让同种数据同时生成不同的结果，达到了高效率的效果，且不容易出错。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为一个实施例中一种基于多种采集端的内外业一体化平差处理方法的流程示意图；

图2为一个实施例中搭载一种基于多种采集端的内外业一体化平差处理方法的系统示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

在一个实施例中，如图1所示，提供了一种基于多种采集端的内外业一体化平差处理方法，包括：

S1采用多个不同种类的采集设备对监测点进行监测，得到原始数据，原始数据携带有对应种类采集设备的数据标签。

具体地，采集设备即为各种经纬类的测量仪器，用测量仪器对监测点进行测量时，对仪器类型不作限定，但是需要配置好对应仪器的加常数以及乘常数；以此来保证距离改正的正确性；温度气压值需要提前测量好通过采集端存储好当前温度气压值。对仪器设站位置不作限定，但可以将仪器架设在任意位置；增加灵活性和提高效率。

在一个实施例中，步骤S1之前还包括：布设多个不同种类的采集设备，并设置监测基准点。具体地，在进行测量前，应将仪器(即采集设备)严格对中整平，并对稳定的后视点进行观测，基准点选择应尽量满足等边四边形，让网形更加稳定可靠，通过稳定的基准点反算的监测数据能更加的可靠。

S2基于数据标签，采用分布式消息队列对封装后的原始数据分发至不同队列中，并将原始数据基于所在队列传入预设系统。

具体地，数据获取完后，需要给定相应的参数，【单点基准】、【自由设站】、【两点基准】三种监测模式的选择，以及所对应的加常数、乘常数信息；通过封装将数据打包无法篡改自动扭转到分布式消息队列(即RabbitMQ)中，RabbitMQ根据数据标签将任务分发扭转到不同的队列中；再通过队列传入到基于Python所编写的系统中。

在一个实施例中，步骤S2之前，还包括：根据监测基准点确定采集设备的采集参数，采集参数包括采集设备所在测量点的盘左盘右值、加常数、乘常数；并获取采集设备采集时的环境参数，环境参数包括温度值和气压值。具体地，由于对监测点测量时不做仪器的类型和位置限定，因此需要获取采集设备所在测量点的盘左盘右值、加常数、乘常数，以及采集设备采集时的环境参数在后面的步骤中用以计算监测值。

S3预设系统基于数据标签对原始数据进行转换，得到目标数据。

具体地，预设系统基于传入消息的数据标签(即通过原始数携带的数据标签)，利用UNTANGLE库将传入的.XML数据转换成可读模式的数组。untangle是一个简单的xml解析库，能够把xml转换成python程序可识别的对象。

在一个实施例中，步骤S3包括：根据数据标签，对原始数据进行标签结构的配准；对配准标签结构后的原始数据进行标签结构补齐；对标签结构补齐后的原始数据进行过滤；对过滤后的原始数据进行字符串转换，得到目标数据。具体地，由于不同的仪器获取到的原始数据格式不同，需要将其进行标签结构的配准,手机文件的零方向给的参数是“零方向”，而网关文件的零方向参数是“1”，工控机文件的零方向参数是“1”，需要将网关文件以及工控机文件的参数进行配准。配准完毕后需要将标签结构补齐，不同仪器的标签结构不一样。例如网关文件以及工控机文件对应的监测点没有【点高】以及【测站高】的信息；需要在数据获取阶段将数据的标签结构进行补齐，以保证后续数据计算的完整性；对于【网关文件】，会有数据缺失的情况，需要将其进行标注，以方便后续计算。数据补齐后，在网关文件中，基准点的数据会有重复出现的情况，需要将其数据进行过滤。在数据过滤后，需要将字符串格式的数据转换为浮点数的格式。

S4预设系统对目标数据进行数据预处理，计算得到目标数据的基本信息，基本信息至少包括均值、高差和平距。

具体地，将解析后的数组进行数据预处理，将得到文件的进行角度的计算以及平距高差的计算。

在一个实施例中，步骤S4包括：根据多种不同种类的采集设备在各自的测量点的盘左盘右值进行角度转换，计算得到每个测量点的平均值和2C值；根据平均值，结合盘左的读数值，得到差值，结合差值和每个测量点的平均值计算得到每个测量点的方向值；根据测回数和每个测量点的方向值计算每个测量点的方向均值；获取并根据每个采集设备所在测量点的垂直角的数值，计算得到指标差以及垂直角的均值；指标差即垂直角盘左以及盘右的总和与360度的差值；获取并根据每个采集设备所在测量点的边长的观测值，计算边长的均值；根据加常数、乘常数、环境参数、垂直角的均值以及边长的均值，计算得到每个测量点的平距和高差。具体地，提取处理后的每个测量点的盘左盘右值，将其进行角度转换，然后计算得到每个测量点的平均值以及它们的2C值(2C通常叫做两倍照准差，就是测量仪器在观测同一个方向时盘左和盘右测量的角度值之差)。结合计算到的平均值，修正后视点的角度，将后视点强制归零，再将差值结合每个点的平均值计算得到每个测量点的方向值，并且结合测回数进行均值计算；提取处理后的每个测量点的垂直角的数值，计算得到指标差以及垂直角的均值。提取处理后的每个测量点的边长观测值，计算得到边长的均值。结合仪器的加常数、乘常数，温度气压数值以及前面得到的垂直角均值和边长均值，计算得到每个测量点的平距以及高差。

在一个实施例中，测量模式分为【倾斜类】以及【边角网类】，根据不同的测量模式有不同的预平差文件格式。对于【倾斜类】，则是在得到的每个测量点计算后的数组(即计算得到每个测量点的平距以及高差后)，根据项目名通过API的方式(API为现有的技术方式)从平台上获取对应点号的初始倾斜值；此倾斜值分为【横向倾斜值】以及【纵向倾斜值】。在【横向倾斜值】中，将方向值，平距，垂直角计算得到高差和偏移量，与之前的初始倾斜值进行比较得到本次测量的倾斜比。在【纵向倾斜值】中，将平距，垂直角计算得到高差和偏移量，与之前的初始倾斜值进行比较得到本次测量的倾斜比。将得到的倾斜比通过API的方式回传到平台(即信息管理平台)上。对于【边角网类】，则是正常按照及基本信息进行处理得到预平差文件，然后通过分布式消息队列传送至信息管理平台中即可。

S5对基本信息进行处理得到预平差文件。

具体地，将计算得到的基本信息进行处理后生成预平差文件。

在一个实施例中，步骤S5包括：将每个测量点的平距和高差与对应的采集设备进行组合，并基于采集设备的种类不同，进行分网处理，得到分网列表；根据分网列表，结合设置的监测基准点，生成对应的预平差文件。具体地，首先需要进行分网；因为原始数据是多站不同网形一起处理，为了保证相关联观测结果的统一性和精度，需要将原始数据进行分网处理；意味着将不同站但使用了共同点的数据写在一个预平差文件中进行坐标的计算；对于此需求本方法采用了Python中的Networkx库(NetworkX库是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网络分析算法，可以方便的进行复杂网络数据分析、仿真建模等工作)，通过添加节点信息来自动区分每个点之间的拓扑关系，然后以列表的形式返回；然后需要识别网形标签，以便根据不同的网形有不同的预平差文件格式。

在一个实施例中，预平差文件分为高程平差文件和水平方向平差文件，其中高程平差文件中至少包括测量点、监测点、高差，水平方向平差文件中至少包括测量点、监测点、平距。具体地，预平差文件分为In1(高程平差文件)，In2(水平方向平差文件)，对于In1文件，需要从上述实施例中获得的数组信息(即“根据加常数、乘常数、环境参数、垂直角的均值以及边长的均值，计算得到每个测量点的平距和高差”)中，按照规则进行填写文件；首先将基准点的信息填入在前面的行数，每个点需要空行；然后再按照起始点、终点、高差、斜距的形式将每个测段的信息填入其中；对于In2文件，需要根据上述实施例中获得的数组信息(即“根据加常数、乘常数、环境参数、垂直角的均值以及边长的均值，计算得到每个测量点的平距和高差”)，按照规则进行填写；首先也是将基准点的信息填入在前面的行数；然后再按照测站空行；具体包括：测量点的方向L，测量点的平距S，测量点的方位角A，并按照“测量点，L，方向；测量点，S，平距；测量点，L，方位角”的方式进行填写。

在一个实施例中，采用多个不同种类的采集设备对监测点进行监测的监测模式分为单点基准、两点基准和自由设置站三种模式。具体地，根据在S2中传入的数据标签，将测量模式分为【单点基准】、【两点基准】以及【自由设站】。

在一个实施例中，在单点基准的监测模式中，对基本信息进行处理得到预平差文件步骤之前，还包括：给后视点自动添加一个假设的方位角，并将方位角纳入水平方向平差文件中。具体地，由于监测条件的特殊，这种单点网形只观测到了一个基准点，为了能够计算，便需要给定后视点一个假设的方位角。

在一个实施例中，在两点基准的监测模式中，对基本信息进行处理得到预平差文件步骤之前，还包括：给后视点以及测量点之间手动计算一个方位角，并且方位角纳入水平方向平差文件中。具体地，对于没有基准点坐标的情况，通常使用一点一方位进行解算坐标，需要通过坐标的反算得到测站到后视点的方位角，进行添加并生成文件。

S6通过分布式消息队列将预平差文件传送至信息管理平台中。

具体地，随后将生成的文件打包后，再次通过RabbitMQ模式(即分布式消息队列)上传到消息队列中，消息队列再将数据进行分发上传至信息管理平台中。

在一个实施例中，如图2所示，整个方法可以搭载在该系统上，所示交换机部分即为采集设备将监测点数据采集后，通过交换机按照不同的消息队列分别发送至预设系统(即图中的基于Python开发的一体化系统中)，进行处理后得到对应的批评差预处理文件(即预平差文件)，以及处理中生成的数据表单文件和无纸化记录，这些都通过交换机以分布式队列的形式发送到信息管理平台中进行显示，从而实现了内外业一体化的平差处理方法。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于多种采集端的内外业一体化平差处理方法，其特征在于，包括：

采用多个不同种类的采集设备对监测点进行监测，得到原始数据，所述原始数据携带有对应种类采集设备的数据标签；

基于所述数据标签，采用分布式消息队列对封装后的所述原始数据分发至不同队列中，并将所述原始数据基于所在队列传入预设系统；

所述预设系统基于所述数据标签对所述原始数据进行转换，得到目标数据；

所述预设系统对所述目标数据进行数据预处理，计算得到目标数据的基本信息，所述基本信息至少包括均值、高差和平距；

对所述基本信息进行处理得到预平差文件；

通过分布式消息队列将所述预平差文件传送至信息管理平台中。

2.根据权利要求1所述的方法，其特征在于，所述预设系统基于所述数据标签对所述原始数据进行转换，得到目标数据步骤，包括：

根据所述数据标签，对所述原始数据进行标签结构的配准；

对配准标签结构后的原始数据进行标签结构补齐；

对标签结构补齐后的原始数据进行过滤；

对过滤后的原始数据进行字符串转换，得到目标数据。

3.根据权利要求1所述的方法，其特征在于，采用多个不同种类的采集设备对监测点进行监测，得到原始数据，所述原始数据携带有对应种类采集设备的数据标签步骤之前，还包括：

布设多个不同种类的采集设备，并设置监测基准点。

4.根据权利要求3所述的方法，其特征在于，基于所述数据标签，采用分布式消息队列对封装后的所述原始数据分发至不同队列中步骤之前，还包括：

根据所述监测基准点确定所述采集设备的采集参数，所述采集参数包括采集设备所在测量点的盘左盘右值、加常数、乘常数；

并获取所述采集设备采集时的环境参数，所述环境参数包括温度值和气压值。

5.根据权利要求4所述的方法，其特征在于，所述预设系统对所述目标数据进行数据预处理，计算得到目标数据的基本信息，所述基本信息至少包括均值、高差和平距步骤，包括：

根据多种不同种类的采集设备在各自的测量点的盘左盘右值进行角度转换，计算得到每个测量点的平均值和2C值；

根据所述平均值，结合盘左的读数值，得到差值，结合所述差值和所述每个测量点的平均值计算得到每个测量点的方向值；

根据测回数和所述每个测量点的方向值计算所述每个测量点的方向均值；

获取并根据每个采集设备所在测量点的垂直角的数值，计算得到指标差以及垂直角的均值；

获取并根据每个采集设备所在测量点的边长的观测值，计算所述边长的均值；

根据所述加常数、所述乘常数、所述环境参数、所述垂直角的均值以及所述边长的均值，计算得到每个测量点的平距和高差。

6.根据权利要求5所述的方法，其特征在于，对所述基本信息进行处理得到预平差文件步骤，包括：

将每个测量点的平距和高差与对应的采集设备进行组合，并基于采集设备的种类不同，进行分网处理，得到分网列表；

根据所述分网列表，结合设置的监测基准点，生成对应的预平差文件。

7.根据权利要求6所述的方法，其特征在于，所述预平差文件分为高程平差文件和水平方向平差文件，其中所述高程平差文件中至少包括测量点、监测点、高差，所述水平方向平差文件中至少包括测量点、监测点、平距。

8.根据权利要求7所述的方法，其特征在于，所述采用多个不同种类的采集设备对监测点进行监测的监测模式分为单点基准、两点基准和自由设置站三种模式。

9.根据权利要求8所述的方法，其特征在于，在单点基准的监测模式中，对所述基本信息进行处理得到预平差文件步骤之前，还包括：

给后视点自动添加一个假设的方位角，并将所述方位角纳入所述水平方向平差文件中。

10.根据权利要求8所述的方法，其特征在于，在两点基准的监测模式中，对所述基本信息进行处理得到预平差文件步骤之前，还包括：

给后视点以及测量点之间手动计算一个方位角，并且所述方位角纳入所述水平方向平差文件中。

Images