CN112749155A

CN112749155A - 基于离散度最小原则勘察试验数据自动处理的方法

Info

Publication number: CN112749155A
Application number: CN202110129146.6A
Authority: CN
Inventors: 朱霞; 邢立军; 王思锴; 周玉凤; 任传斌
Original assignee: Beijing Urban Construction Exploration and Surveying Design Research Institute Co Ltd
Current assignee: Beijing Urban Construction Exploration and Surveying Design Research Institute Co Ltd
Priority date: 2021-01-29
Filing date: 2021-01-29
Publication date: 2021-05-04
Anticipated expiration: 2041-01-29
Also published as: CN112749155B

Abstract

本发明提供了一种基于离散度最小原则勘察试验数据自动处理的方法，该方法主要包括以下步骤：客户端接收根据测试指标对应的实验数据分别设置的标准离散度值，迭代各组待迭代实验数据直至其满足离散度值不大于对应的标准离散度值，即获得参与统计计算的可用数据；本发明的有益效果在于，本发明公开的方法能够快速筛选出过大或过小的不合理勘察数据，节省人力物力，筛选结果更加科学、合理。

Description

基于离散度最小原则勘察试验数据自动处理的方法

技术领域

本发明属于数据处理技术领域，特别涉及一种基于离散度最小原则勘察试验数据自动处理的方法。

背景技术

在岩土工程的勘察中，需要工作人员采集勘察数据，而工作人员对勘察数据记录的规范性参差不齐，因此这些考察数据并非全部为可用数据，需要对其进行筛选，面对大量数据，人工筛选需要投入大量的人力物力，且筛选结果并不理想。

发明内容

为了解决现有技术中存在的技术问题，本发明提供了一种基于离散度最小原则勘察试验数据自动处理的方法，该方法主要包括以下步骤：

客户端接收根据测试指标对应的实验数据分别设置的标准离散度值，迭代各组待迭代实验数据直至其满足离散度值不大于对应的标准离散度值，即获得参与统计计算的可用数据。

本发明的有益效果在于，本发明公开的方法能够快速筛选出过大或过小的不合理勘察数据，节省人力物力，筛选结果更加科学、合理。

附图说明

图1.地层统计表示意图；

图2.数据采集表示意图；

图3.土试统计表示意图；

图4.土工试验统计表示意图；

图5.迭代各组待迭代实验数据直至其满足离散度值不大于对应的标准离散度值的方法流程图；

图6.基于离散度最小原则勘察实验数据自动处理的方法流程图。

具体实施方式

本发明的一些实施例中，提供了基于离散度最小原则勘察试验数据自动处理的方法，主要包括以下步骤：

本发明通过设置标准离散度值，筛选符合标准离散度值的数据作为可用数据，可以自动筛除该组数据中的不合理数据，显著提高了试验数据处理的准确性，其中，标准离散度值可以根据《北京地区建筑地基基础勘察设计规范》(DBJ 11-501-2009)内关于变异系数的规定而确定，如50％。

本发明的一些实施例中，该方法还包括以下步骤：

将迭代过程中不满足标准离散度值的各数据标记为不可用数据；

接收剔除指令，将不可用数据从各组实验数据中剔除，保存于客户端的标记数据库中；

接收剔除恢复指令，则将对应的试验数据从标记数据库中调取到其原实验数据表格中。

本发明的一些实施例中，各组试验数据通过以下步骤获得：接收用户上传的实验数据表格和用户选择抽取的序号，根据用户选择的序号将试验数据表格中相关的数据抽取出来形成待迭代实验数据表格。

如图1所示，示出了地层统计表，用于报告内对于不同地层层厚、层底(层顶)标高的分析使用，系统实现了按主层、亚层以及两种并存的方式进行统计，如图2所示，土工试验统计之前，需要先把土工试验数据导入到系统内，导入界面如下图，导入后可以保持到本地及服务器端，如果发现导入数据存在错误，可以清除缓存，重新导入。如果想把服务端的数据全部清除，可以点击清除后台，如图3所示，数据导入后，即可实现按地层进行统计，默认按地层划分将数据罗列到当前界面内，如图4所示，在该界面内，可以手动剔除异常值，为了方便查找最值，系统增加了查找最大值、最小值功能，并且可以一键查找多个最值，查找到最值后，可以使用“delete键”标记异常值，使之不参与统计计算。如果发现剔除错误，可以框选已剔除范围，按“剔除恢复”按钮进行恢复。此外，如果需要更多的统计功能，可以点击“定制统计”按钮，实现数据初始化、一键剔除功能、选择参与统计的钻孔、选择统计方式等功能；一键剔除功能：依据《北京地区建筑地基基础勘察设计规范》(DBJ 11-501-2009)内关于变异系数的规定，计算机自动标记离散最大值，并不断迭代直至满足要求。若此过程中，标记的数据数量超过样本数的50％时，自动提示分层错误。

本发明的一些实施例中，该方法还包括以下步骤：统计不可用数据的个数，并计算不可用数据的个数在抽取的数据总数中的占比，当所述占比超过占比阈值时，则提示分层错误，否则不作处理。

本发明的一些实施例中，服务器接收客户端标记为不可用数据的试验数据，并统计所述不可用数据出现的次数，当所述不可用数据出现的次数超过次数阈值时，则向所述客户端发送指令，将所述不可用数据标记为不可抽取数据。

本发明的一些实施例中，该方法还包括以下步骤：统计标记为不可抽取数据的抽取次数，计算其不可用概率p，p＝不可用数据被标记次数/不可用数据被抽取次数，当p小于概率阈值时，则向所述客户端发送指令，取消对所述不可用数据的标记。

本发明的一些实施例中，当提示分层错误时，则发出全部清除和清除不可用数据两个选项，当用户反馈为全部清除，则将导入的数据全部清除，当用户反馈为清除不可用数据时，则只将不可用数据清除。

本发明的一些实施例中，如图5所示，示出了迭代各组待迭代实验数据直至其满足离散度值不大于对应的标准离散度值的方法流程图，具体方法为：

(1)计算目标组内各待迭代实验数据与对应均值的差值的绝对值，并按照降序排列，并将降序排列后位于前n名的各待迭代实验数据显示于统计结果展示区域，n为大于0的整数，计算所述目标组待迭代实验数据的离散度值；

(2)判断所述离散度值是否大于对应的标准离散度值，如果是，则剔除该组排序最靠前的待迭代实验数据，并进行步骤(3)；如果否，则将剩余待迭代实验数据作为参与统计计算的可用数据，并将所述可用数据展示于前端界面；

(3)判断剔除该待迭代实验数据后该目标组的离散度值；并进行步骤(2)。

在本发明某些实施例中，如图6所示，示出了基于离散度最小原则勘察实验数据自动处理的方法流程图，该方法还包括以下步骤：基于不同的测试指标相应设置不同的第一测试指标差值范围，比较各层a测试指标数值的大小，判断选定的钻孔的第n+1层与第n层的a测试指标数值的差是否在对应的第一测试指标差值范围内，如果是，则不作处理，如果不是，则接收用户选定的多个附近钻孔，获取多个附近钻孔的第n+1层对应的a测试指标数值，计算多个附近钻孔第n+1层对应的a测试指标数值的平均值，比较第n+1层选定的钻孔和多个附近钻孔的a测试指标数值的平均值的差，如果二者之差大于第二测试指标差值范围，则将选定钻孔第n+1层的测试指标数值标记为不可用数据。

岩土工程勘测技术领域中，土质的检测具有深度相关特性，即各地层土质的质量不同，一般情况下，层深越大，土质越好，各测试指标越好，因此，在本示例中做以上限定，可以根据各层数据是否符合深度相关性，来判断某些数据是否异常，以检测并剔除某些错误数据，如第n层的第n+1层的a测试指标的第一测试指标差值范围为10，则，测试各层之间的a测试指标的值，并判断相邻两层的a测试指标的差值是否在10以内，如果在，则说明各层数据合理，如果b层与相邻层的数据差大于10，则该数据可能为错误数据，此时，获取多个附近钻孔在该层的a测试指标的值，并计算平均值，比较b层与平均值的差值，如果该差值小于第二测试指标差值范围，则证明该数据合理，如果不在，则证明该数据确实为异常数据，则将其标记为不可用数据。

在本发明某些实施例中，该方法还包括以下步骤：如果二者之差不大于第二测试指标差值范围，则接收用户选定的多个附近钻孔，获取多个附近钻孔第n层对应的a测试指标数值，计算多个附近钻孔第n层对应的a测试指标数值的平均值，比较第n层选定的钻孔和多个附近钻孔的a测试指标数值的平均值的差，如果二者之差大于第二测试指标差值范围，则将选定钻孔第n层的测试指标数值标记为不可用数据，如果二者之差不大于第二测试指标差值范围，则不作处理。

当二者之差不大于第二测试指标差值范围时，证明第n+1层的a测试指标数值没问题，则获取多个附近钻孔第n层的a数据的平均值，计算选定钻孔的a测试指标数值与平均值的差值，判断其是否在第二测试指标差值范围内，如果在，则不作处理，不过大于该差值范围，则将选定钻孔第n层的a测试指标标记为不可用数据，本示例是用于检测选定钻孔第n层a测试指标是否为异常数据。

设备可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。设备除了包括硬件之外，还可以包括创建相关计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一种或多种的组合代码。

计算机程序(还可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或者代码)可以以任意形式的编程语言而被写出，包括编译语言或者解释语言或者声明性语言或过程式语言，并且计算机程序可以以任意形式展开，包括作为独立程序或者作为模块、组件、子程序或者适于在计算环境中使用的其他单元。计算机程序可以但不必须对应于文件系统中的文件。程序可以被存储在保存其他程序或者数据的文件的一部分中，例如，存储在如下中的一个或多个脚本：在标记语言文档中；在专用于相关程序的单个文件中；或者在多个协同文件中，例如，存储一个或多个模块、子程序或者代码部分的文件。计算机程序可以被展开为执行在一个计算机或者多个计算机上，所述计算机位于一处，或者分布至多个场所并且通过通信网络而互相连接。

在本说明书中描述的处理和逻辑流程可以由一个或多个可编程计算机执行，该计算机通过运算输入数据并且生成输出而执行一个或多个的计算机程序，以运行函数。处理和逻辑流程还可以由专用逻辑电路，例如，FPGA(可现场编程门阵列)或者ASIC(专用集成电路)执行，并且设备也可以被实施为专用逻辑电路。

适于实行计算机程序的计算机包括并且示例性地可以基于通用微处理器或者专用微处理器或者上述处理器两者，或者任意其他种类的中央处理单元。通常地，中央处理单元将接收来自只读存储器或者随机存取存储器或者这两者的指令和数据。计算机的主要元件是用于运行或者执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器装置。通常地，计算机还将包括或者是可操作性地耦合，以从用于存储数据的一个或多个大容量存储装置接收数据或者传递数据到大容量存储装置，或者接收和传递两者，该大容量存储器例如为磁盘、磁光盘或者光盘。然而，计算机不必须具有这样的装置。此外，计算机可以被嵌入到另一装置中，例如，移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏主控台、全球定位系统(GPS)接收器或者可移动存储设备，例如，通用串行总线(USB)闪存盘等。

适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失存储器、介质和存储器装置，作为实例，包括：半导体存储器装置，例如，EPROM、EEPROM和闪速存储器装置；磁盘，例如，内置硬盘或者可移动磁盘；磁光盘；CD-ROM和DVD-ROM盘。处理器和存储器可以补充以或者并入至专用逻辑电路。

为了发送与用户的交互，本说明书中描述的主题的实施方式可以被实施在计算机上，该计算机具有：显示装置，例如，CRT(阴极射线管)或者LCD(液晶显示器)监控器，用于向用户显示信息；以及键盘和例如鼠标或者追踪球这样的定位装置，用户利用它们可以将输入发送到计算机。其他种类的装置也可以用于发送与用户的交互；例如，提供给用户的反馈可以是任意形式的传感反馈，例如，视觉反馈、听觉反馈或者触觉反馈；以及来自用户的输入可以以任意形式接收到，包括声响输入、语音输入或者触觉输入。另外，计算机可以通过将文档发送至由用户使用的装置并且接收来自该装置的文档而与用户交互；例如，通过响应于接收到的来自网络浏览器的请求，而将网页发送到用户的客户端装置上的网络浏览器。

本说明书中描述的主题的实施方式可以在计算系统中实施，该计算系统包括例如数据服务器这样的后端组件，或者包括例如应用服务器这样的中间组件，或者包括例如客户端计算机这样的前端组件，该客户端计算机具有图形用户界面或者网络浏览器，用户可以通过图形用户界面或者网络浏览器而与本说明书中描述的主题的实施进行交互，或者该计算机系统包括一个或多个这种后端组件、中间组件或者前端组件的任意组合。系统中的组件可以通过例如通信网络的任意形式或介质的数字数据通信而互相连接。通信网络的实例包括局域网络(“LAN”)和广域网络(“WAN”)，例如，因特网。__计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络而交互。客户端与服务器之间的关系利用在各自的计算机上运行并且具有彼此之间的客户端-服务器关系的计算机程序而产生。

虽然本说明书包含很多具体的实施细节，但是这些不应当被解释为对任何发明的范围或者对可以要求保护的内容的范围的限制，而是作为可以使特定发明的特定实施方式具体化的特征的说明。在独立的实施方式的语境中的本说明书中描述的特定特征还可以与单个实施方式组合地实施。相反地，在单个实施方式的语境中描述的各种特征还可以独立地在多个实施方式中实施，或者在任何合适的子组合中实施。此外，虽然以上可以将特征描述为组合作用并且甚至最初这样要求，但是来自要求的组合的一个或多个特征在一些情况下可以从该组合去掉，并且要求的组合可以转向子组合或者子组合的变形。

相似地，虽然以特定顺序在附图中描述了操作，但是不应当理解为：为了实现期望的结果，要求这样的操作以示出的特定顺序或者以顺序次序而执行，或者所有图示的操作都被执行。在特定情况下，多任务处理和并行处理可以是有利的。此外，上述实施方式中的各种系统模块和组件的分离不应当理解为在所有实施方式中要求这样的分离，并且应当理解程序组件和系统可以通常被一体化在单个软件产品中或者打包至多个软件产品中。

已经描述了主题的特定实施方式。其他实施方式在以下权利要求的范围内。例如，在权利要求中记载的活动可以以不同的顺序执行并且仍旧实现期望的结果。作为一个实例，为了实现期望的结果，附图中描述的处理不必须要求示出的特定顺序或者顺序次序。在特定实现中，多任务处理和并行处理可以是有优势的。

Claims

1.一种基于离散度最小原则勘察实验数据自动处理的方法，其特征在于，主要包括如下步骤：

2.如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：

将迭代过程中不满足标准离散度值的所有数据标记为不可用数据；

接收剔除恢复指令，则将对应的实验数据从标记数据库中调取到其原实验数据中。

3.如权利要求1所述的方法，其特征在于，所述各组实验数据通过以下步骤获得：接收用户上传的实验数据表格和用户选择抽取的表格中数据的序号，根据用户选择的序号将实验数据表格中相对应的数据抽取出来形成待迭代实验数据表格。

4.如权利要求2所述的方法，其特征在于，所述方法还包括以下步骤：统计不可用数据的个数，并计算不可用数据的个数在抽取的数据总数中的占比，当所述占比超过占比阈值时，则提示分层错误，否则不作处理。

5.如权利要求2所述的方法，其特征在于，服务器接收客户端标记为不可用数据的实验数据，并统计所述不可用数据出现的次数，当所述不可用数据出现的次数超过次数阈值时，则向所述客户端发送指令，将所述不可用数据标记为不可抽取数据。

6.如权利要求5所述的方法，其特征在于，所述方法还包括以下步骤：统计标记为不可抽取数据的抽取次数，计算其不可用概率p，p＝不可用数据被标记次数/不可用数据被抽取次数，当p小于概率阈值时，则向所述客户端发送指令，取消对所述不可用数据的标记，否则不作处理。

7.如权利要求4所述的方法，其特征在于，当提示分层错误时，则发出全部清除和清除不可用数据两个选项，当用户反馈为全部清除，则将导入的数据全部清除，当用户反馈为清除不可用数据时，则只将不可用数据清除。

8.如权利要求2所述的方法，其特征在于，迭代各组待迭代实验数据直至其满足离散度值不大于对应的标准离散度值的具体方法为：

(1)计算目标组内各待迭代实验数据与各待迭代实验数据的均值之差的绝对值，并按照降序排列，并将降序排列后位于前n名的各待迭代实验数据显示于统计结果展示区域，n为大于0的整数，计算所述目标组待迭代实验数据的离散度值；

(3)计算剔除该待迭代实验数据后该目标组的离散度值；并进行步骤(2)。

9.如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：基于不同的测试指标相应设置不同的第一测试指标差值范围，比较各层a测试指标数值的大小，判断选定的钻孔的第n+1层与第n层的a测试指标数值的差是否在对应的第一测试指标差值范围内，如果是，则不作处理，如果不是，则接收用户选定的多个附近钻孔，获取多个附近钻孔的第n+1层对应的a测试指标数值，计算多个附近钻孔第n+1层对应的a测试指标数值的平均值，比较第n+1层选定的钻孔和多个附近钻孔的a测试指标数值的平均值的差，如果二者之差大于第二测试指标差值范围，则将选定钻孔第n+1层的测试指标数值标记为不可用数据。

10.如权利要求9所述的方法，其特征在于，所述方法还包括以下步骤：如果二者之差不大于第二测试指标差值范围，则接收用户选定的多个附近钻孔，获取多个附近钻孔第n层对应的a测试指标数值，计算多个附近钻孔第n层对应的a测试指标数值的平均值，比较第n层选定的钻孔和多个附近钻孔的a测试指标数值的平均值的差，如果二者之差大于第二测试指标差值范围，则将选定钻孔第n层的测试指标数值标记为不可用数据，如果二者之差不大于第二测试指标差值范围，则不作处理。