CN110633310B

CN110633310B - “直线逼近”异常下限确定方法

Info

Publication number: CN110633310B
Application number: CN201910863798.5A
Authority: CN
Inventors: 罗建民
Original assignee: Gansu Geological Survey Institute
Current assignee: Gansu Geological Survey Institute
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2023-03-21
Anticipated expiration: 2039-09-12
Also published as: CN110633310A

Abstract

本发明涉及一种“直线逼近”异常下限确定方法，该方法基于测试数据背景部分服从正态分布，服从直线分布必定服从高度正态分布的规律。编写算法模型，借助计算机通过重复(迭代)使用统计学直线拟合逐步逼近的方法将测试数字集中的背景部分精确地分离出来，所分离出的背景部分的上限和下限，分别为该数字集正异常的下限值和负异常的上限值，该方法可以快速、简易、精确的确定异常下限。

Description

“直线逼近”异常下限确定方法

技术领域

本发明属于数据分析研究领域，具体涉及一种“直线逼近”异常下限确定方法。

背景技术

基于测试数据背景部分服从正态分布的规律，传统的异常下限确定方法有近十种之多，不同方法计算结果相差悬殊，至今没有一种让所有人信服的确定方法，严重影响着研究结果的统一性和标准化。归纳现有异常下限确定方法有两类：

1、计算方法：以“统计迭代”计算方法(《中华人民共和国地质矿产行业标准1:5万地球化学普查规范(DZ/T 0011—91)》推荐方法)为代表，

(T为异常下限，x为研究数据总体的平均值，δ为标准离差，k：2～3之间的常数)。剔除超差(大于x+kδ和小于x-kδ)的数据，重复该方法(迭代计算)，直到没有超差数据(使剩余数据服从正态分布)，确定x+kδ值为所研究数字集的异常下限。

2、图解法：此类方法有近十种之多，最近提出的“含量排列法”(2009年，杨大欢等)简便且具有代表性。该方法首先对Excel文件中数字集排升序，利用“插入—平滑线散点图”功能生成数字集散点图，利用“插入—形状(直线)”功能分别对散点图背景值和高异常值(近直线分布)两个部分做充分拟合，选取弧形散点1/2处(弧线与其切线的交点)数值为该元素数字集的异常下限值。

该而上述方法存在如下不足：

1、“统计迭代”计算方法：该公式和方法确定的异常下限很大程度的影响数据处理的精度。对k值取2或3时，同一数字集所计算得异常下限相差较大，当标准离差较大(数据分布不均匀)时，k值取2或3计算的异常下限可相差倍数级别。

2、含量排列图解方法：图解方法确定的异常下限与“统计迭代法”计算结果相比较极不稳定，当数字集标准离差较大时，确定的异常下限值远大于“统计迭代法”计算结果。

3、传统的异常下限确定方法只能确定数字集的正异常下限，均无法确定负异常的上限。不符合测试数据集的三分分布特征(正异常、背景、负异常)，如无法研究地球化学元素亏损这一地质事实，无法满足大数据时代对数据精确研究。

4、传统的异常下限确定的方法，由于k值不定(由成图效果确定)，图解异常下限确定方法只能手工绘制。因此，传统的异常下限确定的方法无法编制计算机软件，无法满足多图幅、多元素大量数据的处理要求，计算、处理效率极低，无法满足大数据时代对大量数据的快速处理要求。

因此，研发一种可以编程由计算机自动准确、快速确定正异常下限、负异常上限等相关参数的方法，是大数据时代数字科学和计算技术的必然需求。

发明内容

本发明的目的是提供一种提高数据处理精度和效率的“直线逼近”异常下限确定方法。

本发明的另一个目的是提供一种能够全面的研究数据分布特征的“直线逼近”异常下限确定方法。

由于测试数字集均由背景、正异常和负异常三部分组成，背景部分服从正态分布，服从直线分布必定服从高度正态分布的规律，提出“直线逼近”异常下限确定方法。

为了解决上述技术问题，本发明公开了一种“直线逼近”异常下限确定方法，包括以下步骤：

(1)对数字集由大到小排降序，剔除奇异值，得到第二数字集；

(2)对第二数字集排降序，以测试值为(y)值，序号为(x)值编写算法模型对新数字集做直线拟合并计算其拟合度(R²)，按照相等数字为一级，不相等数字一个为一级，对数字集高值端逐级剔除数据，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数值变小时停止剔除并记录剔除前的数字，该数字称为顶端值，剔除第二数字集中大于顶端值的数字，剩余数字形成第三数字集；

(3)对第三数字集做直线拟合处理，由数字集低值端逐级剔除并比较剔除前后拟合度的大小变化，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数字变小，停止剔除并记录剔除前的数字，将该数值称为底端值，剔除第三数字集中小于底端值的数字，形成第四数字集；

(4)重复上述步骤2、3的方法若干次，直至剩余数字集直线拟合的拟合度≥0.98，则剩余数字集上限为测试数字集正异常下限，下限为测试数字集负异常上限。

进一步地，采用“统计迭代”法编制算法模型，K取2-3任意值，计算数字集初步异常下限作为所述奇异值；

进一步地，直线拟合、拟合度计算公式如下：

进一步地，采用“统计迭代”法计算数字集异常下限作为所述奇异值，选取K＝3，经6次迭代；

提供一种“直线逼近”异常下限图解方法，采用数据处理数据库实施，步骤如下：

1、首先在所述数据处理数据库中对测试数字集排降序，选准数字集用插入功能生成线状散点分布图，选准散点线，添加对数趋势线并显示公式和拟合度(R²)，在数字集中逐级剔除高值，使R²大于等于0.95；

2、用插入功能在图形中插入直线，移动直线使其与散点图平直部分充分吻合，读取直线和散点线上部分叉点为正异常下限，下部分叉点为负异常上限。

进一步地，所述数据处理数据库为Excel、Spass或MATLAB。

进一步地，采用如下步骤：

A、在数据处理数据库中，对由正异常初步下限和负异常初步上限构成的数字集，由数字集中的高值端逐级剔除，采用相等的数字为一级，不相等的数字一个为一级的方式分级，并比较剔除前后拟合度R²的大小变化，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数字变小，停止剔除并记录剔除前的数字；

B、继续对数字集低端逐级剔除，如此反复直到两端均无数据可剔除为止，剩余数字集上限为正异常下限，数字集下限为负异常上限。

本发明的“直线逼近”异常下限确定方法，具有以下优点：

1、相对于传统方法，“直线逼近”异常下限确定方法不需要人为确定参数(k值)和手工绘制图解，确保被分离出的背景部分为全体数字集中直线拟合度最高(服从高度正态分布)、数据数量最多的部分，其结果合理、精确且具有唯一性。

2、“直线逼近”异常下限确定方法可以确定出负异常的上限值，符合测试数据集的三分分布特征(正异常、背景、负异常)，可以实现对如同地球化学元素亏损这一地质事实的研究，符合大数据时代对数据深度挖掘的要求和精度。

3、“直线逼近”异常下限确定方法建立在统计学、计算机和计算技术基础之上，可以编制基于“人工智能”思想的算法模型(软件)，具有对海量数据、多个参量同时进行计算处理的能力，适应当今“大数据”时代对海量数据进行大规模精细研究处理的要求。

4、编制的“直线逼近”异常下限确定算法模型(软件)，在一次完成甘肃省西秦岭地区32幅地球化学图，每幅图39个测试素的异常下限、负异常上限等33个参数的计算处理用时不超过3分钟，大幅提高了地球化学数据计算处理的效率，为“大数据”时代实现测试数据深度挖掘奠定了基础。

附图说明

图1为含量排列图解方法Au、Ag、Mn、Cd元素异常下限确定图。

图2为“统计迭代法”、“含量排列法”Au元素异常下限确定值对比图。

图3为“实施例”中Au、Ag、Mn、Cd元素背景、异常部分分布特征图。

图4为Au元素直线拟合迭代逼近背景过程示意图；

图5为Ag、Mn、Cd元素直线拟合迭代逼近背景结果示意图；

图6为Ag元素异常下限快速确定示意图；

图7为不同异常下限确定方法处理结果对比表。

图1中，1).曲线为各元素测试值散点分布线，2).直线为不同部分拟合线，3).T为元素预测下限值；

图2中，1).曲线为各元素测试值散点分布线，2).直线为不同部分拟合线；

图3中，1).曲线为各元素测试值散点分布线，2).直线为各背景部分拟合直线。

具体实施方式

下面通过实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”，“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

以某图幅1:20万水系沉积物地球化学测试数据Au、Ag、Mn、Cd元素为例(测试样本1708件，每件测试39个元素)，对不同异常下限确定方法及结果进行对比说明。

1、“统计迭代”计算方法：对实例中各元素数字集以

为计算公式，分别选取k＝2和k＝3，迭代计算不同k值的异常下限(见图7)。一般k不同取值异常下限计算结果相差较大，实例中Au、Ag、Mn元素不同取值异常计算结果相对平均误差均大于10％。当数字集标准离差较大(数据分布不均匀)时，k值取2或3计算的异常下限相差极大，Cd元素相对平均误差高达41.5％。

2、含量排列图解方法：以“含量排列法”对实例中Au、Ag、Mn、Cd元素分别进行异常下限确定，各元素图解结果(见图7)，各元素图解方法(见图1)。该图解方法确定的异常下限与“统计迭代法”计算结果相比较极不稳定，当数字集标准离差较大时，确定的异常下限值远大于“统计迭代法”计算结果，图7中Cd元素较前者计算结果高出一倍。

3、比较上述两种方法异常下限确定结果：绘图比较上述两种方法确定异常下限值相近的Au元素异常下限值(见图2)。k＝3时，“统计迭代法”确定的背景值为小于3.75的数字集，“含量排列法”确定的背景值为小于3.2的数字集。根据测试数据背景部分服从正态分布，服从直线分布必定服从高度正态分布的规律，图2中B—C段应为背景部分，A—B段数据应属于低异常部分，显然，上述两种确定方法均将大量异常数据错误归入背景部分。

因此，上述两种方法确定的异常下限值均不精确，将导致大量低缓异常被丢失，无法满足大数据时代对数据深度挖掘的要求和精度。

4、首先对各元素数字集由大到小排降序，剔除奇异值(特高值和特低值)，以各元素测试值为纵坐标，以单元长度(或序号)为横坐标绘制各元素散点分布图(见图3)。各元素散点分布线B—C段服从直线分布(高度正态分布)为各元素数字集背景部分，A—B、C—D段分别服从对数分布和反转的对数分布，分别对应各元素正异常和负异常部分。

实施例2

测试数字集直线拟合迭代逼近背景异常下限计算方法—“直线逼近法”，具体“直线逼近”方法和步骤以实例中Au元素为例描述如下：

1、对实例中Au元素数字集选取k＝3，编写“统计迭代法”异常下限算法模型(经6次迭代)，求得Au元素初步异常下限(大于3.75)，数字集最小值为0.2，得到新的数字集(3.75—0.2)。

2、对新数字集(3.75—0.2)由大到小排降序，以测试值为(y)值，序号为(x)值编写算法模型对新数字集做直线拟合并计算其拟合度(R²)。确定出直线函数(

拟合度R²＝0.9583)。由数字集高值端逐级剔除数据(相等的数字为一级，不相等的数字一个为一级)并比较剔除前后拟合度R²的大小变化，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数值变小时停止剔除并记录剔除前的数字。实例中Au元素由3.75开始剔除，直至2.8拟合度逐级增大至0.9789，如果继续剔除37个2.8的数字至2.7，其拟合度则降为0.9787，因此停止并返回记录2.8为新数字集的上限，参见图4。

3、对小于等于2.8的Au元素数字集(2.8—0.2的全部数据)做直线拟合处理，由数字集低值端逐级剔除并比较剔除前后拟合度R²的大小变化，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数字变小，停止剔除并记录剔除前的数字。实例中Au元素由0.2开始剔除，直至0.9拟合度逐级增大至0.988，见图4，如果继续剔除33个0.9的数字至1.0，其拟合度则降为0.9874，停止并返回记录0.9为新数字集的下限。

4、对于(2.8—0.9)的Au元素数字集重复上述步骤2和步骤3的方法，直至上下均无可剔除数字为止，以剩余数字集上限为Au元素正异常下限，数字集下限为Au元素负异常上限。实例中Au元素逐级剔除上限为2.3下限为1.0时，上下均无数字可以剔除，其直线拟合度达到0.9901，见图4。该段为Au元素全体数字集中直线拟合度最高(服从高度正态分布)、数据数量最多的部分(数据量984个，占数字集总数的57.6％)。

“直线逼近法”最终确定实例中Au元素正异常下限为2.3，负异常上限为1.0。

实施例3

按照实施例2所述的方法，分别对Ag、Mn、Cd元素正异常下限、负异常上限进行计算，见图5、7。

实施例4

1、首先在“Excel”数据库中对测试数字集排降序，选准数字集用插入功能生成线状散点分布图，选准散点线点击右键添加对数趋势线并显示公式和拟合度(R²)。在数字集中逐级剔除高值，使R²等于或略高于0.95。

2、用插入功能在图形中插入直线，移动直线使其与散点图平直部分充分吻合，读取直线和散点线上部分叉点为正异常下限，下部分叉点为负异常上限(见图6)。确定实例中Ag元素异常下限和负异常上限分别为80和47，与“直线逼近”法结果极为一致。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各科研领域测试数据的分析处理，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。

Claims

1.“直线逼近”异常下限确定方法，其特征在于，包括以下步骤：

(1)对地球化学测试数据各元素数字集由大到小排降，剔除奇异值，得到第二数字集；

(2)对第二数字集排降序，以测试值为y值，序号为x值编写算法模型对新数字集做直线拟合并计算其拟合度R²，按照相等数字为一级，不相等数字一个为一级，对数字集高值端逐级剔除数据，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数值变小时停止剔除并记录剔除前的数字，该数字称为顶端值，剔除第二数字集中大于顶端值的数字，剩余数字形成第三数字集；

(4)重复上述步骤(2)-(3)的方法若干次，直至剩余数字集直线拟合的拟合度≥0.98，则剩余数字集上限为地球化学测试数据各元素数字集正异常下限，下限为地球化学测试数据各元素数字集负异常上限。

2.如权利要求1所述的“直线逼近”异常下限确定方法，其特征在于，采用“统计迭代”法编制算法模型，K取2-3任意值，计算数字集初步异常下限作为所述奇异值。

3.如权利要求1所述的“直线逼近”异常下限确定方法，其特征在于，对于所述顶端值和底端值的范围内的数字集重复上述步骤2和步骤3的方法，直至上下均无可剔除数字为止，以剩余数字集上限为数字集的正异常下限，数字集下限为数字集的负异常上限。

4.如权利要求1所述的“直线逼近”异常下限确定方法，其特征在于，所述直线拟合和所述拟合度采用如下公式计算：

5.“直线逼近”异常下限图解方法，其特征在于，所述“直线逼近”异常下限确定方法采用数据处理数据库实施，步骤如下：

1)、首先在数据处理数据库中对地球化学测试数据各元素数字集排降序，选准数字集用插入功能生成线状散点分布图，选准散点线，添加对数趋势线并显示公式和拟合度R²，在数字集中逐级剔除高值，使R²大于等于0.95；

2)、用插入功能在图形中插入直线，移动直线使其与散点图平直部分充分吻合，读取直线和散点线上部分叉点为正异常下限，下部分叉点为负异常上限；

A、按照步骤1)、步骤2)得到背景上限、背景下限和线型散点分布图；

B、在数据处理数据库中，对由正异常初步下限和负异常初步上限构成的数字集，由数字集中的高值端逐级剔除，采用相等的数字为一级，不相等的数字一个为一级的方式分级，并比较剔除前后拟合度R²的大小变化，拟合度逐级增大或不变则继续剔除，直至拟合度相对前一数字变小，停止剔除并返回剔除前的数字；

C、继续对数字集低端逐级剔除，如此反复直到两端均无数据可剔除为止，剩余数字集上限为正异常下限，数字集下限为负异常上限。

6.如权利要求5所述的“直线逼近”异常下限图解方法，其特征在于，所述数据处理数据库为Excel、Spss或MATLAB。