CN117252863A - 一种地理信息异常数据快速检测分析方法 - Google Patents
一种地理信息异常数据快速检测分析方法 Download PDFInfo
- Publication number
- CN117252863A CN117252863A CN202311497842.8A CN202311497842A CN117252863A CN 117252863 A CN117252863 A CN 117252863A CN 202311497842 A CN202311497842 A CN 202311497842A CN 117252863 A CN117252863 A CN 117252863A
- Authority
- CN
- China
- Prior art keywords
- initial cluster
- points
- initial
- distribution
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 title claims description 11
- 238000009826 distribution Methods 0.000 claims abstract description 77
- 230000005856 abnormality Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000002093 peripheral effect Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域,提出了一种地理信息异常数据快速检测分析方法,包括:采集地理信息的点云数据;对点云数据通过聚类得到若干初始聚簇;根据初始聚簇内点的分布及初始聚簇外其他点的分布,得到每个初始聚簇的分布异常因子;根据初始聚簇在不同平面的投影点分布,获取每个初始聚簇的剖面异常因子;结合分布异常因子,得到每个初始聚簇的综合异常程度;根据综合异常程度得到各点的自适应邻域半径,通过自适应邻域半径对点云数据重新聚类进行异常检测。本发明旨在解决通过三维点云数据测量地理信息时受云雾干扰导致检测结果不准确的问题。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种地理信息异常数据快速检测分析方法。
背景技术
点云数据是一种三维空间数据表示方法,它由大量的离散点构成,每个点都包含了空间位置,可用于模拟和描述现实世界中的三维物体、地表、建筑物及地下结构。在地理测绘领域,点云数据具有重要的意义和应用价值,它提供了高精度、高分辨率的地理信息,支持各种应用,从城市规划到环境保护,再到基础设施管理和资源勘探等。点云数据采集中会产生由于传感器故障、环境干扰因素导致的数据异常,这些异常数据会对后续的数据处理、分析和应用产生不良影响,导致点云数据的精度下降从而影响到模型或分析的准确性,异常点的存在需要进行特殊分析处理,因此对于采集的点云数据的异常检测十分重要。
通过激光雷达采集点云数据时,会受环境影响产生异常点,例如云雾环境下导致激光反射发生偏差,而现有技术中通常通过DBSCAN聚类来分析异常点,然而传统通过经验值设定的邻域半径,会使得正常区域的密集的聚簇点集对异常点检测产生干扰,因此需要分析点云数据通过初始聚类之后,各聚簇点集之内的密集程度来分析异常的可能性,进而自适应邻域半径来进行聚类,提高点云数据分析异常的准确性。
发明内容
本发明提供一种地理信息异常数据快速检测分析方法,以解决现有的通过三维点云数据测量地理信息时受云雾干扰导致检测结果不准确的问题,所采用的技术方案具体如下:
本发明一个实施例提供了一种地理信息异常数据快速检测分析方法,该方法包括以下步骤:
采集地理信息的点云数据;
对点云数据通过聚类得到若干初始聚簇;根据初始聚簇内点的分布及初始聚簇外其他点的分布,得到每个初始聚簇的分布异常因子;
根据初始聚簇在不同平面的投影点分布,获取每个初始聚簇的剖面异常因子;结合分布异常因子,得到每个初始聚簇的综合异常程度;
根据综合异常程度得到各点的自适应邻域半径,通过自适应邻域半径对点云数据重新聚类进行异常检测。
进一步的,所述对点云数据通过聚类得到若干初始聚簇,包括的具体方法为:
对点云数据进行DBSCAN聚类,距离度量为点云数据中点之间的欧式距离,将三维点云数据构建为R-tree索引结构,点云数据中每个点被插入到R-tree中,R-tree的节点根据点的空间位置动态地划分为子节点,根据点的R-tree索引进行DBSCAN聚类,根据点云数据中任意两点之间的欧式距离设置邻域半径;该次聚类为第一次聚类,通过该次聚类得到若干聚簇,记为初始聚簇。
进一步的,所述得到每个初始聚簇的分布异常因子,包括的具体方法为:
根据初始聚簇内点的分布及初始聚簇外点的分布,以及邻域半径,获取每个初始聚簇的最小外接立方体及若干层外围邻域;对于任意一个初始聚簇,该初始聚簇的分布异常因子的计算方法为:
,
其中,表示该初始聚簇中点的数量,/>表示该初始聚簇的最小外接立方体的体积,表示该初始聚簇内每个点与该初始聚簇内其他点之间的欧式距离最小值,/>表示该初始聚簇中所有点的/>的方差,/>表示该初始聚簇的外围邻域层数,/>表示该初始聚簇的第/>层外围邻域中点的数量,/>表示该初始聚簇的第/>层外围邻域中点的数量;/>为超参数,/>表示求绝对值,/>表示以自然常数为底的指数函数,/>、/>及/>为参考权重。
进一步的,所述每个初始聚簇的最小外接立方体及若干层外围邻域,具体的获取方法为:
对于任意一个初始聚簇,获取该初始聚簇中所有点的坐标中x轴最小值及最大值、y轴最小值及最大值,以及z轴最小值及最大值,根据得到的三个坐标轴上的最小值及最大值,构建该初始聚簇的最小外接立方体;
预设外围邻域层数,获取该初始聚簇的中心点,以邻域半径为初始球面半径,步长为邻域半径,共迭代外围邻域层数次,得到若干球面半径,根据中心点与每个球面半径得到若干球面,将第二个得到的球面与第一个得到的球面之间的空间记为该初始聚簇的第一层外围邻域,将第三个得到的球面与第二个得到的球面之间的空间记为该初始聚簇的第二层外围邻域,得到该初始聚簇的若干层外围邻域。
进一步的,所述每个初始聚簇的剖面异常因子,具体的获取方法为:
根据初始聚簇在xy面、xz面及yz面的投影中投影点的分布,得到每个初始聚簇在每个面上若干条直线及每条直线上投影点的数量与分布长度,以及初始聚簇在每个面内的任意两个投影点的欧式距离;对于任意一个初始聚簇,该初始聚簇的剖面异常因子的计算方法为:
,
其中,表示平面的数量,/>表示该初始聚簇在第/>个平面内每个投影点与其他投影点之间的欧式距离最小值,/>表示对该初始聚簇在第/>个平面内所有投影点的的方差,/>表示该初始聚簇在第/>个平面投影得到的直线数量,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线的分布长度,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线上投影点的数量;/>为超参数,/>表示以自然常数为底的指数函数,/>与/>为分配权重。
进一步的,所述得到每个初始聚簇在每个面上若干条直线及每条直线上投影点的数量与分布长度,以及初始聚簇在每个面内的任意两个投影点的欧式距离,包括的具体方法为:
对于任意一个初始聚簇,获取该初始聚簇中所有点分别在xy面、xz面及yz面的投影,记为每个点在对应面的投影点,获取该初始聚簇在每个面内的任意两个投影点的欧式距离;
通过对初始聚簇在每个平面内投影点进行霍夫变换,获取每个初始聚簇在每个面上若干条直线,以及每条直线上投影点的数量与分布长度。
进一步的,所述每个初始聚簇在每个面上若干条直线,以及每条直线上投影点的数量与分布长度,具体的获取方法为:
对于任意一个初始聚簇及任意一个面,对该初始聚簇内所有点在该面的投影点进行霍夫变换,得到若干直线,得到每条直线包含投影点的数量;
对得到的每条直线转换回该面中,将任意一条直线上距离最远的两个投影点之间的欧式距离,作为该条直线的分布长度。
进一步的,所述得到每个初始聚簇的综合异常程度,包括的具体方法为:
对于任意一个初始聚簇,将该初始聚簇的分布异常因子与剖面异常因子的均值,作为该初始聚簇的综合异常程度。
进一步的,所述根据综合异常程度得到各点的自适应邻域半径,包括的具体方法为:
对于任意一个初始聚簇,将该初始聚簇的综合异常程度与第一次聚类设定的邻域半径相乘,得到的乘积记为该初始聚簇的自适应邻域半径,将自适应邻域半径赋予到该初始聚簇每个点,得到该初始聚簇中每个点的自适应邻域半径。
进一步的,所述通过自适应邻域半径对点云数据重新聚类进行异常检测,包括的具体方法为:
通过各点的自适应邻域半径,对点云数据中所有点重新进行DBSCAN聚类,得到若干聚簇,记为若干最终聚簇;根据最终聚簇中点的分布,对点云数据进行异常检测。
本发明的有益效果是:本发明通过对地理信息的点云数据进行自适应聚类,避免云雾环境对点云数据的影响,进而得到较为准确的聚类结果实现异常点的筛选,完成地理信息异常数据的快速检测;自适应聚类过程中,通过第一次聚类得到若干初始聚簇,通过初始聚簇中点的密集均匀分布及外围邻域其他点的规律性分布,量化得到分布异常因子,通过分布异常因子来保证初始聚簇内点的分布是否均匀规律;再通过初始聚簇在三平面的投影点的均匀分布,以及直线规律程度,量化得到剖面异常因子,表征初始聚簇在实际环境中的直线分布规律情况,更清楚地反映云雾环境下某些初始聚簇的无规律性,进而得到综合异常程度并调整邻域半径重新聚类,使得云雾环境干扰产生的点能够更加准确的进行聚类,同时正常的聚簇点集不会对其产生干扰影响,进而得到最终的聚类结果并完成异常检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种地理信息异常数据快速检测分析方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例所提供的一种地理信息异常数据快速检测分析方法流程图,该方法包括以下步骤:
步骤S001、采集地理信息的点云数据。
本实施例的目的是通过对地理信息的点云数据进行聚类,分析其中异常点完成地理信息的异常数据的检测,因此首先需要获取地理信息的点云数据;本实施例通过无人机搭载激光雷达对待测区域采集地质测绘数据,激光雷达通过发射激光束并测量其返回时间,数据以点云形式存储,获取到地表点云数据;通过将不同位置的点云数据整合成一个统一的三维坐标系,每个点具有x轴、y轴和z轴的三个坐标,则采集得到了点云数据。
至此,获取到了地理信息的点云数据。
步骤S002、对点云数据通过聚类得到若干初始聚簇;根据初始聚簇内点的分布及初始聚簇外其他点的分布,得到每个初始聚簇的分布异常因子。
需要说明的是,对点云数据通过第一次聚类得到若干初始聚簇,而不同初始聚簇中点的分布存在差异,初始聚簇包括正常的聚簇点集以及受云雾影响的异常聚簇点集,此时异常聚簇点集无法直接进行分析;而初始聚簇内点的分布越密集,同时各点之间越不均匀,初始聚簇内点的分布越不稳定,初始聚簇发生异常的可能性较高;同时初始聚簇以邻域半径向外逐层扩展,相邻层中其他点的分布越规律,逐层离散性越强,初始聚簇内部规律性越强,发生异常的可能性就会越小。
具体的,首先对点云数据进行DBSCAN聚类,距离度量为点云数据中点之间的欧式距离,为了提高聚类的速度,将三维点云数据构建为R-tree索引结构,点云数据中每个点被插入到R-tree中,R-tree的节点根据点的空间位置动态地划分为子节点,根据点的R-tree索引进行DBSCAN聚类,对于邻域半径,获取点云数据中任意两点之间的欧式距离,本实施例将欧式距离最小值的10倍作为邻域半径;该次聚类为第一次聚类,通过该次聚类得到若干聚簇,记为初始聚簇。
进一步的,对于任意一个初始聚簇,获取该初始聚簇中所有点的坐标中x轴最小值及最大值、y轴最小值及最大值,以及z轴最小值及最大值,根据得到的三个坐标轴上的最小值及最大值,构建该初始聚簇的最小外接立方体(长方体),获取立方体的体积,体积即用点的数量来表示;同时预设一个外围邻域层数,本实施例外围邻域层数采用4进行叙述,获取该初始聚簇的中心点,以初始球面半径为邻域半径开始,步长为邻域半径,共迭代四次,得到五个球面半径,根据中心点与五个球面半径得到五个球面,将第二个得到的球面与第一个得到的球面之间的空间记为该初始聚簇的第一层外围邻域,将第三个得到的球面与第二个得到的球面之间的空间记为该初始聚簇的第二层外围邻域,则按照上述方法得到该初始聚簇的第三层外围邻域及第四层外围邻域,每层外围邻域实际上记为从该初始聚簇向外扩展邻域半径大小所增加的空间部分,统计每层外围邻域中点的数量,则该初始聚簇的分布异常因子的计算方法为:
,
其中,表示该初始聚簇中点的数量,/>表示该初始聚簇的最小外接立方体的体积,表示该初始聚簇内每个点与该初始聚簇内其他点之间的欧式距离最小值,即每个点与聚簇内距离最近的点之间的欧式距离;/>表示该初始聚簇中所有点的/>的方差,/>表示该初始聚簇的外围邻域层数,本实施例采用/>进行叙述;/>表示该初始聚簇的第/>层外围邻域中点的数量,/>表示该初始聚簇的第/>层外围邻域中点的数量;/>为避免指数函数输出值过小的超参数,本实施例采用/>进行叙述,/>表示求绝对值,/>表示以自然常数为底的指数函数,本实施例采用/>模型来呈现反比例关系及归一化处理,/>为模型的输入,实施者可根据实际情况设置反比例函数及归一化函数;/>、/>及/>为参考权重,由于初始聚簇中点的均匀分布影响最大,同时受分布密集影响,而外围邻域的规律性用于对异常因子进行调整,因此本实施例采用/>、/>及/>进行叙述;初始聚簇中点的数量与最小外接立方体的体积的比值越大,初始聚簇内点越密集,同时点的距离之间方差越大,均匀程度越小,则初始聚簇发生异常的可能性越大,初始聚簇的分布异常因子越大;而对于外围邻域,其无论是逐层递增还是逐层递减,累加得到的绝对值会越大,初始聚簇内部分布越规律,则分布异常因子越小,若逐层增减不存在规律,累加得到的绝对值会变小,进而分布异常因子越大;按照上述方法获取每个初始聚簇的分布异常因子。
至此,对点云数据进行了第一次聚类,得到若干初始聚簇及每个初始聚簇的分布异常因子。
步骤S003、根据初始聚簇在不同平面的投影点分布,获取每个初始聚簇的剖面异常因子;结合分布异常因子,得到每个初始聚簇的综合异常程度。
需要说明的是,初始聚簇在三维空间中表现混乱,但是按照两个坐标轴形成的平面,对初始聚簇获取在三个平面中的投影后,投影点可能会表现出一定的规律分布,而云雾干扰下的初始聚簇无论在哪个平面都不会存在规律分布,因此需要分析初始聚簇在各平面的投影点的分布,从投影点之间的距离,以及投影点构成的直线来进行剖面异常因子量化,三个平面即为三个剖面;通过剖面异常因子及分布异常因子,最终获取每个初始聚簇的综合异常程度,从而为后续自适应邻域半径的获取提供基础;其中投影点构成的直线量化成直线规律程度,云雾环境干扰下很少呈直线分布,而实际地质环境中,山体岩石会呈现大量直线情况,因此需要量化直线规律程度。
具体的,对于任意一个初始聚簇,获取该初始聚簇中所有点分别在xy面、xz面及yz面的投影,记为每个点在对应面的投影点;对于任意一个面,对该初始聚簇内所有点在该面的投影点进行霍夫变换,得到若干直线,同时可以得到每条直线包含投影点的数量,对得到的每条直线转换回该面中,将任意一条直线上距离最远的两个投影点之间的欧式距离,作为该条直线的分布长度;按照上述方法获取该初始聚簇在每个面上若干条直线及每条直线上投影点的数量与分布长度;同时获取该初始聚簇在每个面内的任意两个投影点的欧式距离,则该初始聚簇的剖面异常因子的计算方法为:
,
其中,表示平面的数量,本实施例采用/>进行叙述;/>表示该初始聚簇在第/>个平面内每个投影点与其他投影点之间的欧式距离最小值,即平面内每个投影点与距离最近的投影点之间的欧式距离;/>表示对该初始聚簇在第/>个平面内所有投影点的/>的方差,需要说明的是,投影点存在重叠的可能性,即三维坐标系中多个点投影到平面中形成一个投影点,此时这些投影点与其他投影点之间的欧式距离最小值均采用0进行计算;/>表示该初始聚簇在第/>个平面投影得到的直线数量,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线的分布长度,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线上投影点的数量;/>为避免指数函数输出值过小的超参数,本实施例采用/>进行叙述,/>表示以自然常数为底的指数函数,本实施例采用/>模型来呈现反比例关系及归一化处理,/>为模型的输入,实施者可根据实际情况设置反比例函数及归一化函数;/>与/>为分配权重,本实施例中认为投影点的分布及直线分布同样重要,因此采用/>进行叙述;初始聚簇在平面内的投影点的之间距离的方差越小,分布越均匀,则剖面异常因子越小;而平面内形成的直线数量越多,且直线长度越大的同时投影点的数量越多,则直线规律程度越大,剖面异常因子越小;按照上述方法获取每个初始聚簇的剖面异常因子。
进一步的,对于任意一个初始聚簇,将该初始聚簇的分布异常因子与剖面异常因子的均值,作为该初始聚簇的综合异常程度。
至此,对初始聚簇得到了综合异常程度。
步骤S004、根据综合异常程度得到各点的自适应邻域半径,通过自适应邻域半径对点云数据重新聚类进行异常检测。
需要说明的是,获取到综合异常程度后,每个初始聚簇都具有相应的综合异常程度,而综合异常程度则反映了初始聚簇内点的异常分布,综合异常程度越大的初始聚簇,相应需要保证其中点的自适应邻域半径越大,从而得到更加准确的聚类结果;而综合异常程度越小的初始聚簇,其需要适当调小邻域半径,从而避免对其他聚簇产生干扰;进而根据自适应邻域半径重新聚类,通过得到的聚类结果进行点云数据的异常检测。
具体的,对于任意一个初始聚簇,将该初始聚簇的综合异常程度与第一次聚类设定的邻域半径相乘,得到的乘积记为该初始聚簇的自适应邻域半径,将自适应邻域半径赋予到该初始聚簇每个点,则得到了该初始聚簇中每个点的自适应邻域半径;按照上述方法获取点云数据中所有点的自适应邻域半径,通过各点的自适应邻域半径,对点云数据中所有点重新进行DBSCAN聚类,得到若干聚簇,记为若干最终聚簇;根据最终聚簇中点的分布,对点云数据进行异常检测,排除异常点的干扰,其中通过聚类对点云数据进行异常检测为公知技术,本实施例不再赘述。
至此,通过对地理信息中的点云数据经过第一次聚类及重新聚类,调整邻域半径,得到更加准确的聚类结果,进而实现对点云数据中异常点的监测,完成地理信息异常数据的快速检测。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种地理信息异常数据快速检测分析方法,其特征在于,该方法包括以下步骤:
采集地理信息的点云数据;
对点云数据通过聚类得到若干初始聚簇;根据初始聚簇内点的分布及初始聚簇外其他点的分布,得到每个初始聚簇的分布异常因子;
根据初始聚簇在不同平面的投影点分布,获取每个初始聚簇的剖面异常因子;结合分布异常因子,得到每个初始聚簇的综合异常程度;
根据综合异常程度得到各点的自适应邻域半径,通过自适应邻域半径对点云数据重新聚类进行异常检测。
2.根据权利要求1所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述对点云数据通过聚类得到若干初始聚簇,包括的具体方法为:
对点云数据进行DBSCAN聚类,距离度量为点云数据中点之间的欧式距离,将三维点云数据构建为R-tree索引结构,点云数据中每个点被插入到R-tree中,R-tree的节点根据点的空间位置动态地划分为子节点,根据点的R-tree索引进行DBSCAN聚类,根据点云数据中任意两点之间的欧式距离设置邻域半径;该次聚类为第一次聚类,通过该次聚类得到若干聚簇,记为初始聚簇。
3.根据权利要求2所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述得到每个初始聚簇的分布异常因子,包括的具体方法为:
根据初始聚簇内点的分布及初始聚簇外点的分布,以及邻域半径,获取每个初始聚簇的最小外接立方体及若干层外围邻域;对于任意一个初始聚簇,该初始聚簇的分布异常因子的计算方法为:
,
其中,表示该初始聚簇中点的数量,/>表示该初始聚簇的最小外接立方体的体积,/>表示该初始聚簇内每个点与该初始聚簇内其他点之间的欧式距离最小值,/>表示该初始聚簇中所有点的/>的方差,/>表示该初始聚簇的外围邻域层数,/>表示该初始聚簇的第/>层外围邻域中点的数量,/>表示该初始聚簇的第/>层外围邻域中点的数量;/>为超参数,/>表示求绝对值,/>表示以自然常数为底的指数函数,/>、/>及/>为参考权重。
4.根据权利要求3所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述每个初始聚簇的最小外接立方体及若干层外围邻域,具体的获取方法为:
对于任意一个初始聚簇,获取该初始聚簇中所有点的坐标中x轴最小值及最大值、y轴最小值及最大值,以及z轴最小值及最大值,根据得到的三个坐标轴上的最小值及最大值,构建该初始聚簇的最小外接立方体;
预设外围邻域层数,获取该初始聚簇的中心点,以邻域半径为初始球面半径,步长为邻域半径,共迭代外围邻域层数次,得到若干球面半径,根据中心点与每个球面半径得到若干球面,将第二个得到的球面与第一个得到的球面之间的空间记为该初始聚簇的第一层外围邻域,将第三个得到的球面与第二个得到的球面之间的空间记为该初始聚簇的第二层外围邻域,得到该初始聚簇的若干层外围邻域。
5.根据权利要求1所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述每个初始聚簇的剖面异常因子,具体的获取方法为:
根据初始聚簇在xy面、xz面及yz面的投影中投影点的分布,得到每个初始聚簇在每个面上若干条直线及每条直线上投影点的数量与分布长度,以及初始聚簇在每个面内的任意两个投影点的欧式距离;对于任意一个初始聚簇,该初始聚簇的剖面异常因子的计算方法为:
,
其中,表示平面的数量,/>表示该初始聚簇在第/>个平面内每个投影点与其他投影点之间的欧式距离最小值,/>表示对该初始聚簇在第/>个平面内所有投影点的/>的方差,/>表示该初始聚簇在第/>个平面投影得到的直线数量,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线的分布长度,/>表示该初始聚簇在第/>个平面投影得到的第/>条直线上投影点的数量;/>为超参数,/>表示以自然常数为底的指数函数,/>与/>为分配权重。
6.根据权利要求5所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述得到每个初始聚簇在每个面上若干条直线及每条直线上投影点的数量与分布长度,以及初始聚簇在每个面内的任意两个投影点的欧式距离,包括的具体方法为:
对于任意一个初始聚簇,获取该初始聚簇中所有点分别在xy面、xz面及yz面的投影,记为每个点在对应面的投影点,获取该初始聚簇在每个面内的任意两个投影点的欧式距离;
通过对初始聚簇在每个平面内投影点进行霍夫变换,获取每个初始聚簇在每个面上若干条直线,以及每条直线上投影点的数量与分布长度。
7.根据权利要求6所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述每个初始聚簇在每个面上若干条直线,以及每条直线上投影点的数量与分布长度,具体的获取方法为:
对于任意一个初始聚簇及任意一个面,对该初始聚簇内所有点在该面的投影点进行霍夫变换,得到若干直线,得到每条直线包含投影点的数量;
对得到的每条直线转换回该面中,将任意一条直线上距离最远的两个投影点之间的欧式距离,作为该条直线的分布长度。
8.根据权利要求1所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述得到每个初始聚簇的综合异常程度,包括的具体方法为:
对于任意一个初始聚簇,将该初始聚簇的分布异常因子与剖面异常因子的均值,作为该初始聚簇的综合异常程度。
9.根据权利要求2所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述根据综合异常程度得到各点的自适应邻域半径,包括的具体方法为:
对于任意一个初始聚簇,将该初始聚簇的综合异常程度与第一次聚类设定的邻域半径相乘,得到的乘积记为该初始聚簇的自适应邻域半径,将自适应邻域半径赋予到该初始聚簇每个点,得到该初始聚簇中每个点的自适应邻域半径。
10.根据权利要求1所述的一种地理信息异常数据快速检测分析方法,其特征在于,所述通过自适应邻域半径对点云数据重新聚类进行异常检测,包括的具体方法为:
通过各点的自适应邻域半径,对点云数据中所有点重新进行DBSCAN聚类,得到若干聚簇,记为若干最终聚簇;根据最终聚簇中点的分布,对点云数据进行异常检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311497842.8A CN117252863B (zh) | 2023-11-13 | 2023-11-13 | 一种地理信息异常数据快速检测分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311497842.8A CN117252863B (zh) | 2023-11-13 | 2023-11-13 | 一种地理信息异常数据快速检测分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117252863A true CN117252863A (zh) | 2023-12-19 |
CN117252863B CN117252863B (zh) | 2024-02-09 |
Family
ID=89137151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311497842.8A Active CN117252863B (zh) | 2023-11-13 | 2023-11-13 | 一种地理信息异常数据快速检测分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117252863B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117874690A (zh) * | 2024-03-13 | 2024-04-12 | 山东省地质测绘院 | 一种地理信息测绘数据智能管理方法 |
CN117958835A (zh) * | 2024-03-28 | 2024-05-03 | 北华大学 | 用于患者术后康复的心电图分析方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200111251A1 (en) * | 2018-10-08 | 2020-04-09 | The Hong Kong Polytechnic University | 3d indoor modeling method, system and device based on point cloud data |
JPWO2020225886A1 (zh) * | 2019-05-08 | 2020-11-12 | ||
WO2021232467A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 点云单木分割方法、装置、设备及计算机可读介质 |
CN113848182A (zh) * | 2021-09-01 | 2021-12-28 | 中国航空制造技术研究院 | 一种复合材料铺层质量在线检测系统及检测方法 |
WO2022099528A1 (zh) * | 2020-11-12 | 2022-05-19 | 深圳元戎启行科技有限公司 | 点云法向量计算方法、装置、计算机设备和存储介质 |
CN114966591A (zh) * | 2022-05-07 | 2022-08-30 | 深圳汇辰软件有限公司 | 一种大目标检测方法、大目标检测装置及电子设备 |
CN115359453A (zh) * | 2022-08-12 | 2022-11-18 | 上海大学 | 一种基于三维点云的路面障碍物检测方法及系统 |
CN115861968A (zh) * | 2022-12-13 | 2023-03-28 | 徐工集团工程机械股份有限公司建设机械分公司 | 一种基于实时点云数据的动态障碍物剔除方法 |
CN116168036A (zh) * | 2023-04-26 | 2023-05-26 | 深圳市岑科实业有限公司 | 用于电感绕线设备的异常智能监测系统 |
CN116184344A (zh) * | 2022-12-09 | 2023-05-30 | 东风柳州汽车有限公司 | 一种自适应车载毫米波雷达dbscan聚类方法及装置 |
CN116340801A (zh) * | 2023-05-31 | 2023-06-27 | 烟台市福山区动物疫病预防控制中心 | 一种畜牧养殖环境数据异常智能监控方法 |
CN116805413A (zh) * | 2023-04-06 | 2023-09-26 | 浙江科技学院 | 一种基于三维点云的油茶苗期表型特征自动计算方法 |
-
2023
- 2023-11-13 CN CN202311497842.8A patent/CN117252863B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200111251A1 (en) * | 2018-10-08 | 2020-04-09 | The Hong Kong Polytechnic University | 3d indoor modeling method, system and device based on point cloud data |
JPWO2020225886A1 (zh) * | 2019-05-08 | 2020-11-12 | ||
WO2021232467A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 点云单木分割方法、装置、设备及计算机可读介质 |
WO2022099528A1 (zh) * | 2020-11-12 | 2022-05-19 | 深圳元戎启行科技有限公司 | 点云法向量计算方法、装置、计算机设备和存储介质 |
CN113848182A (zh) * | 2021-09-01 | 2021-12-28 | 中国航空制造技术研究院 | 一种复合材料铺层质量在线检测系统及检测方法 |
CN114966591A (zh) * | 2022-05-07 | 2022-08-30 | 深圳汇辰软件有限公司 | 一种大目标检测方法、大目标检测装置及电子设备 |
CN115359453A (zh) * | 2022-08-12 | 2022-11-18 | 上海大学 | 一种基于三维点云的路面障碍物检测方法及系统 |
CN116184344A (zh) * | 2022-12-09 | 2023-05-30 | 东风柳州汽车有限公司 | 一种自适应车载毫米波雷达dbscan聚类方法及装置 |
CN115861968A (zh) * | 2022-12-13 | 2023-03-28 | 徐工集团工程机械股份有限公司建设机械分公司 | 一种基于实时点云数据的动态障碍物剔除方法 |
CN116805413A (zh) * | 2023-04-06 | 2023-09-26 | 浙江科技学院 | 一种基于三维点云的油茶苗期表型特征自动计算方法 |
CN116168036A (zh) * | 2023-04-26 | 2023-05-26 | 深圳市岑科实业有限公司 | 用于电感绕线设备的异常智能监测系统 |
CN116340801A (zh) * | 2023-05-31 | 2023-06-27 | 烟台市福山区动物疫病预防控制中心 | 一种畜牧养殖环境数据异常智能监控方法 |
Non-Patent Citations (3)
Title |
---|
AZADEH FAROUGHI: "ARD-Stream: An adaptive radius density-based stream clustering", 《FUTURE GENERATION COMPUTER SYSTEMS》, vol. 2023 * |
张锦宏 等: "自适应阈值约束的密度簇主干聚类算法", 《计算机科学与探索》 * |
陶抒青;刘晓强;李柏岩;SHEN JIE;: "基于密度聚类和投票判别的三维数据去噪方法", 计算机应用研究, no. 02 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117874690A (zh) * | 2024-03-13 | 2024-04-12 | 山东省地质测绘院 | 一种地理信息测绘数据智能管理方法 |
CN117874690B (zh) * | 2024-03-13 | 2024-05-28 | 山东省地质测绘院 | 一种地理信息测绘数据智能管理方法 |
CN117958835A (zh) * | 2024-03-28 | 2024-05-03 | 北华大学 | 用于患者术后康复的心电图分析方法 |
CN117958835B (zh) * | 2024-03-28 | 2024-06-11 | 北华大学 | 用于患者术后康复的心电图分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117252863B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117252863B (zh) | 一种地理信息异常数据快速检测分析方法 | |
Shi et al. | Adaptive simplification of point cloud using k-means clustering | |
CN116167668B (zh) | 基于bim的绿色节能建筑施工质量评价方法及系统 | |
CN112784403B (zh) | 基于点云数据建立节理岩体离散元模型的数值模拟方法 | |
CN116596321B (zh) | 基于神经网络的建筑风险监测与评估方法和系统 | |
Yang et al. | A Point Cloud Simplification Method Based on Modified Fuzzy C‐Means Clustering Algorithm with Feature Information Reserved | |
CN113916130B (zh) | 一种基于最小二乘法的建筑物位置测量方法 | |
CN110909488A (zh) | 一种高效边坡可靠度分析方法 | |
CN113436223B (zh) | 点云数据的分割方法、装置、计算机设备和存储介质 | |
CN103617336A (zh) | 一种航空噪声等值线图的绘制方法 | |
CN113822892B (zh) | 仿真雷达的评测方法、装置、设备及计算机存储介质 | |
CN113141570A (zh) | 地下场景定位方法、装置、计算设备及计算机存储介质 | |
CN117421701B (zh) | 一种自升式平台桩腿三维空间姿态分布式监测方法 | |
CN110310322A (zh) | 一种10微米级高精度器件装配表面检测方法 | |
Wong et al. | Using geometry-based metrics as part of fitness-for-purpose evaluations of 3D city models | |
CN116597294A (zh) | Slam地图拓扑评估方法、装置、电子设备及存储介质 | |
CN111765883A (zh) | 机器人蒙特卡罗定位方法、设备及存储介质 | |
CN111598941A (zh) | 一种杆塔倾斜度测量方法、装置、设备及存储介质 | |
CN113066161B (zh) | 一种城市电波传播模型的建模方法 | |
CN114841077A (zh) | 一种风电功率预测方法、装置、介质 | |
CN116958470B (zh) | 一种融合马尔可夫链和多点统计学的地质建模方法和装置 | |
CN117648596B (zh) | 一种建筑施工的数字孪生与智能传感器融合方法与系统 | |
CN117610601B (zh) | 一种基于物联网的物流设备智能定位方法及系统 | |
CN117911662B (zh) | 基于深度霍夫投票的数字孪生场景语义分割方法及系统 | |
CN118467968B (zh) | 一种回填质量监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |