CN110362559B - 基于局部遍历密度聚类的ads-b航迹清洗与校准方法 - Google Patents
基于局部遍历密度聚类的ads-b航迹清洗与校准方法 Download PDFInfo
- Publication number
- CN110362559B CN110362559B CN201910602876.6A CN201910602876A CN110362559B CN 110362559 B CN110362559 B CN 110362559B CN 201910602876 A CN201910602876 A CN 201910602876A CN 110362559 B CN110362559 B CN 110362559B
- Authority
- CN
- China
- Prior art keywords
- track
- point
- data
- points
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004140 cleaning Methods 0.000 title claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Navigation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于局部遍历密度聚类的ADS‑B航迹清洗与校准方法。基于局部遍历密度聚类的ADS‑B航迹清洗与校准方法包括:建立基于ADS‑B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;对数据样本进行去重;根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,判断异常点,对异常点进行修正或删除;根据数据样本中的初始字段对航迹进行校准。使用局部遍历的DBSCAN密度聚类方法识别离群点,大幅提高清洗效率,通过航迹校准对时间戳进行修正,使整个飞行轨迹符合质点运动学规律。
Description
技术领域
本发明涉及航空领域,具体涉及一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法。
背景技术
广播式自动相关监视(Automatic Dependent Surveillance-Broadcast,ADS-B)国际民航组织(International Civil Aviation Organization,ICAO)确定为未来的主要航行监视技术,搭载ADS-B发送设备的航空器通过航空数据链自动向搭载ADS-B接收设备的其他航空器和地面接收站自动广播航班识别标志、位置以及飞行状态信息,以实现空对空、空对地以及场面运行的协同一体化监视。近几年我国已经开始大力推动ADS-B技术在空管系统中的发展与应用。
一个航班的ADS-B飞行轨迹,由多个航迹点组成,并且每个航迹点都带有多个字段信息(例如时间戳、经度、纬度、高度、航向、速度等)。因此,利用航班的飞行轨迹数据可以开发出很多有价值的应用,例如航空器飞行状态异常监控、航空器油耗与污染物排放计算、航班运行效率评估、航空数据统计与预测、空域运行质量评价等等。ADS-B数据字段内容越丰富,飞行轨迹的利用价值就越高。但是,地形阻挡、电磁干扰、信号覆盖面限制、信道堵塞等诸多因素不可避免地影响着ADS-B数据质量,例如出现漏点、跳点、重复记录、更新延迟等异常现象。因此在对ADS-B飞行轨迹进行分析与应用之前,如何对航迹数据进行高效清洗(即预处理)是重中之重。
数据清洗的主要内容即清除冗余、检测并处理异常和数据融合,为下一步的数据应用提供有力支撑。数据清洗过程中最重要的是异常检测和处理,对于轨迹类数据,检测异常的方法主要有均值滤波、卡尔曼滤波、粒子滤波和密度聚类等。要实现高效的数据清理,就必须根据数据的特点选择适合的方法。ADS-B每个字段都可能存在着异常点,且发生位置具有随机性。当异常点恰好是轨迹第一个点(边界点)时,使用滤波类方法则需要额外的预判处理且实现起来较为繁琐,而使用密度聚类方法则不会受到异常点位置的影响,但是当航迹点数目较多时,由于遍历次数的急剧增加导致检测效率大幅降低。
如果航迹点数据不满足质点运动学规律,即时间戳、位置和速度三者不匹配的情况称为航迹失准,此时需要根据现有数据条件,尽可能地进行航迹校准,以满足航迹数据应用的要求。
如何解决上述问题,是目前亟待解决的。
发明内容
本发明的目的是提供一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法。
为了解决上述技术问题,本发明提供了一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法,包括:
建立基于ADS-B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;
对数据样本进行去重;
根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;
依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除;
根据数据样本中的初始字段对航迹进行校准。
进一步的,
所述数据样本由N个航迹点P组成的某一航班轨迹Traj={P1,P2…Pi…PN},Pi表示第i个航迹点所述初始字段包括航班唯一识别编码FID、时间戳T、经度Lon、纬度Lat、压力高度PA、地速GS、航迹角TA以及垂直速度VS;
所述扩展字段包括校准时间戳Tc、校准地速GSc、校准航迹角TAc以及校准垂直速度VSc;
所述扩展字段通过所述初始字段计算得出的方法包括:
第i个航迹点Pi上的TAci、GSci和VSci由下式计算得到:
TAci=DirGreatCircle(i,i+1);
GSci=DistGreatCircle(i,i+1)/(Ti+1-Ti);
VSci=(PAi+1-PAi)/(Ti+1-Ti);
其中,DirGreatCircle(i,i+1)和DistGreatCircle(i,i+1)分别为Pi到Pi+1点的大圆航线航迹角和距离长度,并根据Pi到Pi+1两点的经纬度计算获得。
进一步的,所述对数据样本进行去重的方法包括:
将所有航迹点按照时间戳字段T从早到晚进行排序;
删除时间戳重复的航迹点;
删除经度和纬度同时重复的相邻航迹点。
进一步的,
所述依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除的方法包括:
特征字段的数据集D={x1,x2...xi...xN},其中xi即为航迹点Pi的对应字段数值,定义δ为局部域长度,ε为邻域距离阈值,MinPts为核心点邻域内点数量阈值,并且满足MinPts≤2δ,则进行局部遍历的DBSCAN聚类算法步骤为:
S141,对任意数据点xi,在数量为2δ+1的局部域数据集L={xi-δ,...,xi+δ}内计算字段距离函数Dist(xi,xk),其中k=i-δ,...,i+δ;
S142,将满足Dist(xi,xk)≤ε的所有L域数据点加入到xi的ε邻域Nε,i中,若Nε,i内点数量≥MinPts,则xi标记为核心点,并加入核心域C中;反之,则xi标记为离群点,并加入到离群域O中,其中L域数据点表示以数据点xi为中心,在两侧δ范围内所有数据点集合,称为局部数据集L,δ表示局部数据点数量范围的控制参数;
S143,对下一个点xi+1,重复步骤S141和步骤S142,直到最后一个点xN计算结束;
S144,将离群域O内的所有离群点及其邻域点,进行合并得到离群点集合Outliers={xa,xb,...};将核心域C内的所有核心点及其邻域点,进行合并得到正常点集合Clusters={...,xa-1,xa+1,...,xb-1,xb+1,...};
异常点表示与周围绝大数点距离大于ε且不符合变化规律的点;对集合Outliers中的离群点xm是否为异常点,采用均值滤波的方法进行异常检测,即,假设xm为独立异常点,将周围正常点xm-1和xm+1之间进行差值求解得到一个参考点xm,ref,如果满足Dist(xm,xm,ref)≤ε,则xm为正常点,否则xm为异常点,并修正为xm,ref,如果离群点xm为边界,且边界插值缺少约束条件,导致偏差过大,则将边界离群点xm直接删除。
进一步的,所述根据数据样本中的初始字段对航迹进行校准,即根据ADS-B航迹的经度Lon、纬度LAT、地速GS字段对时间戳T字段数值进行修正,使得整个轨迹数据符合质点运动学规律,即时间、速度和位置三者匹配,对经过异常过滤的航班ADS-B轨迹的数据样本TrajF={P1,P2,...Pk...,PM},以航迹点P1的时间戳T1作为时间校准的基准值,则有Tc1=T1,对航迹点Pk(k>1),Pk的校准时间戳Tck计算过程为:
S151:找到Pk的前一个航迹点Pi,计算TAci,k=DirGreatCircle(i,k),如果航迹角距离DistAngle(TAci,k,TAci)>εTAc,则认为Pk的经纬度位置与时间戳顺序冲突,此时将Pk从TrajF中删除,并将下一点仍记作Pk,重复步骤151,直到满足DistAngle(TAci,k,TAci)≤εTAc,εTAc表示对TAc字段各数据进行聚类过程中的航迹角距离阈值参数,且为最大航迹角距离,其中εTAc=160deg;
S152:航迹点Pi→Pk的运动分为匀速和匀变速两个阶段,并定义一般加速度ACCnor,ACCnor的符号在加速时取正,减速时取负,航空器做变速运动,即,当GSi<GSk时,由GSi匀加速至GSk,然后保持GSk匀速运动;当GSi>GSk时,保持GSi匀速运动,然后匀减速至GSk,根据下式得出做匀变速运动的时长tacc,nor和距离dacc,nor,最后计算出Pi→Pk的飞行时间Dur(i,k),
tacc,nor=(GSk-GSi)/ACCnor;
Dur(i,k)=tacc,nor+[Dist(i,k)-dacc,nor]/max(GSi,GSk);
S153:当Dist(i,k)<dacc,nor时,使用极限加速度ACClim代替ACCnor,计算出dacc,lim,如果依然不能满足Dist(i,k)≥dacc,nor,则Pi→Pk的距离在极限加速度下也无法满足从GSi匀加速变化到GSk,此时使用下式计算Dur(i,k):
Dur(i,k)=2·Dist(i,k)/(GSi+GSk);
S154:依据步骤S152-步骤S153计算出来的Dur(i,k),计算出航迹点Pk的校准时间戳Tck:
Tck=Tci+Dur(i,k);
S155:对航班的ADS-B轨迹TrajF,重复过程步骤S151-步骤S154即可得到所有航迹点的校准时间戳,从而完成航班的ADS-B轨迹数据清洗与校准。
本发明的有益效果是,本发明提供了一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法。基于局部遍历密度聚类的ADS-B航迹清洗与校准方法包括:建立基于ADS-B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;对数据样本进行去重;根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除;根据数据样本中的初始字段对航迹进行校准。使用局部遍历的DBSCAN密度聚类方法识别离群点,大幅提高清洗效率,通过航迹校准对时间戳进行修正,使整个飞行轨迹符合质点运动学规律。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明所提供的基于局部遍历密度聚类的ADS-B航迹清洗与校准方法的流程图;
图2是某样本航班ADS-B轨迹点的经度Lon、纬度Lat、压力高度PA和垂直速度VS剖面图;
图3是某样本航班ADS-B轨迹点的地速GS/校准地速GSc、航迹角TA/校准航迹角TAc剖面图;
图4是ADS-B时间戳与经纬度位置不协调时的修正示意图;
图5是数据队列中离群点与异常点示意图;
图6是某样本航班ADS-B轨迹点各特征字段剖面在经过数据清洗与校准前后的对比图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
实施例1
如图1所示,本实施例1提供了一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法。使用局部遍历的DBSCAN密度聚类方法识别离群点,大幅提高清洗效率,通过航迹校准对时间戳进行修正,使整个飞行轨迹符合质点运动学规律。具体的包括以下步骤:
S110:建立基于ADS-B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;
S120:对数据样本进行去重;
S130:根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;
S140:依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除;
S150:根据数据样本中的初始字段对航迹进行校准。
在本实施例中,所述数据样本由N个航迹点P组成的某一航班轨迹Traj={P1,P2…Pi…PN},Pi表示第i个航迹点所述初始字段包括航班唯一识别编码FID、时间戳T、经度Lon、纬度Lat、压力高度PA、地速GS、航迹角TA以及垂直速度VS;
所述扩展字段包括校准时间戳Tc、校准地速GSc、校准航迹角TAc以及校准垂直速度VSc。
特征字段的说明如下表:
符号 | 全称 | 描述 | 单位/格式 | 类别 |
FID | Flight Identification | 航班唯一识别码 | 32位字符 | 初始 |
T | Time Stamp | 时间戳 | HH:mm:ss | 初始 |
Tc | Compmed Time | 校准时间戳 | HH:mm:ss | 扩展 |
Lon | Longitude | 经度(WGS-84大地坐标系) | deg | 初始 |
Lat | Latitude | 纬度(WGS-84大地坐标系) | deg | 初始 |
PA | Pressure Altitude | 压力高度(基准为1013mb) | m | 初始 |
GS | Ground Speed | 地速 | km/h | 初始 |
GSc | Computed Ground Speed | 校准地速 | km/h | 扩展 |
TA | Track Angle | 航迹角,即飞机运动方向 | deg | 初始 |
TAc | Computed Track Angle | 校准航迹角 | deg | 扩展 |
VS | Vertical Speed | 垂直速度(气压高度) | ft/min | 初始 |
VSc | Computed Vertical Speed | 校准垂直速度 | ft/min | 扩展 |
所述扩展字段通过所述初始字段计算得出的方法包括:
第i个航迹点Pi上的TAci、GSci和VSci由下式计算得到:
TAci=DirGreatCircle(i,i+1);
GSci=DistGreatCircle(i,i+1)/(Ti+1-Ti);
Vsci=(PAi+1-PAi)/(Ti+1-Ti);
其中,DirGreatCircle(i,i+1)和DistGreatCircle(i,i+1)分别为Pi到Pi+1点的大圆航线航迹角和距离长度,并根据Pi到Pi+1两点的经纬度计算获得。
在本实施例中,步骤S120:所述对数据样本进行去重的方法包括:
将所有航迹点按照时间戳字段T从早到晚进行排序;
删除时间戳重复的航迹点;
删除经度和纬度同时重复的相邻航迹点。
在本实施例中,步骤S130包括根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理。
具体的,图2是某样本航班ADS-B数据的经度Lon、纬度Lat、压力高度PA和垂直速度VS等四个字段随飞行时间变化的剖面图,可以看出,Lon、Lat和PA有着明显的趋势规律变化。异常点(同时也是离群点)可以明显地找出来(在图中以圆圈进行标识)。而VS字段则不同,数值敏感,变化幅度大,原因是VS数据来源于机载垂直速度表,该仪表对气压变化敏感,尤其是航空器在高空遇到气流时,VS变化速度会非常快。当时间戳间隔较长时(30秒以上),无论使用什么方法都很难判断VS数值是否异常,即与气压高度变化规律是否相符。
图3为地速GS/校准地速GSc和航迹角TA/校准航迹角TAc的剖面对比,可以看出:
GS剖面有很好的数值连续性,符合航空器各飞行阶段的速度变化规律,而GSc剖面杂乱无序,同时更为严重的是,在飞行阶段多次出现远低于最小失速速度(这里取90km/h),以及远高于最大巡航速度(取1350km/h)。GSc数值超出合理范围的原因是航迹点时间戳T与经纬度位置(Lon,Lat)更新不同步,导致航迹点之间的预计飞行用时与时间戳间隔相差过大。
TAc剖面与TA剖面有较好的一致性,但在TAc剖面中可以找到在TA剖面中所没有的异常航向(圆圈中的数值点),即数值上与相邻航向相差180度左右,原因是航迹点的时间戳与其经纬度位置不一致,由时间戳与经纬度位置更新不同步造成的。
如图4所示,由于航迹点P4的位置并非在P3之后,而是在P3之前,从而导致P3→P4的计算航迹角DirGreatCircle(3,4)与P4→P5的计算航迹角DirGreatCircle(4,5)相差接近180度。对于这种情况,本发明中的修正方法是将P4删除。
由以上字段数据分布特征分析可知,垂直速度VS字段数据敏感且变化速度快,无法对其异常进行有效识别,而其他字段的异常都是可识别的,并且由压力高度PA与时间戳T可以计算得计算垂直速度VSc作为VS的参考值,因此这里选择经度Lon、纬度Lat、压力高度PA、地速GS和计算航迹角TAc作为样本ADS-B数据清洗的特征字段。
在本实施例中,步骤S140包括:
特征字段的数据集D={x1,x2...xi...xN},其中xi即为航迹点Pi的对应字段数值,定义δ为局部域长度,ε为邻域距离阈值,MinPts为核心点邻域内点数量阈值,并且满足MinPts≤2δ,则进行局部遍历的DBSCAN聚类算法步骤为:
S141,对任意数据点xi,在数量为2δ+1的局部域数据集L={xi-δ,...,xi+δ}内计算字段距离函数Dist(xi,xk),其中k=i-δ,...,i+δ;
S142,将满足Dist(xi,xk)≤ε的所有L域数据点加入到xi的ε邻域Nε,i中,若Nε,i内点数量≥MinPts,则xi标记为核心点,并加入核心域C中;反之,则xi标记为离群点,并加入到离群域O中,其中L域数据点表示以数据点xi为中心,在两侧δ范围内所有数据点集合,称为局部数据集L,δ表示局部数据点数量范围的控制参数;
S143,对下一个点xi+1,重复步骤S141和步骤S142,直到最后一个点xN计算结束;
S144,将离群域O内的所有离群点及其邻域点,进行合并得到离群点集合Outliers={xa,xb,...};将核心域C内的所有核心点及其邻域点,进行合并得到正常点集合Clusters={...,xa-1,xa+1,...,xb-1,xb+1,...};
异常点表示与周围绝大数点距离大于ε且不符合变化规律的点,即不符合局部变化规律的点。例如:对于一个局部范围内的点集合,数值上变化趋势是逐渐上升的。如图5中的数据点xa和xb。同时,由于ADS-B轨迹可能存在漏点的情况,导致特征字段剖面出现断层,如图5中的数据点xc和xd。如果MinPts=3,则xc和xd会被聚类算法标记为离群点。而其中有极少数的个别点,却是突然性的大幅增大或降低,那么这些少数的点就是异常点。对集合Outliers中的离群点xm是否为异常点,采用均值滤波的方法进行异常检测,即,假设xm为独立异常点,将周围正常点xm-1和xm+1之间进行差值求解得到一个参考点xm,ref,如果满足Dist(xm,xm,ref)≤ε,则xm为正常点,否则xm为异常点,并修正为xm,ref,如果离群点xm为边界,且边界插值缺少约束条件,导致偏差过大,则将边界离群点xm直接删除。
DBSCAN的一个特点是对参数敏感,不同的参数会产生明显不同的结果。对ADS-B轨迹异常检测来说,要根据样本数据的特点对参数进行合理设置。下表为本发明在对样本数据特征字段进行异常检测时所使用的参数配置。特别地,对于多数特征字段都设有容许值范围,如果字段数值xi超出容许范围,则将xi直接加入离群点集合Outliers。Dist(xi,xk)统称就是距离函数,而对不同的字段,这个距离函数的形式则不同。对经度Lon、纬度Lat、压力高度PA和地速GS等字段,距离函数为曼哈顿距离;对校准航迹角TAc字段,距离函数为航迹角距离。
在本实施例中,步骤S150:所述根据数据样本中的初始字段对航迹进行校准,即,根据ADS-B航迹的经度Lon、纬度LAT、地速GS字段对时间戳T字段数值进行修正,使得整个轨迹数据符合质点运动学规律,即时间、速度和位置三者匹配,对经过异常过滤的航班ADS-B轨迹的数据样本TrajF={P1,P2,...Pk...,PM},以航迹点P1的时间戳T1作为时间校准的基准值,则有Tc1=T1,对航迹点Pk(k>1),Pk的校准时间戳Tck计算过程为:
S151:找到Pk的前一个航迹点Pi,计算TAci,k=DirGreatCircle(i,k),如果航迹角距离DistAngle(TAci,k,TAci)>εTAc,则认为Pk的经纬度位置与时间戳顺序冲突,此时将Pk从TrajF中删除,并将下一点仍记作Pk,重复前面的过程,直到满足DistAngle(TAci,k,TAci)≤εTAc,εTAc表示对TAc字段各数据进行聚类过程中的航迹角距离阈值参数,且为最大航迹角距离,其中εTAc=160deg;
S152:航迹点Pi→Pk的运动分为匀速和匀变速两个阶段,并定义一般加速度ACCnor,ACCnor的符号在加速时取正,减速时取负,航空器做变速运动,即,当GSi<GSk时,由GSi匀加速至GSk,然后保持GSk匀速运动;当GSi>GSk时,保持GSi匀速运动,然后匀减速至GSk,根据下式得出做匀变速运动的时长tacc,nor和距离dacc,nor,最后计算出Pi→Pk的飞行时间Dur(i,k),
tacc,nor=(GSk-GSi)/ACCnor;
Dur(i,k)=tacc,nor+[Dist(i,k)-dacc,nor]/max(GSi,GSk);
S153:当Dist(i,k)<dacc,nor时,使用极限加速度ACClim代替ACCnor,计算出dacc,lim,如果依然不能满足Dist(i,k)≥dacc,nor,则Pi→Pk的距离在极限加速度下也无法满足从GSi匀加速变化到GSk,此时使用下式计算Dur(i,k):
Dur(i,k)=2·Dist(i,k)/(GSi+GSk);
S154:依据步骤S152-步骤S153计算出来的Dur(i,k),计算出航迹点Pk的校准时间戳Tck:
Tck=Tci+Dur(i,k);
S155:对航班的ADS-B轨迹TrajF,重复过程步骤S151-步骤S154即可得到所有航迹点的校准时间戳,从而完成航班的ADS-B轨迹数据清洗与校准。
图6为该ADS-B轨迹点特征字段剖面进行清洗前后的对比,经过清洗后(黑色线),经度Lon、纬度Lat、气压高度PA剖面中的所有异常点均有效识别并处理;校准地速GSc剖面经过清洗后不再是杂乱无章的散点,而是与地速GS字段一样符合航空器飞行状态变化规律;所有特征字段剖面经过清洗之后更加顺滑,更加符合渐变曲线特征;清洗前后的飞行时间Duration在进近阶段(着陆前20分钟左右)有明显的差异,这是由于地速GS的准确度差异造成的,如果GS准确度降低则会明显影响校准时间戳的计算结果,因此航迹校准的步骤要根据具体的ADS-B数据质量情况可选执行。
综上所述,本发明提供了一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法。基于局部遍历密度聚类的ADS-B航迹清洗与校准方法包括:建立基于ADS-B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;对数据样本进行去重;根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除;根据数据样本中的初始字段对航迹进行校准。使用局部遍历的DBSCAN密度聚类方法识别离群点,大幅提高清洗效率,通过航迹校准对时间戳进行修正,使整个飞行轨迹符合质点运动学规律。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (1)
1.一种基于局部遍历密度聚类的ADS-B航迹清洗与校准方法,其特征在于,包括:
建立基于ADS-B航迹数据的特征字段的数据样本,其中特征字段包括初始字段以及扩展字段,所述扩展字段通过所述初始字段计算得出;
对数据样本进行去重;
根据数据样本中的特征字段的数据特点选择特征字段,并用于字段数据异常检测和处理;
依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除;
根据数据样本中的初始字段对航迹进行校准;
所述数据样本由N个航迹点P组成的某一航班轨迹Traj={P1,P2…Pi…PN},Pi表示第i个航迹点所述初始字段包括航班唯一识别编码FID、时间戳T、经度Lon、纬度Lat、压力高度PA、地速GS、航迹角TA以及垂直速度VS;
所述扩展字段包括校准时间戳Tc、校准地速GSc、校准航迹角TAc以及校准垂直速度VSc;
所述扩展字段通过所述初始字段计算得出的方法包括:
第i个航迹点Pi上的TAci、GSci和VSci由下式计算得到:
TAci=DirGreatCircle(i,i+1);
GSci=DistGreatCircle(i,i+1)/(Ti+1-Ti);
VSci=(PAi+1-PAi)/(Ti+1-Ti);
其中,DirGreatCircle(i,i+1)和DistGreatCircle(i,i+1)分别为Pi到Pi+1点的大圆航线航迹角和距离长度,并根据Pi到Pi+1两点的经纬度计算获得;
所述对数据样本进行去重的方法包括:
将所有航迹点按照时间戳字段T从早到晚进行排序;
删除时间戳重复的航迹点;
删除经度和纬度同时重复的相邻航迹点;
所述依据局部遍历的DBSCAN密度聚类方法对数据样本的特征字段进行离群点识别,通过相邻正常点进行插值的方法对离群点进行判断是否为异常点,对异常点进行修正或删除的方法包括:
特征字段的数据集D={x1,x2…xi…xN},其中xi即为航迹点Pi的对应字段数值,定义δ为局部域长度,ε为邻域距离阈值,MinPts为核心点邻域内点数量阈值,并且满足MinPts≤2δ,则进行局部遍历的DBSCAN聚类算法步骤为:
S141,对任意数据点xi,在数量为2δ+1的局部域数据集L={xi-δ,…,xi+δ}内计算字段距离函数Dist(xi,xk),其中k=i-δ,…,i+δ;
S142,将满足Dist(xi,xk)≤ε的所有L域数据点加入到xi的ε邻域Nε,i中,若Nε,i内点数量≥MinPts,则xi标记为核心点,并加入核心域C中;反之,则xi标记为离群点,并加入到离群域O中,其中L域数据点表示以数据点xi为中心,在两侧δ范围内所有数据点集合,称为局部数据集L,δ表示局部数据点数量范围的控制参数;
S143,对下一个点xi+1,重复步骤S141和步骤S142,直到最后一个点xN计算结束;
S144,将离群域O内的所有离群点及其邻域点,进行合并得到离群点集合Outliers={xa,xb,…};将核心域C内的所有核心点及其邻域点,进行合并得到正常点集合Clusters={...,xa-1,xa+1,…,xb-1,xb+1,…};
异常点表示与周围绝大数点距离大于ε且不符合变化规律的点;对集合Outliers中的离群点xm是否为异常点,采用均值滤波的方法进行异常检测,即,假设xm为独立异常点,将周围正常点xm-1和xm+1之间进行差值求解得到一个参考点xm,ref,如果满足Dist(xm,xm,ref)≤ε,则xm为正常点,否则xm为异常点,并修正为xm,ref,如果离群点xm为边界,且边界插值缺少约束条件,导致偏差过大,则将边界离群点xm直接删除;
所述根据数据样本中的初始字段对航迹进行校准,即
根据ADS-B航迹的经度Lon、纬度LAT、地速GS字段对时间戳T字段数值进行修正,使得整个轨迹数据符合质点运动学规律,即时间、速度和位置三者匹配,对经过异常过滤的航班ADS-B轨迹的数据样本TrajF={P1,P2,…Pk…,PM},以航迹点P1的时间戳T1作为时间校准的基准值,则有Tc1=T1,对航迹点Pk,k>1,Pk的校准时间戳Tck计算过程为:
S151:找到Pk的前一个航迹点Pi,计算TAci,k=DirGreatCircle(i,k),如果航迹角距离DistAngle(TAci,k,TAci)>εTAc,则认为Pk的经纬度位置与时间戳顺序冲突,此时将Pk从TrajF中删除,并将下一点仍记作Pk,重复步骤151,直到满足DistAngle(TAci,k,TAci)≤εTAc,εTAc表示对TAc字段各数据进行聚类过程中的航迹角距离阈值参数,且为最大航迹角距离,其中εTAc=160deg;
S152:航迹点Pi→Pk的运动分为匀速和匀变速两个阶段,并定义一般加速度ACCnor,ACCnor的符号在加速时取正,减速时取负,航空器做变速运动,即,当GSi<GSk时,由GSi匀加速至GSk,然后保持GSk匀速运动;当GSi>GSk时,保持GSi匀速运动,然后匀减速至GSk,根据下式得出做匀变速运动的时长tacc,nor和距离dacc,nor,最后计算出Pi→Pk的飞行时间Dur(i,k),
tacc,nor=(GSk-GSi)/ACCnor;
Dur(i,k)=tacc,nor+[Dist(i,k)-dacc,nor]/max(GSi,GSk);
S153:当Dist(i,k)<dacc,nor时,使用极限加速度ACClim代替ACCnor,计算出dacc,lim,如果依然不能满足Dist(i,k)≥dacc,nor,则Pi→Pk的距离在极限加速度下也无法满足从GSi匀加速变化到GSk,此时使用下式计算Dur(i,k):
Dur(i,k)=2·Dist(i,k)/(GSi+GSk);
S154:依据步骤S152-步骤S153计算出来的Dur(i,k),计算出航迹点Pk的校准时间戳Tck:
Tck=Tci+Dur(i,k);
S155:对航班的ADS-B轨迹TrajF,重复过程步骤S151-步骤S154即可得到所有航迹点的校准时间戳,从而完成航班的ADS-B轨迹数据清洗与校准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602876.6A CN110362559B (zh) | 2019-07-04 | 2019-07-04 | 基于局部遍历密度聚类的ads-b航迹清洗与校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602876.6A CN110362559B (zh) | 2019-07-04 | 2019-07-04 | 基于局部遍历密度聚类的ads-b航迹清洗与校准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110362559A CN110362559A (zh) | 2019-10-22 |
CN110362559B true CN110362559B (zh) | 2020-09-11 |
Family
ID=68218282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910602876.6A Active CN110362559B (zh) | 2019-07-04 | 2019-07-04 | 基于局部遍历密度聚类的ads-b航迹清洗与校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110362559B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111199075B (zh) * | 2019-12-30 | 2023-04-11 | 四川函钛科技有限公司 | 一种基于时序qar参数的飞行轨迹自适应平滑的方法 |
CN111475544B (zh) * | 2020-03-30 | 2023-06-30 | 智慧航海(青岛)科技有限公司 | 船舶轨迹数据中离群点的检测方法和装置 |
CN112070305A (zh) * | 2020-09-07 | 2020-12-11 | 民航数据通信有限责任公司 | 一种评估ads-b四维航迹质量的方法 |
CN112347090A (zh) * | 2020-10-30 | 2021-02-09 | 民航数据通信有限责任公司 | Rvsm运行偏差事件分析获取方法及系统 |
CN112766300A (zh) * | 2020-12-07 | 2021-05-07 | 北京航空航天大学 | 一种航空大数据预处理技术 |
CN112687102A (zh) * | 2020-12-23 | 2021-04-20 | 大连理工大学 | 基于知识图谱和深度时空卷积的城域交通流量预测方法 |
CN113158871B (zh) * | 2021-04-15 | 2022-08-02 | 重庆大学 | 一种基于密度核心的无线信号强度异常检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509001A (zh) * | 2011-10-18 | 2012-06-20 | 西安交通大学 | 一种自动去除时序数据野值点的方法 |
CN106846919A (zh) * | 2017-01-16 | 2017-06-13 | 南京航空航天大学 | 一种基于ads‑b信息更新的四维航迹动态预测方法 |
CN109766334A (zh) * | 2019-01-07 | 2019-05-17 | 国网湖南省电力有限公司 | 用于电力设备在线监测异常数据的处理方法及系统 |
-
2019
- 2019-07-04 CN CN201910602876.6A patent/CN110362559B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509001A (zh) * | 2011-10-18 | 2012-06-20 | 西安交通大学 | 一种自动去除时序数据野值点的方法 |
CN106846919A (zh) * | 2017-01-16 | 2017-06-13 | 南京航空航天大学 | 一种基于ads‑b信息更新的四维航迹动态预测方法 |
CN109766334A (zh) * | 2019-01-07 | 2019-05-17 | 国网湖南省电力有限公司 | 用于电力设备在线监测异常数据的处理方法及系统 |
Non-Patent Citations (5)
Title |
---|
基于数据挖掘的ADS-B航迹数据偏差分析方法研究;王全跃;《科技创新与应用》;20140331;第35-36页 * |
基于数据挖掘的数据清洗及其评估模型的研究;邹杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315;第35-41页 * |
基于海量实测的ADS-B数据质量分析;曹娜;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180115;第5-39页 * |
终端区动态交通特征与运行态势研究;袁立罡;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20171115;第48-54页 * |
船舶AIS轨迹快速自适应谱聚类算法;牟军敏等;《哈尔滨工业大学学报》;20180331;第39卷(第3期);第428-432页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110362559A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110362559B (zh) | 基于局部遍历密度聚类的ads-b航迹清洗与校准方法 | |
CN110347668B (zh) | Ads-b航迹清洗与校准装置 | |
Sun et al. | Modeling aircraft performance parameters with open ADS-B data | |
CN106227726B (zh) | 一种基于车辆轨迹数据的路径提取方法 | |
US20130229298A1 (en) | Threaded Track Method, System, and Computer Program Product | |
Ostroumov et al. | Statistical analysis and flight route extraction from automatic dependent surveillance-broadcast data | |
CN111862659A (zh) | 一种gps轨迹数据匹配和补全的方法 | |
CN110673087B (zh) | 基于ads-b广播信号飞机航路监测方法、装置及计算机存储介质 | |
US10210765B2 (en) | Inference and interpolation of continuous 4D trajectories | |
CN109977546B (zh) | 一种基于无监督学习的四维航迹在线异常检测方法 | |
CN107944701B (zh) | 一种飞机着陆过程中冲出跑道风险的检测方法及装置 | |
CN108153980A (zh) | 基于ads-b与tcas数据融合的综合显示方法 | |
CN110988880A (zh) | 一种基于smr目标轨迹的地理信息提取及目标跟踪方法 | |
CN115265555B (zh) | 基于隐马尔科夫的多噪声感知的地图匹配校正方法及系统 | |
CN113301508A (zh) | 一种飞行器位置估计、欺骗检测的方法 | |
CN108538054B (zh) | 一种基于手机信令数据获取交通路况信息的方法及系统 | |
CN109754193A (zh) | 基于航空器性能的ads-b航迹去噪方法 | |
CN113284369B (zh) | 一种基于ads-b实测航路数据的预测方法 | |
CN113075648A (zh) | 一种无人集群目标定位信息的聚类与滤波方法 | |
Ostroumov et al. | Risk of mid-air collision estimation using minimum spanning tree of air traffic graph. | |
Underhill et al. | Correlated Encounter Model for Cooperative Aircraft in the National Airspace System Version 2.0 | |
CN113254432A (zh) | 一种基于模糊聚类的ads-b飞行轨迹数据清洗方法 | |
CN109147322B (zh) | 一种城市交通大数据处理中多源数据自适应融合方法 | |
US10415981B2 (en) | Anomaly estimation apparatus and display apparatus | |
CN110705132B (zh) | 一种基于多源异质数据的制导控制系统性能融合评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |