CN116934202B - 一种基于lbs大数据的集装箱货源地识别方法 - Google Patents

一种基于lbs大数据的集装箱货源地识别方法 Download PDF

Info

Publication number
CN116934202B
CN116934202B CN202311190314.8A CN202311190314A CN116934202B CN 116934202 B CN116934202 B CN 116934202B CN 202311190314 A CN202311190314 A CN 202311190314A CN 116934202 B CN116934202 B CN 116934202B
Authority
CN
China
Prior art keywords
track
travel
point
data
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311190314.8A
Other languages
English (en)
Other versions
CN116934202A (zh
Inventor
靳廉洁
张立彬
简艳春
徐园
戴晓晴
刘影
刘钟锴
张然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transport Planning And Research Institute Ministry Of Transport
Original Assignee
Transport Planning And Research Institute Ministry Of Transport
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transport Planning And Research Institute Ministry Of Transport filed Critical Transport Planning And Research Institute Ministry Of Transport
Priority to CN202311190314.8A priority Critical patent/CN116934202B/zh
Publication of CN116934202A publication Critical patent/CN116934202A/zh
Application granted granted Critical
Publication of CN116934202B publication Critical patent/CN116934202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于LBS大数据的集装箱货源地识别方法，包括以下步骤：步骤一：基于电子围栏技术获取进出集装箱码头的LBS数据并预处理；步骤二：基于时空聚类方法识别停留点；步骤三：基于插值法和小波去噪处理行程中的轨迹定位数据；步骤四：基于广度和深度学习模型识别集装箱卡车运输行程；步骤五：识别集装箱卡车运输货源地。本发明一种基于LBS大数据的集装箱货源地识别方法，可以实时高效的获取集卡位置，能够准确的识别货源地并实时监测集卡车辆的行驶轨迹同时分析其与货源地之间的关系，大大提高了结果的准确性，也提高了模型的效率和准确性。

Description

一种基于LBS大数据的集装箱货源地识别方法
技术领域
本发明涉及交通运输技术领域，具体为一种基于LBS大数据的集装箱货源地识别方法。
背景技术
集装箱运输是国际货运体系中最重要的运输类别之一，在各国的陆运网络中也占据较大份额，掌握准确的集装箱货物OD溯源方法对交通运输行业发展和相关管理部门决策都具有重要意义。目前，关于集装箱货车运输的货源地识别，国内外相关研究均较为少见，传统方法包括采用交通量和海关统计数据等进行分析，但是该数据较难获取，精度有限，并且无法实现实时的货源地信息追踪监测。
随着技术的发展和位置服务数据的推广应用，近几年，开始有学者和相关技术人员陆续将手机信令、LBS等大数据源运用在交通运输领域，但大多集中在旅客出行轨迹的判定和识别，应用于货物运输领域相对较少。另外，也有人通过货车车载GPS数据识别车辆轨迹对货源地进行分析，但是由于货车车载GPS数据覆盖的样本量较小，并且分布在多个主体中、数据较难获取，使得货源地的识别精准度不佳。
近期，在浙江省、广东省等交通运行领域的项目研究中，我们探索构建了基于LBS数据的集装箱货源地识别技术方法。LBS数据具有如下技术优势：一是支持多空间颗粒度分析及展示，最高支持100*100m网格颗粒度，能够支持自定义区域、交通小区、各圈层的行政区划等；二是支持城市及某区域内个体全量出行数字化孪生，基于脱敏LBS数据还原每个虚拟样本的全量出行轨迹，可一定程度上补充和替代传统货运流量流向统计以及抽样调查。但是如何快速有效的从复杂庞大的LBS数据中准确的识别出集装箱卡车运输轨迹和箱源所在地，具有较大的技术难度。
发明内容
本发明的目的在于：提供一种基于LBS大数据的集装箱货源地识别方法，以解决以上缺陷。
为了实现上述目的，本发明提供如下技术方案：
一种基于LBS大数据的集装箱货源地识别方法，包括以下步骤：
S1、基于电子围栏技术获取进出集装箱码头的LBS数据并预处理；
S2、基于时空聚类方法识别停留点；
S3、基于插值法和小波去噪处理行程中的轨迹定位数据；
S4、基于广度和深度学习模型识别集装箱卡车运输行程；
S5、识别集装箱卡车运输货源地。
优选地，所述步骤S1，具体为：通过电子围栏技术，识别并获取进出集装箱码头人员的出行LBS数据；采集的原始集装箱码头人员出行LBS数据信息包含：LBS数据识别号、经纬度位置信息、速度、速度方向角以及出行时间戳；数据的预处理，包括定位点特征提取、低质量定位点过滤和异常漂移点位处理。
优选地，步骤S2，具体为：对S1步骤中预处理完成后的LBS数据，采用时空聚类算法，对轨迹定位数据的起终点进行识别；
所述时空聚类算法的输入，包括：ε邻域，包含距离阈值εs和时间阈值εt；核心轨迹对象最少点数阈值MinPts；轨迹点时间戳t和轨迹定位点集合，
所述时空聚类算法的输出为：聚类后识别的停留点集合。
优选地，所述时空聚类的具体步骤为：
S21、初始化聚类簇数Ci={∅},并且输入的轨迹点集合中所有轨迹点zm的初始聚类簇标签状态均是“未标记”；
S22、依次遍历轨迹点集合中的每一个轨迹点，若所有节点均已“标记”，则转到步骤S27；反之则进入下一步骤；
S23、判断当前轨迹点zm是否拥有聚类簇标签，若有聚类簇标签，返回至步骤S22；若没有，则进入下一步骤；
S24、通过公式Eps计算当前轨迹点zm与其他轨迹点之间的时空距离，若符合邻域ε的纳入阈值，则将该轨迹点放入zm的ε邻域集合X中；在计算完所有其余轨迹点与当前轨迹点zm的时空距离后，判断集合X中的轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则将该轨迹点赋上标签“噪声点”，并返回至步骤S22；若大于，聚类簇数加1且将该轨迹点zm赋上标签“Cm”，并将集合X中的所有点赋上与该轨迹点相同的标签，集合Cm={X}⋃{zm}，并进入下一步骤；
所述Eps计算公式如下所示：，
式中，Eps代表两个轨迹点之间的时空距离，xm和ym分别代表当前轨迹点zm的经纬度坐标，tm则代表当前轨迹点zm的时间戳数据信息；
S25、遍历集合X中的所有轨迹点zq，若集合X遍历完毕，则返回至步骤S22；若集合X未遍历完毕，则进入下一步骤；
S26、重复S24中计算操作，得到符合轨迹点zq的邻域集合Y，并判断该集合中轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则返回至步骤S25；若大于，则遍历集合Y，并将集合Y “未标记”的轨迹点赋上与轨迹点zm相同的标签“Cm”并放入集合Cm中，完成后再返回至步骤S25；
S27、轨迹点遍历结束，共输出i个目标簇集合；对具有相同标签的点计算其经纬度均值和时间戳均值，最终得出停留点集合P，并将识别后的出行停留点连同相邻轨迹点串联形成出行路径。
优选地，所述步骤S3，具体为：基于S27步骤识别出的出行路径数据，通过插值法对缺失数据进行补全，通过小波去噪方法对轨迹进行降噪处理，并将处理后的出行轨迹点相连，从而得到完整的出行路径数据。
优选地，通过插值法对缺失数据进行补全，具体操作为：
对于轨迹点之间的缺失点，采用插值法进行补全，其具体的补全方法如下所示：/>，式中，Aij代表出行行程i的第j个轨迹点，轨迹点包含了步骤S1中处理好的LBS数值参数。
优选地，通过小波去噪方法对轨迹进行降噪处理，具体操作为：
对于重复采样操作造成的轨迹波动的问题，采用小波去噪的方法对轨迹进行降噪处理；小波去噪需要确定小波基函数、分解层数、阈值以及阈值函数；在此步骤中，确定分解层数为5，小波基函数为“db8”,阈值计算如下所示：式中，λ代表小波去噪中的阈值，len(Aij)表示轨迹数据的长度；
所述阈值函数，采用软阈值函数，将幅度大于阈值的小波系数进行缩小，小于阈值的小波系数置0，其式见下：
，式中，w代表小波系数，s代表阈值函数采用软阈值函数方法，λ表示阈值。
优选地，所述步骤S4，具体为：
基于步骤S3获得的完整的出行路径数据，通过广度和深度学习模型，基于计算得到的出行行程数据中的特征指标，将所有的出行行程划分为不同的出行方式，识别出属于集装箱卡车的出行行程，筛除其他出行方式的行程。
所述模型分为输入层、隐藏层和输出层；
所述模型的输入层为一层，输入轨迹特征指标和网络特征指标；轨迹特征指标为行程时间、行程距离、OD距离、行程的平均速度和最高速度；网络特征指标为到最近地铁线、公交线和公路网的平均距离；这些特征都是连续的，且归一化的范围为[0,1]；
所述模型的隐藏层是由广义线性模型和深度学习模型组成的广度和深度学习模式；广义线性模型代表了该模型广度上的组件，该步骤采用一个多次二项式Logit模型，计算公式如下所示：，
式中，Y是预测值，是模式y的d个特征向量，β是模型参数的d维向量，b是偏差；
其次，指定一个三层深度神经网络DNN作为深度组件，计算方式如下所示：
，式中α、γ和b分别代表第l层隐藏层的激活度、DNN模型参数和异质性；f表示激活函数，这里采用整流线性单元RELU作为激活函数；
广义线性模型和 DNN的组合代表了广度和深度学习模型，该模型的整体预测函数如下所示：
，式中，Pr表示联合概率模型的预测值，/>表示线性模型组件的参数向量，/>表示DNN组件最终激活时的参数，标记为/>，σ为sigmoid函数；在该模型的基础上，采用10折交叉验证的方法来训练和测试数据集；最终，可以识别得到所有出行轨迹中使用集装箱卡车行驶的行程轨迹，并获得集装箱卡车行驶的停留点集合P'。
优选地，所述步骤S5，具体为：
根据步骤S4中广度和深度学习模型识别得到集装箱卡车行驶行程轨迹，再通过下述步骤对集装箱货运集装箱卡车货源地进行识别：
S51、选取集卡行驶轨迹在一天中行驶的距离大于100公里；
S52、选取集卡行驶轨迹的某一起点或终点端在港口集装箱码头区域停留；
S53、结合集装卡车夜间/跨天行驶的特点，分析的时间跨度为前一天的中午12点至下一天的中午12点，共48小时的数据进行分析，并在最后进行去重；
S54、以车辆行程轨迹中停留点集合P'中的节点作为货源地的候选节点，且该候选节点200米内有符合筛选条件的POI，将该点判别为货源地。
本发明的有益效果在于：
本发明一种基于LBS大数据的集装箱货源地识别方法，能够准确识别集装箱货源地并且实时监测集装箱卡车的行驶轨迹，有助于交通管理部门和集装箱运输公司、码头企业等准确掌握集装箱货源地及轨迹信息，为我国和各地交通管理部门制定管理政策、开展综合交通及港口规划提供重要的决策依据，为集装箱运输公司以及码头企业进行科学决策、提升企业竞争力提供有力支撑。
附图说明
图1：本发明方法的整体流程框架图；
图2：本发明中基于时空聚类方法识别停留点的流程框架图；
图3：本发明中基于广度和深度学习模型识别集卡行驶方式的模型框架图。
具体实施方式
以下结合实施例对本发明作进一步的说明，需要说明的是，仅仅是对本发明构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应视为落入本发明的保护范围。
实施例
一种基于LBS大数据的集装箱货源地识别方法，其整体流程框架图如图1所示，包括以下步骤：
S1、基于电子围栏技术获取进出集装箱码头的LBS数据并预处理；
由于LBS数据庞大复杂，因此，首先需要对原始数据集进行初步筛选。通过电子围栏技术，识别并获取进出集装箱码头的LBS数据。从而将数据范围缩小到进出过集装箱码头人员的出行LBS数据。采集的原始集装箱码头人员出行LBS数据信息包含：LBS数据识别号、经纬度位置信息、速度、速度方向角以及出行时间戳信息；数据的预处理，包括定位点特征提取、低质量定位点过滤和异常漂移点位处理。
首先对LBS数据的定位点特征进行提取：对同一ID的定位点进行时间排序，计算相邻点之间的距离、时间、速度、方向角等特征参数，作为下游分析基础；
其次对低质量定位点进行过滤：根据点的位置精度、速度等特征参数，对定位精度较低或明显不合理的定位点进行过滤；
最后处理异常漂移点位：构造前后轨迹相连为有向线段，通过构建相邻定位点之间的移动距离、时间、速度、方向角的特征矩阵，识别震荡序列并进行修补或删除操作。
S2、基于时空聚类方法识别停留点；
对S1步骤中预处理完成后的LBS数据，采用时空聚类算法，对轨迹定位数据的起终点进行识别。对于出行行程的识别来说，起终点识别尤为重要。本步骤中采用时空聚类的方法，对轨迹定位数据的起终点进行识别。
上述的时空聚类算法的输入，包括：ε邻域（包含距离阈值εs和时间阈值εt），核心轨迹对象最少点数阈值MinPts，轨迹点时间戳t和轨迹定位点集合；
上述的时空聚类算法的输出为：聚类后识别的停留点集合。
图2为基于时空聚类方法识别停留点的流程框架图，如图2所示，时空聚类的具体步骤为：
S21、初始化聚类簇数Ci={∅},并且输入的轨迹点集合中所有轨迹点zm的初始聚类簇标签状态均是“未标记”；
S22、依次遍历轨迹点集合中的每一个轨迹点，若所有节点均已“标记”，则转到步骤S27；反之则进入下一步骤；
S23、判断当前轨迹点zm是否拥有聚类簇标签，若有聚类簇标签，返回至步骤S22；若没有，则进入下一步骤；
S24、通过公式Eps计算当前轨迹点zm与其他轨迹点之间的时空距离，若符合邻域ε的纳入阈值，则将该轨迹点放入zm的ε邻域集合X中；在计算完所有其余轨迹点与当前轨迹点zm的时空距离后，判断集合X中的轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则将该轨迹点赋上标签“噪声点”，并返回至步骤S22；若大于，聚类簇数加1且将该轨迹点zm赋上标签“Cm”，并将集合X中的所有点赋上与该轨迹点相同的标签，集合Cm={X}⋃{zm}，并进入下一步骤；
所述Eps计算公式如下所示：，式中，Eps代表两个轨迹点之间的时空距离，xm和ym分别代表当前轨迹点zm的经纬度坐标，tm则代表当前轨迹点zm的时间戳数据信息；
S25、遍历集合X中的所有轨迹点zq(q∈X)，若集合X遍历完毕，则返回至步骤S22；若集合X未遍历完毕，则进入下一步骤；
S26、重复S24中计算操作，得到符合轨迹点zq的邻域集合Y，并判断该集合中轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则返回至步骤S25；若大于，则遍历集合Y，并将集合Y “未标记”的轨迹点赋上与轨迹点zm相同的标签“Cm”并放入集合Cm中，在完成后再返回至步骤S25；
S27、轨迹点遍历结束，共输出i个目标簇集合；对具有相同标签的点计算其经纬度均值和时间戳均值，最终得出停留点集合P，并将识别后的出行停留点连同相邻轨迹点串联形成出行路径。
S3、基于插值法和小波去噪处理行程中的轨迹定位数据；
基于S27步骤识别出的出行路径数据，通过插值法对缺失数据进行补全，通过小波去噪方法对轨迹进行降噪处理，并将处理后的出行轨迹点相连，从而得到完整的出行路径数据。
通过插值法对缺失数据进行补全，具体操作为：对于轨迹点之间的缺失点，采用插值法进行补全，其具体的补全方法如下所示：，式中Aij代表出行行程i的第j个轨迹点，轨迹点包含了步骤S1中处理好的LBS数值参数。
通过小波去噪方法对轨迹进行降噪处理，具体操作为：对于重复采样操作造成的轨迹波动的问题，采用小波去噪的方法对轨迹进行降噪处理；小波去噪需要确定小波基函数、分解层数、阈值以及阈值函数；在此步骤中，确定分解层数为5，小波基函数为“db8”,阈值计算如下所示：
，式中，λ代表小波去噪中的阈值，len(Aij)表示轨迹数据的长度；
上述的阈值函数，采用软阈值函数，将幅度大于阈值的小波系数进行缩小，小于阈值的小波系数置0，其式见下：
，
式中，w代表小波系数，s代表阈值函数采用软阈值函数方法，λ表示阈值。
在得到完整的出行行程轨迹后，可以分别计算得到每一段出行行程的特征指标，分别为轨迹特征指标和网络特征指标。其中，轨迹特征指标包含行程时间、行程距离、行程的OD距离、行程的平均速度和最高速度；网络特征指标是基于地铁、公交和公路网络，计算得到每一段行程分别到地铁线、公交线和公路网的平均距离。
S4、基于广度和深度学习模型识别集装箱卡车运输行程；
基于步骤S3获得的完整的出行路径数据，通过广度和深度学习模型，基于计算得到的出行行程数据中的特征指标，将所有的出行行程划分为不同的出行方式，识别出属于集装箱卡车的出行行程，筛除其他出行方式的行程。
图3为基于广度和深度学习模型识别出行方式的模型框架图，如图3所示，上述的模型分为输入层、隐藏层和输出层。
上述的模型的输入层为一层，输入轨迹特征指标和网络特征指标；轨迹特征指标为行程时间、行程距离、OD距离、行程的平均速度和最高速度；网络特征指标为到最近地铁线、公交线以及公路网的平均距离；这些特征都是连续的，且归一化的范围为[0,1]；
上述的模型的隐藏层是由广义线性模型和深度学习模型组成的广度和深度学习模式；广义线性模型代表了该模型广度上的组件，该步骤采用一个多次二项式Logit模型，计算公式如下所示：，式中，Y是预测值，/>是模式y的d个特征向量，β是模型参数的d维向量，b是偏差；
其次，指定一个三层深度神经网络DNN作为深度组件，计算方式如下所示：，式中α、γ和b分别代表第l层隐藏层的激活度、DNN模型参数和异质性；f表示激活函数，这里采用整流线性单元RELU作为激活函数；
广义线性模型和 DNN的组合代表了广度和深度学习模型，该模型的整体预测函数如下所示：
，式中，Pr表示联合概率模型的预测值，/>表示线性模型组件的参数向量，/>表示DNN组件最终激活时的参数，标记为/>，σ为sigmoid函数；
在该模型的基础上，采用10折交叉验证的方法来训练和测试数据集；最终，可以识别得到所有出行轨迹中使用集装箱卡车行驶的行程轨迹，并获得集装箱卡车行驶行程的停留点集合P'。
S5、识别集装箱卡车运输货源地。
根据步骤S4中广度和深度学习模型识别得到集装箱卡车行驶行程轨迹，再通过下述步骤对集装箱货运集装箱卡车货源地进行识别：
S51、选取集卡行驶轨迹在一天中行驶的距离大于100公里；
S52、选取集卡行驶轨迹行程的某一端（起点或终点）在港口集装箱码头区域停留；
S53、结合集装卡车夜间/跨天行驶的特点，分析的时间跨度为前一天的中午12点至下一天的中午12点，共48小时，例如，1月2日的分析将会用1月1日中午12点至1月3日中午12点，共48小时的数据进行分析，并在最后进行去重；
S54、以车辆行程轨迹中停留点集合P'中的节点作为货源地的候选节点，且该候选节点200米内有符合筛选条件的POI（例如产业园、工厂、公司企业等），将该点判别为货源地。
本发明提出一种基于LBS大数据的集装箱货源地识别方法，能够准确识别集装箱货源地并且实时监测集装箱卡车的行驶轨迹，有助于交通管理部门和集装箱运输公司、码头企业等准确掌握集装箱货源地及轨迹信息，为我国和各地交通管理部门制定管理政策、开展综合交通及港口规划提供重要的决策依据，为集装箱运输公司以及码头企业进行科学决策、提升企业竞争力提供有力支撑。
上述是对发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的这种非实质改进，或未经改进将发明的构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (2)

1.一种基于LBS大数据的集装箱货源地识别方法，其特征在于，包括以下步骤：
S1、基于电子围栏技术获取进出集装箱码头的LBS数据并预处理；
S2、基于时空聚类方法识别停留点；
其中步骤S2，具体为：对S1步骤中预处理完成后的LBS数据，采用时空聚类算法，对轨迹定位数据的起终点进行识别；
所述时空聚类算法的输入，包括：ε邻域，包含距离阈值εs和时间阈值εt；核心轨迹对象最少点数阈值MinPts；轨迹点时间戳t和轨迹定位点集合Q′Traj＝(z1，z2，…，zm)；
所述时空聚类算法的输出为：聚类后识别的停留点集合P＝{P1，P2，…，Pi}：
所述时空聚类的具体步骤为：
S21、初始化聚类簇数Ci＝{}，并且输入的轨迹点集合Q′Traj＝(z1，z2，…，zm)中所有轨迹点zm的初始聚类簇标签状态均是“未标记”；
S22、依次遍历轨迹点集合Q′Traj＝(z1，z2，…，zm)中的每一个轨迹点，若所有节点均已“标记”，则转到步骤S27；反之则进入下一步骤；
S23、判断当前轨迹点zm是否拥有聚类簇标签，若有聚类簇标签，返回至步骤S22；若没有，则进入下一步骤；
S24、通过公式Eps计算当前轨迹点zm与其他轨迹点之间的时空距离，若符合邻域ε的纳入阈值，则将该轨迹点放入zm的ε邻域集合X中；在计算完所有其余轨迹点与当前轨迹点zm的时空距离后，判断集合X中的轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则将该轨迹点赋上标签“噪声点”，并返回至步骤S22；若大于，聚类簇数加1且将该轨迹点zm赋上标签“Cm”，并将集合X中的所有点赋上与该轨迹点相同的标签，集合Cm＝{X}∪{zm}，并进入下一步骤；
所述Eps计算公式如下所示：
Epst＝|tm-tn|
Eps＝(Epss，Epst)，
式中，Eps代表两个轨迹点之间的时空距离，xm和ym分别代表当前轨迹点zm的经纬度坐标，tm则代表当前轨迹点zm的时间戳数据信息；
S25、遍历集合X中的所有轨迹点zq，若集合X遍历完毕，则返回至步骤S22；若集合X未遍历完毕，则进入下一步骤；
S26、重复S24中计算操作，得到符合轨迹点zq的邻域集合Y，并判断该集合中轨迹点数量是否小于核心轨迹对象最少点数阈值MinPts，若小于，则返回至步骤S25；若大于，则遍历集合Y，并将集合Y“未标记”的轨迹点赋上与轨迹点zm相同的标签“Cm”并放入集合Cm中，完成后再返回至步骤S25；
S27、轨迹点Q′Traj＝(z1，z2，…，zm)遍历结束，共输出i个目标簇集合；对具有相同标签的点计算其经纬度均值和时间戳均值，最终得出停留点集合P，并将识别后的出行停留点连同相邻轨迹点串联形成出行路径；
S3、基于插值法和小波去噪处理行程中的轨迹定位数据；
所述步骤S3，具体为：基于S27步骤识别出的出行路径数据，通过插值法对缺失数据进行补全，通过小波去噪方法对轨迹进行降噪处理，并将处理后的出行轨迹点相连，从而得到完整的出行路径数据；
通过插值法对缺失数据进行补全，具体操作为：
对于轨迹点Aij，Aij+1之间的缺失点，采用插值法进行补全，其具体的补全方法如下所示：
式中，Aij代表出行行程i的第j个轨迹点，轨迹点包含了步骤S1中处理好的LBS数值参数；
通过小波去噪方法对轨迹进行降噪处理，具体操作为：
对于重复采样操作造成的轨迹波动的问题，采用小波去噪的方法对轨迹进行降噪处理；小波去噪需要确定小波基函数、分解层数、阈值以及阈值函数；在此步骤中，确定分解层数为5，小波基函数为“db8”，阈值计算如下所示：
式中，λ代表小波去噪中的阈值，len(Aij)表示轨迹数据的长度；
所述阈值函数，采用软阈值函数，将幅度大于阈值的小波系数进行缩小，小于阈值的小波系数置0，其式见下：
式中，w代表小波系数，s代表阈值函数采用软阈值函数方法，λ表示阈值；
S4、基于广度和深度学习模型识别集装箱卡车运输行程；
所述步骤S4，具体为：
基于步骤S3获得的完整的出行路径数据，通过广度和深度学习模型，基于计算得到的出行行程数据中的特征指标，将所有的出行行程划分为不同的出行方式，识别出属于集装箱卡车的出行行程，筛除其他出行方式的行程；
所述模型分为输入层、隐藏层和输出层；
所述模型的输入层为一层，输入轨迹特征指标和网络特征指标；轨迹特征指标为行程时间、行程距离、OD距离、行程的平均速度和最高速度；网络特征指标为到最近地铁线、公交线和公路网的平均距离；这些特征都是连续的，且归一化的范围为[0，1]；
所述模型的隐藏层是由广义线性模型和深度学习模型组成的广度和深度学习模式；广义线性模型代表了该模型广度上的组件，该步骤采用一个多次二项式Logit模型，计算公式如下所示：
式中，Y是预测值，xy是模式y的d个特征向量，β是模型参数的d维向量，b是偏差；
其次，指定一个三层深度神经网络DNN作为深度组件，计算方式如下所示：
α(l+1)＝f(γ(l)·a(l)+b(l))，
式中α、γ和b分别代表第1层隐藏层的激活度、DNN模型参数和异质性；f表示激活函数，这里采用整流线性单元RELU作为激活函数；
广义线性模型和DNN的组合代表了广度和深度学习模型，该模型的整体预测函数如下所示：
式中，Pr表示联合概率模型的预测值，表示线性模型组件的参数向量，γ(lf)表示DNN组件最终激活时的参数，标记为a(lf)，σ为sigmoid函数；
在该模型的基础上，采用10折交叉验证的方法来训练和测试数据集；最终，可以识别得到所有出行轨迹中使用集装箱卡车行驶的行程轨迹，并获得集装箱卡车行驶行程的停留点集合P′；
S5、识别集装箱卡车运输货源地；
所述步骤S5，具体为：
根据步骤S4中广度和深度学习模型识别得到集装箱卡车行驶行程轨迹，再通过下述步骤对集装箱货运集装箱卡车货源地进行识别：
S51、选取集卡行驶轨迹在一天中行驶的距离大于100公里；
S52、选取集卡行驶轨迹的某一起点或终点端在港口集装箱码头区域停留；
S53、结合集装卡车夜间/跨天行驶的特点，分析的时间跨度为前一天的中午12点至下一天的中午12点，共48小时的数据进行分析，并在最后进行去重；
S54、以车辆行程轨迹中停留点集合P'中的节点作为货源地的候选节点，且该候选节点200米内有符合筛选条件的POI，将该点判别为货源地。
2.根据权利要求1所述的一种基于LBS大数据的集装箱货源地识别方法，其特征在于，所述步骤S1，具体为：通过电子围栏技术，识别并获取进出集装箱码头人员的LBS数据；采集的原始集装箱码头人员出行LBS数据信息包含：LBS数据识别号、经纬度位置信息、速度、速度方向角以及出行时间戳；数据的预处理，包括定位点特征提取、低质量定位点过滤和异常漂移点位处理。
CN202311190314.8A 2023-09-15 2023-09-15 一种基于lbs大数据的集装箱货源地识别方法 Active CN116934202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311190314.8A CN116934202B (zh) 2023-09-15 2023-09-15 一种基于lbs大数据的集装箱货源地识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311190314.8A CN116934202B (zh) 2023-09-15 2023-09-15 一种基于lbs大数据的集装箱货源地识别方法

Publications (2)

Publication Number Publication Date
CN116934202A CN116934202A (zh) 2023-10-24
CN116934202B true CN116934202B (zh) 2023-12-15

Family

ID=88384728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311190314.8A Active CN116934202B (zh) 2023-09-15 2023-09-15 一种基于lbs大数据的集装箱货源地识别方法

Country Status (1)

Country Link
CN (1) CN116934202B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223596A (zh) * 2010-04-15 2011-10-19 上海启电信息科技有限公司 一种移动定位服务方法
CN105404648A (zh) * 2015-10-29 2016-03-16 东北大学 一种基于密度与紧密度聚类的用户移动行为确定方法
CN110555653A (zh) * 2019-08-29 2019-12-10 湖南中昱智云物联科技有限公司 一种基于lbs智能系统的监测方法
CN113810851A (zh) * 2021-09-13 2021-12-17 浙江大学 一种车联网的车辆轨迹隐私保护方法
CN115230728A (zh) * 2022-08-03 2022-10-25 广州南湾联运技术有限公司 一种货运平台的车辆数据管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199258B (zh) * 2021-12-09 2024-01-23 武汉理工大学 多式联运集装箱数字化关联与高精度定位追踪系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223596A (zh) * 2010-04-15 2011-10-19 上海启电信息科技有限公司 一种移动定位服务方法
CN105404648A (zh) * 2015-10-29 2016-03-16 东北大学 一种基于密度与紧密度聚类的用户移动行为确定方法
CN110555653A (zh) * 2019-08-29 2019-12-10 湖南中昱智云物联科技有限公司 一种基于lbs智能系统的监测方法
CN113810851A (zh) * 2021-09-13 2021-12-17 浙江大学 一种车联网的车辆轨迹隐私保护方法
CN115230728A (zh) * 2022-08-03 2022-10-25 广州南湾联运技术有限公司 一种货运平台的车辆数据管理系统

Also Published As

Publication number Publication date
CN116934202A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
Zhang et al. Network‐wide traffic speed forecasting: 3D convolutional neural network with ensemble empirical mode decomposition
CN110599767A (zh) 一种基于网约车出行需求的长短期预测方法
Huang et al. A novel bus-dispatching model based on passenger flow and arrival time prediction
CN110555551B (zh) 一种智慧城市的空气质量大数据管理方法及系统
CN111144281B (zh) 基于机器学习的城市轨道交通od客流估计方法
CN113538072A (zh) 一种货运车辆的出行链智能识别方法、装置及电子设备
CN110836675A (zh) 一种基于决策树的自动驾驶搜索决策方法
CN111815098A (zh) 基于极端天气的交通信息处理方法、装置、存储介质和电子设备
CN116824861B (zh) 基于城市大脑平台多维数据的共享单车调度方法和系统
Wang et al. Forecasting traffic volume at a designated cross-section location on a freeway from large-regional toll collection data
Fitters et al. Enhancing LSTM prediction of vehicle traffic flow data via outlier correlations
Lin et al. Intelligent bus operation optimization by integrating cases and data driven based on business chain and enhanced quantum genetic algorithm
CN116153125A (zh) 一种基于ida-rnn模型的空间维度公交到达时间预测方法
CN116913088A (zh) 一种用于高速公路的智能流量预测方法
Askari et al. Taxi demand prediction using an LSTM-based deep sequence model and points of interest
Hu et al. Vehicle travel destination prediction method based on multi-source data
CN116934202B (zh) 一种基于lbs大数据的集装箱货源地识别方法
CN116663742A (zh) 基于多因素和模型融合的区域运力预测方法
Xu et al. Short-term bus passenger flow forecast based on the multi-feature gradient boosting decision tree
Luo et al. Predicting travel demand of a docked bikesharing system based on LSGC-LSTM networks
Widhalm et al. Robust road link speed estimates for sparse or missing probe vehicle data
Gao et al. Method of Predicting Passenger Flow in Scenic Areas Considering Multisource Traffic Data.
CN110942622B (zh) 一种基于停车场实时运营大数据的停车场规划方法
Fan et al. Multimodal traffic travel time prediction
Xue et al. Sparse big data for vehicular network traffic flow estimation: A machine learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant