CN115759033A - 一种轨迹数据的处理方法、装置及设备 - Google Patents

一种轨迹数据的处理方法、装置及设备 Download PDF

Info

Publication number
CN115759033A
CN115759033A CN202211455386.6A CN202211455386A CN115759033A CN 115759033 A CN115759033 A CN 115759033A CN 202211455386 A CN202211455386 A CN 202211455386A CN 115759033 A CN115759033 A CN 115759033A
Authority
CN
China
Prior art keywords
track
preset
data
trained
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211455386.6A
Other languages
English (en)
Inventor
李睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Hailan Huanyu Marine Information Technology Co ltd
Original Assignee
Xiamen Hailan Huanyu Marine Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Hailan Huanyu Marine Information Technology Co ltd filed Critical Xiamen Hailan Huanyu Marine Information Technology Co ltd
Priority to CN202211455386.6A priority Critical patent/CN115759033A/zh
Publication of CN115759033A publication Critical patent/CN115759033A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种轨迹数据的处理方法、装置及设备，所述方法包括：获取待测目标船只的一预设时间段内的轨迹数据集；对轨迹数据集进行网格化处理，得到轨迹文本集合；将轨迹文本集合输入训练好的预设词向量模型，得到与轨迹文本集合对应的目标维度特征向量；将目标维度特征向量输入训练好的预设分类模型进行处理，得到待测目标船只在预设时间段内的轨迹与预设目标轨迹的偏差；训练好的预设分类模型是基于训练好的预设词向量模型训练得到的；根据偏差，对待测目标船只进行轨迹偏航预警；本发明的方案可以准确地提前预测船只行为，不需要人工设置阈值，准确率较高，实时性较好。

Description

一种轨迹数据的处理方法、装置及设备
技术领域
本发明涉及数据处理技术领域，特别是一种轨迹数据的处理方法、装置及设备。
背景技术
随着沿海地区的海洋渔业及运输业得到长足的发展，海上船只数据上升到了一个新的高度，与此同时，船只的不法行为或危险行为也在同步上升，为了及时制止危险的船只行为，保证安全以及海洋生态的持续发展，对船只的轨迹特征挖掘研究已经刻不容缓。
现有技术中，船只行为预警方案对要处理数据的准确性要求较高，当数据中存在异常噪声点时，会对识别结果造成很大的影响；根据较小规模数据量进行的研究，在实际生产环境中，数据量较大时可能会出现数据积压问题，导致延迟报警；根据速度阈值进行抛锚风险报警，当速度阈值设置过高容易发生误报警，阈值设置过低则会事后报警。阈值选取需根据经验，误报率较高。
发明内容
本发明要解决的技术问题是提供一种轨迹数据的处理方法、装置及设备，解决了识别结果准确率低、延迟报警以及误报率高的问题，可以准确地提前预测船只行为，不需要人工设置阈值，准确率较高，实时性较好。
为解决上述技术问题，本发明的技术方案如下：
一种轨迹数据的处理方法，包括：
获取待测目标船只的一预设时间段内的轨迹数据集；
对所述轨迹数据集进行网格化处理，得到轨迹文本集合；
将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；
将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；
根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
可选的，获取待测目标船只的一预设时间段内的轨迹数据集，包括：
获取待测目标船只的一预设时间段内的实时轨迹数据流；
对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集。
可选的，对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集，包括：
对所述实时轨迹数据流进行卡尔曼滤波处理，得到第一中间轨迹数据集；
将所述第一中间轨迹数据集进行中值滤波处理，得到第二中间轨迹数据集；
通过聚类算法检测所述第二中间轨迹数据集中的异常数据，并对所述异常数据进行修正处理，得到所述轨迹数据集。
可选的，对所述轨迹数据集进行网格化处理，得到轨迹文本集合，包括：
获取所述轨迹数据集中每个轨迹数据的第一坐标信息；
根据每个轨迹数据的所述第一坐标信息，确定每个轨迹数据的在预设网格坐标系内的第二坐标信息；
将每个轨迹数据的所述第二坐标信息，按照预设转换规则转换为轨迹文本，得到轨迹文本集合。
可选的，训练好的所述预设词向量模型通过以下过程训练得到：
获取历史轨迹数据集；
对所述历史轨迹数据集进行数据清洗处理，得到待训练数据集；
对所述待训练数据集进行网格化处理，得到待训练文本库；
将所述待训练文本库输入词向量模型进行训练，得到训练好的所述预设词向量模型，并输出预设维度特征向量集合。
可选的，训练好的所述预设分类模型通过以下过程训练得到：
根据所述预设维度特征向量集合和待训练目标轨迹，确定第一预设数量的正样本数据；
对所述第一预设数量的正样本数据进行数据增强处理，得到第二预设数量的正样本数据；
根据第二预设数量的所述正样本数据，确定第三预设数量的负样本数据；
将第二预设数量的所述正样本数据和第三预设数量的所述负样本数据输入分类模型进行训练，得到训练好的预设分类模型。
可选的，根据所述预设维度特征向量集合和所述待训练数据集，确定第一预设数量的正样本数据，包括：
计算所述预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度，得到相似度值；
根据所述相似度值，确定满足预设条件的第一预设数量的正样本数据。
本发明还提供一种轨迹数据的处理装置，包括：
获取模块，用于获取待测目标船只的一预设时间段内的轨迹数据集；
处理模块，用于对所述轨迹数据集进行网格化处理，得到轨迹文本集合；将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
本发明还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。
本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取待测目标船只的一预设时间段内的轨迹数据集；对所述轨迹数据集进行网格化处理，得到轨迹文本集合；将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；根据所述偏差，对所述待测目标船只进行轨迹偏航预警；解决了识别结果准确率低、延迟报警以及误报率高的问题，可以准确地提前预测船只行为，不需要人工设置阈值，准确率较高，实时性较好。
附图说明
图1是本发明实施例的轨迹数据的处理方法的流程示意图；
图2是本发明提供的具体的实施例中轨迹数据的处理方法的流程示意图；
图3是本发明实施例的轨迹数据的处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种轨迹数据的处理方法，包括：
步骤11，获取待测目标船只的一预设时间段内的轨迹数据集；
步骤12，对所述轨迹数据集进行网格化处理，得到轨迹文本集合；
步骤13，将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；
步骤14，将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；
步骤15，根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
该实施例中，将待测目标船只的一预设时间段内的轨迹数据集处理成轨迹文本集合，即将所有轨迹数据集中的轨迹数据当作文本处理，一条轨迹可作为一个句子，轨迹数据的点可作为词，通过训练好的预设词向量模型进行处理，将轨迹数据集中的轨迹数据转化为目标维度特征向量，该目标维度为一固定维度，然后将目标维度特征向量输入训练好的预设分类模型，可以得到待测目标船只在预设时间段内的轨迹与预设目标轨迹的偏差，基于该偏差值，可以对待测目标船只进行轨迹偏航预警；可以解决对待测目标船只的轨迹识别结果准确率低、延迟报警以及误报率高的问题，可准确地提前预测船只行为，不需要人工设置阈值，准确率较高，实时性较好；另外，基于训练好的预设词向量模型训练得到的预设分类模型对船只轨迹的匹配，明显提高了准确率及召回率，本申请的方案适用于各种具有明显轨迹特征的预警模型。
本发明一可选的实施例中，步骤11包括：
步骤111，获取待测目标船只的一预设时间段内的实时轨迹数据流；
步骤112，对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集。
本实施例中，一预设时间段内的实时轨迹数据流为流式数据，由于待测目标船只对轨迹偏航预警的实时性要求较高，当延时较大或轨迹数据的数据量较大时都可能会发生数据积压的情况，而导致预警不及时的问题，因而优选基于Flink流式计算框架对实时轨迹数据流进行处理，可支持极大的数据量，实时性较强；
由于雷达对待测目标船只的轨迹数据的采集可能会存在跳点、毛刺、噪声等现象，为避免影响准确性，对实时轨迹数据流进行滤波处理，得到轨迹数据集，以解决轨迹不平滑和准确率低的问题；
需要说明的是，待测目标船只在一预设时间段内的实时轨迹数据流优选是基于Flink流式计算框架下的处理得到的，其中，Flink为一框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算，可通过Flink的窗口功能每累积一预设时间段(如30min)内的轨迹数据可生成实时轨迹数据流，这样可以实现对流式数据的低延迟处理。
本发明一可选的实施例中，步骤112包括：
步骤1121，对所述实时轨迹数据流进行卡尔曼滤波处理，得到第一中间轨迹数据集；
步骤1122，将所述第一中间轨迹数据集进行中值滤波处理，得到第二中间轨迹数据集；
步骤1123，通过聚类算法检测所述第二中间轨迹数据集中的异常数据，并对所述异常数据进行修正处理，得到所述轨迹数据集。
本实施例中，对实时轨迹数据流进行滤波处理，具体的，通过对实时轨迹数据流进行卡尔曼滤波处理，得到第一中间轨迹数据集，对第一中间轨迹数据集进行中值滤波处理，得到第二中间轨迹数据集，使得轨迹平滑，去除毛刺和跳点等，提高预警结果的准确率；
通过聚类算法(DBSCAN)对第二中间轨迹数据集进行异常数据的检测，对异常数据进行修正处理，这里的修正优选为通过该异常数据的异常值的前后点的平均值代替异常数据的异常值，得到轨迹数据集；
其中，DBSCAN是一种基于密度的噪声应用空间的无监督的聚类算法，不需要预先确定集群的数量，对异常值不敏感，能将高密度数据分离成小集群，可以大大减少异常数据对预警结果的准确率的影响。
本发明一可选的实施例中，步骤12包括：
步骤121，获取所述轨迹数据集中每个轨迹数据的第一坐标信息；
步骤122，根据每个轨迹数据的所述第一坐标信息，确定每个轨迹数据的在预设网格坐标系内的第二坐标信息；
步骤123，将每个轨迹数据的所述第二坐标信息，按照预设转换规则转换为轨迹文本，得到轨迹文本集合。
本实施例中，由于待测目标船只的轨迹数据的点可能对应不同的经纬度值，考虑到文本处理时的便利性，对轨迹数据集中每个轨迹数据的第一坐标信息进行网格化处理，这里的第一坐标信息优选为经纬度值，还可以是其他用于表示轨迹点位置信息的数据信息，本申请不以此为限制；
将轨迹数据集中每个轨迹数据的第一坐标信息对应地确定为预设网格坐标系内的第二坐标信息，该预设网格坐标系为二维坐标系，因此该第二坐标信息优选包括横坐标和纵坐标；另外，需要说明的是，这里将第一坐标信息对应至预设网格坐标系内的第二坐标信息需要满足任意两个轨迹数据对应的点之间的相对位置关系不变，且欧氏距离呈同一比例；如，在原有的坐标系下，任意两点为第一轨迹点和第二轨迹点，第一轨迹点的第一坐标信息原先位于第二轨迹点的第一坐标信息的第一轴方向的10英尺，则在预设网格坐标系内，第一轨迹点的第二坐标信息也应位于第二轨迹点的第二坐标信息的第二轴方向(A×10)英尺处，其中，A为一比例常数；
将每个轨迹数据的第二坐标信息按照预设转换规则转换为轨迹文本，得到轨迹文本集合；这里的预设转换规则优选为：将每个第二坐标信息的横坐标和纵坐标之间通过第一预设符号连接，相邻的每个第二坐标信息之间通过第二预设符号连接。
一个具体的实施例中，第一轨迹数据集为S＝{(x1,y1),(x2,y2),(x3,y3)}，确定将第一轨迹数据集S在预设网格坐标系内的第二轨迹数据集为S'＝{(x'1,y'1),(x'2,y'2),(x'3,y'3)}，第一轨迹数据集S和第二轨迹数据集S'中对应的轨迹数据的点满足任意两个轨迹数据对应的点之间的相对位置关系不变，且欧氏距离呈同一比例的原则；
将每个轨迹数据视为文本中的一个词，按照预设转换规则：将每个第二坐标信息的横坐标和纵坐标之间通过下划线“_”连接，相邻的每个第二坐标信息之间通过逗号“，”连接，得到轨迹文本集合为[x'1_y'1,x'2_y'2,x'3_y'3]，该轨迹文本集合可视作一条文本语句。
本发明一可选的实施例中，步骤13中的训练好的所述预设词向量模型通过以下过程训练得到：
步骤131，获取历史轨迹数据集；
步骤132，对所述历史轨迹数据集进行数据清洗处理，得到待训练数据集；
步骤133，对所述待训练数据集进行网格化处理，得到待训练文本库；
步骤134，将所述待训练文本库输入词向量模型进行训练，得到训练好的所述预设词向量模型，并输出预设维度特征向量集合。
本实施例中，历史轨迹数据集优选可以从数据集合starRocks中提取，历史轨迹数据集包括多条轨迹，对所述历史轨迹数据集进行数据清洗处理，得到待训练数据集，这里是数据清洗处理包括：卡尔曼滤波处理、中值滤波处理以及异常数据处理中的至少一项，其中，卡尔曼滤波处理和中值滤波处理可以去除历史轨迹数据集中轨迹数据的毛刺和跳点等，异常数据处理优选通过聚类算法检测每条数据中是否存在异常值，将存在异常值的异常数据通过该异常值前后的平均值替代，以提高预警准确率低的问题；
待训练数据集进行网格化处理，得到待训练文本库，这里的网格化处理与步骤12相同，即将每个轨迹数据的第一坐标信息对应到预设网格坐标系内的第二坐标信息，将每个轨迹数据的第二坐标信息，按照预设转换规则转换为轨迹文本，得到轨迹文本集合，多条轨迹的轨迹文本集合组成待训练文本库；
基于该待训练文本库对词向量模型进行训练，这里的词向量模型优选为fasttext模型(快速文本分类模型)，用于词向量计算和文本分类，可以将输入的句子文本处理为固定维度的预设维度特征向量，预设维度特征向量间的距离可反映不同句子文本的相似度；另外，需要说明的是，通过训练好的预设词向量模型可以将原有的流数据(非结构化数据)转换为固定维度的预设维度特征向量(结构化数据)，大大提高了训练分类模型时的寻找样本的效率。
本发明一可选的实施例中，步骤14中的训练好的所述预设分类模型通过以下过程训练得到：
步骤141，根据所述预设维度特征向量集合和待训练目标轨迹，确定第一预设数量的正样本数据；
步骤142，对所述第一预设数量的正样本数据进行数据增强处理，得到第二预设数量的正样本数据；
步骤143，根据第二预设数量的所述正样本数据，确定第三预设数量的负样本数据；
步骤144，将第二预设数量的所述正样本数据和第三预设数量的所述负样本数据输入分类模型进行训练，得到训练好的预设分类模型。
本实施例中，训练好的所述预设分类模型是基于训练好的所述预设词向量模型而产生的样本训练得到的，计算预设词向量模型的待训练目标轨迹的目标轨迹向量集合和预设维度特征向量集合的余弦相似度，选取第一预设数量个最相似(即余弦相似度越大)的预设维度特征向量集合对应的轨迹作为正样本数据，对第一预设数量个正样本数据进行数据增强处理，这里的数据增强处理可以是将正样本数据进行三个方向的反转处理，这里的三个方向是由于正样本数据的轨迹是在二维坐标系下的，基于正样本数据的轨迹对于第一轴进行对称，得到第一正样本数据，基于第一正样本数据和正样本数据对于第二轴进行对称，分别得到第二正样本数据和第三正样本数据，这样，正样本数据、第一正样本数据、第二正样本数据以及第三正样本数据即为第二预设数量的正样本数据；
基于第二预设数量的正样本数据选取第三预设数量个不具有相同轨迹特征的样本作为负样本数据，将第二预设数量的正样本数据和第三预设数量的负样本数据输入分类模型进行训练，得到训练好的预设分类模型，其中，分类模型为二分类模型，在训练过程中，将正样本数据标记为0，负样本数据标记为1，将正样本数据和负样本数据的预设维度特征向量集合输入至二分类模型，二分类模型训练完成后，可得到0或1的结果，其中，0表示为与目标轨迹具有相同轨迹特征，反之则输出1。
其中，二分类模型优选为SVM(support vectormachines，支持向量机)模型。
本发明一可选的实施例中，步骤141包括：
步骤1411，计算所述预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度，得到相似度值；
步骤1412，根据所述相似度值，确定满足预设条件的第一预设数量的正样本数据。
本实施例中，通过两个向量的夹角余弦值(余弦相似度)评估预设维度特征向量集合和目标轨迹向量集合之间的相似度程度；
具体的，由于待测目标船只的运动轨迹为二维空间内的，因而对预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度计算可以通过下列公式计算得到：
Figure BDA0003952788450000091
其中，cos(θ)为相似度值，xi为预设维度特征向量集合中的第i个预设维度特征向量，yi为目标轨迹向量集合中的第i个待训练数据；
遍历历史轨迹数据集中每条历史轨迹数据对应的预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度，确定相似度值最高的作为第一预设数量的正样本数据。
如图2所示，一个具体的实施例中，对目标船只的轨迹数据的处理方法包括：
步骤221，使用Flink流式计算框架对Kafka(一种开源流处理平台)中目标船只的流式数据进行处理，使用Flink的窗口功能采集每30分钟的实时轨迹数据流(流式数据)；
步骤222，对窗口中的实时轨迹数据流依次按照卡尔曼滤波处理、中值滤波处理以及通过聚类算法DBSCAN去除异常点的方式进行数据清洗，得到轨迹数据集；
步骤223，对轨迹数据集进行网格化处理，即将轨迹数据集中的每条轨迹转换为轨迹文本，得到轨迹文本集合；通过步骤2231获取余先保存的训练好的fasttext模型；将轨迹文本集合输入至训练好的fasttext模型中进行轨迹向量化处理，得到300维特征向量；
步骤224，调用训练好的SVM模型，判断该窗口内的轨迹是否与目标轨迹具有相同的轨迹特征，即判断是否存在目标轨迹行为；
步骤225，将判断结果输出至Kafka，进行预警。
其中，通过离线模块21训练得到训练好的fasttext模型：
步骤211，从starRocks(一种开源数据库)中提取1个月的历史轨迹数据，根据船只的id(Identity document，身份标识号)区分为不同的轨迹；
步骤212，依次使用卡尔曼滤波处理、中值滤波对轨迹进行平滑处理，去除毛刺、跳点，然后使用聚类DBSCAN算法检测每条历史轨迹数据中是否存在异常数据，若存在异常数据，则将该异常数据的异常值用前后点的平均值替代，以实现对数据的清洗，得到清洗后的历史数据；
步骤213，对清洗后的历史数据的第一坐标信息进行网格化处理，确定每个轨迹数据的在预设网格坐标系内的第二坐标信息，网格化后每个数据点对应的坐标文本值“x1_y1”可视作文本中的一个词，其中，x1为网格转换后的横坐标，y1为网格转换后的纵坐标，一段轨迹为[x1_y1,x2_y2,x3_y3......]，视为文本中的一个句子，将所有清洗后的历史数据的轨迹转换成句子形式，形成文本库；
将文本库输入fasttext模型，fasttext模型是一个词向量计算和文本分类工具，可输出固定维度的向量，向量间的距离可反应不同句子的相似度，得到每条轨迹的一个长度为300维的特征向量；
至此，可以将fasttext模型作为训练好的fasttext模型；
进一步的，通过离线模块21训练得到训练好的SVM模型：
步骤215，计算fasttext模型转换后的300维的特征向量及目标轨迹的轨迹向量之间的余弦相似度；
步骤216，选取最相似的n条(如1000条)轨迹作为正样本数据；并对正样本数据进行3个不同方向的反转，达到数据增强的效果，以增加3n条(如3000条)正样本数据，并选取4n条(如4000条)不是目标轨迹特征的样本作为负样本数据；
步骤217，经过数据增强后分别得到4n条(如4000条)与目标轨迹具有相同轨迹特征的轨迹，以及4n条(如4000条)不同的轨迹，每条轨迹用fasttext模型输出的300维特征向量表示，并将正样本数据的标签label标为0，负样本数据的标签label标为1；将正负样本数据的轨迹特征向量作为训练数据输入至SVM模型中进行训练，得到训练好的SVM模型；
得到训练好的SVM模型可用于对输入的轨迹特征向量进行分类，得到0或1的结果，其中，0表示为与目标轨迹具有相同轨迹特征，反之则输出1；
上述对目标船只的轨迹数据的处理方法可以提前将轨迹数据通过fasttext模型转换为固定维度的特征向量，不需要对流式数据进行去将数据结构化处理，避免了损失数据精度，向量间的距离可以反映轨迹相似度，通过相似度值来找到匹配目标轨迹特征的正样本数据，减少大量的人力及时间成本，且使用轨迹特征向量作为SVM分类模型的训练数据准确率更高。
本发明的实施例通过获取待测目标船只的一预设时间段内的轨迹数据集；对所述轨迹数据集进行网格化处理，得到轨迹文本集合；将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；根据所述偏差，对所述待测目标船只进行轨迹偏航预警，从而解决了识别结果准确率低、延迟报警以及误报率高的问题，可以准确地提前预测船只行为，不需要人工设置阈值，准确率较高，实时性较好。
如图3所示，本发明的实施例还提供一种轨迹数据的处理装置30，包括：
获取模块31，用于获取待测目标船只的一预设时间段内的轨迹数据集；
处理模块32，用于对所述轨迹数据集进行网格化处理，得到轨迹文本集合；将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
可选的，获取待测目标船只的一预设时间段内的轨迹数据集，包括：
获取待测目标船只的一预设时间段内的实时轨迹数据流；
对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集。
可选的，对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集，包括：
对所述实时轨迹数据流进行卡尔曼滤波处理，得到第一中间轨迹数据集；
将所述第一中间轨迹数据集进行中值滤波处理，得到第二中间轨迹数据集；
通过聚类算法检测所述第二中间轨迹数据集中的异常数据，并对所述异常数据进行修正处理，得到所述轨迹数据集。
可选的，对所述轨迹数据集进行网格化处理，得到轨迹文本集合，包括：
获取所述轨迹数据集中每个轨迹数据的第一坐标信息；
根据每个轨迹数据的所述第一坐标信息，确定每个轨迹数据的在预设网格坐标系内的第二坐标信息；
将每个轨迹数据的所述第二坐标信息，按照预设转换规则转换为轨迹文本，得到轨迹文本集合。
可选的，训练好的所述预设词向量模型通过以下过程训练得到：
获取历史轨迹数据集；
对所述历史轨迹数据集进行数据清洗处理，得到待训练数据集；
对所述待训练数据集进行网格化处理，得到待训练文本库；
将所述待训练文本库输入词向量模型进行训练，得到训练好的所述预设词向量模型，并输出预设维度特征向量集合。
可选的，训练好的所述预设分类模型通过以下过程训练得到：
根据所述预设维度特征向量集合和待训练目标轨迹，确定第一预设数量的正样本数据；
对所述第一预设数量的正样本数据进行数据增强处理，得到第二预设数量的正样本数据；
根据第二预设数量的所述正样本数据，确定第三预设数量的负样本数据；
将第二预设数量的所述正样本数据和第三预设数量的所述负样本数据输入分类模型进行训练，得到训练好的预设分类模型。
可选的，根据所述预设维度特征向量集合和所述待训练数据集，确定第一预设数量的正样本数据，包括：
计算所述预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度，得到相似度值；
根据所述相似度值，确定满足预设条件的第一预设数量的正样本数据。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种轨迹数据的处理方法，其特征在于，包括：
获取待测目标船只的一预设时间段内的轨迹数据集；
对所述轨迹数据集进行网格化处理，得到轨迹文本集合；
将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；
将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；
根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
2.根据权利要求1所述的轨迹数据的处理方法，其特征在于，获取待测目标船只的一预设时间段内的轨迹数据集，包括：
获取待测目标船只的一预设时间段内的实时轨迹数据流；
对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集。
3.根据权利要求2所述的轨迹数据的处理方法，其特征在于，对所述实时轨迹数据流进行滤波处理，得到所述轨迹数据集，包括：
对所述实时轨迹数据流进行卡尔曼滤波处理，得到第一中间轨迹数据集；
将所述第一中间轨迹数据集进行中值滤波处理，得到第二中间轨迹数据集；
通过聚类算法检测所述第二中间轨迹数据集中的异常数据，并对所述异常数据进行修正处理，得到所述轨迹数据集。
4.根据权利要求1所述的轨迹数据的处理方法，其特征在于，对所述轨迹数据集进行网格化处理，得到轨迹文本集合，包括：
获取所述轨迹数据集中每个轨迹数据的第一坐标信息；
根据每个轨迹数据的所述第一坐标信息，确定每个轨迹数据的在预设网格坐标系内的第二坐标信息；
将每个轨迹数据的所述第二坐标信息，按照预设转换规则转换为轨迹文本，得到轨迹文本集合。
5.根据权利要求1所述的轨迹数据的处理方法，其特征在于，训练好的所述预设词向量模型通过以下过程训练得到：
获取历史轨迹数据集；
对所述历史轨迹数据集进行数据清洗处理，得到待训练数据集；
对所述待训练数据集进行网格化处理，得到待训练文本库；
将所述待训练文本库输入词向量模型进行训练，得到训练好的所述预设词向量模型，并输出预设维度特征向量集合。
6.根据权利要求5所述的轨迹数据的处理方法，其特征在于，训练好的所述预设分类模型通过以下过程训练得到：
根据所述预设维度特征向量集合和待训练目标轨迹，确定第一预设数量的正样本数据；
对所述第一预设数量的正样本数据进行数据增强处理，得到第二预设数量的正样本数据；
根据第二预设数量的所述正样本数据，确定第三预设数量的负样本数据；
将第二预设数量的所述正样本数据和第三预设数量的所述负样本数据输入分类模型进行训练，得到训练好的预设分类模型。
7.根据权利要求6所述的轨迹数据的处理方法，其特征在于，根据所述预设维度特征向量集合和所述待训练数据集，确定第一预设数量的正样本数据，包括：
计算所述预设维度特征向量集合和待训练目标轨迹的目标轨迹向量集合之间的余弦相似度，得到相似度值；
根据所述相似度值，确定满足预设条件的第一预设数量的正样本数据。
8.一种轨迹数据的处理装置，其特征在于，包括：
获取模块，用于获取待测目标船只的一预设时间段内的轨迹数据集；
处理模块，用于对所述轨迹数据集进行网格化处理，得到轨迹文本集合；将所述轨迹文本集合输入训练好的预设词向量模型，得到与所述轨迹文本集合对应的目标维度特征向量；将所述目标维度特征向量输入训练好的预设分类模型进行处理，得到所述待测目标船只在所述预设时间段内的轨迹与预设目标轨迹的偏差；训练好的所述预设分类模型是基于训练好的所述预设词向量模型训练得到的；根据所述偏差，对所述待测目标船只进行轨迹偏航预警。
9.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7任一项所述的方法。
CN202211455386.6A 2022-11-21 2022-11-21 一种轨迹数据的处理方法、装置及设备 Pending CN115759033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211455386.6A CN115759033A (zh) 2022-11-21 2022-11-21 一种轨迹数据的处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211455386.6A CN115759033A (zh) 2022-11-21 2022-11-21 一种轨迹数据的处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115759033A true CN115759033A (zh) 2023-03-07

Family

ID=85333498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211455386.6A Pending CN115759033A (zh) 2022-11-21 2022-11-21 一种轨迹数据的处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115759033A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052482A (zh) * 2023-04-03 2023-05-02 中航信移动科技有限公司 一种航空器轨迹偏航预警的方法、电子设备及存储介质
CN116978259A (zh) * 2023-06-19 2023-10-31 武汉大海信息系统科技有限公司 一种船舰航行轨迹预测方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052482A (zh) * 2023-04-03 2023-05-02 中航信移动科技有限公司 一种航空器轨迹偏航预警的方法、电子设备及存储介质
CN116978259A (zh) * 2023-06-19 2023-10-31 武汉大海信息系统科技有限公司 一种船舰航行轨迹预测方法、装置及存储介质
CN116978259B (zh) * 2023-06-19 2024-01-26 武汉大海信息系统科技有限公司 一种船舰航行轨迹预测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN115759033A (zh) 一种轨迹数据的处理方法、装置及设备
CN108710651A (zh) 一种大规模客户投诉数据自动分类方法
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN112307820B (zh) 文本识别方法、装置、设备和计算机可读介质
CN110599200B (zh) Ota酒店的虚假地址的检测方法、系统、介质及设备
CN112464951B (zh) 一种基于物联网的渔业安全应急处置系统及方法
CN110866499B (zh) 手写文本识别方法、系统、设备及介质
CN112907632A (zh) 一种单拖船只目标的识别方法及装置
CN110796171A (zh) 机器学习模型的未分类样本处理方法、装置及电子设备
CN113268615A (zh) 资源标签生成方法、装置、电子设备及存储介质
CN115240037A (zh) 模型训练方法、图像处理方法、设备及存储介质
CN110969015B (zh) 一种基于运维脚本的标签自动化识别方法和设备
CN112069039A (zh) 人工智能开发平台的监控预知告警方法、装置及存储介质
CN113435499B (zh) 标签分类方法、装置、电子设备和存储介质
CN115034315A (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
CN114328095A (zh) 一种任务异常告警方法及装置
CN112632000A (zh) 日志文件聚类方法、装置、电子设备和可读存储介质
CN114281939A (zh) 文本分类模型的训练方法、文本分类方法、装置和设备
CN110968690B (zh) 词语的聚类划分方法和装置、设备以及存储介质
CN113128568A (zh) 一种挖掘机活动识别方法、系统、装置及存储介质
CN114238740A (zh) 一种确定代理主体代理品牌的方法及装置
CN113469237A (zh) 用户意图识别方法、装置、电子设备及存储介质
CN115204381A (zh) 弱监督模型训练方法及装置、电子设备
CN110442708A (zh) 一种基于粒度计算的信息分类方法
CN115659282B (zh) 基于ga-knn的预警目标有效运动特征智能提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination