CN116522132A - 交通数据的补全方法、装置和存储介质 - Google Patents
交通数据的补全方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116522132A CN116522132A CN202310259303.4A CN202310259303A CN116522132A CN 116522132 A CN116522132 A CN 116522132A CN 202310259303 A CN202310259303 A CN 202310259303A CN 116522132 A CN116522132 A CN 116522132A
- Authority
- CN
- China
- Prior art keywords
- data
- traffic data
- complement
- matrix
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000295 complement effect Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 194
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 68
- 230000009467 reduction Effects 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims description 48
- 230000001502 supplementing effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000012217 deletion Methods 0.000 description 9
- 230000037430 deletion Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种交通数据的补全方法、装置和存储介质，其中，该交通数据的补全方法包括：构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果。其能够通过引入矩阵分解还原模块增强生成式对抗网络在大面积或长时间的连续性数据丢失场景中的检测的准确度，并强化数据的可解释性，并基于多目标学习提高结果的稳定度。
Description
技术领域
本申请涉及交通数据处理领域，特别是涉及交通数据的补全方法、装置和存储介质。
背景技术
随着科学技术的发展，对交通数据的监控能够对道路安全管控以及道路规划建设产生重要作用。其中，由于交通数据具有较强的周期性和道路间的关联性，采用重点监控结合数据恢复的方式，相比地毯式监控的方式更加节省成本，并更具可操作性。另外，在交通数据的监控场景中，同样也需要针对设备损坏、数据丢失等情况，进行交通数据的恢复补全。此外，对于交通数据的恢复，不仅能够直观完备地表征对应场景的交通情况，还能够对路线导航、时间预测、事故推断道路建设规划等下游任务产生较强助力。
随着现实场景日趋复杂化，目前通常利用生成式对抗网络来实现交通数据的恢复。由于生成式对抗网络本身具有难收敛、难解释等特性，使得其在实际应用场景中的检测较为不稳定并难以为人所信服。此外，生成式对抗网络本质上更多地是模仿临近时间和道路流量，在大面积或长时间的连续性数据丢失情景中的准确度和稳定度较低。
针对相关技术中存在交通数据恢复的可解释性较差且不适用于大面积或长时间的连续性数据丢失场景的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种交通数据的补全方法、装置和存储介质，以解决相关技术中交通数据恢复的可解释性较差且不适用于大面积或长时间的连续性数据丢失场景的问题。
第一个方面，在本实施例中提供了一种交通数据的补全方法，包括：
构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；
将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
在其中的一些实施例中，所述基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，包括：
基于多目标学习，对所述生成式对抗网络中的生成器的损失函数和网络参数、矩阵分解还原模块的损失函数和网络参数、以及判别器的损失函数和网络参数进行更新，直至更新后的所述生成式对抗网络达到预设的训练条件，确认所述生成式对抗网络训练完成，得到训练完备的用于对交通数据进行补全的数据补全模型。
在其中的一些实施例中，所述方法还包括：
在对所述生成式对抗网络进行训练的过程中，判断所述生成器的损失函数与所述矩阵分解还原模块的损失函数的变化方向是否相反，若是，则基于帕累托优化策略迭代多目标系数，并基于迭代后的多目标系数更新所述生成器的损失函数和所述矩阵分解还原模块的损失函数。
在其中的一些实施例中，所述基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，还包括：
利用预设的梯度下降法对所述生成式对抗网络中的生成器和判别器进行异步更新，并在对所述生成器更新的同时，利用所述梯度下降法对所述生成式对抗网络中的矩阵分解还原模块进行同步更新，得到训练完备的用于对交通数据进行补全的数据补全模型。
在其中的一些实施例中，所述构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，包括：
构建生成式对抗网络，并对所述生成式对抗网络初始化；
初始化训练数据，并将所述训练数据输入初始化的生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型。
在其中的一些实施例中，所述将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果，包括：
对原始数据进行预处理，生成以时间和道路为维度的流量矩阵；
基于所述流量矩阵构建特征矩阵；
将所述特征矩阵作为待处理的交通数据，输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
在其中的一些实施例中，所述方法还包括：
对所述交通数据的补全结果进行显示。
在其中的一些实施例中，所述方法还包括：
存储由所述数据补全模型进行补全的所述补全结果的生成依据。
第二个方面，在本实施例中提供了一种交通数据的补全装置，包括：训练模块和补全模块；其中：
所述训练模块，用于构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；
所述补全模块，用于将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
第三个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的交通数据的补全方法。
与相关技术相比，在本实施例中提供的交通数据的补全方法、装置和存储介质，构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果。其能够通过引入矩阵分解还原模块增强生成式对抗网络在大面积或长时间的连续性数据丢失场景中的检测的准确度，并强化数据的可解释性，并基于多目标学习提高结果的稳定度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本实施例的交通数据的补全方法的终端的硬件结构框图；
图2是本实施例的交通数据的补全方法的流程图；
图3是本优选实施例的数据补全模型的训练方法的流程图；
图4是本实施例的交通数据的补全装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的交通数据的补全方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的交通数据的补全方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种交通数据的补全方法，图2是本实施例的交通数据的补全方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型。
在本申请中，应用于交通数据恢复的生成式对抗网络包括生成器、矩阵分解还原模块以及判别器。其中的生成器和矩阵分解还原模块用于对待补全的原始矩阵进行补全处理后输出混合生成矩阵。判别器用于判断该混合生成矩阵中的各元素是来自于原始矩阵还是由生成器模拟生成的。其中的矩阵分解还原模块能够显式地提取交通数据间的长程与周期性信息，从而提升上述数据补全模型在大面积或长时间的连续性数据丢失情景中的表现。
具体地，可以在得到记录预设时段内指定道路的车流量信息的原始数据之后，将其处理为以时间和道路为维度的矩阵，作为原始矩阵，其中该原始矩阵中缺失的元素可以用预先设定的数据缺失标志表示，例如可以用“-1”表示。在原始矩阵的基础上，可以生成生成式对抗网络所需的特征矩阵。进一步地，以预设的数据缺失率对上述原始矩阵中未缺失的元素，按照与原始矩阵中同样的数据缺失标志进行人工遮掩，进而得到数据缺失矩阵。在数据缺失矩阵的基础上，生成与数据缺失矩阵同尺寸的矩阵，并将其中缺失数据的元素，也即上述用数据缺失标志遮掩过的元素的位置标为0，非缺失数据的元素位置标为1，从而构成缺失标记矩阵。此外，还可以基于0至1的随机数构成随机生成矩阵，其行尺寸与原始矩阵相同，列尺寸为原始矩阵的十分之一到二十分之一。另外，将缺失标记矩阵中约20％的元素改为其自身大小的一半，则得到线索矩阵。由此，上述数据缺失矩阵、缺失标记矩阵、随机生成矩阵以及线索矩阵，即为基于原始矩阵得到的特征矩阵。
之后，将上述特征矩阵输入生成式对抗网络。具体地，将数据缺失矩阵、缺失标记矩阵以及随机生成矩阵输入生成器中。生成器为多层全连接网络组成的模块，其将输出与随机生成矩阵同尺寸的生成行嵌入式矩阵。将该生成行嵌入式矩阵与生成列嵌入式矩阵输入矩阵分解还原模块中进行处理。其中在训练的初始阶段，该生成列嵌入式矩阵为随机生成的矩阵。在训练过程中，该生成列嵌入式矩阵将随着矩阵分解还原模块的更新过程而更新。矩阵分解还原模块将生成行嵌入式矩阵与生成列嵌入式矩阵相乘，以一层全连接网络做非线性变换，从而输出与数据缺失矩阵等尺寸的生成矩阵。之后将数据缺失矩阵中缺失部分用生成矩阵填充，从而得到混合生成矩阵。其中，经过矩阵分解还原模块的处理，能够使得生成矩阵与数据缺失矩阵中相对应的非缺失元素尽可能接近。之后，将混合生成矩阵和线索矩阵输入判别器，由多层全连接网络组成的判别器来判断混合生成矩阵中各元素是来源于原始矩阵还是由生成器模拟生成。
另外地，在对生成式对抗网络进行训练的过程中，参照预先设定的训练周期、随机生成矩阵宽度、训练批次、学习率以及多目标系数对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，并使用随机网络参数初始化整个生成式对抗网络。本实施例基于多目标学习对生成式对抗网络进行训练。其中，将生成器与判别器进行异步训练，也即，在对生成器进行训练的过程中保持判别器不变，而在对判别器进行训练的过程中保持生成器不变。另外，由于矩阵分解还原模块的训练目标与生成器的训练目标相似，因此在对生成器进行训练的同时对矩阵分解还原模块进行同步训练，使用多目标系数将生成器的损失函数与矩阵分解还原模块的损失函数进行关联。本实施例通过多目标学习对上述网络进行训练，将生成式对抗网络与矩阵分解还原模块进行联合，能够使得矩阵分解还原模块的损失函数更易收敛，从而提高结果的稳定性。
在该生成式对抗网络达到预设的训练终止条件后，则终止对生成式对抗网络的训练，得到训练完备的数据补全模型。该数据补全模型即为达到训练终止条件的生成式对抗网络，其用于对交通数据进行补全。其中，该训练终止条件可以基于实际应用需求进行确定。示例性地，训练终止条件可以为达到预设的训练批次，或者生成器的损失函数、矩阵还原模块的损失函数以及判别器的损失函数，在预设次数内的变化量小于预设的变化阈值。
优选地，在对生成器和矩阵分解还原模块更新时，基于梯度下降法来更新生成器与矩阵分解还原模块的组合损失函数，以及更新生成器和矩阵分解还原模块的网络参数。在对判别器更新时，基于梯度下降法最优化判别器的损失函数，并更新判别器的网络参数。另外地，在更新生成器和矩阵分解还原模块时，判断生成器的损失函数和矩阵分解还原模块的损失函数的变化方向是否相反，若是，则基于帕累托优化策略来更新多目标系数。本实施例通过引入帕累托优化策略，能够平衡生成式对抗网络的精确性和泛化性，提升上述网络的收敛能力和对于长程、周期性信息的提取效率。在训练过程中，还可以每间隔预设训练批次，计算补全结果的平均绝对百分比误差，打印该误差以及对应的损失函数，以实现对上述网络训练的实时跟进。
步骤S220，将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果。
将待补全的交通数据输入基于上述步骤S210训练完备的数据补全模型，从而得到该交通数据的补全结果。另外可以对补全结果进行可视化，从而便于使用者对当前的交通情况有更为直观的了解。另外，本实施例所实现的交通数据的补全，还能与下游的路线导航、时间预测、事故推断、智能信号等、道路建设规划等任务关联，从而提高数据恢复对于上述下游任务的收益。为了提高补全数据的可解释性，还可以对补全的数据进行追溯，例如追溯至其在生成行嵌入式矩阵和生成列嵌入式矩阵中的来源。
上述步骤S210至步骤S220，构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果。其能够通过引入矩阵分解还原模块增强生成式对抗网络在大面积或长时间的连续性数据丢失场景中的检测的准确度，并强化数据的可解释性，并基于多目标学习提高结果的稳定度。
进一步地，在一个实施例中，基于上述步骤S210，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，具体可以包括以下步骤：
步骤S211，基于多目标学习，对生成式对抗网络中的生成器的损失函数和网络参数、矩阵分解还原模块的损失函数和网络参数、以及判别器的损失函数和网络参数进行更新，直至更新后的生成式对抗网络达到预设的训练条件，确认生成式对抗网络训练完成，得到训练完备的用于对交通数据进行补全的数据补全模型。
其中，在训练过程中，生成器和判别器的优化目标可以用下式表示：
其中G表示生成器，D表示判别器，M表示缺失标记矩阵，O表示混合生成矩阵，H表示线索矩阵。为了提升生成式对抗网络在大面积或长时间的连续性数据丢失场景中的表现，本实施例在生成式对抗网络中加入了矩阵分解还原模块，并且通过多目标学习联合生成式对抗网络与矩阵分解还原模块，从而使得矩阵分解还原模块的损失函数更易收敛。具体地，可以将优化目标以下式表示：
其中，α为多目标学习中的多目标系数，生成器的损失函数和矩阵分解还原模块的损失函数通过多目标系数α相连，M表示缺失标记矩阵，D表示判别器，G表示生成器，A表示数据缺失矩阵，R表示随机生成矩阵，V表示生成列嵌入式矩阵，H表示线索矩阵，MCL表示矩阵分解还原模块。
进一步地，在一个实施例中，基于上述步骤S211，上述交通数据的补全方法还可以包括：在对生成式对抗网络进行训练的过程中，判断生成器的损失函数与矩阵分解还原模块的损失函数的变化方向是否相反，若是，则基于帕累托优化策略迭代多目标系数，并基于迭代后的多目标系数更新生成器的损失函数和矩阵分解还原模块的损失函数。
其中，为加速损失函数的收敛，本实施例引入了帕累托优化策略，在生成器的损失函数与矩阵分解还原模块的损失函数的变化方向相反的情况下，基于帕累托策略迭代多目标系数。具体地，可以如下式对多目标系数α进行更新：
其中t表示训练过程中的α的迭代次数，α表示多目标学习系数，ηα表示学习步长，δ(x)表示以0为中心的阶跃函数(x大于0时，δ(x)取1，x小于0时δ(x)取-1)，M表示缺失标记矩阵，MCL表示矩阵分解还原模块，G表示生成器，D表示判别器，A表示数据缺失矩阵，R表示随机生成矩阵，V表示生成列嵌入式矩阵，H表示线索矩阵。本实施例基于帕累托优化对多目标系数进行迭代，能够平衡生成式对抗网络的精确性和泛化性，提升对长程周期性信息的提取效率，并提高该网络的收敛能力。
另外地，在一个实施例中，基于上述步骤S210，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，还可以包括以下步骤：
步骤S212，利用预设的梯度下降法对生成式对抗网络中的生成器和判别器进行异步更新，并在对生成器更新的同时，利用梯度下降法对生成式对抗网络中的矩阵分解还原模块进行同步更新，得到训练完备的用于对交通数据进行补全的数据补全模型。
本实施例对生成器与矩阵分解还原模块进行同步组合更新，并对生成器与判别器进行异步更新，也即，在对生成器和矩阵分解还原模块进行更新的过程中，判别器保持不变；在对判别器进行更新的过程中，生成器和矩阵分解还原模块保持不变。具体地，可以基于下式对生成器和矩阵分解还原模块的组合损失函数进行更新，以及对生成器的网络参数和矩阵分解还原模块的网络参数进行更新：
其中，θ表示生成器和矩阵分解还原模块神经网络参数，MCL表示矩阵分解还原模块，t表示迭代次数，ηMCL表示学习步长，α表示多目标系数，D表示判别器，G表示生成器，A表示数据缺失矩阵，M表示缺失标记矩阵，R表示随机生成矩阵，V表示生成列嵌入式矩阵，H表示线索矩阵。
类似地，可以按照下式对判别器的损失函数和网络参数进行更新：
其中，θ表示判别器神经网络参数，t表示迭代次数。ηD表示学习步长，M表示缺失标记矩阵，D表示判别器，O表示混合生成矩阵，H表示线索矩阵。
此外，在一个实施例中，构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，包括：构建生成式对抗网络，并对生成式对抗网络初始化；初始化训练数据，并将训练数据输入初始化的生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型。
其中，可以利用随机网络参数对生成式对抗网络进行初始化，并按照预设的训练周期、随机生成矩阵宽度、训练批次、学习率以及初始的多目标系数对生成式对抗网络进行训练。其中训练数据中的随机生成矩阵可以基于0至1的随机数进行初始化，并基于预先的设定选取各特征矩阵中的小批量数据对上述网络进行训练。
另外地，在一个实施例中，基于上述步骤S220，将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果，具体可以包括以下步骤：
步骤S221，对原始数据进行预处理，生成以时间和道路为维度的流量矩阵。
步骤S222，基于流量矩阵构建特征矩阵。
其中，该流量矩阵即为上述实施例中的原始矩阵。该特征矩阵可以包括基于原始矩阵得到的数据缺失矩阵、缺失标记矩阵、随机生成矩阵以及线索矩阵等。
步骤S223，将特征矩阵作为待处理的交通数据，输入数据补全模型进行数据补全，得到针对交通数据的补全结果。基于训练完备的数据补全模型对待处理的交通数据中缺失的元素进行补全，能够得到针对该交通数据的补全结果。
在一个实施例中，上述交通数据的补全方法还可以包括以下步骤：
步骤S230，对交通数据的补全结果进行显示。通过对补全结果进行可视化展示，能够向使用者更为直观地表现相关交通场景下的交通状况，从而便于使用者基于该补全结果采取相应措施。
另外，在一个实施例中，上述交通数据的补全方法还可以包括以下步骤：
步骤S240，存储由数据补全模型进行补全的补全结果的生成依据。其中，对于补全的数据，可以追溯至其在生成行嵌入式矩阵和生成列嵌入式矩阵的来源，从而显性表明其判断依据，以更为明确地表明其生成是来自于周期性变化、临近时间流量情况还是临近道路流量情况、或者是其他因素。因而，本实施例相对于相关技术中黑盒式的填充数据更具可解释性。
另外地，在训练过程中，还可以同步对比其他数据补全算法的性能收益，并监控最优的基础补全方法与本实施例的当前的生成式对抗网络的准确率收益差，从而实时对生成式对抗网络的训练过程进行调整。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的数据补全模型的训练方法的流程图。如图3所示，该数据补全模型的训练方法包括如下步骤：
步骤S301，确定训练周期、随机生成矩阵宽度、训练批次、学习率以及多目标系数，并使用随机网络参数初始化整个生成式对抗网络；
步骤S302，基于0至1的随机数初始化随机生成矩阵；
步骤S303，从训练数据中随机选取小批量数据，得到原始矩阵；
步骤S304，基于原始矩阵得到缺失标记矩阵、随机生成矩阵、数据缺失矩阵以及线索矩阵；
步骤S305，将缺失标记矩阵、随机生成矩阵、数据缺失矩阵输入生成器，得到生成行嵌入式矩阵；
步骤S306，将生成行嵌入式矩阵和生成列嵌入式矩阵输入矩阵分解还原模块，得到生成矩阵；
步骤S307，将生成矩阵和线索矩阵输入判别器，输出对生成矩阵中各元素来源的判别结果；
步骤S308，基于式(4)和式(5)更新各个损失函数；
步骤S309，判断生成式对抗网络是否符合训练终止条件；若是，则执行步骤S310，否则，执行步骤S311；
步骤S310，终止训练，输出混合生成矩阵，并执行步骤S315；
步骤S311，使用梯度下降法最优化生成器与矩阵分解还原模块的组合损失函数，更新生成器和矩阵分解还原模块的网络参数；
步骤S312，判断生成器的损失函数和矩阵分解还原模块的损失函数是否变化方向相反；若是，则执行步骤S313；否则，执行步骤S314；
步骤S313，基于帕累托优化更新多目标系数；
步骤S314，使用梯度下降法最优化判别器的损失函数，更新判别器的网络参数；
步骤S315，生成交通数据的补全结果，进行数据保存和结果可视化。
在本实施例中还提供了一种交通数据的补全装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本实施例的交通数据的补全装置40的结构框图，如图4所示，该交通数据的补全装置40包括：训练模块42和补全模块44；其中：训练模块42，用于构建生成式对抗网络，基于多目标学习对生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；补全模块44，用于将待处理的交通数据输入数据补全模型进行数据补全，得到针对交通数据的补全结果。
上述交通数据的补全装置40，能够通过引入矩阵分解还原模块增强生成式对抗网络在大面积或长时间的连续性数据丢失场景中的检测的准确度，并强化数据的可解释性，并基于多目标学习提高结果的稳定度。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
此外，结合上述实施例中提供的交通数据的补全方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种交通数据的补全方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种交通数据的补全方法，其特征在于，包括：
构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；
将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
2.根据权利要求1所述的交通数据的补全方法，其特征在于，所述基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，包括：
基于多目标学习，对所述生成式对抗网络中的生成器的损失函数和网络参数、矩阵分解还原模块的损失函数和网络参数、以及判别器的损失函数和网络参数进行更新，直至更新后的所述生成式对抗网络达到预设的训练条件，确认所述生成式对抗网络训练完成，得到训练完备的用于对交通数据进行补全的数据补全模型。
3.根据权利要求2所述的交通数据的补全方法，其特征在于，所述方法还包括：
在对所述生成式对抗网络进行训练的过程中，判断所述生成器的损失函数与所述矩阵分解还原模块的损失函数的变化方向是否相反，若是，则基于帕累托优化策略迭代多目标系数，并基于迭代后的多目标系数更新所述生成器的损失函数和所述矩阵分解还原模块的损失函数。
4.根据权利要求1所述的交通数据的补全方法，其特征在于，所述基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，还包括：
利用预设的梯度下降法对所述生成式对抗网络中的生成器和判别器进行异步更新，并在对所述生成器更新的同时，利用所述梯度下降法对所述生成式对抗网络中的矩阵分解还原模块进行同步更新，得到训练完备的用于对交通数据进行补全的数据补全模型。
5.根据权利要求1所述的交通数据的补全方法，其特征在于，所述构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型，包括：
构建生成式对抗网络，并对所述生成式对抗网络初始化；
初始化训练数据，并将所述训练数据输入初始化的生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型。
6.根据权利要求1所述的交通数据的补全方法，其特征在于，所述将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果，包括：
对原始数据进行预处理，生成以时间和道路为维度的流量矩阵；
基于所述流量矩阵构建特征矩阵；
将所述特征矩阵作为待处理的交通数据，输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
7.根据权利要求1所述的交通数据的补全方法，其特征在于，所述方法还包括：
对所述交通数据的补全结果进行显示。
8.根据权利要求1至7中任一项所述的交通数据的补全方法，其特征在于，所述方法还包括：
存储由所述数据补全模型进行补全的所述补全结果的生成依据。
9.一种交通数据的补全装置，其特征在于，包括：训练模块和补全模块；其中：
所述训练模块，用于构建生成式对抗网络，基于多目标学习对所述生成式对抗网络中的生成器、矩阵分解还原模块以及判别器进行训练，得到训练完备的用于对交通数据进行补全的数据补全模型；
所述补全模块，用于将待处理的交通数据输入所述数据补全模型进行数据补全，得到针对所述交通数据的补全结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的交通数据的补全方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310259303.4A CN116522132A (zh) | 2023-03-13 | 2023-03-13 | 交通数据的补全方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310259303.4A CN116522132A (zh) | 2023-03-13 | 2023-03-13 | 交通数据的补全方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116522132A true CN116522132A (zh) | 2023-08-01 |
Family
ID=87396584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310259303.4A Pending CN116522132A (zh) | 2023-03-13 | 2023-03-13 | 交通数据的补全方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116522132A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350354A (zh) * | 2023-09-21 | 2024-01-05 | 摩尔线程智能科技(北京)有限责任公司 | 大模型的训练方法、装置、电子设备和存储介质 |
-
2023
- 2023-03-13 CN CN202310259303.4A patent/CN116522132A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350354A (zh) * | 2023-09-21 | 2024-01-05 | 摩尔线程智能科技(北京)有限责任公司 | 大模型的训练方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sheng et al. | Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving | |
| CN110705448B (zh) | 一种人体检测方法及装置 | |
| CN110766038B (zh) | 无监督式的地貌分类模型训练和地貌图构建方法 | |
| CN108229474A (zh) | 车牌识别方法、装置及电子设备 | |
| CN110020620A (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
| CN111858869B (zh) | 一种数据匹配方法、装置、电子设备和存储介质 | |
| CN108645411B (zh) | 基于粒子群算法的机器人路径规划方法、装置及终端设备 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| CN115797606B (zh) | 基于深度学习的3d虚拟数字人交互动作生成方法及系统 | |
| CN110633843B (zh) | 园区巡检方法、装置、设备及存储介质 | |
| CN110349179B (zh) | 一种基于多适配器的可见光红外视觉跟踪方法及装置 | |
| CN116522132A (zh) | 交通数据的补全方法、装置和存储介质 | |
| CN107832794A (zh) | 一种卷积神经网络生成方法、车系识别方法及计算设备 | |
| CN111731326A (zh) | 避障策略确定方法、装置及存储介质 | |
| CN111259526B (zh) | 集群回收路径规划方法、装置、设备及可读存储介质 | |
| CN112906888A (zh) | 一种任务执行方法及装置、电子设备和存储介质 | |
| CN113298152A (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
| Yang et al. | Automated semantics and topology representation of residential-building space using floor-plan raster maps | |
| Shen et al. | Transfer value iteration networks | |
| CN115170607A (zh) | 出行轨迹生成方法、装置、电子设备及存储介质 | |
| CN115937801A (zh) | 基于图卷积的车辆轨迹预测方法及装置 | |
| CN111781920A (zh) | 自动驾驶方法、装置和存储介质 | |
| Bordes et al. | Evidential grammars: A compositional approach for scene understanding. Application to multimodal street data | |
| CN112561817A (zh) | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 | |
| Zhang et al. | Computer Applications: 38th CCF Conference of Computer Applications, CCF NCCA 2023, Suzhou, China, July 16–20, 2023, Proceedings, Part I |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |