CN115130599A - 时间序列gan数据增强下露天矿卡状态识别的半监督方法 - Google Patents
时间序列gan数据增强下露天矿卡状态识别的半监督方法 Download PDFInfo
- Publication number
- CN115130599A CN115130599A CN202210791397.5A CN202210791397A CN115130599A CN 115130599 A CN115130599 A CN 115130599A CN 202210791397 A CN202210791397 A CN 202210791397A CN 115130599 A CN115130599 A CN 115130599A
- Authority
- CN
- China
- Prior art keywords
- data
- track
- model
- gan
- truck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 48
- 238000011176 pooling Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000005065 mining Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,属于露天矿卡车状态识别技术领域。该方法采用端到端的方法;收集露天矿现有的卡车轨迹数据;卡车轨迹数据分为两种:一种是已经人工标记过卡车运行状态的轨迹,称为有标签数据;另一种则是原始GPS轨迹,称为无标签数据;设计并训练时间序列GAN模型对有标签数据进行保真增强,平衡有标签数据;利用半监督框架,嵌入通道注意力,联合平衡之后的有标签数据和无标签数据,训练得到最终的卡车状态识别模型;将实际测试数据输入到卡车状态识别模型,得到最终识别结果。优点:在半监督联合模型中嵌入通道注意力量化不同特征之间的差异,进一步提高了模型总体识别精度,轨迹数据更具有保真性。
Description
技术领域
本发明涉及露天矿卡车状态识别技术领域,特别是一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法。
背景技术
露天矿区开采环境恶劣,卡车运行状态(等待装车、正在装车、重车运行、空车运行、正在卸车)还需现场工作人员记录每个状态对应的时间段,耗费大量的人力和时间成本。利用卡车GPS信号产生的轨迹数据对卡车状态进行识别,可以高效的分析每辆车各种运行状态花费的时间,从而对卡车工作效率进行分析并且可以提高露天矿开采效率。但是,由于矿区信号质量差,卡车携带的终端设备收集轨迹数据时并不能完整的收集到卡车所有的运行轨迹,导致采集到的数据集都存在数据不平衡问题(不同卡车运行状态对应的轨迹条数不同)。数据不平衡对造成的数据稀疏会导致分类器对稀疏样本所属类别的学习能力不足,难以有效的对相应类别进行分类。
矿区卡车状态识别对应交通领域中的交通模式识别。随着深度学习的发展,交通模式识别领域对轨迹运动有了更深入的研究。生成对抗网络(GAN)从数据增强方向出发,通过生成器和鉴别器共同训练生成轨迹数据来平衡数据集,但是轨迹数据本质上是时序数据,使用原始的生成对抗网络会丢失轨迹数据的时间依赖特性。还有许多技术通过增加更多的运动数据或是提高轨迹采样点的频率会提高模型准确性,但是会增加采集工作的任务量,提高采样频率会使智能终端面临的负荷成倍增加。
发明内容
为解决现有技术的不足,本发明提供一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,解决卡车状态识别技术领域中轨迹数据集不平衡造成的识别准确率不高以及没有考虑特征之间差异导致难以提高总体精确率的问题。
本发明的目的是这样实现的:时间序列GAN数据增强下露天矿卡状态识别的半监督方法采用端到端的方法;首先,收集露天矿现有的卡车轨迹数据;卡车轨迹数据分为两种:一种是已经人工标记过卡车运行状态的轨迹,称为有标签数据;另一种则是原始GPS轨迹,称为无标签数据;然后,设计并训练时间序列GAN模型对有标签数据进行保真增强,平衡有标签数据;再则,利用半监督框架,嵌入通道注意力,联合平衡之后的有标签数据和无标签数据,训练得到最终的卡车状态识别模型;最后,将实际测试数据输入到卡车状态识别模型,得到最终识别结果。
具体步骤如下:
步骤1:收集一定时段内的卡车轨迹数据,将卡车轨迹数据分为有标签数据和无标签数据。所述的有标签数据,包括组成该类轨迹数据的轨迹点的经纬度、时间戳和运行状态;所述的无标签数据,包括组成该类轨迹数据的轨迹点的经纬度和时间戳;将有标签数据按照其对应的卡车运行状态类别标签分割成具有单一运行状态的轨迹段集合,称为有标签轨迹段;无标签数据按照Pruned Exact Linear Time算法分割得到尽可能只有一种运行状态的轨迹段集合,称为无标签轨迹段,二者合并最终得到露天矿卡车轨迹数据集;
所述的Pruned Exact Linear Time算法是一种现有的序列数据的最优划分方法,用于检测序列数据中的突变点,进而将无标签数据按照突变点分割。
步骤2:利用步骤1中卡车轨迹数据集中的有标签轨迹段作为时间序列GAN模型的输入数据,设计损失函数训练该模型,同时使用训练好的模型生成带有标签的轨迹段,对有标签轨迹段进行增强,使得有标签轨迹段中各种卡车运行状态的轨迹段数量相同;所述的时间序列GAN模型,包括:标签生成器、边界生成器、特征序列生成器、元数据鉴别器和特征序列鉴别器;
步骤3:综合步骤2得到有标签轨迹段和原有的无标签轨迹段,根据所得轨迹段所包含轨迹点的经纬度、时间戳,计算所有轨迹序列的相对距离、速度、加速度、方向角序列得到轨迹数据多运动特征序列。同样,来自不同轨迹段的多运动特征序列分为有标签和无标签特征序列两部分;
步骤4:基于步骤3得到的多运动特征序列,设计半监督联合模型用于车辆状态识别。该模型分为监督组件和无监督组件;监督组件的输入数据为带标签的多运动特征序列,无监督组件的输入数据为无标签的多运动特征序列;为了在模型训练过程中量化不同特征之间的差异,提升识别准确率,将通道注意力网络嵌入到模型之中;
步骤5:采用联合损失函数对基于步骤4所述的半监督联合模型进行训练,得到最优模型参数。
步骤6:基于步骤5所得到的最终模型,输入露天矿生产实际卡车轨迹数据,识别卡车工作状态。
进一步的,步骤1中,任意一条有标签轨迹段定义为n是轨迹段的长度;每个轨迹点pi={loni,lati,ti}包含经纬度和时间戳三种数据。表示有标签轨迹段与其标签yi的二元组;任意一条无标签轨迹段定义为长度也为n。
进一步的,步骤2中,所述的时间序列GAN模型:
所述的标签生成器G1,用于生成标签,时间序列GAN模型利用G1生成的标签,同时约束特征序列生成器G3;使用多层感知器来生成one-hot编码格式的标签。
所述的边界生成器G2,为了生成具有保真性的轨迹段,利用网络结构为多层感知器的G2生成经度、纬度和时间间隔的max和min边界,该边界同样用于约束特征序列生成器G3的轨迹点序列。
所述的元数据鉴别器D1,采用多层感知器网络结构,与G1、G2相互对抗。所述元数据meta由G1和G2生成的标签、max和min边界组成,将G1、G2生成元数据的操作用表示,为标签、max和min边界的高斯分布随机数据。D1用于鉴别生成的元数据,并利用其损失函数将差异反馈给G1和G2,从而对G1和G2参数进行优化;
所述的特征序列生成器G3,采用长短期记忆网络,其输入数据Zf包含两部分,所述的长短期记忆网络的英文缩写为LSTM:元数据以及若干随机高斯噪声;Zf为长度为n,n对应G3中长短期记忆网络单元的个数,空间大小为则表示生成特征序列的操作。
所述特征序列鉴别器D2,采用多层感知器网络结构,用于同G3相互对抗;D2用于鉴别生成的元数据,并利用其损失函数将差异反馈给G3,从而对G3参数进行优化。
所述时间序列GAN的总体损失函数为:
所述的步骤2中,所述训练时间序列GAN的步骤如下:通过总体目标函数对时间序列GAN模型进行多轮交替训练直至达到纳什均衡时训练停止,其中生成器和鉴别器的单次训练轮数都为1时模型可以稳定训练;当达到纳什均衡时时间序列GAN模型中的生成器和鉴别器都达到最优状态;利用G3生成有标签轨迹段,使得有标签轨迹段中不同卡车运行状态的轨迹段数据量相同,用于半监督联合模型的输入。
进一步的,步骤3中,时间序列GAN生成的有标签轨迹段和原有的无标签轨迹段只包括轨迹点的经纬度信息和时间戳,无法有效地表示出轨迹段的运动特征;通过计算轨迹两点之间的相对距离和每个点的速度、加速度和方向角运动特征作为半监督联合模型的输入数据;
所述不同轨迹段多运动特征计算方法如下:
其中,分别表示相对距离、时间间隔、距离、加速度和方向角;Vincenty()为计算两点之间的地理距离,Head()为计算两点之间的方向角;多个点组成序列,叠加这些特征序列构造成多运动特征序列,即运动特征矩阵xi={xi1,xi2,...xih,...,xin},n是序列长度,xih=(RDh,Sh,Ah,Jh,Headh),d为运动特征数。
进一步的,步骤4中,监督组件由一维卷积网络构成、通道注意力和分类器组成;无监督组件分为编码器部分和解码器部分;
所述监督组件中的一维卷积网络学习有标签多运动特征序列的深度特征;一维卷积网络由三块组成,其中每块有两个卷积层,后跟一个最大池化层;其中卷积层中滤波器尺寸为(1×W),滤波器核大小为d,滤波器参数d表示运动特征数;给定任意xi既可以指也可以指将其转化为张量数据格式第k个滤波器的输出表示为:
其中,relu(.)为激活函数,*表示卷积操作,为偏置项;将若干滤波器的输出连接起来,得到其中n为每层卷积层滤波器的数量。接着对输出数据进行最大池化操作得到池化操作的感受野为(1×P),步长为S;同理,第二组和第三组卷积层进行相同操作;只是每层滤波器个数不同,分别为C、2C和4C,C表示第一块滤波器的数量;最后,得到一维卷积网络的输出
和分别是最小批的均值和标准差;参数∈是一个很小的实数值,避免分母等于0,γ和β是可学习参数,γ是BN中的方差,方差越大表示该通道的变化越剧烈,那么该通道中包含的信息会越丰富,重要性也越大;利用如下公式来计算每个通道的权重Wi,
所述监督组件中的分类器为softmax分类函数。任意经过全连接层之后利用softmax生成标签的概率分布Pi={p1,p2,...,pc},其中c为标签的种类,与之对应的是原始轨迹段的标签yi;选择交叉熵作为分类器的损失函数;则监督组件的任意批次的有标签轨迹段的损失函数如下所示:
其中,m为训练时批次大小。
进一步的,步骤5中,所述联合损失函为:
并利用梯度下降法结合联合损失函数losstotal训练半监督联合模型,并更新模型参数,直到收敛。
进一步的,步骤6中,输入露天矿生产实际卡车轨迹数据,识别卡车工作状态。所述露天矿卡车状态包括:等待装车、正在装车、重车运行、空车运行、正在卸车。
有益效果由于采用了上述技术方案,利用时间序列GAN模型增强轨迹数据,生成具有保真性的标签轨迹段数据,丰富轨迹多样性的同时实现了数据集平衡以及有标签轨迹段各种卡车运行状态数据量相同;在此基础上,在半监督联合模型中嵌入通道注意力量化不同特征之间的差异,使得不同特征得到针对处理,使得模型识别轨迹段准确率高,完成对卡车状态的识别。
该方法通过生成具有保真性的轨迹数据平衡数据集并且利用注意力机制量化不同的特征之间的差异,从而提取轨迹数据中的有效特征,解决了由于矿区信号质量差,卡车携带的终端设备收集的轨迹数据不完整以及车辆行为不均衡导致轨迹数据不平衡,而造成识别精度较低的问题,同时,通过量化运动特征之间的差异,提升了模型识别精度,在露天矿卡车状态识别中取得显著效果。
优点:本发明设计了时间序列GAN模型用于增强轨迹数据,通过捕获轨迹数据的时序特征,并在学习轨迹数据分布特征时保持长期依赖关系,使得生成的轨迹数据比常规GAN生成的轨迹数据具有保真性,并解决了数据不平衡问题。在此基础上,在半监督联合模型中嵌入通道注意力量化不同特征之间的差异,进一步提高了模型总体识别精度。
解决了常规GAN生成轨迹数据的低保真性,以及需要增加运动数据或是提高轨迹采样点的频率才能达到提高模型识别率的问题,达到了本发明的目的。
附图说明:
图1为本发明的步骤流程图。
图2为本发明的方法架构图。
图3为本发明的时间序列GAN模型结构图。
图4为本发明的半监督联合模型结构图。
图5为本发明的注意力机制结构图。
具体实施方式
时间序列GAN数据增强下露天矿卡状态识别的半监督方法采用端到端的方法;
首先,收集露天矿现有的卡车轨迹数据;卡车轨迹数据分为两种:一种是已经人工标记过卡车运行状态的轨迹,称为有标签数据;另一种则是原始GPS轨迹,称为无标签数据;
然后,设计并训练时间序列GAN模型对有标签数据进行保真增强,平衡有标签数据;
第三,利用半监督框架,嵌入通道注意力,联合平衡之后的有标签数据和无标签数据,训练得到最终的卡车状态识别模型;
最后,将实际测试数据输入到卡车状态识别模型,得到最终识别结果。
具体步骤如下:
步骤1:收集一定时段内的卡车轨迹数据,将卡车轨迹数据分为有标签数据和无标签数据。所述的有标签数据,包括组成该类轨迹数据的轨迹点的经纬度、时间戳和运行状态;所述的无标签数据,包括组成该类轨迹数据的轨迹点的经纬度和时间戳;将有标签数据按照其对应的卡车运行状态类别标签分割成具有单一运行状态的轨迹段集合,称为有标签轨迹段;无标签数据按照Pruned Exact Linear Time算法分割得到尽可能只有一种运行状态的轨迹段集合,称为无标签轨迹段,二者合并最终得到露天矿卡车轨迹数据集。
步骤2:利用步骤1中卡车轨迹数据集中的有标签轨迹段作为时间序列GAN模型的输入数据,设计损失函数训练该模型,同时使用训练好的模型生成带有标签的轨迹段,对有标签轨迹段进行增强,使得有标签轨迹段中各种卡车运行状态的轨迹段数量相同;所述的时间序列GAN模型,包括:标签生成器、边界生成器、特征序列生成器、元数据鉴别器和特征序列鉴别器;
步骤3:综合步骤2得到有标签轨迹段和原有的无标签轨迹段,根据所得轨迹段所包含轨迹点的经纬度、时间戳,计算所有轨迹序列的相对距离、速度、加速度、方向角序列得到轨迹数据多运动特征序列。同样,来自不同轨迹段的多运动特征序列分为有标签和无标签特征序列两部分;
步骤4:基于步骤3得到的多运动特征序列,设计半监督联合模型用于车辆状态识别。该模型分为监督组件和无监督组件;监督组件的输入数据为带标签的多运动特征序列,无监督组件的输入数据为无标签的多运动特征序列;为了在模型训练过程中量化不同特征之间的差异,提升识别准确率,将通道注意力网络嵌入到模型之中;
步骤5:采用联合损失函数对基于步骤4所述的半监督联合模型进行训练,得到最优模型参数。
步骤6:基于步骤5所得到的最终模型,输入露天矿生产实际卡车轨迹数据,识别卡车工作状态。
进一步的,步骤1中,任意一条有标签轨迹段定义为n是轨迹段的长度;每个轨迹点pi={loni,lati,ti}包含经纬度和时间戳三种数据。表示有标签轨迹段与其标签yi的二元组;任意一条无标签轨迹段定义为长度也为n。
进一步的,步骤2中,所述的时间序列GAN模型:
所述的标签生成器G1,用于生成标签,时间序列GAN模型利用G1生成的标签,同时约束特征序列生成器G3;使用多层感知器来生成one-hot编码格式的标签。
所述的边界生成器G2,为了生成具有保真性的轨迹段,利用网络结构为多层感知器的G2生成经度、纬度和时间间隔的max和min边界,该边界同样用于约束特征序列生成器G3的轨迹点序列。
所述的元数据鉴别器D1,采用多层感知器网络结构,与G1、G2相互对抗。所述元数据meta由G1和G2生成的标签、max和min边界组成,将G1、G2生成元数据的操作用表示,为标签、max和min边界的高斯分布随机数据。D1用于鉴别生成的元数据,并利用其损失函数将差异反馈给G1和G2,从而对G1和G2参数进行优化;
所述的特征序列生成器G3,采用长短期记忆网络(LSTM),其输入数据Zf包含两部分:元数据以及若干随机高斯噪声;Zf为长度为n,n对应G3中长短期记忆网络(LSTM)单元的个数,空间大小为则表示生成特征序列的操作;所述的长短期记忆网络英文缩写为LSTM。
所述特征序列鉴别器D2,采用多层感知器网络结构,用于同G3相互对抗。D2用于鉴别生成的元数据,并利用其损失函数将差异反馈给G3,从而对G3参数进行优化;
所述时间序列GAN的总体损失函数为:
所述的步骤2中,所述训练时间序列GAN的步骤如下:通过总体目标函数对时间序列GAN模型进行多轮交替训练直至达到纳什均衡时训练停止,其中生成器和鉴别器的单次训练轮数都为1时模型可以稳定训练;当达到纳什均衡时时间序列GAN模型中的生成器和鉴别器都达到最优状态;利用G3生成有标签轨迹段,使得有标签轨迹段中不同卡车运行状态的轨迹段数据量相同,用于半监督联合模型的输入。
进一步的,步骤3中,时间序列GAN生成的有标签轨迹段和原有的无标签轨迹段只包括轨迹点的经纬度位置信息和时间戳,无法有效地表示出轨迹段的运动特征;通过计算轨迹两点之间的相对距离和每个点的速度、加速度和方向角运动特征作为半监督联合模型的输入数据;
所述不同轨迹段多运动特征计算方法如下:
其中,分别表示相对距离、时间间隔、距离、加速度和方向角;Vincenty()为计算两点之间的地理距离,Head()为计算两点之间的方向角;多个点组成序列,叠加这些特征序列构造成多运动特征序列,即运动特征矩阵xi={xi1,xi2,...xih,...,xin},n是序列长度,xih=(RDh,Sh,Ah,Jh,Headh),d为运动特征数。
进一步的,步骤4中,监督组件由一维卷积网络构成、通道注意力和分类器组成;无监督组件分为编码器部分和解码器部分;
所述监督组件中的一维卷积网络学习有标签多运动特征序列的深度特征;一维卷积网络由三块组成,其中每块有两个卷积层,后跟一个最大池化层;其中卷积层中滤波器尺寸为(1×W),滤波器核大小为d,滤波器参数d表示运动特征数;给定任意xi既可以指也可以指将其转化为张量数据格式第k个滤波器的输出表示为:
其中,relu(.)为激活函数,*表示卷积操作,为偏置项;将若干滤波器的输出连接起来,得到其中n为每层卷积层滤波器的数量。接着对输出数据进行最大池化操作得到池化操作的感受野为(1×P),步长为S;同理,第二组和第三组卷积层进行相同操作;只是每层滤波器个数不同,分别为C、2C和4C,C表示第一块滤波器的数量;最后,得到一维卷积网络的输出
和分别是最小批的均值和标准差;参数∈是一个很小的实数值,避免分母等于0,γ和β是可学习参数,γ是BN中的方差,方差越大表示该通道的变化越剧烈,那么该通道中包含的信息会越丰富,重要性也越大;利用如下公式来计算每个通道的权重Wi,
所述监督组件中的分类器为softmax分类函数;任意经过全连接层之后利用softmax生成标签的概率分布Pi={p1,p2,...,pc},其中c为标签的种类,与之对应的是原始轨迹段的标签yi;选择交叉熵作为分类器的损失函数;则监督组件的任意批次的有标签轨迹段的损失函数加下所示:
其中,m为训练时批次大小。
进一步的,步骤5中,所述联合损失函为:
并利用梯度下降法结合联合损失函数losstotal训练半监督联合模型,并更新模型参数,直到收敛。
进一步的,步骤6中,输入露天矿生产实际卡车轨迹数据利用训练好的模型识别卡车工作状态。露天矿卡车状态包括:等待装车、正在装车、重车运行、空车运行、正在卸车。
Claims (10)
1.一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:时间序列GAN数据增强下露天矿卡状态识别的半监督方法采用端到端的方法;
首先,收集露天矿现有的卡车轨迹数据;卡车轨迹数据分为两种:一种是已经人工标记过卡车运行状态的轨迹,称为有标签数据;另一种则是原始GPS轨迹,称为无标签数据;
然后,设计并训练时间序列GAN模型对有标签数据进行保真增强,平衡有标签数据;
再则,利用半监督框架,嵌入通道注意力,联合平衡之后的有标签数据和无标签数据,训练得到最终的卡车状态识别模型;
最后,将实际测试数据输入到卡车状态识别模型,得到最终识别结果。
2.根据权利要求1所述的时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:具体步骤如下:
步骤1:收集一定时段内的卡车轨迹数据,将卡车轨迹数据分为有标签数据和无标签数据;所述的有标签数据,包括组成该类轨迹数据的轨迹点经纬度、时间戳和运行状态;所述的无标签数据,包含组成该类轨迹数据的轨迹点经纬度和时间戳;将有标签数据按照其对应的卡车运行状态类别标签分割成具有单一运行状态的轨迹段集合,称为有标签轨迹段;无标签数据按照Pruned Exact Linear Time算法分割得到尽可能只有一种运行状态的轨迹段集合,称为无标签轨迹段,二者合并最终得到露天矿卡车轨迹数据集;
步骤2:利用步骤1中卡车轨迹数据集中的有标签轨迹段作为时间序列GAN模型的输入数据,设计损失函数训练该模型,同时使用训练好的模型生成带有标签的轨迹段,对有标签轨迹段进行增强,使得有标签轨迹段中各种卡车运行状态的轨迹段数量相同;所述的时间序列GAN模型,包括:标签生成器、边界生成器、特征序列生成器、元数据鉴别器和特征序列鉴别器;
步骤3:综合步骤2得到有标签轨迹段和原有的无标签轨迹段,根据所得轨迹段所包含轨迹点的经纬度、时间戳,计算所有轨迹序列的相对距离、速度、加速度、方向角序列得到轨迹数据多运动特征序列。同样,来自不同轨迹段的多运动特征序列分为有标签和无标签特征序列两部分;
步骤4:基于步骤3得到的多运动特征序列,设计半监督联合模型用于车辆状态识别。该模型分为监督组件和无监督组件;监督组件的输入数据为带标签的多运动特征序列,无监督组件的输入数据为无标签的多运动特征序列;为了在模型训练过程中量化不同特征之间的差异,提升识别准确率,将通道注意力网络嵌入到模型之中;
步骤5:采用联合损失函数对基于步骤4所述的半监督联合模型进行训练,得到最优模型参数;
步骤6:基于步骤5所得到的最终模型,输入露天矿生产实际卡车轨迹数据,识别卡车工作状态。
4.根据权利要求2所述的一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:步骤2中,所述的时间序列GAN模型:
所述的标签生成器G1,用于生成标签,时间序列GAN模型利用G1生成的标签,同时约束特征序列生成器G3;使用多层感知器来生成one-hot编码格式的标签;
所述的边界生成器G2,为了生成具有保真性的轨迹段,利用网络结构为多层感知器的G2生成经度、纬度和时间间隔的max和min边界,该边界同样用于约束特征序列生成器G3的轨迹点序列;
所述的元数据鉴别器D1,采用多层感知器网络结构,与G1、G2相互对抗;所述元数据meta由G1和G2生成的标签、max和min边界组成,将G1、G2生成元数据的操作用表示,为标签、max和min边界的高斯分布随机数据。D1用于鉴别生成的元数据,并利用其损失函数将差异反馈给G1和G2,从而对G1和G2参数进行优化;
所述特征序列鉴别器D2,采用多层感知器网络结构,用于同G3相互对抗;D2用于鉴别生成的元数据,并利用其损失函数将差异反馈给G3,从而对G3参数进行优化。
6.根据权利要求2所述的一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:步骤2中,所述训练时间序列GAN的步骤如下:通过总体目标函数对时间序列GAN模型进行多轮交替训练直至达到纳什均衡时训练停止,其中生成器和鉴别器的单次训练轮数都为1时模型可以稳定训练;当达到纳什均衡时时间序列GAN模型中的生成器和鉴别器都达到最优状态;利用G3生成有标签轨迹段,使得有标签轨迹段中不同卡车运行状态的轨迹段数据量相同,用于半监督联合模型的输入。
7.根据权利要求2所述的一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:步骤3中,时间序列GAN生成的有标签轨迹段和原有的无标签轨迹段只包括轨迹点的经纬度位置信息和时间戳,无法有效地表示出轨迹段的运动特征;通过计算轨迹两点之间的相对距离和每个点的速度、加速度和方向角运动特征作为半监督联合模型的输入数据;
所述不同轨迹段多运动特征计算方法如下:
8.根据权利要求2所述的一种时间序列GAN数据增强下露天矿卡状态识别的半监督方法,其特征是:所述步骤4中,监督组件由一维卷积网络构成、通道注意力和分类器组成;无监督组件分为编码器部分和解码器部分;
所述监督组件中的一维卷积网络学习有标签多运动特征序列的深度特征;一维卷积网络由三块组成,其中每块有两个卷积层,后跟一个最大池化层;其中卷积层中滤波器尺寸为(1×W),滤波器核大小为d,滤波器参数d表示运动特征数;给定任意xi既可以指也可以指 将其转化为张量数据格式第k个滤波器的输出表示为:
其中,relu(.)为激活函数,*表示卷积操作,为偏置项;将若干滤波器的输出连接起来,得到其中n为每层卷积层滤波器的数量;接着对输出数据进行最大池化操作得到池化操作的感受野为(1×P),步长为S;同理,第二组和第三组卷积层进行相同操作;只是每层滤波器个数不同,分别为C、2C和4C,C表示第一块滤波器的数量;最后,得到一维卷积网络的输出
和分别是最小批的均值和标准差;参数∈是一个很小的实数值,避免分母等于0,γ和β是可学习参数,γ是BN中的方差,方差越大表示该通道的变化越剧烈,那么该通道中包含的信息会越丰富,重要性也越大;利用如下公式来计算每个通道的权重Wi,
所述监督组件中的分类器为softmax分类函数;任意经过全连接层之后利用softmax生成标签的概率分布Pi={p1,p2,…,pc},其中c为标签的种类,与之对应的是原始轨迹段的标签yi;选择交叉熵作为分类器的损失函数;则监督组件的任意批次的有标签轨迹段的损失函数如下所示:
其中,m为训练时批次大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210791397.5A CN115130599B (zh) | 2022-07-05 | 2022-07-05 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210791397.5A CN115130599B (zh) | 2022-07-05 | 2022-07-05 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115130599A true CN115130599A (zh) | 2022-09-30 |
CN115130599B CN115130599B (zh) | 2024-03-26 |
Family
ID=83381961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210791397.5A Active CN115130599B (zh) | 2022-07-05 | 2022-07-05 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115130599B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630745A (zh) * | 2023-05-25 | 2023-08-22 | 中国科学院微小卫星创新研究院 | 用于图像的端到端半监督目标检测方法、装置和可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197166A (zh) * | 2019-06-04 | 2019-09-03 | 西安建筑科技大学 | 一种基于图像识别的车体装载状态识别装置及方法 |
CN112083456A (zh) * | 2020-09-14 | 2020-12-15 | 电子科技大学 | 一种货运状态识别方法、装置、设备及存储介质 |
AU2020103488A4 (en) * | 2020-11-17 | 2021-01-28 | Chang'an University | Method and device for evaluating driving behaviour of truck based on gps trajectory data |
KR20210030063A (ko) * | 2019-09-09 | 2021-03-17 | 서강대학교산학협력단 | 준지도 학습을 기반으로 한 이미지 분류를 위한 적대적 이미지 생성 모델 구축 시스템 및 방법 |
CN113240655A (zh) * | 2021-05-21 | 2021-08-10 | 深圳大学 | 一种自动检测眼底图像类型的方法、存储介质及装置 |
CN113407937A (zh) * | 2021-06-30 | 2021-09-17 | 中国科学技术大学 | 针对侧信道建模攻击模型的平衡数据集构造方法 |
-
2022
- 2022-07-05 CN CN202210791397.5A patent/CN115130599B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197166A (zh) * | 2019-06-04 | 2019-09-03 | 西安建筑科技大学 | 一种基于图像识别的车体装载状态识别装置及方法 |
KR20210030063A (ko) * | 2019-09-09 | 2021-03-17 | 서강대학교산학협력단 | 준지도 학습을 기반으로 한 이미지 분류를 위한 적대적 이미지 생성 모델 구축 시스템 및 방법 |
CN112083456A (zh) * | 2020-09-14 | 2020-12-15 | 电子科技大学 | 一种货运状态识别方法、装置、设备及存储介质 |
AU2020103488A4 (en) * | 2020-11-17 | 2021-01-28 | Chang'an University | Method and device for evaluating driving behaviour of truck based on gps trajectory data |
CN113240655A (zh) * | 2021-05-21 | 2021-08-10 | 深圳大学 | 一种自动检测眼底图像类型的方法、存储介质及装置 |
CN113407937A (zh) * | 2021-06-30 | 2021-09-17 | 中国科学技术大学 | 针对侧信道建模攻击模型的平衡数据集构造方法 |
Non-Patent Citations (1)
Title |
---|
刘婕 等: "基于自注意力机制的多模态语义轨迹预测", 《计算机工程与科学》, vol. 43, no. 11, 30 November 2021 (2021-11-30), pages 2069 - 2076 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630745A (zh) * | 2023-05-25 | 2023-08-22 | 中国科学院微小卫星创新研究院 | 用于图像的端到端半监督目标检测方法、装置和可读介质 |
CN116630745B (zh) * | 2023-05-25 | 2024-01-30 | 中国科学院微小卫星创新研究院 | 用于图像的端到端半监督目标检测方法、装置和可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115130599B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563426B (zh) | 一种机车运行时序特征的学习方法 | |
CN111598325A (zh) | 基于层次聚类和分层注意力机制的交通速度预测方法 | |
CN111368920A (zh) | 基于量子孪生神经网络的二分类方法及其人脸识别方法 | |
CN113239720B (zh) | 一种基于深度迁移学习的地铁车辆走行部故障诊断方法 | |
CN111861756B (zh) | 一种基于金融交易网络的团伙检测方法及其实现装置 | |
CN109086926B (zh) | 一种基于组合神经网络结构的短时轨道交通客流预测方法 | |
CN114254695B (zh) | 一种航天器遥测数据自适应异常检测方法及装置 | |
Son et al. | Deep learning-based anomaly detection to classify inaccurate data and damaged condition of a cable-stayed bridge | |
CN114757432A (zh) | 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统 | |
CN114548199A (zh) | 一种基于深度迁移网络的多传感器数据融合方法 | |
CN114118138A (zh) | 一种基于多标签领域自适应模型的轴承复合故障诊断方法 | |
CN115130599B (zh) | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 | |
CN115184054B (zh) | 机械设备半监督故障检测分析方法、装置、终端及介质 | |
CN114139624A (zh) | 一种基于集成模型挖掘时间序列数据相似性信息的方法 | |
CN115512152A (zh) | 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统 | |
CN110728377B (zh) | 一种面向机电设备的智能故障诊断方法及系统 | |
CN115452376A (zh) | 基于改进轻量级深度卷积神经网络的轴承故障诊断方法 | |
CN111667000B (zh) | 自适应领域深度神经网络的地震预警方法 | |
CN117574262A (zh) | 一种面向小样本问题的水声信号分类方法、系统及介质 | |
CN117516939A (zh) | 基于改进EfficientNetV2的轴承跨工况故障检测方法及系统 | |
CN117372144A (zh) | 应用于小样本场景的风控策略智能化方法及系统 | |
CN116304941A (zh) | 一种基于多模型组合的海洋数据质量控制方法及装置 | |
CN116007937A (zh) | 一种机械设备传动部件智能故障诊断方法及装置 | |
CN113392695B (zh) | 一种公路货车及其轮轴识别方法 | |
CN113326371A (zh) | 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |