CN111126563B - 基于孪生网络的时空数据的目标识别方法及系统 - Google Patents

基于孪生网络的时空数据的目标识别方法及系统 Download PDF

Info

Publication number
CN111126563B
CN111126563B CN201911166620.1A CN201911166620A CN111126563B CN 111126563 B CN111126563 B CN 111126563B CN 201911166620 A CN201911166620 A CN 201911166620A CN 111126563 B CN111126563 B CN 111126563B
Authority
CN
China
Prior art keywords
space
target
vector
time data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911166620.1A
Other languages
English (en)
Other versions
CN111126563A (zh
Inventor
余泳
唐海娜
王飞
徐勇军
吴�琳
孙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guoke Yidao Technology Co ltd
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201911166620.1A priority Critical patent/CN111126563B/zh
Publication of CN111126563A publication Critical patent/CN111126563A/zh
Application granted granted Critical
Publication of CN111126563B publication Critical patent/CN111126563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本发明提出一种基于孪生网络的时空数据的目标识别方法及系统。构建包括两个子网的孪生网络模型,获取训练样本(x1,x2,y),x1和x2表示包括兴趣点的时空数据,y表示x1和x2是否属于相同目标;将x1和x2分别输入至孪生网络模型的子网,得到特征向量v(x1)和v(x2),通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练孪生网络模型,得到最终网络模型;取最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入目标识别模型,得到待链接目标的时空数据的待链接向量,将已知目标的时空数据输入目标识别模型,得到已知目标的时空数据的已链接向量,根据待链接向量和已链接向量之间的相似关系,为待链接目标的时空数据链接目标。

Description

基于孪生网络的时空数据的目标识别方法及系统
技术领域
本发明涉及信息技术领域,并特别涉及一种基于孪生网络的时空数据的目标识别方法及系统。
背景技术
时空数据的目标识别是基于位置的服务,卫星技术等移动网络发展的产物。为了更好地基于时空数据信息推荐下一个目的地,需要知道该时空数据的目标信息,由于隐私的原因,时空数据的目标信息被隐藏。研究人员提出,使用基于规则和基于学习的方法均可以用于时空数据的目标识别。其中,基于规则的方法主要是通过传统的时空数据相似性进行目标识别;基于学习的方法主要是通过时空数据的向量表征的方法进行目标识别。
时空数据-目标链接的方法主要包括:
基于规则的方法。通过Dynamic Time Warping(DTW)、Edit distance on realsequence(EDR)、Longest Common Sub-Sequence(LCSS)和Hausdorff Distance的方法或者其它时空数据相似性度量的方法,找到最相似的已知目标的时空数据。
基于学习的方法。通过传统的分类模型,比如支持向量机(SVM)可以直接学习时空数据和目标之间的关系,同时为了解决时空数据语义信息的问题。通过基于循环神经网络(RNN)的方法获取时空数据的潜在语义信息。
现有的技术存在很多的缺点和不足:
(1)当每次加入新的类别的目标移动数据后,需要重新训练模型;
(2)随着所要分类的目标数目的增多,需要标记越来越多的目标的移动数据;
(3)现有的方法准确率无法满足个性化推荐等实际情况下的应用,分类准确率有待提高。结合其他研究人员的探索,发明人对现有的方法进行了研究、改良和更多具体操作方法的添加,最终实现应用效果的提升,准确率的提升。
发明内容
本发明目的是解决时空数据目标识别问题中出现的需要人工标注大量数据,以及需要重新训练模型的问题,并且提高了准确率,使得可以用于个性化推荐等实际情况。
针对现有技术的不足,本发明提出一种基于孪生网络的时空数据的目标识别方法,其中包括:
步骤1、构建包括两个子网的孪生网络模型,且两个子网的结构和权重均相同,获取训练样本(x1,x2,y),x1和x2分别表示包括多个兴趣点的时空数据,标签y表示x1和x2是否属于相同目标;
步骤2、将x1和x2分别输入至该孪生网络模型的子网,得到特征向量v(x1)和v(x2),进一步通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练该孪生网络模型,得到最终网络模型;
步骤3、取该最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入该目标识别模型,得到该待链接目标的时空数据的待链接向量,将已知目标的时空数据输入该目标识别模型,得到该已知目标的时空数据的已链接向量,通过比较该待链接向量和已链接向量之间的相似关系,为该待链接目标的时空数据链接目标。
所述的基于孪生网络的时空数据的目标识别方法,其中该孪生网络模型的子网处理时空数据得到特征向量的过程包括:
时空数据T={POI1,POI2,…,POIp},其中POIi是时空数据段中兴趣点,使用双向LSTM获得时空数据的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差;
连接每个hLR(i)和hRL(i)得到hi,集合所有hi作为双向LSTM中的隐藏层的输出:
H={h1,h2,…hn}
将H中的所有隐藏层的输出作为输入,并通过以下公式得到时空数据序列的最终语义嵌入向量:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量;
对该最终语义嵌入向量实现降维:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,brd是偏移值。
所述的基于孪生网络的时空数据的目标识别方法,其中该步骤2包括:
步骤21、通过下式得到时空数据段的语义特征嵌入之间的距离:
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且将标准化的过程用于距离量度;
步骤22、使用下式得到两个时空数据段的语义特征嵌入之间的距离与标签之间的损失:
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2);当y=1时,两个时空数据段相似,损失为D(b1,b2);
步骤23、距离与标签y之间的损失:
L(b1,b2,y)=Γ+R
其中α是正则化的权重。
所述的基于孪生网络的时空数据的目标识别方法,其中该训练样本中由相同目标和不同目标组成的时空数据对的比率为1:1。
本发明还提供了一种基于孪生网络的时空数据的目标识别系统,其中包括:
模块1、构建包括两个子网的孪生网络模型,且两个子网的结构和权重均相同,获取训练样本(x1,x2,y),x1和x2分别表示包括多个兴趣点的时空数据,标签y表示x1和x2是否属于相同目标;
模块2、将x1和x2分别输入至该孪生网络模型的子网,得到特征向量v(x1)和v(x2),进一步通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练该孪生网络模型,得到最终网络模型;
模块3、取该最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入该目标识别模型,得到该待链接目标的时空数据的待链接向量,将已知目标的时空数据输入该目标识别模型,得到该已知目标的时空数据的已链接向量,通过比较该待链接向量和已链接向量之间的相似关系,为该待链接目标的时空数据链接目标。
所述的基于孪生网络的时空数据的目标识别系统,其中该孪生网络模型的子网处理时空数据得到特征向量的过程包括:
时空数据T={POI1,POI2,…,POIp},其中POIi是时空数据段中兴趣点,使用双向LSTM获得时空数据的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差;
连接每个hLR(i)和hRL(i)得到hi,集合所有hi作为双向LSTM中的隐藏层的输出:
H={h1,h2,…hn}
将H中的所有隐藏层的输出作为输入,并通过以下公式得到时空数据序列的最终语义嵌入向量:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量;
对该最终语义嵌入向量实现降维:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,brd是偏移值。
所述的基于孪生网络的时空数据的目标识别系统,其中该模块2包括:
模块21、通过下式得到时空数据段的语义特征嵌入之间的距离:
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且将标准化的过程用于距离量度;
模块22、使用下式得到两个时空数据段的语义特征嵌入之间的距离与标签之间的损失:
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2);当y=1时,两个时空数据段相似,损失为D(b1,b2);
模块23、距离与标签y之间的损失:
L(b1,b2,y)=Γ+R
其中α是正则化的权重。
所述的基于孪生网络的时空数据的目标识别系统,其中该训练样本中由相同目标和不同目标组成的时空数据对的比率为1:1。
由以上方案可知,本发明的优点在于:
与其它现有的方法相比,本发明训练需要标注的时空数据数据量减少。其次,当加入新的类型的目标时空数据数据后,只需要有极少量的标注数据,便可以识别目标类型,不需要重新训练模型。本发明在相同条件下,提高了识别时空数据段的目标类型的准确率;同时,加入了self-attention机制,用于提高识别率。
附图说明
图1为初始孪生网络图;
图2为DR结构图;
图3为训练和识别网络结构图。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
如图1所示初始结构示例。孪生网络具有两个结构相同且权重相同的子网。用于训练孪生网络的训练样本是一个元组(x1,x2,y),标签y=0表示x1和x2是不同类型的,y=1表示x1和x2是同一类型,在训练的时候提及的类型均为已知目标的,在测试的时候提及的,类型均为未知目标。分别接收两个输入x1和x2,并将其转换为向量v(x1)和v(x2)。两个输出向量的距离D通过某个距离度量来计算,然后与标签y之间计算损失,通过损失反向传播来训练孪生网络模型。
在子网中加入自注意力机制self-attention。本发明引入了self-attention机制,以更准确地获取时空数据段中的语义信息。LSTM模型(或GRU)使用最后一层的隐藏状态作为时空数据段的语义嵌入表示。但是,此方法中,时空数据段中的不同兴趣点POI对于识别时空数据的目标具有相同程度的语义信息。同时,该方法会忽略很多有关POI的信息。基于此,本发明中使用self-attention机制将隐藏状态H={H1,H2,…,Hn}的所有信息作为输出,并对不同的POI赋予不同的权重。例如,不同的目标对不同的POI具有不同的偏好。假设目标对POI1,POI2,POI3,和POI4有一定程度的偏好,并且给定的时空数据段T1和时空数据段T2通过POI1。当判断T1和T2之间的语义相似性时,带有self-attention机制的模型在执行时空数据段的语义嵌入时会为POI1分配更高的权重。该模型描述如下:
假设有一个长度为p的时空数据段序列,那么时空数据段可以表示为:T={POI1,POI2,…,POIp};其中POIi是时空数据段中的兴趣点,并且每个POI的嵌入表达式都是通过NLP中的词嵌入方法获得的。使用双向LSTM来获得时空数据序列中的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中长短期记忆网络LSTM为网络的整体架构,该架构分为两层LSTM(图中未绘示,图中绘示内容为“前向”和“后向”结合后的整个双向LSTM的情况),其中,LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差。
为了在时空数据段中获得更多的语义信息,将每个hLR(i)和hRL(i)连接以获得hi。将所有hi作为隐藏层的输出:
H={h1,h2,…hn}
隐藏层是由很多隐藏层单元组成的,H是所有隐藏层单元输出组成的向量,而hn是其中一个隐藏层单元的输出。
在“self-attention”机制中,将H中的所有隐藏层作为输入,并通过以下公式计算时空数据序列的最终表达:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量,即高纬度的语义特征。
使用DR(降维Dimensional Reduction)方法,如图2。为了实现时空数据嵌入表达式的降维目标,类似于CNN中的全连接层,使用DR在通过孪生网络的轨迹和用户链接(TULSN)中实现降维,并提高了识别效率。该方法的原理如下:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,初始时是预设的,然后在后面的训练中不断的迭代更新,brd是偏移值。它的作用是将高纬度语义特征向量映射到低纬度空间,同时确保它仍然包含丰富的语义信息。
假设高纬度语义特征向量V=[v1,v2,v3,…vm],则可以通过矩阵计算获得低维空间中的语义表达式:
其中,m是高纬度语义特征向量的长度,n是变换后的低纬度特征向量的长度,m>n。
(一)向量的hash化
为了达到将时空数据表达嵌入二进制码的目的,发明中实现了DSH的hash功能,以提高存储和识别效率,具体如下:
在训练网络的过程中,时空数据段的语义特征嵌入之间的距离由下面的公式计算;
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且为了将距离量度映射到标签,将标准化的过程用于距离量度。标签指的是两个时空数据段是否属于同一目标。
接下来,使用下面的公式来计算两个时空数据段的语义特征嵌入之间的距离与标签之间的损失;
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2)。当y=1时,两个时空数据段相似,损失为D(b1,b2)。
为了提高时空数据段的识别效率并减少存储消耗,采用了正则化的方法,其公式如下面所示。
其中α是正则化的权重。
最后,网络的损耗函数可以用下面的方程式表示:
L(b1,b2,y)=Γ+R
(二)训练
发明中,构建训练数据集时,由相同目标和不同目标组成的时空数据对的比率须为1:1。从而确保数据集中正样本和负样本的数据平衡,从而使模型不会对同一目标有更多偏好(或不同的目标)。为了解决这个问题,从原始数据随机抽样以获得训练数据集,从而获得更多的语义信息。
(三)向量表示
v=i*w+b
其中,v是时空数据的向量表示,i是模型的输入,w是权重矩阵,这里是预设的,然后在后面的训练中不断的迭代更新;b是偏置,和w一样,都需要预设,然后在后面的训练中不断的迭代更新。
(四)识别
使用KNN来识别未标记的时空数据段时空数据段之间嵌入的语义的相似性,并将未标记的时空数据段与少数已经存在的时空数据段匹配,从而识别时空数据的目标。
(五)方法流程
本发明中的关键点为以上部分,该方法用于目标识别的使用步骤具体如下:
步骤101:搭建一个初始孪生网络,该网络的整体结构形如图1。
步骤102:将步骤101中搭建的初始孪生网络中的两个子网络分别加入self-attention机制。
步骤103:在步骤102中搭建的网络的输出部分使用DR的方法对网络的输出向量进行降维,降低计算量,该部分结构如图2。
步骤104:在网络中加入DeepHash对网络的输出hash化,便于存储和相似度计算。
步骤105:在搭建好的网络中输入有标记的训练数据,对网络进行训练。训练内容具体是加入训练数据,通过输出和标记之间的误差反传递,对模型进行训练,以便后续的使用。
步骤106:取步骤105中训练好的孪生网络的子网络,挑选部分或全部已知目标的时空数据和所有待链接目标的时空数据,将以上时空数据表示为向量的形式。
步骤107:使用KNN的方法,通过比较步骤106中得到的时空数据的的向量之间的相似关系,为每个待链接目标的时空数据找到最相似的已知目标的时空数据,从而链接该时空数据的目标。
至此,利用新型网络图3进行时空数据-目标链接的任务完成。
与其他方式相比,本发明实例化了一个结构用于当所要分类的目标数目非常多的时候,利用现有的已经标记好的目标的移动数据来进行未标记移动数据的分类,不需要再重新标记移动数据。
本发明采用孪生网络来学习移动数据的嵌入表示从而建模移动数据之间的内部关系。当加入新的类型的目标移动数据后,只需要极少量的标记数据,便可以识别出目标类别,不需要重新训练模型。
本发明通过加入self-attentio机制,得到每一个兴趣点(POI)的重要程度,使得在获得每一个子时空数据的语义信息时,为不同的POI赋予不同的权重,从而提高移动数据识别目标的准确率。
本发明提出了基于DR-DeepHash的方法,该方法通过对输出的移动数据的嵌入表示进行降维,以及编码成一串二值编码,从而提高移动数据的目标类别的检索效率,同时减少了存储空间。
以下为与上述方法实施例对应的系统实施例,本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提供了一种基于孪生网络的时空数据的目标识别系统,其中包括:
模块1、构建包括两个子网的孪生网络模型,且两个子网的结构和权重均相同,获取训练样本(x1,x2,y),x1和x2分别表示包括多个兴趣点的时空数据,标签y表示x1和x2是否属于相同目标;
模块2、将x1和x2分别输入至该孪生网络模型的子网,得到特征向量v(x1)和v(x2),进一步通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练该孪生网络模型,得到最终网络模型;
模块3、取该最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入该目标识别模型,得到该待链接目标的时空数据的待链接向量,将已知目标的时空数据输入该目标识别模型,得到该已知目标的时空数据的已链接向量,通过比较该待链接向量和已链接向量之间的相似关系,为该待链接目标的时空数据链接目标。
所述的基于孪生网络的时空数据的目标识别系统,其中该孪生网络模型的子网处理时空数据得到特征向量的过程包括:
时空数据T={POI1,POI2,…,POIp},其中POIi是时空数据段中兴趣点,使用双向LSTM获得时空数据的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差;
连接每个hLR(i)和hRL(i)得到hi,集合所有hi作为双向LSTM中的隐藏层的输出:
H={h1,h2,…hn}
将H中的所有隐藏层的输出作为输入,并通过以下公式得到时空数据序列的最终语义嵌入向量:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量;
对该最终语义嵌入向量实现降维:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,brd是偏移值。
所述的基于孪生网络的时空数据的目标识别系统,其中该模块2包括:
模块21、通过下式得到时空数据段的语义特征嵌入之间的距离:
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且将标准化的过程用于距离量度;
模块22、使用下式得到两个时空数据段的语义特征嵌入之间的距离与标签之间的损失:
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2);当y=1时,两个时空数据段相似,损失为D(b1,b2);
模块23、距离与标签y之间的损失:
L(b1,b2,y)=Γ+R
其中α是正则化的权重。
所述的基于孪生网络的时空数据的目标识别系统,其中该训练样本中由相同目标和不同目标组成的时空数据对的比率为1:1。

Claims (4)

1.一种基于孪生网络的时空数据的目标识别方法,其特征在于,包括:
步骤1、构建包括两个子网的孪生网络模型,且两个子网的结构和权重均相同,获取训练样本(x1,x2,y),x1和x2分别表示包括多个兴趣点的时空数据,标签y表示x1和x2是否属于相同目标;
步骤2、将x1和x2分别输入至该孪生网络模型的子网,得到特征向量v(x1)和v(x2),进一步通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练该孪生网络模型,得到最终网络模型;
步骤3、取该最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入该目标识别模型,得到该待链接目标的时空数据的待链接向量,将已知目标的时空数据输入该目标识别模型,得到该已知目标的时空数据的已链接向量,通过比较该待链接向量和已链接向量之间的相似关系,为该待链接目标的时空数据链接目标;
该孪生网络模型的子网处理时空数据得到特征向量的过程包括:
时空数据T={POI1,POI2,…,POIp},其中POIi是时空数据段中兴趣点,使用双向LSTM获得时空数据的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差;
连接每个hLR(i)和hRL(i)得到hi,集合所有hi作为双向LSTM中的隐藏层的输出:
H={h1,h2,…hn}
将H中的所有隐藏层的输出作为输入,并通过以下公式得到时空数据序列的最终语义嵌入向量:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量;
对该最终语义嵌入向量实现降维:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,brd是偏移值;
该步骤2包括:
步骤21、通过下式得到时空数据段的语义特征嵌入之间的距离:
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且将标准化的过程用于距离量度;
步骤22、使用下式得到两个时空数据段的语义特征嵌入之间的距离与标签之间的损失:
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2);当y=1时,两个时空数据段相似,损失为D(b1,b2);
步骤23、距离与标签y之间的损失:
L(b1,b2,y)=Γ+R
其中α是正则化的权重。
2.如权利要求1所述的基于孪生网络的时空数据的目标识别方法,其特征在于,该训练样本中由相同目标和不同目标组成的时空数据对的比率为1:1。
3.一种基于孪生网络的时空数据的目标识别系统,其特征在于,包括:
模块1、构建包括两个子网的孪生网络模型,且两个子网的结构和权重均相同,获取训练样本(x1,x2,y),x1和x2分别表示包括多个兴趣点的时空数据,标签y表示x1和x2是否属于相同目标;
模块2、将x1和x2分别输入至该孪生网络模型的子网,得到特征向量v(x1)和v(x2),进一步通过距离度量得到特征向量v(x1)和v(x2)间的距离,根据距离与标签y之间的损失反向传播训练该孪生网络模型,得到最终网络模型;
模块3、取该最终网络模型的子网作为目标识别模型,将待链接目标的时空数据输入该目标识别模型,得到该待链接目标的时空数据的待链接向量,将已知目标的时空数据输入该目标识别模型,得到该已知目标的时空数据的已链接向量,通过比较该待链接向量和已链接向量之间的相似关系,为该待链接目标的时空数据链接目标;
该孪生网络模型的子网处理时空数据得到特征向量的过程包括:
时空数据T={POI1,POI2,…,POIp},其中POIi是时空数据段中兴趣点,使用双向LSTM获得时空数据的长距离依赖信息:
hLR(t)=LSTMLR(hRL(t-1),w(t),b(t))
hRL(t)=LSTMRL(hRL(t-1),w(t),b(t))
其中LSTMLR和LSTMRL分别为前向LSTM和后向LSTM,w(t)为t时刻的权重,b(t)为t时刻的偏差;
连接每个hLR(i)和hRL(i)得到hi,集合所有hi作为双向LSTM中的隐藏层的输出:
H={h1,h2,…hn}
将H中的所有隐藏层的输出作为输入,并通过以下公式得到时空数据序列的最终语义嵌入向量:
M=tanh(w1H)
α=softmax(w2M)
r=Hα
其中w1是权重矩阵,可用于设置时空数据序列中关注的POI的数量,w2是参数向量,α是时空数据序列中不同POI的权重,r是最终语义嵌入向量;
对该最终语义嵌入向量实现降维:
vui=rwrd+brd
其中vui是LSTM网络提取的低纬度语义特征向量,wrd是权重矩阵,brd是偏移值;
该模块2包括:
模块21、通过下式得到时空数据段的语义特征嵌入之间的距离:
其中b1和b2是两个时空数据段的语义特征嵌入,使用欧几里得距离来测量特征嵌入之间的距离,并且将标准化的过程用于距离量度;
模块22、使用下式得到两个时空数据段的语义特征嵌入之间的距离与标签之间的损失:
当y=0时,两个时空数据段不相似,损失为距离1-D(b1,b2);当y=1时,两个时空数据段相似,损失为D(b1,b2);
模块23、距离与标签y之间的损失:
L(b1,b2,y)=Γ+R
其中α是正则化的权重。
4.如权利要求3所述的基于孪生网络的时空数据的目标识别系统,其特征在于,该训练样本中由相同目标和不同目标组成的时空数据对的比率为1:1。
CN201911166620.1A 2019-11-25 2019-11-25 基于孪生网络的时空数据的目标识别方法及系统 Active CN111126563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166620.1A CN111126563B (zh) 2019-11-25 2019-11-25 基于孪生网络的时空数据的目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166620.1A CN111126563B (zh) 2019-11-25 2019-11-25 基于孪生网络的时空数据的目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN111126563A CN111126563A (zh) 2020-05-08
CN111126563B true CN111126563B (zh) 2023-09-29

Family

ID=70496615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166620.1A Active CN111126563B (zh) 2019-11-25 2019-11-25 基于孪生网络的时空数据的目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN111126563B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797930B (zh) * 2020-07-07 2021-12-17 四川长虹电器股份有限公司 一种基于孪生网络的织物材质近红外光谱识别及鉴定方法
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
CN113903043B (zh) * 2021-12-11 2022-05-06 绵阳职业技术学院 一种基于孪生度量模型的印刷汉字字体识别方法
CN115604725B (zh) * 2022-11-03 2024-04-19 中国联合网络通信集团有限公司 一种传播损耗的确定方法、装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN108319980A (zh) * 2018-02-05 2018-07-24 哈工大机器人(合肥)国际创新研究院 一种基于gru的递归神经网络多标签学习方法
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
CN109065032A (zh) * 2018-07-16 2018-12-21 杭州电子科技大学 一种基于深度卷积神经网络的外部语料库语音识别方法
CN109684912A (zh) * 2018-11-09 2019-04-26 中国科学院计算技术研究所 一种基于信息损失函数的视频描述方法和系统
GB201904719D0 (en) * 2019-04-03 2019-05-15 Mashtraxx Ltd Method of training a neural network to reflect emotional perception and related system and method for categorizing and finding associated content
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法
CN110084610A (zh) * 2019-04-23 2019-08-02 东华大学 一种基于孪生神经网络的网络交易欺诈检测系统
CN110211594A (zh) * 2019-06-06 2019-09-06 杭州电子科技大学 一种基于孪生网络模型和knn算法的说话人识别方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
WO2019209131A1 (ru) * 2018-04-23 2019-10-31 Общество с ограниченной ответственностью "ЦРТ-инновации" Способ обучения нейронной сети распознаванию лиц людей

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113598B2 (en) * 2015-06-01 2021-09-07 Salesforce.Com, Inc. Dynamic memory network
WO2017212459A1 (en) * 2016-06-09 2017-12-14 Sentient Technologies (Barbados) Limited Content embedding using deep metric learning algorithms
US11853903B2 (en) * 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network
US10811000B2 (en) * 2018-04-13 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for recognizing simultaneous speech by multiple speakers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN108319980A (zh) * 2018-02-05 2018-07-24 哈工大机器人(合肥)国际创新研究院 一种基于gru的递归神经网络多标签学习方法
WO2019209131A1 (ru) * 2018-04-23 2019-10-31 Общество с ограниченной ответственностью "ЦРТ-инновации" Способ обучения нейронной сети распознаванию лиц людей
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
CN109065032A (zh) * 2018-07-16 2018-12-21 杭州电子科技大学 一种基于深度卷积神经网络的外部语料库语音识别方法
CN109684912A (zh) * 2018-11-09 2019-04-26 中国科学院计算技术研究所 一种基于信息损失函数的视频描述方法和系统
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法
GB201904719D0 (en) * 2019-04-03 2019-05-15 Mashtraxx Ltd Method of training a neural network to reflect emotional perception and related system and method for categorizing and finding associated content
CN110084610A (zh) * 2019-04-23 2019-08-02 东华大学 一种基于孪生神经网络的网络交易欺诈检测系统
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
CN110211594A (zh) * 2019-06-06 2019-09-06 杭州电子科技大学 一种基于孪生网络模型和knn算法的说话人识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Qiuling Hou.Discriminative information-based nonparallel support vector machine.Signal Processing.2019,全文. *
王振宇 ; 解焱陆 ; 张劲松 ; .基于声学音素向量和孪生网络的二语者发音偏误确认.中文信息学报.(第04期),全文. *
申小伟.一种面向科学计算的数据流优化方法.计算机学报.2016,全文. *
黄书强 ; 王高才 ; 张震 ; 徐勇军 ; 安竹林 ; 邓玉辉 ; 李阳.基于替代原理的无线网状网网关部署问题研究.计算机学报.第39卷(第6期),全文. *

Also Published As

Publication number Publication date
CN111126563A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126563B (zh) 基于孪生网络的时空数据的目标识别方法及系统
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
WO2022135121A1 (zh) 一种基于对比学习的分子图表示学习方法
CN107402993B (zh) 基于判别性关联最大化哈希的跨模态检索方法
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
CN107330074B (zh) 基于深度学习和哈希编码的图像检索方法
CN111368920B (zh) 基于量子孪生神经网络的二分类方法及其人脸识别方法
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN111666406A (zh) 基于自注意力的单词和标签联合的短文本分类预测方法
CN113377981B (zh) 基于多任务深度哈希学习的大规模物流商品图像检索方法
Lu et al. STA-VPR: Spatio-temporal alignment for visual place recognition
CN113688878A (zh) 一种基于记忆力机制和图神经网络的小样本图像分类方法
CN111488760A (zh) 基于深度多示例学习的少样本行人重识别方法
CN110705384B (zh) 一种基于跨域迁移增强表示的车辆再识别方法
Liu et al. Novel instance mining with pseudo-margin evaluation for few-shot object detection
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及系统
CN105117735A (zh) 一种大数据环境下的图像检测方法
CN105069136A (zh) 一种大数据环境下的图像识别方法
CN114896514B (zh) 一种基于图神经网络的Web API标签推荐方法
CN116383422A (zh) 一种基于锚点的无监督跨模态哈希检索方法
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
CN115115966A (zh) 视频场景的分割方法、装置、计算机设备、存储介质
CN111144454A (zh) 一种基于图像标记特定特征的延迟多标记学习方法
Zhou et al. An improved convolutional neural network model with adversarial net for multi-label image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240304

Address after: 518133, 7th Floor, Building 8, Qiugu, Meisheng Huigu Science and Technology Park, No. 83 Dabao Road, Shanghe Community, Xin'an Street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN GUOKE YIDAO TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 100080 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

Country or region before: China