CN110516787B - 基于易分特征丢弃的网络正则化约束的行人重识别方法 - Google Patents
基于易分特征丢弃的网络正则化约束的行人重识别方法 Download PDFInfo
- Publication number
- CN110516787B CN110516787B CN201910635196.4A CN201910635196A CN110516787B CN 110516787 B CN110516787 B CN 110516787B CN 201910635196 A CN201910635196 A CN 201910635196A CN 110516787 B CN110516787 B CN 110516787B
- Authority
- CN
- China
- Prior art keywords
- network
- feature
- features
- separable
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于易分特征丢弃策略的深度学习网络正则化约束方法,本发明改进了对特征随机置零的正则化方法,提出了丢弃易分特征策略,即置零易分特征的同时,保留难分特征,约束网络仅通过难分特征学习提升特征的辨别能力和网络的泛化性。本发明将易分特征丢弃策略运用到了全连接层和卷积层中,特别地通过滑窗方式找出特征图上的易分矩形区域并将其置零,解决了置零离散的状态下,网络可以根据特征图上地非零特征自动进行信息补全,导致正则化的作用减弱地问题,从而有效约束了网络的训练,进而提高网络的泛化性能。
Description
技术领域
本发明涉及深度学习和机器视觉领域,具体涉及到深度学习网络训练过程中所使用的正则化约束方法。
技术背景
由于深度学习网络训练参数过多,且训练数据不足等原因,过拟合一直是网络训练时无法回避的问题。针对上述问题,除了在网络输入端运用数据增强方法以外,更为普遍的方法是对网络中间层输出进行正则化处理。例如Dropout和DropConnect方法都是广泛使用的正则化约束手段,前者随机将每个网络节点的输出以一定概率随机置零,后者则将节点中每个与之相连的输入权值以一定概率随机置零。但是由于卷积神经网络输出特征图中的特征具有高度相关性,当置零特征过于离散,网络容易通过非零特征进行信息补全,将减弱正则化的作用,因此DropPath方法进一步提出随机对子网络的输出置零,并阻止其他并行网络的协同适应,这大大提高了每个子网络的独立性,但是将某个子网络的输出置零意味着该网络的所有权值将不再更新变化,会降低网络的学习效率,且该方法只能用于具有分形结构的网络。
可以发现,上述正则化约束方法都是采取随机策略,将输出的特征都等同对待,但是对于网络所提取的特征来说,存在着易分特征和难分特征。例如对于行人重识别任务,易分特征容易区别不同身份的行人或者识别出同一身份的行人,难分特征则相反。对于网络来说,所提取的特征中易分特征越多越好,因此在训练过程中,如何将难分特征训练为易分特征是一个很有意义的问题。
发明内容
本发明提出了基于易分特征丢弃的网络正则化约束的行人重识别方法,主要包括作用于卷积层的正则化约束方法DropEasy2d,以及作用于全连接层的正则化约束方法DropEasy1d。对于DropEasy2d来说,计算前一层输出特征图对应特征之间的距离,如果是正样本对,则采用滑窗方式找出特征图上距离总和最小的特征区域,将其置零,如果是负样本对,则采用滑窗方式找出特征图上距离总和最大的特征区域,将其置零,就获得了一对难分特征图;对于DropEasy1d来说,计算前一层输出的特征向量中对应特征之间的距离,如果是正样本对,则将距离相对小的特征置零;如果是负样本对,则将距离相对大的特征置零,同时保持其他特征不变,就获得了一对难分特征向量。将获得的难分特征图或难分特征向量输入到下一层网络层,继续网络的前向传播过程。因为本发明方法搜索样本对之间的易分特征并将其置零,网络利用难分特征来学习正负样本对的差异,逐渐将难分特征转化为易分特征,因此将显著增强所提取特征的辨别能力,提高网络的泛化性。
本发明的步骤如下,其中步骤1~步骤4为作用于卷积层的正则化约束方法,即DropEasy2d,而步骤5~步骤8为作用于全连接层的正则化约束方法,即DropEasy1d;
步骤1:令{xa,xb}表示深度学习网络的输入数据对;y表示输入数据对的二值标签,当y=1,表示{xa,xb}为正样本对,当y=0时,表示{xa,xb}是负样本对;rh和rw∈(0,1),表示作用于卷积层的正则化约束方法在长和宽两个维度上的置零比率;r∈(0,1),表示作用于全连接层的正则化约束方法的置零比率。将{xa,xb}输入到网络中,经过卷积层输出一对多通道的特征图,分别按通道求平均,得到单通道特征图对{Fa,Fb},式(1)和(2)所示:
步骤2:对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d:
其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离。
步骤4:根据易分特征区域坐标列表region,对{Fa,Fb}中的特征分量分别进行置零。以对Fa的置零操作得到难分特征图为例,扩大1/(1-rh*rw)倍,以补偿网络的训练过程相对于测试过程的数值偏差,具体计算过程如式(7)所示。经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征,保留了难分特征的特征图对。
步骤6:对于特征向量对{fa,fb},按式(10)计算{fa,fb}的特征距离dist1d:
其中di表示{fa,fb}第i维特征分量之间的距离。当y=1,对dist1d从小到大进行排序,得到排序后的序号列表index,如式(11)所示:
当y=0,对dist从大到小进行排序得到排序后的序号列表index,如式(12)所示:
步骤7:对于序号列表index,取前m个元素,得到{fa,fb}需要置零特征的位置列表subindex,如式(13)所示:
subindex=(z1,z2,…,zi,…,zm) (13)
其中m由式(14)所得:
步骤8:根据subindex,以对fa进行置零操作,得到难分特征向量为例,与步骤4类似,扩大1/(1-r)倍,具体计算过程如式(15)所示。经过相同操作,可以得到fb的难分特征向量 就是丢弃了易分特征,保留了难分特征的特征向量对。
本发明有如下益处:
1.将深度学习网络输出特征划分为易分和难分两类特征,本发明改进了对特征随机置零的正则化方法,提出了丢弃易分特征策略,即置零易分特征的同时,保留难分特征,约束网络仅通过难分特征学习提升特征的辨别能力和网络的泛化性。
2.将易分特征丢弃策略运用到了全连接层和卷积层中,特别地通过滑窗方式找出特征图上的易分矩形区域并将其置零,解决了置零离散的状态下,网络可以根据特征图上地非零特征自动进行信息补全,导致正则化的作用减弱地问题,从而有效约束了网络的训练,进而提高网络的泛化性能。
3.本发明的方法并不涉及深度学习网络的结构更改,因此任何深度学习网络都可以不改变网络结构的情况下使用本发明的正则化方法提高网络的性能。
附图说明S
图1.DropEasy2d原理示意图。
图2.DropEasy1d原理示意图。
具体实施方式:
以利用深度网络做行人重识别(分类)任务为例,本发明的步骤如下,其中步骤1~步骤4对应于作用于卷积层的正则化约束方法DropEasy2d,而步骤5~步骤8对应于作用于全连接层的正则化约束方法DropEasy1d。DropEasy2d和DropEasy1d的原理示意图分别如图1和图2所示。
步骤1:令{xa,xb}表示深度学习网络的输入行人数据对;y表示输入数据对的二值标签,当y=1,表示{xa,xb}为正样本对(行人身份相同),当y=0时,表示{xa,xb}是负样本对(行人身份相异);rh和rw∈(0,1),表示DropEasy2d在长和宽两个维度上的置零比率,r∈(0,1),表示DropEasy1d的置零比率。将{xa,xb}输入到网络中,经过卷积层输出一对多通道的特征图,分别按通道求平均,得到单通道特征图对{Fa,Fb},式(1)和(2)所示:
步骤2:对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d:
其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离。
步骤4:根据易分特征区域坐标列表region,对{Fa,Fb}中的特征分量分别进行置零。以对Fa的置零操作得到难分特征图为例,考虑到网络测试时并不需要使用DropEasy2d,因此扩大1/(1-rh*rw)倍,以补偿网络的训练过程相对于测试过程的数值偏差,具体计算过程如式(7)所示。经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征,保留了难分特征的特征图对。
步骤6:对于特征向量对{fa,fb},按式(10)计算{fa,fb}的特征距离dist1d:
其中di表示{fa,fb}第i维特征分量之间的距离。当y=1,对dist1d从小到大进行排序,得到排序后的序号列表index,如式(11)所示:
当y=0,对dist从大到小进行排序得到排序后的序号列表index,如式(12)所示:
步骤7:对于序号列表index,取前m个元素,得到{fa,fb}需要置零特征的位置列表subindex,如式(13)所示:
subindex=(z1,z2,…,zi,…,zm) (13)
其中m由式(14)所得:
步骤8:根据subindex,以对fa进行置零操作,得到难分特征向量为例,与步骤4类似,需扩大1/(1-r)倍,具体计算过程如式(15)所示。经过相同操作,可以得到fb的难分特征向量 就是丢弃了易分特征,保留了难分特征的特征向量对。
Claims (1)
1.基于易分特征丢弃的网络正则化约束的行人重识别方法,其特征在于,该方法具体包括以下步骤:
其中步骤1~步骤4为作用于卷积层的正则化约束方法,作用于卷积层的正则化约束方法即DropEasy2d,而步骤5~步骤8为作用于全连接层的正则化约束方法,作用于全连接层的正则化约束方法即DropEasy1d;
步骤1:向深度学习网络输入行人数据对;令{xa,xb}表示深度学习网络的输入数据对;y表示输入数据对的二值标签,当y=1,表示{xa,xb}为正样本对,当y=0时,表示{xa,xb}是负样本对;rh和rw∈(0,1),表示作用于卷积层的正则化约束方法在长和宽两个维度上的置零比率;r∈(0,1),表示作用于全连接层的正则化约束方法的置零比率;将{xa,xb}输入到网络中,经过卷积层输出一对多通道的特征图,分别按通道求平均,得到单通道特征图对{Fa,Fb},式(1)和(2)所示:
步骤2:对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d:
其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离;
步骤4:根据易分特征区域坐标列表region,对{Fa,Fb}中的特征分量分别进行置零;以对Fa的置零操作得到难分特征图为例,扩大1/(1-rh*rw)倍,以补偿网络的训练过程相对于测试过程的数值偏差,具体计算过程如式(7)所示;经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征,保留了难分特征的特征图对;
步骤6:对于特征向量对{fa,fb},按式(10)计算{fa,fb}的特征距离dist1d:
当y=0,对dist从大到小进行排序得到排序后的序号列表index,如式(12)所示:
步骤7:对于序号列表index,取前m个元素,得到{fa,fb}需要置零特征的位置列表subindex,如式(13)所示:
subindex=(z1,z2,…,zi,…,zm) (13)
其中m由式(14)所得:
步骤8:根据subindex,以对fa进行置零操作,得到难分特征向量为例,与步骤4类似,扩大1/(1-r)倍,具体计算过程如式(15)所示;经过相同操作,可以得到fb的难分特征向量 就是丢弃了易分特征,保留了难分特征的特征向量对;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635196.4A CN110516787B (zh) | 2019-07-15 | 2019-07-15 | 基于易分特征丢弃的网络正则化约束的行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635196.4A CN110516787B (zh) | 2019-07-15 | 2019-07-15 | 基于易分特征丢弃的网络正则化约束的行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110516787A CN110516787A (zh) | 2019-11-29 |
CN110516787B true CN110516787B (zh) | 2021-04-09 |
Family
ID=68623360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910635196.4A Active CN110516787B (zh) | 2019-07-15 | 2019-07-15 | 基于易分特征丢弃的网络正则化约束的行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516787B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
WO2018196396A1 (zh) * | 2017-04-24 | 2018-11-01 | 清华大学 | 基于一致性约束特征学习的行人再识别方法 |
CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
CN109977882A (zh) * | 2019-03-29 | 2019-07-05 | 广东石油化工学院 | 一种半耦合字典对学习的行人重识别方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9396412B2 (en) * | 2012-06-21 | 2016-07-19 | Siemens Aktiengesellschaft | Machine-learnt person re-identification |
-
2019
- 2019-07-15 CN CN201910635196.4A patent/CN110516787B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018196396A1 (zh) * | 2017-04-24 | 2018-11-01 | 清华大学 | 基于一致性约束特征学习的行人再识别方法 |
CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
CN109977882A (zh) * | 2019-03-29 | 2019-07-05 | 广东石油化工学院 | 一种半耦合字典对学习的行人重识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110516787A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107862261A (zh) | 基于多尺度卷积神经网络的图像人群计数方法 | |
CN109741341B (zh) | 一种基于超像素和长短时记忆网络的图像分割方法 | |
CN111079780B (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
CN105354581B (zh) | 融合颜色特征与卷积神经网络的彩色图像特征提取方法 | |
CN109285162A (zh) | 一种基于局部区域条件随机场模型的图像语义分割方法 | |
CN106682696A (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN110097060B (zh) | 一种面向树干图像的开集识别方法 | |
CN111564179B (zh) | 一种基于三元组神经网络的物种生物学分类方法及系统 | |
CN105809672A (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
CN105046714A (zh) | 一种非监督的基于超像素和目标发现机制的图像分割方法 | |
CN102982539A (zh) | 一种基于图像复杂性的特征自适应图像共分割方法 | |
CN103150731A (zh) | 一种模糊聚类图像分割方法 | |
CN108846845B (zh) | 基于缩略图与分层模糊聚类的sar图像分割方法 | |
CN103279944A (zh) | 一种基于生物地理优化的图像分割方法 | |
CN107067727B (zh) | 一种基于模糊knn特征匹配的道路交通服务水平评价方法 | |
CN110349176B (zh) | 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统 | |
CN112116950A (zh) | 基于深度度量学习的蛋白质折叠识别方法 | |
CN115035097A (zh) | 基于域适应的跨场景带钢表面缺陷检测方法 | |
CN113408573B (zh) | 基于机器学习的瓷砖色号自动分类归类的方法及装置 | |
CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
CN110516787B (zh) | 基于易分特征丢弃的网络正则化约束的行人重识别方法 | |
CN105678798A (zh) | 一种结合局部空间信息的多目标模糊聚类图像分割方法 | |
CN108829886A (zh) | 一种分箱方法和装置 | |
CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
CN104166993B (zh) | 一种基于加权变分期望最大化准则的图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |