CN110727818A - 一种基于低秩嵌入表示的二进制图像特征编码方法 - Google Patents

一种基于低秩嵌入表示的二进制图像特征编码方法 Download PDF

Info

Publication number
CN110727818A
CN110727818A CN201910927387.8A CN201910927387A CN110727818A CN 110727818 A CN110727818 A CN 110727818A CN 201910927387 A CN201910927387 A CN 201910927387A CN 110727818 A CN110727818 A CN 110727818A
Authority
CN
China
Prior art keywords
low
rank
binary
representation
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910927387.8A
Other languages
English (en)
Other versions
CN110727818B (zh
Inventor
苏育挺
陈琦
井佩光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910927387.8A priority Critical patent/CN110727818B/zh
Publication of CN110727818A publication Critical patent/CN110727818A/zh
Application granted granted Critical
Publication of CN110727818B publication Critical patent/CN110727818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于低秩嵌入表示的二进制图像特征编码方法，所述方法包括：基于低秩子空间表示项、二进制编码学习项和二进制编码约束项得到图像特征二进制编码框架；基于二进制编码框架获取总目标函数，利用迭代法获取子空间映射矩阵、二进制映射矩阵；由映射矩阵、新样本特征矩阵获取低秩表示，再对低秩表示进行二进制编码，使得新样本特征矩阵在汉明空间中得到二进制编码。本发明通过联合学习低秩子空间映射和二进制编码，降低图片由不同摄像头拍摄带来的影响，生成高质量的二进制图像编码。

Description

一种基于低秩嵌入表示的二进制图像特征编码方法
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于低秩嵌入表示的二进制图像特征编码方法。
背景技术
计算机视觉是当今人工智能的重要技术之一，是机器感知外界环境的基础。摄像头拍摄图片、视频等作为输入数据，机器根据输入数据给出反馈，才能进行下一步操作。因此，将输入图像进行准确高效的特征表示，成为许多后续步骤的基础。诸如，在大规模的互联网图像数据库中，为用户提供高质量的图片检索服务，即需要前期对图片特征的有效表示；在安防监控中，对行人、车辆等的快速匹配，也需要对目标行人或车辆的图片进行准确而简洁的特征表示。
在提高图像特征表征鲁棒性上，研究者们做出了许多工作，比如设计颜色、纹理描述子等提取图像的低层特征，或利用卷积神经网络提取图像的深度特征。然而，数据库中的图像通常是从不同摄像头中获取得到的，往往存在视角变化、分辨率、光照变化、模糊等问题。低秩约束在挖掘数据的潜在的本征表示方面具有良好的应用效果，研究者们使用低秩约束方法在提高数据特征表示能力和消除数据中的噪声方面做了一些研究，将低秩约束应用到图像特征表示中，可以使特征更稳定有效。
另外，由于研究者们一般关注于更加鲁棒的视觉表示，大多数的策略都集中于提升特征表征的准确度，进而提升匹配率，却忽视了在测试使用阶段相对大体量的待匹配图片的可扩展性。因此，现有的图像特征表示方法会使得在后续的检索步骤中，随着待匹配图片数量的增长，时间和存储的消耗迅速激增。
发明内容
本发明提供了一种基于低秩嵌入表示的二进制图像特征编码方法，本发明通过联合学习低秩子空间映射和二进制编码，降低图片由不同摄像头拍摄带来的影响，生成高质量的二进制图像编码，详见下文描述：
一种基于低秩嵌入表示的二进制图像特征编码方法，所述方法包括：
基于低秩子空间表示项、二进制编码学习项和二进制编码约束项得到图像特征二进制编码框架；
基于二进制编码框架获取总目标函数，利用迭代法获取子空间映射矩阵、二进制映射矩阵；
由映射矩阵、新样本特征矩阵获取低秩表示，再对低秩表示进行二进制编码，使得新样本特征矩阵在汉明空间中得到二进制编码。
其中，所述低秩子空间表示项具体为：将图像特征矩阵通过子空间映射矩阵、潜在低秩表示映射到低秩样本子空间中。
进一步地，所述二进制编码学习项具体为：借助图像标签信息和局部亲和度信息，通过二进制映射矩阵将低秩子空间内特征映射到汉明空间中。
具体实现时，所述二进制编码约束项具体为：通过正则化约束与垂直约束构建。
本发明提供的技术方案的有益效果是：
1、本发明通过低秩子空间学习，既保留了样本的个体信息，又降低了摄像头变化对图像特征表征的影响，保证了后续步骤中的准确率；
2、本发明通过哈希法，将样本特征转换为长度更短的二进制编码，从而提高了后续图像检索或行人、车辆再识别的效率。
附图说明
图1为基于低秩嵌入表示的二进制图像特征编码方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
哈希法是一种将字符组成的字符串转化为固定长度(通常是更短的长度)的数值或索引值的方法。在数据库中建立索引，通过更短的哈希值进行搜索，从而达到比原始值直接搜索更快的目的。最近，哈希法逐渐成为在大型数据处理中一个很有前途的方式，并且在诸如动作识别和图像检索领域拥有广泛引用。
为了解决背景技术中存在的问题，本发明实施例提供了一种基于哈希法的图像特征编码方法，提出了一个学习低秩子空间映射和判别性二进制编码的框架，既保留了个体信息又降低了拍摄摄像头变化对图像特征表示的影响，该方法能够应用到大规模图像检索与行人或车辆再识别中。
实施例1
本发明实施例提供了一种基于低秩嵌入表示的二进制图像特征编码方法，参见图1，该方法包括以下步骤：
101：提取待编码图片的图像特征，组成图像特征矩阵；
102：构建低秩子空间表示项：将图像特征矩阵通过子空间映射矩阵U、潜在低秩表示映射到低秩样本子空间中；
103：构建二进制编码学习项：借助图像标签信息和局部亲和度信息，通过二进制映射矩阵V，将低秩子空间内特征映射到汉明空间中；
104：构建二进制编码约束项：通过正则化约束与垂直约束，防止二进制编码的相关性；
105：基于低秩子空间表示项、二进制编码学习项和二进制编码约束项得到一种图像特征二进制编码框架；
106：基于此二进制编码框架获取总目标函数，利用迭代法优化总目标函数，依次迭代更新各个变量及参数，直至目标函数值收敛，进而获取子空间映射矩阵U、二进制映射矩阵V；
107：由迭代得到的映射矩阵U、新样本特征矩阵XN通过迭代得到其低秩表示ZN，再对其进行二进制编码，使得新样本特征矩阵在汉明空间得到其二进制编码sgn(ZNV)，sgn表示符号函数。
综上所述，本发明实施例通过引入二进制编码表示、低秩子空间学习等，有效提高了样本特征表示的效率，提高了大体量样本匹配的可扩展性。既保留了个体信息又降低了摄像头变化对图像特征表征的影响，从而可以实现后续步骤中，较高准确率和效率的图像检索等操作。
实施例2
下面结合计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：提取待编码图片的图像特征，组成图像特征矩阵；
本实施例中，将行人图片归一化为128*64像素大小，提取LOMO(local maximaloccurrence局部最大出现)特征作为该行人图片的表示，每张图片得到26960维特征向量，再使用PCA(主成分分析法)将特征向量降维至3000维。将数据库按照比例3：1分为训练集和测试集，由训练集内所有图片的特征向量，组成图像特征矩阵。
202：构建低秩子空间表示项，将图像特征矩阵通过子空间映射矩阵U、潜在低秩表示映射到低秩样本子空间中，在该子空间中使类间距离大于类内距离，同时样本表示更加稳定，如公式(1)所示；
Figure BDA0002219281000000041
其中，表示样本特征矩阵，N表示样本个数，D表示特征维度。
Figure BDA0002219281000000043
表示潜在低秩表示，zi表示第i个样本的低秩表示，zj表示第j个样本的低秩表示，T表示矩阵转置，E∈RN×N表示误差项。
Figure BDA0002219281000000044
为类别标签矩阵，ki为每一样本的类别标签向量，若ki＝kj则kij＝1，否则kij＝-1。U∈RD×d表示子空间映射矩阵，表示马氏距离。Δij表示平衡系数，若ki＝kj则Δij＝1/Np否则Δij＝1/Nn，Np为正样本数量，Nn为负样本数量。φ为平衡系数，γ为平衡参数，log为logistics函数，e为自然常数，λ，η为平衡系数。
203：构建二进制编码学习项：借助图像标签信息和局部亲和度信息，通过二进制映射矩阵V，将特征由低秩子空间映射到汉明空间，如公式(2)所示；
Figure BDA0002219281000000046
其中，
Figure BDA0002219281000000047
表示编码后的二进制矩阵，L表示编码位数，d(bi,bj)＝|{a|bi,a≠bj,a,1≤a≤L}|表示汉明距离，mij表示低秩表示样本zi和zj的语义和局部亲和度编码，定义若ki＝kj则mij＝1，否则σ表示自定义参数，θ为平衡系数。
204：构建二进制编码约束项：通过正则化约束与垂直约束，防止二进制编码的相关性，如公式(3)所示；
其中，V∈RN×L表示二进制映射矩阵，IL表示维度为L的单位阵，α表示平衡系数，矩阵右上角的T表示矩阵转置。
205：基于低秩子空间表示项、二进制编码学习项和二进制编码约束项得到一种图像特征二进制编码框架，并基于此二进制编码框架得到优化的总目标函数，所述总目标函数如公式(4)所示；
Figure BDA0002219281000000051
其中，λ,α,η,θ,φ为自定义平衡参数。
206：利用交替迭代法优化总目标函数，依次迭代更新各个变量及参数，直至目标函数值收敛，求得子空间映射矩阵U、二进制映射矩阵V；
207：由迭代得到的映射矩阵U与测试集新样本特征矩阵XN∈RM×D得到其低秩表示ZN∈RM×N，其中M表示新样本数量；
208：再通过迭代对其进行二进制编码，迭代目标函数为：
从而测试集样本矩阵在汉明空间得到其二进制编码sgn(ZNV)，sgn表示符号函数；
208：在测试集中指定一个待匹配车辆样本(query)，由上述步骤得到其二进制编码向量sgn(zqueryV)，其他样本作为候选集(gallery)，计算query与gallery中每一样本的二进制编码向量
Figure BDA0002219281000000053
之间的汉明距离di，对所有候选样本计算得到的集合{di}进行排序，其中di最小的为行人再识别结果。
综上所述，本发明实施例通过引入二进制编码表示、低秩子空间学习等，有效提高了样本特征表示的效率，提高了大体量样本匹配的可扩展性；既保留了个体信息又降低了摄像头变化对图像表征的影响，从而实现较高准确率和效率的行人再识别。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述方法包括：
基于低秩子空间表示项、二进制编码学习项和二进制编码约束项得到图像特征二进制编码框架；
基于二进制编码框架获取总目标函数，利用迭代法获取子空间映射矩阵、二进制映射矩阵；
由映射矩阵、新样本特征矩阵获取低秩表示，再对低秩表示进行二进制编码，使得新样本特征矩阵在汉明空间中得到二进制编码。
2.根据权利要求1所述的一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述低秩子空间表示项具体为：将图像特征矩阵通过子空间映射矩阵、潜在低秩表示映射到低秩样本子空间中。
3.根据权利要求1所述的一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述二进制编码学习项具体为：借助图像标签信息和局部亲和度信息，通过二进制映射矩阵将低秩子空间内特征映射到汉明空间中。
4.根据权利要求1所述的一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述二进制编码约束项具体为：通过正则化约束与垂直约束构建。
5.根据权利要求1所述的一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述低秩子空间表示项的表达式为：
Figure FDA0002219280990000011
s.t.XU＝ZXU+E
其中，
Figure FDA0002219280990000012
表示样本特征矩阵，N表示样本个数，D表示特征维度。
Figure FDA0002219280990000013
表示潜在低秩表示，zi表示第i个样本的低秩表示，zj表示第j个样本的低秩表示，T表示矩阵转置，E∈RN×N表示误差项；
Figure FDA0002219280990000014
为类别标签矩阵，ki为每一样本的类别标签向量，若ki＝kj则kij＝1，否则kij＝-1；U∈RD×d表示子空间映射矩阵，
Figure FDA0002219280990000015
表示马氏距离；Δij表示平衡系数，若ki＝kj则Δij＝1/Np否则Δij＝1/Nn，Np为正样本数量，Nn为负样本数量；φ为平衡系数，γ为平衡参数，log为logistics函数，e为自然常数，λ，η为平衡系数。
6.根据权利要求1所述的一种基于低秩嵌入表示的二进制图像特征编码方法，其特征在于，所述二进制编码学习项的表达式具体为；
Figure FDA0002219280990000021
其中，
Figure FDA0002219280990000022
表示编码后的二进制矩阵，L表示编码位数，d(bi,bj)＝|{a|bi,a≠bj,a,1≤a≤L}|表示汉明距离，mij表示低秩表示样本zi和zj的语义和局部亲和度编码，定义若ki＝kj则mij＝1，否则
Figure FDA0002219280990000023
σ表示自定义参数，θ为平衡系数。
CN201910927387.8A 2019-09-27 2019-09-27 一种基于低秩嵌入表示的二进制图像特征编码方法 Active CN110727818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927387.8A CN110727818B (zh) 2019-09-27 2019-09-27 一种基于低秩嵌入表示的二进制图像特征编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927387.8A CN110727818B (zh) 2019-09-27 2019-09-27 一种基于低秩嵌入表示的二进制图像特征编码方法

Publications (2)

Publication Number Publication Date
CN110727818A true CN110727818A (zh) 2020-01-24
CN110727818B CN110727818B (zh) 2023-11-14

Family

ID=69219503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927387.8A Active CN110727818B (zh) 2019-09-27 2019-09-27 一种基于低秩嵌入表示的二进制图像特征编码方法

Country Status (1)

Country Link
CN (1) CN110727818B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412960A (zh) * 2013-08-31 2013-11-27 西安电子科技大学 基于双边随机投影的图像感知哈希方法
CN106157339A (zh) * 2016-07-05 2016-11-23 华南理工大学 基于低秩顶点轨迹子空间提取的动画网格序列压缩算法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法
CN107609580A (zh) * 2017-08-29 2018-01-19 天津大学 一种直推式的低秩张量判别性分析方法
CN109657112A (zh) * 2018-11-29 2019-04-19 九江学院 一种基于锚点图的跨模态哈希学习方法
CN110188227A (zh) * 2019-05-05 2019-08-30 华南理工大学 一种基于深度学习与低秩矩阵优化的哈希图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412960A (zh) * 2013-08-31 2013-11-27 西安电子科技大学 基于双边随机投影的图像感知哈希方法
CN106157339A (zh) * 2016-07-05 2016-11-23 华南理工大学 基于低秩顶点轨迹子空间提取的动画网格序列压缩算法
CN107545276A (zh) * 2017-08-01 2018-01-05 天津大学 联合低秩表示和稀疏回归的多视角学习方法
CN107609580A (zh) * 2017-08-29 2018-01-19 天津大学 一种直推式的低秩张量判别性分析方法
CN109657112A (zh) * 2018-11-29 2019-04-19 九江学院 一种基于锚点图的跨模态哈希学习方法
CN110188227A (zh) * 2019-05-05 2019-08-30 华南理工大学 一种基于深度学习与低秩矩阵优化的哈希图像检索方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"多媒体技术研究:2012――多媒体数据索引与检索技术研究进展" *
CHI SU等: "Multi-Task Learning with Low Rank Attribute Embedding for Person Re-Identification" *
PEIGUANG JING等: "A Framework of Joint Low-Rank and Sparse Regression for Image Memorability Prediction" *
YONG XU等: "Discriminative Transfer Subspace Learning via Low-Rank and Sparse Representation" *
杨淋淋: "基于度量学习的行人再识别研究" *

Also Published As

Publication number Publication date
CN110727818B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
Deng et al. Rethinking triplet loss for domain adaptation
CN111552807B (zh) 一种短文本多标签分类方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN110046660B (zh) 一种基于半监督学习的乘积量化方法
CN109284411B (zh) 一种基于有监督超图离散化图像二值编码方法
CN109783691B (zh) 一种深度学习和哈希编码的视频检索方法
EP3191980A1 (en) Method and apparatus for image retrieval with feature learning
Choi et al. Face video retrieval based on the deep CNN with RBF loss
CN112214623A (zh) 一种面向图文样本的高效监督图嵌入跨媒体哈希检索方法
CN112257716A (zh) 一种基于尺度自适应及方向注意力网络的场景文字识别方法
CN109857892B (zh) 基于类标传递的半监督跨模态哈希检索方法
CN114973136A (zh) 一种极端条件下场景图像识别方法
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN110705384A (zh) 一种基于跨域迁移增强表示的车辆再识别方法
CN115527064A (zh) 基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法
CN112750128A (zh) 图像语义分割方法、装置、终端及可读存储介质
CN107291813B (zh) 基于语义分割场景的示例搜索方法
CN110727818B (zh) 一种基于低秩嵌入表示的二进制图像特征编码方法
Xiong et al. Deep feature representation via multiple stack auto-encoders
CN115862015A (zh) 文字识别系统的训练方法及装置、文字识别方法及装置
CN109344279B (zh) 基于哈希检索的手写英文单词智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant