CN104850857B - 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 - Google Patents
基于视觉空间显著性约束的跨摄像机行人目标匹配方法 Download PDFInfo
- Publication number
- CN104850857B CN104850857B CN201510251022.XA CN201510251022A CN104850857B CN 104850857 B CN104850857 B CN 104850857B CN 201510251022 A CN201510251022 A CN 201510251022A CN 104850857 B CN104850857 B CN 104850857B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- hypergraph
- msup
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明公开了一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，具体是一种通过行人图像间视觉和空间约束来进行显著性学习，以显著性学习结果为基础进行跨摄像机行人目标匹配的方法，首先对行人目标模板图像进行前景提取和过分割以得到行人目标子区域集合，然后在此区域集合上利用区域之间的视觉关联性和空间关联性分别构造视觉超图和空间超图，接着利用超图联合排序获得每个区域的视觉空间显著性分数，最后通过对模板图像与可疑目标图像进行显著性区域匹配得到最终的跨摄像机行人目标匹配结果。本发明具有无需提前训练、精确度高、易于实现等优点，为实际场景中的跨摄像机行人匹配提供了一种有效方法。
Description
技术领域
本发明涉及一种视频图像处理技术领域的方法，具体为一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法。
背景技术
在大多数监控视频网络中，当行人目标移出当前视频后并没有办法简单利用摄像机的位置拓扑关系准确定位目标所移入的摄像头和目标在该摄像头出现的时间，因此跨摄像机行人目标匹配在跨摄像机智能监控系统中变得不可或缺。跨摄像机行人目标匹配是一个极具挑战性的问题，这是由于不同摄像机之间存在着参数、光照等差异，并且同一物体在不同摄像机视角拍摄下会存在姿态变化及遮挡。
经过对现有技术文献的检索发现，跨摄像机行人目标匹配问题的研究主要集中在通过预先训练进行度量学习和特征学习这两个方面。郑伟诗等人于2012年在《IEEETransactions on Pattern Analysis and Machine Intelligence》(国际电气与电子工程师协会模式分析与机器智能学报)发表的论文“Reidentification by relative distancecomparison”(基于相对距离比较的跨摄像机行人匹配)利用训练样本学习得到最优的概率相对距离度量标准，并用此标准来对数据库中的其它图片进行距离度量。赵瑞等人于2014年在《IEEE Computer Society Conference on Computer Vision and PatternRecognition》(国际电子电气工程师协会计算机学会计算机视觉与模式识别会议)上发表的论文“Learning mid-level filters for person re-identification”(基于中层滤波器学习的行人重匹配)通过提前训练得到适合数据库样本的中层滤波器，以此滤波器选取行人图片中的感兴趣区域用于跨摄像机行人匹配。
虽然现有的跨摄像机行人目标匹配方法在标准数据库上能达到较高的匹配准确度，但由于目前绝大多数方法都需要预先的训练步骤或者额外的训练样本进行有监督或无监督的训练，因此这些算法在实际应用中较难推广。而在实际场景中，能够提供给跨摄像机匹配算法的样本数量十分有限，通常仅为某一指定行人目标的几幅模板图像。这促使寻找一种无须提前训练而又具有较高匹配准确度和鲁棒性的跨摄像机行人目标匹配方法。另一个现有跨摄像机行人目标匹配方法中普遍存在的问题是，行人身体空间约束往往被忽视或没有被合理利用。由于行人在步行时通常符合一定的空间约束，例如上半身部分相对稳定而下半身摆动较大，因此有效利用这些约束信息必然会提升跨摄像机行人目标匹配算法的性能。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，既可以自适应地利用行人身体空间约束信息，又不需要额外的训练样本和训练步骤，并具有较高的行人目标匹配准确度，能够适用于绝大多数实际应用场景。
为实现上述目的，本发明首先对行人目标模板图像进行前景提取和过分割以得到行人目标子区域集合，然后在此区域集合上利用区域之间的视觉关联性和空间关联性分别构造视觉超图和空间超图，接着利用超图联合排序获得每个区域的视觉空间显著性分数，最后通过对模板图像与可疑目标图像进行显著性区域匹配得到最终的跨摄像机行人目标匹配结果。
本发明方法通过以下具体步骤实现：
基于视觉空间显著性约束的跨摄像机行人目标匹配方法包括以下步骤：
步骤1：读取待匹配行人目标模板图像和可疑行人目标图片，利用行人目标模板图像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片数，xi代表行人模板图像；将某一可疑行人目标的图片集合作为检索人输入，定义检索人集合为其中M为检索人集合里的图片数，yj代表检索人图片；
步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取算法提取每幅图像的前景区域；
步骤3：利用Mean-Shift算法对投票人集合里的每幅图像和检索人图像进行过分割处理，若M＝1则将所有过分割得到的区域统一纳入区域集合Nr为投票人集合和检索人集合中所有图片过分割得到的子区域数量的总和；若M＞1则将检索人集合中的每张图片单独考虑，分别重复M次M＝1时的处理步骤，并对M次结果进行平均；
步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去rn自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将包含中心节点在内的共N+1个顶点相连接，构成一条视觉超边，从而构建全部Nr条视觉超边；
步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，从而构建全部Nr条空间超边；
步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩阵Hv和空间超图关联矩阵Hs，关联矩阵Hv和Hs皆为Nr×Nr矩阵，若某一顶点属于某条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0；
步骤7：对于视觉超边集合Ev中的每条超边ei∈Ev，定义其权重如下：
其中，dv(ra,rb)为区域ra和rb之间的视觉特征距离，而σv为整个区域集合R中各子区域之间视觉距离的平均值；之后定义视觉超边权重矩阵Wv，Wv为一对角矩阵，其第i行第i列存放着视觉超边ei的权重值；
步骤8：对应地，对于空间超边集合Es中的每条超边ej∈Es，定义其权重如下：
其中，ds(ra,rb)为区域ra和rb之间的空间像素距离，而σs为所有顶点间的平均空间距离；定义空间超边权重矩阵Ws，Ws为一对角矩阵，其第j行第j列存放着空间超边ej的权重值；
步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls；
步骤10：利用超图拉普拉斯矩阵Lv和Ls，将子区域显著性学习转化为两个超图上的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约束，显著性学习问题定义如下：
其中s是需要被学习得到的显著性向量，最终结果包含了所有子区域的显著性分数；z为归一化区域尺寸向量，包含了区域集合R中每个子区域归一化后的像素尺寸；λv和λs为两个权重参数，用于调节目标函数前两项之间的平衡关系；μ也为平衡参数，用于调整目标函数第三项对显著性学习过程的影响；
步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不同敏感性，自适应地调整λv和λs，使两个平衡参数对于显著性学习问题同时达到最优；
步骤12：利用学习得到的区域显著性，定义基于显著性的earth mover distance距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离；根据区域匹配距离对不同的检索人集合进行排序，与投票人集合区域匹配距离最小的检索人集合即为跨摄像机行人目标匹配结果。
步骤4中所述计算视觉特征距离为：
步骤4.1：对区城集合R中的每个子区域，以每个子区域的质心为中心，选取周围20×20像素区域为感兴趣区域，在每个子区域的感兴趣区域内分别得到120维HSV颜色空间直方图、36维HOG特征以及59维等价LBP特征；
步骤4.2：利用区域集合R中所有子区域的视觉特征进行PCA降维，分别将HSV颜色直方图特征、HOG特征、等价LBP特征降维成20维、5维和10维，之后将三种特征归一化后串联得到每个子区域最终的视觉特征向量；
步骤4.3：通过不同子区域视觉特征向量间的欧式距离得到区城集合R中不同子区域间的视觉特征距离。
步骤9中所述的计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls，其具体实现过程如下：
步骤9.1：计算视觉超图和空间超图中每个顶点的度d(v)和每条超边的度δ(e)：
d(v)＝Σe∈Ew(e)h(v,e)
δ(e)＝Σv∈Vh(v,e)
其中h(v,e)为对应超图关联矩阵中顶点v和超边e对应的值，而w(e)为超边e的权重；
步骤9.2：将视觉超图中所有顶点的度存放于一个Nr×Nr对角矩阵的对角线上，定义该对角矩阵为视觉超图的顶点度矩阵Dv1；利用同样的方法得到空间超图的顶点度矩阵Dv2；
步骤9.3：将视觉超图中所有超边的度存放于一个Nr×Nr对角矩阵的对角线上，定义该矩阵为视觉超图的超边度矩阵De1；利用同样的方法得到空间超图的超边度矩阵De2；
步骤9.4：对于视觉超图，计算矩阵则视觉超图拉普拉斯Lv的定义为Lv＝I-Θv，其中I为Nr×Nr单位矩阵；
步骤9.5：同样地，对于空间超图，计算矩阵则空间超图拉普拉斯Ls的定义为Ls＝I-Θs，其中I为Nr×Nr单位矩阵。
步骤11中所述的通过交替迭代优化算法解决显著性学习目标函数优化问题，其具体实现步骤如下：
步骤11.1：为了使显著性向量s和平衡参数λv和λs同时达到最优，增加约束条件，将目标函数写为：
步骤11.2：固定λv和λs，将它们设为初始值，将目标函数对显著性向量s求偏导，计算得到λv和λs固定情况下使目标函数最优的显著性向量：
其中L＝λvLv+λsLs，I为单位矩阵；
步骤11.3：将步骤11.2中求得的显著性向量代入原目标函数，固定显著性向量s，用和代替λv和λs，其中l＞1表示l次幂，优化问题被重新写为：
通过引入拉格朗日算法，将目标函数转化为：
对上式分别求偏导，得到当s固定时，最优的λv和λs：
λs＝1-λv.
步骤11.4：交替重复步骤11.2和步骤11.3，直至目标函数最终收敛；在目标函数收敛时，对应的显著性向量s即包含了所有Nr个子区域的显著性分数。
步骤12中所述的定义基于显著性的earth mover distance距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离，其具体实现步骤如下：
步骤12.1：定义两幅行人图像间的区域匹配距离为：
其中表示投票人图像xi的第a个区域，表示查询图像yj的第b个区域；A和B分别表示图像xi和图像yj中所有区域的集合；和分别表示区域和区域的区域显著性；表示子区域和之间的距离，其定义为子区域间的视觉特征距离和空间像素距离的加权求和：fab为使区域匹配距离Dis最小化的区域和区域之间的运输量；
步骤12.2：将步骤12.1中的距离定义转化为最优运输问题，利用匈牙利算法求解得到使Dis最小的任意两子区域和间的运输量fab；
步骤12.3：将求解得到的运输量fab再次代入区域匹配距离，得到两幅行人图像间的距离。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明不需要预先的训练步骤和额外的训练样本，只需输入行人目标模板图片和可以目标图片即可计算得到最终的跨摄像机匹配结果，可以适应于大多数实际监控场景，可移植性高；
2)本发明将视觉一致性和空间约束性融合入区域显著性学习中，使得模板图片中视觉一致性高且出现在一定范围内的子区域在匹配过程中起到更大的作用，以此提升跨摄像机行人目标匹配算法的准确度；
3)本发明通过同时使显著性向量和平衡参数对于目标函数达到最优，来自适应地调整视觉约束和空间约束对跨摄像机行人目标匹配的影响，以使得本方法具有更强的鲁棒性，可以适用于不同的行人目标。
附图说明
图1为本发明的整体流程示意图。
具体实施方式
下面结合具体实施例，对本发明的技术方案做进一步的详细说明。
以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
本实施例通过在某一监控视频序列中选取指定行人作为目标，并在另一监控视频序列中寻找与行人目标最相似的可疑行人对象，以完成跨摄像机行人目标匹配，在本发明的实施例中，该方法包括以下步骤：
步骤1：从某一监控视频序列中框取指定行人作为待匹配目标，对该行人在当前视频中进行跟踪和采集，在跟踪过程中采集5幅该行人的目标模板图像，利用行人目标模板图像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片数，在本实施例中N＝5，xi代表行人模板图像。将监控网络中另一监控视频序列中的可疑行人目标图片集合逐一作为检索人输入，定义检索人集合为其中M为检索人集合里的图片数，在本实施例中M＝1，yj代表检索人图片。
步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取算法提取每幅图像的前景区域。在本实施例中，前景提取通过对视频序列进行混合高斯背景建模完成。
步骤3：利用Mean-Shift算法对投票人集合里的每幅图像和检索人图像进行过分割处理，将所有过分割得到的区域统一纳入区域集合Nr为投票人集合和检索人集合中所有图片过分割得到的子区域数量的总和。
步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去rn自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将包含中心节点在内的共6个顶点相连接，构成一条视觉超边，以此方法构建全部Nr条视觉超边。
在本实施例中，步骤4中所述的视觉特征距离，其具体计算过程如下：
步骤4.1：对R中的每个子区域，以该区域的质心为中心，选取周围20×20像素区域为感兴趣区域，在每个子区域的感兴趣区域内分别计算得到120维HSV颜色空间直方图、36维HOG特征以及59维等价LBP特征；
步骤4.2：利用区域集合R中所有子区域的视觉特征进行PCA降维，分别将HSV颜色直方图特征、HOG特征、等价LBP特征降维成20维、5维和10维，之后将三种特征归一化后串联得到每个子区域最终的视觉特征向量；
步骤4.3：通过计算不同子区域视觉特征向量间的欧式距离得到R中不同子区域间的视觉特征距离。
步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，通过该步骤构建全部Nr条空间超边。
步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩阵Hv和空间超图关联矩阵Hs，关联矩阵Hv和Hs皆为Nr×Nr矩阵，若某一顶点属于某条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0。
步骤7：对于视觉超边集合Ev中的每条超边ei∈Ev，定义其权重如下：
其中，dv(ra,rb)为区域ra和rb之间的视觉特征距离，而σv为整个区域集合R中各子区域之间视觉距离的平均值。之后定义视觉超边权重矩阵Wv，Wv为一对角矩阵，其第i行第i列存放着视觉超边ei的权重值。
步骤8：对应地，对于空间超边集合Es中的每条超边ej∈Es，定义其权重如下：
其中，ds(ra,rb)为区域ra和rb之间的空间像素距离，而σs为所有顶点间的平均空间距离。定义空间超边权重矩阵Ws，Ws为一对角矩阵，其第j行第j列存放着空间超边ej的权重值。
步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls。
在本实施例中，步骤9中所述的计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls，其具体实现过程如下：
步骤9.1：计算视觉超图和空间超图中每个顶点的度d(v)和每条超边的度δ(e)：
d(v)＝Σe∈Ew(e)h(v,e)
δ(e)＝Σv∈Vh(v,e)
其中h(v,e)为对应超图关联矩阵中顶点v和超边e对应的值，而w(e)为超边e的权重；本质上，顶点的度为关联矩阵对应行的加权求和，超边的度为关联矩阵对应列的求和；
步骤9.2：将视觉超图中所有顶点的度存放于一个Nr×Nr对角矩阵的对角线上，定义该对角矩阵为视觉超图的顶点度矩阵Dv1。利用同样的方法计算得到空间超图的顶点度矩阵Dv2；
步骤9.3：将视觉超图中所有超边的度存放于一个Nr×Nr对角矩阵的对角线上，定义该矩阵为视觉超图的超边度矩阵De1。利用同样的方法计算得到空间超图的超边度矩阵De2；
步骤9.4：对于视觉超图，计算矩阵则视觉超图拉普拉斯Lv的定义为Lv＝I-Θv，其中I为Nr×Nr单位矩阵；
步骤9.5：同样地，对于空间超图，计算矩阵则空间超图拉普拉斯Ls的定义为Ls＝I-Θs，其中I为Nr×Nr单位矩阵。
步骤10：利用计算得到的超图拉普拉斯矩阵Lv和Ls，将子区域显著性学习转化为两个超图上的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约束，显著性学习问题定义如下：
其中s是需要被学习得到的显著性向量，其最终结果包含了所有子区域的显著性分数。z为归一化区域尺寸向量，其包含了区域集合R中每个子区域归一化后的像素尺寸。λv和λs为两个权重参数，用于调节目标函数前两项之间的平衡关系。μ也为平衡参数，用于调整目标函数第三项对显著性学习过程的影响，在本实施例中μ＝0.01。
步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不同敏感性，自适应地调整λv和λs，使两个平衡参数对于显著性学习问题同时达到最优。
在本实施例中，步骤11中所述的通过交替迭代优化算法解决显著性学习目标函数优化问题，其具体实现步骤如下：
步骤11.1：为了使显著性向量s和平衡参数λv和λs同时达到最优，增加约束条件，将目标函数写为：
步骤11.2：固定λv和λs，将它们设为初始值，在本实施例中，λv和λs的初始值为λv＝0.6和λs＝0.4。将目标函数对显著性向量s求偏导，计算得到λv和λs固定情况下使目标函数最优的显著性向量：
其中L＝λvLv+λsLs，I为单位矩阵；
步骤11.3：将步骤11.2中求得的显著性向量代入原目标函数，固定显著性向量s，为了避免目标函数产生退化解，用和代替λv和λs，其中l＞1表示l次幂，在本实施例中l＝4，优化问题被重新写为：
通过引入拉格朗日算法，将目标函数转化为：
对上式分别求偏导，得到当s固定时，最优的λv和λs：
λs＝1-λv.
步骤11.4：交替重复步骤11.2和步骤11.3，直至目标函数最终收敛。在目标函数收敛时，对应的显著性向量s即包含了所有Nr个子区域的显著性分数。
步骤12：利用学习得到的区域显著性，定义基于显著性的EMD(earth moverdistance)距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离。根据区域匹配距离对视频序列中不同的可疑行人进行排序，与投票人集合区域匹配距离最小的可疑行人即为跨摄像机行人目标匹配结果。
在本实施例中，步骤12中所述的定义基于显著性的EMD(earth mover distance)距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离，其具体实现步骤如下：
步骤12.1：定义两幅行人图像间的区域匹配距离为：
其中表示投票人图像xi的第a个区域，表示查询图像yj的第b个区域；A和B分别表示图像xi和图像yj中所有区域的集合；和分别表示区域和区域的区域显著性；表示子区域和之间的距离，其定义为子区域间的视觉特征距离和空间像素距离的加权求和：fab为使区域匹配距离Dis最小化的区域和区域之间的运输量；
步骤12.2：将上式中的距离定义转化为最优运输问题，利用匈牙利算法求解得到使Dis最小的任意两子区域和间的运输量fab。
步骤12.3：将求解得到的运输量fab再次代入区域匹配距离，计算得到两幅行人图像间的距离。
Claims (5)
1.一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于包括以下步骤：
步骤1：读取待匹配行人目标模板图像和可疑行人目标图片，利用行人目标模板图像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片数，xi代表行人模板图像；将某一可疑行人目标的图片集合作为检索人输入，定义检索人集合为其中M为检索人集合里的图片数，yj代表检索人图片；
步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取算法提取每幅图像的前景区域；
步骤3：利用Mean-Shift算法对投票人集合里的每幅图像和检索人图像进行过分割处理，若M＝1则将所有过分割得到的区域统一纳入区域集合Nr为投票人集合和检索人集合中所有图片过分割得到的子区域数量的总和；若M＞1则将检索人集合中的每张图片单独考虑，分别重复M次M＝1时的处理步骤，并对M次结果进行平均；
步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去rn自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将包含中心节点在内的共N+1个顶点相连接，构成一条视觉超边，从而构建全部Nr条视觉超边；
步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区域rn∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，从而构建全部Nr条空间超边；
步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩阵Hv和空间超图关联矩阵Hs，关联矩阵Hv和Hs皆为Nr×Nr矩阵，若某一顶点属于某条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0；
步骤7：对于视觉超边集合Ev中的每条超边ei∈Ev，定义其权重如下：
<mrow>
<msub>
<mi>w</mi>
<mi>v</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>r</mi>
<mi>a</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>b</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>v</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>a</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>b</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>v</mi>
<mn>2</mn>
</msubsup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，dv(ra,rb)为区域ra和rb之间的视觉特征距离，而σv为整个区域集合R中各子区域之间视觉距离的平均值；之后定义视觉超边权重矩阵Wv，Wv为一对角矩阵，其第i行第i列存放着视觉超边ei的权重值；
步骤8：对应地，对于空间超边集合Es中的每条超边ej∈Es，定义其权重如下：
<mrow>
<msub>
<mi>w</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>r</mi>
<mi>a</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>b</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>s</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>a</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>b</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>s</mi>
<mn>2</mn>
</msubsup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，ds(ra,rb)为区域ra和rb之间的空间像素距离，而σs为所有顶点间的平均空间距离；定义空间超边权重矩阵Ws，Ws为一对角矩阵，其第j行第j列存放着空间超边ej的权重值；
步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls；
步骤10：利用超图拉普拉斯矩阵Lv和Ls，将子区域显著性学习转化为两个超图上的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约束，显著性学习问题定义如下：
<mrow>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>s</mi>
</munder>
<mo>{</mo>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<mi>&mu;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>s</mi>
<mo>-</mo>
<mi>z</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
其中s是需要被学习得到的显著性向量，最终结果包含了所有子区域的显著性分数；z为归一化区域尺寸向量，包含了区域集合R中每个子区域归一化后的像素尺寸；λv和λs为两个权重参数，用于调节目标函数前两项之间的平衡关系；μ也为平衡参数，用于调整目标函数第三项对显著性学习过程的影响；
步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不同敏感性，自适应地调整λv和λs，使两个平衡参数对于显著性学习问题同时达到最优；
步骤12：利用学习得到的区域显著性，定义基于显著性的earth mover's distance距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离；根据区域匹配距离对不同的检索人集合进行排序，与投票人集合区域匹配距离最小的检索人集合即为跨摄像机行人目标匹配结果。
2.根据权利要求1所述的一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于：步骤4中所述计算视觉特征距离为：
步骤4.1：对区城集合R中的每个子区域，以每个子区域的质心为中心，选取周围20×20像素区域为感兴趣区域，在每个子区域的感兴趣区域内分别得到120维HSV颜色空间直方图、36维HOG特征以及59维等价LBP特征；
步骤4.2：利用区域集合R中所有子区域的视觉特征进行PCA降维，分别将HSV颜色直方图特征、HOG特征、等价LBP特征降维成20维、5维和10维，之后将三种特征归一化后串联得到每个子区域最终的视觉特征向量；
步骤4.3：通过不同子区域视觉特征向量间的欧式距离得到区城集合R中不同子区域间的视觉特征距离。
3.根据权利要求1所述的一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于：步骤9中所述的计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普拉斯矩阵Lv和Ls，其具体实现过程如下：
步骤9.1：计算视觉超图和空间超图中每个顶点的度d(v)和每条超边的度δ(e)：
d(v)＝∑e∈Ew(e)h(v,e)
δ(e)＝∑v∈Vh(v,e)
其中h(v,e)为对应超图关联矩阵中顶点v和超边e对应的值，而w(e)为超边e的权重；
步骤9.2：将视觉超图中所有顶点的度存放于一个Nr×Nr对角矩阵的对角线上，定义该对角矩阵为视觉超图的顶点度矩阵Dv1；利用同样的方法得到空间超图的顶点度矩阵Dv2；
步骤9.3：将视觉超图中所有超边的度存放于一个Nr×Nr对角矩阵的对角线上，定义该矩阵为视觉超图的超边度矩阵De1；利用同样的方法得到空间超图的超边度矩阵De2；
步骤9.4：对于视觉超图，计算矩阵则视觉超图拉普拉斯Lv的定义为Lv＝I-Θv，其中I为Nr×Nr单位矩阵；
步骤9.5：同样地，对于空间超图，计算矩阵则空间超图拉普拉斯Ls的定义为Ls＝I-Θs，其中I为Nr×Nr单位矩阵。
4.根据权利要求1所述的一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于：步骤11中所述的通过交替迭代优化算法解决显著性学习目标函数优化问题，其具体实现步骤如下：
步骤11.1：为了使显著性向量s和平衡参数λv和λs同时达到最优，增加约束条件，将目标函数写为：
<mrow>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>s</mi>
<mo>,</mo>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
</mrow>
</munder>
<mo>{</mo>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<mi>&mu;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>s</mi>
<mo>-</mo>
<mi>z</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
s.t.λv+λs＝1,λv,λs≥0.
步骤11.2：固定λv和λs，将它们设为初始值，将目标函数对显著性向量s求偏导，计算得到λv和λs固定情况下使目标函数最优的显著性向量：
<mrow>
<mi>s</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>&mu;</mi>
</mfrac>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>z</mi>
</mrow>
其中L＝λvLv+λsLs，I为单位矩阵；
步骤11.3：将步骤11.2中求得的显著性向量代入原目标函数，固定显著性向量s，用和代替λv和λs，其中l＞1表示l次幂，优化问题被重新写为：
<mrow>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
</mrow>
</munder>
<mo>{</mo>
<msubsup>
<mi>&lambda;</mi>
<mi>v</mi>
<mi>l</mi>
</msubsup>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<msubsup>
<mi>&lambda;</mi>
<mi>s</mi>
<mi>l</mi>
</msubsup>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>s</mi>
<mi>s</mi>
</msub>
<mi>s</mi>
<mo>}</mo>
</mrow>
s.t.λv+λs＝1,λv,λs≥0.
通过引入拉格朗日算法，将目标函数转化为：
<mrow>
<mi>&psi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<mi>&zeta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&lambda;</mi>
<mi>v</mi>
<mi>l</mi>
</msubsup>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>+</mo>
<msubsup>
<mi>&lambda;</mi>
<mi>s</mi>
<mi>l</mi>
</msubsup>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mi>s</mi>
<mo>-</mo>
<mi>&zeta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
对上式分别求偏导，得到当s固定时，最优的λv和λs：
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>v</mi>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>/</mo>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</msup>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>/</mo>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>v</mi>
</msub>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>/</mo>
<msup>
<mi>s</mi>
<mi>T</mi>
</msup>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</msup>
</mrow>
</mfrac>
</mrow>
λs＝1-λv.
步骤11.4：交替重复步骤11.2和步骤11.3，直至目标函数最终收敛；在目标函数收敛时，对应的显著性向量s即包含了所有Nr个子区域的显著性分数。
5.根据权利要求1所述的一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，其特征在于：步骤12中所述的定义基于显著性的earth mover's distance距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离，其具体实现步骤如下：
步骤12.1：定义两幅行人图像间的区域匹配距离为：
<mrow>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mrow>
<mo>(</mo>
<munder>
<mi>min</mi>
<msub>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>a</mi>
<mo>&Element;</mo>
<mi>A</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>b</mi>
<mo>&Element;</mo>
<mi>B</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>y</mi>
<mi>j</mi>
<mi>b</mi>
</msubsup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>a</mi>
<mo>&Element;</mo>
<mi>A</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>b</mi>
<mo>&Element;</mo>
<mi>B</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
3
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>b</mi>
<mo>&Element;</mo>
<mi>B</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>a</mi>
<mo>&Element;</mo>
<mi>A</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>y</mi>
<mi>j</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
其中表示投票人图像xi的第a个区域，表示查询图像yj的第b个区域；A和B分别表示图像xi和图像yj中所有区域的集合；和分别表示区域和区域的区域显著性；表示子区域和之间的距离，其定义为子区域间的视觉特征距离和空间像素距离的加权求和：fab为使区域匹配距离Dis最小化的区域和区域之间的运输量；
步骤12.2：将步骤12.1中的距离定义转化为最优运输问题，利用匈牙利算法求解得到使Dis最小的任意两子区域和间的运输量fab；
步骤12.3：将求解得到的运输量fab再次代入区域匹配距离，得到两幅行人图像间的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510251022.XA CN104850857B (zh) | 2015-05-15 | 2015-05-15 | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510251022.XA CN104850857B (zh) | 2015-05-15 | 2015-05-15 | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104850857A CN104850857A (zh) | 2015-08-19 |
| CN104850857B true CN104850857B (zh) | 2017-12-05 |
Family
ID=53850492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510251022.XA Active CN104850857B (zh) | 2015-05-15 | 2015-05-15 | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104850857B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894502B (zh) * | 2016-03-30 | 2019-10-11 | 浙江大学 | 基于超图模型的rgbd图像显著性检测方法 |
| CN107145827A (zh) * | 2017-04-01 | 2017-09-08 | 浙江大学 | 基于自适应距离度量学习的跨摄像机行人再识别方法 |
| CN107292899B (zh) * | 2017-05-05 | 2020-12-29 | 浙江大学 | 一种针对二维激光扫描仪的角点特征提取方法 |
| CN107203636B (zh) * | 2017-06-08 | 2020-06-16 | 天津大学 | 基于超图主集聚类的多视频摘要获取方法 |
| CN109711366B (zh) * | 2018-12-29 | 2021-04-23 | 浙江大学 | 一种基于群组信息损失函数的行人重识别方法 |
| CN110378341A (zh) * | 2019-07-24 | 2019-10-25 | 西南交通大学 | 一种双目视觉行人距离检测方法 |
| CN112200465B (zh) * | 2020-10-14 | 2024-04-19 | 安徽继远软件有限公司 | 基于多媒体信息智能分析的电力ai方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679142A (zh) * | 2013-12-02 | 2014-03-26 | 宁波大学 | 一种基于空间约束的目标人体识别方法 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
-
2015
- 2015-05-15 CN CN201510251022.XA patent/CN104850857B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679142A (zh) * | 2013-12-02 | 2014-03-26 | 宁波大学 | 一种基于空间约束的目标人体识别方法 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Matching People across Camera Views using Kernel Canonical Correlation Analysis;Giuseppe Lisanti 等;《ICDSC"14 Proceedings of the International Conference on Distributed Smart Cameras》;20141107;1-6 * |
| 跨摄像机多人体目标的跟踪研究;王选贺;《中国博士学位论文全文数据库 信息科技辑》;20110715(第7期);I138-68 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104850857A (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104850857B (zh) | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 | |
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及系统 | |
| Siagian et al. | Rapid biologically-inspired scene classification using features shared with visual attention | |
| CN105005760B (zh) | 一种基于有限混合模型的行人再识别方法 | |
| CN108681707A (zh) | 基于全局和局部特征融合的大角度车型识别方法和系统 | |
| CN106203260A (zh) | 基于多摄像机监控网络的行人识别与跟踪方法 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN109190513A (zh) | 结合图像显著性检测和神经网络的车辆重识别方法与系统 | |
| CN102495998B (zh) | 基于视觉选择性注意计算模型的静态目标检测方法 | |
| CN110781736A (zh) | 基于双流网络将姿态和注意力相结合的行人重识别方法 | |
| CN108428224B (zh) | 基于卷积神经网的动物体表温度检测方法及装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN109784171A (zh) | 车辆定损图像筛选方法、装置、可读存储介质及服务器 | |
| CN109344700A (zh) | 一种基于深度神经网络的行人姿态属性识别方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN110399820A (zh) | 一种公路路边景物视觉识别分析方法 | |
| CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| CN105678720A (zh) | 一种全景拼接判断图像匹配方法及装置 | |
| CN115731579A (zh) | 基于交叉注意力Transformer网络的陆生动物个体识别方法 | |
| CN114239754B (zh) | 基于属性特征学习解耦的行人属性识别方法及系统 | |
| EP3352112A1 (en) | Architecture adapted for recognising a category of an element from at least one image of said element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |