CN104318216B - 视频监控中跨盲区行人目标的识别匹配方法 - Google Patents

视频监控中跨盲区行人目标的识别匹配方法 Download PDF

Info

Publication number
CN104318216B
CN104318216B CN201410587361.0A CN201410587361A CN104318216B CN 104318216 B CN104318216 B CN 104318216B CN 201410587361 A CN201410587361 A CN 201410587361A CN 104318216 B CN104318216 B CN 104318216B
Authority
CN
China
Prior art keywords
square
pedestrian
image
shaped image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410587361.0A
Other languages
English (en)
Other versions
CN104318216A (zh
Inventor
陈恳
吴盈
邵枫
吉培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201410587361.0A priority Critical patent/CN104318216B/zh
Publication of CN104318216A publication Critical patent/CN104318216A/zh
Application granted granted Critical
Publication of CN104318216B publication Critical patent/CN104318216B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种视频监控中跨盲区行人目标的识别匹配方法，其特征在于：包括步骤1、对单摄像机拍摄的行人目标进行检测；步骤2、对检测出的行人目标进行图像处理；步骤3、将处理后的图像转换为HSV图像，将该HSV图像的H通道分量图像分割成互相重叠的正方形图像分块；步骤4、提取每个正方形图像分块的多种特征；步骤5、计算单一特征的最佳匹配相似度；步骤6、对单一特征的最佳匹配相似度的权重进行设置；步骤7、确定最佳融合特征；步骤8、提取两个不同区域内的两幅图像中的行人目标的最佳融合特征，对两幅图像中的行人目标进行匹配。本方法对人体姿态变化以及具有相似颜色背景的目标匹配具有较强的鲁棒性。

Description

视频监控中跨盲区行人目标的识别匹配方法
技术领域
本发明涉及视频监控中跨盲区行人目标的识别匹配方法。
背景技术
在视频监控应用中，目标跟踪技术一直处于该研究领域的前沿，其中单相机单目标跟踪技术经过多年研发已日趋成熟，对更加贴近真实场景应用的多目标跟踪方法也随之成为研发热点。在涉及群集性公众场所的现代监控系统中，目前普遍采用的是分布式相机网络，对多行人目标的识别与跟踪是监控系统中最为关心的内容之一，也是最为关键的技术之一。在多数公共区域监控中，整个监控范围由数个子区域构成，单相机只负责监控其中一个子区域，在相邻两个相机所监控区域(即“视域”)之间，通常存在着“视域盲区”(即非重叠区域)。在视域盲区多摄像机监控环境下，目标在不同摄像机视域下的时空信息通常是离散的，不连续的，导致不同摄像机获取的目标运动信息通常是不起作用的。为此，一系列的视觉特征被人们所研究和应用,如文献“Cheng ED,Piccardi M.Disjoint track matchingbased on a major color spectrum histogram representation[J].OpticalEngineering,2007(46):1-14.”利用聚类的方法采用主颜色特征研究室内行人的跟踪；文献“Y.Cai,W.Chen,K.Huang,T.Tan.Continuously tracking objects across multiplewidely separated cameras.Proc.ACCV,2007:843-852”采用基于前景分割的颜色直方图作为特征；文献“O.javed,K.Shafique,Z.Rasheed,M.Shah.Modeling inter-cameraspace-time and appearance relationship for tracking across non-overlappingviews[J].Computer Vision and Image Understanding,109,2008:146-162.”采用三通道的颜色直方图作为目标特征；以上都是基于颜色特征的方法。点特征也可以用于目标的匹配，文献“明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配[J].计算机学报,2008,31(4):650-661.”以区域SIFT描述子作为特征实现多摄像机目标匹配，但对观测角度有一定的限制；由于多摄像机视域中各摄像机之间容易受到光照，摄像机参数，以及目标姿态等因素的影响，一些研究者尝试融合一种或多种特征来获得更高的准确性。例如文献“吕晓威,孔庆杰,刘允才等.无重叠视域摄像机间人目标匹配的特征融合算法[C].//2008年全国模式识别学术会议论文集.2008:73-78.”通过不同颜色空间的颜色直方图、UV色度、主要颜色谱以及SIFT特征进行融合；文献“范彩霞,朱虹.非重叠多摄像机目标识别方法研究[J].西安理工大学学报,2013,29(2):138-143.”对全局色彩特征、局部颜色和梯度特征以及全局纹理特征融合实现目标识别。上述公开的这些识别方法，不能应用于于目标姿态的变化的情况。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种视频监控中跨盲区行人目标的识别匹配方法，该方法对人体姿态变化、目标之间的相互遮挡以及具有相似颜色背景的目标匹配具有较强的鲁棒性。
本发明解决上述技术问题所采用的技术方案为：一种视频监控中跨盲区行人目标的识别匹配方法，其特征在于：包括如下步骤
步骤1、对单摄像机拍摄的行人目标进行检测，得到行人目标的RGB图像；
步骤2、对步骤1检测出的行人目标进行图像处理：
步骤2a、将步骤1检测检测到的RGB图像转化为HSV图像；
步骤2b、将步骤2a得到的HSV图像中的V通道分量图像进行颜色归一化处理得到平均亮度及对比度增强的新V通道分量图像；
步骤2c、将步骤2b得到的新V通道图像和步骤2a得到的HSV图像中H通道分量图像和S通道分量图像组合到一起得到新的HSV图像；
步骤2d、将步骤2c得到的新的HSV图像转化为RGB图像；
步骤2e、将步骤2d得到的RGB图像缩放为宽度w＝32，高度h＝64的64×32个像素大小的图像；
步骤3、对步骤2e得到的图像转换为HSV图像，然后将该HSV图像的H通道分量图像的密集采样网格上分割成互相重叠的正方形图像分块：每个正方形图像分块的边长m为10个像素单位，其中网格步长n＝4；该HSV图像的H通道分量图像在x方向上的重叠方式为：相邻正方形图像分块y方向相同，前一正方形图像分块x方向后半部分为后一正方形图像分块x方向前半部分；该HSV图像的H通道分量图像在y方向上的重叠方式为：相邻正方形图像分块x方向相同，前一正方形图像分块y方向后半部分为后一正方形图像分块y方向前半部分；按照这种重叠方式，该HSV图像的H通道分量图像在x方向上的正方形图像分块个数为：该HSV图像的H通道分量图像在y方向上的正方形图像分块个数为因此得到共14*6＝84个正方形图像分块；
步骤4、提取每个正方形图像分块的多种特征：
步骤4a、提取步骤3得到的84个正方形图像分块的颜色特征；
步骤4b、提取步骤3得到的84个正方形图像分块的SIFT特征；
步骤4c、提取步骤3得到的84个正方形图像分块的LBP特征；
步骤5、计算单一特征的最佳匹配相似度：
运用步骤1对单摄像机拍摄的两幅图像进行行人目标检测，设a和b为检测结果；分别对a中的行人目标和b中的行人目标进行步骤2的处理，从而使得每个行人目标均形成大小为64×32个像素大小的图像，然后运用步骤3分别每个行人目标的图像进行分割处理，得到每个行人目标图像的84个正方形图像分块；再然后运用步骤4的方法分别提取每个行人目标图像分割后的84个正方形图像分块的颜色特征、SIFT特征和LBP特征；
设a中行人i的第p个正方形图像分块的颜色特征为cxi,p，设b中行人j的第q个正方形图像分块的颜色特征为cyj,q，p和q的取值范围均为1～84；计算cxi,p与cyj,q之间的欧氏距离然后通过高斯分布函数把距离值转换为颜色相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的颜色特征相似度Sim(i,j)＝∑s(cxi,p,cyj,q)/n2为所有正方形图像分块颜色特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中颜色特征最佳匹配对象通过公式S＝arg max{Sim(i,j)}获取，即此时的j即为此时i的颜色特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的SIFT特征为Sxi,p，设b中行人j的第q个正方形图像分块的SIFT特征为Syj,q，p和q的取值范围均为1～84；计算Sxi,p与Syj,q之间的欧氏距离d(Sxi,p,Syj,q)＝||Sxi,p-Syj,q||2，然后通过高斯分布函数把距离值转换为SIFT特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的SIFT特征相似度Sim(i,j)'＝∑s'(Sxi,p,Syj,q)/n2为所有正方形图像分块SIFT特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中SIFT特征最佳匹配对象通过公式S'＝argmax{Sim(i,j)'}获取，即此时的j即为此时i的SIFT特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的LBP特征为Lxi,p，设b中行人j的第q个正方形图像分块的LBP特征为Lyj,q，p和q的取值范围均为1～84；计算Lxi,p与Lyj,q之间的欧氏距离d(Lxi,p,Lyj,q)＝||Lxi,p-Lyj,q||2，然后通过高斯分布函数把距离值转换为LBP特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的LBP特征相似度Sim(i,j)”＝∑s”(Lxi,p,Lyj,q)/n2为所有正方形图像分块LBP特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中LBP特征最佳匹配对象通过公式S”＝arg max{Sim(i,j)”}获取，即此时的j即为此时i的LBP特征最佳匹配对象；
步骤6、对单一特征的最佳匹配相似度的权重进行设置：设颜色特征最佳匹配相似度对行人目标识别匹配贡献最大，设SIFT特征最佳匹配相似度对行人目标识别匹配贡献其次，设LBP特征最佳匹配相似度对行人目标识别匹配贡献最小；
步骤7、对行人目标各特征的最佳融合特征进行确定：
行人目标各特征进行融合后的最佳融合特征为：颜色特征*α、SIFT特征*β、LBP特征*γ的线性组合，其中，α，β，γ为最佳融合特征中各特征的权值，其中α>β>γ；
步骤8、按照步骤7得到的最佳融合特征，分别对位于子区域a内的单摄像机拍摄的一幅图像中的行人目标和位于子区域b内的单摄像机拍摄的一幅图像中的行人目标提取最佳融合特征，然后利用步骤5中描述的匹配方法对两幅图像中的行人目标分别进行匹配。
经实验可知颜色特征和SIFT特征进行一定的权值加权后对目标匹配的结果贡献相对较大，其中颜色特征的贡献最大，而LBP特征的贡献最小，因此设α＝0.8，β＝0.2，γ＝0。
与现有技术相比，本发明的优点在于：该方法对人体姿态变化以及具有相似颜色背景的目标匹配具有较强的鲁棒性。
附图说明
图1为本发明实施例中视频监控中跨盲区行人目标的识别匹配方法的流程图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本实施例提供了一种视频监控中跨盲区行人目标的识别匹配方法，其包括如下步骤
步骤1、对单摄像机拍摄的行人目标进行检测，得到行人目标的RGB图像；
步骤2、对步骤1检测出的行人目标进行图像处理：
步骤2a、将步骤1检测检测到的RGB图像转化为HSV图像；
步骤2b、将步骤2a得到的HSV图像中的V通道分量图像进行颜色归一化处理得到平均亮度及对比度增强的新V通道分量图像；
步骤2c、将步骤2b得到的新V通道图像和步骤2a得到的HSV图像中H通道分量图像和S通道分量图像组合到一起得到新的HSV图像；
步骤2d、将步骤2c得到的新的HSV图像转化为RGB图像；
步骤2e、将步骤2d得到的RGB图像缩放为宽度w＝32，高度h＝64的64×32个像素大小的图像；
步骤3、对步骤2e得到的图像转换为HSV图像，然后将该HSV图像的H通道分量图像的密集采样网格上分割成互相重叠的正方形图像分块：每个正方形图像分块的边长m为10个像素单位，其中网格步长n＝4；该HSV图像的H通道分量图像在x方向上的重叠方式为：相邻正方形图像分块y方向相同，前一正方形图像分块x方向后半部分为后一正方形图像分块x方向前半部分；该HSV图像的H通道分量图像在y方向上的重叠方式为：相邻正方形图像分块x方向相同，前一正方形图像分块y方向后半部分为后一正方形图像分块y方向前半部分；按照这种重叠方式，该HSV图像的H通道分量图像在x方向上的正方形图像分块个数为：该HSV图像的H通道分量图像在y方向上的正方形图像分块个数为因此得到共14*6＝84个正方形图像分块；
步骤4、提取每个正方形图像分块的多种特征：
步骤4a、提取步骤3得到的84个正方形图像分块的颜色特征；
步骤4b、提取步骤3得到的84个正方形图像分块的SIFT特征；
步骤4c、提取步骤3得到的84个正方形图像分块的LBP特征；
步骤5、计算单一特征的最佳匹配相似度：
运用步骤1对单摄像机拍摄的两幅图像进行行人目标检测，设a和b为检测结果，a和b中包含的行人可能为0，也可能为1或其他更大的数字；分别对a中的行人目标和b中的行人目标进行步骤2的处理，从而使得每个行人目标均形成大小为64×32个像素大小的图像，然后运用步骤3分别每个行人目标的图像进行分割处理，得到每个行人目标图像的84个正方形图像分块；再然后运用步骤4的方法分别提取每个行人目标图像分割后的84个正方形图像分块的颜色特征、SIFT特征和LBP特征；
设a中行人i的第p个正方形图像分块的颜色特征为cxi,p，设b中行人j的第q个正方形图像分块的颜色特征为cyj,q，p和q的取值范围均为1～84；计算cxi,p与cyj,q之间的欧氏距离d(cxi,p,cyj,q)＝||cxi,p-cyj,q||2，然后通过高斯分布函数把距离值转换为颜色相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的颜色特征相似度Sim(i,j)＝∑s(cxi,p,cyj,q)/n为所有正方形图像分块颜色特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中颜色特征最佳匹配对象通过公式S＝arg max{Sim(i,j)}获取，即此时的j即为此时i的颜色特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的SIFT特征为Sxi,p，设b中行人j的第q个正方形图像分块的SIFT特征为Syj,q，p和q的取值范围均为1～84；计算Sxi,p与Syj,q之间的欧氏距离d(Sxi,p,Syj,q)＝||Sxi,p-Syj,q||2，然后通过高斯分布函数把距离值转换为SIFT特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的SIFT特征相似度Sim(i,j)'＝∑s'(Sxi,p,Syj,q)/n2为所有正方形图像分块SIFT特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中SIFT特征最佳匹配对象通过公式S'＝argmax{Sim(i,j)'}获取，即此时的j即为此时i的SIFT特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的LBP特征为Lxi,p，设b中行人j的第q个正方形图像分块的LBP特征为Lyj,q，p和q的取值范围均为1～84；计算Lxi,p与Lyj,q之间的欧氏距离d(Lxi,p,Lyj,q)＝||Lxi,p-Lyj,q||2，然后通过高斯分布函数把距离值转换为LBP特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的LBP特征相似度Sim(i,j)”＝∑s”(Lxi,p,Lyj,q)/n2为所有正方形图像分块LBP特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中LBP特征最佳匹配对象通过公式S”＝arg max{Sim(i,j)”}获取，即此时的j即为此时i的LBP特征最佳匹配对象；
步骤6、对单一特征的最佳匹配相似度的权重进行设置：
本发明通过文献“X.Wang,G.Doretto,T.Sebastian,J.Rittscher,andP.Tu.Shape and appearance context modeling.In ICCV,2007”提出的累计匹配特性曲线(Cumulative Matching Characteristic，CMC)曲线对单一特征的相似度进行评估，CMC是指前m个匹配目标中包含正确匹配结果的比率，而排名等级则是m个目标中相似度按降序排列的结果，通过实验可知颜色特征最佳匹配相似度对行人目标识别匹配贡献最大，SIFT特征最佳匹配相似度对行人目标识别匹配贡献其次，LBP特征最佳匹配相似度对行人目标识别匹配贡献最小；
步骤7、对行人目标各特征的最佳融合特征进行确定：
行人目标各特征进行融合后的融合特征为：颜色特征*α、SIFT特征*β、LBP特征*γ的线性组合，其中，α，β，γ为融合特征中各特征的权值，由步骤6可知α>β>γ；通过步骤6相似度评估的方法分别对各种融合特征进行相似度评估可得最佳融合特征的权值分别为：α＝0.8，β＝0.2，γ＝0；
步骤8、按照步骤7得到的最佳融合特征，分别对位于子区域a内的单摄像机拍摄的一幅图像中的行人目标和位于子区域b内的单摄像机拍摄的一幅图像中的行人目标提取最佳融合特征，然后利用步骤5中描述的匹配方法对两幅图像中的行人目标分别进行匹配，即：
运用步骤1对位于子区域a内的单摄像机拍摄的一幅图像中的行人目标和位于子区域b内的单摄像机拍摄的一幅图像进行行人目标检测，设a和b为检测结果，分别对a中的行人目标和b中的行人目标进行步骤2的处理，从而使得每个行人目标均形成大小为64×32个像素大小的图像，然后运用步骤3分别每个行人目标的图像进行分割处理，得到每个行人目标图像的84个正方形图像分块；再然后运用步骤4的方法分别提取每个行人目标图像分割后的84个正方形图像分块的颜色特征、SIFT特征和LBP特征，设a中行人i的第p个正方形图像分块的最佳融合特征为fxi,p，设b中行人j的第q个正方形图像分块的最佳融合特征为为fyj,q，p和q的取值范围均为1～84；计算fxi,p与fyj,q之间的欧氏距离d(fxi,p,fyj,q)＝||fxi,p-fyj,q||2，然后通过高斯分布函数把距离值转换为最佳融合特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的最佳融合特征相似度Sim(i,j)”'＝∑s”'(fxi,p,fyj,q)/n2为所有正方形图像分块最佳融合特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则最佳融合特征最佳匹配相似度为S”'＝arg max{Sim(i,j)”'}，此时的j即为此时i的最佳融合特征最佳匹配对象，将此时找到的j作为i的最终匹配结果。

Claims (2)

1.一种视频监控中跨盲区行人目标的识别匹配方法，其特征在于：包括如下步骤
步骤1、对单摄像机拍摄的行人目标进行检测，得到行人目标的RGB图像；
步骤2、对步骤1检测出的行人目标进行图像处理：
步骤2a、将步骤1检测检测到的RGB图像转化为HSV图像；
步骤2b、将步骤2a得到的HSV图像中的V通道分量图像进行颜色归一化处理得到平均亮度及对比度增强的新V通道分量图像；
步骤2c、将步骤2b得到的新V通道图像和步骤2a得到的HSV图像中H通道分量图像和S通道分量图像组合到一起得到新的HSV图像；
步骤2d、将步骤2c得到的新的HSV图像转化为RGB图像；
步骤2e、将步骤2d得到的RGB图像缩放为宽度w＝32，高度h＝64的64×32个像素大小的图像；
步骤3、对步骤2e得到的图像转换为HSV图像，然后将该HSV图像的H通道分量图像的密集采样网格上分割成互相重叠的正方形图像分块：每个正方形图像分块的边长m为10个像素单位，其中网格步长n＝4；该HSV图像的H通道分量图像在x方向上的重叠方式为：相邻正方形图像分块y方向相同，前一正方形图像分块x方向后半部分为后一正方形图像分块x方向前半部分；该HSV图像的H通道分量图像在y方向上的重叠方式为：相邻正方形图像分块x方向相同，前一正方形图像分块y方向后半部分为后一正方形图像分块y方向前半部分；按照这种重叠方式，该HSV图像的H通道分量图像在x方向上的正方形图像分块个数为：该HSV图像的H通道分量图像在y方向上的正方形图像分块个数为因此得到共14*6＝84个正方形图像分块；
步骤4、提取每个正方形图像分块的多种特征：
步骤4a、提取步骤3得到的84个正方形图像分块的颜色特征；
步骤4b、提取步骤3得到的84个正方形图像分块的SIFT特征；
步骤4c、提取步骤3得到的84个正方形图像分块的LBP特征；
步骤5、计算单一特征的最佳匹配相似度：
运用步骤1对单摄像机拍摄的两幅图像进行行人目标检测，设a和b为检测结果；分别对a中的行人目标和b中的行人目标进行步骤2的处理，从而使得每个行人目标均形成大小为64×32个像素大小的图像，然后运用步骤3分别每个行人目标的图像进行分割处理，得到每个行人目标图像的84个正方形图像分块；再然后运用步骤4的方法分别提取每个行人目标图像分割后的84个正方形图像分块的颜色特征、SIFT特征和LBP特征；
设a中行人i的第p个正方形图像分块的颜色特征为cxi,p，设b中行人j的第q个正方形图像分块的颜色特征为cyj,q，p和q的取值范围均为1～84；计算cxi,p与cyj,q之间的欧氏距离d(cxi,p,cyj,q)＝||cxi,p-cyj,q||2，然后通过高斯分布函数把距离值转换为颜色相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的颜色特征相似度Sim(i,j)＝∑s(cxi,p,cyj,q)/n2为所有正方形图像分块颜色特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中颜色特征最佳匹配对象通过公式S＝arg max{Sim(i,j)}获取，即此时的j即为此时i的颜色特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的SIFT特征为Sxi,p，设b中行人j的第q个正方形图像分块的SIFT特征为Syj,q，p和q的取值范围均为1～84；计算Sxi,p与Syj,q之间的欧氏距离d(Sxi,p,Syj,q)＝||Sxi,p-Syj,q||2，然后通过高斯分布函数把距离值转换为SIFT特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的SIFT特征相似度Sim(i,j)'＝∑s'(Sxi,p,Syj,q)/n2为所有正方形图像分块SIFT特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中SIFT特征最佳匹配对象通过公式S'＝arg max{Sim(i,j)'}获得，即此时的j即为此时i的SIFT特征最佳匹配对象；
设a中行人i的第p个正方形图像分块的LBP特征为Lxi,p，设b中行人j的第q个正方形图像分块的LBP特征为Lyj,q，p和q的取值范围均为1～84；计算Lxi,p与Lyj,q之间的欧氏距离d(Lxi,p,Lyj,q)＝||Lxi,p-Lyj,q||2，然后通过高斯分布函数把距离值转换为LBP特征相似度得分其中σ是高斯分布函数的带宽，定义行人i和行人j的LBP特征相似度Sim(i,j)”＝∑s”(Lxi,p,Lyj,q)/n2为所有正方形图像分块LBP特征相似度得分平均值，n2为正方形图像分块的总数，即n2＝84；以a中的行人i为参考模型，计算它与b中所有的行人j的相似度，则a和b中LBP特征最佳匹配对象通过公式S”＝arg max{Sim(i,j)”}，即此时的j即为此时i的LBP特征最佳匹配对象；
步骤6、对单一特征的最佳匹配相似度的权重进行设置：设颜色特征最佳匹配相似度对行人目标识别匹配贡献最大，设SIFT特征最佳匹配相似度对行人目标识别匹配贡献其次，设LBP特征最佳匹配相似度对行人目标识别匹配贡献最小；
步骤7、对行人目标各特征的最佳融合特征进行确定：
行人目标各特征进行融合后的最佳融合特征为：颜色特征*α、SIFT特征*β、LBP特征*γ的线性组合，其中，α，β，γ为最佳融合特征中各特征的权值，其中α>β>γ；
步骤8、按照步骤7得到的最佳融合特征，分别对位于子区域a内的单摄像机拍摄的一幅图像中的行人目标和位于子区域b内的单摄像机拍摄的一幅图像中的行人目标提取最佳融合特征，然后利用步骤5中描述的匹配方法对两幅图像中的行人目标分别进行匹配。
2.根据权利要求1所述的视频监控中跨盲区行人目标的识别匹配方法，其特征在于：α＝0.8，β＝0.2，γ＝0。
CN201410587361.0A 2014-10-28 2014-10-28 视频监控中跨盲区行人目标的识别匹配方法 Expired - Fee Related CN104318216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410587361.0A CN104318216B (zh) 2014-10-28 2014-10-28 视频监控中跨盲区行人目标的识别匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410587361.0A CN104318216B (zh) 2014-10-28 2014-10-28 视频监控中跨盲区行人目标的识别匹配方法

Publications (2)

Publication Number Publication Date
CN104318216A CN104318216A (zh) 2015-01-28
CN104318216B true CN104318216B (zh) 2017-09-29

Family

ID=52373446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410587361.0A Expired - Fee Related CN104318216B (zh) 2014-10-28 2014-10-28 视频监控中跨盲区行人目标的识别匹配方法

Country Status (1)

Country Link
CN (1) CN104318216B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295478A (zh) * 2015-06-04 2017-01-04 深圳市中兴微电子技术有限公司 一种图像特征提取方法和装置
CN106933867B (zh) * 2015-12-30 2020-02-21 杭州华为企业通信技术有限公司 一种图像查询方法和装置
CN109840498B (zh) * 2019-01-31 2020-12-15 华南理工大学 一种实时行人检测方法及神经网络、目标检测层
CN110263918A (zh) * 2019-06-17 2019-09-20 北京字节跳动网络技术有限公司 训练卷积神经网络的方法、装置、电子设备和计算机可读存储介质
CN112270765A (zh) * 2020-10-09 2021-01-26 百度(中国)有限公司 信息处理方法、装置、终端、电子设备以及存储介质
CN115100601A (zh) * 2022-06-30 2022-09-23 南京邮电大学 一种基于多视角特征群智融合的特定行人目标匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233007B1 (en) * 1998-06-22 2001-05-15 Lucent Technologies Inc. Method and apparatus for tracking position of a ball in real time
EP1128676A2 (en) * 2000-02-28 2001-08-29 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
CN102236785A (zh) * 2011-06-29 2011-11-09 中山大学 一种非重叠摄像机视点之间的行人匹配方法
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233007B1 (en) * 1998-06-22 2001-05-15 Lucent Technologies Inc. Method and apparatus for tracking position of a ball in real time
EP1128676A2 (en) * 2000-02-28 2001-08-29 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
CN102236785A (zh) * 2011-06-29 2011-11-09 中山大学 一种非重叠摄像机视点之间的行人匹配方法
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法

Also Published As

Publication number Publication date
CN104318216A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104318216B (zh) 视频监控中跨盲区行人目标的识别匹配方法
Chen et al. Pedestrian detection for autonomous vehicle using multi-spectral cameras
US12062251B2 (en) Device and method with image matching
CN110070010B (zh) 一种基于行人重识别的人脸属性关联方法
CN110008909B (zh) 一种基于ai的实名制业务实时稽核系统
US10262190B2 (en) Method, system, and computer program product for recognizing face
Heo et al. Pedestrian detection at night using deep neural networks and saliency maps
JP2018198053A (ja) 情報処理装置、情報処理方法、及びプログラム
Merad et al. Fast people counting using head detection from skeleton graph
Tiwari et al. A computer vision based framework for visual gun detection using SURF
WO2018049704A1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
KR101731804B1 (ko) 차량 번호판 인식 장치 및 방법
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
Zamberletti et al. Augmented text character proposals and convolutional neural networks for text spotting from scene images
US20200034649A1 (en) Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
Farajzadeh et al. Vehicle logo recognition using image matching and textural features
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
KR20160000533A (ko) 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
CN106603888A (zh) 图像颜色提取处理结构
Muddamsetty et al. Spatio-temporal saliency detection in dynamic scenes using local binary patterns
Rathnayake et al. An efficient approach towards image stitching in aerial images
CN107545270A (zh) 一种目标检测方法及系统
Sushma et al. Text detection in color images
CN107798285A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929