CN104376575A - 一种基于多摄像头监控的行人计数方法和装置 - Google Patents

一种基于多摄像头监控的行人计数方法和装置 Download PDF

Info

Publication number
CN104376575A
CN104376575A CN201310355884.8A CN201310355884A CN104376575A CN 104376575 A CN104376575 A CN 104376575A CN 201310355884 A CN201310355884 A CN 201310355884A CN 104376575 A CN104376575 A CN 104376575A
Authority
CN
China
Prior art keywords
pedestrian
image
camera
similarity
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310355884.8A
Other languages
English (en)
Other versions
CN104376575B (zh
Inventor
黄磊
李静雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HANWANG ZHIYUAN TECHNOLOGY Co.,Ltd.
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN201310355884.8A priority Critical patent/CN104376575B/zh
Publication of CN104376575A publication Critical patent/CN104376575A/zh
Application granted granted Critical
Publication of CN104376575B publication Critical patent/CN104376575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于多摄像头监控的行人计数方法和装置,应用于至少包含第一摄像头和第二摄像头的场景,涉及图像处理领域,用以实现对设置有多摄像头的大场景内的行人进行计数。本发明实施例提供的方法包括:获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在第一时刻拍摄的第二图像的重叠区域;获取第一图像中的第一数目、第二图像中的行人的第二数目,以及重叠区域中的行人的第三数目;根据第一数目、第二数目和第三数目,获取总数目。

Description

一种基于多摄像头监控的行人计数方法和装置
技术领域
本发明涉及图像处理领域,尤其涉及一种基于多摄像头监控的行人计数方法和装置。
背景技术
大型公共场所一般安装有摄像头,由于大型公共场所具有区域大的特点,而一个摄像头的监控区域有限,因此,为了全面监控大型公共场所,需要安装多个摄像头。不同摄像头的监控区域可能存在一定的重叠,将该重叠的区域称为重叠区域。目前,可以通过行人轮廓信息结合集合算法来实现单摄像头的监控区域内行人的计数;也可以通过结合行人的外观信息和摄像头的监控区域限制信息,实现对多摄像头的非重叠区域内行人的计数。
在上述实现行人计数的过程中,发明人发现现有技术中至少存在如下问题:利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数。
发明内容
本发明的实施例提供一种基于多摄像头监控的行人计数方法和装置,用以实现对设置有多摄像头的大场景内的行人进行计数。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供一种基于多摄像头监控的行人计数方法,应用于至少包含第一摄像头和第二摄像头的场景,所述方法包括:
获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
结合第一方面,在第一种可能的实现方式中,所述获取所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目,包括:
获取所述第一图像的所述重叠区域中的行人和所述第二图像的所述重叠区域中的行人组成的匹配对所构成的解空间,所述解空间包含至少一种匹配组,所述匹配组包含至少一个匹配对;
根据预设规则在所述解空间中确定第一匹配组;所述预设规则包括:所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果;所述第一行人与所述第二行人为所述第一匹配组中的一个匹配对;
将所述第一匹配组中包含的匹配对的数目作为所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,包括:所述第一行人与所述第二行人满足区域相似性。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足运动轨迹相似性。
结合第一方面的第二种可能的实现方式或者第三种可能的实现方式,在第四种可能的实现方式中,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足外观相似性。
结合第一方面的第二种可能的实现方式,在第五种可能的实现方式中,所述方法还包括:确定所述第一行人与所述第二行人满足区域相似性;具体包括:
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
当所述第一区域相似度大于或者等于第一阈值时,所述第一行人与所述第二行人满足区域相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第二行人相对于所述第一行人的第二区域相似度;当所述第一区域相似度与所述第二区域相似度中较小的值大于或者等于第二阈值时,所述第一行人与所述第二行人满足区域相似性。
结合第一方面的第三种可能的实现方式,在第六种可能的实现方式中,所述方法还包括:确定所述第一行人与所述第二行人满足运动轨迹相似性;具体包括:
获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
当所述第一区域相似度小于或者等于第三阈值时,所述第一行人与所述第二行人满足运动轨迹相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第二行人相对于所述第一行人的第二运动轨迹相似度;当所述第一区域相似度与所述第二区域相似度中较小的值小于或者等于第四阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
结合第一方面的第三种可能的实现方式,在第七种可能的实现方式中,所述方法还包括:确定所述第一行人与所述第二行人满足外观相似性;具体包括:
获取所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征;
根据所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征确定所述第一行人与所述第二行人的外观相似度;
当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
结合第一方面的第七种可能的实现方式,在第八种可能的实现方式中,所述第一匹配组满足第一外观相似度。
第二方面,提供一种基于多摄像头监控的行人计数装置,应用于至少包含第一摄像头和第二摄像头的场景,所述装置包括:
第一获取单元,用于获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
第二获取单元,用于获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
第三获取单元,用于根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
本发明实施例提供的基于多摄像头监控的行人计数方法和装置,应用于至少包含第一摄像头和第二摄像头的场景,通过获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在该时刻拍摄的第二图像的重叠区域,以及第一图像中的行人的第一数目、第二图像中的行人的第二数目和该重叠区域中的行人的第三数目;并根据第一数目、第二数目和第三数目,获取总数目,从而实现对设置有多摄像头的大场景内的行人进行准确的数目统计。解决了现有技术中,利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数的问题。
附图说明
图1为本发明实施例提供的一种基于多摄像头监控的行人计数方法的流程图;
图2为本发明实施例提供的另一种基于多摄像头监控的行人计数方法的流程图;
图3为本发明实施例提供的一种基于多摄像头监控的行人计数装置的结构示意图;
图4为本发明实施例提供的另一种基于多摄像头监控的行人计数装置的结构示意图;
图5为本发明实施例提供的另一种基于多摄像头监控的行人计数装置的结构示意图。
具体实施方式
下面结合附图对本发明实施例提供的一种基于多摄像头监控的行人计数方法和装置进行示例性说明。
一方面,参见图1,为本发明实施例提供的一种基于多摄像头监控的行人计数方法,应用于至少包含第一摄像头和第二摄像头的场景,所述方法包括:
101:获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
示例性的,本发明实施例提供的基于多摄像头监控的行人计数方法可以应用于设置有至少两个摄像头、且其中至少两个摄像头的监控区域存在重叠区域的情况下对行人进行计数的场景中。两个摄像头的监控区域的重叠区域可以体现为同一时刻这两个摄像头所拍摄的图像的重叠区域。
本发明实施例对获取第一图像与第二图像的重叠区域的方法不进行限定,例如,当第一摄像头和第二摄像头的内外部参数已知时,可以通过这些参数直接获取这两个摄像头所拍摄的图像的重叠区域;当第一摄像头和第二摄像头的内外部参数未知时,可以采用SIFT(ScaleInvariant Feature Transform,尺度不变特征变换)算法获取这两个摄像头所拍摄的图像的重叠区域。其中,摄像头的内部参数是指摄像头固有的、与位置参数无关的内部几何与光学参数,包括图像中心坐标、焦距、比例因子和镜头畸变等;外部参数是指摄像头坐标系相对于某一世界坐标系的三维位置和方向关系,包括旋转矩阵和一个平移向量。
可选的,该方法还可以包括:获取第一图像和第二图像。
102:获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
示例性的,获取第一数目和第二数目可以通过现有技术中针对单摄像头所拍摄的图像中的行人进行计数的方法实现,本发明实施例对此不进行限定,例如,基于检测跟踪的行人计数算法、基于底层特征映射的行人计数算法等。
进一步地,所述获取所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目,包括:
(一)获取所述第一图像的所述重叠区域中的行人和所述第二图像的所述重叠区域中的行人组成的匹配对所构成的解空间,所述解空间包含至少一种匹配组,所述匹配组包含至少一个匹配对;
其中,对于匹配对,第一图像中的任意一个行人与第二图像中的任意一个行人可以组成一个匹配对;对于匹配组,第一图像中的行人和第二图像中的行人组成的一种匹配结果,可以包含至少一个匹配对。第一图像中的行人和第二图像中的行人可以组成一种或者多种匹配组,在一个匹配组中,每个行人至多可以与一个行人组成匹配对;对于解空间,将所有的匹配组中的所有匹配对组成的集合称为解空间。
需要说明的是,与重叠区域中的行人被重复计数的可能性相比,非重叠区域中的行人被重复计数的可能性可以忽略,因此,本发明实施例中以重叠区域中的匹配对、匹配组、解空间进行说明。
(二)根据预设规则在所述解空间中确定第一匹配组;所述预设规则包括:所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果;所述第一行人与所述第二行人为所述第一匹配组中的一个匹配对;
第一行人和第二行人满足第一匹配效果时,可以将第一行人和第二行人作为同一行人。由于同一行人在不同摄像头的重叠区域内存在一定的位置对应关系,同一时间段同一行人虽然出现在不同摄像头下,但其运动轨迹存在规律可循,行人的外观特征(包括轮廓特征和颜色特征等),也是行人个体的一个显著特征,因此可以通过区域相似性、运动轨迹相似性、外观相似性确定是否可以将第一行人和第二行人作为同一行人。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,包括:
1)所述第一行人与所述第二行人满足区域相似性。
该情况下,所述方法还包括:确定所述第一行人与所述第二行人满足区域相似性;所述确定所述第一行人与所述第二行人满足区域相似性,具体可以包括但不限于以下两种方式:
A、根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
当所述第一区域相似度大于或者等于第一阈值时,所述第一行人与所述第二行人满足区域相似性。
B、根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第二行人相对于所述第一行人的第二区域相似度;
当所述第一区域相似度与所述第二区域相似度中较小的值大于或者等于第二阈值时,所述第一行人与所述第二行人满足区域相似性。
2)所述第一行人与所述第二行人满足运动轨迹相似性。
该情况下,所述方法还包括:确定所述第一行人与所述第二行人、满足运动轨迹相似性;所述确定所述第一行人与所述第二行人满足运动轨迹相似性,具体可以包括但不限于以下两种方式:
A、获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
当所述第一区域相似度小于或者等于第三阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
B、获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第二行人相对于所述第一行人的第二运动轨迹相似度;
当所述第一区域相似度与所述第二区域相似度中较小的值小于或者等于第四阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
3)所述第一行人与所述第二行人满足外观相似性。
该情况下,所述方法还包括:确定所述第一行人与所述第二行人是否满足外观相似性;所述确定所述第一行人与所述第二行人是否满足外观相似性,具体可以包括:
获取所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征;
根据所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征确定所述第一行人与所述第二行人的外观相似度;
当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
需要说明的是,为了提高匹配精度,一般采用1)中的方式B确定第一行人与第二行人满足区域相似性,2)中的方式B确定第一行人与第二行人满足运动轨迹相似性。第一阈值、第二阈值、第三阈值、第四阈值、第五阈值均可以为预设的值或者预配置的值。第一摄像头到第二摄像头的单应性矩阵是指,第一摄像头的监控区域中的某一个目标映射到第二摄像头的监控区域中的位置,具体可以为第一图像中的某一个目标映射到第二图像中的位置。
本发明实施例对获取单应性矩阵的方法、获取行人的运动轨迹的方法、获取行人的基于梯度图像的边缘特征的方法等不进行限定。
一般而言,在第一行人和第二行人仅满足区域相似性、或者满足区域相似性和运动轨迹相似性、或者满足区域相似性和外观相似性、或者满足区域相似性、运动轨迹相似性和外观相似性等的情况下,可以认为第一行人和第二行人满足第一匹配效果,即可以将第一行人和第二行人作为同一行人。
进一步可选的,所述第一匹配组满足第一外观相似度。
示例性的,在实际实现过程中,如果有至少两个匹配组中的所有匹配对满足第一匹配效果,则可以将满足第一外观相似度的匹配组作为第一匹配组。满足第一外观相似度的匹配组是指满足最佳匹配效果的匹配组。具体可以参见下述具体实施例的相关部分。
(三)将所述第一匹配组中包含的匹配对的数目作为所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目。
示例性的,在实际实现时,第一图像的重叠区域中的行人的数目与第二图像的重叠区域中的行人的数目可能相等,也可能不相等,因此需要对第一行人和第二行人进行匹配,从而获取第三数目。
103:根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
示例性的,对于仅包含两个摄像头的场景:总数目=第一数目+第二数目-第三数目。
对于包含多个摄像头的场景,可能存在多个摄像头所拍摄的图像之间有重叠区域的情况,例如,包含摄像头1、摄像头2和摄像头3的场景,可能存在摄像头1、摄像头2和摄像头3所拍摄的图像1、2、3存在重叠区域的情况。因此,总数目可以通过以下公式获取:
N all = Σ i = 1 M N i - Σ i ≤ i ≤ j ≤ M N i , j + Σ i ≤ i ≤ j ≤ k ≤ M N i , j , k + · · · + ( - 1 ) M - 1 N 1,2 , · · · , M
其中,Nall表示总数目,Ni表示第i个摄像头拍摄的图像中行人的数目,Ni,j表示第i个摄像头拍摄的图像和第j个摄像头拍摄的图像的重叠区域中行人的数目,M表示该场景中摄像头的个数,Ni,j,k表示第i个摄像头拍摄的图像、第j个摄像头拍摄的图像和第k个摄像头拍摄的图像的重叠区域中行人的数目,N1,2,…,M表示第M个摄像头拍摄的M个图像的重叠区域中行人的数目。需要说明的是,每个Ni相当于一个第一数目和/或一个第二数目。
本发明实施例提供的基于多摄像头监控的行人计数方法,应用于至少包含第一摄像头和第二摄像头的场景,通过获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在该时刻拍摄的第二图像的重叠区域,以及第一图像中的行人的第一数目,第二图像中的行人的第二数目,以及第一图像的该重叠区域与第二图像的该重叠区域中相匹配的行人的第三数目;并根据第一数目、第二数目和第三数目,获取总数目,从而实现对设置有多摄像头的大场景内的行人进行准确的数目统计。解决了现有技术中,利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数的问题。
下面通过一个具体的实施例对上述方法进行说明。本实施例的场景为:只包含第一摄像头和第二摄像头。参见图2,该方法包括:
201:获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在该时刻拍摄的第二图像;
202:特征点提取:分别对第一图像和第二图像进行特征点提取;
本实施例采用SIFT特征提取算法对第一图像和第二图像进行SIFT特征点提取。该算法主要包括特征点检测和特征点描述两部分。
特征点检测:构建尺度空间,通过高斯核卷积模糊图像,生成多尺度图像,将多尺度图像生成DOG(Difference Of Gaussian,高斯差分)图像。在DOG图像中扫描每一个像素及其同层、上一层和下一层的所有邻接像素,当该像素是所有邻接像素的最大值或者最小值时,将该像素标记为特征点。
特征点描述:通过计算特征点及周围像素的梯度方向和幅值,并通过直方图统计的方法得到该特征点的主方向,进而得到特征点描述。其中,为了减少光照变化产生的影响,可以将特征向量进行归一化;为了减低非线性光照的影响,在统计梯度直方图时,可以将所有大于某个阈值(通常为0.2)的梯度值都设置为这个阈值。
203:特征点匹配:对第一图像和第二图像进行特征点匹配,生成第一摄像头到第二摄像头的单应性矩阵以及第二摄像头到第一摄像头的单应性矩阵;
首先,分别将步骤202中得到的第一图像的特征点和第二图像的特征点生成K-D树(即K维搜索树);其次,在第一图像中取一特征点作为待匹配特征点,使用BBF(Best-Bin-First,最优节点优先算法)在第二图像的K-D树中查询待匹配特征点的最佳匹配特征点;类似地,可以得到第二图像中的某一特征点在第一图像中的最佳匹配特征点。
将待匹配特征点与其所对应的最佳匹配特征点称为一个特征点对,一般,4个特征点对就可以计算得到单应性矩阵。但是,由于基于BBF算法的SIFT特征点匹配结果可能会存在部分误差,进而影响单应性矩阵计算的准确性。因此,可以采用RANSAC(RANdom SAmpleConsensus,随机抽样一致)算法来消除错误匹配。
需要说明的是,当待匹配特征点均为第一图像中的特征点时,所得到的单应性矩阵为第一摄像头到第二摄像头的单应性矩阵;类似的,当待匹配特征点均为第二图像中的特征点时,所得到的单应性矩阵为第二摄像头到第一摄像头的单应性矩阵。第一摄像头到第二摄像头的单应性矩阵与第二摄像头到第一摄像头的单应性矩阵互为逆矩阵。
例如,第一图像中的特征点与第二图像中的特征点之间的单应性关系如公式(1)和(2)所示:
X1′(p)=HX1(p)   (1)
X′2(p)=H-1X2(p)   (2)
H = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 - - - ( 3 )
其中,X1(p)表示第一图像中的待匹配特征点p的位置,X1′(p)表示通过公式(1)得到的第一图像中的待匹配点p在第二图像中的位置;X2(p)表示第二图像中的待匹配特征点p的位置;X2(p)表示通过公式(2)得到的第二图像中的待匹配点p在第一图像中的位置。H表示第一摄像头到第二摄像头的单应性矩阵,是一个3×3的矩阵,见公式(3);H-1是H的逆矩阵,表示第二摄像头到第一摄像头的单应性矩阵。
204:根据单应性矩阵获取第一图像和第二图像的重叠区域;
这里的单应性矩阵可以为:第一摄像头到第二摄像头的单应性矩阵和/或第二摄像头到第一摄像头的单应性矩阵。
当第一图像中的某一特征点通过单应性矩阵得到的最佳匹配点在第二图像中时,认为该匹配特征点对在第一图像和第二图像的重叠区域中;或者,当第二图像中的某一特征点通过单应性矩阵得到的最佳匹配点在第一图像中时,认为该匹配特征点对在第一图像和第二图像的重叠区域中。根据此方法,将第一图像中的所有特征点进行单应性矩阵计算,和/或第二图像中的所有特征点进行单应性矩阵计算,即可得到第一图像和第二图像的重叠区域。
参见图2,可以将步骤202-步骤204一起称为重叠区域获取过程。
205:获取第一图像中的行人的第一数目,第二图像中的行人的第二数目;
可以通过基于检测跟踪的行人计数算法、基于底层特征映射的行人计数算法等实现。
206:获取第一图像的重叠区域中的行人和第二图像的重叠区域中的行人组成的匹配对所构成的解空间,该解空间包含至少一种匹配组,匹配组包含至少一个匹配对;
例如,第一图像的重叠区域中有3个行人,分别为A1、A2、A3,第二图像的重叠区域中有3个行人,分别为B1、B2、B3,则A1、A2、A3、B1、B2、B3可以组成以下六种匹配组,每种匹配组包含3个匹配对,如表1所示:
表1
207:确定第一图像的重叠区域中的第一行人和第二图像的重叠区域中的第二行人;
第一行人所占的区域和第二行人所占的区域可以包括一个或者多个特征点。
208:对第一行人和第二行人进行第一匹配效果检测;
1)对第一行人和第二行人进行区域相似性度量;具体可以包括:
i)根据第一摄像头到第二摄像头的单应性矩阵、第一行人所占的区域和第二行人所占的区域,获取第一行人相对于第二行人的第一区域相似度;
例如,可以根据公式 simi ( R ( O a i ) → R ( O b j ) ) = H ij R ( O a i ) ∩ R ( O b j ) H ij R ( O a i ) ∪ R ( O b j ) , 得到第一行人相对于所述第二行人的所述第一区域相似度。其中,表示第一区域相似度,Hij表示第一摄像头到第二摄像头的单应性矩阵,表示第一摄像头i拍摄的第一行人所占的区域,表示第二摄像头j所拍摄的第二行人所占的区域。
ii)根据第二摄像头到第一摄像头的单应性矩阵、第一行人所占的区域和第二行人所占的区域,获取第二行人相对于第一行人的第二区域相似度;
例如,可以根据公式 simi ( R ( O b j ) → R ( O a i ) ) = H ji R ( O b j ) ∩ R ( O a i ) H ji R ( O b j ) ∪ R ( O a i ) , 得到第二行人相对于第一行人的所述第二区域相似度。其中,表示所述第二区域相似度,Hji表示第二摄像头到所述第一摄像头的单应性矩阵。
iii)当第一区域相似度与第二区域相似度中较小的值大于或者等于第二阈值时,第一行人与第二行人满足区域相似性。其中,第二阈值通常可以为0.5。
需要说明的是,为了与上述实施例在描述上保持一致,本实施例中在没有出现第一阈值的情况下,使用了第二阈值,以及下述步骤208中,在没有出现第三阈值的情况下,使用了第四阈值。
若第一行人和第二行人不满足区域相似性,则该第一行人和第二行人组成的匹配对所属的匹配组不可以成为第一匹配组,因此,不执行以下动作;相反,该第一行人和第二行人组成的匹配对所属的匹配组可能成为第一匹配组,因此执行以下步骤。例如,如表1所示,若第一行人为A1、第二行人为B1,则当A1与B1不满足区域相似性时,第一种匹配组和第二种匹配组不可以成为第一匹配组。
2)在第一行人和第二行人满足区域相似性的情况下,对第一行人和第二行人进行运动轨迹相似性度量;具体可以包括:
i)获取第一摄像头在第二时刻拍摄的第三图像和第二摄像头在第二时刻拍摄的第四图像;
ii)根据第一图像与第三图像获取第一行人的运动轨迹;根据第二图像和第四图像获取第二行人的运动轨迹;
可以将步骤i)、ii)称为运动轨迹特征提取,具体可以采用KLT特征点跟踪算法(Kanade-Lucas-Tomasi Feature Tracker)进行运动轨迹特征提取,当然也可以通过其他算法进行运动轨迹特征提取,最终获得第一行人的运动轨迹和第二行人的运动轨迹。
iii)根据第一摄像头到第二摄像头的单应性矩阵、第一行人的运动轨迹和第二行人的运动轨迹,获取第一行人相对于第二行人的第一运动轨迹相似度;
例如,可以根据公式 simi ( L ( O a i ) → L ( O b j ) ) = exp ( - d ( L ( O a i ) → L ( O b j ) ) ) , 得到第一行人相对于第二行人的第一运动轨迹相似度。其中, d ( L ( O a i ) → L ( O b j ) ) = 1 T Σ 1 T - 1 ( H ij l T a - t ( O a i ) - l T b - t ( O b j ) ) 2 ) , simi ( L ( O a i ) → L ( O b j ) ) 表示第一运动轨迹相似度,表示第一摄像头i拍摄的第一行人的运动轨迹,表示第二摄像头j所拍摄的第二行人的运动轨迹,表示第一行人的运动轨迹到第二行人的运动轨迹的欧几里得距离,T表示轨迹的长度,表示第一行人在t时刻的位置,表示第二行人在t时刻的位置。
iv)根据第二摄像头到第一摄像头的单应性矩阵、第一行人的运动轨迹和第二行人的运动轨迹,获取第二行人相对于第一行人的第二运动轨迹相似度;
例如,可以根据公式 simi ( L ( O b j ) → L ( O a i ) ) = exp ( - d ( L ( O b j ) → L ( O a i ) ) ) , 得到第二行人相对于第一行人的第二运动轨迹相似度。其中, d ( L ( O b j ) → L ( O a i ) ) = 1 T Σ 1 T - 1 ( H ji l T b - t ( O b j ) - l T a - t ( O a i ) ) 2 ) , simi ( L ( O b j ) → L ( O a i ) ) 表示第一运动轨迹相似度,表示第二行人的运动轨迹到第一行人的运动轨迹的欧几里得距离。
v)当第一区域相似度与第二区域相似度中较小的值小于或者等于第四阈值时,第一行人与第二行人满足运动轨迹相似性。
若第一行人和第二行人不满足运动轨迹相似性,则该第一行人和第二行人组成的匹配对所属的匹配组不可以成为第一匹配组,因此,不执行以下动作;相反,该第一行人和第二行人组成的匹配对所属的匹配组可能成为第一匹配组,因此执行以下步骤。例如,如表1所示,若第一行人为A1、第二行人为B1,则当A1与B1不满足运动轨迹相似性时,第一种匹配组和第二种匹配组不可以成为第一匹配组。
3)在第一行人和第二行人满足运动轨迹相似性的情况下,对第一行人和第二行人进行外观相似性度量;具体可以包括:
i)获取第一行人的基于梯度图像的边缘特征和第二行人的基于梯度图像的边缘特征;
ii)根据所述第一行人的基于梯度图像的边缘特征和第二行人的基于梯度图像的边缘特征确定第一行人与第二行人的外观相似度;
例如,可以根据公式 simi ( O a i ( GULBP ) , O b j ( GULBP ) ) = 1 2 πσ e - d ( O a i ( GULBP ) , O b i ( GULBP ) / 2 σ 2 ) 得到第一行人与第二行人的外观相似度。其中,为第一行人的边缘特征,为第二行人的边缘特征,表示欧几里得距离,σ表示方差。
iii)当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
在第一行人和第二行人满足外观相似性的情况下,执行步骤209.
209:对该第一行人和第二行人组成的匹配对所属的匹配组中的其他匹配对进行第一匹配效果检测;
具体方法可以参见上述步骤208中的步骤1)、2)、3)。
210:若解空间中的某一个匹配组中的所有匹配对均满足第一匹配效果,则将该匹配组作为第一匹配组;
需要说明的是,在实际实现过程中,如果有至少两个匹配组中的所有匹配对满足第一匹配效果,则可以将满足第一外观相似度的匹配组作为第一匹配组。满足第一外观相似度的匹配组是指满足最佳匹配效果的匹配组。例如,可以根据以下公式得到每个匹配组的外观相似度:
D = arg max D ∈ Σ Π d i , a j , b p ( O a i ( GULBP ) , O b j ( GULBP ) ) | d i , a j , b ,
其中, p ( O a i ( GULBP ) , O b j ( GULBP ) ) | d i , a j , b = simi ( O a i ( GULBP ) , O b j ( GULBP ) ) , D表示一个匹配组,∑表示解空间。
211、将第一匹配组中的所有匹配对的个数作为第一图像的重叠区域与第二图像的重叠区域中相匹配的行人的第三数目;
212:对第一数目与第二数目进行求和运算,再减去第三数目,得到总数目。
本发明实施例提供的基于多摄像头监控的行人计数方法,通过获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在该时刻拍摄的第二图像的重叠区域,以及第一图像中的行人的第一数目、第二图像中的行人的第二数目,和该重叠区域中的行人的第三数目;并对第一数目与第二数目进行求和运算,再减去第三数目,得到总数目,从而实现对设置有多摄像头的大场景内的行人进行准确的数目统计。解决了现有技术中,利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数的问题。
一方面,参见图3,为本发明实施例提供的一种基于多摄像头监控的行人计数装置30,应用于至少包含第一摄像头和第二摄像头的场景,所述装置30包括:
第一获取单元301,用于获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
第二获取单元302,用于获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
第三获取单元303,用于根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
进一步地,所述第二获取单元302具体用于,
获取所述第一图像的所述重叠区域中的行人和所述第二图像的所述重叠区域中的行人组成的匹配对所构成的解空间,所述解空间包含至少一种匹配组,所述匹配组包含至少一个匹配对;
根据预设规则在所述解空间中确定第一匹配组;所述预设规则包括:所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果;所述第一行人与所述第二行人为所述第一匹配组中的一个匹配对;
将所述第一匹配组中包含的匹配对的数目作为所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,包括:所述第一行人与所述第二行人满足区域相似性。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足运动轨迹相似性。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足外观相似性。
进一步可选的,参见图4,所述装置还包括:
确定单元304,用于确定所述第一行人与所述第二行人满足区域相似性;
所述确定单元304具体用于,根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
当所述第一区域相似度大于或者等于第一阈值时,所述第一行人与所述第二行人满足区域相似性;或者,所述确定单元304还具体用于,根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第二行人相对于所述第一行人的第二区域相似度;当所述第一区域相似度与所述第二区域相似度中较小的值大于或者等于第二阈值时,所述第一行人与所述第二行人满足区域相似性。
进一步可选的,所述确定单元304还用于,确定所述第一行人与所述第二行人满足运动轨迹相似性;
所述确定单元304具体用于,获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
当所述第一区域相似度小于或者等于第三阈值时,所述第一行人与所述第二行人满足运动轨迹相似性;或者,所述确定单元304还具体用于,根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第二行人相对于所述第一行人的第二运动轨迹相似度;当所述第一区域相似度与所述第二区域相似度中较小的值小于或者等于第四阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
进一步可选的,所述确定单元304还用于,确定所述第一行人与所述第二行人满足外观相似性;
所述确定单元304具体用于,获取所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征;
根据所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征确定所述第一行人与所述第二行人的外观相似度;
当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
可选的,所述第一匹配组满足第一外观相似度。
本发明实施例提供的基于多摄像头监控的行人计数装置,应用于至少包含第一摄像头和第二摄像头的场景,通过获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在该时刻拍摄的第二图像的重叠区域,以及第一图像中的行人的第一数目、第二图像中的行人的第二数目和该重叠区域中的行人的第三数目;并根据第一数目、第二数目和第三数目,获取总数目,从而实现对设置有多摄像头的大场景内的行人进行准确的数目统计。解决了现有技术中,利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数的问题。
一方面,参见图5,为本发明实施例提供的另一种基于多摄像头监控的行人计数装置30,应用于至少包含第一摄像头和第二摄像头的场景,所述装置30包括:存储器501和处理器502,其中,
存储器501用于存储一组代码,该代码用于控制处理器502执行以下动作:
获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
进一步地,处理器502具体用于,获取所述第一图像的所述重叠区域中的行人和所述第二图像的所述重叠区域中的行人组成的匹配对所构成的解空间,所述解空间包含至少一种匹配组,所述匹配组包含至少一个匹配对;
根据预设规则在所述解空间中确定第一匹配组;所述预设规则包括:所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果;所述第一行人与所述第二行人为所述第一匹配组中的一个匹配对;
将所述第一匹配组中包含的匹配对的数目作为所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,包括:所述第一行人与所述第二行人满足区域相似性。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足运动轨迹相似性。
可选的,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足外观相似性。
进一步可选的,处理器502还用于,确定所述第一行人与所述第二行人满足区域相似性;具体用于:
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
当所述第一区域相似度大于或者等于第一阈值时,所述第一行人与所述第二行人满足区域相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第二行人相对于所述第一行人的第二区域相似度;当所述第一区域相似度与所述第二区域相似度中较小的值大于或者等于第二阈值时,所述第一行人与所述第二行人满足区域相似性。
进一步可选的,处理器502还用于,确定所述第一行人与所述第二行人满足运动轨迹相似性;具体用于:
获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
当所述第一区域相似度小于或者等于第三阈值时,所述第一行人与所述第二行人满足运动轨迹相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第二行人相对于所述第一行人的第二运动轨迹相似度;当所述第一区域相似度与所述第二区域相似度中较小的值小于或者等于第四阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
进一步可选的,处理器502还用于,确定所述第一行人与所述第二行人满足外观相似性;具体用于:
获取所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征;
根据所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征确定所述第一行人与所述第二行人的外观相似度;
当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
可选的,所述第一匹配组满足第一外观相似度。
本发明实施例提供的基于多摄像头监控的行人计数装置,应用于至少包含第一摄像头和第二摄像头的场景,通过获取第一摄像头在第一时刻拍摄的第一图像与第二摄像头在该时刻拍摄的第二图像的重叠区域,以及第一图像中的行人的第一数目、第二图像中的行人的第二数目和该重叠区域中的行人的第三数目;并根据第一数目、第二数目和第三数目,获取总数目,从而实现对设置有多摄像头的大场景内的行人进行准确的数目统计。解决了现有技术中,利用对单摄像头的监控区域内的行人进行计数的方法和对多摄像头的非重叠区域内的行人进行计数的方法,均无法全面而准确地对多摄像头的监控区域内的行人进行计数的问题。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于多摄像头监控的行人计数方法,其特征在于,应用于至少包含第一摄像头和第二摄像头的场景,所述方法包括:
获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
2.根据权利要求1所述的方法,其特征在于,所述获取所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目,包括:
获取所述第一图像的所述重叠区域中的行人和所述第二图像的所述重叠区域中的行人组成的匹配对所构成的解空间,所述解空间包含至少一种匹配组,所述匹配组包含至少一个匹配对;
根据预设规则在所述解空间中确定第一匹配组;所述预设规则包括:所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果;所述第一行人与所述第二行人为所述第一匹配组中的一个匹配对;
将所述第一匹配组中包含的匹配对的数目作为所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目。
3.根据权利要求2所述的方法,其特征在于,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,包括:所述第一行人与所述第二行人满足区域相似性。
4.根据权利要求3所述的方法,其特征在于,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足运动轨迹相似性。
5.根据权利要求3或4所述的方法,其特征在于,所述第一图像的所述重叠区域中的第一行人与所述第二图像的所述重叠区域中的第二行人满足第一匹配效果,还包括:所述第一行人与所述第二行人满足外观相似性。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:确定所述第一行人与所述第二行人满足区域相似性;具体包括:
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第一行人相对于所述第二行人的第一区域相似度;
当所述第一区域相似度大于或者等于第一阈值时,所述第一行人与所述第二行人满足区域相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人所占的区域和所述第二行人所占的区域,获取所述第二行人相对于所述第一行人的第二区域相似度;当所述第一区域相似度与所述第二区域相似度中较小的值大于或者等于第二阈值时,所述第一行人与所述第二行人满足区域相似性。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:确定所述第一行人与所述第二行人满足运动轨迹相似性;具体包括:
获取所述第一摄像头在第二时刻拍摄的第三图像和所述第二摄像头在所述第二时刻拍摄的第四图像;
根据所述第一图像与所述第三图像获取所述第一行人的运动轨迹;根据所述第二图像和所述第四图像获取所述第二行人的运动轨迹;
根据所述第一摄像头到所述第二摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第一行人相对于所述第二行人的第一运动轨迹相似度;
当所述第一区域相似度小于或者等于第三阈值时,所述第一行人与所述第二行人满足运动轨迹相似性;或者,所述方法还包括:根据所述第二摄像头到所述第一摄像头的单应性矩阵、所述第一行人的运动轨迹和所述第二行人的运动轨迹,获取所述第二行人相对于所述第一行人的第二运动轨迹相似度;当所述第一区域相似度与所述第二区域相似度中较小的值小于或者等于第四阈值时,所述第一行人与所述第二行人满足运动轨迹相似性。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:确定所述第一行人与所述第二行人满足外观相似性;具体包括:
获取所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征;
根据所述第一行人的基于梯度图像的边缘特征和所述第二行人的基于梯度图像的边缘特征确定所述第一行人与所述第二行人的外观相似度;
当所述外观相似度大于或者等于第五阈值时,所述第一行人与所述第二行人满足外观相似性。
9.根据权利要求8所述的方法,其特征在于,所述第一匹配组满足第一外观相似度。
10.一种基于多摄像头监控的行人计数装置,其特征在于,应用于至少包含第一摄像头和第二摄像头的场景,所述装置包括:
第一获取单元,用于获取所述第一摄像头在第一时刻拍摄的第一图像与所述第二摄像头在所述第一时刻拍摄的第二图像的重叠区域;
第二获取单元,用于获取所述第一图像中的行人的第一数目、所述第二图像中的行人的第二数目,以及所述第一图像的所述重叠区域与所述第二图像的所述重叠区域中相匹配的行人的第三数目;
第三获取单元,用于根据所述第一数目、所述第二数目和所述第三数目,获取总数目。
CN201310355884.8A 2013-08-15 2013-08-15 一种基于多摄像头监控的行人计数方法和装置 Active CN104376575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310355884.8A CN104376575B (zh) 2013-08-15 2013-08-15 一种基于多摄像头监控的行人计数方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310355884.8A CN104376575B (zh) 2013-08-15 2013-08-15 一种基于多摄像头监控的行人计数方法和装置

Publications (2)

Publication Number Publication Date
CN104376575A true CN104376575A (zh) 2015-02-25
CN104376575B CN104376575B (zh) 2018-02-16

Family

ID=52555465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310355884.8A Active CN104376575B (zh) 2013-08-15 2013-08-15 一种基于多摄像头监控的行人计数方法和装置

Country Status (1)

Country Link
CN (1) CN104376575B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933656A (zh) * 2016-05-16 2016-09-07 国网山东省电力公司菏泽供电公司 一种关于物流人员的智能定位方法
CN106887014A (zh) * 2017-01-13 2017-06-23 中山大学 一种跨摄像头的行人轨迹匹配方法
CN107851321A (zh) * 2015-11-30 2018-03-27 华为技术有限公司 图像处理方法和双摄像头系统
CN108460449A (zh) * 2018-04-28 2018-08-28 深圳市银河风云网络系统股份有限公司 计数装置
CN109344746A (zh) * 2018-09-17 2019-02-15 曜科智能科技(上海)有限公司 行人计数方法、系统、计算机设备和存储介质
CN109709346A (zh) * 2018-12-07 2019-05-03 英华达(上海)科技有限公司 自动化细胞分析装置及其操作方法
CN109919119A (zh) * 2019-03-15 2019-06-21 百度在线网络技术(北京)有限公司 被操作物品处理方法及装置、服务器及计算机可读介质
CN111091025A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 图像处理方法、装置和设备
CN111738125A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 客户人数确定方法及装置
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303727A (zh) * 2008-07-08 2008-11-12 北京中星微电子有限公司 基于视频人数统计的智能管理方法及其系统
CN101339605A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 基于视频监控的人数检测系统及方法
GB2475104A (en) * 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303727A (zh) * 2008-07-08 2008-11-12 北京中星微电子有限公司 基于视频人数统计的智能管理方法及其系统
CN101339605A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 基于视频监控的人数检测系统及方法
GB2475104A (en) * 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
熊俊: "基于多摄像头协同模式的智能停车场管理系统的研究与应用", 《中国优秀硕士学位论文全文数据库》 *
阳小燕: "多摄像机协同的运动目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851321A (zh) * 2015-11-30 2018-03-27 华为技术有限公司 图像处理方法和双摄像头系统
CN107851321B (zh) * 2015-11-30 2020-09-11 华为技术有限公司 图像处理方法和双摄像头系统
CN105933656A (zh) * 2016-05-16 2016-09-07 国网山东省电力公司菏泽供电公司 一种关于物流人员的智能定位方法
CN106887014A (zh) * 2017-01-13 2017-06-23 中山大学 一种跨摄像头的行人轨迹匹配方法
CN106887014B (zh) * 2017-01-13 2019-10-15 中山大学 一种跨摄像头的行人轨迹匹配方法
CN108460449A (zh) * 2018-04-28 2018-08-28 深圳市银河风云网络系统股份有限公司 计数装置
CN109344746A (zh) * 2018-09-17 2019-02-15 曜科智能科技(上海)有限公司 行人计数方法、系统、计算机设备和存储介质
CN109344746B (zh) * 2018-09-17 2022-02-01 曜科智能科技(上海)有限公司 行人计数方法、系统、计算机设备和存储介质
CN111091025A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 图像处理方法、装置和设备
CN111091025B (zh) * 2018-10-23 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法、装置和设备
CN109709346A (zh) * 2018-12-07 2019-05-03 英华达(上海)科技有限公司 自动化细胞分析装置及其操作方法
CN109709346B (zh) * 2018-12-07 2022-08-02 英华达(上海)科技有限公司 自动化细胞分析装置及其操作方法
CN109919119A (zh) * 2019-03-15 2019-06-21 百度在线网络技术(北京)有限公司 被操作物品处理方法及装置、服务器及计算机可读介质
CN111738125A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 客户人数确定方法及装置
CN111738125B (zh) * 2020-06-16 2023-10-27 中国银行股份有限公司 客户人数确定方法及装置
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法
CN113420726B (zh) * 2021-08-20 2021-11-19 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法

Also Published As

Publication number Publication date
CN104376575B (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN104376575A (zh) 一种基于多摄像头监控的行人计数方法和装置
JP6475772B2 (ja) 視覚的測位によるナビゲーション装置およびその方法
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
CN103325112B (zh) 动态场景中运动目标快速检测方法
JP6586430B2 (ja) 車両位置の推定
Treible et al. Cats: A color and thermal stereo benchmark
US7929728B2 (en) Method and apparatus for tracking a movable object
Mishra et al. Segmenting “simple” objects using RGB-D
CN111210477B (zh) 一种运动目标的定位方法及系统
CN108830191B (zh) 基于改进环境测量模块emm及orb算法的移动机器人slam方法
CN101860729A (zh) 一种用于全方位视觉的目标跟踪方法
CN104851094A (zh) 一种基于rgb-d的slam算法的改进方法
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
Beyeler et al. Vision-based robust road lane detection in urban environments
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN104240231A (zh) 基于局部结构二进制模式的多源图像配准
Zhao et al. Human segmentation by geometrically fusing visible-light and thermal imageries
Chen et al. EIL‐SLAM: Depth‐enhanced edge‐based infrared‐LiDAR SLAM
CN110570474A (zh) 一种深度相机的位姿估计方法及系统
Barroso-Laguna et al. Hdd-net: Hybrid detector descriptor with mutual interactive learning
St-Charles et al. Online multimodal video registration based on shape matching
Huang et al. Event-based simultaneous localization and mapping: A comprehensive survey
Savinykh et al. Darkslam: Gan-assisted visual slam for reliable operation in low-light conditions
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200604

Address after: 100193, room 5, building 3, building 8, No. 356 northeast Wang Xi Road, Beijing, Haidian District

Patentee after: BEIJING HANWANG ZHIYUAN TECHNOLOGY Co.,Ltd.

Address before: 100193 Beijing, Haidian District, northeast Wang West Road, building three, floor 5, layer 8

Patentee before: HANWANG TECHNOLOGY Co.,Ltd.