CN113420726B - 基于俯视图像的区域去重客流统计方法 - Google Patents

基于俯视图像的区域去重客流统计方法 Download PDF

Info

Publication number
CN113420726B
CN113420726B CN202110957858.7A CN202110957858A CN113420726B CN 113420726 B CN113420726 B CN 113420726B CN 202110957858 A CN202110957858 A CN 202110957858A CN 113420726 B CN113420726 B CN 113420726B
Authority
CN
China
Prior art keywords
coordinate
passenger flow
overhead
image
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110957858.7A
Other languages
English (en)
Other versions
CN113420726A (zh
Inventor
徐子豪
郑翔
任必为
宋君
陶海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vion Intelligent Technology Co ltd
Original Assignee
Beijing Vion Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vion Intelligent Technology Co ltd filed Critical Beijing Vion Intelligent Technology Co ltd
Priority to CN202110957858.7A priority Critical patent/CN113420726B/zh
Publication of CN113420726A publication Critical patent/CN113420726A/zh
Application granted granted Critical
Publication of CN113420726B publication Critical patent/CN113420726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于俯视图像的区域去重客流统计方法,包括:使用俯视取像装置对目标区域监控,两个俯视取像装置的俯视图像具有监控重叠区域,拾取四个临界端点,获取各临界端点在两个俯视图像的监控重叠区域的坐标;根据四个临界端点对应的四组坐标计算出两个监控重叠区域之间的投影矩阵和坐标投影变换公式;获得两个俯视图像的行进轨迹,并得到撞线坐标和撞线时间,计算欧式距离和撞线时间间隔;判定出现在两个俯视图像中的目标行人是否为同一人。本发明解决了现有技术中的相邻两个取像装置的监控区域之间会有重叠部分,当行人经过此重叠部分时,会出现客流统计重复计数的问题,从而导致最终的客流统计结果不准确,影响了客流统计精度的问题。

Description

基于俯视图像的区域去重客流统计方法
技术领域
本发明涉及计算机视觉客流统计技术领域,具体而言,涉及一种基于俯视图像的区域去重客流统计方法。
背景技术
日常生活中,人们用到人数统计的一个典型情形是用客流统计帮助大型商场、购物中心、连锁店、超市等商业改善经营管理。合理准确的客流统计数据,可以帮助商家实现合理调整业态及店铺布局、提高商场人气、改善店铺KPI、改善消费者体验等目的。
传统的客流统计主要采用了人工计数的方法,对某一时点的客流量进行抽查,这种方法不能做到实时监测,同时准确率也较低。后来的部分商家引入了基于红外线计数以及重力感应方式的客流统计系统,红外线方式有红外对射、红外反射两种。其主要的原理是检测从红外感应区域经过的人体遮挡红外线使其产生的电阻变化、或是通过检测人体发出的特定波长红外线来判断人体数量。
随着人工智能时代的来临,利用计算机视觉技术实现客流统计势必会提高客流统计的精度,极大地降低客流统计的设备费用以及人工费用成本。
利用计算机视觉技术实现客流统计依托于视频采集技术,通常利用安装于建筑物顶部的取像装置采用垂直拍摄的方式采集经过目标区域的俯视视频,通过俯视视频提取到的俯视帧图像获取俯视视频中经过目标区域的行人的头部或肩部信息数据,在法律允许的范围内,对俯视帧图像中的行人的头部或肩部进行检测,获取行人的运动轨迹,并根据运动轨迹判定行人的与特定门店之间的出入关系。其核心技术是通过运动目标检测和运动目标跟踪拍摄的方式,在俯视帧图像中提取目标区域,在目标区域中利用检测算法实现客流的估算统计。由于俯视视频流是连续实时的目标区域的检测和分割,需要在每一帧俯视帧图像上不停地计算,并在每一帧俯视帧图像间的目标区域进行跟踪,把不同时间点的目标区域联系起来,从而获得行人正确的运动方向和运动轨迹。
取像装置安装后便具备了固定的监控区域,监控区域的范围大小取决于取像装置位于建筑物顶部的安装位置与地面之间的安装高度,实际情况往往是取像装置会受到安装高度的限制,导致单个的取像装置的监控区域无法完全覆盖需求长度的客流统计线,从而存在客流遗漏统计的问题。为克服此缺陷,现有技术中,通常需要利用并排安装的多个取像装置,共用其监控区域,以满足需求长度的客流统计线完全处于监控显示的状态,从而避免客流统计中出现遗漏。但是随之而来的问题是相邻两个取像装置的监控区域之间会有重叠部分,当行人经过此重叠部分时,会出现客流统计重复计数的问题,从而导致最终的客流统计结果不准确,影响了客流统计精度。因此,如何提高基于俯视图像利用检测算法进行的客流统计的精度,便成为现有技术中亟待解决的问题。
发明内容
本发明的主要目的在于提供一种基于俯视图像的区域去重客流统计方法,以解决现有技术中的相邻两个取像装置的监控区域之间会有重叠部分,当行人经过此重叠部分时,会出现客流统计重复计数的问题,从而导致最终的客流统计结果不准确,影响了客流统计精度的问题。
为了实现上述目的,本发明提供了一种基于俯视图像的区域去重客流统计方法,包括:步骤S1,使用间隔分布的多个俯视取像装置对目标区域监控,相邻两个俯视取像装置分别拍摄第一俯视视频和第二俯视视频,在相同时间点,由第一俯视视频中截取第一俯视图像,在第二俯视视频中截取第二俯视图像,第一俯视图像和第二俯视图像具有监控重叠区域,在监控重叠区域的环形边界线上拾取相连后构成四边形的四个临界端点,分别获取各临界端点在第一俯视图像上的第一坐标以及在第二俯视图像上的第二坐标;步骤S2,根据四个临界端点对应的四组第一坐标和第二坐标以及投影变换公式计算出第一俯视图像上的监控重叠区域与第二俯视图像上的监控重叠区域之间的投影矩阵,根据投影矩阵得到两个监控重叠区域之间的坐标投影变换公式;步骤S3,在第一俯视图像的监控重叠区域内标记出目标行人的第一行进轨迹,并获得第一行进轨迹与第一俯视图像中的客流统计线的交点处的第一撞线坐标和第一撞线时间,以及在第二俯视图像的监控重叠区域内标记出目标行人的第二行进轨迹,并获得第二行进轨迹与第二俯视图像中的客流统计线的交点处的第二撞线坐标和第二撞线时间,根据坐标投影变换公式获取第一撞线坐标在第二俯视图像中的投影坐标;步骤S4,计算投影坐标与第二撞线坐标之间的欧式距离,以及计算第一撞线时间与第二撞线时间的撞线时间间隔;当撞线时间间隔小于或等于预设时间,且欧式距离小于或等于预设距离时,判定出现在第一俯视图像中和第二俯视图像中的目标行人为同一人,进行减除计数客流统计;当撞线时间间隔大于预设时间,或欧式距离大于预设距离时,判定出现在第一俯视图像中和第二俯视图像中的目标行人非同一人,进行常规计数客流统计。
进一步地,监控重叠区域呈矩形状,四个临界端点为呈矩形状的监控重叠区域的四个顶点。
进一步地,监控重叠区域呈不规则形状,四个临界端点的连线为呈不规则形状的监控重叠区域的内接矩形。
进一步地,四个临界端点包括:第一临界端点,其在第一俯视图像上的第一坐标为(X1,Y1),在第二俯视图像上的第二坐标为(X1’,Y1’);第二临界端点,其在第一俯视图像上的第一坐标为(X2,Y2),在第二俯视图像上的第二坐标为(X2’,Y2’);第三临界端点,其在第一俯视图像上的第一坐标为(X3,Y3),在第二俯视图像上的第二坐标为(X3’,Y3’);第四临界端点,其在第一俯视图像上的第一坐标为(X4,Y4),在第二俯视图像上的第二坐标为(X4’,Y4’);根据四个临界端点的坐标,以及投影变换公式:
Figure 272686DEST_PATH_IMAGE001
………………………………………(1),
Figure 247596DEST_PATH_IMAGE002
………………………………………(2),
Figure 401496DEST_PATH_IMAGE003
………………………………………(3),
其中,n为临界端点的序数,Zn=1;X’表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;Y’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;Z’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像透视投影变换的中间变量;
计算得到第一俯视图像上的监控重叠区域与第二俯视图像上的监控重叠区域之间的投影矩阵
Figure 362630DEST_PATH_IMAGE004
,根据投影矩阵T得到两个监控重叠区域之间的坐标投影变换公式和公式。
进一步地,第一行进轨迹和第二行进轨迹均由对目标行人的头部中心点坐标的持续跟踪获得。
进一步地,第一行进轨迹和第二行进轨迹均由对目标行人的两个脚部关键点的中间点坐标的持续跟踪获得。
进一步地,预设时间大于等于1秒且小等于3秒。
进一步地,预设距离大于等于25像素且小于等于75像素。
进一步地,在步骤S4中,减除计数客流统计为对第一俯视图像中和第二俯视图像中的目标行人重复计数后减除统计一次。
进一步地,在减除计数客流统计或在常规计数客流统计中,当第一行进轨迹或第二行进轨迹在与客流统计线相撞时的延伸方向与进门方向线相同时,进行进门客流计数;当第一行进轨迹或第二行进轨迹在与客流统计线相撞时的延伸方向与进门方向线相反时,进行出门客流计数。
应用本发明的技术方案,首先,通过将多个俯视取像装置以间隔布置的方式对目标区域监控,确保了多个俯视取像装置所共同构成的拍摄区域能够可靠地将客流统计线完全覆盖,使得所有经过客流统计线的目标行人均能够被及时抓拍到,避免了因目标行人通过客流统计线而没有抓拍而导致计数统计误差过大的情况发生,保证了基于俯视视频,通过客流统计模型实现对特定门店的有效客流计数统计。
其次,通过在第一俯视视频中截取第一俯视图像,在第二俯视视频中截取第二俯视图像,并结合两者获取监控重叠区域,根据监控重叠区域的环形边界线上的四个临界端点的坐标获取第一俯视图像的监控重叠区域和第二俯视图像的监控重叠区域之间的坐标投影变换公式;进而根据坐标投影变换公式能够将第一俯视图像的监控重叠区域内的目标行人的第一行进轨迹与客流统计线的第一撞线坐标向第二俯视图像变换得到投影坐标,接着根据预设好的算法对投影坐标和第二撞线坐标进行判定,同时对撞线时间间进行计算判定,最终根据判定结果确定第一俯视图像中和第二俯视图像中的目标行人是否为同一人,基于此进行减除计数客流统计或常规计数客流统计,利用此技术方案,顺利地克服了因相邻俯视取像装置拍摄的俯视图像具有监控重叠区域而导致客流统计中重复计数的现象,确保客流统计的精确性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了根据本发明的一种可选实施例的基于俯视图像的区域去重客流统计方法的流程图;
图2示出了在实施本发明的基于俯视图像的区域去重客流统计方法中一种可选实施例的使用两个俯视取像装置对目标区域监控时,在一个相同时间点截取的俯视图像;
图3示出了图2中的截取的俯视图像中包含的第一俯视图像;
图4示出了图2中的截取的俯视图像中包含的第二俯视图像。
其中,上述附图包括以下附图标记:
10、第一俯视图像;11、第一行进轨迹;12、第一撞线坐标;20、第二俯视图像;21、第二行进轨迹;22、第二撞线坐标;30、监控重叠区域;31、环形边界线;40、临界端点;41、第一临界端点;42、第二临界端点;43、第三临界端点;44、第四临界端点;50、客流统计线;60、投影坐标;70、欧式距离。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”、“和”、“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决现有技术中的相邻两个取像装置的监控区域之间会有重叠部分,当行人经过此重叠部分时,会出现客流统计重复计数的问题,从而导致最终的客流统计结果不准确,影响了客流统计精度的问题,本发明提供了一种基于俯视图像的区域去重客流统计方法。
图1是根据本发明实施例的基于俯视图像的区域去重客流统计方法的流程图。如图1所示,基于俯视图像的区域去重客流统计方法包括的步骤如下:步骤S1,使用间隔分布的多个俯视取像装置对目标区域监控,相邻两个俯视取像装置分别拍摄第一俯视视频和第二俯视视频,在相同时间点,由第一俯视视频中截取第一俯视图像10,由第二俯视视频中截取第二俯视图像20,第一俯视图像10和第二俯视图像20具有监控重叠区域30,在监控重叠区域30的环形边界线31上拾取相连后构成四边形的四个临界端点40,分别获取各临界端点40在第一俯视图像10上的第一坐标以及在第二俯视图像20上的第二坐标;步骤S2,根据四个临界端点40对应的四组第一坐标和第二坐标以及投影变换公式计算出第一俯视图像10上的监控重叠区域30与第二俯视图像20上的监控重叠区域30之间的投影矩阵,根据投影矩阵得到两个监控重叠区域30之间的坐标投影变换公式;步骤S3,在第一俯视图像10的监控重叠区域30内标记出目标行人的第一行进轨迹11,并获得第一行进轨迹11与第一俯视图像10中的客流统计线50的交点处的第一撞线坐标12和第一撞线时间,以及在第二俯视图像20的监控重叠区域30内标记出目标行人的第二行进轨迹21,并获得第二行进轨迹21与第二俯视图像20中的客流统计线50的交点处的第二撞线坐标22和第二撞线时间,根据坐标投影变换公式获取第一撞线坐标12在第二俯视图像20中的投影坐标60;步骤S4,计算投影坐标60与第二撞线坐标22之间的欧式距离70,以及计算第一撞线时间与第二撞线时间的撞线时间间隔;当撞线时间间隔小于或等于预设时间,且欧式距离70小于或等于预设距离时,判定出现在第一俯视图像10中和第二俯视图像20中的目标行人为同一人,进行减除计数客流统计;当撞线时间间隔大于预设时间,或欧式距离70大于预设距离时,判定出现在第一俯视图像10中和第二俯视图像20中的目标行人非同一人,进行常规计数客流统计。
根据上述可知,首先,通过将多个俯视取像装置以间隔布置的方式对目标区域监控,确保了多个俯视取像装置所共同构成的拍摄区域能够可靠地将客流统计线50完全覆盖,使得所有经过客流统计线50的目标行人均能够被及时抓拍到,避免了因目标行人通过客流统计线50而没有抓拍而导致计数统计误差过大的情况发生,保证了基于俯视视频,通过客流统计模型实现对特定门店的有效客流计数统计。
其次,通过在第一俯视视频中截取第一俯视图像10,在第二俯视视频中截取第二俯视图像20,并结合两者获取监控重叠区域30,根据监控重叠区域30的环形边界线31上的四个临界端点40的坐标获取第一俯视图像10的监控重叠区域30和第二俯视图像20的监控重叠区域30之间的坐标投影变换公式;进而根据坐标投影变换公式能够将第一俯视图像10的监控重叠区域30内的目标行人的第一行进轨迹11与客流统计线50的第一撞线坐标12向第二俯视图像20变换得到投影坐标60,接着根据预设好的算法对投影坐标60和第二撞线坐标22进行判定,同时对撞线时间间进行计算判定,最终根据判定结果确定第一俯视图像10中和第二俯视图像20中的目标行人是否为同一人,基于此进行减除计数客流统计或常规计数客流统计,利用此技术方案,顺利地克服了因相邻俯视取像装置拍摄的俯视图像具有监控重叠区域而导致客流统计中重复计数的现象,确保客流统计的精确性。
还需要说明的是,上述的算法步骤的计算过程需要将数据上传到门店出入口客流统计系统的边缘计算平台和/或云端计算平台进行处理。计算方法为:对第一俯视视频和第二俯视视频逐帧判断行进轨迹点与上一帧行进轨迹点的连线是否与客流统计线50相交,若相交,则计算行进轨迹点连线(第一行进轨迹11或第二行进轨迹21)与客流统计线50的交点,交点即撞线坐标(第一撞线坐标12或第二撞线坐标22),通过撞线坐标点的图像帧号计算出撞线时间。
如图2至图4给出了本发明的一种可选的图示实施例,在本实施例中,监控重叠区域30呈矩形状,四个临界端点40为呈矩形状的监控重叠区域30的四个顶点。这样便于对四个临界端点40的拾取,呈矩形状监控重叠区域30可以通过对俯视取像装置的内部参数设置实现,也可以通过在俯视取像装置的摄像头处设置用于控制监控区域的范围形状的结构或装置实现。
当然,在一个未图示的可选实施例中,监控重叠区域30呈不规则形状,为了确保能够顺利得到坐标投影变换公式,同时保证四个临界端点40的连线框选的区域面积尽可能的大,尽可能接近监控重叠区域30的面积,从而避免出现行人轨迹漏检现象,四个临界端点40的连线为呈不规则形状的监控重叠区域30的内接矩形。
如图2至图4所示,四个临界端点40包括第一临界端点41、第二临界端点42、第三临界端点43和第四临界端点44,第一临界端点41在第一俯视图像10上的第一坐标为(X1,Y1),在第二俯视图像20上的第二坐标为(X1’,Y1’);第二临界端点42在第一俯视图像10上的第一坐标为(X2,Y2),在第二俯视图像20上的第二坐标为(X2’,Y2’);第三临界端点43在第一俯视图像10上的第一坐标为(X3,Y3),在第二俯视图像20上的第二坐标为(X3’,Y3’);第四临界端点44在第一俯视图像10上的第一坐标为(X4,Y4),在第二俯视图像20上的第二坐标为(X4’,Y4’);需要说明的是,各临界端点40的坐标分别为其对应的第一俯视图像10或第二俯视图像20上的像素点坐标。
本发明提供一种在监控重叠区域30的环形边界线31上拾取相连后构成四边形的四个临界端点40的可选实施例,具体而言,俯视取像装置拍摄的俯视视频以及通过俯视视频截取的俯视图像均为俯视视角,在本实施例中,垂直俯视相机作为俯视取像装置,需要选取两个有监控重叠区域30的垂直俯视相机进行标定,以方便后续的坐标转换操作。这里将垂直俯视相机M视为左相机,垂直俯视相机N视为右相机,首先,让标定人员站到垂直俯视相机M的监控重叠区域30左上侧边界位置,相应可以看到标定人员在垂直俯视相机N的影像,提取此时垂直俯视相机M和垂直俯视相机N中标定人员的头中心点坐标,得到标定人员在第一俯视图像10上的第一坐标为(X1,Y1)以及在第二俯视图像20上的第二坐标为(X1’,Y1’);再让标定人员移动到监控重叠区域30右上侧边界位置,相应的,得到第一俯视图像10上的第一坐标为(X2,Y2)以及在第二俯视图像20上的第二坐标为(X2’,Y2’);再让标定人员移动到监控重叠区域30右下侧边界位置,相应的,得到第一俯视图像10上的第一坐标为(X3,Y3)以及在第二俯视图像20上的第二坐标为(X3’,Y3’);最后再让标定人员移动到监控重叠区域30左下侧边界位置,相应的,得到第一俯视图像10上的第一坐标为(X4,Y4)以及在第二俯视图像20上的第二坐标为(X4’,Y4’)。通过得到的上述4组坐标点,可以计算两个监控重叠区域30之间的投影矩阵,通过投影变换可以得到垂直俯视相机M和垂直俯视相机N的坐标的对应关系。
进一步地,根据四个临界端点40坐标,以及投影变换公式:
Figure 197338DEST_PATH_IMAGE005
………………………………………(1),
Figure 218515DEST_PATH_IMAGE006
………………………………………(2),
Figure 200990DEST_PATH_IMAGE007
………………………………………(3),
其中,n为临界端点40的序数,Zn=1;X’表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;Y’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;Z’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像透视投影变换的中间变量;
计算得到第一俯视图像10上的监控重叠区域30与第二俯视图像20上的监控重叠区域30之间的投影矩阵
Figure 143579DEST_PATH_IMAGE008
,根据投影矩阵T得到两个监控重叠区域30之间的坐标投影变换公式(2)和公式(3)。因此,通过反向推算得到了投影变换公式中的坐标投影变换公式(2)和公式(3),根据两个公式便可以将第一俯视图像10的监控重叠区域30范围内的任意一点的坐标投影变换,从而得到其对应于第二俯视图像20中的投影坐标60。
在本发明的实施例中,第一行进轨迹11和第二行进轨迹21均由对目标行人的头部中心点坐标的持续跟踪获得。这样,即因为目标行人的头部中心点坐标容易拾取,又因为利用目标行人的头部中心点坐标得到的行进轨迹更接近于目标行人的真实运动轨迹,进而确保了与第一撞线坐标12以及第二撞线坐标22的精准性。
在本发明的另一个可选实施例中,第一行进轨迹11和第二行进轨迹21均由对目标行人的两个脚部关键点的中间点坐标的持续跟踪获得。这样,由于两个脚部关键点的中间点坐标与客流统计线50之间没有目标行人的高度方向上的空间差,两者均接近于地面,因此由两个脚部关键点的中间点跟踪获取的行进轨迹,与客流统计线50相撞获取的第一撞线坐标12以及第二撞线坐标22更为准确。
可选地,预设时间大于等于1秒且小等于3秒。这样,即便当计算得到的投影坐标60与第二撞线坐标22之间的欧式距离70小于或等于预设距离时,满足了此条件,在这个时间段范围之外得到的第二撞线坐标22也不会被判定为与第一撞线坐标12为相同的目标行人与客流统计线50撞线得到的,也就是说,不会判定第一俯视图像10中和第二俯视图像20中的目标行人为同一人,这是为了排除第一撞线坐标12和第二撞线坐标22出现的位置虽然很接近,但是出于不同的目标行人在差距很长的时间点的行进轨迹与客流统计线50相撞得到的撞线坐标的情况被错误判定为同一目标行人的情况,从而大大地提升了本发明的算法实施后对于判定结果的精确性。
可选地,预设距离大于等于25像素且小于等于75像素。这个预设距离的设置是为了排除因第一撞线坐标12经过坐标投影变换公式后获得的投影坐标60的过程中,因误差出现的投影坐标60位置偏差的情况,从而提高了本发明的算法实施后得到的判定结果的精确性。
需要说明的是,在步骤S4中,减除计数客流统计为对第一俯视图像10中和第二俯视图像20中的目标行人重复计数后减除统计一次。
还不要补充的是,在减除计数客流统计或在常规计数客流统计中,当第一行进轨迹11或第二行进轨迹21在与客流统计线50相撞时的延伸方向与进门方向线相同时,进行进门客流计数;当第一行进轨迹11或第二行进轨迹21在与客流统计线50相撞时的延伸方向与进门方向线相反时,进行出门客流计数。
本发明提供的区域去重客流统计方法通过门店出入口客流统计系统实现,门店出入口客流统计系统实现包括:边缘计算平台、云端计算平台,边缘计算平台通讯连接于云端计算平台,云端计算平台包括云端AI分析引擎、业务后端引擎、视频流媒体服务引擎,投资人智能运营APP、总部数据看板、智能运营平台通讯连接于边缘计算平台、云端计算平台,边缘计算平台部署在门店内,边缘计算平台的输入是门店出入口和店内的摄像头和NVR设备;输出数据流通过网络和云端的API对接,边缘计算平台对门店的视频进行初步的预处理和结构化,提取需要的数据源分发给云端计算平台。
边缘计算平台集成有客流统计模型的目标检测模块和目标跟踪模块,云端计算平台具有分析处理模块,其中,目标检测模块用于在第一俯视视频中截取第一俯视图像10,在第二俯视视频中截取第二俯视图像20,第一俯视图像10和第二俯视图像20具有监控重叠区域30,在监控重叠区域30的环形边界线31上拾取相连后构成四边形的四个临界端点40,分别获取各临界端点40在第一俯视图像10上的第一坐标以及在第二俯视图像20上的第二坐标;云端计算平台根据四个临界端点40对应的四组第一坐标和第二坐标以及投影变换公式计算出第一俯视图像10上的监控重叠区域30与第二俯视图像20上的监控重叠区域30之间的投影矩阵,云端计算平台根据投影矩阵得到两个监控重叠区域30之间的坐标投影变换公式;云端计算平台根据四个临界端点40对应的四组第一坐标和第二坐标以及投影变换公式计算出第一俯视图像10上的监控重叠区域30与第二俯视图像20上的监控重叠区域30之间的投影矩阵,根据投影矩阵得到两个监控重叠区域30之间的坐标投影变换公式;目标跟踪模块在第一俯视图像10的监控重叠区域30内标记出目标行人的第一行进轨迹11,并获得第一行进轨迹11与第一俯视图像10中的客流统计线50的交点处的第一撞线坐标12和第一撞线时间,以及在第二俯视图像20的监控重叠区域30内标记出目标行人的第二行进轨迹21,并获得第二行进轨迹21与第二俯视图像20中的客流统计线50的交点处的第二撞线坐标22和第二撞线时间,根据坐标投影变换公式获取第一撞线坐标12在第二俯视图像20中的投影坐标60;分析处理模块用于计算投影坐标60与第二撞线坐标22之间的欧式距离70,以及计算第一撞线时间与第二撞线时间的撞线时间间隔;当撞线时间间隔小于或等于预设时间,且欧式距离70小于或等于预设距离时,判定出现在第一俯视图像10中和第二俯视图像20中的目标行人为同一人,进行减除计数客流统计;当撞线时间间隔大于预设时间,或欧式距离70大于预设距离时,判定出现在第一俯视图像10中和第二俯视图像20中的目标行人非同一人,进行常规计数客流统计。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于俯视图像的区域去重客流统计方法,其特征在于,包括:
步骤S1,使用间隔分布的多个俯视取像装置对目标区域监控,相邻两个所述俯视取像装置分别拍摄第一俯视视频和第二俯视视频,在相同时间点,由所述第一俯视视频中截取第一俯视图像(10),在所述第二俯视视频中截取第二俯视图像(20),所述第一俯视图像(10)和所述第二俯视图像(20)具有监控重叠区域(30),在所述监控重叠区域(30)的环形边界线(31)上拾取相连后构成四边形的四个临界端点(40),分别获取各所述临界端点(40)在所述第一俯视图像(10)上的第一坐标以及在所述第二俯视图像(20)上的第二坐标;
步骤S2,根据四个所述临界端点(40)对应的四组第一坐标和第二坐标以及投影变换公式计算出所述第一俯视图像(10)上的监控重叠区域(30)与所述第二俯视图像(20)上的监控重叠区域(30)之间的投影矩阵,根据所述投影矩阵得到两个所述监控重叠区域(30)之间的坐标投影变换公式;
步骤S3,在所述第一俯视图像(10)的监控重叠区域(30)内标记出目标行人的第一行进轨迹(11),并获得所述第一行进轨迹(11)与所述第一俯视图像(10)中的客流统计线(50)的交点处的第一撞线坐标(12)和第一撞线时间,以及在所述第二俯视图像(20)的监控重叠区域(30)内标记出所述目标行人的第二行进轨迹(21),并获得所述第二行进轨迹(21)与所述第二俯视图像(20)中的客流统计线(50)的交点处的第二撞线坐标(22)和第二撞线时间,根据所述坐标投影变换公式获取所述第一撞线坐标(12)在所述第二俯视图像(20)中的投影坐标(60);
步骤S4,计算所述投影坐标(60)与所述第二撞线坐标(22)之间的欧式距离(70),以及计算所述第一撞线时间与所述第二撞线时间的撞线时间间隔;
当所述撞线时间间隔小于或等于预设时间,且所述欧式距离(70)小于或等于预设距离时,判定出现在所述第一俯视图像(10)中和所述第二俯视图像(20)中的所述目标行人为同一人,进行减除计数客流统计;
当所述撞线时间间隔大于所述预设时间,或所述欧式距离(70)大于所述预设距离时,判定出现在所述第一俯视图像(10)中和所述第二俯视图像(20)中的所述目标行人非同一人,进行常规计数客流统计。
2.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述监控重叠区域(30)呈矩形状,四个所述临界端点(40)为呈矩形状的所述监控重叠区域(30)的四个顶点。
3.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述监控重叠区域(30)呈不规则形状,四个所述临界端点(40)的连线为呈不规则形状的所述监控重叠区域(30)的内接矩形。
4.根据权利要求1所述的区域去重客流统计方法,其特征在于,四个所述临界端点(40)包括:
第一临界端点(41),其在所述第一俯视图像(10)上的第一坐标为(X1,Y1),在所述第二俯视图像(20)上的第二坐标为(X1’,Y1’);
第二临界端点(42),其在所述第一俯视图像(10)上的第一坐标为(X2,Y2),在所述第二俯视图像(20)上的第二坐标为(X2’,Y2’);
第三临界端点(43),其在所述第一俯视图像(10)上的第一坐标为(X3,Y3),在所述第二俯视图像(20)上的第二坐标为(X3’,Y3’);
第四临界端点(44),其在所述第一俯视图像(10)上的第一坐标为(X4,Y4),在所述第二俯视图像(20)上的第二坐标为(X4’,Y4’);
根据四个所述临界端点(40)的坐标,以及投影变换公式:
Figure 299745DEST_PATH_IMAGE001
………………………………………(1),
Figure 713540DEST_PATH_IMAGE002
………………………………………(2),
Figure 908373DEST_PATH_IMAGE003
………………………………………(3),
其中,n为所述临界端点(40)的序数,Zn=1;
X’表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;
Y’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像线性平移变换的中间变量;
Z’ 表征坐标(Xn,Yn)在利用投影矩阵T的参数进行图像透视投影变换的中间变量;
计算得到所述第一俯视图像(10)上的监控重叠区域(30)与所述第二俯视图像(20)上的监控重叠区域(30)之间的投影矩阵
Figure 190450DEST_PATH_IMAGE004
,根据所述投影矩阵T得到两个所述监控重叠区域(30)之间的坐标投影变换公式(2)和公式(3)。
5.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述第一行进轨迹(11)和所述第二行进轨迹(21)均由对所述目标行人的头部中心点坐标的持续跟踪获得。
6.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述第一行进轨迹(11)和所述第二行进轨迹(21)均由对所述目标行人的两个脚部关键点的中间点坐标的持续跟踪获得。
7.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述预设时间大于等于1秒且小等于3秒。
8.根据权利要求1所述的区域去重客流统计方法,其特征在于,所述预设距离大于等于25像素且小于等于75像素。
9.根据权利要求1所述的区域去重客流统计方法,其特征在于,在所述步骤S4中,所述减除计数客流统计为对所述第一俯视图像(10)中和所述第二俯视图像(20)中的所述目标行人重复计数后减除统计一次。
10.根据权利要求1所述的区域去重客流统计方法,其特征在于,在所述减除计数客流统计或在所述常规计数客流统计中,当所述第一行进轨迹(11)或所述第二行进轨迹(21)在与所述客流统计线(50)相撞时的延伸方向与进门方向线相同时,进行进门客流计数;当所述第一行进轨迹(11)或所述第二行进轨迹(21)在与所述客流统计线(50)相撞时的延伸方向与所述进门方向线相反时,进行出门客流计数。
CN202110957858.7A 2021-08-20 2021-08-20 基于俯视图像的区域去重客流统计方法 Active CN113420726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957858.7A CN113420726B (zh) 2021-08-20 2021-08-20 基于俯视图像的区域去重客流统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110957858.7A CN113420726B (zh) 2021-08-20 2021-08-20 基于俯视图像的区域去重客流统计方法

Publications (2)

Publication Number Publication Date
CN113420726A CN113420726A (zh) 2021-09-21
CN113420726B true CN113420726B (zh) 2021-11-19

Family

ID=77719800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957858.7A Active CN113420726B (zh) 2021-08-20 2021-08-20 基于俯视图像的区域去重客流统计方法

Country Status (1)

Country Link
CN (1) CN113420726B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937241B (zh) * 2022-06-01 2024-03-26 北京凯利时科技有限公司 基于过渡区的客流统计方法和系统以及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376575A (zh) * 2013-08-15 2015-02-25 汉王科技股份有限公司 一种基于多摄像头监控的行人计数方法和装置
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111738134A (zh) * 2020-06-18 2020-10-02 北京市商汤科技开发有限公司 获取客流数据的方法、装置、设备及介质
CN111914819A (zh) * 2020-09-30 2020-11-10 杭州未名信科科技有限公司 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端
CN113033348A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 行人重识别的俯视图像校正方法、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160118783A (ko) * 2015-04-03 2016-10-12 한화테크윈 주식회사 사람 계수 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376575A (zh) * 2013-08-15 2015-02-25 汉王科技股份有限公司 一种基于多摄像头监控的行人计数方法和装置
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111738134A (zh) * 2020-06-18 2020-10-02 北京市商汤科技开发有限公司 获取客流数据的方法、装置、设备及介质
CN111914819A (zh) * 2020-09-30 2020-11-10 杭州未名信科科技有限公司 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端
CN113033348A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 行人重识别的俯视图像校正方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN113420726A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US9418300B2 (en) Device, method, and computer for image-based counting of objects passing through a counting section in a specified direction
US9524426B2 (en) Multi-view human detection using semi-exhaustive search
US9251598B2 (en) Vision-based multi-camera factory monitoring with dynamic integrity scoring
US9286678B2 (en) Camera calibration using feature identification
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
EP2093698A1 (en) Crowd congestion analysis
CN103473554B (zh) 人流统计系统及方法
CN107688764B (zh) 检测车辆违章的方法及装置
US20150294496A1 (en) Probabilistic person-tracking using multi-view fusion
US20150294143A1 (en) Vision based monitoring system for activity sequency validation
US8098290B2 (en) Multiple camera system for obtaining high resolution images of objects
EP2093699A1 (en) Movable object status determination
TWI448990B (zh) 以分層掃描法實現即時人數計數
Jodoin et al. Tracking all road users at multimodal urban traffic intersections
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
EP2709066A1 (en) Concept for detecting a motion of a moving object
WO2008086293A2 (en) A system and method for measuring the speed of vehicles or other objects
Snidaro et al. Automatic camera selection and fusion for outdoor surveillance under changing weather conditions
CN113420726B (zh) 基于俯视图像的区域去重客流统计方法
Jalalat et al. Vehicle detection and speed estimation using cascade classifier and sub-pixel stereo matching
CN103700106A (zh) 一种基于分布式摄像机的多视角运动目标统计与定位方法
CN113114938B (zh) 一种基于电子信息的目标精确监控系统
EP2709065A1 (en) Concept for counting moving objects passing a plurality of different areas within a region of interest
US20230334675A1 (en) Object tracking integration method and integrating apparatus
Brandle et al. Track-based finding of stopping pedestrians-a practical approach for analyzing a public infrastructure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant