CN102467679B - 对象计数器及对对象进行计数的方法 - Google Patents

对象计数器及对对象进行计数的方法 Download PDF

Info

Publication number
CN102467679B
CN102467679B CN201110360114.3A CN201110360114A CN102467679B CN 102467679 B CN102467679 B CN 102467679B CN 201110360114 A CN201110360114 A CN 201110360114A CN 102467679 B CN102467679 B CN 102467679B
Authority
CN
China
Prior art keywords
area
moving area
contribution
moving
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110360114.3A
Other languages
English (en)
Other versions
CN102467679A (zh
Inventor
乔安·阿尔姆布拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN102467679A publication Critical patent/CN102467679A/zh
Application granted granted Critical
Publication of CN102467679B publication Critical patent/CN102467679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种对象计数器及对对象进行计数的方法。所述方法包括捕获表示预定计数视场的移动图像的图像、探测所述预定计数视场的所述移动图像中的移动区域、计算指示所述移动区域的移动速度的移动区域速度值、基于预定计数边界、所述移动区域速度值以及贡献时间段dt重复限定贡献区带、重复检索并记录表示所述移动区域的包含于所限定的贡献区带中的面积大小的子面积值、通过将多个记录的子面积值相加而生成总面积、并且通过将所述总面积值除以参考对象面积值来估计已通过所述计数边界的对象的数目,其中所述贡献时间段对应于两个连续的检索子面积值的行为之间的时间段。

Description

对象计数器及对对象进行计数的方法
技术领域
本发明涉及一种对象计数器及对通过预定边界的对象进行计数的方法。更具体地,本发明涉及通过分析利用相机捕获的图像而对这种对象进行计数。
背景技术
基于传感器和分析器的对象计数器广泛使用在不同的应用中,其中分析器协作确定通过边界的对象的数目。
对象计数器是一种用于对对象(例如进出百货公司、火车站或任何其他关注区域的人,进出一个区域的家畜,传送带上传递的产品,或传送滑槽上传递的产品等)进行计数的设备。所述对象计数器可以例如用于安全目的,也可以用于生成进出一个区域的对象的统计数据。
概括而言,对象计数器包括传感部分和分析部分。传感部分通常基于探测与对象相关的一些特征的传感器,例如用于探测光谱的可见部分以探测对象的可见特征的图像传感器,基于焦平面阵列,例如用于探测光谱的红外部分以记录对象的散热模式的微辐射热测定仪传感器,或者基于用来创建到图像视场中的对象的距离的图像的飞行时间传感器系统。
在传感部分是用于以阵列记录对象特征(例如记录可以通过图像分析工具解释和分析的数据)的传感器的情况下,分析部分则一般适于进行图像分析。在大多数对象计数器中,图像分析基于对象探测算法,例如探测、识别并遍及传感器覆盖的区域追踪各个对象,然后在他们通过预定边界时进行计数。几种对象探测算法为本领域技术人员所熟知。
当前的对象探测算法的一个问题是很难将靠近在一起、具有类似特征和/或具有大约相同速度的对象探测为分开的对象。明显具有这些问题的情况是,例如当对那些随意输出到传送带上的对象进行计数时明显具有这些问题,因为所述对象可能靠近在一起而布置或者以不同大小的群摞在一起;当对进出商店或杂货店的人进行计数时明显具有这些问题,因为人们经常成群的进入,即两个或更多个人靠近在一起行走而成组进入,以及其他类似的情况。对象群应该理解为靠近在一起而成组的对象组。因为对象群可能会被探测为一个单一对象,因此会产生所述问题。许多对象计数器依靠简单的对所探测的对象进行计数,如果对象成群的到达并且每个群作为一个对象而计数,则结果是对象数目的低估。
在现有技术的一些解决方案中,分析所探测对象的形状从而更加精确地估计包括在所探测对象中的对象的数目。然而,所探测对象的这种形状分析需要大量处理能力,因此,该方法的使用限于具有大量空余处理能力的设备。而在嵌入式系统或小规格设备中可能无法获得这种处理能力。
在WO2009/016614中描述了一种用于计数和测量的过程。所述过程包括捕获不包括任何待计数对象的背景图像。接着当对象处于相机前时拍摄图像。区别于所述背景图像的区域被解释为对象,并且可以通过将所解释对象的区域乘以一个因子或者通过利用查找表来计算对象的数目,其中查找表包括将一区域与指示对象数目的值相关联的值。当对静止对象进行计数时,这个方法简单而且有效。然而,当对通过边界的移动对象进行计数时,这个方法就不可靠了。
发明内容
本发明的一个目的是提供一种改进的对象计数器。
所述目的通过根据权利请求1所述的方法以及根据权利请求10所述的对象计数器来实现。本发明的进一步的实施例出现在从属权利请求中。
具体而言,根据本发明的第一方面,所述目的通过用于对对象进行计数的方法来实现。所述方法包括捕获表示预定计数视场的移动图像的图像、探测所述预定计数视场的所述移动图像中的移动区域、计算指示所述移动区域的移动速度的移动区域速度值、基于预定计数边界、所述移动区域速度值以及贡献时间段dt重复限定贡献区带(contributionzone)、重复检索(retrieve)并记录表示所述移动区域的包含于所限定的贡献区带中的面积大小的子面积值、通过将多个记录的子面积值相加而生成总面积、并且通过将所述总面积值除以参考对象面积值来估计已通过所述计数边界的对象的数目,其中所述贡献时间段对应于两个连续的检索子面积值的行为之间的时间段。
所述方法的优点在于其使得在具有有限容量(例如处理容量、存储容量等)的处理环境中对移动对象的计数变得容易。产生这个优点的一个原因是所述方法基于面积流量,即移动区域中的子面积而工作的事实,因此不需要例如对象跟踪的密集处理操作。
在一个实施例中,所述方法在能够捕获移动图像的相机中执行。由此可以降低系统的带宽需求,因为不需要针对人数计数器功能而通过网络发送图像。
在另一个实施例中,只要在所述移动图像中探测到对象就重复限定贡献区带。
根据又一个实施例,当没有移动区域出现在相应的贡献区带中时,执行所述估计已通过所述计数边界的对象的数目的行为。通过执行所述估计,当没有对象出现在其对应的贡献区带中时,就不需要与出现在其对应的贡献区带中的对象相关的处理。因此,所述系统可以使用少于两个操作同时执行时的处理能力来工作。
根据另一个实施例,所述方法进一步包括将所估计的数目加到表示总数目的变量上的步骤。
在一个实施例中,移动区域的探测进一步包括探测同时出现在所述计数视场中的多个移动区域。通过探测多个移动区域,可以提高所述子面积的准确度,因为在记录不同移动区域的子面积时,可以考虑各个移动区域的相应特征,例如速度。另外,所述速度值的计算可以包括分别计算所探测的移动区域的对应速度值,并且由此可以针对每个移动区域限定单独的贡献区带。由此可以更进一步的提高子面积的准确度。
在又一个实施例中,所述限定贡献区带的行为在两个连续的检索并记录表示所述移动区域的包含于所限定的贡献区带中的面积大小的子面积值的行为之间执行。
在另一个实施例中,所述限定贡献区带的行为在每个检索并记录子面积值的行为之前重复。
根据本发明的另一方面,用于对通过特定计数边界的对象进行计数的对象计数器包括:被布置为捕获预定计数视场的图像的图像传感器、被布置为探测所捕获的图像中的移动区域并计算指示所述移动区域的移动速度的速度值的移动区域探测器、被布置为基于预定计数边界、所述移动区域的移动速度以及贡献时间段dt重复限定贡献区带的贡献区带计算器、被布置为检索并记录表示所述移动区域的包含于所限定的贡献区带中的面积大小的子面积值的面积计算器、被布置为通过将多个记录的子面积值相加而累加总面积值的面积累加器、被布置为通过将所述总面积值除以参考对象面积值来计算已通过所述计数边界的对象的数目的对象计数单元。
所述对象计数器的优点在于其使得在具有有限容量(例如处理容量、存储容量等)的处理环境中对移动对象的计数变得容易。产生这个优点的一个原因是所述对象计数器包括贡献区带计算器和面积计算器使得对象计数器基于面积流量,即移动区域中的子面积而工作的事实,因此不需要例如身份关键对象跟踪器的密集处理装置。
在一个实施例中,所述对象计数器被布置在相机中。由此可以降低系统的带宽需求,因为不需要针对人数计数器功能而通过网络发送图像。
在另一个实施例中,所述移动区域探测器进一步被布置为探测同时出现在所述计数视场中的多个移动区域。
从下文所给的具体描述,本发明的进一步的应用范围将会变得清晰。然而,应当理解,指示本发明优选实施例的详细描述和具体示例仅仅通过图示的方式而给出,因为根据该详细描述,对于本领域技术人员来说,在本发明的精神和范围内的各种改变和修改将变得明显。
附图说明
通过下文中结合附图具体描述目前的优选实施例,本发明的其他特征和优点将会变得明显,其中
图1是可以使用本发明的一种可能环境的示意图,
图2是可以使用本发明的另一种可能环境的示意图,
图3是本发明的一种设置的示意图,
图4是本发明的另一种设置的示意图,
图5是本发明的又一种设置的示意图,
图6是示出根据本发明一个实施例的相机系统的功能块的框图,
图7是根据本发明一个实施例的方法的一般流程图,
图8是描述本发明的一个实施例的流程图,
图9是描述本发明的另一个实施例的流程图,
图10是通过本发明分析的图像视场的示意性图像,
图11描述从图10中的图像视场检索的数值和数据,
图12-14通过图表示出限定贡献区带的函数的替代实施例的效果,
图15a-f是表示根据本发明的实施例所处理的连续图像的一系列图像视场,并且
图16示出表示单个贡献面积和总面积的图形。
具体实施方式
在详细描述本发明之前,应当理解本发明并不限于所描述设备的特定构成部分或者所描述方法的步骤,因此这样的设备和方法可以改变。还应当理解,这里所使用的术语仅仅是为了描述特定的实施例,而不打算限制。必须要注意,除非上下文明确进行相反的规定,否则在说明书和所附权利请求中使用的词“所述”意在指存在一个或多个所述元件。由此,例如,关于“传感器”或“所述传感器”可以包括多个传感器,等等。此外,词语“包括”不排除其他的元件或步骤。另外,在附图中相同的附图标记在多个附图中指代相同或相应的部分。
本发明涉及对对象进行计数的任务。在多种情况下,对对象进行计数的方法很好的适用于对各式各样的不同对象进行计数,即通用方法很少是为了特定的对象类型而定制的。这也适用于本发明。根据本发明的方法可以有利地用于基本上对穿过计数边界的任何类型的移动对象进行计数。计数边界本质上可以是限定边界的任何形状,例如线、具有不同方向且连接成一个连续边界的多条线、弧形、圆形等。
图1中描述了本发明实施例的一种设置。在该特定设置中,相机10被布置为具有计数图像视场12,计数图像视场12用于捕获待计数的人18、20所通过的过道的图像。比如,这种设置可以被布置在出口14和/或入口14处。然后包括相机10的系统被布置为计算通过计数边界16的人的数目,计数边界16可以仅仅是在计数系统中限定的边界,即不必要是在出口/入口处看得见的线。过道、出口或入口可以属于商店、超市、百货公司、公园、火车站、图书馆、游乐园等。相机10可以被布置在待计数的人的上方,例如安装在天花板上或者高挂在墙上,以便于降低计数区域中(即计数图像视场12中)的人18被另一人20掩盖或隐藏的风险。图1的设置还可以用在用于对进入和/或离开停车场的汽车进行计数的系统中。
图2中描述了本发明实施例的另一种设置。在该设置中,相机10被布置为具有覆盖运送对象24的传送带22的部分的计数图像视场12。计数系统被布置为计算通过计数边界16的对象的数目。通过这种方法计数的对象可以是任何对象,包括人和动物。这种类型的应用可以被布置为对生产线上的产品、行李传送系统中的行李、自动扶梯上的人等进行计数。
现在参见图3-5,一个实施例的计数系统基于用于记录计数图像视场12的图像的相机10和被布置为分析相机10所捕获的图像并确定有多少对象已通过计数边界16的对象计数器26。如上所述,计数边界16可以被限定为对象计数器26中的虚拟边界。
参见图3,对象计数器26可以是相机外部的设备,并且可以是专用于基于所接收的图像完成对象计数的任务的设备。然而,这种功能也可以在服务器28、个人电脑30、工作站32等中实现。用于对象计数器26的图像可以通过计算机网络34从相机10传送。结果同样可以通过计算机网络34而展示。
根据另一实施例,参见图4,对象计数器26也是相机10外部的设备。对象计数器26可以是专用设备,但是其也可以在其他设备中实现,如结合图3所示。在这个实施例中,对象计数器26从相机10直接接收图像,并且可以被布置为通过计算机网络34展示结果。
根据又一个实施例,参见图5,对象计数器26可以被嵌入在相机10中。在这个实施例中,计数的结果可以通过如上所述的计算机网络34而展示。然而这些实施例中的任一个可以被布置为通过任意类型的通信展示最终计数。将对象计数器26嵌入相机10的一些好处是计数系统需要较少的空间;因为计数所基于的图像是内部传送的而不是依靠网络连接,所以计数系统可以更加可靠;因为仅仅必须安装一个设备并且没有通信路径必须建立,所以计数系统的安装变得容易;因为例如相对于每个像素都由至少三个值表示的彩色图像来说,表示一个单值的数据非常小,所以计数系统需要更小的带宽,等等。
嵌入有对象计数器26的相机10通过图6中的概括框图而示出。这个实施例包括透镜600、图像传感器602以及图像处理单元604,全部被布置为用于图像捕获。另外,相机包括处理单元606、易失性存储器608、非易失性存储器610以及网络接口612,全部被布置为用于与相机10的一般工作以及图像捕获功能相结合。这些部分对于本领域技术人员是熟知的,并且它们的功能不需要区别于这些部分的常规功能。进一步,相机10包括图像分析器614、参考面积调整装置616以及对象计数单元618。图像分析器614、参考面积调整装置616以及对象计数单元618中的每一个都可以借助于硬件而实现,例如基于逻辑电路,或者可以通过由处理单元606执行并存储在存储器608、610中的程序代码而实现。
图像传感器602可以是探测与对象相关的一些特征的任意传感器,例如用于探测光谱的可见部分以探测对象的可见特征的图像传感器,可以是焦平面阵列,例如用于探测光谱的红外部分以记录对象的散热模式的微辐射热测定仪传感器,或者可以是创建到图像视场中的对象的距离的图像的飞行时间传感器系统。来自图像传感器602的输出是可以表示为两维图像并且可以借助于图像分析工具进行解释并分析的数据。
图像分析器被布置为分析图像传感器602所捕获的图像数据,并且可以包括移动区域探测器620。移动区域探测器620被布置为探测图像传感器602所捕获的图像中的移动区域,并且执行如下所述的与移动区域的探测相关的功能,例如探测并且划分移动区域,估计所探测的移动区域的速度等。在本应用中,移动区域理解为其中整个区域以基本相同的方向移动的图像中的图像元素(例如像素)的区域,并且该移动区域仅仅暂时停止这种移动。
参考面积调整装置616被布置为调整指示待计数对象的标准大小的标准值Ano。后面进一步描述怎样调整这个值。然而,相机10不一定必须包括这个面积调整装置616,而是可以包括指示标准面积值Ano的预设固定值。Ano值可以存储在易失性存储器608或非易失性存储器610中。
对象计数单元618被布置为生成与穿过计数图像视场12的计数边界16的对象的数目相对应的值。其可以被布置为通过累加移动区域的已通过计数边界的面积并将该累加面积除以所述标准面积值Ano而生成上述值。根据一个实施例,移动区域面积的累加可以通过研究穿过计数边界的面积流量而实现。为了实现该面积累加功能,对象计数单元618进一步包括贡献区带计算器622、面积计算器624和面积累加器626,贡献区带计算器622被布置为确定包括可能表示待计数对象的移动区域的每个离散图像的贡献区带,面积计算器624被布置为计算与贡献区带中存在的面积相对应的瞬时面积流量,面积累加器626被布置为计算瞬时面积流量的积分面积或者将每个取样时段的离散面积值相加,并且累加计数中所使用的总面积值。以下将描述与对象计数器的功能相关的其他细节。
根据另一实施例,对象计算单元618被布置在通过计算机网络34连接至相机10的单独的设备中。根据又一个实施例,图形分析器614、参考调整装置616以及对象计数单元618都可以被布置在通过网络34接收图像信息以进行处理的单独的设备中。
因此,对对象进行计数的方法可以借助于逻辑电路或者借助于在处理单元606中运行的程序代码来实现。根据本发明的一个实施例,参见图7,计数方法包括以下步骤:捕获表示移动图像的图像(步骤700),根据所捕获的图像记录穿过所限定的计数边界的移动区域面积流量(步骤702),以及计算预定时间段期间记录的移动区域面积流量的积分(步骤704)。积分计算可以包括将移动区域的面积片相加。由此,获得与已穿过计数边界的可能对象相关的总面积,而不需要系统在所述对象在图像视场中出现期间识别并跟踪各个对象。
然后将最终的总面积除以参考面积(步骤706),并且将除法的结果用于估计已穿过计数边界的对象的数目(步骤708)。在步骤708中估计对象的数目之后,启动新的面积获取周期。
预定时间段可以是适合于特定应用的任何长度。在另一实施例中,预定时间段可以被替代为由相机记录的特征所确定的时间段,这些特征例如是直到没有面积流量被记录而得到的累加面积。这可以通过只要存在穿过边界的可能对象就对移动区域面积片进行积分然后执行估计而实现。在又一个实施例中,面积被连续累加而不复位,然后基于用户或另一个系统的请求而展示通过的对象的数目。
根据一个特定实施例,尽可能快地执行将最终的总面积除以参考面积(步骤706)以及估计对象数目(步骤708),以便避免与参考面积不准确对应于被计数对象的面积相关的累加错误。当对大小有所变化的对象(例如人、动物等)进行计数时,这一点特别明显。因此,如果记录的总面积是参考面积的1.2倍,则很可能是一个对象已通过,并且该特定的对象稍微大于参考对象的面积。然而,如果记录的总面积是参考面积的4.8倍,则系统可能估计已通过的对象的数目是五。这个估计可能是正确的,但是如果面积分别为1.2倍参考面积的四个对象已通过,则计数器仍旧指示已通过五人。因此,如果尽可能快地估计对象的数目,则这种累加错误可以被避免或至少保持在低水平。
即使该过程没有达到自动输出指示当前累加的总面积的面积值并估计对象数目的状态,该过程也可以基于请求而允许输出该面积,即可以在任何时间请求输出面积值。
在一个特定的实施例中,上述方法被实现为以下结合图8的过程所述。以下关于图8的描述也参见图10-12。起初该过程被布置为从计数图像视场中捕获图像并且探测这些图像视场中的移动区域的存在(步骤802)。
图10表示相机10所捕获的计数图像视场,其中在计数图像视场12中捕获两人18、20,并且探测移动区域的步骤802导致探测到由虚线指示的一个移动区域102。在这个示例中,尽管事实上在计数图像视场12中存在两人18、20,但是移动区域的探测(步骤802)的结果为探测到一个移动区域102。如上所述,其原因在于移动区域探测算法不能够区分彼此靠近的对象,因此移动区域102被探测为覆盖两人18、20的一个移动区域102。
然后生成描述所探测的移动区域102的移动的速度矢量104(步骤804)。当图10和11中的移动区域102被探测为一个移动区域时,图11中仅仅描绘一个速度矢量104。所生成的速度矢量104包括与每个所探测的移动区域102相关的移动方向和移动速度。
然后根据对应的移动区域102的速度和两个连续的生成即将加到累加总面积上的子面积值的步骤之间的时间段,计算每个所探测的移动区域102的贡献区带的边界(步骤806)。
根据图12中举例说明的一个实施例,贡献区带由计数边界16(在该特定实施例中是线)、整个计数图像视场12的宽度和与计数边界线16平行且被布置在与计数边界线16的距离为dS处的贡献线108来限定。距离dS对应于在时间段dt期间移动区域102向计数边界线16行进的距离,其中时间段dt对应于连续的生成即将加到累加总面积上的子面积值的步骤之间的时间。距离dS可以例如计算为dS=vadt。
因此距离dS可以通过将速度va与较小时间值dt相乘而获得,较小时间值dt例如是两个连续的子面积确定之间的时间、两个连续的图像捕获之间的时间,等等。在这个方程中,变量va是速度矢量的具有垂直于计数边界线16的方向的速度分量,参见图11。时间变量dt可以是两个连续的生成即将加到累加总面积上的子面积值的步骤之间的时间或者类似的周期,例如连续的贡献区带计算之间的时间、连续的检查移动区域是否接近计数边界之间的时间、连续的移动区域探测之间的时间,等等。然而,时间变量dt也可以被设置为多个周期之间的时间或者被设置为与该过程的任何特定特征都不相关的固定值。因此,距离dS可以通过将速度va乘以较小时间值dt而获得。
然后,如果发现所探测的任一移动区域102接近计数边界线16(步骤808)(在这个特定实施例中,这意味着发现该移动区域102出现在与其自身相关的贡献区带中),则该过程通过生成每个移动区域102的出现在与其自身相关的贡献区带中的子面积dA而继续(步骤810)。
因此,子面积dA可以描述为dA=|贡献区带∩移动区域|。贡献区带和移动区域102的交集可以借助于多边形剪切或者贡献区带与所探测移动区域102之间的像素级上的与操作来确定。然后子面积dA可以被计算为最终的多边形的面积或最终的像素的总面积。技术人员将认识到用于确定子面积dA的其他方法。因此,每个子面积dA指示移动区域102的出现在对应的贡献区带中的面积。子面积dA也可以被视为面积流量值。
当确定每个子面积dA时,将每个子面积dA加到总面积Atot上(步骤812),以便于累加与通过对象探测边界16的对象相对应的面积。探测移动区域802、生成速度矢量804、计算贡献区带的边界16806、检查移动区域102是否接近于计数边界808、生成子面积dA810以及将贡献面积dA加到总面积Atot上的这些步骤,不断重复直到计时器ti到期(步骤814)。在计时器ti到期之后,时间段ti期间通过的对象的数目通过将累加总面积Atot除以表示参考对象面积Ano的值来确定(步骤816)。由此,对象的数目可以近似为Nobj=Atot/Ano。对象的这一估计数目可以累加以提供表示较长时间段的值,或者可以被存储以供感兴趣的一方访问。不管怎样,当估计出通过计数边界的对象的数目时,重置表示总面积Atot的变量(步骤818),例如重置为零,并且该过程返回至探测对象的步骤802,并可以对其他对象进行计数。
根据另一个实施例,其在图9中由利用虚线画出的附加处理步骤(步骤820和822)表示,该过程能够探测来自用户或交互系统的最终请求(步骤820)。响应于该请求,该过程继续,并执行将累加总面积Atot除以表示参考对象面积Ano的值的计算(步骤822)。该过程通过返回至步骤802继续累加子面积。在这个特定实施例中,ti时间段可以被设置为大值,以便于很少的重置累加总面积Atot。系统甚至可以被设置为不用重置累加总面积Atot直到相机被重启或重置。
在一个实施例中,区域的探测(步骤802)以及速度矢量的生成(步骤804),通过相机10的现有功能而执行,然后输入到对象计数过程中。对象计数过程的这一输入可以是一个或多个移动区域指示符,例如每个移动区域102的位映像,或者与每个移动区域102近似的多边形、椭圆形、长方形、圆形等任意之一。进一步地,对象计数过程可以接收与每个移动区域102相关联的速度矢量或移动场。移动场可以包括图像的基本上所有可见表面点或像素的速度。在对象计数过程的输入是移动场的情况下,移动场可以与移动区域102的表示相结合,以便生成速度矢量怎样执行这种结合是本领域技术人员所熟知的。这些处理步骤当然也可以通过处理单元606中的软件来执行。
为了探测移动区域,可以使用多种可能的方法。用于识别移动区域的可能算法的一些示例可以是分割算法,例如Stauffer和Grimson在1999年6月“1999IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR′99)-Volume2”第2246页出版的“Adaptivebackgroundmixturemodelsorreal-timetracking(自适应背景混合模型或实时跟踪)”中公开的算法,像在Almbladh的申请号为2172903的欧洲专利中公开的算法,根据S.S.Beauchemin、J.L.Barron在美国纽约ACM1995年的“Thecomputationofopticalflow(光学流量的计算)”中讨论的光学流量理论的算法,或者技术人员已知的任意其他分割算法。
另外,用于生成与所探测的移动区域的速度相关的数据的多种方法为本领域技术人员所熟知。这种方法的一个示例是生成如光学流量理论中讨论的移动场,并且根据该移动场获得速度矢量另一个示例是将来自连续捕获的图像帧的移动区域进行比较,然后假定第二图像帧中面积与第一图像帧的移动区域相同的移动区域表示同一移动区域,并且由此基于两个连续帧之间的时间和移动区域的移动距离来计算速度矢量。又一种方法包括利用简单的“斑点追踪仪”,“斑点追踪仪”被布置为追踪移动区域的时间长到足以估计速度,但不足以保证在移动区域出现于计数视场中时在整个时间段期间识别出斑点。用于生成速度矢量的其他方法是本领域技术人员所熟知的,因此上述示例并不限制本发明的保护范围。
在图9中描述另一个实施例。该过程与图8中所描述的过程极其相似。因此,步骤902-912和916-918与步骤802-812和步骤816-818是相同的。然而步骤914与步骤814的不同之处在于,面积值Atot的累加持续到没有移动区域接近计数边界16。因此,在没有移动区域通过计数边界时的时段期间,估计已通过计数边界16的移动区域的数目。依赖于移动区域探测器的实施方式,如果包括移动区域已经停止的指示符,则计数器的结果可能更加可靠。
在另一个实施例(未示出)中,与步骤814或914相对应的步骤可以被布置为结合这两种方法。因此,面积值Atot的累加持续到没有移动区域接近计数边界16,除非时间段ti已经到期,如果满足这些条件中的任一个,则通过将Atot除以Ano来生成指示对象数目的值。
在图8-9中,针对每个所探测的移动区域102生成速度矢量这可以作为移动区域探测的一部分或作为单个过程而执行。在另一个实施例中,直到移动区域102接触计数边界16或者处于离计数边界16预定距离处,才针对移动区域102生成速度矢量如果实施方式无法针对速度矢量处理每一个所探测的移动区域,那么这个实施例可能是有利的。为了计算通过计数边界的对象的数目而使用的参考面积Ano可以通过将累加面积Atot与已穿过计数边界的已知对象数目相比较来估计,或者可以通过根据已穿过计数边界的大但未知的对象数目,以多个测量的总面积分析并估计量化步骤,来以统计方式推断出参考面积Ano。使用这种“自学习”的方法来估计参考面积,对象计数系统就随时间改进参考面积的准确度。使用那样的对象计数系统的一个好处是它不需要任何或者不需要至少仅仅一些手动校准或配置。参考面积Ano可以例如是人数计数器所探测的所有用户的面积的均值或中值。可替代地,参考面积Ano可以是预定的固定值。
结合图8和图12描述一种设置贡献区带的边界的方法。设置贡献区带的另一种方法在图13中描述。这个方法还包括计算在与贡献区带的连续计算之间的时间相对应的时间段dt期间移动区域12向计数边界线16行进的距离dS。然而,距离dS用于设置布置在计数边界16不同侧的两条平行贡献线108、110。由此,计数区带被两条平行贡献线108、110和整个计数图像视场的宽度(即计数图像视场的垂直于贡献线108、110的边缘)所限定。贡献线可以布置在离计数边界不同或相同的距离处。
图14中描述又一种设置贡献区带的方法。距离dS再次被计算。然而,这次贡献线110被布置在计数边界16的相对于移动区域102的行进方向的远侧离计数边界16距离dS处。由此,计数区域被计数边界16、贡献线110以及整个计数图像视场的宽度所限定。
为了使本发明理解起来更容易,本发明一个具体实施例中的处理过程适用于两个人穿过计数边界16的场景。这种场景的处理过程将会在下文中参照图15a-f和图16进行描述。图15a-f示出从时间t0到时间t5捕获的六张图像的图像序列。
图15a中,在t0时,因为两个人50、52紧靠在一起行走,所以两个人50、52被探测为用虚线表示的一个移动区域102。所探测的移动区域102还没有到达计数边界108,但是速度分量v0指示移动区域102将会在随后的时间片dt内到达边界线。因此,移动区域102位于贡献区带中,并且如图16中的图形所述,在先前的描述中也被称作为子面积的瞬时面积流量dA0为非零。
现在参见表示t1时的下一帧的图15b,两个人50、52仍旧被探测为一个移动区域102。基于速度v1来计算贡献区带。现在移动区域102的一部分穿过计数边界,并且如前所述,从贡献区带中产生新的瞬时面积流量dA1。如在图15b和16中可见,移动区域102的出现在贡献区带中的面积dA1在t1时大于t0时。
在表示t=t2时捕获的图像的图15c中,两个人50、52已经互相分开行走并且因此更远地分开行走。因此,两个人50、52被探测为两个单独的移动区域102a、102b,并且生成两个单独的瞬时面积流量分量dA2a和dA2b。不同的面积流量分量dA2a和dA2b使用每个移动区域102a、102b的相应速度分别计算,即每个移动区域102a、102b基于每个移动区域102a、102b的相应速度v2a、v2b被提供以其自身的贡献区带。在这个示例中,v2a>v2b,并且由此针对以速度v2a移动的移动区域102a生成的贡献区带大于针对以速度v2b行进的移动区域102b生成的贡献区带。根据一个实施例,将两个瞬时面积流量分量dA2a和dA2b加在一起,以便于生成针对时间隙t2的总瞬时面积流量dA2。根据另一个实施例,两个瞬时面积流量分量dA2a和dA2b分别存储或者分别加到指示已穿过计数边界的总面积流量Atot的累加变量上。
在时间t3时,参见图15d,两个人50、52再次靠近在一起,由此生成覆盖两个人50、52的单个移动区域102。因此生成单个瞬时面积流量分量dA3
参见图15e,在时间t4时捕获的图像中,确定与两个人50、52相关的移动区域的最终瞬时面积流量分量dA4。然后,在时间t5时,两个人50、52已经完全通过计数边界16,并且可以确定没有进一步的面积流量分量。
如上所述,图16的图形示出表示从图15a-f的图像序列确定的瞬时面积流量或子面积的图形。图形以下的面积可以认为是根据图像序列的累加面积,并且将对应于从t0到t5的积分瞬时面积流量,即总面积Atot
在图15a中进一步示出即使所探测的移动区域102没有与计数边界16相接触的部分,也可以记录移动区域102的面积的一部分。对于可计算的面积流量贡献来说,移动区域102仅仅需要位于其自身的贡献区带内,并且如先前所述,贡献区带的大小依赖于移动区域102的速度。因此高速度的对象将会生成较大的贡献区带。为了正确计算面积流量,将整个贡献区带全部包含在对象计数器相机的视场内是极为有利的。这可以被视为被计数的对象的速度上限。

Claims (12)

1.对对象进行计数的方法,所述方法包括:
捕获表示预定计数视场(12)的移动图像的图像,
探测所述预定计数视场(12)的所述移动图像中的移动区域(102),
计算指示所述移动区域(102)的移动速度的移动区域(102)速度值(va),
基于预定计数边界(16)、所述移动区域速度值(va)以及贡献时间段(dt),重复限定贡献区带,
重复检索并记录表示所述移动区域(102)的包含于所限定的贡献区带中的面积大小的子面积值(dA),
通过将多个记录的子面积值(dA)相加而生成总面积值(Atot),
通过将所述总面积值(Atot)除以参考对象面积值(Ano)来估计已通过所述预定计数边界(16)的对象的数目,
其中所述贡献时间段(dt)对应于两个连续的检索子面积值(dA)的行为之间的时间段。
2.根据权利要求1所述的方法,其中所述方法在能够捕获移动图像的相机(10)中执行。
3.根据权利要求1或2所述的方法,其中只要在所述移动图像中探测到移动区域(102),所述限定贡献区带的行为就被重复执行。
4.根据权利要求1或2所述的方法,其中当没有移动区域(102)出现在相应的贡献区带中时,执行所述估计已通过所述预定计数边界(16)的对象的数目的行为。
5.根据权利要求4所述的方法,进一步包括将所估计的数目加到表示总数目的变量上的步骤。
6.根据权利要求1或2所述的方法,其中移动区域(102)的探测进一步包括探测同时出现在所述预定计数视场(12)中的多个移动区域(102)。
7.根据权利要求6所述的方法,其中速度值(va)的计算包括分别计算所探测的移动区域(102)的对应速度值(va)。
8.根据权利要求1或2所述的方法,其中所述限定贡献区带的行为在两个连续的检索并记录表示所述移动区域(102)的包含于所限定的贡献区带中的面积大小的子面积值(dA)的行为之间执行。
9.根据权利要求8所述的方法,其中所述限定贡献区带的行为在每个检索子面积值(dA)的行为之前重复。
10.用于对通过预定计数边界(16)的对象进行计数的对象计数器,所述对象计数器包括:
被布置为捕获预定计数视场的图像的图像传感器(602),以及
被布置为探测所捕获的图像中的移动区域(102)并计算指示所述移动区域(102)的移动速度的速度值(va)的移动区域探测器(620),
其特征在于:
贡献区带计算器(622),被布置为基于所述预定计数边界(16)、所述速度值(v)以及贡献时间段(dt)重复限定贡献区带,
面积计算器(624),被布置为检索并记录表示所述移动区域(102)的包含于所限定的贡献区带中的面积大小的子面积值(dA),
面积累加器(626),被布置为通过将多个记录的子面积值(dA)相加而累加总面积值(Atot),
对象计数单元(618),被布置为通过将所述总面积值(Atot)除以参考对象面积值(Ano)来计算已通过所述预定计数边界(16)的对象的数目。
11.根据权利要求10所述的对象计数器,其中所述对象计数器被布置在相机中。
12.根据权利要求10或11所述的对象计数器,其中所述移动区域探测器(620)进一步被布置为探测同时出现在所述预定计数视场(12)中的多个移动区域(102)。
CN201110360114.3A 2010-11-18 2011-11-14 对象计数器及对对象进行计数的方法 Active CN102467679B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US41513410P 2010-11-18 2010-11-18
US61/415,134 2010-11-18
EP10191650A EP2455914B1 (en) 2010-11-18 2010-11-18 Object counter and method for counting objects
EP10191650.0 2010-11-18

Publications (2)

Publication Number Publication Date
CN102467679A CN102467679A (zh) 2012-05-23
CN102467679B true CN102467679B (zh) 2016-02-24

Family

ID=43798345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110360114.3A Active CN102467679B (zh) 2010-11-18 2011-11-14 对象计数器及对对象进行计数的方法

Country Status (7)

Country Link
US (2) US8699758B2 (zh)
EP (1) EP2455914B1 (zh)
JP (1) JP5432227B2 (zh)
KR (1) KR101556693B1 (zh)
CN (1) CN102467679B (zh)
ES (1) ES2396500T3 (zh)
TW (1) TWI508004B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2396500T3 (es) 2010-11-18 2013-02-22 Axis Ab Contador de objetos y método para contar objetos
KR101222482B1 (ko) * 2011-06-23 2013-01-15 브이씨에이 테크놀러지 엘티디 설정 인터페이스를 구비한 피플 카운터 및 그 설정 방법
US11288472B2 (en) 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
JP5893417B2 (ja) * 2012-01-24 2016-03-23 キヤノン株式会社 解析装置、制御方法、およびプログラム
NO335224B1 (no) 2013-01-28 2014-10-20 Sinvent As System og fremgangsmåte for telling av dyreplankton
DE102013207139A1 (de) * 2013-04-19 2014-10-23 Krones Ag Verfahren zur Überwachung und Steuerung einer Abfüllanlage und Vorrichtung zur Durchführung des Verfahrens
BR102013013365B1 (pt) * 2013-05-29 2021-12-14 Sicpa Brasil Indústria De Tintas E Sistemas Ltda Método e dispositivo para contagem de objetos transportados em uma esteira de transporte
KR101557376B1 (ko) * 2014-02-24 2015-10-05 에스케이 텔레콤주식회사 사람 계수 방법 및 그를 위한 장치
US10460194B2 (en) * 2014-03-07 2019-10-29 Lior Wolf System and method for the detection and counting of repetitions of repetitive activity via a trained network
TWI509212B (zh) * 2014-06-18 2015-11-21 Nat Applied Res Laboratories Item quantity estimation method
CN105825266B (zh) * 2016-05-22 2018-01-16 福建福贞金属包装有限公司 铝制品二片罐数量化线控方法
US10140718B2 (en) 2016-08-09 2018-11-27 Qualcomm Incorporated Methods and systems of maintaining object trackers in video analytics
US10810481B2 (en) * 2017-01-11 2020-10-20 Thomas Danaher Harvey Method and system to count movements of persons from vibrations in a floor
GB2550286B (en) * 2017-04-21 2018-04-25 Integrated Design Ltd Optical system for monitoring the movement of people through a passageway
US10839552B2 (en) * 2017-06-01 2020-11-17 Nec Corporation Image processing apparatus, tracking method, and program
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法
JP7303412B2 (ja) * 2018-08-30 2023-07-05 シンフォニアテクノロジー株式会社 ワークカウント制御システム、パーツフィーダ
JP2022011927A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
DE102021104623A1 (de) * 2021-02-26 2022-09-01 Ssi Schäfer Automation Gmbh (At) Materialflusssteuerung mit virtuellen Sensoren
US11676383B2 (en) 2021-03-15 2023-06-13 Sensormatic Electronics, LLC Object counting system for high volume traffic
US11676384B2 (en) * 2021-03-15 2023-06-13 Sensormatic Electronics, LLC Object counting system for high volume traffic
WO2023015029A1 (en) * 2021-08-06 2023-02-09 Illinois Tool Works Inc. Vision sensor infeed system
CN113709006B (zh) * 2021-10-29 2022-02-08 上海闪马智能科技有限公司 一种流量确定方法、装置、存储介质及电子装置
TW202319957A (zh) * 2021-11-05 2023-05-16 華捷智能股份有限公司 影像辨識系統及影像辨識方法
CN116451734B (zh) * 2023-06-19 2023-09-29 浙江托普云农科技股份有限公司 辅助高精度种子数粒方法、系统、装置及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0700017A2 (en) * 1994-08-31 1996-03-06 Nippon Telegraph And Telephone Corporation Method and apparatus for directional counting of moving objects
CN201063168Y (zh) * 2007-01-23 2008-05-21 联策科技股份有限公司 光学计数装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
JP3831112B2 (ja) * 1998-03-30 2006-10-11 東日本旅客鉄道株式会社 移動物体計測装置
JP3571628B2 (ja) 2000-08-31 2004-09-29 三菱電機株式会社 画像処理装置
JP4868718B2 (ja) 2004-05-12 2012-02-01 三菱電機株式会社 人数カウント装置
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
WO2007067721A2 (en) 2005-12-08 2007-06-14 Lenel Systems International, Inc. System and method for counting people near objects
TW200727204A (en) * 2006-01-06 2007-07-16 Univ Nat Kaohsiung Applied Sci Bi-directional people counter for pedestrian passing flow
WO2009016614A2 (en) 2007-08-02 2009-02-05 Emza Visual Sense Ltd. Universal counting and measurement system
TWM327060U (en) * 2007-08-21 2008-02-11 Taiwan Leading Biotech Inc Image analysis counting system for use in aquaculture technology field
WO2009039350A1 (en) 2007-09-19 2009-03-26 Micro Target Media Holdings Inc. System and method for estimating characteristics of persons or things
TWI372359B (en) * 2008-03-21 2012-09-11 Huper Lab Co Ltd Vertical people monitoring and counting method
US20090296989A1 (en) 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
CA2727767C (en) 2008-07-08 2016-02-02 Nortech International (Pty) Limited Apparatus and method of classifying movement of objects in a monitoring zone
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
ES2396500T3 (es) 2010-11-18 2013-02-22 Axis Ab Contador de objetos y método para contar objetos
TWI448977B (zh) * 2011-12-08 2014-08-11 Ind Tech Res Inst 基於視訊分析的物件計數方法與裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0700017A2 (en) * 1994-08-31 1996-03-06 Nippon Telegraph And Telephone Corporation Method and apparatus for directional counting of moving objects
CN201063168Y (zh) * 2007-01-23 2008-05-21 联策科技股份有限公司 光学计数装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automatic Estimation of Pedestrian Flow;GWANG-GOOK LEE;《DISTRIBUTED SMART CAMERAS》;20070901;全文 *

Also Published As

Publication number Publication date
TW201227543A (en) 2012-07-01
KR20120053949A (ko) 2012-05-29
US8699758B2 (en) 2014-04-15
US20120128212A1 (en) 2012-05-24
ES2396500T3 (es) 2013-02-22
JP2012108908A (ja) 2012-06-07
CN102467679A (zh) 2012-05-23
EP2455914A1 (en) 2012-05-23
EP2455914B1 (en) 2012-10-17
US20140185876A1 (en) 2014-07-03
KR101556693B1 (ko) 2015-10-13
US9177385B2 (en) 2015-11-03
JP5432227B2 (ja) 2014-03-05
TWI508004B (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN102467679B (zh) 对象计数器及对对象进行计数的方法
US8009863B1 (en) Method and system for analyzing shopping behavior using multiple sensor tracking
Loy et al. Multi-camera activity correlation analysis
US20170169297A1 (en) Computer-vision-based group identification
Benezeth et al. Abnormality detection using low-level co-occurring events
EP2835763B1 (en) A hybrid method and system of video and vision based access control for parking stall occupancy determination
Lee et al. Hierarchical abnormal event detection by real time and semi-real time multi-tasking video surveillance system
US9846811B2 (en) System and method for video-based determination of queue configuration parameters
Fujisawa et al. Pedestrian counting in video sequences based on optical flow clustering
Hinz et al. Online multi-object tracking-by-clustering for intelligent transportation system with neuromorphic vision sensor
Chandran et al. Real-time identification of pedestrian meeting and split events from surveillance videos using motion similarity and its applications
Sobti et al. Object detection in real-time systems: Going beyond precision
WO2022078134A1 (zh) 一种人员流量分析方法和系统、电子设备和可读存储介质
EP3879435A1 (en) Method for analysing the behaviour of people in physical spaces and system for said method
US20220366575A1 (en) Method and system for gathering information of an object moving in an area of interest
US11157728B1 (en) Person detection and identification using overhead depth images
CN110956644B (zh) 一种运动轨迹确定方法及系统
Mudjirahardjo et al. Temporal analysis for fast motion detection in a crowd
Yang et al. Graph stream mining based anomalous event analysis
Iosifidis et al. A hybrid static/active video surveillance system
CN114820692B (zh) 跟踪目标的状态分析方法、装置、存储介质和终端
Chandrajit et al. Data Association and Prediction for Tracking Multiple Objects
Pádua et al. Real-time pedestrian counting based on computer vision
Pless et al. Persistence and tracking: Putting vehicles and trajectories in context
CN113869117A (zh) 目标状态检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant