CN1233336A - 视频成像系统 - Google Patents

Abstract

通过以下步骤监视通过一区域的交通流:用一摄像机(10)产生该区域的视频图像;把该视频图像分成象素(23)矩阵;在低分辨率下对整个视频图像的这些象素(23)采样,以检测象素(23)的变化,这些变化将表示一关注目标;在高分辨率下对以所述关注目标为中心的该视频图像局部区域(25)的象素进行采样,以检测关注目标的大小及其运动方向。

Description

视频成像系统

本发明涉及视频成像系统，尤其涉及监视通过一个区域的交通流的方法和装置。

早已提出把视频成像系统用来监视进入或离开人行交通区域的人流，这种人行交通区域例如是一零售批发商店或购物区的入口段。这种系统包括一视频成像器(video imager)，例如一CCD摄像机，将该摄像机置于上述区域之上以监视该交通区域，用适当的处理设备分析该视频成像器的图像，以统计横穿该区域的人数和检测各人的行动方向。为了降低所需的处理量，已根据WO94/27408提出：把对视频图像的处理限定在交通区域很窄的地带。

例如，可以修改这种系统使其适应于对交通流的障碍物。但是，一旦建立起该系统，若通过加入、拆除或重放障碍物改变交通区域，则该系统不够灵活，需要重置。此外，这种系统只能检测双向的交通流。若把这种系统用在道路交叉口，则必然需要几个这样的系统，使该道路交叉口的每个入口都有一个这种系统，以便于监视通过该道路交叉口的人的行动。

本发明提供一种视频成像系统，这种系统很灵活，能够进行全方向交通流的监视工作。

根据本发明的一个方面，一种监视通过一区域的交通流的方法，其特征在于：产生该区域的视频图像；把该视频图像分成一象素矩阵；在低分辨率下对整个视频图像的这些象素采样，以检测一关注目标；在高分辨率下对以所述关注目标为中心的该视频图像局部区域的象素进行采样。

根据本发明的另一方面，一种视频成像系统包括：一视频成像器，用来产生一区域的视频图像；和处理装置，用来分析该视频图像，所述处理装置包括：用来把视频图像分成多个象素的装置；用来以低分辨率对象素采样以便检测一关注目标的装置；和用来以高分辨率对一局部区域的象素采样的装置，该局部区域以所述关注目标为中心。

根据本发明，以低分辨率扫描整个视频图像，沿两个方向扫描每二十个象素中的一个象素，只有在以低分辨率找出一关注目标时，才以高分辨率扫描与所检测到的关注目标相对应的局部区域，由此节约了所需的处理容量。

这样，当找出一关注目标时，它可以在视频图像所覆盖区域内受到跟踪，以便可以监视经过该区域的全方向交通流。因此，可以例如把单独一个视频成像器用来监视交叉路口处的交通流。

根据本发明的一个优选实施例，产生该区域的一系列时分视频图像，把一个视频图像的象素与以前的一个图像或多个图像的相应象素作比较，以便可以用象素中的变化检测经过该区域的一个关注目标。

另外，可以使高分辨率下扫描的局部区域的大小适于该关注目标，以便于区别不同的关注目标。例如，在高分辨率下所扫描的局部区域的不同取决于关注目标是儿童、成人还是正在推动手推车的行人或一个家庭人群。对高分辨率下所扫描的局部区域规定大小，这还能区别单独行人和靠得很近的一群行人。还可以对所规定大小的区域进行校正，以适应因例如透视镜或高度广角镜作用效应的变化。另一方面，对一目标形状所进行的逐帧改变可以用来鉴别该目标。例如对于一行人来说，一跨步图案可以用来区分一成人和一儿童，而诸如手推车之类无生命的目标会产生一规则图案。

通过连续扫描整个交通区域，尽管是在低分辨率下，可是例如在把障碍物放入或重置于该交通区域中时，该系统将自动适应交通流路径的变化。

根据本发明的又一方面，一种视频成像系统包括：一视频成像器，用来产生一区域的视频图像；和处理装置，用来分析该视频图像，所述处理装置包括用来把视频图像分成一个或多个关注区域的装置，该处理装置单独分析每个关注区域，以检测通过每个关注区域的关注目标的流动速度和运动方向。

根据本发明的再一方面，一个单独的视频成像器可以用来单独监视一给定区域中的多个关注区域。例如，关注区域可以代表一电梯、自动扶梯和楼梯的入口或出口。这样，一个单独的视频成像器可以用来跟踪分别使用电梯、自动扶梯和楼梯的行人的量，而这里否则将需要各个装置可用来监视每个区域。另一方面，关注区域可以代表零售批发商店的不同柜台。

这里仅利用实例来参照附图描述本发明，在这些附图中：

图1通过图解表示出根据本发明的视频成像系统，该系统用来监视通过一交通区域的人流；

图2是一示意图，表示对由图1所示系统得到的视频图像所进行的处理工作；

图3通过图解表示出类似图1所示系统的视频成像系统，它安装在一人行道路交叉口；

图4通过图解表示出根据本发明的视频成像系统的另一应用；

图5通过图解表示出本发明的另一实施例。

如图1所示，用来监视例如超市中顾客人流的视频成像系统包括一单色或彩色CCD摄像机10，该摄像机10安装在超市的岛(isle)14之上。货架位于岛14的两侧。把摄像机安装得能垂直向下看到区域12，区域12可以是例如10平方米。

摄像机10接至远程处理装置20，该装置20包括一模/数转换器21，它把来自摄像机10的模拟信号转换为一数字信号，该数字信号表示视频图像。把视频图像分为各个象素，每个象素表示视频图像上一微小的点。该数字信号包括与每个象素的(单色)灰度或色彩梯度相对应的数字值。区域12的视频图像包括512×512个象素矩阵。摄像机10以每秒25帧的速度产生区域12的新视频图像。

把视频图像每帧的数字信号传输给存储和分析装置22，该装置22沿每个方向扫描该矩阵的每一个第二十象素23，并且把与每个象素23的灰度或色彩梯度相对应的数字值同前一帧中相同象素的相应数字值相比较。另一方面，可以把每个象素的数字值同所述255帧中任意长时间段内象素的数字值的加权平均值相比较。若灰度或色彩梯度的变化超过一阈值，则检测到一令人关注潜在目标，该目标是一活动目标。该阈值可以在不同的光强下变化，区分高、低光强下变化的能力也可以改变。阈值图(maps)可以用来控制不同图像区的阈值。

为了避免因光线中的局部变化而对关注目标所进行的不可靠检测，根据对一令人关注潜在目标的检测，扫描与表示一令人关注潜在目标的象素23相邻的象素，只有在灰度或色彩梯度中的变化超出这些相邻象素中至少一个象素的阈值时，才确认该令人关注的目标。此外，为了避免因整个区域20内的光线变化而对关注目标所进行的不可靠检测，把表示令人关注潜在目标的象素23的灰度或色彩梯度变化同区域12其他部分中象素23的变化作比较，其中上述其他部分中的象素23包括例如区域12中一些部分中的象素23，在这些部分中，放置有展示货架16，而不可能包括关注目标。

根据对一关注目标的确认，分析装置接着扫描局部区域25中的所有象素，该区域25以表示关注目标的象素23为中心。局部区域25最初可以具有与一典型成人相对应的标定大小。但是，可以增大或缩小局部区域25的大小，直到使局部区域25的大小达到关注目标为止。还可移动局部区域25，直到它覆盖关注目标为止。亦即，调整局部区域25，直到它覆盖所有的毗邻象素，其中已经有阈值之上的灰度或色彩梯度的变化。

可以用局部区域25的大小来鉴别关注目标，最后发现，需要该局部区域25来覆盖关注目标。关注目标的大小和形状随行人的移动例如随其手臂和腿相对于其躯干的移动而变化。但是，当通过例如在视频图像的几帧内平均该大小来鉴别关注目标时，可以考虑这些变化。处理装置20配备有存储装置24，在存储装置24中存储搜索表，借助搜索表，例如可以把不同大小范围内的关注目标鉴别为儿童、成人、正在推动折叠式婴儿车或超市手推车的成人或者密集成群的行人。在后一种情况下，人群的整个大小可以用来提供人群中的人数。阈值会区别视频图像中的实体目标和阴影，因而避免了对关注目标的不可靠鉴别。但是，当较深的阴影由强光源形成时，阈值可能不足以区别实体目标和阴影。不过，可以就这种光源的位置对本系统进行编程，以便预估和忽略阴影的位置。

局部区域25随关注目标横穿区域12而移动，这样，关注目标的运动可以受到监视。

采用上述系统，若关注目标处于区域12中，则它将隐没于背景中。在这种情况下，必需维持关注目标的位置以及它来自何方的记录，以便当该目标再次移动时，可以检测到它经过区域12的路径。实现这一功能的一种方法是，一旦有一象素检测一关注目标，就锁定与该象素数字值相比较的数字值，直到该关注目标远离该象素为止。这种保护稳定的关注目标的方法优选具有有限的时间，以使长久加入区域12内的新障碍物能最终有可能混入背景之中。

因此，可以把上述系统用来监视沿过道14移动的顾客的数目、类型和移动方向。此外，当该系统监视整个区域12时，若移动展示货架16以使顾客沿先前被货架16所覆盖的区域行走，并且/或者在走道14中央设置展示装置，则该系统会自动适应顾客新的移动路径而不必重新设置。

在上述实施例中，把视频图像分成512×512个象素的矩阵，一帧视频图像示于图2中，一帧视频图像一般表示m×10m大小的区域12。因此，每个象素将覆盖约2平方厘米的区域。在粗分辨率下，当扫描每个方向上的每第二十个象素23时，受扫描象素23之间的间隔将为40厘米左右。它与60厘米左右的行人平均宽度进行比较。因此，在粗分辨率下进行的扫描应能检测进入区域12中的所有行人。但是，进行粗扫描的分辨率可以随需要增大或减小，这取决于视频图像所覆盖的区域12、关注目标的相对大小和图像所分成象素的数目。不过，在粗分辨率下进行的扫描优选包括在视频图像的整个区域内平均扫描5％～10％的象素。

另外，根据以上实施例，行人可以以高达3米/秒左右的速度穿过区域12。假定一个一般的行人前后宽度约为30厘米，则由该行人所穿过的每个象素会覆盖该行人约0.1秒，这是25帧/秒速度下的至少两帧。此外，行人将以高达6象素每帧的速度经过区域12。因此，可以逐帧跟踪行人穿过区域12的运动方向和路径。

为了实现实时处理视频图像，必需对各连续帧之间的关注目标进行检测、确认、确定大小和定位。一旦已对一关注目标进行了检测、确定大小和定位，就可以把一帧中的大小与位置用来预报下一帧中的大小和位置，由此减小了接下来各帧中所需进行处理的量，从而跟踪穿过区域12的关注目标的运动。

分析装置22能够同时扫描多个局部区域25，从而可以使穿过区域12的多个关注目标受到跟踪。

如图3所示，上述类型的视频成像系统可以用在交叉路口30，两条行人通道31、32在该交叉路口30处相交。采用这种系统，当行人的运动在整个交叉路口30之内受到监视时，该系统能够既监视右转或左转的行人，也同时监视直行穿过交叉路口30的行人。

在图4所示的实施例中，把摄像机40放置得使其能沿一超市的主过道42水平和向下拍摄。因而，该系统能够监视沿主过道42移动的行人，还能够监视离开主过道42而进入几个过道44里一个过道中的行人，这几个过道44从主过道42中引出。在该实施例中，为了提供远景效果，可以改变区域45的比例，在低分辨率下鉴别出一关注目标之后，在高分辨率下扫描区域45。

图5所示的实施例类似于图1所示的系统，相同的参考数字用于相对应的部件。在图5所示的实施例中，把由摄像机10所覆盖的整个区域12分成几个关注区域：第一关注区域52，它对应于电梯53的入口/出口；第二关注区域54，它对应于上行自动扶梯55的入口；第三关注区域56，它对应于下行自动扶梯57的出口；第四关注区域58，它对应于楼梯59的入口/出口。

处理装置20能够独立地处理每个关注区域52、54、56和58，以便得到进入或走出电梯53的行人、走上自动扶梯55的行人、走下自动扶梯57和走上或走下楼梯59的行人的各自统计数值。

由该系统的软件来定义关注区域52、54、56和58，并且可以由操作员根据该系统的安装来设定它们。关注区域还可以重新设置，以接受区域12的物理分布的变化，而不改变视频成像系统的硬件。另一方面，可以把摄像机10所覆盖的整个区域12分成几个关注区域，这几个关注区域对应于例如不同的柜台或展示货架，以使从一个柜台或展示货架走到另一处的行人的运动可以受到监视。

尽管在以上的实施例中摄像机10以25帧每秒的速度产生新的视频图像，并且这些图像被分成512×512个象素的矩阵，不过，摄像机10也可以以15～60帧每秒的速度产生图像，并且这些图像可以被分成80×80～4000×4000个象素的矩阵。

一额外的视频成像器可以用来提供立体图像，该图像会有深度感。这将有助于鉴别关注目标，还能观看正挡住其他关注目标的目标周围。

Claims (21)

1．一种监视通过一区域(12)的交通流的方法，其特征在于：产生该区域(12)的视频图像；把该视频图像分成象素(23)矩阵；在低分辨率下对整个视频图像的这些象素(23)采样，以检测一关注目标；在高分辨率下对以所述关注目标为中心的该视频图像局部区域(25,45)的象素进行采样。

2．根据权利要求1的方法，其特征在于，把区域(12)一个视频图像的象素(23)与在不同时间所取区域(12)的一个视频图像或多个视频图像的相应象素作比较，以便这些象素中的变化可鉴别出经过该区域(12)的关注目标。

3．根据权利要求2的方法，其特征在于，以15～60帧每秒的速度产生视频图像。

4．根据权利要求2或3的方法，其特征在于，把视频图像转换成数字视频图像信号，其中把视频图像分成象素(23)矩阵，所述数字视频图像信号包括该矩阵中每个象素(23)的灰度或色彩梯度的数字值。

5．根据权利要求4的方法，其特征在于，把一个视频图像每个象素(23)的灰度或色彩梯度与前一个视频图像中相应象素(23)的灰度或色彩梯度作比较，若该灰度或色彩梯度的差别比一阈值大，则鉴别出一关注目标。

6．根据权利要求4的方法，其特征在于，把一个视频图像每个象素(23)的灰度或色彩梯度与任意长时间阶段中象素(23)的灰度或色彩梯度加权平均值作比较，若该灰度或色彩梯度的差别比一阈值大，则鉴别出一关注目标。

7．根据权利要求5或6的方法，其特征在于，把每个象素(23)中的变化与整个区域(12)内其他象素(23)中的变化作比较，以便校正整个区域(12)内的光线变化。

8．根据前述任一权利要求的方法，其特征在于，通过扫描与检测到一关注目标的象素(23)相邻的象素(23)，确认在低分辨率下对一关注目标的检测，之后扫描以该关注目标为中心的局部区域(25)。

9．根据前述任一权利要求的方法，其特征在于，在低分辨率下，在整个视频图像上平均扫描5％～10％的象素(23)。

10．根据前述任一权利要求的方法，其特征在于，使局部区域(25)的大小适于关注目标。

11．根据权利要求10的方法，其特征在于，在以低分辨率进行扫描从而找出一关注目标之后，使一标定大小的局部区域(25)以该关注目标为中心，并且以高分辨率扫描该局部区域(25)，使该局部区域(25)的大小在几次高分辨率扫描内逐渐适于该关注目标。

12．根据权利要求10或11的方法，其特征在于，根据局部区域(25)的大小鉴别关注目标。

13．根据权利要求10或11的方法，其特征在于，由关注目标逐帧的形状变化来鉴别关注目标。

14．根据前述任一权利要求的方法，其特征在于，把每个视频图像分成80×80～4000×4000象素(23)的矩阵。

15．根据前述任一权利要求的方法，其特征在于，把视频图像分成多个关注区域(52,54,56,58)，每个关注区域(52,54,56,58)可受到独立地扫描。

16．一种用来监视通过一区域的交通流的方法，其特征在于：产生该区域(12)的视频图像；把该视频图像分成多个关注区域(52,54,56,58)；处理该视频图像，以独立地检测每个关注区域(52,54,56,58)内的关注目标。

17．根据权利要求16的方法，其特征在于，产生一系列时分视频图像，处理这些视频图像，以检测通过每个关注区域(52,54,56,58)的关注目标的流动速度和运动方向。

18．一种视频成像系统，其特征在于：一视频成像器(10；40)，用来产生一区域(12；30；42)的视频图像；和处理装置，用来分析该视频图像，所述处理装置(20)包括：用来把视频图像分成多个象素(23)的装置(21)；用来以低分辨率对象素(23)采样以便检测一关注目标的装置(22)；和用来以高分辨率对一局部区域(25,45)的象素(23)采样的装置，该局部区域(25,45)以所述关注目标为中心。

19．根据权利要求18的视频成像系统，其特征在于，视频成像器(10；40)是一单色或彩色摄像机。

20．根据权利要求18或19的视频成像系统，其特征在于，视频成像器(10；40)在相对于该区域(12；30；42)垂直方向和水平方向之间垂直设置或水平设置。

21．根据权利要求18至20中任意一个的视频成像系统，其特征在于，提供一额外的视频成像器，它用来提供该区域(42)的立体图像。

Images