CN102622575A - 基线带视频监控系统和监控方法 - Google Patents

Abstract

本发明公开了基线带视频监控系统和监控方法。该基线带视频监控系统包括：多基线带预处理单元，被配置为对成像装置获取的被监控视场的图像进行预处理，从而获得一条或多条基线带；特征提取单元，被配置为对于所述一条或多条基线带中的任一条基线带，通过对该基线带中的运动物体执行特征提取来获得所述运动物体的二值化轮廓和特征像素点；以及运动物体识别单元，被配置为通过多个图像中的该基线带内所述运动物体的二值化轮廓和特征像素点之间的匹配来在所述多个图像中识别并找到所述运动物体。

Description

基线带视频监控系统和监控方法

技术领域

本发明一般地涉及计算机软件信息处理领域，更具体而言，涉及智能交通领域中的视频图像模式识别。

背景技术

目前，随着经济的快速发展，机动车的数量也是突飞猛增，随之带来的就是交通环境的恶化，所以如何智能地提高交通的控制能力成为当务之急。获取交通路况是控制交通的最为关键的因素。通常我们获取交通路况和交通流信息的方式还是通过线圈，微波，红外线等方式，这些设备很容易受到破坏并且维修起来很不方便。为了解决以上的问题，视频监控的应用成为更加有效的智能交通控制方式。视频图像监控的方法是通过架设在道路上的摄像头采集视频数据流，从视频数据流中抓取车辆运动信息来计算实时路况信息，而快速、准确的视频监控分析路况和交通流的计算方法至关重要。

图1示出了现有的视频监控系统处理实时路况的处理过程100。在步骤S102中，当车辆行驶到摄像头监控的视场范围内时，摄像头首先识别出车辆的车身轮廓图片信息，并将识别出的车身轮廓图片信息传送给后台的处理单元(未示出)，处理单元可以是诸如CPU、专用集成电路之类的通用或专用处理设备。在步骤S104中，处理单元对车身轮廓图片信息进行处理，具体而言，从车身的图片中分离出车牌所在的位置(一般在车头和/或车尾)，并且提取出车牌的轮廓区域信息。从图片中分离车牌所在位置并提取轮廓区域信息的技术是本领域中公知的，因此在这里不作详细描述。接下来，在步骤S106中，处理单元对车牌区域信息进行处理以提取出车牌区域内的文字信息，具体而言，由于摄像头的架设位置与车辆行驶方向之间一般存在一角度差，从而导致所提取的车牌的轮廓不是车牌的正视图(即，一般是斜视图)，这进而导致对车牌文字信息的提取困难。因此，处理单元对车牌的旋转角进行修正使得车牌变为正视图。作为一个示例，处理单元可以将车牌轮廓区域信息进行旋转，旋转的角度可以是一个预设的值，然后，处理单元对旋转后的图片进行判断，以判断所获得的图片是否是正视图。如果是，则处理结束；否则，处理单元对旋转角进行自适应的调整(例如，加上或者减去一固定增量)并再次旋转并进行判断，直到判断出获得了车牌的正视图为止。注意，这种对车牌图片信息进行旋转并且判断的技术也是本领域中公知的，因此在这里不作详细说明。另外，从正视图的图片信息中提取文字信息的技术也是本领域技术人员所熟知的。

通过步骤S106的处理，处理单元获得了能够唯一地标识车辆的车牌文字信息(车牌号)作为车辆的监控标志，从而在接下来的车辆移动中能够容易地根据此标志定位作为被监控对象的该车辆。

需要注意的是，步骤S102-S106的处理是针对一幅画面执行的。而在实际中，视频连续的视频流是连续从摄像头输入到处理单元的。因此，在步骤S108中，处理单元从视频连续的一组画面中截取整个视场的图片信息，对这一组画面的图片都执行上述步骤S102-S106的处理从而找到并定位被监控车辆，并据此标识出车辆在摄像头的视场内的行驶轨迹。

接下来，在步骤S110中，处理单元根据车辆的行驶轨迹计算车辆行驶距离，并且在步骤S112中根据车辆行驶这段轨迹所用的总时间计算出车辆行驶速度，从而获得了该被监控路段的路况信息。

通过上述处理，可以获得视场内作为被监控对象的车辆的行驶速度，并且根据视场内多个车辆的速度信息就可以得知该被监控路段的综合路况信息。

但是，目前已发现该处理方法存在以下的缺陷。首先，本领域中所公知的是，从图片信息中提取文字信息的运算是费时且困难的，也就是说，从车身的轮廓区域内提取出车牌的轮廓以及在车牌的轮廓内提取车牌的文字信息这一过程的运算复杂度比较高、耗费系统计算时间较长，尤其是当监控视场内的车辆较多时，由于要对视场内的每个车辆进行处理以获得标识每个车辆的车牌文字信息从而找到并定位作为被监控对象的车辆，因此很难保证处理的实时性。并且，当摄像头的架设位置与车辆行驶车道夹角较大时，此时很难修正并获得车牌的正视图，这会导致提取车牌文字信息失败，从而降低了监控的准确度。

其次，当视频摄像头监控视场范围较大时，所获得的图片也较大，图片中包含的车身轮廓信息等等也较多。这种情况下，在大图片中提取车牌文字信息进行车辆跟踪轨迹的运算量非常大，尤其是在连续的一组图片中识别文字信息，其运算量更是庞大，因此很难保证处理的实时性。

也就是说，根据现有的道路路况监控方法，处理的实时性和准确性都很难得到保证，尤其是在监控视场范围较大且视场内的车辆较多时更是如此。因此，迫切需要一种快速且准确的路况监控方法，以确保快速而且准确性更高地把车辆的行驶轨迹标志出来，并且能够实时地计算出被监控路段的路况信息。

发明内容

根据本发明的一方面，提供了一种基线带视频监控系统，包括：多基线带预处理单元，被配置为对成像装置获取的被监控视场的图像进行预处理，从而获得一条或多条基线带；特征提取单元，被配置为对于所述一条或多条基线带中的任一条基线带，通过对该基线带中的运动物体执行特征提取来获得所述运动物体的二值化轮廓和特征像素点；以及运动物体识别单元，被配置为通过多个图像中的该基线带内所述运动物体的二值化轮廓和特征像素点之间的匹配来在所述多个图像中识别并找到所述运动物体。

根据本发明的另一方面，提供了一种基线带视频监控方法，包括以下步骤：对成像装置获取的被监控视场的图像进行预处理，从而获得一条或多条基线带；对于所述一条或多条基线带中的任一条基线带，对该基线带中的运动物体执行特征提取以获得所述运动物体的二值化轮廓和特征像素点；以及通过多个图像中的该基线带内所述运动物体的二值化轮廓和特征像素点之间的匹配来在所述多个图像中识别并找到所述运动物体。

本发明至少实现了以下若干方面的改进：

1.由于车辆只能在道路上行驶，因此在监控前根据视场内呈现出来的道路或者车道位置以带状的形式(基线带)标志出来作为被监控的视频范围，这避免了整个视场内大图片的处理。从而减小了监控范围并且降低了系统的运算量。

2.在识别车辆轮廓时，由于车辆在基线带内与道路背景颜色差别很大，因此对图像进行黑白色的二值化处理，这与对整个彩色图像进行处理相比极大地减小了运算量，从而能够更加快速地识别出车辆的轮廓信息。

3.在原始基线带内车辆轮廓所在的区域抽取出车辆的特征像素点，尤其是车头和车尾部分拥有车牌信息，能够更加准确地标志出某一个车辆，因此在车头和车尾提取特征像素信息时进行更加密集的采样。根据车辆轮廓信息和特征像素点唯一标识了车辆，而且避免了对车牌文字识别的复杂运算，从而增加了运算的效率。而且也避免了由于摄像头角度等原因造成的识别文字失败的情况，从而增加了识别的准确性。

与现有技术相比，本发明至少获得了以下优点：第一、通过以车道或者道路以基础，通过多基线带的形式划定监控范围，减少了系统的监控范围，极大地提高了运算速度；第二、可以快速识别车辆轮廓，提高了处理性能；第三、通过特征像素点的提取来标识车辆信息，在处理速度和特定场景下的准确度都有极大的提升。

附图说明

图1示出了现有的视频监控系统处理实时路况的处理过程100；

图2示出了根据本发明的多基线带视频监控系统200的功能框图；

图3示出了根据本发明的多基线带视频监控系统的操作流程300；

图4示出了通过多基线带预处理单元201的处理所获得的多基线带；

图5示出了根据本发明的特征提取单元202以及速度计算单元203的详细配置的示图；

图6示出了二值化单元504的二值化处理的结果；

图7示出了特征像素点采样单元506对车辆采样的示图；

图8示出了图3中的步骤S306-S308的详细操作流程；

图9示出了图8的步骤S802的特征信息匹配过程的一个示例；

图10示出了对监控有效性的判断的示图；

图11示出了对基线带范围的自适应调整的示图。

具体实施方式

下面将参考附图详细描述本发明的实施例。

图2示出了根据本发明一个实施例的多基线带视频监控系统的功能框图。图2所示的多基线带视频监控系统200包括多基线带预处理单元201、特征提取单元202和车辆识别单元203。此外，根据需要，视频监控系统200还可包括速度计算单元204和分析单元205。下面以对车道的路况进行分析从而得到路况信息的系统作为示例来描述多基线带视频监控系统200。但是，需要注意，监控系统200并不限于对车道进行分析的系统，并且也不需要包括上述的所有装置。在其他场景下亦可通过该系统的全部或者部分装置的组合来实现运动物体监控。例如，监控系统200也可以用作地铁中对人的流量进行分析的人流量监控系统。在下面的描述中，仅为了说明的目的，采用车道上的车辆作为运动物体的示例。

多基线带预处理单元201被配置为对作为被监控视场范围内的一条或多条车道进行预处理，从而获得一条或多条具有监控起点线和监控终点线的基线带作为被监控单位，并且将这一条或多条基线带(下面可统称为“多基线带”，但是注意这也可以指仅有一条基线带的情况)输出到特征提取单元202。注意，这里基线带的监控起点线和监控终点线在监控期间可以是固定的，也可以由系统200进行适当的动态调整。

特征提取单元202被配置为通过对基线带中关于车辆的多个图像执行特征提取，来获得车辆的二值化轮廓和特征像素点。速度计算单元203被配置为通过对多个图像中车辆的二值化轮廓和特征像素点进行特征信息匹配，来获得车辆的在基线带内的轨迹，并根据轨迹计算出车辆的速度。分析单元204被配置为根据车辆速度计算出路况信息并将其输出。关于特征提取单元202、车辆识别单元203和速度计算单元204的详细配置，将在下面参考图5详细描述。

下面结合图3的流程图详细描述多基线带视频监控系统200的每个单元的操作。图3示出了根据本发明的多基线带视频监控系统的操作流程300。

在图3的步骤S302中，多基线带预处理单元201首先对被监控视场进行预处理从而获得多基线带，具体而言，由于车辆只能在车道内行驶，因此多基线带预处理单元201对监控视场范围内的车道以带状进行标定作为被监控的范围，并且根据车道的行驶方向规则设置车辆驶入基线带范围的某条线作为该条基线带的监控起点线，同时，把车辆驶出基线带范围的某条线作为该基线带的监控终点线。图4示出了通过多基线带预处理单元201的处理所获得的多基线带。注意，划分监控视场内的车道以及设定车道的监控起点线和监控终点线的方式可以是人工方式或者机器自动识别的方式。多基线带预处理单元201将通过预定规则划分得到的多基线带信息(包括各基线带的起点线和终点线信息)输出到特征提取单元202。

在步骤S304中，特征提取单元202根据从多基线带预处理单元201传送来的多基线带的信息(包括监控起点线和监控终点线的信息)，对输入的连续流量视频流执行特征提取，从而获得车辆的二值化轮廓并采样出车辆的特征像素点。

在步骤S306中，车辆识别单元203根据所提供的特征信息在多个图像之间进行车辆的匹配，从而识别并找到作为监控目标的车辆。

在步骤S308中，速度计算单元204根据多个图像中车辆的匹配计算行驶轨迹和时间，并根据计算出的行驶轨迹和时间计算得到车辆行驶速度。关于速度计算单元204的详细配置和功能，将在下面参考图5描述。

在步骤S310中，分析单元205计算最近一个时间段(例如3分钟)内多辆车在某个车道内行驶的平均速度作为该时间段内的路况信息的结果，并将其输出。该3分钟时间的选取仅仅是一个示例，在实际中可根据需要选择适当的时间作为评估路况信息的时间段。例如，如果需要对该监控路段进行更为精确的监控，则可以选取更短时间(例如30秒)内的车道内车辆平均速度作为该路段的路况信息。在另一示例中，也可以按不同的加权因子对各车辆的速度进行加权平均来获得路况信息。

注意，上面所描述的多基线带视频监控系统200的功能结构以及该视频监控系统200所执行的操作流程300仅仅是一个示例，本领域技术人员可以根据需要对各个单元的功能进行重新划分，即，合并某些单元的功能，或者对某些单元的功能进一步划分。例如，上述车辆识别单元203和速度计算单元204的功能可以被合并为一个单元，或者速度计算单元204和分析单元205的功能也可以被合并为一个单元，又或者上述三个单元的功能可以被合并为一个单元，即在该单元中，可以执行多个图像中车辆之间的匹配并根据所获得的匹配计算车辆的行驶轨迹和速度，然后根据车辆行驶速度得到路况信息。

另外，在图2的功能框图中并未示出某些公知的组件。例如，视频监控系统200必然包括被配置为摄取图像的摄像头和被配置为缓冲接收的流量视频流以进行后续的特征提取和匹配操作的缓冲存储器，但是由于该摄像头和缓冲存储器与本发明并不直接相关，因此在附图中并未示出并且这里省略了对其的描述。

图5示出了根据本发明一个实施例的特征提取单元202、车辆识别单元203以及速度计算单元204的详细配置的示图。该图仅仅是一个示例，如上所述，本领域技术人员可以根据需要对各个组成单元的功能进行合并或者进一步划分。

图5所示的特征提取单元202包括图像变化部分识别单元502、二值化单元504和特征像素点采样单元506。速度计算单元204包括轨迹描述单元510和车速计算单元512。下面详细描述各个单元的功能。

特征提取单元202所接收的视频流是以一定帧速率(一般是24帧/秒，根据需要也可以是其他帧速率)拍摄的连续视频流。因此，在接收到视频流信息后，图像变化部分识别单元502首先获取当前时刻的静态图片信息，并根据当前时刻的静态图片信息通过对比基线带起点线附近一定区域范围内(该范围设定需大于车辆的车长以保证车辆能够完整驶入该区域内，该范围定义为起点线监控范围)的像素信息与前一个时刻相比(换句话说，将当前帧的图片与先前的某一帧的图片相比，对比内容是基线带起点线附近一定区域的像素信息)是否有变化来识别图像的变化部分。如果发生变化，说明有车辆行驶入基线带，更具体地说，由于车辆行驶时两辆车之间是有距离间隔的，所以当基线带的起点线(或者起点线监控范围中位于起点线附近的很小范围)的像素信息不发生变化时，并且起点线监控范围内除该区域外的其他区域有像素信息发生变化时，说明有车辆驶入并且车身完全驶入该区域，此时开始监控处理。注意，如果有一辆车正在驶入基线带的监控起点线，例如，在图像变化部分识别单元502识别出图片发生变化的时刻，这辆车正好驶入了30％的部分，此时车辆覆盖基线带起点线，并且起点线附近的像素点依然发生变化，因此不具备车身整体驶入监控开始触发条件，这种情况下待车辆全部驶入基线带后才开始监控。

然后图像变化部分识别单元502将识别出变化部分的信息告知二值化单元504和特征像素点采样单元506以进行后续处理。注意，这里所说的先前的某一帧图片不一定是紧邻的前一帧图片，也可以是隔一帧、隔两帧、隔四帧等等的图片，这取决于车辆的速度、前一处理周期路况情况以及所需要的精度等因素，如下文中进一步所述。

另外，这里所称的“起点线附近一定区域范围”可以由管理员预先设定，例如根据所监控车道(基线带)的平均速度(或者极限速度、某一较前时刻的速度，等等)设置，只要所设置的范围能够确保车辆在进入所监控基线带时能够被识别出来(而不会被监控系统遗漏)即可，也可以由系统在监控期间根据需要自适应地改变。另外，图像变化部分识别单元502识别变化部分的监控范围并不仅限于对比基线带起点线附近一定区域范围内的像素信息，其也可以通过其他方式，例如，可以预先设定起点线附近的某些点并只监视这些点的变化，这样可以极大地减小比较的运算量，从而提高了实时性。另外，图像变化部分识别单元502的设置并不是必需的，也就是说，可以进行如下的处理方式：系统并不对车辆驶入监控起点线进行判断，而是以一定的间隔(例如，在帧速率为24帧/1秒的情况下，可以是每隔1帧、每隔2帧等等)对所摄取的图片执行二值化处理和特征像素点采样的操作以及后续的操作。显然，当忽略图像变化部分识别单元502的设置时，如果某一车道中长时间没有车辆进入，后续的操作依然会被执行，则这样作会不必要地浪费电力。因此，图像变化部分识别单元502的设置可以减少这种电力浪费的可能。

在图像变化部分识别单元502告知发生了图像变化的信息后(即，当前时刻图片与先前的某一帧图片相比在起点线附近一定范围发生变化)，二值化单元504立即以二值化方式提取图片中基线带内的车辆轮廓信息，具体而言，此时，由于车辆的车身与道路背景颜色的差别较大，因此，可以将基线带内的起点一定范围区域的图像转换成黑白的图片，然后把根据背景与车身像素的差异较大的特征进行二值化处理，所得到的二值化结果如图6所示。需要注意，图6示出了车身完全在基线带内的一辆车被二值化处理的结果。在基线带内同时存在多辆车的情况下也按照同样的原理进行二值化处理。另外，该处理过程亦可以同一基线带内只监控一辆车，即：当有车辆行驶入基线带监控起点线内一定范围内开始监控，在车辆行驶出监控终点线之前，或者车辆未驶出监控终点线就监控不到车辆(车辆更换车道或者中途驶出基线带)之前，不再对驶入基线带内的车辆进行监控，这种情况下，由于单位时间内监控车辆最多只有一辆，可以减少系统负担，但是由于单位时间内被监控的车辆数减少，路况的精度会有所下降。

另外，在图6的示图中，将车道背景部分的像素定为“1”，并将车身轮廓的像素定为“0”。但是，这仅仅是一个示例，可以相反地将车道背景部分的像素定为“0”，并将车身轮廓的像素定为“1”，或者可以采取其他的能够区分车身轮廓与车道背景的其他任意符号表示。

通过二值化单元504的处理，获得了车辆的轮廓信息(图片中的一个或多个车辆的轮廓信息)。也就是说，通过二值化单元504的处理，将摄像头所得到的原始彩色图片黑白化，从而得到二值化的轮廓信息。显然，这种处理方式的信息量与彩色图片(例如256色的彩色图片)的信息量相比大大减小了。

接下来，特征像素点采样单元506在原始基线带的彩色图片中由上述车身轮廓标识出的区域内，对像素点进行特征采样处理。在这种特征采样处理中，可以对车辆内的像素点进行抽稀以减少运算量。抽稀的原则可以是多种，比如某个像素点色彩信息与周围一定范围内的像素点色差较大具备特性特征的抽稀原则；或者是一定区域内的多个像素点色差较小；取其中一个具有代表性的点的抽稀原则等原则，但是前提是要保证能够唯一地标识车辆。另外，抽稀的原则要在同一个处理单元内保持一致，目的是确保在执行采样点匹配时，被匹配的两组采样点集合中每个相对比的采样点能够在车辆中位于相同或者十分接近的位置。因此，在实际采样中，由于车辆的车尾和车头拥有车牌信息像素点，能够更好的唯一标识车辆，因此在这两个区域采样时，需要相对密集。而关于车身的其他部位的采样，则可以相对稀疏。例如，在不易用来区分车辆的车顶部位的采样中，可以采用相对稀疏的采样密度甚至可以不进行采样。

注意，车牌像素点信息仅是可唯一标识车辆的信息的一个示例(通常是优选的)，但可唯一标识车辆的信息并不限于车牌像素点信息，例如，有些情况下车型、颜色以及前车窗所贴标识等的组合也可以用来唯一地标识车辆。具体在不同部位的采样中需要的采样密度亦可以由管理员根据具体情况人工设定，或者也可以由机器自动设定。图7示出了根据这种采样规则对车辆进行采样的示图。

通过特征像素点采样单元506的处理，获得了可唯一标识车辆的特征像素点信息。也就是说，特征像素点采样单元506是在上述二值化单元504的基础上，重点对车身轮廓所标识出的区域内的像素点进行特征采样，以便获得可唯一标识车辆的特征像素点信息。显然，这样所获得的特征像素点信息的量与整个车身的彩色图片的信息量相比也大大减小了。

通过上述处理，特征提取单元202获得了车辆的特征信息，即，二值化轮廓和特征像素点，并将其提供给车辆识别单元203。

车辆识别单元203根据所提供来的连续视频流的多个图片的二值化轮廓和特征像素点信息执行特征信息匹配处理，以获得基线带内作为被监控对象的车辆的匹配。然后车辆识别单元203基于所获得的车辆的匹配识别出(找到)多个图片中作为被监控对象的车辆。

接下来，速度计算单元204的轨迹描述单元510根据车辆识别单元203的识别结果计算车辆的行驶轨迹。然后，车速计算单元512根据车辆行驶轨迹计算出实际的道路行驶距离，并从而计算得到车辆行驶速度。并且车速计算单元512将所得到的车辆行驶速度输出到分析单元205以得到路况。下面将结合图8详细描述车辆识别单元203和速度计算单元204的操作。

图8示出了图3中的步骤S306-S308(即，车辆识别和速度计算)的详细操作流程。

在图8的步骤S802中，首先车辆识别单元203进行特征信息匹配以识别(找到)车辆。具体而言，从摄像头输入的视频流是以静态图片(帧)的形式进行刷新的，每秒钟视频帧的刷新频率很高(通常24帧/秒)。因此，相邻的静态图片或者间隔若干帧的静态图片中车辆的位移很小。例如，即使车辆的行驶速度在每小时72公里(在实际城市道路中通常达不到这个速度)，每秒的位移平均也仅有20米，每一帧之间同一车辆的相对位移仅有1米不到。

因此，如上所述，在寻找车辆位置范围时，可以根据车辆在前一幅图片的基线带位置沿着车道规定行驶方向的很小的范围内对车辆进行图像变化特征提取。然后根据前一幅和当前静态图片的车辆在特征信息(轮廓和特征采样点)进行特征信息匹配。这里所称的“很小的范围”可以根据实际情况由管理员人工设定或者自动设定，也可以是固定值或者是根据前一时段的路况信息自适应地调整的值。另外，如果由于建筑物或者树木对车道有部分遮挡的情况下，可以根据情况增大寻找车辆位置范围的值。另外，在对比匹配时，完全没有必要每一帧都进行比较和匹配，可以每隔两帧、四帧、甚至或者一秒进行一次匹配。例如，在车速较快时，可以每一帧都进行比较和匹配；然而，在堵车情况下(这时一般车速小于30公里或者更低)则没有必要。如上所述，匹配的间隔可以根据上次获得的路况信息自适应地动态调整。

图9示出了作为一个示例的特征信息匹配过程。该过程可以如下所述。首先在步骤S902中匹配车辆的轮廓信息，如果车辆的轮廓信息区域内车辆的外形有差别，则停止进行匹配当前车的匹配并且处理结束，例如，通过该匹配，一辆小轿车和一辆面包车之间的差异很容易被识别出来，因为两者的外形和体积明显不同，从而被判定为是不同的车辆。另外，在轮廓匹配过程中，车辆可能会出现行驶角度的变化，在这里可以通过对车辆轮廓作旋转变换进行微调和修正处理即可。如果轮廓信息匹配，则在步骤S904中根据车身轮廓中特征采样点颜色进行匹配，同样，如果车辆颜色差别较大，则停止当前车辆的匹配，通过这样的匹配，两辆外形大致相同、但是颜色不同的小轿车可以被识别出来。如果颜色也匹配，则进一步进行到步骤S906。在步骤S906中，再根据采样点的详细信息进行匹配，这里的细节信息包括但不限于车头细节、车尾细节、前后车窗细节，等等。优选地，该细节匹配包括车牌区域的匹配。也就是说，假设在车道中前后有两辆车，两者的车身轮廓、颜色都相同(比如都是黑色且同品牌、同型号的轿车)，则进一步比较车辆的细节(尤其是车牌区域)。

显然，两辆车车身轮廓、颜色、细节都完全相同但却是不同车辆的可能性虽然存在(例如，两辆车之间仅有车牌号有微小的差别且由于摄像头设备清晰度限制无法被摄像头识别，或者这两辆车是套牌车，且这两车需紧邻着驶入同一车道)，但这种可能性却是极其微小的，因此可以忽略不计。

因此，在上述三个方面的匹配都通过之后，在步骤S908中可以判定：在所比较的两幅静态图片中的车辆是同一车辆，即获得匹配。在执行车辆颜色匹配步骤和详细信息匹配步骤时，由于光线、天气等原因可能造成两帧的色彩对比上存在误差，因此在匹配时要对色彩有容错处理，即：允许特征像素点对比时有一定阈值范围(该阈值范围可预先设定，或者根据实际情况动态自适应调整)的容错误差。但是，在一般条件下，时间间隔很短的两帧之间的色差很小。在上面的匹配过程示例中，匹配过程按照顺序为车型、颜色、车辆细节。每一个步骤如果不匹配则停止下一步，这减少了系统运算量。显然，这种匹配顺序并不是必需的，可以按照不同或者相反的顺序进行匹配，也可以增加或者减少其中某一或者某几方面的匹配。也就是说，所进行的匹配可以是车型、颜色、车辆细节中的任意一者或多者或其组合。例如，为了确保实时性，可以只匹配车型和颜色而不匹配细节(因为细节匹配所耗费的计算量最大)，但是这样会牺牲一定的精确性；

又例如，可以不匹配车辆轮廓和颜色，而只进行车辆细节的匹配，这样节省了操作程序，但是在某些情况下会不必要地增大计算量(例如，在作为监控范围的基线带内的车辆明显颜色不同时)；又例如，在车辆细节匹配中，可以只匹配车牌区域，而不匹配车头、前后车窗等等。这完全可以由本领域技术人员根据实际需要的精度进行设定。另外，车身颜色和细节匹配中，本领域技术人员亦可以根据实际情况定义可度量配置原则，如：车身采样点或者细节采样点的比对中，当能够匹配的特征点相比所有特征点低于一定的阈值时，则可认定不匹配或者匹配失败，不进行后续的操作。

返回图8，通过步骤S802的处理，获得了基线带内一系列车辆位置的匹配并识别出要作为监控对象的车辆。接下来，在步骤S804中，轨迹描述单元510执行车辆的行驶轨迹计算处理，具体而言，通过将基线带内获得匹配的同一车辆的位置相连接，可以获得车辆行驶的轨迹，并且根据该轨迹信息获得了车辆行驶入基线带内的起始时间和驶出基线带的结束时间，以及在基线带内行驶的像素距离。

接下来，在步骤S806中，车速计算单元512计算行驶距离和车速。此时在步骤S804中直接获得的是车辆的像素距离，但是这并不等同于道路的实际距离，因此，在步骤S806中车速计算单元512将像素距离转换为实际道路行驶距离，并根据行驶距离和行驶时间计算出车辆行驶速度。注意，在多基线带预处理单元201设定了监控起点线和监控终点线的情况下，两条线之间的实际道路距离就是预先确定的了。因此，可以很容易地将像素距离转换为实际道路行驶距离。

以下述情况作为示例进一步说明上面处理的示例：在当前时刻的某一基线带内顺序存在三辆车：A、B和C，并且二值化单元504获得了这三辆车的轮廓信息，并且特征像素点采样单元506对这些车辆进行了特征像素点采样，从而采样得到了三辆车的特征像素点信息。

车辆识别单元203通过将当前图片的二值化轮廓信息和特征采样点信息与先前的某一时刻(例如，1/12秒之前或者1/6秒之前)的图片(假设只存在车辆A和B)的二值化轮廓信息和特征采样点信息进行对比(匹配)得知：车辆A和B已经存在于前一时刻的图片中，而车辆C是新进入的车辆。具体来说，在该匹配中，假设车辆A和B车型相同但颜色不同，而C与A和B的车型都明显不同，则通过步骤S902的处理就可以确定，C与前一时刻的图片中任何一辆车都不匹配，因此是新进入的车辆，而A和B的匹配则进行到步骤S904(颜色匹配)，并据此判断出该时刻的车辆A与前一时刻的图片中的一辆车(A)匹配，而车辆B与前一时刻的图片中的一辆车(B)匹配。这时，可以得到A的行驶轨迹和行驶距离，并得到A从前一时刻到当前时刻的行驶速度。同样可以得到B从前一时刻到当前时刻的行驶速度。

作为另一示例，如果假设C与A和B中的一个车型相同但颜色与两者都不同，则通过步骤S904的处理方可确定：C与前一时刻的图片中任何一辆车都不匹配。作为又一示例，如果假设C与A和B中的任何一个车型相同且与其中的任何一个颜色相同，则需要进行所有三个匹配步骤方可确定：C与先前时刻的图片中的任何一辆车都不匹配。如上所述，可以认为，通过以上三者(车型、颜色、细节)的匹配，发生错误判断的可能性几乎不存在。

通过以上匹配，可以获得从先前时刻到当前时刻车辆A和B的轨迹。接下来，进行到下一时刻。同样地，获得此时的图片，并得到三辆车的二值化轮廓和特征像素点信息。然后，通过与先前时刻(即，上面所述的当前时刻)的图片对比得知：车辆A、B和C分别与先前时刻(即，上面所述的当前时刻)的图片中的车辆A、B和C匹配。同样，可以得到车辆A、B和C各自的行驶轨迹和行驶距离，并得到其行驶速度。接下来，分析单元204综合在一定时间(例如3分钟)内所得到的各车辆的平均行驶速度，并据此得到路况信息。

在上面的示例中，视频监控系统200在每一次的比较中(即，每得到一段轨迹)都计算车辆的速度。然而，这并不是必需的。为了减少计算量，完全可以在计算出两段或者更多段轨迹之后再计算速度。也就是说，视频监控系统200可以在获得一系列图片中车辆的匹配之后再计算其速度。如上所述，这是本领域技术人员可根据需要设置的。

上面以某一时刻有新的车辆驶入基线带的监控起点线的情况作为示例描述了本发明。显然本发明并不限于此。在实践中，基线带内的车辆是时刻不停、川流不息地驶入监控起点线的，因此，视频监控系统200可以持续地执行摄取图片、特征提取、速度计算、分析路况的操作。如上所述，为了减少计算量并提高实时性，可以在监控期间根据实际的路况自适应地调整对输入视频流执行特征提取和速度计算的时间间隔，例如适当地将该间隔增大到1/6秒甚至1秒，等等。

注意，在上面的行驶轨迹和时间计算中，存在以下问题：即，如果车辆在车道内行驶出某一基线带的监控范围(例如变更车道)，则在匹配过程中将无法找到匹配。在这种情况下，需要进行监控有效性的判断。

假设车辆行驶入基线带时刻为T1，在T2时刻在基线带内监控不到该车辆(由于车辆更换车道)。为了应对这一问题，在监控范围内行驶的距离为S1，基线带长度为S，则可以引入变量ValidDis＝S1/S。当ValidDis小于一预设阈值(FixDis)时，则放弃对该车在基线带内速度的计算，而只有当ValidDis大于或等于阈值时，才进行流量状况的计算，如图10所示。也就是说，当车辆驶入基线带后又在很短的距离内驶出基线带时，则不认为该车辆是在该基线带中行驶，因此不将该车辆视为匹配的对象。这种情况下，速度计算单元204不计算该车辆在基线带内的速度并将其被配置为路况信息的计算。而只有当ValidDis大于或等于阈值时，才认为车辆在该基线带内行驶，并可将该车辆视作被对象，从而得到该车辆在距离S1内的行驶速度作为路况信息。

另外，在上面的实施例中，在监控起点线和监控终点线被多基线带预处理单元201预先标定的情况下，作为监控范围的基线带是预先确定的并且在监控过程中是固定的。也就是说，在进行特征匹配时，作为监控对象的整个基线带内的所有对象都被处理并进行比较(即，固定长度的基线带内的所有车辆都被执行二值化处理和特征像素点采样，并与先前图片中的所有对象的轮廓和特征像素点相比较)。但是，这通常是没有必要的，因为某些情况下，摄像头的视场范围的距离可能长达数百米，而在匹配时所取的时间间隔的情况下(例如每两帧、每四帧或者甚至一秒，根据情况而定)，车辆有时仅仅前进了数米。在这种情况下，如果基线带较长且固定不变，则会不必要地增大系统的计算量，从而降低了系统的实时性处理性能。

为了进一步优化该过程，可以设想根据前一时段道路的路况信息自适应地调整监控范围(基线带范围)。图11示出了这种情况。假设在当前时刻，监控系统通过图像变化部分识别单元502的处理判定某一车辆已完全驶入被监控的基线带。在下一监控周期(即，下一时刻或者接下来的某一监控时刻)，监控系统再次摄取原先的整个基线带的图片并顺序执行后续的二值化处理和匹配处理。但是，这并不是必需的，在下一个周期内，可以根据车速、道路限速等因素自动调整和/或移动车辆监控范围(即此时摄取图片的基线带的长度)。即，对于某一车辆而言，在下一监控时刻需要对其进行监控的范围没有必要是整个基线带，因为很显然的是，车辆在向其移动而且其移动的范围可以根据较前时刻计算出的基线带的平均速度、该车道的极限速度等等因素预先确定，并且一般情况下该范围远远小于被监控的基线带的总长。因此，根据一个实施例，在这种情况下，优选地使得对于该车辆而言被执行二值化处理和特征像素点采样的监控范围随着车辆的移动而移动(这种移动被简称为“基线带调整”)。但是注意，这种基线带调整仅仅是一种虚拟的、对于某一被监控车辆而言的监控范围的移动，而并非是多基线带预处理单元201所获得的基线带的实际调整。

例如，对于作为监控对象的车辆，其基线带可以是从车尾开始加上极限车速下所行驶的距离。该极限车速可以预先设定，也可以根据情况自适应地改变，例如，在由监控历史得知某一城市核心道路的车速从未超过60公里/小时的情况下，就可以将该车道的极限速度设置为60公里/小时并据此设置基线带的长度。又或者，该基线带可以是从车尾开始加上该车在上一时刻的车速下所行驶的距离。又或者，该基线带可以是从车尾开始加上先前获得的该条车道的平均速度下所行驶的距离，等等。上述对基线带长度的设置仅仅是本发明的示例，显然本发明对基线带长度的设置不限于此。也就是说，作为监控范围的基线带并不一定是从车尾开始加上某一距离的范围，例如在不需要匹配车型和颜色，而仅需要匹配车辆细节(例如车头的车牌信息)的情况下，基线带可以是从车身中部开始加上上述若干距离中的一种所获得的范围。显然，上述调整基线带的多种方式中的任何一种都可以缩短后续图像处理中要对其执行二值化处理和特征像素点提取的基线带的长度，并从而减小图像处理的计算量，这样确保了监控系统的实时性。

即，本发明中基线带的这种自适应的改变(调整)不限于上述情况中的任何一种，而是可以是任意方式的，只要其能够减小后续图像处理中的计算量从而减小监控期间监控系统的计算量即可。

由于如上所述，针对某一被监控对象(车辆)而言，在其刚刚进入基线带时其被监控的范围也仅仅是基线带起点线附近的一定范围，而非整个基线带。因此，通过上述的设置，在实际情况中，在连续的一段时间内，视频监控系统实际上所进行对比(匹配)并执行特征提取的多幅图片中的每一副都可以是该基线带的一部分区域的图像内容，而不是全部区域的图像内容。显然，针对该被监控对象而言，可以大大减小所需的计算量。当然，也可以将基线带的全部区域的图像内容进行对比(匹配)和特征提取。

如上所述，通过这样的设置，在车辆移动的同时，作为监控范围的基线带也随之移动并且其长度自动进行调整，这样，可以极大地减小基线带的长度(大小)，从而极大地减小视频监控系统的计算量。

上面以用于监控车道的车辆流量的视频监控系统200作为视频监控系统的示例描述了本发明。但是本发明并不限于此。本发明可以应用于任何视频监控领域，例如用于货物传送、货物分拣等等的传送带上的监控系统。在这种情况下，被监控对象是传送带上的货物，此时，监控系统可以同样地将被监控视场的图像划分为一条或多条基线带，并对基线带中的运动物体(此时是传送带上的货物)执行特征提取以获得该货物的二值化轮廓和特征像素点(这里的特征像素点可以是可用于区分不同货物的任意像素点，例如，在机场所采用的行李传送系统的实施例中，特征像素点例如可以是对行李标签采样得到的像素点)，在该实施例中，速度计算单元可以根据所获得的不同图像中二值化轮廓和特征像素点的匹配来执行作为被监控对象的货物的速度，从而得到此时传送带上货物流量的信息。

注意，在上述实施例中描述的视频监控系统200的各个单元的功能也可以通过诸如CPU(中央处理单元)之类的计算设备(未示出)来实现，该计算设备读取控制程序并且解释并执行控制程序，在控制程序中，记录有被配置为实现各个单元的功能的程序模块，该控制程序可以以记录介质的形式提供，也可以从网络经由有线或无线方式下载到计算设备中并加以执行。计算设备可以是包括CPU等的通用个人计算机，也可以是专用的计算设备。

尽管已参考附图详细描述了本发明的优选实施例，但是本发明并不限于上述示例。本领域技术人员应当理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围之内。

另外，在本说明书中，在流程图中写入的步骤可以根据所述顺序按时序处理，但是也可以分开或者以并行方式处理。显然，在步骤以时序处理的情况下，步骤的顺序可以根据情形适当地改变。

Claims (26)

1.一种基线带视频监控系统，包括：

多基线带预处理单元，被配置为对成像装置获取的被监控视场的图像进行预处理，从而获得一条或多条基线带；

特征提取单元，被配置为对于所述一条或多条基线带中的任一条基线带，通过对该基线带中的运动物体执行特征提取来获得所述运动物体的二值化轮廓和特征像素点；以及

运动物体识别单元，被配置为通过多个图像中的该基线带内所述运动物体的二值化轮廓和特征像素点之间的匹配来在所述多个图像中识别并找到所述运动物体。

2.如权利要求1所述的基线带视频监控系统，还包括速度计算单元，被配置为根据所述运动物体识别单元在所述多个图像中识别并找到的所述运动物体来计算所述运动物体的速度。

3.如权利要求2所述的基线带视频监控系统，还包括分析单元，被配置为根据所述运动物体的速度计算出所述基线带的流量状况。

4.如权利要求1所述的基线带视频监控系统，其中所述特征提取单元包括：

二值化单元，被配置为对被监控视场的图像的原始彩色图片执行二值化处理，以提取指示所述运动物体的轮廓的轮廓信息；以及

特征像素点采样单元，被配置为在原始彩色图片中的基线带中由所述轮廓信息指示的轮廓标识出的区域内，对所述运动物体的像素点进行特征采样处理，以获得可唯一标识所述运动物体的标识信息。

5.如权利要求4所述的基线带视频监控系统，其中所述特征提取单元还包括：

图像变化部分识别单元，被配置为识别当前图像中与先前图像相比的变化部分，其中

仅在所述图像变化识别单元识别出变化部分存在的情况下，所述二值化单元和所述特征像素点采样单元才执行操作。

6.如权利要求4所述的基线带视频监控系统，其中所述特征像素点采样单元被配置为对所述运动物体的标识信息所位于的区域相比于其他区域进行更加密集的采样。

7.如权利要求4所述的基线带视频监控系统，其中所述运动物体是车辆，所述标识信息是位于车头或车尾的车牌采样像素点集合信息。

8.如权利要求2所述的基线带视频监控系统，其中所述速度计算单元包括：

轨迹描述单元，被配置为根据所获得的多个图像中的匹配计算所述运动物体的轨迹；以及

距离和速度计算单元，被配置为根据所述运动物体的轨迹计算出所述运动物体的行进距离，并根据所述行进距离和行进时间计算出所述运动物体的速度。

9.如权利要求1所述的基线带视频监控系统，其中所述运动物体是车辆，并且所述匹配包括车型匹配、颜色匹配、细节匹配中的任意一者或多者。

10.如权利要求1所述的基线带视频监控系统，其中所述基线带具有监控起点线和监控终点线，并且所述监控起点线和监控终点线是可移动的。

11.如权利要求8所述的基线带视频监控系统，其中当所述运动物体在一条基线带内连续行进的距离低于某一阈值时，所述距离和速度计算单元放弃对所述运动物体速度的计算。

12.如权利要求1所述的基线带视频监控系统，其中所述多个图像是所述成像装置对该基线带以一定时间间隔摄取的，并且所述成像装置摄取所述多个图像的时间间隔是固定的或者可变的。

13.如权利要求1所述的基线带视频监控系统，其中在一段时间序列内，需要进行对比并且进行特征提取的每一幅图像均为一条基线带全部区域或者部分区域内图像的内容。

14.一种基线带视频监控方法，包括以下步骤：

对成像装置获取的被监控视场的图像进行预处理，从而获得一条或多条基线带；

对于所述一条或多条基线带中的任一条基线带，对该基线带中的运动物体执行特征提取以获得所述运动物体的二值化轮廓和特征像素点；以及

通过多个图像中的该基线带内所述运动物体的二值化轮廓和特征像素点之间的匹配来在所述多个图像中识别并找到所述运动物体。

15.如权利要求14所述的基线带视频监控方法，还包括以下步骤：

根据在所述多个图像中识别并找到的所述运动物体来计算所述运动物体的速度。

16.如权利要求15所述的基线带视频监控方法，还包括以下步骤：

根据所述运动物体的速度计算出所述基线带的流量状况。

17.如权利要求14所述的基线带视频监控方法，其中执行特征提取的步骤包括：

对被监控视场的图像的原始彩色图片执行二值化处理，以提取指示所述运动物体的轮廓的轮廓信息；以及

在原始彩色图片中的基线带中由所述轮廓信息指示的轮廓标识出的区域内，对所述运动物体的像素点进行特征采样处理，以获得可唯一标识所述运动物体的标识信息。

18.如权利要求17所述的基线带视频监控方法，其中执行特征提取的步骤还包括：

在执行二值化处理之前识别当前图像中与先前图像相比的变化部分，并且仅在变化部分存在的情况下才执行二值化处理。

19.如权利要求17所述的基线带视频监控方法，其中所述运动物体的标识信息所位于的区域相比于其他区域被更加密集的采样。

20.如权利要求17所述的基线带视频监控方法，其中所述运动物体是车辆，所述标识信息是位于车头或车尾的车牌采样像素点集合信息。

21.如权利要求15所述的基线带视频监控方法，其中计算所述运动物体的速度的步骤包括：

根据所获得的多个图像中的匹配计算所述运动物体的轨迹；以及

根据所述运动物体的轨迹计算出所述运动物体的行进距离，并根据所述行进距离和行进时间计算出所述运动物体的速度。

22.如权利要求14所述的基线带视频监控方法，其中所述运动物体是车辆，所述匹配包括车型匹配、颜色匹配、细节匹配中的任意一者或多者。

23.如权利要求14所述的基线带视频监控方法，其中所述基线带具有监控起点线和监控终点线，并且所述监控起点线和监控终点线是可移动的。

24.如权利要求21所述的基线带视频监控方法，其中当所述运动物体在一条基线带内连续行进的距离低于某一阈值时，放弃对所述运动物体速度的计算。

25.如权利要求14所述的基线带视频监控方法，其中所述多个图像是所述成像装置对该基线带以一定时间间隔摄取的，并且所述成像装置摄取所述多个图像的时间间隔是固定的或者可变的。

26.如权利要求14所述的基线带视频监控方法，其中在一段时间序列内，需要进行对比并且进行特征提取的每一幅图像均为一条基线带全部区域或者部分区域内图像的内容。

Images