CN1080911C - 一种观察目标的方法和装置 - Google Patents

Abstract

一种用于观察目标的目标观察方法与装置；该装置包括：两台对准预定的观察位置的摄像机；在拍摄的每幅图像中提取特征部分的特征提取装置；将所提取的各幅图像的特征部分与图像对应的对应装置；坐标提取装置，提取该特征部分的三维坐标；存储目标的二维模式数据的存储装置；投影装置，将所提取的特征部分的三维坐标投影到所述虚拟垂直平面上；和比较装置，将所投影的结果与所述二维模式数据比较，它提高了观察精度。

Description

一种观察目标的方法和装置

本发明涉及在预定观察点观察目标的方法和装置，更具体地说，涉及一种观察道路上的车辆的改进型交通流量测量装置，它用于根据测量的时间流逝结果来测量诸如通过的车辆数量、车速和车型之类的数据，(下面称为“交通流量数据”)，并且涉及一种用于观察停放在停车场内车辆的改进型停车场观察装置。

为了测量交通流量数据，迄今已开发了一种装置，其中将摄像机安装在要在预定路段拍摄的道路上方，并根据所拍摄图象在时间上的变化来测量路上车辆的流量。

在这种传统的装置中，事先将路上无目标的图像作为背景图像加以保存，提取来自摄像机的图像和所存背景图像之间的差别作为有关车辆的图像，并依次处理提取的结果来测量路上车辆的流量(日本电气协会技术报告，第512卷，第80-81页)。

还提出了一种测量方法，即不事先存储这样的背景图像，而存储以前拍摄的图像，以从最新拍摄的图像中减去存储的以前的图像来只提取车辆位置的变化。

最近，已经提出了一种用于测量交通流量数据的技术(DTT法)，该技术把摄像机每次拍摄的图像积累起来形成时空图像(日本电子情报通信学会志，第517-D-11卷第10期，第2019-2026页，1994)。根据该方法，按每个预定的时刻从图像中提取如车辆外形之类的特征量数据，并将提取的特征量数据投影在与车辆前进方向平行的方向轴上，以得到一维数据。再将这种一维数据依时间序列安排，以得到由方向轴和时间轴组成的二维图像(DDT图像)，于是DDT图像提取了在预定方向上运动的目标。

为了判断停车场的每一个停车区是否有空位，可采用上述第一或第二方法。换句话说，可以根据在一个观察位置拍摄所得到的输入图像和背景图角之间的差别、或者根据输入图像和在它紧前面的图像之间的差别来查询停车场是否停有车辆。

当利用输入图像和背景图像之间的差别来测量交通流量时，有必要根据不同的情况，例如白天和黑夜，晴天和雨天等来存储背景图像。在这种情况下，必要环境的设定或根据环境的变化对背景图像的修改都受到了限制，而且不可能高精度地提取车辆的图像数据。上述第一、第二和第三种方法都错误地把其它物体的运动(不是车辆的运动)探测为车辆的运动的缺点，例如，车辆的影子，被风吹动的树的影子，其它在路上运动的影子，夜间灯光的反射，在潮湿路面上反射的车辆等。

当路上有大型车辆或者发生交通阻塞时，传统的方法就有不能精确地判别每一辆车的缺点，而且会将许多车辆错误地探测为一辆车。当大型车辆影子的图像达到它邻近的车道以覆盖大车后面的小车时，该小车就会被错误地探测为大车。这样，就不能精确地判别路上车辆的数量和车型。这些问题会在停止场的传统观测装置中出现，例如，由于观测点处亮度的变化引起的判别精度降低，和对相邻区域车辆的影子的错误探测。

传统的方法需要一个用于存储各种背景图像和每个时间周期存储一幅图像的存储器，和一个用于如对每幅图像进行减法和累加操作的硬件，因此，传统装置的整个结构很大，而且它的制造成本高。

因此，本发明的主要目的是提供一种改进的系统，用于在一个观察点用多台摄像机拍摄图像，在三维方向上测量每一幅所拍摄图像的特征部分，并根据高度数据来判别一个目标，以高度准确地测量作为目标的物体。

本发明的另一个目的是提供一种改进系统，用于将各个摄像机所拍摄图像中的特征部分的三维坐标投影到与所述目标所接触的平面正交的虚拟垂直平面上，以提取目标的形状，用于精确判别待测量目标的存在、数量和类型。

本发明的另一个目的是提供一种改进的系统，用于通过使用上述系统来观察道路和停车空间，以根据所观察的结果测量交通流量或对车辆进行判别。

根据本发明的第一方面，提供了一种用于观察目标的目标观察方法，它包括：

第一步，由两台或多台对准预定的观察位置的摄像机同时拍摄图像，以提取各自拍摄的每一幅图像的特征部分，

第二步，将图像中已提取的特征部分与图像对应，

第三步，在三维坐标中测量已对应的特征部分，以提取它的三维坐标。

第四步，将已提取的特征部分的三维坐标投影到与所述目标所接触的平面正交的虚拟垂直平面上，和

第五步，将已投影的数据与预定的二维模式数据比较，以判别所述目标。

根据本发明的第二方面，提供一种观察目标的方法，其中所述第四步中的投影是这样的一步，即根据所述目标所接触的平面上的位置关系将各个特征部分的所述三维坐标分成组，并为每组将组中的三维坐标投影到所述虚拟垂直平面上。

根据本发明的第三方面，提供一种观察目标的方法，其中所述第五步中的比较是这样的一步，即设置含有通过上述第四步中的投影处理形成在所述虚拟垂直平面上的各个投影点的预定范围，并根据在所设置的范围内的各点与要与所述二维模式数据比较的所述投影点的位置关系将各点加权。

根据本发明的第四方面，提供一种观察目标的方法，其中：所述第一步进一步包括确定图像中已提取的特征部分中有代表性特征的点的步骤，所述第二步进一步包括使已确定的代表点与图像对应的步骤，所述第三步进一步包括在三维坐标中对每个已对应的代表点进行测量，以提取各个代表点的三维坐标的步骤，所述第四步是将已提取的代表点的三维坐标投影到与所述目标接触的平面正交的虚拟垂直平面上的步骤。

根据本发明的第五方面，按照与上述本发明的第二方面的相同方式执行上述投影过程。

根据本发明的第六方面，按照与上述本发明的第三方面的相同方式执行上述比较过程。

根据本发明的第七方面，提供一种用于观察目标的目标观察装置，它包括：

两台或多台对准预定的观察位置的摄像机，

用于在由摄像机同时各自拍摄的每幅图像中提取特征部分的特征提取装置，

用于将由特征提取装置提取的各幅图像的已提取特征部分与图像对应的对应装置，

坐标提取装置，用于在三维方向上测量由所述对应装置对应的特征部分，以提取该特征部分的三维坐标，

用于存储所述目标的二维模式数据的存储装置，

投影装置，用于设置与所述目标所接触的平面正交的虚拟垂直平面，以将所述坐标提取装置所提取的特征部分的三维坐标投影到所述虚拟垂直平面上，和

比较装置，用于将所述投影装置所投影的结果与存储在所述存储装置中的所述二维模式数据比较。

根据本发明的第八方面，所述投影装置设计成可根据所述目标所接触的平面上的位置关系将坐标提取装置所提取的各个特征部分的三维坐标分成组，并为每组将含在组中的三维坐标投影到虚拟垂直平面上。

根据本发明第九方面，所述比较装置设计成可设置含有通过投影装置的投影处理形成在虚拟垂直平面上的各个投影点的预定范围，并根据在设置的范围内的各个点与要与二维模式数据比较的投影点的位置关系将各个点加权。

根据本发明的第十方面，提供一种观察目标的装置，其中，该装置进一步包括代表点确定装置，用于确定分别表示所述特征提取装置所提取的各幅图像的各特征部分的代表性特征的点，并且

所述对应装置使所述代表点确定装置所确定的各个代表点与图像对应，

所述坐标提取装置在三维方向上测量所述对应装置所对应的每个代表点，以提取各个代表点的三维坐标，以及

所述投影装置设置与所述目标所接触的平面正交的虚拟垂直平面，以将所述坐标提取装置所提取的代表点的三维坐标投影到所述虚拟垂直平面上。

根据本发明的第十一方面，提供了一种交通流量测量装置，用于观察道路上车辆的流动，以根据观察结果的时间变化来测量道路上的交通流量数据。该装置包括：

两台或多台放置在道路上方、对准预定观察位置的摄像机，

特征提取装置，用于按预定的时间周期从由摄像机同时各自拍摄的每幅图像中提取特征部分，

对应装置，用于使特征提取装置所提取的各幅图像的特征部分与图像对应，

坐标提取装置，用于在三维方向上测量对应装置所对应的特征部分，以提取特征部分的三维坐标，

投影装置，用于设置沿着道路的虚拟垂直平面，以将坐标提取装置所提取的特征部分的三维坐标投影到该虚拟垂直平面上，

存储装置，用于对于许多种类型的车辆存储每种车辆的侧面的形状模式，

车辆判别装置，用于将所述投影装置所投影的结果与存储在存储装置中的各种模式比较，以判别路上的车辆，和

观察装置，用于用车辆判别装置顺序地追踪判别结果，以观察路上车辆的流量。

根据本发明的第十二方面，提供了一种交通流量测量装置，用于观察道路上车辆的流动，以根据观察结果的时间变化来测量道路上的交通流量数据。该装置包含有摄像机，特征提取装置，对应装置和坐标提取装置，它们与上述第十一个方面的装置相同，该装置进一步包括：

车辆判别装置，用于通过使用在坐标提取装置所提取的各个特征部分的三维坐标中满足预定高度条件的那些三维坐标的相对位置关系来判别路上的车辆，和

观察装置，用于用车辆判别装置顺序地追踪判别结果，以观察路上车辆的流量。

根据本发明的第十三方面，提供了一种用于观察停放在预定形状的区域内的车辆的停车场观察装置，它包括：

两台或多台放置在所述区域上方、对准预定观察位置的摄像机，

特征提取装置，用于从由摄像机同时各自拍摄的每幅图像中提取特征部分。

对应装置，用于使特征提取装置所提取的各幅图像的特征部分与图像对应，

坐标提取装置，用于在三维方向上测量对应装置所对应的特征部分，以提取特征部分的三维坐标，

投影装置，用于设置与区域的车辆停放平面正交的虚拟垂直平面，以将坐标提取装置所提取的特征部分的三维坐标投影到该虚拟垂直平面上，

存储装置，用于对于许多种类型的车辆存贮每种车辆的侧面的形状模式，和

车辆判别装置，用于将投影装置所投影的结果与存储在存储装置中的各种模式对比，以判别区域内的车辆。

根据本发明第一和第七方面，从由两台或多台摄像机拍摄的图像中提取各幅图像的特征部分，根据与这些特征部分的图像的对应关系提取特征部分的三维坐标，并将提取的三维坐标投影到与目标所接触的平面正交的虚拟垂直平面上以提取目标的形状。将投影的结果与目标的模式数据比较以判别目标。这样，就可以在观察位置精确地核实目标的类型，位置和数量，而且可以避免像目标的影子之类的平面数据被错误地认为是目标，从而相当地提高了观察精度。

根据本发明的第四和第十方面，当从两台或多台摄像机所拍摄的图像中按照与上述同样的方式提取特征部分时，对于各个特征部分确定有代表性特征的点(例如，特征部分的中心点)。按与上述同样的方式对于已确定的代表点提取三维坐标，并根据将所提取的结果投影在虚拟垂直平面上的结果来判别目标。这样，就相当地缩短了处理速度。

按照本发明的第二，第五和第八方面，在根据目标所接触的平面上的位置关系将所提取的三维坐标分成组以后，对每一组执行投影到上述虚拟垂直平面上的投影处理，从而，根据位置关系可以个别地判别多个目标。

根据本发明的第三，第六和第九方面，对于虚拟垂直平面上的每一个投影点，根据与投影点的距离将在含有投影点的预定范围内的各个点进行加权来与模式数据比较，以消除在三维坐标测量期间所产生的误差。这样，就提高了判别精度。

根据本发明的第十一方面，用两台或多台安装在道路上方的摄像机按每个预定的时期在观察点处进行拍摄，并按与上述相同的方式在各幅图像中提取特征部分的三维坐标，将提取的结果投影到沿道路延伸的虚拟垂直平面上。相应地，将物体侧面的形状投影到虚拟垂直平面上。在存储装置中，存储了多种车辆侧面的形状模式，并将这些模式与上述投影结果比较，以判别路上车辆的类型，数量和位置。这样，就可以精确地测量交通流量。根据上述的比较处理，在交通阻塞时如果发生车辆重叠，就可利用高精度的车辆提取。再者，在二维平面上进行比较处理，可以使硬件结构小型化，使处理速度提高，并且可以在降低成本的情况下得到高精度的交通流量测量装置。

根据本发明的第十二方面，在从安装在道路上方的两台或多台摄像机所得到的图像中提取特征部分之后，按照与上述同样的方式给各个特征部分加以对应，以便在三维空间上进行测量，通过利用满足预定高度条件的三维坐标的相对关系来判别路上的车辆。因此，通过提取夜间行驶的车辆的灯光就可以进行判别操作。即使表示夜间车辆形状的图像难以提取，也可能对路上车辆进行判别并以高精度测量交通流量。

根据本发明的第十三方面，为了同时拍摄，所述的两台或多台摄像机朝着区域的预定形状的方向安装，按照与上述同样的方法对于所拍摄的图像提取三维坐标。在这种提取之后，根据本发明的第十四方面，将所提取的三维坐标投影到与区域内车辆所设置的平面正交的虚拟垂直平面上，并将投影结果与各种车辆的类型模式比较，从而可以精确地判别停放在区域内车辆的类型。

根据本发明的第十三方面，减少了硬件结构，提高了处理速度，从而解决了传统的停车场测量中的问题。

从结合附图所提供的下列详细描述中，本发明的其它目的和优点将更清楚，其中：

图1是作为本发明的第一实施例的交通流量测量装置的透视图；

图2是图1所示的装置所使用的两台摄像机的安装透视图；

图3是按另一种方式安装这对摄像机的透视图；

图4是合成一体的摄像机的透视图；

图5是交通流量测量装置的电路方框图；

图6表示由各台摄像机所拍摄的图像的一个例子；

图7表示在测量装置中所用的拉普拉斯(Laplacian)滤波器；

图8表示提取边缘图像的一个例子；

图9表示对应处理方法的一个例子；

图10表示用于对应处理的差异度操作的结果；

图11表示三角测量的原理；

图12表示三维坐标的投影方法；

图13表示投影到虚拟垂直平面的结果；

图14是表示侧面形状模式；

图15表示其他形状模式；

图16表示比较判别处理的结果；

图17表示处理结果存储器中的数据结构；

图18是表示代表在每个处理时刻车辆位置探测值的对应关系的图；

图19是作为本发明第二实施例的交通流量测量装置电路方框图；

图20表示特征选择的结果；

图21表示代表点提取的结果；

图22表示对代表点作三维坐标计算的结果；

图23表示对图22中的各个三维坐标的分组处理的结果；

图24表示为每组对于三维坐标投影的结果；

图25表示设置一个用于加权的范围的方法；

图26表示用于扫描模式的区域；

图27表示加权比较处理方法的原理；

图28表示各个投影点的评价值的概念；

图29表示比较判别处理的结果；

图30是作为本发明第三实施例的交通流量测量装置电路方框图；

图31示范地表示了来自各台摄像机的输入图像；

图32示范地表示了来自各台摄像机的输入图像；

图33表示对于图31中各输入图像的二值处理的结果；

图34表示对于图32中各输入图像的二值处理的结果；

图35表示对于特征点的三维坐标的计算结果；

图36表示对于特征点的三维坐标的计算结果；

图37表示作为本发明的第四个实施例的停车场观察装置的安置；

图38表示停车场观察装置的电路方框图；

图39表示来自各台摄像机的输入图像的一个实例；

图40表示边缘图像的一个实例；

图41表示三维坐标的计算结果与投影处理之间的关系；

图42表示投影的结果；

图43表示模式的形状；

图44是作为本发明第五实施例的停车场观察装置的示意电路方框图；

图45表示三维坐标分组的结果；

下面将公开本发明的五个实施例，在这些实施例中，将两台用于同时摄像机3a和3b安装在直接对准道路或停车区的位置，从通过摄像机摄取的输入图像中提取如边缘构成点之类的特征部分，并使特征部分与图像对应以计算出这些特征部分的三维坐标。将所计算出的三维坐标投影到一个虚拟的垂直平面上，或者提取带有预定高度数据的坐标点，并通过使用这样的处理的结果来完成目标(在这些实施例中为车辆)的观察处理。

现在参见图1，它表示作为本发明的第一实施例的交通流量测量装置的透视图。该交通流量测量装置包括安装在位于道路1的一侧的F型支架2上的控制器4和两台摄像机3a和3b。控制器4处理从道路的上方拍摄道路图像的摄像机3a和3b所得到的图像，以判别通过车辆的数量和类型，测量特定车辆的速度，并为道路1的每个车道探测出违章停车的车辆。

支架2包括两根在道路1上方的交叉杆，摄像机3a和3b安装在与交叉杆交叉固定的直立杆6上。控制器4安装在接近支架2的底部，以便于维修和检查。

图2表示安装摄像机3a和3b的一个例子，摄像机3a和3b分别具有相同焦距的透镜，它们侧面由按一个预定角度倾斜的长支撑板7支撑着，并通过一个短的加固板8固定到直立杆6上。调节摄像机3a和3b的安装位置，使它们的光轴与板7的纵向正交的方向平行。就是说朝着路面的方向，而且它们的摄像窗口处于一同一平面上。短加固板8的一端在摄像机3a和3b的支撑点之间的中间点处与板7相连，它的另一端固定在直立杆6上以保持板7的倾斜。

图3表示了摄像机3a和3b的另一种安装法。摄像机3a和3b的两侧壁都由以直角方式安装到直立杆6上的两对支撑板7a和7b支撑着，为了使摄像机3a和3b的位置稳定，板7a和7b保持在水平方向。调节摄像机3a和3b的位置，使它们的光轴在对着道路的方向上相互平行。在这种结构中，上摄像机3a的摄像平面位于下摄像机3b的摄像平面之后，摄像机3a拍摄的图像必须根据其后退距离加以放大，然后进入下面描述的图像处理阶段。

如图4所示，摄像机3a和3b可以在一个盒子25内合成一体，该盒子支撑板7和加固板8支撑着。

在本实施例中，由两台摄像机对道路摄像，但是如果需要，可以用三台或者更多台摄像机来摄像。安装摄像机的支架不限于F型支架2，如有必要，也可以通过改造利用现有的电话线杆或灯杆。

图5表示了交通流量测量装置的电路方框图。控制器4包括：A/D变换器10a和10b，图像存储器11a和11b，边缘存储器12a和12b，边缘提取单元13，对应单元14，三维坐标计算单元15，摄像机参数存储器16，投影处理单元17，交通车道数据存储器18，模式数据存储器19，比较判别单元20，处理结果存储器21，和追踪处理单元22。

A/D变换器10a和10b将由摄像机3a和3b产生的模拟视频信号变换成要存入图像存储器11a和11b的明暗图像信号。

以下将存储在图像存储器11a中的摄像机3a的图像称为“第一图像”，存储在图像存储器11b中的摄像机3b的图像称为“第二图像”。

图6(1)和(2)分别表示第一和第二图像的一个实例，在其中产生了含有交通车道，车辆和道路上车辆影子的图像数据。

边缘提取单元13从图像存储器11a和11b中提取第一和第二图像，以产生边缘图像。在单元13中，每幅图像都由图7所示的拉普拉斯滤波器扫描以提取过零(zero-crossing)点，然后计算过零点的坐标以产生二值的边缘图像，其中所计算的坐标的像素是黑像素，其它像素是白像素。边缘提取处理并不局限于使用拉普拉斯滤波器，是可以使用如索贝尔(Sobel)滤波器之类的其它边缘提取滤波器。

将产生第一图像的边缘图像(以下称为“第一边缘图像”)存储在第一边缘图像存储器12a中，而将产生第二图像的边缘图像(以下称为“第二边缘图像”)存储在第二边缘图像存储器12b中。

图8(1)和(2)分别表示上述对于图6(1)和(2)中所示的第一和第二图像的边缘提取处理的结果，其中提取了与每一辆车的外形及它的影子相对应的边缘部分。

一旦产生边缘图像并存储到边缘图像存储器12a和12b中，就通过对应单元14执行用于获得在每个边缘图像内使边缘构成点对应的对应操作，并由三维坐标计算单元15对所对应的每个边缘构成点计算其三维坐标。

图9(1)至(4)中所示的是在对应单元14中对应处理的具体例子。首先，单元14从边缘图像存储器12a中的第一边缘图像E1中提取预定的边缘构成点p，如图9(1)所示。其次，单元14针对图9(2)中所示的边缘图像存储器12b中的第二边缘图像E2，以提取位于边缘构成点p的外极(epipolar)线L上的边缘构成点q₁，q₂，q₃，q₄和q₅作为边缘图像E2中的边缘构成点p的对应候选点。摄像机3a和3b串列设置，外极线L与X轴垂直，从而可以容易地提取对应候选点。

对应单元14设置有一个中心在点P的预定大小的窗口W_u，点P如图9(3)中所示的第一图像存储器11a中的第一图像G1上，该点与边缘构成点p的坐标(x，y_u)相同。对应单元14也在如图9中(4)所示的第二图像存储器11b中的第二图像G2上提取点Q₁-Q₅，这些点有与对应候选点q₁-q₅相同的坐标(x，y₁)，(x，y₂)，(x，y₃)，(x，y₄)和(x，y₅)，而且在第二图像G2上设置了中心分别在点Q₁-Q₅的与窗口W_u同样大小的窗口W₁-W₅。

一旦设置了各个窗口，对应单元14就分别对第二图像上的这些窗口W₁-W₅执行下列式子式(1)，以计算出各个窗口与第一图像上的窗口W_u之间的差异度(difference degrees)C： $C=\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\{g_U(x+i,y_U+j)-g_L(x+i,y_L+j)\}}^2\·\·\·\left(1\right)$ 其中，g_u(x，y)代表在窗口W_u内的预定像素的亮度值，g_L(x，y)代表在窗口W_L(L＝1-5)内的预定像素的亮度值，并且i和j代表根据各个窗口的大小而变化的变量。

对应单元14比较各个窗口W₁-W₅与窗口W_u之间的差异度，并将具有最小差异度的窗口判别为与窗口W_u对应的窗口。将在第二边缘图像中与对应窗口的中心点Q_L的坐标相同的坐标(x，y_L)上的一点q_L判别为第一边缘图像的边缘结构成点p的对应点。

图10表示了各窗口W₁-W₅与窗口W_u差异度计算结果。在这个图中，第二窗口W₂的差异度最小，因此，q₂被认为是第二边缘图像中与边缘构成点p对应的对应点。可以不用上述的差异度，而对各个窗口W₁-W₅中的每一个进行与窗口W_u的归一化互相关操作，结果，提供最大相关值的窗口可以认为是与窗口W_u对应的窗口。

一旦完成了对两个边缘图像内所有边缘构成点的上述对应处理，三维坐标计算单元15就接收与各个边缘图像E1和E2对应的边缘构成点p和q的坐标(x，y_u)和(x，y_L)以及存储在摄像机参数存储器16中的摄像机3a和3b的参数，以根据三角测量原理计算与各个边缘构成点对应的三维坐标。

图11表示了三角测量的原理。点P表示在道路上的目标23(本实施例中指车辆)上的预定特征点。特征点P的目标点图像P_u和p_L出现在第一图像G1和第二图像G2上，其中U代表摄像机3a的焦点，L代表摄像机3b的焦点。

对应于目标点图像P_u和P_L的三维坐标(X，Y，Z)与特征点P的空间位置一致。对于目标23的所有特征点执行上述方法就得到了目标23的三维形状的测量结果。

根据这一原理，为了计算对应于各个边缘构成点的三维坐标，三维坐标计算单元15执行下列式子(2)-(4)： $X=\frac{X}{F}(H\sin \mathrm{\θ}+z\cos \mathrm{\θ})\·\·\·\·\·\·\·\·\·\·\·\·\·\·\left(2\right)$ $Y=H-\frac{y_L}{y_U-y_L}B\cos \mathrm{\θ}\·\·\·\·\·\·\·\·\·\·\·\·\left(3\right)$ $Z=\frac{\mathrm{BF}}{(y_U-y_L)\cos \mathrm{\θ}}-\frac{y_L}{y_U-y_L}B\sin \mathrm{\θ}\·\·\·\·\·\left(4\right)$ 其中，B表示每个摄像机的基线长度，F表示每个摄像机的焦距，H表示第二摄像机3b的高度数据，和θ表示每台摄像机的俯角。

一旦计算了对应于所有边缘构成点的三维坐标，投影处理单元17就沿道路的纵向方向设立一个虚拟的垂直平面，以将三维坐标计算单元15所计算的三维坐标投影到该虚拟的垂直平面上。

图12表示了投影方法的一个例子，其中X，Y和Z是空间坐标轴。虚拟垂直平面(由参考标记“R”表示)由与z轴平行的水平轴H和与Y轴平行的垂直轴V限制在沿着道路的一个位置上。当从正面观察虚拟垂直平面R时，就提取了从道路侧面所看到的各个边缘部分。

交通车道数据存储器18存储代表从观察位置所看到的道路上每个交通车道的位置关系的数据，(即：X坐标和Z坐标)，而且可以借助存储的数据用投影的方法为每个车道投影三维坐标。不用交通车道数据存储器18，则可以使用后面描述的在三维坐标计算单元15与投影处理单元17之间的分类处理单元32，以将各个三维坐标根据在道路宽度方向中的位置关系分成组，并为每组坐标投影。

模式数据存储器19存储分别表示许多种车辆(如轿车，卡车，公共汽车等等)的侧面观察模式的二维数据MD1，MD2，MD3......，如图14(1)，(2)和(3)所示。比较判别单元20在虚拟垂直平面R上顺序地扫描这些侧面观察模式(下面简称“模式”)，以判别出现在虚拟的垂直平面R上的投影点所表示的物体。

各个车辆的模式不必局限于全部侧视图，而且可以是由图15(1)到(3)所示的分别表示模式的部分侧视图(由实线表示的部分)的二维数据。

图16表示了将图14(1)中的模式MD1与图13所示的投影结果作比较处理的结果的一个例子。

比较判别单元20把虚拟垂直平面R的原点O看作是起始位置，沿H轴方向顺序地扫描模式MD1，并计算在各个扫描位置上包含在模式MD1中的投影点数量n。当投影点的数量n等于或大于预定的阈值TH时，单元20执行下列式子(5)，以计算出与模式MD1重迭的投影部分的评价值Eh： ${\mathrm{Eh}}_i=\underset{h_k\∈S_i}{\mathrm{\Σ}}\frac{|V(h_k-h_i)-V_k|}{n}\·\·\·\left(5\right)$ 其中h_k和V_k表示虚拟垂直平面R上的点的坐标，h_i表示模式左端点的H坐标，LN表示在H轴方向模式的长度，而V(h)表示用坐标h(0＜h＜LN)表达的模式的高度的函数。Si用下列式子(6)表示：

   S_i＝{h_i|0＜h_i-h_i＜LN}  …(6)

当与模式重迭的投影点的数量n小于阈值TH时，比较判别单元20就在扫描位置中设置评价值中的最大值MAX。单元20用所有的模式对虚拟垂直平面R扫描以计算出对于各个扫描位置的评价值，将在所计算的评价值中提供最小评价值的那个模式的车辆类型判定为投影点的车辆类型，并将在得到最小评价值时刻的坐标h₀(图16所示)确定为车辆的起始位置。

将这种判别的结果存储在处理结果存储器21中。接着，按每个预定的时间周期进行相同的操作，并使处理结果在处理结果单元21中顺序地累加。给单元21提供了一张表TB(下面称为“处理结果存储表TB”)，用于存储为各个交通车道提取的车辆的起始位置(图16中的坐标h₀)，而且将代表所提取的车辆的起始位置的值按每个处理时刻t₁，t₂，t₃，......顺序地存储到单元21中，如图17所示。

追踪处理器22从处理结果存储表TB中读出每个处理时刻所探测到的车辆的位置，并通过将读出位置与正好在处理时刻之前的一步所探测的值相对应来判别车辆位置随时间的变化。

假设在处理时刻t_i探测到车辆的数量为J，而且所探测的第“j”(k＝j＜＝J)辆车的起始位置是h_j(t_i)，追踪处理器72就在一些位置中提取代表与h_j(t_i)最小距离的那个探测结果(这些位置与位置h_j(t_i)之差在下一个处理时刻t_j+1的探测结果中都小于预定的阈值)，然后将所提取位置判别为在处理时刻t_j+1时第“j”辆车的起始位置h(t_i+1)。

当满足上述条件的数据超过预定探测线Det(图18(1)和(2)所示)时，对应处理结束。当在处理时刻t_i+1没有数据满足这些条件时，追踪处理单元22停止作对应处理。图18(1)和(2)表示了对应处理所判别的各个车辆位置的变化。标记“x”表示每个处理时刻探测结果的点的位置，虚线所表示的轨迹代表相对应的探测结果，即各辆车的位置变化。

探测线Det与道路上某一预定的水平线对应，追踪处理单元22在当各条轨迹与探测线Det相交的时刻(图18(1)中的t₁，t₂和t₃)对通过的车辆执行计数处理，并对正好在车辆通过后和正好在几次探测结果前的探测值进行采样，以根据这些探测结果计算车辆通过的速度。

假设对第u个轨迹(u＝1，2，3......)采样了N个探测值，第n(1≤n≤N)个采样的探测值的坐标为(tu_n，hu_n)，则该轨迹所表示的车辆的通过速度V_u由下列式子求得： $\mathrm{Vu}=\frac{\underset{n}{\mathrm{\Σ}}{\mathrm{hu}}_n\·{\mathrm{tu}}_n-\frac{1}{N}\underset{n}{\mathrm{\Σ}}\underset{n}{{\mathrm{hu}}_n\mathrm{\Σ}}{\mathrm{tu}}_n}{\underset{n}{\mathrm{\Σ}}{{\mathrm{tu}}_n}^2-\frac{1}{N}{\left(\underset{n}{\mathrm{\Σ}}{\mathrm{tu}}_n\right)}^2}\·\·\·\left(7\right)$

当各车辆都平稳前进时，就得到图18(1)所示的轨迹。当发生红灯等候或发生交通阻塞时，在每个处理时刻的探测值就如图18(2)所示没有多少变化。按照这种方法，像车辆阴影之类的平坦数据就不会错误地被探测为车辆，车辆被准确地判别加紧以提供高精度的测量。除探测运动车辆的速度外，也可以探测出停在路上的车辆和物体，进而可以精确地探测出交通阻塞、违章停车和路障。

图19表示了一个作为本发明的第二个实施例的交通流量测量装置的电路方框图。该装置也从两台摄像机3a和3b所拍摄的图像中判别在各条交通车道上通过的车辆，并根据判别结果随时间的变化测量交通流量。然而，除图5的结构外，控制器4的设计还包括；特征选择单元30，代表点提取单元31，分类处理单元32，坐标选择单元33，加权范围设置单元34，从而减少了处理时间，并能进行高精度测量操作。

设置特征选择单元30是为了从存储在边缘图像存储12a和12b中的各个边缘图像中选择候选处理对像的特征部分，其中将预定数量的或者更多的边缘构成点相连的部分提取出来作为每个边缘图像的特征部分。

在所选择的特征部分中，代表点提取单元31提取与每个特征部分的中间点对应的边缘构成点作为代表特征部分的一个点。

图20在(1)和(2)中表示了对于图8的(1)和(2)所示的边缘图像的特征选择操作的结果。图21表示了在由图20的(2)中虚线包围的区域内的图像中代表点(用标记“x”表示)提取的结果。只有这些代表点在以后的处理中得到处理，因此处理速度有了相当的改进。

对应处理单元14对于已提取的各个代表点的各个边缘图像进行对应操作，三维坐标计算单元15利用对应处理的结果计算各个代表点的三维坐标。分类处理单元32利用已计算的三维坐标的各个x坐标进行分类操作，而且根据分类的结果将各个代表点分成组。

图22表示了对于各个代表点作三维坐标计算的结果的一个例子，其中许多代表点分别在靠近交通车道L₁和L₂的边界的空间中和在接触第一车道L₁的X-Z平面上提取。

图23表示了关于图22中各个代表点的分组处理的结果，其中靠近交通车道L₁和L₂的各个代表点被分到第一组G1，位于平面x-z上的各个代表点被分到第二组G2。

一旦完成这种分组处理，投影处理单元17就对包含在每个组中的代表点的三维坐标按组进行投影操作。

坐标选择单元33从每组中的投影处理结果中选择代表点作为最后处理的目标。在本实施例中，将与车辆车档的位置对应的y坐标设计为阈值，单元33在投影在虚拟垂直平面R上的代表点中间选择具有大于这个阈值的高度数据的点作为车辆的构成点。

图24在(1)和(2)中表示了在对于组G1和G2作上述坐标选择处理后的投影结果，并将组G2中的各个投影点作为噪音去除。

根据这种处理，将与路面上物体有关的投影点(如车辆的影子)去掉，但是加权范围设置单元34在留下的投影点上设置了加权范围(在后面描述)。接着，比较判别单元20将包含在已设置的加权范围中的各个点与存储在模式数据存储器19中的各种模式进行比较。

加权范围的设置操作和比较操作将在后面结合图25至29作详细描述。

对于每个投影点，加权范围设置单元34设置了一个线段WL，其中投影点根据中央摄像机参数在一个方向上被扩大一预定长度以此作为与测量上述三维坐标时产生的误差的宽度相对应的范围。

假设第“i”个投影点W_i在H-V平面上有坐标(h_i，v_i)，在从摄像机3a和3b中得到的各幅输入图像中与投影点W_i对应的点的y坐标为(y_ui， y_Li)，中心在投影点W_i的扩大了的线段WL的各个端点W_i ⁺和W_i ^-的坐标(h_i+，v_i+)和(h_i-，v_i-)用下面的式子(8)至(11)表示： $h_i-=\frac{\mathrm{BF}}{(y_{\mathrm{Ui}}-y_{\mathrm{Li}}-e)\cos \mathrm{\θ}}-\frac{y_{\mathrm{Li}}}{y_{\mathrm{Ui}}-y_{\mathrm{Li}}-e}B\sin \mathrm{\θ}\·\·\·\left(8\right)$ $v_i-=H-\frac{y_{\mathrm{Li}}}{y_{\mathrm{Ui}}-y_{\mathrm{Li}}-e}B\cos \mathrm{\θ}\·\·\·\left(9\right)$ $\mathrm{hi}+=\frac{\mathrm{BF}}{(y_{\mathrm{Ui}}-y_{\mathrm{Li}}+e)\cos \mathrm{\θ}}-\frac{y_{\mathrm{Li}}}{y_{\mathrm{Ui}}-y_{\mathrm{Li}}+e}B\sin \mathrm{\θ}\·\·\·\left(10\right)$ $v_i+=H-\frac{y_{\mathrm{Li}}}{y_{\mathrm{Ui}}-y_{\mathrm{Li}}+e}B\cos \mathrm{\θ}\·\·\·\·\·\·\left(11\right)$ 其中，B，F，H和θ表示与前述式子(2)至(4)所使用的相同的摄像机参数，“e”表示由输入图像上一个像素所代表的实际长度。

比较判别单元20顺序地读出存储在模式数据存储器19中的各个模式M，并且设置在模式M的宽度r内含有二个或多个投影点的区域SR作为模式的扫描范围如图26所示。

其次，如图27所示，单元20在扫描范围SR内为模式M的每个扫描位置h_i寻找上述扩大的线段WL与模式m的交点Z_i的坐标，并计算交点Z_i与投影点W_i之间的距离D_i，投影点W_i与位于交点Z_i一侧的端点W_i ⁺或W_i ^-之间的距离E_i。单元20将计算出的投影点W_i的D_i与E_i的比率应用到下列式子(12)，计算在交点Z_i处模式m实际存在的概率SP_i作为投影点W_i的评价值，并计算这些评价值SP_i(图28所示)的总和SP_i作为在扫描位置h_i上投影数据的拟合良好程度： ${\mathrm{sp}}_i={\∈}^{-\frac{{(\mathrm{Di}/\mathrm{Ei})}^2}{2\mathrm{\σ}}}\·\·\·\left(12\right)$

其中∈表示自然常数的基，σ表示2或3。

按照上述方法，在模式M和各条扩大的线段WL之间根据每个交点Z_i与投影点W_i之间的距离进行加权的比较，于是计算三维坐标的误差被去除。这种加权比较的结构可应用于第一实施例的装置。

图29表示了在扫描区SR中比较处理的结果。比较差别单元20判别出与模式M对应的车辆类型的起始部分处于扫描位置h₀，在该h₀处评价值SP_i为最大值。

将判别的结果存储到处理结果存储器21中。根据与第一实施例相同的方法用追踪处理单元22进行位置随时间变化的操作和各辆车的速度测量。

在前面两个实施例中，从摄像机3a和3b拍摄的输入图像中提取边缘构成点，并将图像上的特征部分投影到沿道路方向的虚拟垂直平面上以判别车辆。在夜间难以提取作为车辆特征的车顶或前玻璃的部分图像的情况下，将各幅输入图像转换成二值图像，以提取车灯的图像作为特征部分，利用该提取结果来测量交通流量的方法是有效的。

图30表示了作为本发明第三个实施例的交通流量测量装置的电路方框图，该装置能在夜间测量交通流量。本实施例的控制器4包括二值化变换器35和二值图像存储器36a和36b，而不用第一实施例中的边缘提取单元13和边缘图像存储器12a和12b。

图31(1)和(2)以及图32(1)和(2)表示了由摄像机3a和3b拍摄的输入图像的例子。图31和32中的(1)的图像表示存储在第一图像存储器11a中的第一输入图像，图31和32中的(2)的图像表示存储在第二图像存储器11b中的第二输入图像。

二值化变换器35被设计为将存储于存储器11a和11b的输入图像中的具有超过预定阈值的亮度的像素变换成黑像素，将已变换的二值图像存储到二值图像存储器36a和36b中。

图33(1)和(2)表示由图31(1)和(2)的输入图像变换来的二值图像，图34(1)和(2)表由图32(1)和(2)的输入图像变换来的二值图像，其中车灯的部分被提取作为黑像素。

对应处理单元14对上述各个二值图像中的黑像素的图像进行对应处理。三维坐标计算单元15计算各个对应的像素的三维坐标。作为结果，含在各幅输入图像中的车灯的部分的位置被提取以传送给比较判别单元20。

模式数据存储器19存储表示每辆车(例如小型汽车，摩托车和大型汽车)的灯的数量和位置的数据，比较判别单元20将存储器数据与来自三维坐标计算单元15的计算结果进行比较，以判别什么类型的车辆处于什么位置。

图35表示应用图33(1)和(2)的二值图像的三维坐标的计算结果，图36表示应用图34(1)和(2)的二值图像的三维坐标的计算结果。标记“·”表示对应于每个特征部分(下面称为“特征点”)的中间点的点。比较判别单元20有一个从对应于标准车档的高度位置的y坐标直到预定高度位置的识别区，并在识别区内提取具有y坐标的特征点作为特征点的候选点。单元20将提取的特征点的位置关系与模式数据存储器19中的存储器数据进行比较，以判别路上车辆的类型和位置。图35和36中的虚线代表根据存储在交通车道数据存储器18中的位置信息的交通车道的边界线，并且根据这种位置信息识别所判别的车辆所在的交通车道。

当有两个处于与正好在车档之上的位置对应的位置、且其间隔与在道路宽度方向上普通汽车的前灯宽度对应的平行的特征点(例如，图35中的特征点O1-O2和O3-O4)时，单元20识别这些特征点的位置为普通汽车起始位置。当有一个具有与正好在车档之上的位置对应的高度数据的特征点(例如，特征点O5)时，单元20就判定一摩托车处于该特征点的位置。当与前灯对应的两个特征点的间隔大于普通汽车前灯的间隔，而且在这对特征点周围有多个特征点(图36中的各个特征点)时，单元20就判定这些特征点代表大型车辆，并考虑到各个特征点的位置关系来进一步判定车辆的类型(卡车、篷车或公共汽车)。

当将反射在雨天的潮湿路面上的前灯的影子和沿路的夜间灯或交通标记作为特征点被提取时，这些特征点的y坐标就在识别区之外，并被认为不代表任何车辆的特征点。这样，就避免了将不是车辆的其他物体检测为车辆的风险，于是即使是在夜间也能精确地判别出车辆。

将比较判别单元20的结果依次序存储到处理结果存储器21中。接着，进行与第一和第二实施例同样的操作。

前面的这些实施例涉及交通流量测量装置。上述车辆测量方法并不是局限于运动的车辆，也可以应用于停止的车辆。

图37表示了作为本发明的第四个实施例的停止场观察装置。该停车场观察装置设置在靠近有许多停车区(本实施例中有两个区)的停车场，以判别车辆的停放。停车场设有预定间隔的两个停车区40。每个停车区在纵向(图37中用箭头A表示的方向)分成四个区，在横向分成两个区，从而得到了八个停车域AR。

在本实施例中，对每个停车区40观察各个停车域AR，每个由摄像机3a和3b以及控制器4′构成的观察装置安装在停车区40的纵向A的延长线上。摄像机3a和3b安装在灯杆41上，其位置关系与上述实施例之一相同。半控制器4′所测量的结果传送到管理整个停车场使用的管理中心(附图中未示出)的计算机。

图38表示了停车场观察装置的示意方框图。控制器4′包括：A/D变换器10a和10b，图像存储器11a和11b，边缘图像存储器12a和12b，边缘提取单元13，对应处理单元14，三维坐标计算单元15，摄像机参数存储器16，投影处理单元17，模式数据存储器19，和比较判别单元20，它们与图5的组成部分相同。控制器4′进一步包括用于存储各个停车域AR的位置信息(例如，各个顶点的坐标)的区域数据存储器42。

当将图39(1)和(2)所示的输入图像存储到存储器11a和11b中时，边缘提取单元13就按照与上述第一和第二实施例相同的方法沿水平方向提取输入图像的边缘构成点。作为结果，产生了图40(1)和(2)中所示的边缘图像，并将其存储到边缘图像存储器12a和12b中。

对应单元14和三维坐标计算单元15对每个边缘构成点进行图像之间的对应操作，并计算每个对应点的三维坐标。

投影处理单元17沿停车区的纵向A，即每个停车域AR的宽度方向设置一个虚拟的垂直平面R′，并将所计算的三维坐标投影到该垂直平面R′上。根据区域数据存储器42中的存储器数据对停车区的每条线进行这种投影操作。

图41表示了上述投影操作的一个例子，而图42表示了投影操作所应用的虚拟垂直平面R′的正视图。分别提取了代表每个停车域内车辆的前部形状或后部形状的投影数据。

如图43(1)和(2)所示，模式数据存储器19为每种车辆存储前部形状或后部形状的模式，比较判别单元20顺序地对虚拟垂直平面R′上的各个模式扫描，以按照与上述第一实施例中相同的方法对车辆进行判别。

如果单元20判别出对应于模式中之一的车辆的位置，它就核对区域数据存储器42中的存储数据，识别出哪个停车域与所判别的位置对应。最后，将代表哪个停车域内停放有哪种类型车辆的数据传送到管理中心。

尽管在本实施例中将虚拟的垂直平面R′沿停车域的宽度方向设置，并将每辆车的前部形状投影到其上，但是，虚拟的垂直平面也可以沿停车域的纵向设置，以投影每辆车的侧面形状。此外，尽管在本实施例中对在同一条线上的停车域是同时进行投影操作的，但是也可以单独对每个停车域进行投影操作。

如果除这种停车场观察处理之外还采用上述第一和第二实施例判别出围绕每个停车区40的周边路径上运动的车辆，那么，打算停放的车辆和打算离开停车场的车辆都可以判别出来，并且可以能对停车场进行总的管理。

本实施例的停车场观察装置根据三维坐标的投影操作来判别车辆，但也可以将其构造成根据由计算的各个坐标所表示的高度数据来取代投影操作对车辆进行判别。

图44表示了作为本发明的第五个实施例的如此构成的停车场观察装置。为了进行判别，控制器4′装有停放汽车存在判别单元，根据所计算的三维坐标和每个停车域的位置信息，判别是否有任何车辆停放在每个停车域内。其它与前面的实施例具有相同结构的组件用相同的标号表示，而且为了简便，略去了对它们的详细解释。

停放汽车存在判别单元45根据存储在区域数据存储器42中的各个停车域AR的位置信息将各个计算出的三维坐标为每个停车域分组。例如，如果将图41所示的三维坐标的计算结果分成组，它就如图45(1)和(2)所示。再有，对于第“m”个分组g_m，单元45计算包含在该组中的三维坐标点的数量PT_m和这些坐标点的高度数据的平均值AD_m，将计算的数据PT_m和AD_m与预定的阈值进行比较，以判别是否有任何车辆在与组g_m对应的停车域AR内。

将三维坐标点的数量PT_m与阈值TH₁进行比较，该阈值的设置与车辆的边缘构成点的平均数量相对应。将高度平均值AD_m与两类阈值TH₂和TH₃比较，其中，阈值TH₂由与普通汽车的平均高度对应的值设置，阈值TH₃与大型车辆的平均高度对应的值设置。

当在组g_m中上述PT_m超过阈值TH₁而AD_m在阈值TH₂和TH₃之间时，单元45判定有普通汽车在与组g_m对应的停车域AR中。当PT_m超过阈值TH₁而AD_m等于或大于阈值TH₂时，单元45判定有大型车辆在与组g_m对应的停车域AR中。

当PT_m等于或小于阈值TH₁或AD_m等于或小于阈值TH₂时，单元45判定没有车辆在对应的停车域中。

尽管前面实施例中的装置是判别在路面上或车停车区中的车辆的，但可以将它进行修改用来判别车辆之外的其它各种目标，并可以采用同样的方法测量目标位置随时间的变化。

虽然根据给出满意结果的一些实施例对本发明进行了描述和图示，但是熟悉本领域的人员可以理解，在了解本发明的目的之后，在不离开本发明的精神和范围的情况下可以作出种种其它的变化和修改，因此，在所附的权利要求书中涵盖了所有这些变化和修改。

Claims (15)

1、一种用于观察目标的目标观察方法，包括：

第一步，由两台或多台对准预定的观察位置的摄像机同时拍摄图像，以提取各自拍摄的每一幅图像中的特征部分，

第二步，将所述的图像中提取的特征部分与图像对应，

第三步，以三维坐标测量所述已对应的特征部分，以提取它的三维坐标，

第四步，将所述已提取的特征部分的三维坐标投影到与所述目标接触的平面正交的虚拟垂直平面上，和

第五步，将所述的投影数据与预定的二维模式数据比较，以判别所述目标。

2、一种如权利要求1所述的观察目标的方法，其中所述第四步中的投影是这样的一步，即根据所述目标所接触的平面上的位置关系将每个特征部分的所述三维坐标分成组、并为每一组将含在组中的三维坐标投影到所述虚拟垂直平面上。

3、一种如权利要求1或2所述的观察目标的方法，其中所述第五步中的比较是这样的一步骤，即设置包含通过所述第四步投影处理形成在所述虚拟垂直平面上的各个投影点的预定范围，并根据在所述设置的范围的各点与要与所述二维模式数据比较的所述投影点的位置关系将各个点加权。

4、一种如权利要求1所述的观察目标的方法，其中：

所述第一步进一步包括确定图像中已提取的特征部分中有代表性特征的点的步骤，

所述第二步进一步包括使已确定的代表点与图像对应的步骤，

所述第三步进一步包括在三维坐标中对每个已对应的代表点进行测量，以提取各个代表点的三维坐标的步骤，

所述第四步是将已提取的代表点的三维坐标投影到与所述目标接触的平面正交的虚拟垂直平面上的步骤。

5、一种如权利要求4所述的观察目标的方法，其中所述第四步中的投影是这样的一步，即根据所述目标所接触的平面上的位置关系将各个代表点的三维坐标分成组，并为每一组将含在组中的三维坐标投影到所述虚拟垂直平面上。

6、一种如权利要求4或5所述的观察目标的方法，其中所述第五步中的比较是这样的一步，即通过所述第四步中的投影处理，设置含有形成在所述虚拟垂直平面上的各个投影点的预定范围，并根据在所述设置范围内的各个点与要与所述二维模式数据对比的所述投影点的位置关系将各个点加权。

7、一种观察目标的装置，包括：

两台或多台对准预定的观察位置的摄像机，

用于在所述摄像机同时各自拍摄每幅图像中提取特征部分的特征提取装置，

用于将所述特征提取装置所提取的各幅图像的已提取特征部分与图像对应的对应装置，

坐标提取装置，用于在三维方向上测量由所述对应装置对应的特征部分，以提取该特征部分的三维坐标，

存储位置，用于存储所述目标的二维模式数据，

投影装置，用于设置与所述目标所接触的平面正交的虚拟垂直平面，以将所述坐标提取装置所提取的特征部分的三维坐标投影到所述虚拟垂直平面上，和

比较装置，用于将所述投影装置所投影的结果与存储在所述存储装置中的所述二维模式数据作比较。

8、一种如权利要求7所述的观察目标的装置，其中所述投影装置根据所述目标所接触的平面上的位置关系将所述坐标提取装置所提取的各个特征部分的所述三维坐标分成组，并为每一组将含在组中的三维坐标投影到所述虚拟垂直平面上。

9、一种如权利要求7或8所述的观察目标的装置，其中所述比较装置设置含有通过所述投影装置的投影处理形成在所述虚拟垂直平面上的每个投影点的预定范围，并根据在所述设置的范围内的各个点与要与所述二维模式数据对比的所述投影点的位置关系将各个点加权。

10、一种如权利要求7所述的观察目标的装置，其中，该装置进一步包括代表点确定装置，用于确定分别表示所述特征提取装置所提取的各幅图像的各特征部分的代表性特征的点，并且

所述对应装置使所述代表点确定装置所确定的各个代表点与图像对应，

所述坐标提取装置在三维方向上测量所述对应装置所对应的每个代表点，以提取各个代表点的三维坐标，以及

所述投影装置设置与所述目标所接触的平面正交的虚拟垂直平面，以将所述坐标提取装置所提取的代表点的三维坐标投影到所述虚拟垂直平面上。

11、一种如权利要求10所述的观察目标的装置，其中所述投影装置根据所述目标所接触的平面上的位置关系将所述坐标提取装置所提取的各个代表点的三维坐标分组，并为每组将包含在组内的三维坐标投影到所述虚拟垂直平面上。

12、一种如权利要求10或11所述的观察目标的装置，其中所述比较装置设置含有通过所述投影装置的投影处理形成在所述虚拟垂直平面上的各个投影点的预定范围，并根据在所述设置的范围内的各个点与要与所述二维模式数据对比的所述投影点的位置关系将各个点加权。

13、一种交通流量测量装置，用于观察道路上车辆的流动，以根据观察结果的时间变化来测量道路上的交通流量数据，包括：

两台或多台对准预定的观察位置的摄像机，

特征提取装置，用于在每个预定的时间周期从所述摄像机同时各自拍摄的每幅图像中提取特征部分，

对应装置，用于使所述特征提取装置所提取的各幅图像的特征部分与图像对应，

坐标提取装置，用于在三维方向上测量所述对应装置所对应的特征部分，以提取特征部分的三维坐标，

投影装置，用于设置沿道路方向的虚拟垂直平面，以将所述坐标提取装置所提取的特征部分的三维坐标投影到所述虚拟垂直平面上，

存储装置，用于对于许多类型的车辆存贮每种车的侧面的形状模式，

车辆判别装置，用于将所述投影装置所投影的结果与存储在所述存储装置中各种模式相比较，以判别路上的车辆，和

观察装置，用于用所述车辆判别装置顺序地追踪判别结果，以观察路上车辆的流量。

14、一种用于观察道路上车辆的流动、以根据观察结果的时间变化来测量道路上交通流量数据的交通流量测量装置，包括：

两台或多台放置在道路上方和对准路上观察位置的摄像机，

特征提取装置，用于在预定的时间周期从所述摄像机同时各自拍摄的每幅图像中提取特征部分，

对应装置，用于使所述特征提取装置所提取的各幅图像的特征部分与图像对应，

坐标提取装置，用于在三维方向上测量所述对应装置所对应的特征部分，以提取特征部分的三维坐标，

投影装置，用于设置沿道路方向的虚拟垂直平面，以将所述坐标提取装置所提取的特征部分的三维坐标投影到所述虚拟垂直平面上，

车辆判别装置，用于通过使用在所述坐标提取装置所提取的各个特征部分的三维坐标中满足预定高度条件的那些三维坐标的相对位置关系来判别路上的车辆，和

观察装置，用于用所述车辆判别装置顺序地追踪判别结果，以观察路上车辆的流量。

15、一种用于观察停放在预定区域形状内的车辆的停车场观察装置，包括：

两台或多台放置在所述区域上方和对准所述区域的摄像机，

特征提取装置，用于在预定的时间周期从所述摄像机同时各自拍摄的幅图像中提取特征部分，

对应装置，用于使所述特征提取装置所提取的各幅图像的特征部分与图像对应，

坐标提取装置，用于在三维方向上测量所述对应装置所对应的特征部分，以提取特征部分的三维坐标，

投影装置，用于设置与所述区域的车辆停车平面正交的虚拟垂直平面，以将所述坐标提取装置所提取的特征部分的三维坐标投影到所述虚拟垂直平面上，

存储装置，用于对于许多类型的车辆存贮每种车辆的侧面的形状模式，和

车辆判别装置，用于将所述投影装置所投影的结果与存储在所述存储装置中的各种模式比较，以判别区域内的车辆。

Images