CN1350941A - 移动车辆图像追踪的方法和装置 - Google Patents

Abstract

本发明是应用于欲监测路段自动采集的图像信号进行车辆移动状态的判别,反覆计算并确认各项交通参数的正确性。利用欲监测路段内的某实物与其对应于画面上的图像间的坐标转换关系,可据以计算车辆数、分辨基本车种、并测得行车速率。将这些数据加以处理,可以进行某车辆的状态指标运算。在完成每一运算循环之后,并依照环境光线明暗的改变而更新此路段空间的背景状态。

Description

移动车辆图像追踪 的方法和装置

本发明为自动搜集道路交通数据的交通监测系统，应用于对监测路段自动采集图像信号以进行车辆数、车种、行车速率等车流参数的判别。

以往的交通监测是以计数单一定点的方式来取得一路段的流量、速率与占有率等数据。传统上的作法，大多数是于路面下埋设感应线圈来进行监测。然而单一定点的监测方式常使得监测数据因代表性不足，而使监测与判断丧失其精准度，以致无法监测出整条路段的车流堵塞情况。另外，由于感应线圈因受车辆长期辗压，易致损坏，除本身功能无法发挥外，更需不时挖掘路面以进行线圈的替换或维修，除了造成人力与物力的浪费，并对交通产生相当程度的冲击。

传统上有一种车辆活动监测装置，以车辆为监测对象，利用摄影机以二维画面式的取像方法拍摄监测区的车辆图像数据，并储存在该装置中，再利用电脑处理该图像数据，以计算道路上车辆通过的车速、通过车辆数以及通过车辆型式。基本上前述传统方法抽取车辆的前端以得到该车辆前端的移动量，再利用该移动量来计算车辆前端的位移；利用该位移数据，以得到相关的交通资讯。然而，上述传统车辆活动监测装置若在抽取车辆前端位置时失败，或连续抽取相同车辆重复计算，结果都会影响计算值，以致得到错误的结果。且其取样方式是将车道划分为很多区域，重复计算以判定车辆行驶路线及有无变换车道。此演算法过于繁复，处理数据量过大，导致处理效率不高，处理时间较长。同时上述传统方法并未提出任何可自动达成背景图像初始化的方法。

为克服上述传统方法的缺点，本发明提供了一种移动车辆图像追踪方法，该方法包括下列步骤：第一步骤：将图像画面上可明视的一车道范围定义为一监测区，计算该监测区内的真实点与该真实点的图像间的一坐标转换关系；第二步骤：决定该监测区的图像中每一像素的一背景值；第三步骤：读取该监测区内每一该像素的图像强度值，该图像强度值经数据运算后，可得该监测区中一车辆出现与移动的监测结果；第四步骤：将该监测结果输出；第五步骤：动态更新该背景值。

本发明的另一方案，是提供了一种移动车辆图像追踪系统，该系统包含：至少一图像采集单元，将图像源转换为数字数据；至少一存储单元，其与该至少一图像采集单元连结，供储存数据；至少一数据处理单元，与该至少一存储单元连结，计算一车辆出现与移动的监测结果；以及至少一数据输入/输出控制单元，与该至少一数据处理单元连结，控制该至少一数据处理单元与一外部终端装置间的数据传输。

由于本发明使用了上述的先进技术，利用监测区的方式来进行图像监测，并利用车辆轮廓判别及关连运算等方法，绘制车辆行驶轨迹线来判断车种(例如大小车型及机车等等)、车速及变换车道等相关数据。本发明除了可提高监测的灵敏度外，更使所取得的数据具有平滑的效果。利用本发明所提供的方法，除了可减少数据处理的时间、增进运算效率外，更不会有误判的情况发生。

本发明的重点在于数据处理单元针对采集的车辆图像所做的运算操作，以得到实质上具有利用价值的信息。首先，在图像画面上可明视的空间范围依现场车道布设定义一监测区，其中该监测区可包含一条以上的车道。在监测区的外围及各车道分界线上选取至少四处定点作为控制点，并于现场丈量各控制点的相对坐标，设定监测画面中与各控制点对应的图像坐标，藉以计算监测区内图像与实际空间的几何对应关系，并决定车道线于图像画面上的位置。

在监测区定义完成之后，必须决定欲监测空间在图像画面上的初始图像背景值。本发明可直接利用人工选取监测区内无移动物体出现的画面来当作背景画面，来读取监测区的背景图像数据，但更简便的方法是利用一种背景图像抽取方法以自动读取监测区的背景值。针对同一像素(pixel)在一段时间中所连续采集的多数个图像强度值做成统计次数分布，将其中不具代表性的强度值视为噪音并予以滤除。噪音滤除之后，将连续非零的次数值合并为若干数据区块，选取数据累加之和最大者，其中出现次数最多的图像强度值即视为该像素的背景图像强度值。待各监测单元内所有的像素背景值稳定之后，监测的前置作业就告一段落。

接下来，数据处理单元会对所测得的像素强度作进一步运算，以追踪车辆移动情形并进行车辆速率运算或行驶车道判别。移动车辆图像追踪包含两步骤：车辆轮廓判别与车辆关联运算。在车辆轮廓判别的运算中，首先依前述监测区的定义，沿图像扫描线顺序依次读取监测区内的像素强度数据。将像素数据与该像素的背景值加以比对，差异大的即视为与背景相异，亦即有车辆出现。将同一图像扫描线上判定为有车辆出现的相邻像素分别连接为一线段，称为触动线段。基于图像扫描线与像素数据的读取均属间断型态，以及车辆外观趋近立方体的几何特性，因此每一触动线段均可代表一部分的车辆图像区块。将相邻扫描线上的触动线段代表的部分车辆图像区块依真实坐标予以重叠组合，其所能涵盖的最大矩形面积即为此车辆的外观轮廓范围。分别记录其角点坐标，即完成一处理循环。

轮廓判别完成之后，接着进行车辆关联运算。首先读入第t-1时刻与第t时刻画面上出现的车辆的轮廓角点坐标。将不同时刻已判别出车辆轮廓的真实坐标予以重叠，若图像采集时距在合理范围内，则此真实坐标中属于同一车辆的外观轮廓将有部分或全部重合，如此便可判别第t-1时刻的某一车辆轮廓所代表的车辆于第t时刻的车辆轮廓位置。而此二车辆轮廓位置的差异，即为此时距内此车辆于监测区内的位移d。得到位移d之后，可进一步进行车辆速率计算与行驶车道判别。

完成上述的车辆移动状态监测后，即进行监测区图像画面的背景更新。由于所欲监测的范围可能随天色及天候的改变而产生光线的变化，因此背景更新的操作极为重要。首先将监测区中某像素的图像强度值与该像素的初始背景值做一比对，得到一差异值。若此差异值大于预设的阈值，则令此像素的背景更新系数为1，反之则令其为0。另外设定第一背景更新参数α₁及第二背景更新参数α₂。将这些数值数据带入运算公式中，可以得到该像素的背景更新结果。此运算公式所隐含的意义为，若读取的各别像素数据与背景同一位置像素数据比对结果显示有物体出现，则背景不予更新，或仅以极小的比例更新。若经判别为无物体出现，而纯粹因为光线的改变逐渐造成背景极微小的变化时，则以预设的比例将各像素的数据更新。因此第二背景更新参数α₂常定为甚小值或0。监测单元中所有像素的背景值经过更新以后，即可进入下一个处理循环，继续进行车辆移动状态的监测与运算。

本发明的图像数据内容以各像素的图像强度值表示之。若采用单色图像源，其数据格式以灰度表示；若采用多色图像源，则其数据格式以一以上的色频带强度的组合表示。

附图简单说明

图1为本发明的系统结构示意图。

图2为本发明的数据处理流程图。

图3A表示监测区的设置方式与控制点的选定。

图3B表示图像画面与真实空间的几何对应关系。

图4为背景图像抽取方法流程图。

图5A为背景图像抽取方法中，图像强度与次数的统计分布图。

图5B为图5A的次数分布统计图经噪音滤除步骤后的数据区块。

图6A表示个别触动线段与真实坐标中的平面矩形的转换示意图。

图6B表示将相邻扫描线的部分车辆图像区块重叠组合为车辆图像轮廓的示意图。

图7A为车辆图像对应于真实平面所构成的矩形示意图。

图7B为车辆图像对应于真实平面坐标的角点示意图。

图8表示以关联运算求得车辆位移的方法。

图9为背景图像更新流程图。

本发明为自动搜集道路交通数据的交通监测系统，应用于对监测路段自动采集图像信号以进行车辆数、车种、行车速率等车流参数的判别。

图1为本发明的系统结构示意图。车辆及背景的图像信号由图像源1输入，此图像源1可为架设于路旁的摄像机，以传入实时的道路交通图像，亦可为事先录制好的录像带。主系统7由图像采集单元(A/D转换单元)2、存储单元3、数据处理单元4以及输入/输出控制单元5组成。由图像源1输入的图像信号经图像采集单元2转换为数字数据，其内容为像素的强度。存储单元3与图像采集单元2及数据处理单元4连接，负责这些数字数据的储存，以及各阶段运算数据的暂存。本发明的重点在于数据处理单元4所做的交通状态运算，其步骤与细节将叙述如后。经过数据处理单元4处理过的道路交通监测结果由输入/输出控制单元5输出至外部终端装置6，供搜集道路交通数据或动态交通控制的参考依据。

图2为本发明的数据处理流程图。首先进行步骤41的监测区定义。如图3A，依现场车道布设，于图像画面上可明视的车道空间定义一段范围为监测区。于其中选取若干个定点作为控制点411，于现场丈量各控制点411的相对坐标，以计算其对应于图像画面中的坐标转换412关系，并决定车道线于图像画面中的位置(如图3B)。此图像坐标与真实坐标间的坐标转换412关系即为后续各项车流参数计算的依据。

步骤42为背景图像初始化步骤。背景图像初始化有两种方法，第一为以人工方式选取监测区中无移动物体出现的画面当作初始背景，以读取监测区内不含车辆或其他移动物体的背景图像数据。但是此类背景画面图像不易获得，本发明提供一可自动完成动态背景图像抽取的方法。图4为此背景图像抽取方法的流程图。其针对连续采集的一序列画面中个别像素的强度，计算最近一段期间的数据中，各可能强度值的次数分布，并据以筛选出背景图像。以下以单色图像为例作一说明。如步骤421，采集图像画面上同一像素于连续时刻的图像强度值(取样数的多寡由经验决定)，并将其做成强度与次数的统计分布。为说明方便起见，将该统计分布做成如图5A的次数-强度值统计图。步骤422，将此次数分布中次数小于某预设阈值的强度值视为噪音，并予以滤除。滤除噪音后的次数分布如图5B，则本例中大致可以分为三个数据区块。步骤423，各连续非零的强度值次数为同一数据区块，将各数据区块的强度值次数累加视为各数据区块的面积。步骤424，比较各数据区块的面积，并选取面积最大的数据区块，即本例中的数据区块2。步骤425，选取面积最大的该数据区块(即本例的数据区块2)中，发生次数最多的强度值，即本例中的最大值2。将此强度值视为该像素的初始背景值。

以上的步骤41与步骤42为前置作业阶段。完成监测区中所有像素的背景初始化动作后，数据处理单元即针对测得的像素强度作进一步的车辆移动状态的追踪运算。如图2，于本发明的一具体实施例中，车辆移动状态的追踪可分为车辆轮廓判别(步骤43)与车辆关联运算(步骤44)两个步骤。

步骤43为车辆轮廓判别。首先依前述监测区的定义，沿图像扫描线的顺序依次读取监测区内的像素数据。将监测区内的各像素数据与背景图像中相同位置的像素数据进行比对，比对的目的主要在反应图像讯息强度(如亮度或/与色彩等特征)的差异程度。比对之后，若某一像素与背景值的差异显著，则该像素视为与背景相异，并据以判定该像素有车辆出现。接着将同一图像扫描线上被判定有车辆出现的相邻像素分别连接为一线段，称之为触动线段。基于图像扫描线与像素数据的读取均属间断型态，以及车辆外观为趋近立方体的几何特性，因此每一触动线段均可代表一部分的车辆图像区块。每一区块于真实坐标中均对应一平面矩形，其长度为该线段于真实坐标中行车方向的投影长度，而宽度则为该线段于真实坐标中行车方向的法线投影长度。如图6A，假设于图像坐标X-Y平面上有包含n条触动线段的一车辆图像，各触动线段分别为(x_s1，y_s1)-(x_e1，y_e1)、(x_s2，y_s2)-(x_e2，y_e2)、(x_s3，y_s3)-(x_e3，y_e3)、…、(x_sn，y_sn)-(x_en，y_en)。将上述各触动线段的端点，依图像坐标X-Y平面以及以车辆行进方向为X′轴、其正交的法线方向为Y′轴的真实平面坐标X′-Y′平面间的几何对映关系，计算出各该端点所代表的真实端点坐标：(x′_s1，y′_s1)-(x′_e1，y′_e1)、(x′_s2，y′_s2)-(x′_e2，y′_e2)、(x′_s3，y′_s3)-(x′_e3，y′_e3)、…、(x′_sn，y′_sn)-(x′_en，y′_en)。以个别触动线段(x′_si，y′_si′)-(x′_ei，y′_ei)于X′轴的投影长度为长，于Y′轴的投影长度为宽，可构成于X′-Y′平面以(x′_si，y′_si)-(x′_ei，y′_ei)为对角线的矩形。如图6B，求算出所有触动线段所代表的矩形，则各矩形均代表于X′-Y′真实平面中，由触动线段(x′_si，y′_si)-(x′_ei，y′_ei)所构成的部分车辆图像区块之一。将触动线段转换为部分车辆图像区块之后，即将相邻图像扫描线代表的部分车辆图像区块予以重叠组合，其于真实坐标中所能涵盖的最大矩形，即为测得车辆的外观轮廓范围。如图7A，计算所有前述于各该部分车辆图像区块于真实X′-Y′平面构成的矩形个别四个角点的真实坐标。参考图7B，比较找出其于真实坐标X′轴方向的最大者X′_max。与最小者X′_min，以及于真实坐标Y′轴方向的最大者Y′_max与最小者Y′_min。以(x′_max，y′_min)、(x′_max，y′_max)、(x′_min，y′_max)、(x′_min，y′_min)等为四角点的真实坐标矩形，即为于真实X′-Y′平面的车辆外观轮廓。得到车辆的外观轮廓后，便可据外观尺寸(长、宽)大小以判别车辆种类。求算以前述各该真实坐标角点所对应的图像坐标角点(x_max，y_min)、(x_max，y_max)、(x_min，y_max)、(x_min，y_min)等，以此列图像坐标角点为四角的四边形，即为于图像X-Y平面的车辆图像外观轮廓。

步骤44为车辆关联运算。在完成步骤43的车辆面积监测之后，即得到第t时刻监测区内所出现的车辆的轮廓角点数据。接着读取第t-1时刻已得到的车辆的轮廓角点数据。将已判别出车辆轮廓的两画面予以重叠，由于图像画面的采集时距是控制在合理范围内，使此两画面中属于同一车辆的外观轮廓将有部分或全部重合，如此便可判别第t-1时刻的某一车辆轮廓所代表的车辆于第t时刻的车辆轮廓位置。而此二车辆轮廓于真实坐标位置的差异，即为此时距内此车辆的位移d，如图8所示。

如图2，在进行车辆轮廓判别与车辆关联运算之后，可利用所得到的数据选择性地进行车辆速率计算(步骤45)或行驶车道判别(步骤46)。步骤45，将车辆关联运算所得到的车辆位移d除以图像画面采集时距(令为T)，即得到此车辆于真实坐标平面的瞬时速率v： $v=\frac{d}{T}$ 步骤46，将个别车辆于真实坐标的轮廓角点逐一记录，即可得到该车辆通过监测区时的真实行驶轨迹。可藉以判别车辆行驶的车道，包括是否变换车道等等。

如图2，在选择性进行车辆速率计算或行驶车道判别之后，即进行步骤47，将监测结果输出。接着进行步骤48的背景图像更新。图9为背景图像更新流程图。步骤481，首先依前述监测区的定义读取监测区内第t时刻的像素图像强度F_t。步骤482，将所读取的像素图像强度F_t与该时刻的像素背景值B_t加以比对，并得到一差异值D_t。步骤483，将D_t与某预设阈值进行比对，若D_t大于此预设阈值，令背景更新系数M_t为1；若否，则令其为0，再进行步骤484或485。此二步骤主要在设定二背景更新参数α₁、α₂，并将此二背景更新参数α₁、α₂与背景值B_t、差异值D_t与背景更新值M_t代入下式：

B_t+1＝B_t+[α₁(1-M_t)+α₂M_t]D_t即得到该像素于第t+1时刻的背景值B_t+1。步骤486，输出此背景值B_t+1，以作为下一监测循环运算时此像素的新背景值。当所有监测单元中的所有像素的背景均完成更新后，即完成背景更新的处理循环。由于所欲监测的车道范围可能随天色、天候或灯光的改变而产生光线的变化，原本的空间背景也有可能随固定物的出现不同而改变，这些因素是背景更新的主要目的。因此，背景更新所隐含的意义在于，当读取的各别像素数据与背景同一位置像素数据比对结果显示有车辆出现，则背景以极小的比例更新，或甚至不更新。故第二背景更新参数α₂常定为甚小值或0。若经判别并无车辆出现，其差异值纯粹是因为光线的改变造成背景些微的变化，则本发明的背景更新步骤将可动态地顺应此类变化而保持监测的正确性。

本发明的像素取样内容以各像素的图像强度表示之。若采用单色图像源，其数据格式以灰度表示；若采用多色图像源，则其数据格式以一以上的色频带强度的组合表示。进行像素图像强度比对时，主要在反映图像讯息强度的差异程度，包括亮度或/且色彩等特征。

本发明不同于传统交通监测观点，以单一定点少量感应信号推估车辆数、车种与行驶速率等数据，而采用针对较大车道空间范围的宏观监测观点，针对出现于监测区内的车辆进行图像追踪，并于追踪过程中反覆计算与确认各项交通参数的正确性。除可计数车辆数外，同时可依车辆外观轮廓的真实尺寸直接判别其车种，而非如传统监测器，必须以测得的车辆速率与占有率间接推估其车种。本发明依个别车辆的真实行驶轨迹判别其出现的位置，并可精确计算其行驶速度。监测的方法着重于先以一维图像数据逐像素作判断与背景图像更新，而非如传统作法，完全采用二维图像数据来判断，因此可减少反覆进行非必要运算的时间。

虽然本发明以较佳实施例描述如上，但该描述只是应用本发明的一个范例，并不能用来做为限制条件。任何改造、省略或组合，都将包含于本发明之中，因此本发明的保护范围当以权利要求所界定者为准。

Claims (13)

1.一种移动车辆图像追踪方法，该方法包含下列步骤：

第一步骤：将图像画面上可明视的一车道范围定义为一监测区，计算该监测区内的真实点与该真实点的图像间的一坐标转换关系；

第二步骤：决定该监测区的图像中每一像素的一背景值；

第三步骤：读取该监测区内每一该像素的图像强度值，该图像强度值经数据运算后，可得该监测区中一车辆出现与移动的监测结果；

第四步骤：将该监测结果输出；

第五步骤：动态更新该背景值。

2.如权利要求1所述的方法，其中该第二步骤包括：

时序上连续采集该取样点的多个该图像强度值；

将多个该图像强度值作成一统计次数分布；

设定一第一阈值，将该统计次数分布中多个该图像强度值出现次数小于该第一阈值的数据滤除，其中该统计次数分布的样本总数与该第一阈值的选定，设定为使滤除后的该统计次数分布包含非零的至少一组数值；

将连续非零的该组数值合并视为一数据区块，同一数据区块该组数值累加视为各该数据区块的面积，选取面积最大的该数据区块，其中该数据区块中发生次数最多的该图像强度值即为该取样点的该初始背景值。

3.如权利要求2所述的方法，其中该第五步骤包括：

将该取样点于第t时刻的背景值B_t与该取样点于第t时刻的该图像强度值F_t比对后，得到第一差异值D_t；

设定一第二阈值，将该第一差异值D_t与该第二阈值进行比对；

设定一背景更新系数M_t，若该第一差异值D_t大于该第二阈值，则该像素的该背景更新系数M_t为1，若该第一差异值小于或等于该第二阈值，则该像素的该背景更新系数M_t为0；

设定一第一背景更新参数α₁及一第二背景更新参数α₂，将该背景值B_t、该第一差异值D_t、该背景更新值M_t、该第一背景更新参数α₁、以及该第二背景更新参数α₂代入下式：

B_t+1＝B_t+[α₁(1-M_t)+α₂M_t]D_t

即得到该像素于第t+1时刻的该背景值B_t+1。

4.如权利要求3所述的方法，其中该第二背景更新参数α₂为一极小值。

5.如权利要求3所述的方法，其中该第二背景更新参数α₂为0。

6.如权利要求1所述的方法，其中该第三步骤的该数据运算为一车辆轮廓判别运算，其步骤包含：

将该图像强度值与该像素的该背景值逐一进行比对，并各得到一第二差异值；

设定一第三阈值，若该第二差异值大于该第三阈值，则该像素判定为有车辆占有；

将该图像画面同一扫描线上判定为该车辆占有的相邻各该像素分别连成一触动线段，则每一该触动线段代表该车辆的一部分图像区块；

将相邻的各该扫描线上的各该触动线段所代表该车辆的该部分图像区块重叠组合，其对应于真实平面上所涵盖的最大矩形，即为该车辆的一外观轮廓范围，该外观轮廓范围的角点坐标，即为于真实坐标中该车辆轮廓的角点坐标。

7.如权利要求6所述的方法，其中该车辆轮廓判别运算之后可进一步包含一车辆关联运算，其步骤包含：

读取第t-1时刻与第t时刻各车辆的该外观轮廓范围的角点坐标；

比对第t-1时刻与第t时刻的各该外观轮廓，两时刻中该外观轮廓范围至少部分重合者视为同一车辆的该外观轮廓；

读取同一该车辆的该外观轮廓的一角点坐标差，其中该角点坐标差是该车辆于第t-1时刻与第t时刻间的位移。

8.如权利要求7所述的方法，其中将该角点坐标的差除以第t-1时刻与第t时刻间的一图像采集时距，即得该车辆的一瞬时速度。

9.如权利要求7所述的方法，其中将该车辆的该角点坐标逐一记录，可得到该车辆通过该监测区时的一行驶轨迹，据以判别该车辆行驶的车道。

10.如权利要求9所述的方法，其中该方法可进一步判断该车辆是否变换车道。

11.如权利要求1所述的方法，其中该图像强度值以灰度表示。

12.如权利要求1所述的方法，其中该图像强度值是以一以上的色频带强度的组合表示。

13.一种移动车辆图像追踪系统，该系统包含：

至少一图像采集单元，将图像源转换为数字数据；

至少一存储单元，其与该至少一图像采集单元连结，供储存数据；

至少一数据处理单元，与该至少一存储单元连结，计算一车辆出现与移动的监测结果；以及

至少一数据输入/输出控制单元，与该至少一数据处理单元连结，控制该至少一数据处理单元与一外部终端装置间的数据传输。

Images