CN101710448A - 基于全方位计算机视觉的道路交通状态检测装置 - Google Patents

Abstract

一种基于全方位计算机视觉的道路交通状态检测装置，包括安装在路网上各个道路中的各个测量点的摄像装置、用于根据摄像装置的视频数据进行评价道路交通状态的微处理器，所述的微处理器包括：全景图像获取单元、道路服务能力定制单元、道路服务水平自学习单元、道路服务水平判断单元、检测数据加工单元和人工核实单元。本发明提供一种具有检测范围广、检测精度高、检测实时性好、实施方便、检测结果直观明了，既有主观感受性指标数据又有客观评价性指标数据，且便于城市各级路网在时间、空间上的对道路交通状态进行综合评价的基于全方位计算机视觉的道路交通状态检测装置。

Description

基于全方位计算机视觉的道路交通状态检测装置

技术领域

本发明属于全方位计算机视觉传感器技术、图像识别技术、数据库技术、城市道路数字编码技术和网络通信技术在道路交通状态检测方面的应用，尤其是一种基于全方位计算机视觉的道路交通状态检测装置。

背景技术

当今交通问题已经成为全球性的“城市通病”，而交通拥堵是城市“交通病症”的主要表现。城市交通拥堵的“病因”源于多种因素，且交通拥堵直接影响着人们的出行质量，特别是利用车辆交通的人们。道路车辆拥挤，交通事故频发，交通环境恶化，能源紧张，环境污染不断加重，这些日益严重交通问题与现代化交通的基本的理念，即通达、有序、安全、舒适、低能耗、低污染等要求是完全相违背的。

现代化交通系统的评价标准是安全、畅通、节能。因此把握城市道路交通运行状况中服务水平如何，需要建立起一种科学的、客观的评价方法。但是由于目前缺少一种比较科学的对道路交通服务水平进行评价的体系和有效的道路交通状态检测手段，因而使得市民在出行前对城市道路交通的时空变化状况难以准确的了解和把握；相关市政建设部门对道路基础设施投入和采取的交通管理措施的预期效果难以准确的评价；城市管理者对城市自身历史发展的比较以及与其它城市间横向比较缺乏评判的标准；道路规划部门对城市道路交通发展趋势及需采取的措施进行定量科学分析缺少必要的手段。

上世纪90年代以来，不少中大城市开展了智能交通系统的建设，特别是智能交通管理系统的建设。智能交通管理系统应用现代计算机、通信、信息、检测、控制等技术，对城市交通管理实施高效控制管理，有效地提高了交通管理的科技水平，同时也部分缓解了道路交通压力，对严格执法起到了至关重要的推动作用。为此不少学者进行了关于智能交通的学术研究，并取得了一定的成效。中国发明专利申请号为200810090474.4公开了交通状况判定系统，该系统提供一种交通状况判定系统，利用GPS来确定的车辆的行驶轨迹对应的道路的拥堵状况，在进行拥堵状况的正确的判定的同时，可以减少车辆和信息中心之间的通信所涉及的通信次数和通信数据量，可以实现通信处理负担的减轻和通信费用的低额化。这种道路交通状态检测手段存在着一定缺陷，通过车辆运行情况来推断道路交通状态存在着片面性、局部性和主观性等问题；中国发明专利申请号为200510026478.2公开了一种可用于地面道路网交通状况测定的方法和系统，该系统对城市道路采用交叉口、城市干道、城市干道网三层进行逐层测定，针对城市干道，提出“等效通行能力”概念和确定方法；采用“密度比”指标，根据本发明给出的服务水平标值曲线计算干道的服务水平标值，进行测定；基于干道测定结果采用“加权密度比”指标对干道网服务水平进行测定；根据测定结果进行拥挤区域、拥挤干道和拥挤交叉口逐层识别。这种交通状况测定的方法尚未涉及到最核心的道路交通状态数据获取问题。中国发明专利申请号为200810132938.3公开了一种智能交通信息系统及其处理方法，包括一GPS模块，用于提供全球定位信息；一与GPS模块进行通信的移动终端，其与无线通信网络相连接；一智能交通信息服务器，其与无线通信网络相连接并根据移动终端请求而提供实时交通信息。这种智能交通信息系统及其处理方法也未涉及到最核心的道路交通状态数据获取问题。中国发明专利申请号为200810034716.8公开了道路交通状态判断方法及系统，该系统以多个交通参数作为判断依据，同时针对不同路段建立函数关系，给定权重，提高了交通状态判断的准确性。该方法包括：(1)选取多个交通参数；(2)通过对该路段交通参数的采样分析，设定该路段的上述多个交通参数与其所对应的拥挤度系数之间的函数关系并设定该多个交通参数于该路段拥挤程度判断中所占的权重值；(3)于每一状态判断周期末，实时采集该路段的上述多个交通参数并根据所设定的函数，计算各个交通参数所对应的拥挤度系数；(4)将各个交通参数的权重值与其所对应的拥挤度系数做加权平均运算，得到平均拥挤度系数；(5)比较平均拥挤度系数与拥挤度系数阈值，从而判断道路交通状态。这种判断方式需要有多个交通参数支持，运算量大，同时要在城市所有主要道路上获取这些交通参数也是一件容易之事，需要很大的投入和维护。

智能交通系统可以带来的可观的经济效益和社会效益这已经是不需争议的事实。嵌入式计算、无线通信和传感器技术的迅速发展和结合，使人们能几乎是无所不在地采集、传输和存储道路视音频数据。如果对这些海量的视频数据能得到及时和准确的分析和理解，就能实时获取交通基本数据，对交通拥堵和交通事故进行预测，在智能交通领域发挥重要作用。最近几年各级政府对道路上的视频监控投入非常之大，但是目前对各种交通事件和异常情况的视频监控主要还是依靠人工判断，使得这些数据难以得到充分的利用。

视频智能交通系统则是一种非接触式的交通流检测系统，它模拟人类视觉原理，融合计算机技术和图像处理技术，通过视频信号来检测交通流，是近年来逐步发展起来的新型车辆检测系统。

实时、准确的交通流信息采集可以使智能交通系统及时获得交通状况信息，对交通状况进行有效管理，并发出诱导信息，从而自动调节车流，减少车辆在道路顺畅时在红灯前停留的时间，安排疏导交通、肇事报故等。预测未来的交通量和道路交通状况，为制定交通规划、道路网规划提供依据。智能交通管理在交通控制、交通管理决策等诸多方面都要实现由定性分析到定量研究，这种质的飞跃所依据的交通信息就包括了交通流采集的动态信息。此外，通过对交通数据和交通状况信息的分析，可以广泛开展城市交通的理论研究，进行各种工程设施、管理设施实施情况的前后对比，判断交通措施的效果等。总之，提高采集的交通流数据的准确性和实时性，对城市交通管理和城市道路建设都十分重要，对构建以人为本的、节能的和谐社会有着非常积极的意义。

一种优秀的道路交通状态检测装置的设计方案必须遵循6个原则：1)可靠性；2)可信性；3)可量化；4)具有可比较性；5)便于识别；6)便于实施操作。一种优秀的基于道路交通状态检测装置的评价系统，其评价的具体对象需要能在确定的时间内、空间内的分析和比较城市道路交通服务水平，评价的时间区域需要按时间顺序可确定为年、季、月、周、日和每日的不同时段；按交通流分布状态需要确定为高峰日、平峰日、工作日、节假日等；按交通运行特点需要确定为日常交通时段、重大活动时段、恶劣天气、突发事件时段等。评价的空间区域需要确定为城市道路路网、快速路网、主干路网、某个区域道路、某条道路等。

要实现检测精度高、检测实时性好、检测结果直观明了的关键是要通过直接的、简单明了的、计算简单的、可视化的道路交通检测手段直接得到某条道路交通是否处于以下6种状态信息，即道路交通状态处在服务水平A：畅通；服务水平B：基本畅通；服务水平C：初步拥堵；服务水平D：拥堵：服务水平E：严重拥堵；服务水平F：局部道路和大面积瘫痪。

服务水平A：交通量很小，车流为自由流，驾驶员可以不受或基本不受交通流中其他车辆的影响。

服务水平B：交通量较服务水平A有所增加，车流处于稳定流的较好部分。在交通流中，开始易受其他车辆的影响，选择速度的自由度相对来说还不受影响，驾驶自由度比服务水平A稍有下降。

服务水平C：交通量大于服务水平B，车流处在稳定流范围的中间部分，但车辆间的相互影响变大。

服务水平D：交通量进一步增大，车流处于稳定交通流的交叉部分。速度和驾驶自由度受到严格约束，舒适和便利程度低下。当接近这一服务水平下限时，交通量的少量增加就会导致运行出现问题。

服务水平E：车流常处于不稳定状态，接近或达到最大交通量时，如果交通量有小的增加，或交通流内部有小的扰动就将产生大的运行问题，甚至发生交通中断。该水平内所有车速降到一个较低的但相对均匀的值，驾驶自由度极低，舒适和便利程度也非常低，驾驶员受到很大的抑制。该服务水平下限时的最大交通量即为基本通行能力(对理想条件而言)或可能通行能力(对实际道路而言)。

服务水平F：车流处于强制流状态，车辆经常排队，跟着前面的车辆停停走走，极不稳定。在该服务水平中，交通量与速度同时由大变小，直到为零为止，而交通密度则随交通量的减少而增大。

在评价道路交通服务水平评价体系中，最核心的两个问题是道路的车流量和平均车速的检测，因此最理想的检测手段是能同时直接实时地测量到道路上的车流量和平均车速。

目前商用的获取道路交通实时数据手段上主要有以下三种方式：1)环型线圈感应式检测设备，对道路交通流量、流向、车速、车道占有率以及车长、排队长度等数据进行检测；这种检测手段需要将环型线圈埋置在路面上，使用寿命在1年半左右，维护和安装时需要破坏路面，属于接触性测量；2)远程交通微波检测器(RTMS)，收集各车道的车流量、道路占有率和平均速度等数据；这种检测装置成本高；3)基于车牌识别检测器和排队长度检测器，通过安装在交叉口延伸路段的停车线处的车牌识别检测器和排队长度检测器，利用排队长度检测器获得排队长度L；利用车牌识别检测器获得车辆经过检测器时的时刻t和经过检测器的车辆数N；具备牌照识别的视频检测系统，通过识别车辆的身份来检测出机动车在某道路上的旅行时间和行程车速，这种作为道路交通状态检测手段在局限性和实时性方面存在着一些问题。这些检测手段属于客观性检测，在道路交通调查方面具有重要意义。但是这种检测手段的共性问题是通过测量道路上的每辆车辆的运行情况然后经统计来间接获得车流量和平均车速，在实施操作方面存在着某些缺陷，特别是针对道路服务水平在实时性、实施维护成本、计算压力以及感受性指标等评价指标方面存在着不足。

我国的城市交通将在很长一段时间内处于混合交通状态。在混合交通条件下服务水平指标数据具有以下特点：(1)数据采集对象的多样性：既需要采集路段交通数据又需要采集交叉口内部交通数据，同时在一次观测中往往需要同时观测交通个体的多种行为及其参数；(2)数据的时空跨越性强：为了得到不同交通条件下不同服务水平等级的指标数据，检测需要采集在一定时间与空间跨度上的数据，而且需要是在线数据。针对以上需求，上面所提及的三种商业化交通流自动检测设备无法实现这种需求。

实现实施方便的关键是要采用不破坏路面或者不涉及路面施工的一种道路友好型的、非接触式的道路交通状态检测手段，同时尽可能利用现有的设备和投资；道路的服务状态是道路状况、运行状况、交通设施状况和交通安全状况等多种因素的综合体现，虽然通过检测这些诸多状态数据通过统计等计算是可以得到道路的服务水平状态信息的，但是最好是能直接明了、简单方便、经济实时地获得道路的服务状态信息。

发明内容

为了克服已有的道路交通状态检测装置的检测的局限性大、数据采集对象的多样性差、数据时空跨越性弱、实施投资和维护成本高、接触性的检测手段对道路和车辆不友好、难以从宏观、中观、微观三个角度、从人的主观感受实时评价道路交通服务水平状态等不足，本发明提供一种具有检测范围广、检测精度高、检测实时性好、实施方便、检测结果直观明了，即有主观感受性指标数据又有客观评价性指标数据，且便于城市各级路网在时间、空间上的对道路交通状态进行综合评价的基于全方位计算机视觉的道路交通状态检测装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的道路交通状态检测装置，包括安装在路网上各个道路上的各个测量点的摄像装置、用于根据摄像装置的视频数据进行评价道路交通状态的微处理器，摄像装置通过视频接口与所述的微处理器连接，其特征在于：所述的微处理器包括：

全景图像获取单元，用于获取初始化信息和视频图像，包括系统初始化模块和图像获取模块；

系统初始化模块，用于将数据指标信息、定制数据和检测点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

图像获取模块，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

道路服务能力定制单元，用于采用道路行驶方向定制模块定义道路上车辆的运行方向和定义道路的拥塞密度，包括道路行驶方向定制模块和道路拥塞密度定制模块；定制道路区域路段后的道路决定该路段上某一行驶方向所能承载的最大车辆数，定制后的数据存放在定制数据存放单元，以便系统初始化模块中调用；

道路行驶方向定制模块，用于根据道路上规定车辆的运行方向定义道路运行方向区域，即定值出与车道平行的线，对于有多条车道的道路要定制出若干条平行线，如果平行车道有X条的话就要定制X+1条平行线，对在该定制车道上出现与所规定运行方向不一致的光流速度不作为统计对象；

道路拥塞密度定制模块，用于根据拥塞密度反映道路能承载的最大车辆数，根据车辆的大小和一定车间距将道路划分为若干块区域M，即定义出若干条等距的与车道垂直的线，在车道上就定制了若干个区域，车辆的长度以一般轿车作为计算值，车间距以发生拥挤状态下车辆与车辆之间的平均距离作为计算值；

道路服务水平自学习单元，用于自动获取检测道路的设计限速DS_A和道路的设计流量DF，包括车辆平均速度检测模块、车辆速度变化量计算模块、道路的拥塞密度检测模块和道路上车辆流量检测模块，根据实际道路的视频数据并通过运行上述模块的运算得到道路的设计限速DS_A和道路的设计流量DF，道路的设计限速DS_A和道路的设计流量DF存放在数据指标存放单元内，以便道路服务水平判断单元的计算过程中调用；

车辆平均速度检测模块，用于根据通过道路上所有车辆的特征点的光流速度平均值来计算得到道路行驶车辆的平均值，计算公式如式(5)所示；

$d^{\′}=\frac{{\mathrm{\Σ}}_{N}d}{N}$ (5)

式中：∑_Nd为前N帧所有车辆的特征点的光流速度平均值的统计和，N表示所统计的帧数，d表示在前N帧的某一帧内所有车辆的特征点的光流速度平均值，d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，N的取值范围为5～8；

车辆速度变化量计算模块，用于将光流方差作为车辆运行速度变化量的计算方法，计算公式如式(6)所述；

$\mathrm{cov}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(1-d_i/d^{\′})}^2}{N-1}\×100---\left(6\right)$

式中：d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，d_i表示在前N帧中第i帧的所有车辆的特征点的光流速度统计平均值，cov表示光流方差，N的取值范围为5～8，与公式(5)内的取值相同；

道路的拥塞密度检测模块，用于检测道路的拥塞密度，通过检测在所述的道路的拥塞密度定制模块中定制的区域是否有车辆，然后统计有多少区域内有车辆得到统计值H，将其定义为等效密度，其值反映此时路面上的车辆数；道路能承载的最大车辆数的区域块数M值，将其定义为拥塞密度，拥塞密度的反映道路可以承载的最大车辆数；等效密度H与拥塞密度M的比，对某一段路而言，这两个值的比值比较直观的反映此时交通流的饱和程度，用公式(7)计算拥塞密度比；

ρ＝H/M    (7)

式中：ρ为道路的拥塞密度比，M为拥塞密度，即为道路能承载的最大车辆数的区域块数M值；H为等效密度，即为在定制的区域内有车辆的区域块数，ρ的值的大小能反映拥塞情况，等于1时表明已经达到了道路能最大承载的最大车辆数；

检测在所述的道路的拥塞密度定制模块中定制的区域内类似于车辆的特征点数是否超过了阈值L，且类似于车辆的特征点的光流方向必须与所定制的道路运行方向一致；

道路车辆流量检测模块，用于实时检测道路的车流量；通过在所述的道路上车辆平均速度检测模块中计算所得到的在前N帧的所有车辆的特征点的光流速度统计平均值d′以及在所述的道路的拥塞密度检测模块中计算所得到的有多少区域内有车辆得到统计值H，然后通过这两个值和每帧所花费的时间来计算得到道路车辆流量，计算公式如式(8)所示；

F＝ρ×d′×X    (8)

式中：ρ为道路的拥塞密度比，d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，X为在所述的道路行驶方向定制模块中所定制的同一方向运行的车道数；

道路服务水平等级的判断单元，包括道路车辆平均速度检测模块、车辆速度变化量计算模块、道路的拥塞密度检测模块、道路车辆流量检测模块和道路服务水平判定模块，用于实时计算和判断某道路中的某路段在某时刻的道路服务水平；从所述的道路车辆平均速度检测模块、车辆速度变化量计算模块、所述的道路的拥塞密度检测模块和所述的道路车辆流量检测模块所得到的道路服务水平等级4种指数来综合判定目前道路的服务水平等级；

道路服务水平判定模块，用于判定当前道路的服务水平，根据表1中的判定条件来判定道路服务水平，将道路服务水平等级分为A、B、C、D、E、F等6个等级；道路的服务水平等级综合判断表如表1所示；

服务水平等级	道路车辆平均速度d′	车辆速度变化量cov(％)	道路的拥塞密度比ρ(％)	道路车辆流量F
					A	道路设计速度(d′≥Max-S％×DSA)	cov≤cov-10	ρ≤ρ-min	F＜Min-F％DF
B	d′≥Max-S％DSA	Min-cov＜cov≤cov-25	ρ-min＜ρ≤ρ-65	Min-F％DF≤F＜Max-F％
									DF
C	d′≥Max-S％DSA	cov-15＜cov≤cov-45	ρ-45＜ρ≤ρ-85	F≥Max-F％DF
					D	Max-S％DSA＞d′≥Mid-S％DSA	cov-35＜cov≤cov-55	ρ-75＜ρ≤ρ-95	F≥Max-F％DF
E	Max-S％DSA＞d′≥Low-S％DSA	cov-45＜cov≤cov-75	ρ-85＜ρ≤ρ-99	Min-F％DF≤F＜Max-F％DF
					F	Mid-S％DSA＞d′≥Min-S％DSA	cov-70＜cov≤Max-cov	ρ-95＜ρ≤ρ-max	F＜Min-F％DF

表1

表1中的DS_A和DF的数据指标大小是在所述的道路服务水平自学习单元中学习得到的，道路车辆平均速度d′是利用公式(5)计算得到的，车辆速度变化量cov是利用公式(6)计算得到的，道路的拥塞密度比ρ是利用公式(7)计算得到的，道路车辆流量F是利用公式(8)计算得到的，Max-S初定为95，Mid-S初定为75，Low-S初定为35，Min-S初定为1，Max-F初定为85，Min-F初定为20，Max-cov初定为99，cov-75初定为75，cov-70初定为70，cov-55初定为55，cov-45初定为45，cov-35初定为35，cov-25初定为25，cov-15初定为15，cov-10初定为10，Min-cov初定为5，ρ-min初定为20，ρ-45初定为45，ρ-65初定为65，ρ-75初定为75，ρ-85初定为85，ρ-95初定为95，ρ-99初定为99，ρ-max初定为100。

本发明的技术构思为：因此，研制一种新型的交通检测器、充分利用交通检测器的实时数据，并基于这些数据，也即数据驱动，对交通状态进行评价和控制，为出行者提供路况信息具有重要的理论意义和实际应用价值。

道路服务水平问题在许多情况下，表现为一种模糊主观判断现象。这种模糊主观判断现象很难用精确的数学方法来处理。比如“拥挤”就是一种很复杂的模糊主观判断现象，不可能用精确的公式和数字表述它；驾驶员在观察和判断某一条道路交通服务水平时，可以一眼就能得出该道路交通状态情况的判断结果；即直接通过观察该道路上的车流量和平均车速，并不是通过精确地对经过道路的车辆数目计数和测量某一辆车的速度，然后经过计算得到该道路交通服务水平。这是因为道路交通服务水平的评价指标本身就是模糊的，同时这些模糊主观判断足以满足了对交通状态进行评价和控制、为出行者提供实时路况信息的需求，在某种程度上道路服务水平属于主观感受性评价指标。

计算机视觉能赋予计算机类似于人在观察和判断能力。基于计算机视觉的道路状态检测装置，利用安置在道路上的摄像装置(目前二级城市以上的道路已安装了大量摄像装置)，以更为先进的计算机视频识别技术，通过道路实时视频图像的分析，直接实时地获得道路交通状态信息，用非接触式测量代替接触式测量，可提高监控质量和数据精确度，通过相应的算法可同时提供主观感受性信息和客观检测数据，同时运行维护方便，为其他监测业务提供了直观的视频资源。

分析道路交通运行状况应从宏观、中观、微观三个角度选取相应的评价指标来进行。宏观角度是对城市整个路网交通运行指标进行分析评价；中观角度是按照城市道路等级、行政区域、通道、环路出入口等方面，对道路网交通进行分析评价；微观角度是对某条道路、某个交叉口的交通运行进行分析评价。如何从宏观、中观、微观三个角度来进行城市道路交通状态的分析与评价，需要同时获取城市道路中的点、线、面、区域等空间信息和时间信息，且该空间信息能便于在城市各级路网中直接参与运算的，即由道路上点的交通运行状态可以计算得到道路上线的交通运行状态，从道路上线的交通运行状态可以计算得到面上的交通运行状态，从面上的交通运行状态可以计算得到某区域内的整个路网交通运行状态。

因此，如何使得道路交通状态检测装置具有检测范围广、检测精度高、检测实时性好、实施方便、检测结果直观明了，且便于城市各级路网在时间、空间上的对道路交通状态进行综合评价等特点将作为道路交通状态检测装置重要评价指标。

要实现检测范围广的关键是如何利用计算机视觉的道路交通状态检测方式；这种全新的非察觉的状况下实现对道路进行监测，获取实时交通参数的功能，一方面可以尽大可能地获取大面积道路交通情况信息，另一方面也可以减轻构造道路监测系统的成本。利用全方位视觉传感器来监测道路，可以获得人眼所不具备的全方位视觉，从而更全面地采集动态交通流信息；利用动态图像理解技术来处理道路信息，可以实时获取道路交通流信息，从而更自动地采集动态交通信息。

为了使计算机能够识别存储在动态存储单元中的图像内的运动对象，即车辆，本发明采用运动对象检测算法来用确认表征图像中的车辆对象的直线，曲线和点等基本几何信息。目前常用的运动对象检测算法有光流法，帧间差分法，运动能量法和背景减法。表征运动车辆的特征点的运动向量是通过对特征点进行光流计算得到，表征道路交通状态的信息是可以通过统计运动车辆的特征点的运动向量来获得；因此本发明中采用光流法，所谓的光流法是根据连续图像序列计算各像素运动的大小和方向，能反映图像中每一像素点灰度的变化趋势。光流法的优点是在不能预先获取场景的任何信息的情况下也能够检测出独立运动的对象。如果规定了运动对象的方向后，能有效排除其他运动对象所产生的干扰，这点在城市人车混合交通状态下尤为重要。但是当前多数光流法计算复杂度高，需要有特殊的硬件支持，否则很难满足实时性的要求。目前光流计算主要有特征匹配法、微分法、基于相位的方法、基于能量的方法和基于小波的方法；

为了提高视频检测的实时性，本发明中采用了一种基于金字塔模型的Lucas-Kanade光流稀疏迭代法来计算道路上运动车辆的速度和运行方向；特征点跟踪，即稀疏光流相对于全局光流，这种算法计算量小，能够满足实时性的要求，这种算法可以为特征点跟踪提供足够的精确度，关于算法见参考文献Bouguet JY.Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of thealgorithm[OL].http://git.tonic-water.com/mirror/opencv/opencvlibrary/tags/FRAMEWORK/opencv/doc/papers/algo_tracking.pdf，2009.和Shi J，Tornasi C.Good features totrack[OL].http://techreports.library.cornell.edu:8081/Dienst/UI/1.0/Display/cul.cs/TR93-1399，2009.

所述的基于金字塔模型的Lucas-Kanade光流稀疏迭代法，以下称金字塔表示法，假设图像I的大小为nx×ny。定义I0＝I表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为n_x ⁰何n_y ⁰( $n_x^0=n_x,$ $n_y^0=n_y$ )。然后用一种递归的方式来描述金字塔表示法：通过IL-1来计算IL(L＝1，2，…)。IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像。假设图像IL-1的宽和高为n_x ^L-1和n_y ^L-1，那么图像IL可以表示为

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+$

$\frac{1}{8}(I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+\mathrm{1,2}y)+I^{L-1}(2x,2y-1)+I^{L-1}(2x,2y+1))+---\left(1\right)$

$\frac{1}{16}(I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x+\mathrm{1,2}y+1)+I^{L-1}(2x-\mathrm{1,2}y+1),I^{L-1}(2x+\mathrm{1,2}y-1))$ 为了简化公式，将图像 $\mathrm{IL}-1(0\≤x\≤n_x^{L-1}-\mathrm{1,0}\≤y\≤n_y^{L-1}-1)$ 的边界点的值定义如下，

$I^{L-1}(-1,y)\stackrel{.}{=}{I}^{L-1}(0,y)$

$I^{L-1}(x,-1)\stackrel{.}{=}{I}^{L-1}(x,0)$

$I^{L-1}(n_x^{L-1},y)\stackrel{.}{=}{I}^{L-1}(n_x^{L-1}-1,y)$

$I^{L-1}(x,n_y^{L-1})\stackrel{.}{=}{I}^{L-1}(y,n_y^{L-1}-1)$

$I^{L-1}(n_x^{L-1},n_y^{L-1})\stackrel{.}{=}{I}^{L-1}(n_x^{L-1}-1,n_y^{L-1}-1)$

公式(1)中定义的点必须满足条件 $0\≤2x\≤n_x^{L-1}-\mathrm{1,0}\≤2y\≤n_y^{L-1}-1.$ 因此图像IL的宽n_x ^L和高n_y ^L需要满足公式(2)；

$n_x^L\≤\frac{n_x^{L-1}+1}{2}$

$n_y^L\≤\frac{n_y^{L-1}+1}{2}$

(2)

通过公式(1)和(2)可以构建图像I的金字塔模型{IL}L＝0，…，Lm。Lm为金字塔模型的高度，Lm一般取2，3或4。对于一般的图像Lm大于4就没有意义了。以640×480大小的图像为例，其金字塔模型的第1，2，3，4层图像大小分别为320×240，160×120，80×60，40×30。

在基于金字塔模型的LK光流计算法中，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层从而计算得到该特征点的光流。

光流法实现的思路是：前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d。

v＝u+d＝[u_x+d_x u_y+d_y]^T    (3)

式中：u为图像I的某个像素点，v为图像J中的该像素的匹配点，d为同一特征点像素的偏移向量。

具体实现步骤是：

步骤1：建立图像I和J的金字塔模型{IL}L＝0，…，Lm和{JL}L＝0，…，Lm；

步骤2：计算像素点u在图像I各金字塔层中位置u^L＝u/2^L，L＝0，…，Lm；

步骤3：通过一个搜索窗口在图像J的金字塔模型最高层图像I^Lm中计算u^Lm的匹配点v^Lm，并计算偏移向量d^Lm。假设已经知道金字塔模型第L+1层的偏移向量d^L+1。那么将2×d^L+1作为第L层的初始值，用在附近搜索第L层的匹配点v^L。进而得到第L层的偏移向量d^L；

步骤4：由于每次迭代都是以上一层的值作为初始值进行计算，而不是直接将上一层的值当做下一层的结果来使用，因此基于金字塔模型的光流法不仅提高了算法的效率，而且由于在下一层计算以后消除了上一层结果的误差，因此该算法在每一层得到的结果的误差都是最小的；

步骤5：经过迭代计算每一层的偏移向量d^L(L＝0，…，Lm)后，该像素点的最终光流为

$d=\underset{L=0}{\overset{L_m}{\mathrm{\Σ}}}{2}^L{d}^L---\left(4\right)$

式中：d^L是第L层的偏移向量，d为特征点像素的偏移向量；最后通过两帧图像I和J，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，找出它的偏移向量d；

本发明的有益效果主要表现在：1、能够实时收集整个道路的大范围视频信息，具有检测范围广，能对在200米直径以内进行道路交通状态检测；2、安装维护无干扰，由于视频检测器往往是安装在道路上，因此安装及维护不会影响道路的通行，也不需要开挖、破坏路面；3、即有主观感受性指标数据又有客观评价性指标数据；4、维护方便低耗，传统的感应线圈检测器在损坏时，需要开挖路面进行维护，而视频检测设备发生问题时，可直接摘除或修理设备，减少了维护费用；5、检测参数丰富，不但能检测这是一般的感应线圈检测器无法比拟的；6、便于城市各级路网在时间、空间上的对道路交通状态进行综合评价；7、检测可靠性、准确度高，具有自学习和智能功能；8、统计计算方便，算法实现简单，通过网络能够与先进的交通控制系统等动态智能交通模块衔接，实现更多的功能。

附图说明

图1为基于计算机视觉的道路交通状态检测装置的检测示意图；

图2无死角的全方位视觉传感器的结构示意图；

图3为全方位视觉传感器所拍摄的视频图像示意图；

图4为摄像部件镜头与广角镜头进行组合的光学原理图；

图5为按二次折反射原理以及水平方向平均分辨率来设计的ODVS说明图；

图6为按水平方向平均分辨率来设计的成像平面投影原理图；

图7为利用4阶Runge-Kutta算法求F1和F2的数字解的折反射镜面曲线图；

图8为基于全方位计算机视觉的道路交通状态检测装置的软件系统示意图；

图9为基于全方位计算机视觉的道路交通状态检测装置的检测示意图；

图10为将空间位置信息、时间信息和道路服务水平等级加工成37个字符的组成示意图；

图11为将空间位置信息、时间信息和道路服务水平等级用三维空间坐标表示示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1、8、10、11，一种基于全方位计算机视觉的道路交通状态检测装置，包括安装在路网上各个道路中的各个测量点的摄像装置、用于根据摄像装置的视频数据进行评价道路交通状态的微处理器，如附图1所示；所述的微处理器包括：全景图像获取单元、道路服务能力定制单元、道路服务水平自学习单元、道路服务水平判断单元、检测数据加工单元和人工核实单元，如附图8所示；

所述的全景图像获取单元中包括系统初始化模块和图像获取模块；

所述的系统初始化模块，用于将一些数据指标信息、定制数据和检测点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

所述的图像获取模块，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

所述的道路服务能力定制单元，采用道路行驶方向定制模块定义道路上车辆的运行方向和定义道路的拥塞密度，包括道路行驶方向定制模块和道路拥塞密度定制模块；采用所述的道路拥塞密度定制模块定义道路的拥塞密度，在定制了道路区域路段后的道路决定了该路段上某一行驶方向所能承载的最大车辆数；定制后的数据存放在定制数据存放单元内，以便系统初始化模块中调用；

所述的道路行驶方向定制模块，是根据道路上规定车辆的运行方向定义道路运行方向区域，即定值出与车道平行的线，对于有多条车道的道路要定制出若干条平行线，如果平行车道有X条的话就要定制X+1条平行线；对在该定制车道上出现与所规定运行方向不一致的光流速度不作为统计对象，这主要从我国城市道路中人车混杂现象出发，主要考虑道路上的车辆运行状态排除道路上其他运动物体对检测统计值的干扰；

所述的道路拥塞密度定制模块，拥塞密度客观的反映道路能承载的最大车辆数；为了要定制出在拥塞情况下车辆对道路占有区域，根据车辆的大小和一定车间距将道路划分为若干块区域M，即定义出若干条等距的与车道垂直的线，这样在车道上就定制了若干个区域，车辆的长度以一般轿车作为计算值，车间距以发生拥挤状态下车辆与车辆之间的平均距离作为计算值；

所述的道路服务水平自学习单元，用于自动获取检测道路的设计限速DS_A和道路的设计流量DF这两个设计参数，包括车辆平均速度检测模块、车辆速度变化量计算模块、道路的拥塞密度检测模块和道路上车辆流量检测模块，根据实际道路的视频数据并通过运行上述模块的运算得到道路的设计限速DS_A和道路的设计流量DF这两个重要数据指标，在学习周期结束后将学习结果，即道路的设计限速DS_A和道路的设计流量DF存放在数据指标存放单元内，以便道路服务水平判断单元的计算过程中调用；

所述的车辆平均速度检测模块，是根据通过道路上所有车辆的特征点的光流速度平均值来计算得到道路行驶车辆的平均值，计算公式如式(5)所示；

$d^{\′}=\frac{{\mathrm{\Σ}}_{N}d}{N}---\left(5\right)$

式中：∑_Nd为前N帧所有车辆的特征点的光流速度平均值的统计和，N表示所统计的帧数，d表示在前N帧的某一帧内所有车辆的特征点的光流速度平均值，d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，N的取值范围为5～8；

所述的车辆速度变化量计算模块，是依据车辆在稳定行驶时的速度一般都是等速的，只有在出现拥堵情况时才会出现时走时停的现象，表现为速度变化率大；拥堵情况严重可以描述为长时间车辆不行走；拥堵情况比较严重可以描述为车辆行走速度变化率大，因此速度变化量也是一个道路服务水平判断指标，本发明中将光流方差作为车辆运行速度变化量的计算方法，计算公式如式(6)所述；

$\mathrm{cov}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(1-d_i/d^{\′})}^2}{N-1}\×100---\left(6\right)$

式中：d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，d_i表示在前N帧中第i帧的所有车辆的特征点的光流速度统计平均值，cov表示光流方差，N的取值范围为5～8，与公式(5)内的取值相同；

所述的道路的拥塞密度检测模块，用于检测道路的拥塞密度；本发明中通过检测在所述的道路的拥塞密度定制模块中定制的区域是否有车辆，然后统计有多少区域内有车辆得到统计值H，本发明中将其定义为等效密度，其值可以客观的反映此时路面上的车辆数；道路能承载的最大车辆数的区域块数M值，本发明中将其定义为拥塞密度，拥塞密度可以客观的反映道路可以承载的最大车辆数；等效密度H与拥塞密度M的比，对某一段路而言，这两个值的比值比较直观的反映此时交通流的饱和程度，用公式(7)计算拥塞密度比；

ρ＝H/M    (7)

式中：ρ为道路的拥塞密度比，M为拥塞密度，即为道路能承载的最大车辆数的区域块数M值；H为等效密度，即为在定制的区域内有车辆的区域块数，ρ的值的大小能反映拥塞情况，等于1时表明已经达到了道路能最大承载的最大车辆数；由于拥塞密度是道路通行能力和交通管理控制的综合反映，因此密度比反映的是道路的服务能力；

检测在所述的道路的拥塞密度定制模块中定制的区域是否有车辆的检测算法是检测在该区域内类似于车辆的特征点数是否超过了阈值L，且类似于车辆的特征点的光流方向必须与所定制的道路运行方向一致；在本发明中将阈值L取值为5；

所述的道路车辆流量检测模块，用于实时检测道路的车流量；具体实现方法是通过在所述的道路上车辆平均速度检测模块中计算所得到的在前N帧的所有车辆的特征点的光流速度统计平均值d′以及在所述的道路的拥塞密度检测模块中计算所得到的有多少区域内有车辆得到统计值H，然后通过这两个值和每帧所花费的时间来计算得到道路车辆流量，计算公式如式(8)所示；

F＝ρ×d′×X    (8)

式中：ρ为道路的拥塞密度比，d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，X为在所述的道路行驶方向定制模块中所定制的同一方向运行的车道数；

进一步，在道路服务水平自学习单元中，所学习的内容主要包括：道路的设计限速DS_A和道路的设计流量DF；在基于全方位计算机视觉的道路交通状态检测装置投入使用前，首先运行道路服务水平自学习单元，不断用公式(5)计算道路上车辆平均速度，不断用计算值d′的最大值来更新DS_A：不断用公式(8)计算道路车辆流量，不断用计算值F的最大值来更新DF；这样学习的最终结果是DS_A反映道路的设计限速，而DF反映道路的设计流量；为了防止将违章超速的车辆速度学习到DS_A中，在实际更新DS_A前需要加一个判断，即判断计算公式(5)时，检测是否是在2辆车辆以上，如果满足有2辆车辆以上条件的话进行更新，否则不更新；

所述的道路服务水平等级的判断单元，包括所述的道路车辆平均速度检测模块、所述的车辆速度变化量计算模块、所述的道路的拥塞密度检测模块、所述的道路车辆流量检测模块和道路服务水平判定模块，用于实时计算和判断某道路中的某路段在某时刻的道路服务水平；从所述的道路车辆平均速度检测模块、车辆速度变化量计算模块、所述的道路的拥塞密度检测模块和所述的道路车辆流量检测模块所得到的道路服务水平等级4种指数来综合判定目前道路的服务水平等级，道路的服务水平等级综合判断表如表1所示；

表1道路的服务水平等级综合判断表

服务水平等级	道路车辆平均速度d′	车辆速度变化量cov(％)	道路的拥塞密度比ρ(％)	道路车辆流量F
					A	道路设计速度(d′≥Max-S％×DSA)	cov≤cov-10	ρ≤ρ-min	F＜Min-F％DF
B	d′≥Max-S％DSA	Min-cov＜cov≤cov-25	ρ-min＜ρ≤ρ-65	Min-F％DF
									≤F＜Max-F％DF
C	d′≥Max-S％DSA	cov-15＜cov≤cov-45	ρ-45＜ρ≤ρ-85	F≥Max-F％DF
					D	Max-S％DSA＞d′≥Mid-S％DSA	cov-35＜cov≤cov-55	ρ-75＜ρ≤ρ-95	F≥Max-F％DF
E	Max-S％DSA＞d′≥Low-S％DSA	cov-45＜cov≤cov-75	ρ-85＜ρ≤ρ-99	Min-F％DF≤F＜Max-F％DF
					F	Mid-S％DSA＞d′≥Min-S％DSA	cov-70＜cov≤Max-cov	ρ-95＜ρ≤ρ-max	F＜Min-F％DF

表1中的DS_A和DF的数据指标大小是在所述的道路服务水平自学习单元中学习得到的，道路车辆平均速度d′是利用公式(5)计算得到的，车辆速度变化量cov是利用公式(6)计算得到的，道路的拥塞密度比ρ是利用公式(7)计算得到的，道路车辆流量F是利用公式(8)计算得到的，Max-S初定为95，Mid-S初定为75，Low-S初定为35，Min-S初定为1，Max-F初定为85，Min-F初定为20，Max-cov初定为99，cov-75初定为75，cov-70初定为70，cov-55初定为55，cov-45初定为45，cov-35初定为35，cov-25初定为25，cov-15初定为15，cov-10初定为10，Min-cov初定为5，ρ-min初定为20，ρ-45初定为45，ρ-65初定为65，ρ-75初定为75，ρ-85初定为85，ρ-95初定为95，ρ-99初定为99，ρ-max初定为100；

所述道路服务水平判定模块，用于判定当前道路的服务水平；实现算法是根据表1中的判定条件来判定道路服务水平，在本发明中将道路服务水平等级分为A、B、C、D、E、F等6个等级，算法步骤如下：

步骤1：计算道路车辆平均速度d′、车辆速度变化量cov，道路的拥塞密度ρ和道路车辆流量F；

步骤2：根据道路车辆流量F进行粗划分，根据表1的判定指标首先判定为3类，即道路的低交通流量F＜Min-F％DF，道路的中交通流量Min-F％DF≤F＜Max-F％DF和道路的高交通流量F≥Max-F％DF；高交通流量发生在道路服务水平等级C、D两个等级，中交通流量发生在道路服务水平等级B、E两个等级，低交通流量发生在道路服务水平等级A、F两个等级；

步骤3：根据粗划分的结果进一步进行细化分的判断，根据表1的道路车辆平均速度d′的判定指标，对低交通流量只能发生在A、F两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级A，将Mid-S％DS_A＞d′≥Min-S％DS_A初步判定为道路服务水平等级F；对中交通流量只能发生在B、E两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级B，将Max-S％DS_A＞d′≥Low-S％DS_A初步判定为道路服务水平等级E；对高交通流量只能发生在C、D两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级C，将Max-S％DS_A≥d′≥Mid-S％DS_A初步判定为道路服务水平等级D；

步骤4：根据进行细化分的判断结果根据表1所列的其他指标进行进一步确认，检查是否与步骤3的判断结果出现矛盾地方；如果不出现矛盾就确认为该道路服务水平等级，如果发现有与步骤3的判断结果出现矛盾地方就将该初步判定结果作为未决结果以备人工根据视频图像进行核实；

对于不出现矛盾判断结果提交给所述的检测数据加工单元进行数据加工；对于出现矛盾判断结果将其存放在矛盾数据存储单元，以备人工通过人工核实单元中的人机界面进行核对；

所述的检测数据加工单元，用于从宏观、中观、微观三个角度来进行城市道路交通状态的分析与评价；为了能在确定的时间内、空间内的分析和比较城市道路交通服务水平，如附图11所示，所加工的最终结果是要将空间位置信息、时间信息、道路服务水平等级、道路车辆平均速度d′、车辆速度变化量cov、道路的拥塞密度比ρ和道路车辆流量F加工成一条45个字符的记录；具体做法是根据检测点的空间位置信息、时间信息和在所述道路服务水平判定模块计算得到的道路服务水平等级按照附图10所定义的格式进行加工；在本发明中将检测点的空间位置信息以22个字符从第1位到第22位字符表示；时间信息以14个字符从第23位到第36位数据表示；道路服务水平等级以1个字符用第37位数据表示，该字符的范围是A、B、C、D、E、F；道路车辆平均速度d′以2个字符用第38位到第39位数据表示，单位为公里/小时；车辆速度变化量cov以2个字符用第40位到第41位数据表示，单位为％；道路的拥塞密度比ρ以2个字符用第42位到第43位数据表示，单位为％；道路车辆流量F以2个字符用第44位到第45位数据表示，单位为辆/秒；关于空间位置信息的命名方式可参考中国发明专利授权号为ZL200410066803.3，发明名称为城市道路交通数码标签系统，按照这种命名方式道路空间信息是可计算的；空间位置信息是根据检测装置在道路上的安装点并依据空间位置信息的命名方式来确定的；时间信息是根据微处理器系统的时间加工成YYYYMMDDhhmmss形式，其中：YYYYMMDD表示公历的年月日，hhmmss表示小时分秒；加工好的记录存放在检测结果数据库内，并提供一个接口为上一级的城市道路智能交通管理系统调用这些记录，以便从宏观、中观层面上来实时分析城市道路交通状态；

所述的人工核实单元，首先从矛盾数据存储单元中读取矛盾数据记录，然后通过人机界面来核实出现矛盾的判断结果，如果多处发现相同的矛盾判断结果，就列出相关的判断相矛盾之处以及在用户界面上显示相应视频图像，同时建议修改表1中相关的判断阈值；

所述的摄像装置，采用枪机式的摄像机，但是为了获得比较好的拍摄角度和视野，需要将摄像机放置在测量地点附近的天桥或高楼上拍摄。在拍摄过程中，要求拍摄视角能覆盖所要检测的混合交通个体的运行情况。摄像机设置方法同样分为路段和路口。对于路段，路段拍摄采集机动车上游速度数据，拍摄位置布置在相应的地点，注意要距离交叉口60米左右处安装摄像装置，拍摄角度最好垂直于交通流运行方向；拍摄时应保证能覆盖某条车道机动车从停车线到对向停车线整个区域。对不同的车道在视觉范围不够的情况下采用多个摄像机分别进行拍摄，如附图1所示。

所述的基于金字塔模型的Lucas-Kanade光流稀疏迭代法，以下称金字塔表示法，假设图像I的大小为nx×ny。定义I0＝I表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为n_x ⁰何n_y ⁰( $n_x^0=n_x,$ $n_y^0=n_y$ )。然后用一种递归的方式来描述金字塔表示法：通过IL-1来计算IL(L＝1，2，…)。IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像。假设图像IL-1的宽和高为n_x ^L-1和n_y ^L-1，那么图像IL可以表示为

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+$

$\frac{1}{8}(I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+\mathrm{1,2}y)+I^{L-1}(2x,2y-1)+I^{L-1}(2x,2y+1))+---\left(1\right)$

$\frac{1}{16}(I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x+\mathrm{1,2}y+1)+I^{L-1}(2x-\mathrm{1,2}y+1),I^{L-1}(2x+\mathrm{1,2}y-1))$

为了简化公式，将图像 $\mathrm{IL}-1(0\≤x\≤n_x^{L-1}-\mathrm{1,0}\≤y\≤n_y^{L-1}-1)$ 的边界点的值定义如下，

$I^{L-1}(-1,y)\stackrel{.}{=}{I}^{L-1}(0,y)$

$I^{L-1}(x,-1)\stackrel{.}{=}{I}^{L-1}(x,0)$

$I^{L-1}(n_x^{L-1},y)\stackrel{.}{=}{I}^{L-1}(n_x^{L-1}-1,y)$

$I^{L-1}(x,n_y^{L-1})\stackrel{.}{=}{I}^{L-1}(y,n_y^{L-1}-1)$

$I^{L-1}(n_x^{L-1},n_y^{L-1})\stackrel{.}{=}{I}^{L-1}(n_x^{L-1}-1,n_y^{L-1}-1)$

公式(1)中定义的点必须满足条件 $0\≤2x\≤n_x^{L-1}-\mathrm{1,0}\≤2y\≤n_y^{L-1}-1.$ 因此图像IL的宽n_x ^L和高n_y ^L需要满足公式(2)；

$n_x^L\≤\frac{n_x^{L-1}+1}{2}$   (2)

$n_y^L\≤\frac{n_y^{L-1}+1}{2}$

通过公式(1)和(2)可以构建图像I的金字塔模型{IL}L＝0，…，Lm。Lm为金字塔模型的高度，Lm一般取2，3或4。对于一般的图像Lm大于4就没有意义了。以640×480大小的图像为例，其金字塔模型的第1，2，3，4层图像大小分别为320×240，160×120，80×60，40×30。

在基于金字塔模型的LK光流计算法中，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层从而计算得到该特征点的光流。

光流法实现的思路是：前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d。

v＝u+d＝[u_x+d_x u_y+d_y]^T    (3)

式中：u为图像I的某个像素点，v为图像J中的该像素的匹配点，d为同一特征点像素的偏移向量。

具体实现步骤是：

步骤1：建立图像I和J的金字塔模型{IL}L＝0，…，Lm和{JL}L＝0，…，Lm；

步骤2：计算像素点u在图像I各金字塔层中位置u^L＝u/2^L，L＝0，…，Lm；

步骤3：通过一个搜索窗口在图像J的金字塔模型最高层图像I^Lm中计算u^Lm的匹配点v^Lm，并计算偏移向量d^Lm。假设已经知道金字塔模型第L+1层的偏移向量d^L+1。那么将2×d^L+1作为第L层的初始值，用在附近搜索第L层的匹配点v^L。进而得到第L层的偏移向量d^L；

步骤4：由于每次迭代都是以上一层的值作为初始值进行计算，而不是直接将上一层的值当做下一层的结果来使用，因此基于金字塔模型的光流法不仅提高了算法的效率，而且由于在下一层计算以后消除了上一层结果的误差，因此该算法在每一层得到的结果的误差都是最小的；

步骤5：经过迭代计算每一层的偏移向量d^L(L＝0，…，Lm)后，该像素点的最终光流为

$d=\underset{L=0}{\overset{L_m}{\mathrm{\Σ}}}{2}^L{d}^L---\left(4\right)$

式中：d^L是第L层的偏移向量，d为特征点像素的偏移向量；

最后通过两帧图像I和J，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，找出它的偏移向量d；

车辆行驶速度是驾驶员对交通状况的最直接感受，属于感受性指标，它直观的反映了当前交通运行服务质量。这是因为驾驶员在不同道路上以相同速度行驶的感受往往是不同的。如以18km/h的速度在地面道路上行驶，驾驶员会觉得很正常。但如果是在快速路或高速路上，则驾驶员会觉得很慢，这是因为驾驶员已有的行驶习惯在影响，使得驾驶员对各种道路的速度期望不同。这也从侧面说明了采用服务质量指标来评价的原因，即使是相同的指标或相同的指标值，对不同的评价区域，其评价方法和阈值也应不同；在本发明中采用自学习的方式来获得道路的设计限速和设计最大交通流量等阈值指标，以满足驾驶员的主观感受性的要求。

实施例2

参照图2～图11，其余与实施例1完全相同，唯一不同的是摄像装置；在实施例2中的摄像装置采用全方位视觉传感器，全方位视觉传感器简称ODVS，是Omni-Directional Vision Sensors的缩写，它通过折反射原理一次成像就能获得水平360°区域的视频图像信息。其优点是：信息量大、安装位置自由、可以实时获取图像且监视环境时不需要瞄准目标，不需要将ODVS安置在道路的很高处就能获得道路的全景，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径，如附图9所示。

在采用ODVS监控整个道路时希望能在整个监控领域顶视的全景视频图像不变形；因此需要对ODVS进行水平方向平均分辨率设计，以满足整个监控领域顶视的全景视频图像不变形要求；所以在ODVS设计上可以归结于折反射镜面曲线的设计，如附图5所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在成像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(9)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(10)、(11)：

F₁′²-2αF₁′-1＝0    (10)

F₂′²-2βF₂′-1＝0    (11)

上式中，

$\mathrm{\α}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(10)、(11)可以得到公式(12)、(13)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(12\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(13\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图5所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (14)

为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝α*f*t₂/F₂(t₂)+b                    (15)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(16\right)$

将公式(14)、(16)代入公式(15)并整理，得到在水平方向不变形的条件，用公式(17)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(17\right)$

满足公式(17)的镜面曲线设计符合水平方向平均分辨率要求；

通过对公式(10)、(11)、(17)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图7是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图2所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，ODVS的结构如图2所示；

在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图4是摄像部件镜头与广角镜头的位置关系图。在图4中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(18\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(19\right)$

d＝S2+S3    (20)

要使公式(20)成立的话，也就是将图4中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图3中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(20)的要求；

对于图4中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(21\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(22\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(23\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图3所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图2所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量。

Claims (7)

1.一种基于全方位计算机视觉的道路交通状态检测装置，包括安装在路网上各个道路上的各个测量点的摄像装置、用于根据摄像装置的视频数据进行评价道路交通状态的微处理器，摄像装置通过视频接口与所述的微处理器连接，其特征在于：所述的微处理器包括：

全景图像获取单元，用于获取初始化信息和视频图像，包括系统初始化模块和图像获取模块；

系统初始化模块，用于将数据指标信息、定制数据和检测点空间位置信息读入到动态存储单元中，以备后续处理过程中调用；

图像获取模块，用于读取从摄像装置传过来的视频图像信息并将视频图像信息保存在动态存储单元中；

道路服务能力定制单元，用于采用道路行驶方向定制模块定义道路上车辆的运行方向和定义道路的拥塞密度，包括道路行驶方向定制模块和道路拥塞密度定制模块；定制道路区域路段后的道路决定该路段上某一行驶方向所能承载的最大车辆数，定制后的数据存放在定制数据存放单元，以便系统初始化模块中调用；

道路行驶方向定制模块，用于根据道路上规定车辆的运行方向定义道路运行方向区域，即定值出与车道平行的线，对于有多条车道的道路要定制出若干条平行线，如果平行车道有X条的话就要定制X+1条平行线，对在该定制车道上出现与所规定运行方向不一致的光流速度不作为统计对象；

道路拥塞密度定制模块，用于根据拥塞密度反映道路能承载的最大车辆数，根据车辆的大小和一定车间距将道路划分为若干块区域M，即定义出若干条等距的与车道垂直的线，在车道上就定制了若干个区域，车辆的长度以一般轿车作为计算值，车间距以发生拥挤状态下车辆与车辆之间的平均距离作为计算值；

道路服务水平自学习单元，用于自动获取检测道路的设计限速DSA和道路的设计流量DF，包括车辆平均速度检测模块、车辆速度变化量计算模块、道路的拥塞密度检测模块和道路上车辆流量检测模块，根据实际道路的视频数据并通过运行上述模块的运算得到道路的设计限速DSA和道路的设计流量DF，道路的设计限速DSA和道路的设计流量DF存放在数据指标存放单元内，以便道路服务水平判断单元的计算过程中调用；

车辆平均速度检测模块，用于根据通过道路上所有车辆的特征点的光流速度平均值来计算得到道路行驶车辆的平均值，计算公式如式(5)所示；

$d\text{'}=\frac{{\mathrm{\Σ}}_{N}d}{N}---\left(5\right)$

式中：∑_Nd为前N帧所有车辆的特征点的光流速度平均值的统计和，N表示所统计的帧数，d表示在前N帧的某一帧内所有车辆的特征点的光流速度平均值，d ′表示在前N帧的所有车辆的特征点的光流速度统计平均值，N的取值范围为5～8；

车辆速度变化量计算模块，用于将光流方差作为车辆运行速度变化量的计算方法，计算公式如式(6)所述；

$\mathrm{cov}=\frac{{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(1-d_i/d\text{'})}^2}{N-1}\×100---\left(6\right)$

式中：d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，d_i表示在前N帧中第i帧的所有车辆的特征点的光流速度统计平均值，cov表示光流方差，N的取值范围为5～8，与公式(5)内的取值相同；

道路的拥塞密度检测模块，用于检测道路的拥塞密度，通过检测在所述的道路的拥塞密度定制模块中定制的区域是否有车辆，然后统计有多少区域内有车辆得到统计值H，将其定义为等效密度，其值反映此时路面上的车辆数；道路能承载的最大车辆数的区域块数M值，将其定义为拥塞密度，拥塞密度的反映道路可以承载的最大车辆数；等效密度H与拥塞密度M的比，对某一段路而言，这两个值的比值比较直观的反映此时交通流的饱和程度，用公式(7)计算拥塞密度比；

ρ＝H /M    (7)

式中：ρ为道路的拥塞密度比，M为拥塞密度，即为道路能承载的最大车辆数的区域块数M值；H为等效密度，即为在定制的区域内有车辆的区域块数，ρ的值的大小能反映拥塞情况，等于1时表明已经达到了道路能最大承载的最大车辆数；

检测在所述的道路的拥塞密度定制模块中定制的区域内类似于车辆的特征点数是否超过了阈值L，且类似于车辆的特征点的光流方向必须与所定制的道路运行方向一致；

道路车辆流量检测模块，用于实时检测道路的车流量；通过在所述的道路上车辆平均速度检测模块中计算所得到的在前N帧的所有车辆的特征点的光流速度统计平均值d′以及在所述的道路的拥塞密度检测模块中计算所得到的有多少区域内有车辆得到统计值H，然后通过这两个值和每帧所花费的时间来计算得到道路车辆流量，计算公式如式(8)所示；

F＝ρ×d′×X    (8)

式中：ρ为道路的拥塞密度比，d′表示在前N帧的所有车辆的特征点的光流速度统计平均值，X为在所述的道路行驶方向定制模块中所定制的同一方向运行的车道数；

道路服务水平等级的判断单元，包括道路车辆平均速度检测模块、车辆速度变化量计算模块、道路的拥塞密度检测模块、道路车辆流量检测模块和道路服务水平判定模块，用于实时计算和判断某道路中的某路段在某时刻的道路服务水平；从所述的道路车辆平均速度检测模块、车辆速度变化量计算模块、所述的道路的拥塞密度检测模块和所述的道路车辆流量检测模块所得到的道路服务水平等级4种指数来综合判定目前道路的服务水平等级；

道路服务水平判定模块，用于判定当前道路的服务水平，根据表1中的判定条件来判定道路服务水平，将道路服务水平等级分为A、B、C、D、E、F等6个等级；道路的服务水平等级综合判断表如表1所示；

服务水平等级 道路车辆平均速度d′ 车辆速度变化量cov(％) 道路的拥塞密度比ρ(％)   道路车辆流量F A 道路设计速度(d′≥Max-S％×DS_A) cov≤cov-10 ρ≤ρ-min   F＜Min-F％DF B d′≥Max-S％DS_A Min-cov＜cov≤cov-25 ρ-min＜ρ≤ρ-65 Min-F％DF≤F＜Max-F％DF

服务水平等级 道路车辆平均速度d′ 车辆速度变化量cov(％) 道路的拥塞密度比ρ(％)   道路车辆流量F C d′≥Max-S％DS_A cov-15＜cov≤cov-45 ρ-45≤ρ≤ρ-85 F≥Max-F％DF D Max-S％DS_A＞d′≥Mid-S％DS_A cov-35＜cov≤cov-55 ρ-75≤ρ≤ρ-95 F≥Max-F％DF E Max-S％DS_A＞d′≥Low-S％DS_A cov-45＜cov≤cov-75 ρ-85≤ρ≤ρ-99 Min-F％DF≤F＜Max-F％DF F Mid-S％DS_A＞d′≥Min-S％DS_A cov-70＜cov≤Max-cov ρ-95≤ρ≤ρ-max F＜Min-F％DF

表1

表1中的DS_A和DF的数据指标大小是在所述的道路服务水平自学习单元中学习得到的，道路车辆平均速度d′是利用公式(5)计算得到的，车辆速度变化量cov是利用公式(6)计算得到的，道路的拥塞密度比ρ是利用公式(7)计算得到的，道路车辆流量F是利用公式(8)计算得到的，Max-S初定为95，Mid-S初定为75，Low-S初定为35，Min-S初定为1，Max-F初定为85，Min-F初定为20，Max-cov初定为99，cov-75初定为75，cov-70初定为70，cov-55初定为55，cov-45初定为45，cov-35初定为35，cov-25初定为25，cov-15初定为15，cov-10初定为10，Min-cov初定为5，ρ-min初定为20，ρ-45初定为45，ρ-65初定为65，ρ-75初定为75，ρ-85初定为85，ρ-95初定为95，ρ-99初定为99，ρ-max初定为100。

2.如权利要求1所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：在所述的道路服务水平判定模块中，将道路服务水平等级分为A、B、C、D、E、F等6个等级，判定过程的步骤如下：

步骤1：计算道路车辆平均速度d′、车辆速度变化量cov，道路的拥塞密度ρ和道路车辆流量F；

步骤2：根据道路车辆流量F进行粗划分，根据表1的判定指标首先判定为3类，即道路的低交通流量F＜Min-F％DF，道路的中交通流量Min-F％DF≤F＜Max-F％DF和道路的高交通流量F≥Max-F％DF；高交通流量发生在道路服务水平等级C、D两个等级，中交通流量发生在道路服务水平等级B、E两个等级，低交通流量发生在道路服务水平等级A、F两个等级；

步骤3：根据粗划分的结果进一步进行细化分的判断，根据表1的道路车辆平均速度d′的判定指标，对低交通流量只能发生在A、F两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级A，将Mid-S％DS_A＞d′≥Min-S％DS_A初步判定为道路服务水平等级F；对中交通流量只能发生在B、E两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级B，将Max-S％DS_A＞d′≥Low-S％DS_A初步判定为道路服务水平等级E；对高交通流量只能发生在C、D两个等级的这两种情况，将d′≥Max-S％DS_A初步判定为道路服务水平等级C，将Max-S％DS_A＞d′≥Mid-S％DS_A初步判定为道路服务水平等级D；步骤4：根据进行细化分的判断结果根据表1所列的其他指标进行进一步确认，检查是否与步骤3的判断结果出现矛盾地方；如果不出现矛盾就确认为该道路服务水平等级，如果发现有与步骤3的判断结果出现矛盾地方就将该初步判定结果作为未决结果以备人工根据视频图像进行核实。

3.如权利要求1或2所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：所述的微处理器还包括：检测数据加工单元，用于从宏观、中观、微观三个角度来进行城市道路交通状态的分析与评价；

人工核实单元，用于从矛盾数据存储单元中读取矛盾数据记录，然后通过人机界面来核实出现矛盾的判断结果，如果多处发现相同的矛盾判断结果，就列出相关的判断相矛盾之处以及在用户界面上显示相应视频图像，同时建议修改表1中相关的判断阈值。

4.如权利要求3所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：在所述的检测数据加工单元中，为了能在确定的时间内、空间内的分析和比较城市道路交通服务水平，所加工的最终结果是要将空间位置信息、时间信息、道路服务水平等级、道路车辆平均速度d′、车辆速度变化量cov、道路的拥塞密度比ρ和道路车辆流量F加工成一条45个字符的记录；具体做法是根据检测点的空间位置信息、时间信息和在所述道路服务水平判定模块计算得到的道路服务水平等级按照附图10所定义的格式进行加工；在本发明中将检测点的空间位置信息以22个字符从第1位到第22位字符表示；时间信息以14个字符从第23位到第36位数据表示；道路服务水平等级以1个字符用第37位数据表示，该字符的范围是A、B、C、D、E、F；道路车辆平均速度d′以2个字符用第38位到第39位数据表示，单位为公里/小时；车辆速度变化量cov以2个字符用第40位到第41位数据表示，单位为％；道路的拥塞密度比ρ以2个字符用第42位到第43位数据表示，单位为％；道路车辆流量F以2个字符用第44位到第45位数据表示，单位为辆/秒；关于空间位置信息的命名方式可参考中国发明专利授权号为ZL200410066803.3，发明名称为城市道路交通数码标签系统，按照这种命名方式道路空间信息是可计算的；空间位置信息是根据检测装置在道路上的安装点并依据空间位置信息的命名方式来确定的；时间信息是根据微处理器系统的时间加工成YYYYMMDDhhmmss形式，其中：YYYYMMDD表示公历的年月日，hhmmss表示小时分秒；加工好的记录存放在检测结果数据库内，并提供一个接口为上一级的城市道路智能交通管理系统调用这些记录，以便从宏观、中观层面上来实时分析城市道路交通状态。

5.如权利要求1所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：对于所述的摄像装置，采用枪机式的摄像机，为了获得比较好的拍摄角度和视野，需要将摄像机放置在测量地点附近的天桥或高楼上拍摄，在拍摄过程中，要求拍摄视角能覆盖所要检测的混合交通个体的运行情况，路段拍摄采集机动车上游速度数据，拍摄位置布置在相应的地点，注意要距离交叉口60米左右处安装摄像装置，拍摄角度最好垂直于交通流运行方向；拍摄时应保证能覆盖某条车道机动车从停车线到对向停车线整个区域，对不同的车道在视觉范围不够的情况下采用多个摄像机分别进行拍摄。

6.如权利要求1或2所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：所述的摄像装置为全方位视觉传感器，拍摄位置布置在道路的绿化带上，全方位视觉传感器安置高度高于道路的限高。

7.如权利要求1或2所述的基于全方位计算机视觉的道路交通状态检测装置，其特征在于：所述车辆平均速度检测模块中，光流法为基于金字塔模型的Lucas-Kanade光流稀疏迭代法，假设图像I的大小为nx×ny，定义I0＝I表示第0层图像，第0层图像为分别率最高的图像，即原始图像，这一层图像的宽和高为

何 $n_y^0(n_x^0=n_x,n_y^0=n_y),$ 然后用一种递归的方式来描述金字塔表示法：通过IL-1来计算IL(L＝1，2，…)；IL-1表示金字塔L-1层的图像，IL表示金字塔L层的图像；假设图像IL-1的宽和高为

和

那么图像IL表示为

$\begin{array}{c}{I}^{L-1}(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+\\ \frac{1}{8}(I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+1,2y)+I^{L-1}(2x,2y+1))+\\ \frac{1}{16}(I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x+\mathrm{1,2}y+1)+I^{L-1}(2x-\mathrm{1,2}y+1),I^{L-1}(2x+\mathrm{1,2}y-1))\end{array}---\left(1\right)$

为了简化公式，将图像IL-1 $(0\≤x\≤x{n}_x^{L-1}-\mathrm{1,0}\≤y\≤n_y^{L-1}-1)$ 的边界点的值定义如下，

$I^{L-1}(-1,y)=I^{L-1}(0,y)$

$I^{L-1}(x,-1)\stackrel{\·}{=}{I}^{L-1}(x,0)$

$I^{L-1}(n_x^{L-1},y)\stackrel{\·}{=}{I}^{L-1}(n_x^{L-1}-1,y)$

$I^{L-1}(x,n_y^{L-1})\stackrel{\·}{=}{I}^{L-1}(y,n_y^{L-1}-1)$

$I^{L-1}(n_x^{L-1},n_y^{L-1})\stackrel{\·}{=}{I}^{L-1}(n_x^{L-1}-1,n_y^{L-1}-1)$

公式(1)中定义的点必须满足条件 $0\≤2x\≤n_x^{L-1}-1,$ $0\≤2y\≤n_y^{L-1}-1,$ 因此图像IL的宽n_x ^L和高n_y ^L需要满足公式(2)；

$n_x^L\≤\frac{n_x^{L-1}+1}{2}---\left(2\right)$

$n_y^L\≤\frac{n_y^{L-1}+1}{2}$

通过公式(1)和(2)可以构建图像I的金字塔模型{IL}L＝0，…，Lm；Lm为金字塔模型的高度，Lm一般取2，3或4，本发明中取4；

在基于金字塔模型的LK光流计算法中，首先在图像金字塔模型的最顶层k层搜索特征点的匹配点，然后以k层的计算结果作为k-1层的初始估计值在图像金字塔模型中的第k-1层搜索匹配点，周而复始一直迭代到图像金字塔模型的第0层从而计算得到该特征点的光流；

光流法实现的思路是：前后两帧图像I和J中，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，或找出它的偏移向量d；

v＝u+d＝[u_x+d_x u_y+d_y]^T    (3)

式中：u为图像I的某个像素点，v为图像J中的该像素的匹配点，d为同一特征点像素的偏移向量；

具体实现步骤是：

步骤1：建立图像I和J的金字塔模型{IL}L＝0，…，Lm和{JL}L＝0，…，Lm；

步骤2：计算像素点u在图像I各金字塔层中位置u^L＝u/2^L，L＝0，…，Lm；

步骤3：通过一个搜索窗口在图像J的金字塔模型最高层图像I^Lm中计算uLm的匹配点v^Lm，并计算偏移向量d^Lm，假设已经知道金字塔模型第L+1层的偏移向量d^L+1，那么将2×d^L+1作为第L层的初始值，用在附近搜索第L层的匹配点v^L，进而得到第L层的偏移向量d^L；

步骤4：由于每次迭代都是以上一层的值作为初始值进行计算，而不是直接将上一层的值当做下一层的结果来使用，因此基于金字塔模型的光流法不仅提高了算法的效率，而且由于在下一层计算以后消除了上一层结果的误差，因此该算法在每一层得到的结果的误差都是最小的；

步骤5：经过迭代计算每一层的偏移向量d^L(L＝0，…，Lm)后，该像素点的最终光流为，

$d=\underset{L=0}{\overset{L_m}{\mathrm{\Σ}}}{2}^L{d}^L---\left(4\right)$

式中：d^L是第L层的偏移向量，d为特征点像素的偏移向量；

最后通过两帧图像I和J，对于图像I的某个像素点u，在图像J中找到它的匹配点v＝u+d，找出它的偏移向量d；本发明中的图像分辨率大小为640×480。

Images