CN101510356B - 视频检测系统及其数据处理装置、视频检测方法 - Google Patents

视频检测系统及其数据处理装置、视频检测方法 Download PDF

Info

Publication number
CN101510356B
CN101510356B CN200910046602XA CN200910046602A CN101510356B CN 101510356 B CN101510356 B CN 101510356B CN 200910046602X A CN200910046602X A CN 200910046602XA CN 200910046602 A CN200910046602 A CN 200910046602A CN 101510356 B CN101510356 B CN 101510356B
Authority
CN
China
Prior art keywords
headstock
unit
image
zone
vehicle
Prior art date
Application number
CN200910046602XA
Other languages
English (en)
Other versions
CN101510356A (zh
Inventor
朱江
Original Assignee
上海高德威智能交通系统有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海高德威智能交通系统有限公司 filed Critical 上海高德威智能交通系统有限公司
Priority to CN200910046602XA priority Critical patent/CN101510356B/zh
Publication of CN101510356A publication Critical patent/CN101510356A/zh
Application granted granted Critical
Publication of CN101510356B publication Critical patent/CN101510356B/zh

Links

Abstract

一种视频检测系统及其数据处理装置、视频检测方法,其中,所述视频检测方法包括:获取道路交通视频流,将所述获取的视频流传输至处理设备;处理设备从视频流的每一帧图像中提取识别辅助信息;若根据所述识别辅助信息检测到图像中出现车头,则对后续图像进行检测并生成道路交通信息参数。本发明可实现对道路交通信息参数的全视频检测,并且避免了车辆跨线行驶、车辆阴影、外界光线变化等造成误检测、漏检测,提高了检测的效率和准确率。此外本发明还可实现对动态图像实时的显示,以及对道路交通状况的监控。

Description

视频检测系统及其数据处理装置、视频检测方法

技术领域

[0001] 本发明涉及视频检测系统和方法,特别是对道路交通信息进行全视频检测的方法 以及视频检测系统及其数据处理装置。

背景技术

[0002] 道路交通信息是道路规划、设计和养护管理中必不可少的重要资料,其中,道路交 通信息具体可包括,例如车流量、车辆速度、时间占有率、车头时距等多种信息。随着经济的 发展,交通流量迅猛增长,单靠人工进行统计已经远远不能满足要求。在这种情况下,道路 交通信息的自动采集系统越来越多地被予以应用。

[0003] 道路交通信息的自动采集技术包括轮廓扫描检测技术、磁场变化检测技术和视频 检测技术。视频检测技术主要利用计算机视觉、图像处理以及模式识别技术,通过摄像头获 取视频信号,再由计算机对视频进行处理,获取交通信息参数。视频检测技术由于具有检测 范围广、设备安装维护方便和低耗以及提供信息丰富等显著优势,正在逐步取代其它方法, 成为交通信息采集技术主流。

[0004] 其中,申请号为200410016767. X的中国专利申请“智能交通的高速摄像抓拍的方 法及其系统”公开了如下技术方案:所述系统包括位于前端的摄像头与计算机,以及位于后 端的远程监控中心。所述系统的工作过程为:系统中的计算机通过扫描道路背景特征图像 判定是否有车到达,根据测定的车辆速度判定是否需要进行抓拍;在需要时控制摄像头对 被拍车辆图像进行冻结,并通过图像采集卡采集所述冻结的图像;对所述图像进行数字处 理,将图像进行压缩保存,并实时传输至远程监控中心。所述技术方案存在一些不足之处: 1),前端需要针对各摄像头安装计算机和图像采集卡,使得系统中设备的数量大为上升,且 设备的安装和维护成本较高;2),计算机判定是否有车到达的过程中,仅扫描道路背景特征 图像,有可能由于背景特征图像中存在其它车的部分图像等情况而造成误判,导致摄像头 进行不必要的误拍或者进行错拍;3),后端的远程监控中心接收的为计算机处理后的图像, 有可能漏掉关键的图像。

[0005] 此外,在《微计算机信息》2008年第24卷的第05期中,还提供了一种基于机器视 觉的公路车流量检测系统。该系统进行检测的过程中利用型号为TMS320DM642的数字图像 处理芯片进行数字图像处理,包括:在每条车道的图像中设置一个虚拟线圈,也就是说,在 图像中选取预定区域,根据多幅图像中预定区域的像素值变化,采用帧差法判定是否有车 经过,并在此基础上对车流量进行检测,根据检测到的车流量产生脉冲来控制交通灯。

[0006] 然而,所述公路车流量检测系统中,采用帧差法判定检测的道路上是否出现车辆, 难以避免误判的发生。例如,当其它车的部分或其它非车辆物体进入图像中的预定区域时, 就可能会导致前后帧图像中该区域的像素值发生较大的变化,甚至超过设定的阈值。另外, 所述检测系统获得的道路交通信息较少,基本上只能对车流量进行大概的估算,难以得到 关于行进中车辆的其它各种交通参数,例如车速、车型等,也就是说,所述检测系统无法实 现对车辆的监控。发明内容

[0007] 本发明解决的问题是提供一种视频检测方法、视频检测系统及其数据处理装置, 可对道路交通进行实时视频监控,获得多种交通信息参数。

[0008] 为解决上述问题,本发明提供了一种视频检测方法,包括:获取道路交通视频流, 将所述获取的视频流传输至处理设备;处理设备从视频流的每一帧图像中提取识别辅助信 息;若根据所述识别辅助信息检测到图像中出现车头,则对后续图像进行检测并生成道路 交通信息参数。

[0009] 可选的,所述根据识别辅助信息检测到图像中出现车头的过程包括:分析所述识 别辅助信息,确定在所述识别辅助信息表征图像中是否出现车头特征;判别所述车头特征 是否属于车头。

[0010] 可选的,所述从视频流的每一帧图像中提取识别辅助信息的过程包括:对每一帧 图像中的预定区域进行逐行扫描,获得识别辅助信息。

[0011] 可选的,所述获得识别辅助信息包括获得边缘点数目、帧差较大的点的数目、与背 景差异较大的点的数目。

[0012] 可选的,所述从视频流的每一帧图像中提取识别辅助信息的过程还包括背景更新。

[0013] 可选的,所述分析识别辅助信息的过程包括:比较所获得的边缘点的数目与边缘 阈值。

[0014] 可选的,所述比较所获得的边缘点的数目与边缘阈值的过程包括:在图像的所述 预定区域内选取比较区域,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时, 则认为所述行出现车头特征。

[0015] 可选的,所述在图像的所述预定区域内选取比较区域的过程包括:根据所述预定 区域内的交通限速获得第一设定行数;将上一帧图像中的车头特征所在行作为比较区域的 开始行,沿车辆行驶的方向将距开始行第一设定行数的行作为比较区域的结束行。

[0016] 可选的,所述判别所述车头特征是否属于车头的过程之前,还包括:记录车头特征 在各帧图像中的行序号以及开始出现所述车头特征的图像的帧数,将所述开始出现所述车 头特征的图像的帧数作为起始帧数,并根据所述行序号判断所述车头特征是否到达后沿区 域;在车头特征到达后沿区域后,记录当前图像的帧数作为结束帧数,进行所述车头特征是 否属于车头的判别。

[0017] 可选的,所述进行所述车头特征是否属于车头的判别的过程之前还包括:判断所 述车头特征是否由干扰信息所造成,如果是,对下一帧图像进行扫描;如果不是,判断所述 车头特征是否属于车头。

[0018] 可选的,所述当车头特征不是由干扰信息造成时,判断车头特征是否属于车头,包 括:判断后沿区域内与背景差异较大的行数是否大于第一行数阈值;若是,所述车头特征 属于车头。

[0019] 可选的,所述后沿区域为预定区域内,距离后到达的底边第三设定行数的区域。

[0020] 可选的,所述判断车头特征是否由干扰信息造成的过程包括:所述车头特征是否 属于前一次所记录的车辆,如果是,对下一帧图像进行扫描;当所述车头特征不属于前一次所记录的车辆时,判断相邻车道中的所述预定区域中是否有车辆经过,如果有,判断所记录 的车头特征是否属于其它车道中车辆的阴影或遮挡;当所述车头特征属于其它车道中车辆 的阴影或遮挡,对下一帧图像进行扫描;当相邻车道中的所述预定区域中无车辆经过,或者 相邻车道中的所述预定区域中有车辆经过,但所述车头特征不属于其它车道中车辆的阴影 或遮挡,所述车头特征不是由干扰信息造成的。

[0021] 可选的,所述判断车头特征是否属于前一次所记录的车辆,包括:判断前一次所记 录的车辆的车尾是否已经离开后沿区域,如果是,所述车头特征不属于前一次所记录的车 辆;如果不是,所述车头特征属于前一次所记录的车辆。

[0022] 可选的,所述后沿区域为预定区域内,距离后到达的底边第二设定行数的区域。

[0023] 可选的,所述判断前一次所记录的车辆的车尾是否已经离开后沿区域,包括:比较 所述后沿区域的图像与所保存的背景中对应区域的图像是否相似;比较所述后沿区域的图 像与之前连续多帧图像中对应区域的图像是否相似;比较所述后沿区域每一行的边缘点数 目是否均小于第一边缘阈值。

[0024] 可选的,所述比较后沿区域的图像与所保存的背景是否相似,包括:计算所述后沿 区域的图像和所保存背景对应区域的图像的差异。

[0025] 可选的,所述判断所记录的车头特征是否属于阴影或遮挡,包括:设置遮挡辅助 线,所述遮挡辅助线沿车道方向将所述预定区域分成左右两个区域,靠近产生阴影或遮挡 车道一侧的区域为冗余区域,另一侧区域为有效区域;对所述有效区域内的图像进行检测。

[0026] 可选的,所述有效区域占所述预定区域的面积比可在50% -90%。

[0027] 可选的,所述对后续图像进行检测的过程包括:判断所述车辆的车尾是否离开所 述预定区域。

[0028] 可选的,所述判断所述车辆的车尾是否离开所述预定区域的过程包括:根据所述 预定区域内的交通限速,获得设定帧数;自所述车头到达所述后沿区域的那一帧起,记录帧 数;当到达所述设定的帧数后,在之后每一帧所述后沿区域内,比较每一行的边缘点数目与 第二边缘阈值,以及比较与背景差异较大的行数与第二行数阈值,当所述每一行的边缘点 数目低于第二边缘阈值,且与背景差异较大的行数低于第二行数阈值时,确定车尾是否离 开所述后沿区域;反之,则为车尾未离开所述后沿区域。

[0029] 可选的,比较每一行的边缘点数目与第二边缘阈值时,所述后沿区域为预定区域 内,距离后到达的底边第四设定行数的区域;所述比较与背景差异较大的行数时,所述后沿 区域为预定区域内,距离后到达的底边第五设定行数的区域。

[0030] 可选的,所述第四设定行数为预定区域所包括行数的1/5-4/5,所述第五设定行数 为预定区域所包括行数的1/5-4/5。

[0031 ] 可选的,所述第四设定行数与所述第五设定行数相同。

[0032] 可选的,所述判断车辆的车尾是否离开所述预定区域的过程包括:根据所述预定 区域内的限速,获得设定帧数;自所述车头到达所述后沿区域的帧开始,经过所述设定的帧 数后,判断所述帧差低于第一帧差阈值的连续帧数是否大于第一帧数阈值:如果是,则为车 尾离开所述后沿区域,反之,则为车尾未离开所述后沿区域。

[0033] 可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图 像中出现车头,统计车流量。[0034] 可选的,所述统计车流量的过程包括:初始统计时,车流量计数为零;每一次判断 所述车头特征确实属于车头时,车流量计数加1。

[0035] 可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图 像中出现车头,计算所述检测车辆的行驶速度。

[0036] 可选的,所述生成道路交通信息参数的过程包括:根据所述起始帧数的图像中的 车头特征行序号和结束帧数的图像中的车头特征行序号,并根据所述预定区域前、后底边 间距,计算所述车头特征经过的实际距离;根据所述车头特征起始帧数和结束帧数,获得所 述车头特征运动的实际时间;根据所述实际距离和所述实际时间,计算所述车辆的平均速度。

[0037] 可选的,所述生成道路交通信息参数的过程包括:根据所述对后续图像的检测结 果,分析所述检测车辆所属的类别。

[0038] 可选的,所述生成道路交通信息参数的过程包括:根据所述车头特征在所述预定 区域中起始行序号和结束行序号,计算所述车辆通过所述预定区域的平均速度;然后,根据 所述车头到达所述后沿区域的时刻以及车尾离开所述后沿区域的时刻,以及平均速度,计 算所述车辆的车长;将所述车长的计算结果与常规车辆车长比较,根据比较结果,将该车区 分为大型车、中型车、小型车中的一类。

[0039] 可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图 像中出现车头,计算车辆间距和车头时距。

[0040] 本发明提供了一种交通视频的数据处理装置,其特征在于,包括:信息提取单元, 用于采集视频流,并对所述视频流的每一帧图像进行扫描,从中提取识别辅助信息;车头识 别单元,用于根据所述识别辅助信息识别图像中是否出现车头;后续检测单元,用于在图像 中出现车头的情况下,基于后续图像的所述识别辅助信息,对后续图像进行检测;信息参数 生成单元,用于根据所述车头识别单元的识别结果,以及所述后续检测单元的检测结果,生 成道路交通信息参数。

[0041] 可选的,所述信息提取单元包括:特征提取单元,用于对每一帧图像中的预定区域 进行逐行扫描,获得识别辅助信息;存储单元,用于保存所述特征提取单元所获得的识别辅 助信息。

[0042] 可选的,所述特征提取单元包括:边缘检测单元,用于通过边缘检测,获得预定区 域内每一行的边缘点;帧差检测单元,用于计算相邻帧图像之间的帧差,获得帧差较大的 点;背景差异检测单元,用于计算当前图像预定区域与背景预定区域中的图像差异,获得差 异较大的点。

[0043] 可选的,所述车头识别单元包括:设定行数计算单元,用于根据预定区域内的交通 限速,计算对预定区域内比较区域以及后沿区域的大小进行标识的设定行数;车头特征处 理单元,用于检测所述预定区域内是否出现车头特征,并且当出现所述车头特征时,记录其 相关信息以及判断所述车头特征是否到达所述预定区域的后沿区域;车头判别单元,用于 根据所述车头特征处理单元的结果,当出现所述车头特征且所述车头特征到达所述预定区 域的后沿区域时,判断所述车头特征是否属于车头。

[0044] 可选的,所述车头特征处理单元包括:检测单元,用于检测是否出现车头特征;信 息记录单元,用于根据检测单元的检测结果,当出现所述车头特征时,记录每一帧所述车头特征的相关信息;到达后沿判别单元,用于根据所述检测单元的检测结果,当出现所述车头 特征时,对出现所述车头特征的图像之后的每一帧图像判别所述车头特征是否到达后沿区 域。

[0045] 可选的,所述检测单元通过对图像比较区域中每一行的边缘点数目和第一边缘阈 值进行比较,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所述行 出现车头特征。

[0046] 可选的,所述比较区域具体为以上一帧图像中的车头特征所在行数为起始行,按 照车辆行驶的方向,距离所述起始行为所述设定行数计算单元所获得的第一设定行数的区 域。

[0047] 可选的,所述信息记录单元记录所述车头特征的相关信息包括:记录所述车头特 征出现和离开的图像的帧数,以及所述两帧图像之间每一帧图像中出现所述车头特征的行序号。

[0048] 可选的,所述到达后沿判别单元,根据所述设定行数计算单元所获得的设定行数 以及后沿区域的起始行的行序号,并且根据所述信息记录单元获得每一帧图像中所述车头 特征的行序号,比较两者大小,判断所述车头特征是否到达图像的预定区域。

[0049] 可选的,所述车头判别单元包括:背景差异判别单元,用于计算后沿区域内,和背 景差异较大的行数;计数单元,对所述背景差异判别单元所获得的和背景差异较大的行数 进行计数;比较单元,用于将计数单元所获得的行数与第一行数阈值进行比较。

[0050] 可选的,所述车头判别单元包括:干扰判别单元,用于判别所述车头特征是否为干 扰信息;判别单元,当所述干扰判别单元判断所述车头特征不为干扰时,判断所述车头特征 是否属于车头。

[0051] 可选的,所述干扰判别单元包括:重复记录判别单元,用于判别所述车头特征是否 属于前一次所记录的车辆;邻域干扰判别单元,用于判别所述车头特征是否属于相邻区域 车辆的阴影或遮挡。

[0052] 可选的,所述重复记录判别单元根据所述车头特征处理单元所获得的边缘点数 目、帧差较大的点的数目、与背景差异较大的点的数目中的一种或多种识别辅助信息,比较 所述识别辅助信息与对应的阈值,判别所述车头特征是否属于前一次所记录的车辆。

[0053] 可选的,所述邻域干扰判别单元包括:通知单元,用于对相邻车道有车经过进行侦 测,当相邻车道是否有车经过时,发出通知;判别单元,用于当接收到所述通知单元的通知 后,通过提取有效区域中的识别辅助信息,将所获得的识别辅助信息与对应的阈值进行比 较,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。

[0054] 可选的,所述判别单元包括:数据提取单元,用于提取有效区域的识别辅助信息; 比较单元,用于比较所述数据提取单元获得的识别辅助信息与对应的阈值,判别所述车头 特征是否属于相邻区域车辆的阴影或遮挡。

[0055] 可选的,所述后续检测单元包括:设定帧数计算单元,用于根据所述预定区域内的 交通限速,获得设定帧数;边缘点计数单元,用于对自所述车头到达所述后沿区域的那一帧 起,统计所述设定帧数之后的图像中后沿区域的边缘点数目;行数记录单元,用于对自所述 车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像中后沿区域内与背景差 异较大的行数;比较单元,将所述边缘点计数单元所获得的每一行边缘点数目与第二边缘阈值进行比较,并将所述行数记录单元所获得的行数与第二行数阈值进行比较,根据比较 结果,判别车尾是否离开后沿区域。

[0056] 可选的,所述信息参数生成单元包括:车流量计算单元,用于根据所述车头识别单 元的结果,每次判断得到车头时,车流量计数加1。

[0057] 可选的,所述信息参数生成单元包括:车速计算单元、车型计算单元以及车距计算 单元中的一个或多个单元,用于根据所述信息记录单元记录的信息,分别对车辆的行驶速 度、车辆车型以及车辆间距和时距进行计算。

[0058] 本发明还提供了一种包括上述数据处理装置的视频检测系统,还包括:视频获取 装置,用于获取道路交通视频流;通信装置,用于在所述视频获取装置和数据处理装置之间 传输所述视频流。

[0059] 可选的,所述视频获取装置包括一个或多个摄像机。

[0060] 可选的,所述视频检测系统对同一方向的多个车道采用一台所述摄像机进行拍摄。

[0061 ] 可选的,所述通信装置包括视频传输线,或者光端机。

[0062] 可选的,显示单元,用于显示从所述数据处理装置接收到的视频图像以及数据处 理过程的信息。

[0063] 与现有技术相比,本发明的实施方式具有以下优点:通过后端处理设备对前端获 取并经由传输系统传输的视频流进行处理,实现对道路交通信息的实时检测,在确认道路 中出现车头后对后续图像进行相应的检测以获得检测结果,从而可基于检测结果获得多种 交通信息参数。

[0064] 在本发明的可选方案中,通过判定所检测到的车头特征是否属于车头,避免了由 于其它车部分进入所述预定区域等干扰信息造成的误检测,节省了对错误信息的处理时 间,提高了效率,也提高了准确率。

[0065] 在本发明的可选方案中,所获得的检测结果包括记录的图像帧数、图像中车头特 征所在行序号等参数,经过各参数的组合和计算,可获得种类较多的道路交通信息参数,为 道路交通和车辆的监控提供良好的前提条件。

附图说明

[0066] 图1是本发明视频检测系统实施方式的结构示意图;

[0067] 图2是本发明视频检测系统另一种实施方式的结构示意图;

[0068] 图3是本发明视频检测方法实施方式的流程示意图;

[0069] 图4是本发明视频检测方法中所述预定区域为虚拟线圈时的示意图;

[0070] 图5是本发明视频检测方法具体实施方式的流程示意图;

[0071] 图6是本发明视频检测方法

[0072] 图7是本发明视频检测方法中后沿区域的示意图;

[0073] 图8是图5中步骤S5另一种具体实施方式的流程示意图;

[0074] 图9是图5中步骤S5具体实施例的流程示意图;

[0075] 图10是本发明视频检测方法中生成道路交通信息参数的过程一种实施方式的流 程示意图;[0076] 图11是本发明视频检测方法中生成道路交通信息参数的过程另一种实施方式的 流程示意图;

[0077] 图12是本发明视频检测方法中生成道路交通信息参数的过程又一种实施方式的 流程示意图;

[0078] 图13是本发明视频检测方法中生成道路交通信息参数的过程又一种实施方式的 流程示意图

[0079] 图14是本发明交通视频的数据处理装置实施方式的结构示意图;

[0080] 图15是图14中信息提取单元501具体实施方式的结构示意图;

[0081] 图16是图14中车头识别单元502具体实施方式的结构示意图;

[0082] 图17是图16中车头特征处理单元702具体实施方式的结构示意图;

[0083] 图18是图16中车头判别单元703具体实施方式的结构示意图。

具体实施方式

[0084] 参考图1,本发明实施方式提供了一种视频检测系统,包括:视频获取装置100,用 于获取道路交通视频流;数据处理装置120,从所述道路交通视频流的每一帧图像中提取 识别辅助信息;若根据所述识别辅助信息检测到图像中出现车头,则对后续图像进行检测 并生成道路交通信息参数;通信装置110,用于在视频获取装置100和数据处理装置120之 间传输所述视频流。在工作时,视频获取装置100将所获得的实时视频信号不间断地通过 通信装置110传输至数据处理装置120。

[0085] 具体来说,视频获取装置100可包括一个或多个摄像机。当然,所述视频获取装置 不限于摄像机,也可以是其他任何可拍摄并对外输出视频流的设备。

[0086] 视频获取装置100通常安装于道路的断面或其他存在类似需求的场合,获取与道 路及其上的车辆相关的视频流,即道路交通视频流。为节约成本,所述视频获取装置一般要 求可同时对多个车道进行拍摄。在实际操作中,对于同一方向的所有车道,可采用一台摄像 机进行拍摄。

[0087] 具体来说,通信装置110可为视频传输线或光端机,当然,也可以采用其他任何适 合的传输介质和设备。一般来说,传输类型可以根据带宽、数据量、安装成本、传输距离、损 耗等因素综合考虑。例如当视频获取装置100距离数据处理装置120较远,例如大于300 米时,通信装置110可为光端机,其中,视频数据由光端机视频接口通过光纤传输;当视频 获取装置100距离数据处理装置120较近,例如300米以内时,通信装置110可为同轴视频 传输线。

[0088] 具体来说,数据处理装置120可包括嵌入式板卡的数字信号处理器、解码器和存 储器。所述嵌入式板卡可以安装于工控机(图未示)上。在工作时,所述嵌入式板卡可独 立完成对视频流的处理,并通过与工控机之间的通信,将检测结果保存在工控机中。在具体 实现中,所述工控机可安装多块嵌入式板卡。

[0089] 所述嵌入式板卡安放位置灵活,并且可独立完成对视频图像的处理,不占用工控 机CPU时间。此外,一台工控机可同时处理多块嵌入式板卡的数据,提高了对数据的处理能 力和效率。在其它实施方式中,参考图2,本发明视频检测系统的另一种实施方式,包括视频 获取装置100、数据处理装置120和通信装置110,还包括:显示单元130,用于显示从数据处理装置120接收到的视频图像、交通信息参数以及数据处理过程的信息。

[0090] 具体来说,显示单元130可以为电脑显示器、平板显示屏、数字CRT显示屏和投影 仪等视频显示设备。所述交通信息参数和数据处理过程中的信息包括有没有检测到车辆、 所检测到的车辆位置和速度、所检测到的车辆所属类型等。

[0091] 参考图3,本发明提供的一种视频检测方法的实施方式,包括:步骤D1,视频获取 装置获取道路交通视频流,将所述获取的视频流经由通信装置传输至数据处理装置;步骤 D2,数据处理装置从视频流的每一帧图像中提取识别辅助信息;步骤D3,根据所述识别辅 助信息判别图像中是否出现车头;若不是,则返回步骤D2 ;若是,则进入步骤D4,数据处理 装置对后续图像进行检测并生成道路交通信息参数。

[0092] 其中,步骤Dl中,视频获取装置对视频流的采集速率可为25帧/秒;一般地,采集 速率越大,所获取的视频有效信息越多,但后续传输和处理的数据量也就越大。

[0093] 经由通信装置传输视频流的方式可包括同轴视频传输方式、光缆传输等现有视频 传输方式的任何一种或几种。

[0094] 步骤D2中,从视频流的每一帧图像中提取识别辅助信息的过程可包括:对每一帧 图像中的预定区域进行逐行扫描,获得识别辅助信息。

[0095] 其中,对图像中的预定区域进行扫描,可以减少扫描过程中的数据量,并因此减少 后续处理的数据量。参考图4,具体地说,所述预定区域200为在图像中针对每条车道20所 选定的区域。在图4中,所述预定区域200为矩形的虚拟线圈。车辆首先进入所述虚拟线 圈的前底边201,然后离开所述虚拟线圈的后底边202。

[0096] 具体地,所述虚拟线圈可根据对检测的精度、速度和操作过程的要求进行选取。具 体来说,所述虚拟线圈越靠近所述检测图像底部的位置,越便于检测。在其它具体实施例 中,所述预定区域也可为梯形或其他合适的形状的虚拟线圈,或者所述预定区域也可为每 条车道垂直于车辆行驶方向的两条平行线段之间的区域。

[0097] 其中,逐行扫描的过程中,通过边缘检测获得预定区域内每一行的边缘点,即邻域 灰度变化明显的点。

[0098] 在具体实施例中,可根据需求采用相应的边缘检测方法,例如,可通过寻找图像导 数中的最大和最小值来检测边缘点;或者采用Roberts交叉算子边缘检测方法,通过计算 相邻像素的灰度差值获得所述边缘点;或者采用I^rewitt算子、或Sobel算子、或罗盘算子、 或Krisch算子等边缘检测方法,通过计算不同像素邻域之间的差分,获得所述边缘点。在 另外的实施例中,还可采用Carmy算子,通过先用低通滤波器平滑图像,然后再用上述差分 算子,获取所述边缘点。

[0099] 在获得边缘点后,就可以进一步获得边缘点的数目,并将其作为识别辅助信息用 于后续的处理过程。

[0100] 在其它实施方式中,还可以通过逐行扫描获得图像中帧差较大的点,并将其数目 作为识别辅助信息用于后续的处理过程。具体来说,可通过帧差法计算相邻帧之间的帧差, 比较各像素点的帧差,获得所述帧差较大的点。

[0101] 在其它实施方式中,还可以通过逐行扫描获得与背景差异较大的点,并将其数目 作为识别辅助信息用于后续的处理过程。具体来说,可通过比较当前图像的预定区域与背 景的预定区域中各点的差异,获得与背景差异较大的点。其中,所述背景可以是指根据需要预先设置的道路图像。

[0102] 本领域的技术人员理解,所述背景可以根据需求和实际情况进行更新。具体来说, 可以在车道中无车时,对所述背景信息进行更新。由于每次更新的背景信息将覆盖前一次 的背景信息,因而使判断结果更为精确。所述对背景信息进行更新,可包括多种更新方式, 其一可为,记录新的背景信息,根据所述新的背景信息,对原有的背景信息进行滤波更新; 另一种更新方式还可为,直接保存新的背景信息以替换原有的背景信息,进行更新;又一种 更新方式还可为,强制使当前图像替换原有的背景信息,从而进行更新。根据实际情况,可 选择采用不同的背景更新方法,以获得更好的检测结果。

[0103] 再次参考图3,提取所述识别辅助信息之后,将执行步骤D3,根据识别辅助信息判 别图像中是否出现车头。一并参考图5,在本发明视频检测方法的具体实施例中,判别图像 中是否出现车头的步骤D3包括:

[0104] 步骤Si,根据所述识别辅助信息,判断图像中是否出现车头特征。

[0105] 具体地,在图像的所述预定区域内选取比较区域,若所述比较区域内某一行的边 缘点数目大于第一边缘阈值时,则认为所述行出现车头特征。

[0106] 参考图6,在图像的所述预定区域300内选取比较区域可包括:根据所述预定区域 300内的限速获得第一设定行数301 ;以从上一帧图像中的车头特征所在行数302开始,按 照车辆行驶的方向,包括所述第一设定行数的范围,为所述比较区域303。

[0107] 在图像中出现车头特征的情况下,执行步骤S2,对所述车头特征相关的信息进行 记录和跟踪,直至通过步骤S3确定车头特征到达后沿区域。

[0108] 参考图7,其中,所述后沿区域可为预定区域400内,距离后底边401边沿行数的区 域402。在具体实施的过程中可根据实际需要,通过在不同步骤中设置不同的边沿行数,从 而使得检测结果更为精确。具体来说,在步骤S2中,所述边沿行数可为第一设定行数。

[0109] 具体来说,对车头特征进行记录和跟踪可包括:首先,记录开始出现所述车头特征 的图像的帧数以及行序号,将所述帧数和行序号分别作为所述车头特征的起始帧数和起始 行序号;接着,在后续帧图像中,从上一帧所述车头特征所在行数开始,根据所述识别辅助 信息中每一行的边缘点数目,在所述第一设定行数的范围内,按照车辆行驶的相反方向,比 较所述每一行的边缘点数目是否大于第一边缘阈值:若是,所比较的行即为所述车头特征 所在的行,记录出现车头特征的行序号;若不是,比较下一行。

[0110] 一旦当上一帧所述车头特征所在行数未到达后沿区域,并且在后续帧图像中,从 上一帧所述车头特征所在行数开始,在所述第一设定行数的范围内,按照车辆行驶的相反 方向,每一行的边缘点数目都不大于第一边缘阈值,认为对所述车头特征的跟踪失败,返回 步骤Si,重新对下一帧图像中是否存在车头特征进行判断,否则,所述跟踪过程一直持续到 所述车头特征到达后沿区域。

[0111] 当所述车头特征到达所述后沿区域时,记录当前图像的帧数作为结束帧数,跟踪停止。

[0112] 其中,判断所述车头特征是否到达后沿区域的步骤S3,可包括:每一帧图像中出 现所述车头特征时,对其所在行序号进行记录,比较所述行序号与所述后沿区域起始行的 行序号,从而判断所述车头特征是否到达后沿区域。

[0113] 例如,所述预定区域包括N行,其序号沿车辆行进的方向分别对应为从1到N,所述后沿区域起始行的行序号为m,当前一帧所述车头特征位于nl行,当前所述车头特征位 于n2行,且nl < m < n2 < N时,可获悉所述车头特征到达所述后沿区域。在其它的实施 例中,当在前一帧图像中找到所述车头特征,其所在行序号为π3,且n3 >m,而在当前帧图 像中找不到所述车头特征时,也可判定所述车头特征到达所述预定区域的后沿区域。

[0114] 在车头特征到达所述后沿区域时,执行步骤S4,进一步判断车头特征是否属于车 头。具体地,步骤S4可包括:判断后沿区域与背景差异较大的行数是否大于第一行数阈值。 若是,则所述车头特征属于车头。具体来说,所述后沿区域可为预定区域内,距离后到达的 底边第三设定行数的区域。所述第三设定行数可为预定区域所包括行数的1/5-1/2中的任 意值,在具体实施例中,可为10行至30行中的任意值,例如13行。

[0115] 通过执行步骤Sl至S4,可以根据识别辅助信息检测出图像中是否出现车头。当检 测出图像中出现车头,执行步骤D4,对后续图像进行检测并生成道路交通信息参数。参考图 5,具体地,可包括:

[0116] 进行步骤S5,判断车尾是否离开所述预定区域。当车尾离开所述预定区域时,执行 步骤S6 ;当车尾未离开所述预定区域,返回步骤S5,继续对下一帧图像进行检测。

[0117] 在具体实现中,所述步骤S5可通过判断所述车尾是否离开所述后沿区域来实现, 可包括:

[0118] 根据所述预定区域内的交通限速,获得设定帧数;自所述车头到达所述后沿区域 的那一帧起,记录帧数;当到达所述设定的帧数后,在之后每一帧所述后沿区域内,通过将 每一行的边缘点数目与第二边缘阈值进行比较,以及将与背景差异较大的行数与第二行数 阈值进行比较,当所述每一行的边缘点数目均低于第二边缘阈值,且与背景差异较大的行 数低于第二行数阈值时,判定车尾离开所述后沿区域;反之,则为车尾未离开所述后沿区 域。

[0119] 其中,所述后沿区域可为在预定区域内距离后底边第四设定行数的范围,所述第 四设定行数可为预定区域所包括行数的1/5-4/5中的任意值,在具体实施例中,可为10行 至50行中的任意值,例如12行、20行、30行。

[0120] 在具体实施中,比较所述每一行边缘点数目与第二边缘阈值,以及所述与背景差 异较大的行数与第二行数阈值时,可设置不同的后沿区域范围,以获得更好的测试结果。例 如,当比较所述与背景差异较大的行数时,所述后沿区域可为在预定区域内距离后底边第 五设定行数的范围。所述第四设定行数可与所述第五设定行数相同,也可与所述第五设定 行数不相同。

[0121] 在其它的实施例中,所述判断车尾是否离开所述预定区域还可包括通过帧差方法 来实现,具体来说,可包括:根据所述预定区域内的限速,获得设定帧数;自所述车头到达 所述后沿区域的帧开始,经过所述设定的帧数后,开始判断帧差低于第一帧差阈值的连续 帧数是否大于第一帧数阈值:如果是,则为车尾离开所述后沿区域,反之,则为车尾未离开 所述后沿区域。

[0122] 步骤S6当车尾到达所述后沿区域,可生成道路交通信息参数。在不同的实际应用 中,可根据需要,生成不同的道路交通信息参数。

[0123] 在图5所示的实施例中,可以根据前面记录的车头信息和/或车尾信息进行计算, 获得某些种类的道路交通参数。但是,发明人注意到,此种方式下,由于车头特征的判别可能受到干扰信息的影响,其结果不可避免存在一些偏差。

[0124] 因此,为降低误检测率,在本发明的其他实施例中,可以采取一些措施来剔除干扰 信息的影响。具体地,参考图8,剔除干扰信息的过程包括:

[0125] 步骤S610,判断所述车头特征是否由干扰信息所造成,如果是,对下一帧图像进行 扫描;如果不是,进入步骤S620,判断所述车头特征是否属于车头。

[0126] 具体来说,参考图9,步骤S610判断所述车头特征是否由干扰信息所造成,可包 括:

[0127] 步骤S601,判断所述车头特征是否属于前一次所记录的车辆。具体来说,可通过判 断前一次所记录车辆的车尾是否已经离开后沿区域实现。其中,所述后沿区域可为预定区 域内,距离车辆后到达的底边第二设定行数的区域。如果所述车头特征属于前一次所记录 的车辆,对下一帧图像进行扫描;如果所述车辆与前一次所记录的车辆不是同一辆车,进入 步骤S602。

[0128] 具体来说,步骤S601可包括:通过比较所述后沿区域的图像与所保存的背景对应 区域的图像是否相似、以及与之前连续多帧图像的对应区域是否相似,判断前一次所记录 车辆的车尾是否已经离开所述后沿区域。如果相似,那么所述后沿区域不存在运动物体,则 前一次所记录车辆的车尾已经离开所述后沿区域;否则,则前一次所记录车辆的车尾未离 开所述预定区域。

[0129] 步骤S601还可包括:判断所述后沿区域每一行的边缘点数目是否均小于第一边 缘阈值,如果均小于,那么前一次所记录车辆的车尾已经离开所述后沿区域;否则前一次所 记录车辆的车尾还没有离开所述后沿区域。

[0130] 其中,所述比较后沿区域的图像是否与所保存的背景相似,可包括:计算所述后沿 区域的图像和所保存背景对应区域的图像的差异。所述比较后沿区域的图像与连续多帧图 像的对应区域是否相似,可包括:计算所述后沿区域的图像和其之前连续多帧图像的对应 区域的帧差。具体地,可采用现有技术中的帧差算法,在此不再赘述。

[0131] 步骤S602,判断相邻车道中的所述预定区域中是否有车辆经过。在具体实施中,可 同时对多个车道的视频信号进行处理,通过对相邻车道中所述预定区域的检测,判断相邻 车道中的所述预定区域是否有车辆经过:当相邻车道中的所述预定区域无车辆经过,判定 所述车头特征不是由干扰信息造成,进入步骤S620,判断所述车头特征是否属于车头;当 相邻车道中的所述预定区域有车辆经过,进入步骤S603。

[0132] 步骤S603,判断所记录的车头特征是否属于其它车道中车辆的阴影或遮挡。如 果所记录的车头特征属于其它车道中车辆的阴影或遮挡,返回扫描下一帧图像的边缘点数 目,如果所记录的车头特征不属于其它车道中车辆的阴影或遮挡,判定所述车头特征不是 由干扰信息造成,进入步骤S620,判断所述车头特征是否属于车头。

[0133] 其中,所述阴影是指,当其它车道中有车辆时,所述预定区域内所记录的车头特征 属于其它车道中车辆的阴影。所述遮挡是指,其它车道的车辆跨道行使,或者由于拍摄角度 的影响,造成部分所述预定区域被其它车辆覆盖,致使所述预定区域内检测出所述车头特 征。

[0134] 具体来说,判断车头特征是否属于遮挡或者阴影,可包括在所述预定区域中设置 遮挡辅助线,所述遮挡辅助线沿车辆行驶方向,跨越所述预定区域的两底边,将所述预定区域隔成有效区域、冗余区域,其中,靠近产生阴影或遮挡的车道一侧的区域为冗余区域,另 一侧区域为有效区域。对所述有效区域内的图像进行检测,判断所述车头特征是否属于遮 挡或者阴影。其中,所述有效区域占所述预定区域的面积比可在50% -90%。

[0135] 参考图10,生成道路交通信息参数的过程可包括:步骤S7,根据所述图像中出现 车头的检测结果,统计车流量。具体来说,可包括:初始统计时,车流量计数为零;每次判断 得到所述车头特征确实属于车头时,车流量计数加1。

[0136] 参考图11,生成道路交通信息参数的过程可包括:步骤S8,根据所述对车头的检 测结果,计算所述检测车辆的行驶速度。具体来说,可包括:当判断所述车头特征到达所述 后沿区域时,根据所述起始帧数的图像中的车头特征行序号,即起始行序号S1,和结束帧数 的图像中的车头特征行序号,即结束行序号&,并根据所述预定区域的前、后底边间距H,所 包含总行数Z,计算出所述车头特征经过的实际距离D为:

[0137]

Figure CN101510356BD00191

[0138] 由于连续两帧之间的间隔时间可根据视频图像的采集速率确定,因此可根据两帧 图像各自的所记录帧数,获得两帧图像之间的时间间隔。例如,当所述视频图像的采集速率 为25帧/秒,每两帧图像之间的时间间隔为40毫秒。则根据起始帧数a和结束帧数b,可 获得对应的时间间隔t。

[0139] 以及根据所述时间间隔t和所述经过的实际距离D,可获得该车在所述预定区域 的平均速度V为:

[0140]

Figure CN101510356BD00192

[0141] 在一个统计周期内,根据所有车辆的平均速度,可计算出该统计周期内的平均车 辆速度。

[0142] 在另外的实施方式中,参考图12,生成道路交通信息参数的过程可包括:步骤S9, 根据所述对后续图像的检测结果,判定所述检测车辆所属的类别。具体来说,可包括:根据 起始帧数%和结束帧数b1;以及所述起始帧数的图像中的车头特征行序号,即起始行序号 S1',和结束帧数的图像中的车头特征行序号,即结束行序号,接着,计算该车通过所述 预定区域后沿的时间间隔、以及平均速度V1,接着计算该车车长L :

[0143] L = V1=Kt1

[0144] 将车长计算结果与常规车辆车长比较,根据比较结果,将该车区分为大型车、中型 车、小型车中的一类。

[0145] 此外,在获得上述道路交通信息参数的基础上,参考图13,生成道路交通信息参数 的过程还可包括:步骤S10,计算车辆间距以及车头时距。

[0146] 具体可包括:所述计算车辆间距可包括:根据前后相邻、依次经过所述预定区域 的两辆车的检测结果,计算前后两辆车的车辆间距,具体来说,包括:根据前一辆车的车尾 离开所述后沿区域的时刻为、,后一辆车的车头到达所述后沿区域的时刻为t2,以及后面 一辆车的速度V' ”计算前后两辆车的车辆间距S:

[0147]

[0148] 在一个统计周期内,根据所有前后两辆车的车辆间距,即可计算出该统计周期内 的平均车辆间距。[0149] 所述车头时距可包括:根据前后相邻、依次经过所述预定区域的两辆车的检测结 果,计算所述两车的车头时距。具体来说,包括:前一辆车的车头到达所述后沿区域的时刻 为t'工,后一辆车的车头到达所述后沿区域的时刻为t' 2,则这两辆车的车头时距Htl为:

ho=t2-t1

[0150] 在一个统计周期内,根据所有前后两辆车的车头时距,即可计算出该统计周期内 的平均车头时距。

[0151] 与现有的视频检测技术相比,本发明视频检测方法和视频检测系统,具有如下优点

[0152] 通过在视频检测图像中划定检测区域,扫描该区域内的图像,并对所述图像进行 数据处理、识别和检测,获得关于车辆的交通信息参数,实现对车辆的全视频检测,并且即 使在恶劣天气,例如雨、雾、雪等,以及道路交通情况比较复杂,例如车辆跨线行驶或者行驶 过程中突然变道或车流量较大等,的各种情况下,仍具有较好的检测精度。

[0153] 通过对所述车头的判别,判定所检测到的是否确实为车辆,避免了由于前次所记 录的车辆或其它车的部分或其它非车辆的物体存在于所述预定区域而造成误检测。

[0154] 通过所述检测结果中所包括的记录帧数、所述车头特征所在行序号等参数,可进 行各种组合和计算,从而获得多种交通信息参数。

[0155] 通过所述图像获取单元、所述通信单元和包括至少一块嵌入式板卡的所述数据处 理单元,可对图像进行不停顿地检测、传输和数据处理,并且通过显示单元,还可实现对道 路交通状况实时的监控。

[0156] 参考图14,本发明还提供了一种交通视频的数据处理装置,包括:信息提取单元 501,用于对所述视频流的每一帧图像中进行扫描,从中提取识别辅助信息;车头识别单元 502,用于根据所述识别辅助信息识别图像中是否出现车头;后续检测单元503,用于在图 像中出现车头的情况下,基于后续图像的识别辅助信息,对后续图像进行检测;信息参数生 成单元504,用于根据车头识别单元502识别结果,以及后续检测单元503检测结果,生成道 路交通信息参数。

[0157] 具体来说,参考图15,所述信息提取单元501可包括:特征提取单元601,用于对每 一帧图像中的预定区域进行逐行扫描,获得识别辅助信息;存储单元602,用于保存特征提 取单元601所获得的识别辅助信息。

[0158] 其中,特征提取单元601进一步可包括边缘检测单元、帧差检测单元、和背景差异 检测单元。其中,边缘检测单元用于通过边缘检测获得预定区域内每一行的边缘点;帧差检 测单元用于计算相邻帧图像之间的帧差,获得帧差较大的点;背景差异检测单元用于计算 当前图像预定区域与背景预定区域中各点的差异,获得差异较大的点。具体来说,特征提取 单元601可包括运算器和比较器。

[0159] 其中,存储单元602用于对特征提取单元601所获得的结果进行保存。

[0160] 参考图16,车头识别单元502可包括设定行数计算单元701,用于根据预定区域内 的交通限速,计算对预定区域内比较区域以及后沿区域的大小进行标识的设定行数;车头 特征处理单元702,用于检测是否出现车头特征,并且当出现所述车头特征时,记录其相关 信息以及判断所述车头特征是否到达所述预定区域的后沿区域;车头判别单元703,用于 根据车头特征处理单元702的结果,当出现所述车头特征且所述车头特征到达所述预定区

20域的后沿区域时,判断所述车头特征是否属于车头。

[0161] 其中,设定行数计算单元701可获得多个设定行数的值,用于在不同的处理过程 中,在所述预定区域内设置出不同大小的比较区域、以及不同大小的后沿区域,使检测更符 合实际情况,从而使检测结果更为准确。

[0162] 参考图17,车头特征处理单元702可包括:检测单元801,用于检测是否出现车头 特征;信息记录单元802,用于根据检测单元801的检测结果,当出现所述车头特征时,记录 每一帧所述车头特征的相关信息;到达后沿判别单元803,用于根据检测单元801的检测结 果,当出现所述车头特征时,对出现所述车头特征的图像之后的每一帧图像判别所述车头 特征是否到达后沿区域。

[0163] 具体来说,检测单元801可通过对图像比较区域中每一行的边缘点数目和第一边 缘阈值进行比较,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所 述行出现车头特征。所述比较区域,可为以上一帧图像中的车头所在行数为起始行,按照车 辆行驶的方向,距离起始行设定行数计算单元701所获得的第一设定行数的区域。

[0164] 信息记录单元802所记录的所述车头特征的相关信息可包括所述车头特征的图 像的帧数以及行序号。具体实现中,当开始出现所述车头特征时,信息记录单元802可记录 图像的帧数以及所述车头特征的行序号;在对后续帧图像的处理中,信息记录单元802保 存每一帧图像中所述车头特征出现的行序号。

[0165] 到达后沿判别单元803具体来说,根据设定行数计算单元701获得后沿区域的大 小以及所述后沿区域的起始行的行序号,并且根据信息记录单元802获得每一帧图像中所 述车头特征的行序号,通过比较两者大小,判断所述车头特征是否到达图像的预定区域。

[0166] 车头判别单元703可通过判断后沿区域与背景差异较大的行数是否大于行数阈 值,若是,则所述车头特征属于车头。具体来说,还可进一步包括背景差异判别单元,用于计 算后沿区域内,和背景差异较大的行数;计数单元,对背景差异判别单元所获得的和背景差 异较大的行数进行计数;以及比较单元,用于将计数单元所获得的行数与第一行数阈值进 行比较。

[0167] 其中,在具体实施例中,车头判别单元703还可包括干扰判别单元,用于判别所述 车头特征是否为干扰信息。所述干扰判别单元可包括:重复记录判别单元和邻域干扰判别 单元。

[0168] 重复记录判别单元用于判别所述车头特征是否属于前一次所记录的车辆。根据特 征提取单元601所获得的边缘点数目、帧差较大的点的数目、与背景差异较大的点的数目 中的一种或多种识别辅助信息,通过比较单元,分别比较所述识别辅助信息与对应的阈值, 判别所述车头特征是否属于前一次所记录的车辆。

[0169] 邻域干扰判别单元用于判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。 具体来说,参考图18,可包括通知单元901和阴影遮挡判别单元902

[0170] 通知单元901用于对相邻车道是否有车经过进行侦测,当相邻车道是否有车经过 时,发出通知。

[0171] 阴影遮挡判别单元902接收到通知单元901的通知后,开始工作,其过程包括:通 过提取所述预定区域中有效区域的识别辅助信息,也就是说,提取所述有效区域内边缘点、 帧差较大的点的数目、与背景差异较大的点的数目等中一种或几种识别辅助信息,将所获

21得的识别辅助信息与对应的阈值进行比较,判别所述车头特征是否属于相邻区域车辆的阴 影或遮挡。阴影遮挡判别单元902进一步还可包括数据提取单元,用于提取有效区域的识 别辅助信息,以及比较单元,用于比较所述数据提取单元获得的识别辅助信息与对应的阈 值,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。

[0172] 后续检测单元503的后续检测可包括判别车尾是否离开后沿区域,具体来说,可 包括:设定帧数计算单元,用于根据所述预定区域内的交通限速,获得设定帧数;边缘点计 数单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像 中后沿区域的边缘点数目;行数记录单元,用于对自所述车头到达所述后沿区域的那一帧 起,统计所述设定帧数之后的图像中后沿区域内与背景差异较大的行数;比较单元,将边缘 点计数单元所获得的边缘点数目与第二边缘阈值进行比较,并将行数记录单元所获得的行 数与第二行数阈值进行比较,根据比较结果,判别车尾是否离开后沿区域。

[0173] 信息参数生成单元504可根据所生成的各种道路交通信息参数,分别包括:车流 量计算单元,车速计算单元,车型计算单元,车距计算单元。

[0174] 具体来说,车流量计算单元用于根据车头判别单元703的结果,每次判断得到所 述车头特征确实属于车头时,车流量计数加1。

[0175] 车速计算单元、车型计算单元以及车距计算单元,用于根据信息记录单元802所 记录的结果,分别对车辆的行驶速度、车辆车型以及车辆间距和时距进行计算。

[0176] 虽然本发明已通过较佳实施例说明如上,但这些较佳实施例并非用以限定本发 明。本领域的技术人员,在不脱离本发明的精神和范围内,应有能力对该较佳实施例做出各 种改正和补充,因此,本发明的保护范围以权利要求书的范围为准。

Claims (51)

1. 一种视频检测方法,其特征在于,包括:获取道路交通视频流,将所述获取的视频流传输至处理设备;处理设备对视频流的每一帧图像中的预定区域进行逐行扫描,提取识别辅助信息,所 述识别辅助信息包括边缘点数目,所述预定区域为在图像中针对每条车道所选定的区域;在图像的所述预定区域内选取比较区域,若所述比较区域内某一行的边缘点数目大于 第一边缘阈值时,则认为所述行出现车头特征;判别所述车头特征是否属于车头,如果是,则对后续图像进行检测并生成道路交通信 息参数。
2.如权利要求1所述的视频检测方法,其特征在于,所述获得识别辅助信息还包括获 得帧差较大的点的数目、与背景差异较大的点的数目。
3.如权利要求1所述的视频检测方法,其特征在于,所述从视频流的每一帧图像中提 取识别辅助信息的过程还包括背景更新。
4.如权利要求2所述的视频检测方法,其特征在于,所述在图像的所述预定区域内选 取比较区域的过程包括:根据所述预定区域内的交通限速获得第一设定行数;将上一帧图 像中的车头特征所在行作为比较区域的开始行,沿车辆行驶的方向将距开始行第一设定行 数的行作为比较区域的结束行。
5.如权利要求1所述的视频检测方法,其特征在于,所述判别所述车头特征是否属于 车头的过程之前,还包括:记录车头特征在各帧图像中的行序号以及开始出现所述车头特征的图像的帧数,将所 述开始出现所述车头特征的图像的帧数作为起始帧数,并根据所述行序号判断所述车头特 征是否到达后沿区域;在车头特征到达后沿区域后,记录当前图像的帧数作为结束帧数,进 行所述车头特征是否属于车头的判别。
6.如权利要求5所述的视频检测方法,其特征在于,所述进行所述车头特征是否属于 车头的判别的过程之前还包括:判断所述车头特征是否由干扰信息所造成,如果是,对下一帧图像进行扫描;如果不 是,判断所述车头特征是否属于车头。
7.如权利要求6所述的视频检测方法,其特征在于,所述当车头特征不是由干扰信息 造成时,判断车头特征是否属于车头,包括:判断后沿区域内与背景差异较大的行数是否大 于第一行数阈值;若是,所述车头特征属于车头。
8.如权利要求7所述的视频检测方法,其特征在于,所述后沿区域为预定区域内,距离 后到达的底边第三设定行数的区域。
9.如权利要求6所述的视频检测方法,其特征在于,所述判断车头特征是否由干扰信 息造成的过程包括:所述车头特征是否属于前一次所记录的车辆,如果是,对下一帧图像进行扫描;当所述车头特征不属于前一次所记录的车辆时,判断相邻车道中的所述预定区域中是 否有车辆经过,如果有,判断所记录的车头特征是否属于其它车道中车辆的阴影或遮挡;当所述车头特征属于其它车道中车辆的阴影或遮挡,对下一帧图像进行扫描;当相邻 车道中的所述预定区域中无车辆经过,或者相邻车道中的所述预定区域中有车辆经过,但 所述车头特征不属于其它车道中车辆的阴影或遮挡,所述车头特征不是由干扰信息造成的。
10.如权利要求9所述的视频检测方法,其特征在于,所述判断车头特征是否属于前一 次所记录的车辆,包括:判断前一次所记录的车辆的车尾是否已经离开后沿区域,如果是, 所述车头特征不属于前一次所记录的车辆;如果不是,所述车头特征属于前一次所记录的车辆。
11.如权利要求10所述的视频检测方法,其特征在于,所述后沿区域为预定区域内,距 离后到达的底边第二设定行数的区域。
12.如权利要求10所述的视频检测方法,其特征在于,所述判断前一次所记录的车辆 的车尾是否已经离开后沿区域,包括:比较所述后沿区域的图像与所保存的背景中对应区 域的图像是否相似;比较所述后沿区域的图像与之前连续多帧图像中对应区域的图像是否 相似;比较所述后沿区域每一行的边缘点数目是否均小于第一边缘阈值。
13.如权利要求12所述的视频检测方法,其特征在于,所述比较后沿区域的图像与所 保存的背景是否相似,包括:计算所述后沿区域的图像和所保存背景对应区域的图像的差已
14.如权利要求9所述的视频检测方法,其特征在于,所述判断所记录的车头特征是否 属于阴影或遮挡,包括:设置遮挡辅助线,所述遮挡辅助线沿车道方向将所述预定区域分成左右两个区域,靠 近产生阴影或遮挡的车道一侧的区域为冗余区域,另一侧区域为有效区域;对所述有效区域内的图像进行检测。
15.如权利要求14所述的视频检测方法,其特征在于,所述有效区域占所述预定区域 的面积比在50% -90%。
16.如权利要求10所述的视频检测方法,其特征在于,所述对后续图像进行检测的过 程包括:判断所述车辆的车尾是否离开所述预定区域。
17.如权利要求16所述的视频检测方法,其特征在于,所述判断所述车辆的车尾是否 离开所述预定区域的过程包括:根据所述预定区域内的交通限速,获得设定帧数;自所述车头到达所述后沿区域的那一帧起,记录帧数;当到达所述设定的帧数后,在之 后每一帧所述后沿区域内,比较每一行的边缘点数目与第二边缘阈值,以及比较与背景差 异较大的行数与第二行数阈值,当所述每一行的边缘点数目低于第二边缘阈值,且与背景 差异较大的行数低于第二行数阈值时,确定车尾离开所述后沿区域;反之,则为车尾未离开 所述后沿区域。
18.如权利要求17所述的视频检测方法,其特征在于,比较每一行的边缘点数目与第 二边缘阈值时,所述后沿区域为预定区域内,距离后到达的底边第四设定行数的区域;所述 比较与背景差异较大的行数时,所述后沿区域为预定区域内,距离后到达的底边第五设定 行数的区域。
19.如权利要求18所述的视频检测方法,其特征在于,所述第四设定行数为预定区域 所包括行数的1/5-4/5,所述第五设定行数为预定区域所包括行数的1/5-4/5。
20.如权利要求19所述的视频检测方法,其特征在于,所述第四设定行数与所述第五 设定行数相同。
21.如权利要求16所述的视频检测方法,其特征在于,所述判断车辆的车尾是否离开 所述预定区域的过程包括:根据所述预定区域内的限速,获得设定帧数;自所述车头到达所述后沿区域的帧开始,经过所述设定的帧数后,判断所述帧差低于 第一帧差阈值的连续帧数是否大于第一帧数阈值:如果是,则为车尾离开所述后沿区域,反 之,则为车尾未离开所述后沿区域。
22.如权利要求1所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:当所述识别辅助信息检测到图像中出现车头,统计车流量。
23.如权利要求22所述的视频检测方法,其特征在于,所述统计车流量的过程包括: 初始统计时,车流量计数为零;每一次判断所述车头特征确实属于车头时,车流量计数加1。
24.如权利要求1所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:当所述识别辅助信息检测到图像中出现车头,计算所述检测车辆的行驶速度。
25.如权利要求5所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:根据所述起始帧数的图像中的车头特征行序号和结束帧数的图像中的车头特征行序 号,并根据所述预定区域前、后底边间距,计算所述车头特征经过的实际距离; 根据所述车头特征起始帧数和结束帧数,获得所述车头特征运动的实际时间; 根据所述实际距离和所述实际时间,计算所述车辆的平均速度。
26.如权利要求1所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:根据所述对后续图像的检测结果,分析所述检测车辆所属的类别。
27.如权利要求5所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:根据所述车头特征在所述预定区域中起始行序号和结束行序号,计算所述车辆通过所 述预定区域的平均速度;然后,根据所述车头到达所述后沿区域的时刻以及车尾离开所述后沿区域的时刻,以 及平均速度,计算所述车辆的车长;将所述车长的计算结果与常规车辆车长比较,根据比较结果,将该车区分为大型车、中 型车、小型车中的一类。
28.如权利要求1所述的视频检测方法,其特征在于,所述生成道路交通信息参数的过 程包括:当所述识别辅助信息检测到图像中出现车头,计算车辆间距和车头时距。
29. —种交通视频的数据处理装置,其特征在于,包括:信息提取单元,用于采集视频流,并对视频流的每一帧图像中的预定区域进行逐行扫 描,提取识别辅助信息,所述识别辅助信息包括边缘点数目,所述预定区域为在图像中针对 每条车道所选定的区域;车头识别单元,在图像的所述预定区域内选取比较区域,若所述比较区域内某一行的 边缘点数目大于第一边缘阈值时,则认为所述行出现车头特征;而后判断所述车头特征是 否属于车头,如是,则认为图像中出现车头;后续检测单元,用于在图像中出现车头的情况下,基于后续图像的所述识别辅助信息,测;信息参数生成单元,用于根据所述车头识别单元的识别结果,以及所述后续检测单元 的检测结果,生成道路交通信息参数。
30.如权利要求27所述的数据处理装置,其特征在于,所述信息提取单元包括: 特征提取单元,用于对每一帧图像中的预定区域进行逐行扫描,获得识别辅助信息; 存储单元,用于保存所述特征提取单元所获得的识别辅助信息。
31.如权利要求观所述的数据处理装置,其特征在于,所述特征提取单元包括: 边缘检测单元,用于通过边缘检测,获得预定区域内每一行的边缘点; 帧差检测单元,用于计算相邻帧图像之间的帧差,获得帧差较大的点;背景差异检测单元,用于计算当前图像预定区域与背景预定区域中的图像差异,获得 差异较大的点。
32.如权利要求27所述的数据处理装置,其特征在于,所述车头识别单元包括:设定行数计算单元,用于根据预定区域内的交通限速,计算对预定区域内比较区域以 及后沿区域的大小进行标识的设定行数;车头特征处理单元,用于检测是否出现车头特征,并且当出现所述车头特征时,记录其 相关信息以及判断所述车头特征是否到达所述预定区域的后沿区域;车头判别单元,用于根据所述车头特征处理单元的结果,当出现所述车头特征且所述 车头特征到达所述预定区域的后沿区域时,判断所述车头特征是否属于车头。
33.如权利要求30所述的数据处理装置,其特征在于,所述车头特征处理单元包括: 检测单元,用于检测是否出现车头特征;信息记录单元,用于根据检测单元的检测结果,当出现所述车头特征时,记录每一帧所 述车头特征的相关信息;到达后沿判别单元,用于根据所述检测单元的检测结果,当出现所述车头特征时,对出 现所述车头特征的图像之后的每一帧图像判别所述车头特征是否到达后沿区域。
34.如权利要求31所述的数据处理装置,其特征在于,所述检测单元通过对图像比较 区域中每一行的边缘点数目和第一边缘阈值进行比较,若所述比较区域内某一行的边缘点 数目大于第一边缘阈值时,则认为所述行出现车头特征。
35.如权利要求32所述的数据处理装置,其特征在于,所述比较区域具体为以上一帧 图像中的车头特征所在行数为起始行,按照车辆行驶的方向,距离所述起始行为所述设定 行数计算单元所获得的第一设定行数的区域。
36.如权利要求31所述的数据处理装置,其特征在于,所述信息记录单元记录所述车 头特征的相关信息包括:记录所述车头特征出现和离开的图像的帧数,以及所述两帧图像 之间每一帧图像中出现所述车头特征的行序号。
37.如权利要求31所述的数据处理装置,其特征在于,所述到达后沿判别单元,根据所 述设定行数计算单元所获得的设定行数以及后沿区域的起始行的行序号,并且根据所述信 息记录单元获得每一帧图像中所述车头特征的行序号,比较两者大小,判断所述车头特征 是否到达图像的预定区域。
38.如权利要求30所述的数据处理装置,其特征在于,所述车头判别单元包括: 背景差异判别单元,用于计算后沿区域内,和背景差异较大的行数;计数单元,对所述背景差异判别单元所获得的和背景差异较大的行数进行计数; 比较单元,用于将计数单元所获得的行数与第一行数阈值进行比较。
39.如权利要求30所述的数据处理装置,其特征在于,所述车头判别单元包括: 干扰判别单元,用于判别所述车头特征是否为干扰信息;判别单元,当所述干扰判别单元判断所述车头特征不为干扰时,判断所述车头特征是 否属于车头。
40.如权利要求37所述的数据处理装置,其特征在于,所述干扰判别单元包括: 重复记录判别单元,用于判别所述车头特征是否属于前一次所记录的车辆; 邻域干扰判别单元,用于判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。
41.如权利要求38所述的数据处理装置,其特征在于,所述重复记录判别单元根据所 述车头特征处理单元所获得的边缘点数目、帧差较大的点的数目、与背景差异较大的点的 数目中的一种或多种识别辅助信息,比较所述识别辅助信息与对应的阈值,判别所述车头 特征是否属于前一次所记录的车辆。
42.如权利要求40所述的数据处理装置,其特征在于,所述邻域干扰判别单元包括: 通知单元,用于对相邻车道是否有车经过进行侦测,当相邻车道有车经过时,发出通知;阴影遮挡判别单元,用于当接收到所述通知单元的通知后,通过提取有效区域中的识 别辅助信息,将所获得的识别辅助信息与对应的阈值进行比较,判别所述车头特征是否属 于相邻区域车辆的阴影或遮挡。
43.如权利要求42所述的数据处理装置,其特征在于,所述判别单元包括: 数据提取单元,用于提取有效区域的识别辅助信息;比较单元,用于比较所述数据提取单元获得的识别辅助信息与对应的阈值,判别所述 车头特征是否属于相邻区域车辆的阴影或遮挡。
44.如权利要求四所述的数据处理装置,其特征在于,所述后续检测单元包括: 设定帧数计算单元,用于根据所述预定区域内的交通限速,获得设定帧数;边缘点计数单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧 数之后的图像中后沿区域的边缘点数目;行数记录单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数 之后的图像中后沿区域内与背景差异较大的行数;比较单元,将所述边缘点计数单元所获得的每一行边缘点数目与第二边缘阈值进行比 较,并将所述行数记录单元所获得的行数与第二行数阈值进行比较,根据比较结果,判别车 尾是否离开后沿区域。
45.如权利要求四所述的数据处理装置,其特征在于,所述信息参数生成单元包括:车 流量计算单元,用于根据所述车头识别单元的结果,每次判断得到车头时,车流量计数加1。
46.如权利要求33所述的数据处理装置,其特征在于,所述信息参数生成单元包括:车 速计算单元、车型计算单元以及车距计算单元中的一个或多个单元,用于根据所述信息记 录单元记录的信息,分别对车辆的行驶速度、车辆车型以及车辆间距和时距进行计算。
47. 一种包括如权利要求四至权利要求46任意一项所述的数据处理装置的视频检测 系统,其特征在于,还包括:视频获取装置,用于获取道路交通视频流;通信装置,用于在所述视频获取装置和数据处理装置之间传输所述视频流。
48.如权利要求47所述的视频检测系统,其特征在于,所述视频获取装置包括一个或 多个摄像机。
49.如权利要求48所述的视频检测系统,其特征在于,所述视频检测系统对同一方向 的多个车道采用一台所述摄像机进行拍摄。
50.如权利要求47所述的视频检测系统,其特征在于,所述通信装置包括视频传输线, 或者光端机。
51.如权利要求47所述的视频检测系统,其特征在于,还包括,显示单元,用于显示从 所述数据处理装置接收到的视频图像以及数据处理过程的信息。
CN200910046602XA 2009-02-24 2009-02-24 视频检测系统及其数据处理装置、视频检测方法 CN101510356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910046602XA CN101510356B (zh) 2009-02-24 2009-02-24 视频检测系统及其数据处理装置、视频检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910046602XA CN101510356B (zh) 2009-02-24 2009-02-24 视频检测系统及其数据处理装置、视频检测方法

Publications (2)

Publication Number Publication Date
CN101510356A CN101510356A (zh) 2009-08-19
CN101510356B true CN101510356B (zh) 2011-07-20

Family

ID=41002746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910046602XA CN101510356B (zh) 2009-02-24 2009-02-24 视频检测系统及其数据处理装置、视频检测方法

Country Status (1)

Country Link
CN (1) CN101510356B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842036A (zh) * 2011-11-30 2012-12-26 三峡大学 面向船闸视频监控的智能多目标检测方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622575A (zh) * 2011-01-31 2012-08-01 日电(中国)有限公司 基线带视频监控系统和监控方法
CN102509446A (zh) * 2011-10-19 2012-06-20 北京世纪高通科技有限公司 从用户角度自动评价交通信息的装置和方法
CN102496276B (zh) * 2011-12-01 2013-08-21 青岛海信网络科技股份有限公司 一种高效车辆检测方法
CN103388746B (zh) * 2012-05-08 2015-11-25 上海化学工业区公共管廊有限公司 视频监控系统
CN102915432B (zh) * 2012-09-11 2016-08-31 北京铁道工程机电技术研究所有限公司 一种车载微机图像视频数据提取方法及装置
CN105046954B (zh) * 2015-06-18 2017-10-17 无锡华通智能交通技术开发有限公司 基于视频智能分析的路口通行状态动态检测系统及方法
CN106448179A (zh) * 2016-09-12 2017-02-22 河海大学 一种高速公路交通智能分析系统
CN108460968A (zh) * 2017-02-22 2018-08-28 中兴通讯股份有限公司 一种基于车联网获取交通路况信息的方法及装置
CN109426788B (zh) * 2017-08-31 2020-08-28 浙江宇视科技有限公司 排队长度检测方法、装置及服务器
CN107909813A (zh) * 2017-10-09 2018-04-13 宁波工程学院 一种道路车辆车速及车间时距检测系统及方法
CN108492605A (zh) * 2018-05-21 2018-09-04 苏州纽克斯电源技术股份有限公司 一种路口车道导航方法及装置
CN109635870A (zh) * 2018-12-11 2019-04-16 百度在线网络技术(北京)有限公司 数据处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1513103A2 (en) * 2003-08-11 2005-03-09 Hitachi, Ltd. Image processing system and vehicle control system
JP2006253787A (ja) * 2005-03-08 2006-09-21 Aisin Seiki Co Ltd 画像入力装置及びこの装置を備えた車両の乗員監視装置
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN1909012A (zh) * 2005-08-05 2007-02-07 同济大学 一种用于交通信息实时采集的视频图像处理方法及系统
CN1987357A (zh) * 2006-12-26 2007-06-27 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1513103A2 (en) * 2003-08-11 2005-03-09 Hitachi, Ltd. Image processing system and vehicle control system
JP2006253787A (ja) * 2005-03-08 2006-09-21 Aisin Seiki Co Ltd 画像入力装置及びこの装置を備えた車両の乗員監視装置
CN1909012A (zh) * 2005-08-05 2007-02-07 同济大学 一种用于交通信息实时采集的视频图像处理方法及系统
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN1987357A (zh) * 2006-12-26 2007-06-27 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
CN101251927A (zh) * 2008-04-01 2008-08-27 东南大学 基于视频技术的车辆检测与跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842036A (zh) * 2011-11-30 2012-12-26 三峡大学 面向船闸视频监控的智能多目标检测方法
CN102842036B (zh) * 2011-11-30 2015-07-15 三峡大学 面向船闸视频监控的智能多目标检测方法

Also Published As

Publication number Publication date
CN101510356A (zh) 2009-08-19

Similar Documents

Publication Publication Date Title
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN103617412B (zh) 实时车道线检测方法
CN102722704B (zh) 一种融合视频动态跟踪的车牌识别方法和系统
CN103927878B (zh) 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
Bas et al. Automatic vehicle counting from video for traffic flow analysis
US5999877A (en) Traffic flow monitor apparatus
CN103236191B (zh) 一种基于视频的高速公路匝道车辆并入安全预警方法
CN100578562C (zh) 用视频监测车辆违法行为的方法
CN100507970C (zh) 基于数字摄像机的闯红灯检测系统及方法
US8175806B2 (en) Car navigation system
DE102008053472B4 (de) Objekt-Erfassungssystem
CN102902955B (zh) 一种车辆行为的智能分析方法及系统
CN103366569B (zh) 实时抓拍交通违章车辆的方法及系统
JP4534813B2 (ja) 信号制御システム、および信号制御方法
US20130266190A1 (en) System and method for street-parking-vehicle identification through license plate capturing
CN103854320B (zh) 基于激光雷达的车型自动识别方法
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
US8050459B2 (en) System and method for detecting pedestrians
CN100545867C (zh) 航拍交通视频车辆快速检测方法
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US5509082A (en) Vehicle movement measuring apparatus
CN102810250B (zh) 基于视频的多车型交通信息检测方法
Zhang et al. Video-based vehicle detection and classification system for real-time traffic data collection using uncalibrated video cameras
US5301239A (en) Apparatus for measuring the dynamic state of traffic

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
TR01 Transfer of patent right

Effective date of registration: 20170901

Address after: No. 555 Kang Hangzhou Science Park of Zhejiang province Binjiang District Qianmo road 310053

Patentee after: Hangzhou Hikvision Digital Technology Co., Ltd.

Address before: 201203 Shanghai Zhangjiang hi tech park, 1690 No. 3 Cailun Road, building second, third storey

Patentee before: Gaodewei Intelligent Traffic System Co., Ltd., Shanghai

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190614

Address after: 201203 2nd Floor, No. 77-78, 887 Lane, Zuchong Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai

Patentee after: Gaodewei Intelligent Traffic System Co., Ltd., Shanghai

Address before: 310053 Haikang Science and Technology Park, 555 Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Hikvision Digital Technology Co., Ltd.

TR01 Transfer of patent right