CN106558224B - 一种基于计算机视觉的交通智能监管方法 - Google Patents
一种基于计算机视觉的交通智能监管方法 Download PDFInfo
- Publication number
- CN106558224B CN106558224B CN201510635724.8A CN201510635724A CN106558224B CN 106558224 B CN106558224 B CN 106558224B CN 201510635724 A CN201510635724 A CN 201510635724A CN 106558224 B CN106558224 B CN 106558224B
- Authority
- CN
- China
- Prior art keywords
- target
- regulations
- image
- frame
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000011410 subtraction method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于计算机视觉的交通智能监管方法，针对车辆违章行为，采用目标跟踪算法，完成抓拍取证。相比于现有的交通智能监管方法，本发明采用新的抓拍取证方法，扩大了监控监管范围，且具有较高的准确率。
Description
技术领域
本发明属于交通监控领域，具体来说涉及一种基于计算机视觉的交通智能监管方法。
背景技术
现如今，基于计算机视觉的智能交通监管方法得到了越来越广泛的应用。现有技术以车辆发生违章行为第一时刻的图像作为取证的主要依据，并以此图像中车辆车牌用于识别，因此对相机的分辨率有较高的要求，且限制了监控监管的有效范围。本发明采用一种新的抓拍取证方法，同等相机分辨率下，扩大了监控监管的范围，且能保证较高的准确率。
发明内容
本发明是一种基于计算机视觉的交通智能监管方法，主要针对车辆骑轧双黄线、占用导流区等违章行为，完成对其的抓拍取证。相比于现有的交通智能监管方法，本发明采用新的抓拍取证方法，扩大了监控范围，且具有较高的准确率。
具体来说，本发明采用了以下技术方案：
一种基于计算机视觉的交通智能监管方法，其特征在于，所述方法包括以下步骤：
1）通过以车道宽度为依据进行相机标定操作，获取检测所需的必要参数，完成初始化，并设定预设跟踪结束位置，其中所述预设跟踪结束位置是在相机所获取的图像中离相机足够近从而能清晰辨认车牌号的位置；
2）通过相机获取实时视频流，对每帧图像进行实时处理，其中处理步骤如下：
2.1）利用背景减除法检测当前帧内的运动目标；
2.2）检测是否有违章目标；
2.3）若没有符合条件的违章目标，则转到下一帧，继续执行步骤2.1），若检测到违章目标，则保存当前帧图像作为目标违章的取证图像1；
2.4）利用目标跟踪算法对步骤2.2）中检测到的违章目标进行跟踪，计算其在当前帧的位置及尺寸信息；
2.5）当运动目标到达位置1时，保存当前帧作为目标违章的取证图像2，其中位置1是由步骤2.2）中目标违章的初始位置和设置好的预设跟踪结束位置取中间位置得到；
2.6）当运动目标到达预设跟踪结束位置时，跟踪结束，并保存当前帧图像作为目标违章的取证图像3。
优选地，在步骤2.6）后，还包括步骤2.7）在跟踪结束后若干帧，保存当前图像作为目标违章的取证图像4，用于当图像3无法用于车牌识别时取代图像3用于车牌识别。图像3和图像4是在不同位置的图像，可以多角度相互参照。该步骤进一步保证了车牌号识别的准确性，例如在恶劣天气下、号牌污损的情况下、号牌涂改的情况下，通过不同角度的对比参照，可以对号牌更准确地识别。
进一步，在步骤2.2）中，所述违章目标是指占用导流区或骑轧车道分界线（比如实线、黄线和双黄线等）的车辆，所述检测方法包括以下步骤：
2.2a）通过步骤1）划定导流线区域或车道分界线区域，并通过以上标定获得图像上尺寸与实际尺寸的转换关系；
2.2b）通过步骤2.1）获得运动目标的位置和尺寸信息，与步骤1）中划定的区域进行是否覆盖的对比计算，从而判断目标是否违章。
更进一步，在步骤2.2）中，还包括步骤2.2c）通过步骤1）的尺寸转换关系计算违章目标的实际尺寸，判断目标是违章车辆还是行人等干扰物。如果是干扰物，则程序再转换到步骤2.1），进行下一帧识别，否则将对违章车辆进行跟踪。
进一步，步骤2.4）包括以下步骤：
2.4a）结合步骤2.2）中运动目标进入区域的方向，以目标前景区域为初始检测框；
2.4b）在初始检测框内进行强角点检测，以包含所有强角点的最小矩形作为运动目标的初始跟踪框，检测到的强角点为跟踪的初始角点；
2.4c）进入下一帧，并利用光流法对步骤2.4b）中的初始角点进行跟踪，得到新角点，将上一帧的跟踪框扩大一定范围（长宽各扩展为上一帧跟踪框的1.1-1.5倍或1.2-1.4倍，优选1.3倍），不在此范围内的新角点为无效角点，予以剔除，在范围内的则作为有效角点；
2.4d）如果步骤2.4c）中获得的有效角点数量过少，则跟踪失败，否则以包含所有新角点的最小矩形作为新一帧的目标跟踪框。
有益效果：
1. 同等相机分辨率下，有较大的监控范围；
2. 有较高的检测准确率；
3. 同等监控范围情况下，对相机的分辨率要求较低；
4. 能应对车辆骑压双黄线、占用导流区等多种违章行为。
附图说明
图1是本发明的实现操作流程图。
具体实施方式
现有技术以车辆发生违章行为第一时刻的图像作为取证的主要依据，并以此图像中车辆车牌用于识别，因此对相机的分辨率有较高的要求，且限制了监控的有效范围。本发明采用一种新的抓拍取证方法，扩大了监控的范围，且能保证较高的准确率。
本发明的实现流程如下：
1、通过以车道宽度为依据进行相机标定操作，获取检测所需的必要参数，完成初始化（仅在初次使用时需要执行的操作），其中所述必要参数，在导流区的情况下包括车道宽度、导流区宽度或尺寸或者位置等，而在车道分界线的情况下包括车道宽度和车道分界线的宽度或尺寸或者位置等；
2、通过相机获取实时视频流，对每帧图像进行实时处理，具体的处理步骤如下：
2.1）利用背景减除法检测当前帧内的运动目标；
2.2）检测是否有违章目标，比如占用导流区或骑轧双黄线的车辆，具体实施方法为：a、通过步骤1划定导流线区域或双黄线区域，并通过以上标定获得图像上尺寸与实际尺寸的转换关系；b、通过步骤2.1获得运动目标的位置、尺寸等信息，与步骤1划定的区域进行是否覆盖的对比计算，从而判断目标是否违章；c、通过步骤1的尺寸转换关系计算违章目标的实际尺寸，判断目标是违章车辆还是行人等干扰物；
2.3）若没有符合条件的违章目标，则转到下一帧，继续执行步骤2.1；否则保存当前帧图像作为目标违章的取证图像1；
2.4）利用目标跟踪算法对步骤2.2中检测到的违章目标进行跟踪，计算其在当前帧的位置及尺寸等信息，具体跟踪方法为：a、结合步骤2.2中运动目标进入区域的方向，以目标前景区域为初始检测框；b、在初始检测框内进行强角点检测，以所包含所有强角点的最小矩形作为运动目标的初始跟踪框，检测到的强角点为跟踪的初始角点；c、进入下一帧，并利用光流法对b中的初始角点进行跟踪，得到新角点，将上一帧的跟踪框扩大一定范围，例如长宽扩展为上一帧跟踪框的1.1倍、1.2倍、1.3倍、1.4倍或1.5倍，不在此范围内的新角点为无效角点，予以剔除，在范围内的为有效角点；d、步骤c中获得的有效角点数量过少，则跟踪失败，否则以包含所有新角点的最小矩形作为新一帧的目标跟踪框；
2.5）当运动目标到达位置1时，保存当前帧图像作为目标违章的取证图像2，其中位置1由步骤2.2中目标违章的初始位置和设置好的跟踪结束位置取中间位置得到；
2.6）当运动目标到达预先设置好的跟踪结束位置时，跟踪结束，清除目标跟踪框和跟踪角点等信息，并保存当前帧图像作为目标违章的取证图像3，其中跟踪结束的位置为图像中靠近相机，车牌清晰用于识别的位置；
2.7）在跟踪结束后若干帧，保存当前帧图像作为目标违章的取证图像4（当图像3无法用于车牌识别时取代其用于车牌识别）。
本发明通过获取实时视频流的方法获得处理用图像，通过触发位置拍摄取证图像1，之后对违章目标进行跟踪，在中间位置拍摄取证图像2，靠近相机的车牌清晰的位置拍摄取证图像3（用于车牌识别），再经过若干帧拍摄取证图像4的取证模式，扩大了检测范围，且具有较高的检测精度。
下面结合具体实例对本发明进一步详细说明。
1、执行本发明方法的系统由获取实时视频流的摄像机和进行图像处理的计算机两部分组成。
2、摄像机可以是枪机、高速球机等，对类型和分辨率没有特别要求，但是要求能够获取实时视频流，得到实时的图像，且要能保证在图像中靠近相机的位置的车牌图像清晰可识别。
3、摄像机采集到的实时视频流通过有线方式（如网线）或无线方式传输给计算机，用于图像处理检测违章。
4、以占用导流区的违章检测为例，安装相机时，调整相机角度，使相机视场恰好覆盖整个导流区；调整相机焦距，使图像中靠近相机位置有一个较好的清晰度，保证此位置的车牌图像清晰可识别；通过标定设置好导流区，并保存为掩码图像，建立好图像尺寸与实际尺寸的对应关系。
5、摄像机获取实时视频流，并传入计算机，计算机对实时图像进行检测，并判断是否进行跟踪、拍照等操作。以占用导流区为例，处理流程如下：
5.1）利用实时图像的灰度图更新背景，利用背景减除法检测运动目标前景，并通过形态学操作，均值滤波等方法去除干扰，获得较好的运动目标检测效果；
5.2）通过将5.1中的含有运动目标前景的二值图与标定操作中获得的导流区的掩码图像取交集，判断违章区域内是否有运动目标，利用标定操作建立的图像尺寸与实际尺寸的关系判断违章区域内的运动目标是车辆还是行人等尺寸较小物体的干扰物；
5.3）若没有符合位置及尺寸条件的运动目标，则转到5.1，否则保存否则保存当前帧图像作为目标违章的取证图像1；
5.4）结合运动目标与违章区域的相对位置，以违章区域内的运动目标的部分为基准扩展出初始检测框，并在初始检测框内进行强角点检测，以确定运动目标的初始跟踪框及初始角点；
5.5）利用光流法实现角点跟踪，从而实现对运动目标的跟踪，获得运动目标在每一帧的位置和尺寸；
5.6）当运动目标到达违章的初始位置和设置好的跟踪结束位置的中点时，保存当前帧图像作为目标违章的取证图像2；
5.7）当运动目标到达可以获得清晰车牌图像的跟踪结束位置时，跟踪结束，清除目标跟踪框和跟踪角点等信息，并保存当前帧图像作为目标违章的取证图像3；
5.8）在跟踪结束后若干帧，保存当前帧图像作为目标违章的取证图像4。
上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (6)
1.一种基于计算机视觉的交通智能监管方法，其特征在于，所述方法包括以下步骤：
1）通过以车道宽度为依据进行相机标定操作，获取检测所需的必要参数，完成初始化，并设定预设跟踪结束位置，其中所述预设跟踪结束位置是在相机所获取的图像中离相机足够近从而能清晰辨认车牌号的位置；
2）通过相机获取实时视频流，对每帧图像进行实时处理，其中处理步骤如下：
2.1）利用背景减除法检测当前帧内的运动目标；
2.2）检测是否有违章目标；
2.3）若没有符合条件的违章目标，则转到下一帧，继续执行步骤2.1），若检测到违章目标，则保存当前帧图像作为目标违章的取证图像1；
2.4）利用目标跟踪算法对步骤2.2）中检测到的违章目标进行跟踪，计算其在当前帧的位置及尺寸信息；
2.5）当运动目标到达位置1时，保存当前帧作为目标违章的取证图像2，其中位置1是由步骤2.2）中目标违章的初始位置和设置好的预设跟踪结束位置取中间位置得到；
2.6）当运动目标到达预设跟踪结束位置时，跟踪结束，并保存当前帧图像作为目标违章的取证图像3,
其中，步骤2.4）进一步包括：
2.4a）结合步骤2.2）中运动目标进入区域的方向，以目标前景区域为初始检测框；
2.4b）在初始检测框内进行强角点检测，以包含所有强角点的最小矩形作为运动目标的初始跟踪框，检测到的强角点为跟踪的初始角点；
2.4c）进入下一帧，并利用光流法对步骤2.4b）中的初始角点进行跟踪，得到新角点，将上一帧的跟踪框扩大一定范围，不在此范围内的新角点为无效角点，予以剔除，在范围内的则作为有效角点；
2.4d）如果步骤2.4c）中获得的有效角点数量过少，则跟踪失败，否则以包含所有新角点的最小矩形作为新一帧的目标跟踪框。
2.如权利要求1所述的基于计算机视觉的交通智能监管方法，其特征在于，在步骤2.6）后，还包括步骤2.7）在跟踪结束后若干帧，保存当前图像作为目标违章的取证图像4，用于当图像3无法用于车牌识别时取代图像3用于车牌识别。
3.如权利要求1所述的基于计算机视觉的交通智能监管方法，其特征在于，在步骤2.2）中，所述违章目标是指占用导流区或骑轧车道分界线的车辆，所述检测方法包括以下步骤：
2.2a）通过步骤1）划定导流线区域或车道分界线区域，并通过以上标定获得图像上尺寸与实际尺寸的转换关系；
2.2b）通过步骤2.1）获得运动目标的位置和尺寸信息，与步骤1）中划定的区域进行是否覆盖的对比计算，从而判断目标是否违章。
4.如权利要求3所述的基于计算机视觉的交通智能监管方法，其特征在于，在步骤2.2）中，还包括步骤2.2c）通过步骤1）的尺寸转换关系计算违章目标的实际尺寸，判断目标是违章车辆还是干扰物。
5.如权利要求1所述的基于计算机视觉的交通智能监管方法，其特征在于，在步骤2.4c）中所述的将上一帧的跟踪框扩大的范围是指将长宽各扩展为上一帧跟踪框的1.1-1.5倍。
6.如权利要求5所述的基于计算机视觉的交通智能监管方法，其特征在于，所述扩展范围为1.3倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510635724.8A CN106558224B (zh) | 2015-09-30 | 2015-09-30 | 一种基于计算机视觉的交通智能监管方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510635724.8A CN106558224B (zh) | 2015-09-30 | 2015-09-30 | 一种基于计算机视觉的交通智能监管方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106558224A CN106558224A (zh) | 2017-04-05 |
| CN106558224B true CN106558224B (zh) | 2019-08-02 |
Family
ID=58416038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510635724.8A Active CN106558224B (zh) | 2015-09-30 | 2015-09-30 | 一种基于计算机视觉的交通智能监管方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106558224B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284715B (zh) * | 2018-09-21 | 2021-03-02 | 深圳市九洲电器有限公司 | 一种动态物体识别方法、装置及系统 |
| CN111047908B (zh) * | 2018-10-12 | 2021-11-02 | 富士通株式会社 | 跨线车辆的检测装置、方法及视频监控设备 |
| CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
| CN110728843B (zh) * | 2019-09-10 | 2021-08-31 | 浙江大华技术股份有限公司 | 车辆抓拍方法及车辆抓拍装置、存储介质 |
| CN110955243B (zh) * | 2019-11-28 | 2023-10-20 | 新石器慧通（北京）科技有限公司 | 行进控制方法、装置、设备、可读存储介质和移动装置 |
| CN113343766B (zh) * | 2021-05-11 | 2022-12-06 | 武汉工程大学 | 一种车辆压双黄线自动检测方法 |
| CN113223057A (zh) * | 2021-06-04 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种人脸跟踪方法、装置、电子设备及存储介质 |
| CN114359875B (zh) * | 2022-03-17 | 2022-05-17 | 成都考拉悠然科技有限公司 | 车辆有效抓拍方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100970404B1 (ko) * | 2008-09-25 | 2010-07-15 | 서울시립대학교 산학협력단 | 차량밀도 검지 방법 및 시스템 |
| CN102496285A (zh) * | 2011-12-23 | 2012-06-13 | 上海海事大学 | 基于视频检测的路口车辆闯红灯判别方法与信号控制系统 |
| CN102708685A (zh) * | 2012-04-27 | 2012-10-03 | 南京航空航天大学 | 检测与抓拍违规车辆的装置及方法 |
| CN103021186A (zh) * | 2012-12-28 | 2013-04-03 | 中国科学技术大学 | 一种车辆监控的方法及系统 |
-
2015
- 2015-09-30 CN CN201510635724.8A patent/CN106558224B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100970404B1 (ko) * | 2008-09-25 | 2010-07-15 | 서울시립대학교 산학협력단 | 차량밀도 검지 방법 및 시스템 |
| CN102496285A (zh) * | 2011-12-23 | 2012-06-13 | 上海海事大学 | 基于视频检测的路口车辆闯红灯判别方法与信号控制系统 |
| CN102708685A (zh) * | 2012-04-27 | 2012-10-03 | 南京航空航天大学 | 检测与抓拍违规车辆的装置及方法 |
| CN103021186A (zh) * | 2012-12-28 | 2013-04-03 | 中国科学技术大学 | 一种车辆监控的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106558224A (zh) | 2017-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106558224B (zh) | 一种基于计算机视觉的交通智能监管方法 | |
| CN109657575B (zh) | 室外施工人员智能视频跟踪算法 | |
| CN105744232B (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| CN104537841B (zh) | 无牌车辆违章检测方法及其检测系统 | |
| CN108055501A (zh) | 一种目标检测及跟踪的视频监控系统及方法 | |
| CN109615870A (zh) | 一种基于毫米波雷达和视频的交通检测系统 | |
| CN110298300B (zh) | 一种检测车辆违章压线的方法 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN104318263A (zh) | 一种实时高精度人流计数方法 | |
| CN107516423B (zh) | 一种基于视频的车辆行驶方向检测方法 | |
| CN103679704A (zh) | 一种基于光照补偿的视频运动阴影检测方法 | |
| CN115527158A (zh) | 一种基于视频监控的人员异常行为检测方法及装置 | |
| CN108171154A (zh) | 一种自动驾驶中目标检测与车道检测结合的方法 | |
| CN111489380A (zh) | 一种目标物体轨迹分析方法 | |
| CN114220044B (zh) | 一种基于ai算法的河道漂浮物检测方法 | |
| KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
| CN106960193A (zh) | 一种车道线检测装置和方法 | |
| Ua-Areemitr et al. | Low-cost road traffic state estimation system using time-spatial image processing | |
| CN103605960A (zh) | 一种基于不同焦距视频图像融合的交通状态识别方法 | |
| KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN111597919A (zh) | 一种视频监控场景下的人体跟踪方法 | |
| CN103366598B (zh) | 一种车辆停靠到位检测系统及检测方法 | |
| CN110516601A (zh) | 一种基于双目相机和深度学习技术的公交客流计数方法 | |
| CN107154045B (zh) | 一种基于计算机视觉的导流区违章轧线车辆精确定位方法 | |
| CN112016514B (zh) | 一种交通标志识别方法、装置、设备及储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201023 Address after: Liuhe District Xiongzhou Street Xiongfeng West Road Nanjing Jiangsu province 210000 City No. 1 South Building Room 202 Patentee after: NANJING BUTIAN TECHNOLOGY INDUSTRIAL Co.,Ltd. Address before: Yudaojie Baixia District of Nanjing City, Jiangsu Province, No. 29 210016 Patentee before: Xu Guili |