CN111046795A - 一种基于双目视觉的实时车辆压线行为检测方法 - Google Patents
一种基于双目视觉的实时车辆压线行为检测方法 Download PDFInfo
- Publication number
- CN111046795A CN111046795A CN201911274033.4A CN201911274033A CN111046795A CN 111046795 A CN111046795 A CN 111046795A CN 201911274033 A CN201911274033 A CN 201911274033A CN 111046795 A CN111046795 A CN 111046795A
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- lane
- line
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 15
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于双目视觉的实时车辆压线行为检测方法，包括步骤：S1、图像流采集；S2、逆透视变换；S3、车道线特征提取；利用Sobel算子得到图像中车道线边缘的梯度方向及其梯度大小，给车道线边缘的梯度方向及其大小设定一定的阈值，提取出车道线的边缘特征；S4、组合过滤；S5、对图像进行直方图统计；S6、车道线识别；对感兴趣区域内提取到的车道线特征点进行hough变换，准确识别出道路图像中的车道线边缘的位置；S7、压线行为检测；根据摄像头与检测到的左右车道线间的横向距离来判断车辆是否发生压线行为。本发明的检测方法可以快速判断车辆是否有压线行为，起到驾驶监控和指导作用。
Description
技术领域
本发明涉及视觉检测技术领域，特别是涉及一种基于双目视觉的实时车辆压线行为检测方法。
背景技术
近年来，由于无线传感器网络的发展，先进辅助驾驶系统ADAS成为车辆主动安全系统中最核心的功能之一。ADAS系统的核心是对道路场景的分析，且对算法的实时性提出了较高的要求。在该领域中，车载视觉已被广泛使用。相对于激光雷达等主动型传感器，车载视觉这种被动型传感器对环境具有非侵入性、高分辨率、低功耗、低成本和易集成等特点。
车辆压线行为检测技术是满足强劲的需求和低成本产品的最好的选择。一些成功的视觉应用程序已经完全可以应用于半自治的驾驶技术中。
发明内容
本发明的目的是提供一种基于双目视觉的实时车辆压线行为检测方法，在满足实时性的前提下，能够对车辆的是否发生压线行为进行实时的监测。
为了解决上述技术问题，本发明提供一种基于双目视觉的实时车辆压线行为检测方法，包括步骤：
S1、图像流采集；通过摄像头采集车辆两侧的图像流；
S2、逆透视变换；消除图像的透视形变；
S3、车道线特征提取；利用Sobel算子得到图像中车道线边缘的梯度方向及其梯度大小，给车道线边缘的梯度方向及其大小设定一定的阈值，提取出车道线的边缘特征；
S4、组合过滤；设置不同的阈值，检测车道线边缘特征的提取效果，确定精准阈值；
S5、对图像进行直方图统计，利用统计直方图中的峰值分别确定出车道线的感兴趣区域在道路图像中的位置；
S6、车道线识别；对感兴趣区域内提取到的车道线特征点进行hough变换，准确识别出道路图像中的车道线边缘的位置；
S7、压线行为检测；根据摄像头与检测到的左右车道线间的横向距离来判断车辆是否发生压线行为。
作为优选方案，所述步骤S1中还包括摄像头标定；从世界坐标系换到图像坐标系。
作为优选方案，所述Sobel算子包括横向矩阵Gx的边缘检测的图像灰度值和纵向矩阵Gy的边缘检测的图像灰度值；以A代表原始图像，其公式为：
梯度方向：
梯度大小：
本发明具有以下有益效果：
本发明的基于双目视觉的实时车辆压线行为检测方法可通过摄像头采集车辆两侧的图像流，根据处理得到图像流内车道线的边缘，检测车道线的边缘与摄像头的距离，判断车辆是否压到检测车道线，起到对车辆的是否发生压线行为进行实时的监测，提醒驾驶员正确驾驶，降低驾驶员的驾驶难度。
附图说明
图1是本发明实施例提供的基于双目视觉的实时车辆压线行为检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明优选实施例中一种基于双目视觉的实时车辆压线行为检测方法，包括步骤：
S1、图像流采集；通过摄像头采集车辆两侧的图像流；
S2、逆透视变换；消除图像的透视形变；
S3、车道线特征提取；利用Sobel算子得到图像中车道线边缘的梯度方向及其梯度大小，给车道线边缘的梯度方向及其大小设定一定的阈值，提取出车道线的边缘特征；
S4、组合过滤；设置不同的阈值，检测车道线边缘特征的提取效果，确定精准阈值；
S5、对图像进行直方图统计，利用统计直方图中的峰值分别确定出车道线的感兴趣区域在道路图像中的位置；
S6、车道线识别；对感兴趣区域内提取到的车道线特征点进行hough变换，准确识别出道路图像中的车道线边缘的位置；
S7、压线行为检测；根据摄像头与检测到的左右车道线间的横向距离来判断车辆是否发生压线行为。
本发明优选实施例中，所述步骤S1中还包括摄像头标定；从世界坐标系换到图像坐标系。
摄像机标定是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程。
具体的，标定过程中涉及到的光学成像过程如下：
刚体变换，即：世界坐标系(Xw,Yw,Zw)到相机坐标系(Xc,Yc,Zc)；
为了不失普遍性，假定标定板在世界坐标系中的Zw＝0的平面上
透视投影，即：相机坐标系(Xc,Yc,Zc)到图像物理坐标系(XI,YI)
图像数字化，即：图像物理坐标系(XI,YI)到图像像素坐标系(U,V)
综上所述，世界坐标系(Xw,Yw,Zw)到图像像素坐标系(U,V)的矩阵形式表达为：
本发明优选实施例中，所述Sobel算子包括横向矩阵Gx的边缘检测的图像灰度值和纵向矩阵Gy的边缘检测的图像灰度值；以A代表原始图像，其公式为：
梯度方向：
梯度大小：
此外，逆透视变换原理：假如考虑3D世界坐标系中的一个点P，透视变换的过程就是：画一条穿过点P和投影平面中心N并让其与图像平面相交，获取图像坐标系相对应的像点的过程。透视变换过程会带来形变，导致水平面的扭曲。为了消除这种水平面的扭曲，可以考虑再次反方向使用这种透视变换，从而得到水平面的点。因此可以采用如下步骤定义逆透视变换：对于图像平面的一个点Q，跟踪Q并穿过N到达水平面的射线，与水平面的交点Q'就是图像坐标系像点Q的逆透视变换结果。
逆透视变换可以消除图像的透视形变。假如视觉系统获取了一个指定目标平面的图像数据，逆透视变换可以生成特定平面的部分信息。在此，需要假设道路平面S应该是平坦的。在这种情况下，逆透视变换可以得到景物的俯视图。逆透视变换过程可以被归纳为从二维欧式空间I到三维欧式空间W的一种变换。
本发明优选实施例中，Hough变换的基本思想是点线的对偶性。一方面图像空间中共线的点对应在参数空间里相交的线：另一方面，在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。因此Hough变换把图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里进行简单的累加统计完成检测任务。如果参数空间中使用直线方程，当图像空间直线斜率为无穷大时，会使累加器尺寸和变很大，从而使计算复杂度过大。为解决这一问题，采用直线极坐标方程，变换方程如下：
ρ＝xcosθ+ysinθ
根据这个方程，原图像空间中的点对应新参数空间中的一条正弦曲线，即点正弦曲线对偶。检测直线的具体过程就是让θ取遍可能的值，然后计算ρ的值，再根据θ和ρ的值对累加数组累加，从而得到共线点的个数。直角坐标系的三点共线，对应于霍夫空间中的多线共点。
值得说明的，压线行为检测的原理：假如平面中某点Q，其坐标为(X,Y)，与P在一条水平线上，它在图像坐标系中的投影点Q’。点Q’在图像坐系下的坐标为(x,y)，对应于像素坐标系下的坐标为(u,v)，可以计算出点Q在水平方向上与摄像头之间的距离。
横向距离表达式为：
其中的H为摄像头距地面的高度，可以提前测量；α是摄像头俯视角，可通过测量得到，也可通过计算得到；fx,fy,u0,v0均可由标定得到。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
Claims (3)
1.一种基于双目视觉的实时车辆压线行为检测方法，其特征在于：包括步骤：
S1、图像流采集；通过摄像头采集车辆两侧的图像流；
S2、逆透视变换；消除图像的透视形变；
S3、车道线特征提取；利用Sobel算子得到图像中车道线边缘的梯度方向及其梯度大小，给车道线边缘的梯度方向及其大小设定一定的阈值，提取出车道线的边缘特征；
S4、组合过滤；设置不同的阈值，检测车道线边缘特征的提取效果，确定精准阈值；
S5、对图像进行直方图统计，利用统计直方图中的峰值分别确定出车道线的感兴趣区域在道路图像中的位置；
S6、车道线识别；对感兴趣区域内提取到的车道线特征点进行hough变换，准确识别出道路图像中的车道线边缘的位置；
S7、压线行为检测；根据摄像头与检测到的左右车道线间的横向距离来判断车辆是否发生压线行为。
2.如权利要求1所述的基于双目视觉的实时车辆压线行为检测方法，其特征在于:所述步骤S1中还包括摄像头标定；从世界坐标系换到图像坐标系。
3.如权利要求1所述的基于双目视觉的实时车辆压线行为检测方法，其特征在于:所述Sobel算子包括横向矩阵Gx的边缘检测的图像灰度值和纵向矩阵Gy的边缘检测的图像灰度值；以A代表原始图像，其公式为：
梯度方向：
梯度大小：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274033.4A CN111046795A (zh) | 2019-12-12 | 2019-12-12 | 一种基于双目视觉的实时车辆压线行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274033.4A CN111046795A (zh) | 2019-12-12 | 2019-12-12 | 一种基于双目视觉的实时车辆压线行为检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046795A true CN111046795A (zh) | 2020-04-21 |
Family
ID=70236366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911274033.4A Pending CN111046795A (zh) | 2019-12-12 | 2019-12-12 | 一种基于双目视觉的实时车辆压线行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046795A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418187A (zh) * | 2020-12-15 | 2021-02-26 | 潍柴动力股份有限公司 | 车道线识别方法及装置、存储介质、电子设备 |
| CN114049323A (zh) * | 2021-11-15 | 2022-02-15 | 武汉易思达科技有限公司 | 一种基于双目视觉的厢式车形变实时测量方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996053A (zh) * | 2014-06-05 | 2014-08-20 | 中交第一公路勘察设计研究院有限公司 | 基于机器视觉的车道偏离报警方法 |
| CN104517111A (zh) * | 2013-09-27 | 2015-04-15 | 比亚迪股份有限公司 | 车道线检测方法、系统、车道偏离预警方法及系统 |
| CN106250816A (zh) * | 2016-07-19 | 2016-12-21 | 武汉依迅电子信息技术有限公司 | 一种基于双摄像头的车道线识别方法及系统 |
| CN107462223A (zh) * | 2017-08-08 | 2017-12-12 | 长安大学 | 一种公路转弯前行车视距自动测量装置及测量方法 |
| CN109583435A (zh) * | 2019-01-24 | 2019-04-05 | 安徽理工大学 | 一种自适应投票车道线检测方法 |
-
2019
- 2019-12-12 CN CN201911274033.4A patent/CN111046795A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517111A (zh) * | 2013-09-27 | 2015-04-15 | 比亚迪股份有限公司 | 车道线检测方法、系统、车道偏离预警方法及系统 |
| CN103996053A (zh) * | 2014-06-05 | 2014-08-20 | 中交第一公路勘察设计研究院有限公司 | 基于机器视觉的车道偏离报警方法 |
| CN106250816A (zh) * | 2016-07-19 | 2016-12-21 | 武汉依迅电子信息技术有限公司 | 一种基于双摄像头的车道线识别方法及系统 |
| CN107462223A (zh) * | 2017-08-08 | 2017-12-12 | 长安大学 | 一种公路转弯前行车视距自动测量装置及测量方法 |
| CN109583435A (zh) * | 2019-01-24 | 2019-04-05 | 安徽理工大学 | 一种自适应投票车道线检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418187A (zh) * | 2020-12-15 | 2021-02-26 | 潍柴动力股份有限公司 | 车道线识别方法及装置、存储介质、电子设备 |
| CN114049323A (zh) * | 2021-11-15 | 2022-02-15 | 武汉易思达科技有限公司 | 一种基于双目视觉的厢式车形变实时测量方法及系统 |
| CN114049323B (zh) * | 2021-11-15 | 2024-04-30 | 武汉易思达科技有限公司 | 一种基于双目视觉的厢式车形变实时测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8373751B2 (en) | Apparatus and method for measuring location and distance of object by using camera | |
| CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
| US7826964B2 (en) | Intelligent driving safety monitoring system and method integrating multiple direction information | |
| CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
| EP2711867A2 (en) | Method and apparatus for detecting continuous road partition | |
| CN104408460A (zh) | 一种车道线检测及跟踪检测方法 | |
| WO2019080557A1 (zh) | 一种障碍物检测方法及装置 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| KR101163042B1 (ko) | 차량 검출 장치 및 방법 | |
| CN111996883B (zh) | 一种检测公路路面宽度的方法 | |
| CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
| KR102010823B1 (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
| CN110667474B (zh) | 通用障碍物检测方法、装置与自动驾驶系统 | |
| CN107084680A (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
| CN103810475A (zh) | 一种目标物识别方法及装置 | |
| CN111178150A (zh) | 车道线检测方法、系统及存储介质 | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| CN111046795A (zh) | 一种基于双目视觉的实时车辆压线行为检测方法 | |
| CN106909929A (zh) | 行人距离检测方法和装置 | |
| CN106803073B (zh) | 基于立体视觉目标的辅助驾驶系统及方法 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| Seo et al. | Inverse perspective mapping based road curvature estimation | |
| CN111256651B (zh) | 一种基于单目车载摄像头的周车测距方法和装置 | |
| CN111598956A (zh) | 标定方法、装置和系统 | |
| CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |