CN105279760B - 基于单双摄像头信息融合的汽车及障碍物检测方法 - Google Patents
基于单双摄像头信息融合的汽车及障碍物检测方法 Download PDFInfo
- Publication number
- CN105279760B CN105279760B CN201510700177.7A CN201510700177A CN105279760B CN 105279760 B CN105279760 B CN 105279760B CN 201510700177 A CN201510700177 A CN 201510700177A CN 105279760 B CN105279760 B CN 105279760B
- Authority
- CN
- China
- Prior art keywords
- automobile
- camera
- row
- image
- barriers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 10
- 230000009977 dual effect Effects 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 title claims abstract description 8
- 230000004888 barrier function Effects 0.000 claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract 1
- 239000000284 extract Substances 0.000 abstract 1
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本发明基于单双摄像头信息融合的汽车及障碍物检测方法，它包括在汽车本体的左右前方各安装左摄像头和右摄像头；左摄像头获取前方的汽车或其他障碍物的一幅图像；霍夫变换提取车道线；用边缘检测算法提取出图像的横向边缘和竖向边缘；按行对竖向边缘求直方图，得到若干个峰值位置；按列对横向边缘求直方图，得到若干个峰值位置；每对行峰值和列峰值决定一个点，在这个点的左上角、右上角、左下角和右下角把边缘图像跟汽车模板进行对比；把上述一系列对比得到的一系列分数值跟一个已经确定好的阈值进行对比，分析检测到了汽车或相似大小和形状的障碍物；具有较高的计算精度和鲁棒性，并且又没有过大的计算量，从而降低汽车前撞报警系统的成本。
Description
技术领域
本发明涉及图像和视频处理技术领域，具体讲是一种基于单双摄像头信息融合的汽车及障碍物检测方法。
背景技术
目前，在汽车前撞报警系统中，主要采用两种方案，一种是采用单摄像头的方案，一种是采用双摄像头的方案。但是，这两种方案存在以下的缺点：
1)对于前者，由于单摄像头只能提供一种数据，并没有立体的三维信息，因此，系统中的控制部分的算法精度很低，并且控制系统的鲁棒性受到限制(所谓的鲁棒性，是指控制系统在一定的参数摄动下，维持某些性能的特性，这些参数包括结构、大小等等)；
2)对于后者，由于控制系统通常采用的是原理简单的三维重建算法，因此，计算量非常大，从而造成成本高，这样就很难在廉价的民用系统中得到实现。
发明内容
本发明所要解决的技术问题是，克服现有技术的缺陷，提供一种有较高的计算精度和鲁棒性，并且又没有过大的计算量，从而成本低的汽车前撞报警系统中基于双摄像头的信息融合方法及装置。
为解决上述技术问题，本发明提供的基于单双摄像头信息融合的汽车及障碍物检测方法，它包括以下的步骤：
1)在汽车本体的左右前方各安装左摄像头和右摄像头；
2)通过左摄像头获取前方的汽车或其他障碍物的一幅图像；
3)通过霍夫变换提取车道线；
4)用边缘检测算法提取出图像的横向边缘和竖向边缘；
5)按行对竖向边缘求直方图，得到若干个峰值位置；按列对横向边缘求直方图，得到若干个峰值位置；
6)每对行峰值和列峰值决定一个点，在这个点的左上角像素点、右上角像素点、左下角像素点和右下角像素点把边缘图像跟汽车模板进行对比，看是否吻合；
7)把上述一系列对比得到的一系列分数值跟一个已经确定好的阈值进行对比，如果高于阈值，就说明初步检测到了汽车或相似大小和形状的障碍物；
8)设定路面情况为水平状态，利用三角函数关系估算出本汽车本体离步骤7)提及的汽车或其他障碍物的距离；
9)利用步骤8)的结果估算出前方汽车或其他障碍物在右摄像头图像中的位置；
10)在这个位置附近对左右图像通过计算获取平移信息；
11)对这一系列的平移信息作线性拟合，从而得到一个倾角；
12)当线性拟合所得到的倾角的绝对值小于阈值时，就判断出所检测到的物体为垂直于路面的汽车或其他障碍物。
所述的步骤10)中，对左右图像通过计算获取平移信息中的计算采用的是快速傅里叶算法。
采用以上结构后，本发明与现有技术相比，具有以下优点：本发明并没有象现有技术中双摄像头视频运用计算量很大的三维重建算法，而是利用单摄像头视频的结果以及路面水平的假定状态来简化针对局部障碍物的三维重建算法，因此，即具有较高的计算精度和鲁棒性，并且又没有过大的计算量，从而降低汽车前撞报警系统的成本。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地说明。
一种基于单双摄像头信息融合的汽车及障碍物检测方法，它包括以下的步骤：
1)在汽车本体的左右前方各安装左摄像头和右摄像头；
2)通过左摄像头获取前方的汽车或其他障碍物的一幅图像；
3)通过霍夫变换提取车道线；
4)用边缘检测算法提取出图像的横向边缘和竖向边缘；
5)按行对竖向边缘求直方图，得到若干个峰值位置；按列对横向边缘求直方图，得到若干个峰值位置；
6)每对行峰值和列峰值决定一个点，在这个点的左上角像素点、右上角像素点、左下角像素点和右下角像素点把边缘图像跟汽车模板进行对比，看是否吻合；
7)把上述一系列对比得到的一系列分数值跟一个已经确定好的阈值进行对比，如果高于阈值，就说明初步检测到了汽车或相似大小和形状的障碍物；
8)设定路面情况为水平状态，利用三角函数关系估算出本汽车本体离步骤7)提及的汽车或其他障碍物的距离；
9)利用步骤8)的结果估算出前方汽车或其他障碍物在右摄像头图像中的位置；
10)在这个位置附近对左右图像通过计算获取平移信息；
11)对这一系列的平移信息作线性拟合，从而得到一个倾角；
12)当线性拟合所得到的倾角的绝对值小于阈值时，就判断出所检测到的物体为垂直于路面的汽车或其他障碍物。
所述的步骤10)中，对左右图像通过计算获取平移信息中的计算采用的是快速傅里叶算法。
Claims (2)
1.一种基于单双摄像头信息融合的汽车及障碍物检测方法，其特征在于：它包括以下的步骤：
1)在汽车本体的左右前方各安装左摄像头和右摄像头；
2)通过左摄像头获取前方的汽车或其他障碍物的一幅图像；
3)通过霍夫变换提取车道线；
4)用边缘检测算法提取出图像的横向边缘和竖向边缘；
5)按行对竖向边缘求直方图，得到若干个峰值位置；按列对横向边缘求直方图，得到若干个峰值位置；
6)每对行峰值和列峰值决定一个点，在这个点的左上角像素点、右上角像素点、左下角像素点和右下角像素点把边缘图像跟汽车模板进行对比，看是否吻合；
7)把上述一系列对比得到的一系列分数值跟一个已经确定好的阈值进行对比，如果高于阈值，就说明初步检测到了汽车或相似大小和形状的其他障碍物；
8)设定路面情况为水平状态，利用三角函数关系估算出本汽车本体离步骤7)提及的汽车或其他障碍物的距离；
9)利用步骤8)的结果估算出前方汽车或其他障碍物在右摄像头图像中的位置；
10)在这个位置附近对左右图像通过计算获取平移信息；
11)对这一系列的平移信息作线性拟合，从而得到一个倾角；
12)当线性拟合所得到的倾角的绝对值小于阈值时，就判断出所检测到的物体为垂直于路面的汽车或其他障碍物。
2.根据权利要求1所述的基于单双摄像头信息融合的汽车及障碍物检测方法，其特征在于：所述的步骤10)中，对左右图像通过计算获取平移信息中的计算采用的是快速傅里叶算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510700177.7A CN105279760B (zh) | 2015-10-26 | 2015-10-26 | 基于单双摄像头信息融合的汽车及障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510700177.7A CN105279760B (zh) | 2015-10-26 | 2015-10-26 | 基于单双摄像头信息融合的汽车及障碍物检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105279760A CN105279760A (zh) | 2016-01-27 |
| CN105279760B true CN105279760B (zh) | 2017-12-19 |
Family
ID=55148712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510700177.7A Active CN105279760B (zh) | 2015-10-26 | 2015-10-26 | 基于单双摄像头信息融合的汽车及障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105279760B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249257A (ja) * | 2006-03-13 | 2007-09-27 | Nissan Motor Co Ltd | 移動体検出装置および移動体検出方法 |
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| CN102778223A (zh) * | 2012-06-07 | 2012-11-14 | 沈阳理工大学 | 基于车牌合作目标和单目摄像机的汽车防撞预警方法 |
| KR101427889B1 (ko) * | 2012-12-20 | 2014-08-08 | 현대오트론 주식회사 | 차량 도어 충돌 방지 시스템 및 방법 |
| CN104309606A (zh) * | 2014-11-06 | 2015-01-28 | 中科院微电子研究所昆山分所 | 基于360度全景的车道偏离预警方法 |
| CN104627076A (zh) * | 2015-03-03 | 2015-05-20 | 熊清华 | 一种汽车防撞预警系统及汽车 |
-
2015
- 2015-10-26 CN CN201510700177.7A patent/CN105279760B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249257A (ja) * | 2006-03-13 | 2007-09-27 | Nissan Motor Co Ltd | 移動体検出装置および移動体検出方法 |
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| CN102778223A (zh) * | 2012-06-07 | 2012-11-14 | 沈阳理工大学 | 基于车牌合作目标和单目摄像机的汽车防撞预警方法 |
| KR101427889B1 (ko) * | 2012-12-20 | 2014-08-08 | 현대오트론 주식회사 | 차량 도어 충돌 방지 시스템 및 방법 |
| CN104309606A (zh) * | 2014-11-06 | 2015-01-28 | 中科院微电子研究所昆山分所 | 基于360度全景的车道偏离预警方法 |
| CN104627076A (zh) * | 2015-03-03 | 2015-05-20 | 熊清华 | 一种汽车防撞预警系统及汽车 |
Non-Patent Citations (3)
| Title |
|---|
| 基于双目视觉和图像处理的前车识别方法;赵延宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110515(第05期);全文 * |
| 基于图像的前向障碍物特征检测方法研究;张广秀 等;《2008 中国汽车安全技术国际研讨会》;20081231;全文 * |
| 基于机器视觉的道路上前方多车辆探测方法研究;顾柏园 等;《汽车工程》;20061231;第28卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105279760A (zh) | 2016-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9536155B2 (en) | Marking line detection system and marking line detection method of a distant road surface area | |
| CN104916163B (zh) | 泊车位检测方法 | |
| US10891738B2 (en) | Boundary line recognition apparatus and branch road determination apparatus | |
| US11024051B2 (en) | Object detection device | |
| KR102270677B1 (ko) | 차량 안전 주행 장치 | |
| US20160012283A1 (en) | Stereoscopic Camera Apparatus | |
| KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| US10033981B2 (en) | Image processing apparatus | |
| CN103123722A (zh) | 道路对象检测方法和系统 | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| JP5874770B2 (ja) | 区画線検出システム | |
| US20150243169A1 (en) | Traffic lane situation determining device and method for determining traffic lane situation | |
| US20180060679A1 (en) | Vanishing point correction apparatus and method | |
| KR101998584B1 (ko) | 차선 검출 장치 및 차선 검출 방법 | |
| US20170098298A1 (en) | Object recognizing apparatus and haze determination method | |
| Guido et al. | Vehicle tracking system based on videotaping data | |
| CN105279760B (zh) | 基于单双摄像头信息融合的汽车及障碍物检测方法 | |
| KR101738425B1 (ko) | 다차선 검출을 위한 관심 영역 설정 장치 및 방법 | |
| CN105355086B (zh) | 汽车前撞报警系统中基于双摄像头的信息融合方法及装置 | |
| US20180225526A1 (en) | Step Detection Device and Step Detection Method | |
| CN104700387A (zh) | 一种图像边界线的检测方法及系统 | |
| JP5746996B2 (ja) | 道路環境認識装置 | |
| KR101289386B1 (ko) | 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치 | |
| KR20120044699A (ko) | 도로상의 장애 물체 검출 방법 및 장치 | |
| KR101338347B1 (ko) | 차선 이탈 경고 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160127 Assignee: JIANGSU YULAN INFORMATION TECHNOLOGY CO.,LTD. Assignor: NINGBO YULAN INFORMATION TECHNOLOGY Co.,Ltd. Contract record no.: 2018310000007 Denomination of invention: Automobile and obstacle detection method based on single-camera and double-camera information fusion Granted publication date: 20171219 License type: Exclusive License Record date: 20180118 |
|
| PP01 | Preservation of patent right |
Effective date of registration: 20191015 Granted publication date: 20171219 |
|
| PP01 | Preservation of patent right | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20221015 Granted publication date: 20171219 |
|
| PD01 | Discharge of preservation of patent | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221215 Address after: Room 1606, Youte Headquarters Building, No. 88, Xingye Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000 Patentee after: Zhuhai Daxuan Information Technology Co.,Ltd. Address before: 315700 No. 98 yuan yuan Road, Xiangshan County Economic Development Zone, Ningbo, Zhejiang Patentee before: NINGBO YULAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |