CN113079278A - 一种基于卷积神经网络的车载三摄图像识别装置 - Google Patents
一种基于卷积神经网络的车载三摄图像识别装置 Download PDFInfo
- Publication number
- CN113079278A CN113079278A CN202010008144.7A CN202010008144A CN113079278A CN 113079278 A CN113079278 A CN 113079278A CN 202010008144 A CN202010008144 A CN 202010008144A CN 113079278 A CN113079278 A CN 113079278A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- wide
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及图像识别在智能驾驶中的运用，具体为一种基于卷积神经网络的车载三摄图像识别装置，包括摄像头壳体，还包括图像处理模块和图像采集模块，所述图像采集模块包括长焦摄像头、中焦摄像头和广角摄像头，所述图像处理模块和图像采集模块均安装在摄像头壳体内，所述长焦摄像头、中焦摄像头和广角摄像头均安装在摄像头壳体的底部，通过长焦，中焦和广角摄像头的组合应用，有效的提高汽车智能驾驶场景下的识别范围，距离和精度；另外通过摄像头支架可以对摄像头的俯仰角进行微小调节，提高了识别器的通用和适配性；其改进方案可以将识别系统扩展成基于抬头显示的汽车辅助系统。
Description
技术领域
本发明涉及图像识别在智能驾驶中的运用，具体为一种基于卷积神经网络的车载三摄图像识别装置。
背景技术
随着机器学习和深度学习的发展，尤其是卷积神经网络的发明与应用，图像识别与目标检测准确率得到了极大提升。基于图像识别的感知技术被广泛应用于智能驾驶领域，具体可用于车辆检测，行人检测，车道线标识以及道路标识检测等等。
目前，主流的车载前视识别系统采用单目视觉方案，这类系统存在识别范围小，识别深度不够深等问题，例如进行车辆检测的时候，为了能够有效的识别远处的车辆，得采用长焦摄像头，但是长焦摄像头的视场角比较少，会导致近处目标不能很好的识别。采用多目摄像头图像识别系统可以有效的规避单目识别系统的问题。
发明内容
为了解决这一问题，本发明提出一种基于卷积神经网络的车载三摄图像识别装置。
为解决上述技术问题，本发明所采用的技术方案为：一种基于卷积神经网络的车载三摄图像识别装置，包括摄像头壳体，还包括图像处理模块和图像采集模块，所述图像采集模块包括长焦摄像头、中焦摄像头和广角摄像头，所述图像处理模块和图像采集模块均安装在摄像头壳体内，所述长焦摄像头、中焦摄像头和广角摄像头均安装在摄像头壳体的底部。
作为优选，所述长焦摄像头、中焦摄像头和广角摄像头为并列排布，且广角摄像头位于长焦摄像头和中焦摄像头的中间。
作为优选，所述中焦摄像头和广角摄像头设在长焦摄像头的上方，所述中焦摄像头位于长焦摄像头的的左边，所述广角摄像头位于长焦摄像头的的右边。
作为优选，还包括摄像头支架，所述摄像头壳体通过摄像头支架安装在汽车前挡风玻璃上。
作为优选，所述长焦摄像头的拍摄距离为200米，中焦摄像头的拍摄距离为50米，广角摄像头的拍摄距离为5米。
作为优选，所述所述长焦摄像头、中焦摄像头和广角摄像头的采集频率为20帧每秒。
作为优选，所述图像采集模块和图像处理模块通过I2C通信总线传输数据且波特率为400k。
作为优选，所述广角摄像头上还设有红外传感器。
本发明所达到的有益效果：本发明的基于卷积神经网络的车载三摄图像识别装置提供了一种可靠的车载三目摄像头解决方案，通过长焦，中焦和广角摄像头的组合应用，有效的提高汽车智能驾驶场景下的识别范围，距离和精度；另外通过摄像头支架可以对摄像头的俯仰角进行微小调节，提高了识别器的通用和适配性；其改进方案可以将识别系统扩展成基于抬头显示的汽车辅助系统。
附图说明
图1示出本发明的原理图；
图2示出了本发明的原理图的安装位置图；
图3示出了本发明的单排布置方案；
图4示出了本发明的双排布置方案；
图5示出了本发明的可调节摄像头支架主要结构。
附图说明：1、长焦摄像头，2、中焦摄像头，3、广角摄像头，4、图像处理模块，5、图像采集模块，6、摄像头支架，7、摄像头壳体，9、I2C通讯总线，10、汽车前挡风玻璃。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图像采集模块5由长焦摄像头1，中焦摄像头2和广角摄像头3组成，且固定在摄像头壳体7上。三路摄像头进行图像信号采集并且通过I2C通讯总线8将采集的图像数据传输给图像处理模块4。中焦摄像头2和广角摄像头3可采集镜头近前方大范围内的车道线、车辆、道路标识、行人信息，在此基础上初步判断其位置信息；长焦摄像头1可捕捉镜头远前方特定范围内的车道线、车辆、道路标识、行人信息，在此基础上判断其位置信息。通过中焦摄像头2和广角摄像头4能够采集到更多的近处图像信息，图像细节更为丰富；通过广角摄像头1能够采集到更为清晰的远处图像信息，且采集到的远处图像信息畸变较小。图像处理模块4首先对象三种摄像头采集的图像分别进行特征提取，再将得到特征信息进行匹配，以得到镜头前方的场景信息。
三摄图像识别装置安装在车辆前挡风玻璃内侧中间较高处，参见图2。这个位置能够被雨刮器覆盖清洗，相对比较容易保持清洁，而且不对驾驶者造成视觉上的妨碍和干扰。
三个摄像头可以并成一排布置(见图3)也可以分成上下两排布置(见图4)。单排布置方案中，广角摄像头3在中间，长焦摄像头1和中焦摄像头2在两侧。采用上下两排布置方案时，长焦摄像头1在下面，广角摄像头3和中焦摄像头3在上面。采用单排布置方案，高度小但是宽度比较长；而双排布置方案，将长焦摄像头布置到下面一排，可以降低宽度，但是高度有所增加。实际设计中根据需求进行布置。
参见图5，摄像头支架6通过胶水与汽车前挡风玻璃固定在一块。三个摄像头按照并排或者两排的布置方案与摄像头壳体7固定连接。摄像头壳体7可以绕摄像头支架6上的横轴相对于摄像头支架6进行一定角度的转动。理论上摄像头应该有一个度量值为1°朝下的俯仰角，且左右横摆角，纵向旋转角为0°，具体的可以根据识别算法和需求进行设计。安装的时候，各个方向上的角度误差应该要小于±1.5°。
综上所述，本发明提供了一种可靠的车载三目摄像头解决方案，通过长焦，中焦和广角摄像头的组合应用，有效的提高汽车智能驾驶场景下的识别范围，距离和精度；另外通过摄像头支架可以对摄像头的俯仰角进行微小调节，提高了识别器的通用和适配性；其改进方案可以将识别系统扩展成基于抬头显示的汽车辅助系统。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于卷积神经网络的车载三摄图像识别装置，包括摄像头壳体(7)，其特征在于：还包括图像处理模块(4)和图像采集模块(5)，所述图像采集模块(5)包括长焦摄像头(1)、中焦摄像头(2)和广角摄像头(3)，所述图像处理模块(4)和图像采集模块(5)均安装在摄像头壳体(7)内，所述长焦摄像头(1)、中焦摄像头(2)和广角摄像头(3)均安装在摄像头壳体(7)的底部。
2.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述长焦摄像头(1)、中焦摄像头(2)和广角摄像头(3)为并列排布，且广角摄像头(2)位于长焦摄像头(1)和中焦摄像头(2)的中间。
3.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述中焦摄像头(2)和广角摄像头(3)设在长焦摄像头(1)的上方，所述中焦摄像头(2)位于长焦摄像头(1)的的左边，所述广角摄像头(3)位于长焦摄像头(1)的的右边。
4.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：还包括摄像头支架(6)，所述摄像头壳体(7)通过摄像头支架(6)安装在汽车前挡风玻璃(10)上。
5.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述长焦摄像头(1)的拍摄距离为200米，中焦摄像头(2)的拍摄距离为50米，广角摄像头(3)的拍摄距离为5米。
6.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述所述长焦摄像头(1)、中焦摄像头(2)和广角摄像头(3)的采集频率为20帧每秒。
7.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述图像采集模块(5)和图像处理模块(4)通过I2C通信总线(9)传输数据且波特率为400k。
8.根据权利要求1所述的基于卷积神经网络的车载三摄图像识别装置，其特征在于：所述广角摄像头(3)上还设有红外传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008144.7A CN113079278A (zh) | 2020-01-06 | 2020-01-06 | 一种基于卷积神经网络的车载三摄图像识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008144.7A CN113079278A (zh) | 2020-01-06 | 2020-01-06 | 一种基于卷积神经网络的车载三摄图像识别装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113079278A true CN113079278A (zh) | 2021-07-06 |
Family
ID=76608863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010008144.7A Pending CN113079278A (zh) | 2020-01-06 | 2020-01-06 | 一种基于卷积神经网络的车载三摄图像识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113079278A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100277935A1 (en) * | 2009-04-30 | 2010-11-04 | Koito Manufacturing Co., Ltd. | Vehicle monitoring camera and vehicle monitoring camera system |
| CN109521772A (zh) * | 2018-11-27 | 2019-03-26 | 北京小马智行科技有限公司 | 一种车载环境图像采集系统和方法 |
| CN209381918U (zh) * | 2018-11-28 | 2019-09-13 | 北京小马智行科技有限公司 | 一种用于无人车驾驶车辆的车载顶箱 |
| CN211509138U (zh) * | 2020-01-06 | 2020-09-15 | 常州星宇车灯股份有限公司 | 一种基于卷积神经网络的车载三摄图像识别装置 |
-
2020
- 2020-01-06 CN CN202010008144.7A patent/CN113079278A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100277935A1 (en) * | 2009-04-30 | 2010-11-04 | Koito Manufacturing Co., Ltd. | Vehicle monitoring camera and vehicle monitoring camera system |
| CN109521772A (zh) * | 2018-11-27 | 2019-03-26 | 北京小马智行科技有限公司 | 一种车载环境图像采集系统和方法 |
| CN209381918U (zh) * | 2018-11-28 | 2019-09-13 | 北京小马智行科技有限公司 | 一种用于无人车驾驶车辆的车载顶箱 |
| CN211509138U (zh) * | 2020-01-06 | 2020-09-15 | 常州星宇车灯股份有限公司 | 一种基于卷积神经网络的车载三摄图像识别装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10331963B2 (en) | Camera apparatus and in-vehicle system capturing images for vehicle tasks | |
| US11321876B2 (en) | Non-rigid stereo vision camera system | |
| CN109313018B (zh) | 成像控制装置和方法、以及车辆 | |
| CN106598039B (zh) | 一种基于激光雷达的变电站巡检机器人避障方法 | |
| CN212220188U (zh) | 地下停车场融合定位系统 | |
| US20160180182A1 (en) | Vehicle vision system with 3d registration for distance estimation | |
| AU2018286580B2 (en) | A high-definition map acquisition system | |
| CN109657638A (zh) | 障碍物定位方法、装置和终端 | |
| US11410334B2 (en) | Vehicular vision system with camera calibration using calibration target | |
| CN111038383A (zh) | 车辆及其控制方法 | |
| JP4848644B2 (ja) | 障害物認識システム | |
| CN103253194A (zh) | 一种行车辅助系统 | |
| CN114295099B (zh) | 基于单目摄像头的测距方法、车载测距设备以及存储介质 | |
| CN211509138U (zh) | 一种基于卷积神经网络的车载三摄图像识别装置 | |
| CN112150547B (zh) | 一种确定车体位姿的方法、装置及环视视觉里程计系统 | |
| CN106515602A (zh) | 一种无人驾驶汽车交通标志牌识别装置 | |
| JP2018136739A (ja) | キャリブレーション装置 | |
| CN113079278A (zh) | 一种基于卷积神经网络的车载三摄图像识别装置 | |
| CN116946022A (zh) | 车辆驾驶辅助系统及其车辆 | |
| CN111627222A (zh) | 一种高速公路二次交通事故预警装置及方法 | |
| CN204136870U (zh) | 一种车辆前视系统 | |
| US11477371B2 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method | |
| CN216956772U (zh) | 一种自动驾驶环境监测装置及自动驾驶汽车 | |
| CN115871567A (zh) | 一种车辆自适应转向雷达系统及其工作方法 | |
| CN104097572A (zh) | 行车辅助装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |