CN111010532B - 一种基于多焦距摄像头组的车载机器视觉系统 - Google Patents
一种基于多焦距摄像头组的车载机器视觉系统 Download PDFInfo
- Publication number
- CN111010532B CN111010532B CN201911064986.8A CN201911064986A CN111010532B CN 111010532 B CN111010532 B CN 111010532B CN 201911064986 A CN201911064986 A CN 201911064986A CN 111010532 B CN111010532 B CN 111010532B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera module
- distance
- machine vision
- vision system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及信号处理与机器学习技术，具体涉及一种基于多焦距摄像头组的车载机器视觉系统及实现方法，包括单目摄像头、双目摄像头、图形计算机系统、嵌入式通信单元和汽车控制器模块；单目摄像头采用长焦镜头，用于观测远距离目标，并识别目标的类别及位置信息，同时用于估计前方较远处的道路信息；双目摄像头采用相对位置固定并标定完成的两个相同的广角镜头，用于观测近处目标，并确定与近处目标的距离。该车载机器视觉系统成本低廉，适应性强，与传统的汽车车载机器视觉系统相比，具有同时兼顾远近各类目标，并带有一定的目标追踪与测距的功能。自动化程度高，无需驾驶员手动操作，能给驾驶员更广的有效视野和更佳的驾驶体验。
Description
技术领域
本发明属于信号处理与机器学习技术领域，尤其涉及一种基于多焦距摄像头组的车载机器视觉系统及实现方法。
背景技术
为了适应自动驾驶等应用场合的需要，在复杂多变的道路条件下，往往既需要关注近距离目标，如行人、障碍物等，同时又需要关注远处的目标，如对向来车，信号灯信息等。
车载机器视觉系统是辅助驾驶系统中的重要组成部分，主要通过摄像头识别车辆前方车体和道路信息。车载机器视觉系统可以辅助驾驶员判断路面情况，从而帮助驾驶员做出正确的驾驶行为，减少因视觉原因带来的不当操作，使得车辆的运行更加稳定、可靠、安全，在一定程度上减少事故的发生。
而如今的车载机器视觉系统大多采用单一焦距的摄像头，由于摄像头镜头的限制，长焦摄像头拍摄距离远，但拍摄角度往往较小，而广角摄像头拍摄角度大，但焦距较近，无法拍摄远距离物体。单一焦距摄像头无法同时兼顾大的拍摄角度和拍摄远距离物体的需求，导致在上述复杂道路条件下，机器视觉范围具有局限性，无法适应辅助驾驶及智能前大灯等应用的需要。
发明内容
本发明的目的是提供一种满足在复杂多变的道路条件下，既能兼顾远距离较小角度及近距离大角度，又具有测距功能，适应汽车行驶过程中不同距离与范围内机器视觉需求的系统及实现方法。
为实现上述目的，本发明采用的技术方案是：一种基于多焦距摄像头组的车载机器视觉系统，包括单目长焦摄像头模块和双目广角摄像头模块，与单目长焦摄像头模块和双目广角摄像头模块连接的图形计算机系统，与图形计算机系统依次连接的嵌入式通信单元和汽车控制器模块；单目长焦摄像头模块用于观测远距离目标，并识别目标的类别及位置信息，同时用于估计前方较远处的道路信息；双目广角摄像头模块用于观测近处目标，并确定与近处目标的距离。
在上述的基于多焦距摄像头组的车载机器视觉系统中，单目长焦摄像头模块包括一个摄像头，其镜头为长焦镜头；双目广角摄像头模块为相对位置固定并标定完成的两个相同的摄像头，其镜头为广角镜头。
在上述的基于多焦距摄像头组的车载机器视觉系统中，图形计算机系统包括计算机、图形计算单元、多个通信接口；通信接口导入单目长焦摄像头模块和双目广角摄像头模块的图像，经过图形计算单元计算得到距离深度图像算法和目标检测算法，并通过通信接口将结果输出至嵌入式通信单元。
在上述的基于多焦距摄像头组的车载机器视觉系统中，嵌入式通信单元包括嵌入式控制器与CAN收发器，用于接收图形计算机系统的计算结果，并将计算结果发送至汽车控制器模块。
在上述的基于多焦距摄像头组的车载机器视觉系统中，汽车控制器模块为车载计算机系统的主控单元，或自动驾驶控制器、汽车前大灯以及报警系统。
在上述的基于多焦距摄像头组的车载机器视觉系统中，长焦镜头位于汽车正前方偏左的位置，实现对向来车的图像识别。
一种基于多焦距摄像头组的车载机器视觉系统的实现方法，包括以下步骤：
步骤1、读取双目广角摄像头模块图像数据并进行处理，粗测车辆前方是否存在物体；
步骤2、若存在物体，则通过双目图像距离算法计算物体的距离，若物体距离较近则输出物体的方位与距离；
步骤3、若物体距离较远，且在长焦镜头感应区内，则通过长焦高清图像进行目标检测，并输出物体信息；
步骤4、根据单目长焦摄像头模块图像数据，预估前方道路信息，并输出道路信息。
本发明的有益效果：本发明成本低廉，适应性强，与传统的汽车车载机器视觉系统相比，具有同时兼顾远近各类目标，并带有一定的目标追踪与测距的功能。系统中多种焦距摄像头测量距离远，近距离测量精度高，与同类产品例如车载雷达相比检测范围更远，成本更低，不会因为密集车辆造成雷达干扰失效，性能更可靠。本发明自动化程度高，无需驾驶员手动操作，能给驾驶员更广的有效视野和更佳的驾驶体验。
附图说明
图1是本发明一个实施例一种基于多焦距摄像头组的车载机器视觉系统的总体框图；
图2是本发明一个实施例一种基于多焦距摄像头组的车载机器视觉系统的图像处理算法流程图；
图3是本发明一个实施例的单目长焦摄像头模块视域示意图；
图4是本发明一个实施例的双目广角摄像头模块视域示意图；
图5是本发明一个实施例的视域剖面示意图；
图6是本发明一个实施例的视域顶面示意图。
具体实施方式
下面结合附图对本发明的实施方式进行详细描述。
本实施例能在识别车辆前方远近不同范围的物体信息，包括物体的3D位置信息及初步分类信息，还可根据算法估计前方道路信息。
本实施例是通过以下技术方案来实现的，一种基于多种焦距摄像头的车载机器视觉系统，如图1所示，包括单目长焦摄像头模块、双目广角摄像头模块、图形计算机系统、嵌入式通信单元和汽车控制器及其他模块。单目长焦摄像头模块、双目广角摄像头模块分别与图形计算机系统连接，图形计算机系统依次连接嵌入式通信单元和汽车控制器。
而且，双目广角摄像头模块使用相对位置固定并标定完成的两个完全相同的摄像头。其视域如图4所示：其镜头为广角镜头，感光范围应足够大，使车载机器视觉系统在近处的观测不能存在死角，所摄清晰的距离适中，由双目广角摄像头模块所摄两幅对应的图像可经计算得到视差图及距离深度图，并可得到物体与摄像头之间的距离即方位信息。
而且，单目长焦摄像头模块其视域如图3所示：其镜头为长焦镜头，感光角度适当，但其所摄距离应足够远，使得车载机器视觉系统在远处有对向来车等事件时有充分的时间做出反应。
而且，图形计算机系统包括计算机、图形计算单元、各种通信接口等。其工作原理为：由通信接口导入单目长焦摄像头模块和双目广角摄像头模块图像，再用图形计算单元计算得到距离深度图像算法和目标检测算法，再通过通信接口输出结果给嵌入式通信单元。
而且，嵌入式通信单元包括嵌入式控制器与CAN收发器，它接收图形计算机系统的计算结果，并将计算结果发送给汽车控制器模块等其他决策与执行单元。
而且，汽车控制器模块可以是车载计算机系统的主控单元，也可以是其他模块，如自动驾驶控制器、汽车前大灯以及报警系统等。
并且，车载机器视觉系统视域剖面图如图5所示，视域顶面图如图6所示。长焦镜头的视域最好位于车载机器视觉系统视域中间偏左位置，可有效针对对向来车进行图像识别。
一种基于多种焦距摄像头的车载机器视觉系统的软件流程图，如图2所示，实现方法包括如下步骤：
步骤一、读取双目广角摄像头模块图像数据并进行处理，粗测车辆前方是否存在物体。
步骤二、若存在物体，则通过双目图像距离算法计算物体的距离，若物体距离较近则直接输出物体的方位与距离。
步骤三、若物体在远处，且在长焦镜头感应区内，则通过长焦高清图像进行目标检测，并输出物体具体信息。
步骤四、根据单目长焦摄像头模块图像数据，估计前方道路信息(如弯道，上下坡等)，并输出该信息。
具体实施时，一种基于不同焦距摄像头组的车载机器视觉系统，系统供电方面可以利用汽车自带蓄电池转接逆变器给车载机器视觉系统单独供电，同时额定输出电流应不小于2A。由双目广角摄像头模块观测近处目标，其观测角度大，还可以由双目图像测距算法探知与近处物体的距离。单目长焦摄像头模块则负责观测对向来车等远距离目标，并识别其类别及位置信息，同时可用于估计前方较远处的道路信息。该车载机器视觉系统能够在复杂道路环境下，既采集车前方近距离目标信息，如行人，前方障碍物等的同时，又采集车前方远距离的目标信息，如对向来车等。同时提出了使用该系统完成上述功能的图像处理算法。
图形计算机系统，可以通过PC机或云端两种方式实现，若使用PC系统则需附带高性能GPU单元，若使用云端计算技术，则最好采用5G移动网络传输数据。
双目广角摄像头模块的摄像头可以使用覆盖角度120-150度，探测距离为 20-30米的广角镜头。双目广角摄像头模块探测角度大，优选焦距小于3mm的广角镜头。且可根据算法测定物体与镜头的距离，其视域范围如图3、5、6所示。
单目长焦摄像头模块的摄像头可以使用覆盖角度15-20度，探测距离为 75-150米的超长焦像头。单目长焦摄像头模块的观测距离应足够大，优选焦距大于8mm的长焦镜头，其视域范围如图4、5、6所示。
在上电时自动启动完成车载机器视觉系统，并完成初始化工作。该系统通过安装在汽车上的单目长焦摄像头模块及双目广角摄像头模块获取前方图像信息，并传输给图形计算机系统。
使用覆盖角度为15度的长焦镜头，以汽车正前方为分界线，左边探测角度为10度，右侧为5度。
使用双目立体匹配(Stereo Matching)算法，对双目广角摄像头模块获取的图像进行处理，得到汽车近前方行人与障碍物的方位及距离信息。
使用YOLO算法，对单目长焦摄像头模块获取的图像进行目标检测，以得到汽车远前方道路及物体信息。
通过CAN总线将检测结果发送到汽车控制器，可由其决定是否执行告警提示，紧急刹车等操作，同时汽车其他模块也可以使用该信息，比如通过预存的汽车前照灯控制算法控制汽车前照灯进行上、下、左、右偏转，或开启、关闭汽车前照灯等。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
虽然以上结合附图描述了本发明的具体实施方式，但是本领域普通技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变形或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。
Claims (5)
1.一种基于多焦距摄像头组的车载机器视觉系统，其特征是，包括单目长焦摄像头模块和双目广角摄像头模块，与单目长焦摄像头模块和双目广角摄像头模块连接的图形计算机系统，与图形计算机系统依次连接的嵌入式通信单元和汽车控制器模块；单目长焦摄像头模块用于观测远距离目标，并识别目标的类别及位置信息，同时用于估计前方较远处的道路信息，包括弯道，上下坡的信息；双目广角摄像头模块用于观测近处目标，并确定与近处目标的距离；单目长焦摄像头模块包括一个摄像头，单目长焦摄像头模块的摄像头使用覆盖角度15-20度，探测距离为75-150米，焦距大于8mm的长焦镜头；双目广角摄像头模块为相对位置固定并标定完成的两个相同的摄像头，双目广角摄像头模块的两个摄像头均使用覆盖角度120-150度，探测距离为20-30米，焦距小于3mm的广角镜头；通过读取双目广角摄像头模块图像数据并进行处理，粗测车辆前方是否存在物体，若存在物体，则通过双目图像距离算法计算物体的距离，若物体距离较近则输出物体的方位与距离；若物体距离较远，且在长焦镜头感应区内，则通过长焦高清图像进行目标检测，并输出物体类别与位置信息；根据单目长焦摄像头模块图像数据，预估前方道路信息，并输出道路信息。
2.如权利要求1所述的基于多焦距摄像头组的车载机器视觉系统，其特征是，图形计算机系统包括计算机、图形计算单元、多个通信接口；通信接口导入单目长焦摄像头模块和双目广角摄像头模块的图像，经过图形计算单元计算得到距离深度图像算法和目标检测算法，并通过通信接口将结果输出至嵌入式通信单元。
3.如权利要求1所述的基于多焦距摄像头组的车载机器视觉系统，其特征是，嵌入式通信单元包括嵌入式控制器与CAN收发器，用于接收图形计算机系统的计算结果，并将计算结果发送至汽车控制器模块。
4.如权利要求1所述的基于多焦距摄像头组的车载机器视觉系统，其特征是，汽车控制器模块为车载计算机系统的主控单元，或自动驾驶控制器、汽车前大灯以及报警系统。
5.如权利要求1所述的基于多焦距摄像头组的车载机器视觉系统，其特征是，长焦镜头位于汽车正前方偏左的位置，实现对向来车的图像识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911064986.8A CN111010532B (zh) | 2019-11-04 | 2019-11-04 | 一种基于多焦距摄像头组的车载机器视觉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911064986.8A CN111010532B (zh) | 2019-11-04 | 2019-11-04 | 一种基于多焦距摄像头组的车载机器视觉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111010532A CN111010532A (zh) | 2020-04-14 |
| CN111010532B true CN111010532B (zh) | 2021-03-16 |
Family
ID=70111830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911064986.8A Active CN111010532B (zh) | 2019-11-04 | 2019-11-04 | 一种基于多焦距摄像头组的车载机器视觉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111010532B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612546A (zh) * | 2020-07-16 | 2022-06-10 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
| CN111923916B (zh) * | 2020-07-24 | 2022-03-29 | 江苏大学 | 一种基于视觉感知行为和anfis的仿人转向建模方法及转向控制系统 |
| CN111986248B (zh) * | 2020-08-18 | 2024-02-09 | 东软睿驰汽车技术（沈阳）有限公司 | 多目视觉感知方法、装置及自动驾驶汽车 |
| CN112330966A (zh) * | 2020-10-23 | 2021-02-05 | 深圳市锐明技术股份有限公司 | 一种车辆限速检测方法、装置及终端设备 |
| CN112257606A (zh) * | 2020-10-23 | 2021-01-22 | 深圳市锐明技术股份有限公司 | 一种行人礼让检测方法、装置及终端设备 |
| CN112729123A (zh) * | 2020-12-21 | 2021-04-30 | 广州安特激光技术有限公司 | 一种基于机器视觉的测距系统及其方法 |
| CN113103228B (zh) * | 2021-03-29 | 2023-08-15 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113077378B (zh) * | 2021-03-31 | 2024-02-09 | 重庆长安汽车股份有限公司 | 一种基于车载摄像头的图像处理及目标识别方法 |
| CN115195625A (zh) * | 2021-04-12 | 2022-10-18 | 华为技术有限公司 | 一种车载感知装置及车辆 |
| CN115988304B (zh) * | 2022-05-05 | 2024-08-27 | 阿尔特汽车技术股份有限公司 | 一种使用单一摄像头准确测距的智能驾驶系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203435083U (zh) * | 2013-07-05 | 2014-02-12 | 深圳市航盛电子股份有限公司 | 基于车身传感器360°环视行车的辅助系统 |
| CN107766833A (zh) * | 2017-10-30 | 2018-03-06 | 惠州市德赛西威汽车电子股份有限公司 | 一种单目视觉adas系统样本的采集装置及方法 |
| CN108860045A (zh) * | 2018-06-28 | 2018-11-23 | 深圳奥尼电子股份有限公司 | 驾驶辅助方法、驾驶辅助装置及存储介质 |
| CN109274939A (zh) * | 2018-09-29 | 2019-01-25 | 成都臻识科技发展有限公司 | 一种基于三摄像头模组的停车场出入口监控方法及系统 |
| CN109544940A (zh) * | 2018-11-09 | 2019-03-29 | 北京恩吉威科技股份有限公司 | 基于三目视觉的公交车专用道占道抓拍系统及其抓拍方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6023466B2 (ja) * | 2012-05-17 | 2016-11-09 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車載用表示装置 |
| CN108205658A (zh) * | 2017-11-30 | 2018-06-26 | 中原智慧城市设计研究院有限公司 | 基于单双目视觉融合的障碍物检测预警系统 |
| CN109374008A (zh) * | 2018-11-21 | 2019-02-22 | 深动科技（北京）有限公司 | 一种基于三目摄像头的图像采集系统及方法 |
-
2019
- 2019-11-04 CN CN201911064986.8A patent/CN111010532B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203435083U (zh) * | 2013-07-05 | 2014-02-12 | 深圳市航盛电子股份有限公司 | 基于车身传感器360°环视行车的辅助系统 |
| CN107766833A (zh) * | 2017-10-30 | 2018-03-06 | 惠州市德赛西威汽车电子股份有限公司 | 一种单目视觉adas系统样本的采集装置及方法 |
| CN108860045A (zh) * | 2018-06-28 | 2018-11-23 | 深圳奥尼电子股份有限公司 | 驾驶辅助方法、驾驶辅助装置及存储介质 |
| CN109274939A (zh) * | 2018-09-29 | 2019-01-25 | 成都臻识科技发展有限公司 | 一种基于三摄像头模组的停车场出入口监控方法及系统 |
| CN109544940A (zh) * | 2018-11-09 | 2019-03-29 | 北京恩吉威科技股份有限公司 | 基于三目视觉的公交车专用道占道抓拍系统及其抓拍方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111010532A (zh) | 2020-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111010532B (zh) | 一种基于多焦距摄像头组的车载机器视觉系统 | |
| CN107650908B (zh) | 无人车环境感知系统 | |
| CN107499307B (zh) | 自动停车辅助装置以及包括该自动停车辅助装置的车辆 | |
| CN106909152B (zh) | 一种车用环境感知系统及汽车 | |
| CN211765500U (zh) | 一种用于封闭场景下的智能驾驶环境感知系统及汽车 | |
| CN110293967B (zh) | 一种汽车低速主动安全执行控制方法及控制系统 | |
| CN102390370B (zh) | 一种基于立体视觉的车辆行驶应急处理装置及方法 | |
| CN108032859B (zh) | 自动变道控制方法、装置和汽车 | |
| JP2021018737A (ja) | 信号表示推定システム | |
| CN111634290B (zh) | 高级驾驶辅助的前向融合系统及方法 | |
| CN104802710B (zh) | 一种智能汽车倒车辅助系统及辅助方法 | |
| CN103237685A (zh) | 盲区显示装置及方法 | |
| CN114442101B (zh) | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 | |
| US11855691B1 (en) | Vehicle with free-space optical link for log data uploading | |
| CN114492679B (zh) | 一种车辆数据处理方法、装置、电子设备及介质 | |
| CN113525228A (zh) | 遮挡信息显示方法、装置、电子设备及存储介质 | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
| CN110271417B (zh) | 基于adas和ar技术的全液晶仪表系统 | |
| US12056937B2 (en) | Probabilistic modular lane transition state estimation | |
| CN110834635B (zh) | 一种氢能汽车并道场景的自动驾驶方法及控制系统 | |
| CN110155043B (zh) | 自动泊车二维定位方法 | |
| CN116256747A (zh) | 一种电动汽车环境感知系统及其方法 | |
| CN114954756B (zh) | 一种基于ar-hmd的智能头盔盲区检测系统和方法 | |
| CN110727269A (zh) | 车辆控制方法及相关产品 | |
| CN113071498B (zh) | 车辆控制方法、装置、系统、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |