CN109949205A - 一种模拟人眼的自动驾驶图像感知系统与方法 - Google Patents
一种模拟人眼的自动驾驶图像感知系统与方法 Download PDFInfo
- Publication number
- CN109949205A CN109949205A CN201910092173.3A CN201910092173A CN109949205A CN 109949205 A CN109949205 A CN 109949205A CN 201910092173 A CN201910092173 A CN 201910092173A CN 109949205 A CN109949205 A CN 109949205A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- focal length
- human eye
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 9
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种模拟人眼的自动驾驶图像感知系统，包括广角摄像头、两个长焦摄像头、电机、数据通信模块、比较器、控制器、电源管理模块；广角摄像头用于拍摄生成第一图像；所述的两个长焦摄像头分别拍摄生成第二图像与第三图像；所述的电机分别控制长焦摄像头的位置和转换长焦摄像头的方向；所述的数据通信模块为各个模块之间建立数据连接；所述的比较器检测第二图像与第三图像的相似性；以第一图像为基准图像，几何校正第二图像、第三图像；所述的控制器用于控制长焦摄像头的移动，图像进行识别，对第二图像与第三图像进行拼接。本发明实现了模拟人眼的高精度自动识别功能，又使得设备的成本大大降低，节省了费用而且还能提高设备的性能的优点。
Description
技术领域
本发明属于人工智能技术和自动驾驶领域，尤其涉及一种模拟人眼的自动驾驶图像感知系统与方法。
背景技术
当前的自动感知系统大多是以激光雷达来实现检测，虽然可以定位到比较精确的程度，但是当想要实现更加精确的功能时往往受制于成本问题。
如何在高水平的识别性能与合理的成本之间找到平衡点成为了一个亟待解决的问题。视觉识别系统技术已经相当的成熟，如何能够更进一步地将机器与人眼功能结合在一起成为了一个难题。
在现有的技术中，大多数都是以激光雷达加上全球GPS识别系统来实现检测与定位，这距离降低成本还有一定的距离，本发明运用的是超声波阵列雷达、毫米波雷达代替了激光雷达，并且通过图像处理，惯性-图像导航定位软件的辅助，从而实现定位，交通信号灯，车道检测以及障碍物检测等感知，从而降低了成本而且提供高质量的服务。
发明内容
为了目前自动感知系统大多以激光雷达来实现检测，成本较高的问题。
本发明提出一种模拟人眼的自动驾驶图像感知系统，包括广角摄像头、两个长焦摄像头、电机、数据通信模块、比较器、控制器、电源管理模块；
所述的广角摄像头用于拍摄生成第一图像；
所述的两个长焦摄像头分别为左摄像头与右摄像头，左摄像头拍摄生成第二图像，右摄像头拍摄生成第三图像；
所述的电机分别控制长焦摄像头的位置和转换长焦摄像头的方向；
所述的数据通信模块为控制器、广角摄像头、长焦摄像头、电机之间建立数据连接；
所述的比较器对第二图像与第三图像进行识别，检测第二图像与第三图像的相似性；以第一图像为基准图像，几何校正第二图像、第三图像；
所述的控制器用于控制左右摄像头的移动，图像进行识别，对第二图像与第三图像进行拼接后进行阈值分割确定图像内的目标区域、背景区域、行人、车辆；
电源管理模块与各个模块进行电连接，提供各个模块所需要的电压。
优选的，所述的广角摄像头为鱼眼摄像头，利用鱼眼摄像头能够增加识别画面的空间纵深感，能够保证被识别主体的前后景物在画面上清晰的再现，广角摄像头的涵盖面积大，识别的物体范围更广。
优选的，所述的电机由步进电机组成，可以旋转长焦摄像头的位置和转换摄像头的方向，长焦摄像头负责配合广角摄像头对需要识别的物体进行信息获取和识别。
优选的，还包括GPS定位模块，用于对系统位置进行定位。
本发明还提供一种模拟人眼的自动驾驶图像感知方法，包括以下步骤：
S1.广角摄像头拍摄生成第一图像，并通过数据传输模块将第一图像传输到比较器与控制器；
S2.左右摄像头拍摄生成第二图像与第三图像，通过传输模块将第二图像与第三图像传输到比较器与控制器；
S3.比较器比较第二图像与第三图像的相似性，将比较结果发送到控制器；
S4.控制器根据比较器的结果，控制电机左摄像头与右摄像头位置与方向进行移动，直至拍摄生成的第二图像与第三图像相似度达95%；
S5.对第二图像与第三图像进行拼接，识别标记行人图像、汽车图像，得到拼接图像；
S6.以第一图像为基准图像将拼接图像与之进行比较，检测拼接图像与基准图像的相似性差距，行人图像、汽车图像标记的正确性。
优选的，所述的S5步骤包括图像初步对准、拼接缝处理、图像融合处理；
图像初步对准：将第二图像与第三图像进行图像初步对准，获得第二图像与第三图像的矩形重叠区域；
拼接缝处理：对矩形重叠区域进行拼接缝处理；
图像融合：对矩形重叠区域构建缝合线。
优选的，所述的拼接缝处理中采用中值滤波发消除拼接缝。
与现有技术相比，本发明技术方案的有益效果是：
本发明实现了模拟人眼的高精度自动识别功能，又使得设备的成本大大降低，节省了费用而且还能提高设备的性能的优点。
附图说明
图1为本发明提供的模拟人眼的自动驾驶图像感知系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一单元实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明提出一种模拟人眼的自动驾驶图像感知系统，包括广角摄像头、两个长焦摄像头、电机、数据通信模块、比较器、控制器、电源管理模块；
所述的广角摄像头用于拍摄生成第一图像；
所述的两个长焦摄像头分别为左摄像头与右摄像头，左摄像头拍摄生成第二图像，右摄像头拍摄生成第三图像；
所述的电机分别控制长焦摄像头的位置和转换长焦摄像头的方向；
所述的数据通信模块为控制器、广角摄像头、长焦摄像头、电机之间建立数据连接；
所述的比较器对第二图像与第三图像进行识别，检测第二图像与第三图像的相似性；以第一图像为基准图像，几何校正第二图像、第三图像；
所述的控制器用于控制左右摄像头的移动，图像进行识别，对第二图像与第三图像进行拼接后进行阈值分割确定图像内的目标区域、背景区域、行人、车辆；
电源管理模块与各个模块进行电连接，提供各个模块所需要的电压。
作为进一步的优选实施方案，所述的广角摄像头为鱼眼摄像头，利用鱼眼摄像头能够增加识别画面的空间纵深感，能够保证被识别主体的前后景物在画面上清晰的再现，广角摄像头的涵盖面积大，识别的物体范围更广。
作为进一步的优选实施方案，所述的电机由步进电机组成，可以旋转长焦摄像头的位置和转换摄像头的方向，长焦摄像头负责配合广角摄像头对需要识别的物体进行信息获取和识别。
作为进一步的优选实施方案，还包括GPS定位模块，用于对系统位置进行定位。
实施例2
本发明还提供一种模拟人眼的自动驾驶图像感知方法，包括以下步骤：
S1.广角摄像头拍摄生成第一图像，并通过数据传输模块将第一图像传输到比较器与控制器；
S2.左右摄像头拍摄生成第二图像与第三图像，通过传输模块将第二图像与第三图像传输到比较器与控制器；
S3.比较器比较第二图像与第三图像的相似性，将比较结果发送到控制器；
S4.控制器根据比较器的结果，控制电机左摄像头与右摄像头位置与方向进行移动，直至拍摄生成的第二图像与第三图像相似度达95%；
S5.对第二图像与第三图像进行拼接，识别标记行人图像、汽车图像，得到拼接图像；
S6.以第一图像为基准图像将拼接图像与之进行比较，检测拼接图像与基准图像的相似性差距，行人图像、汽车图像标记的正确性。
作为进一步的优选实施方案，所述的S5步骤包括图像初步对准、拼接缝处理、图像融合处理；
图像初步对准：将第二图像与第三图像进行图像初步对准，获得第二图像与第三图像的矩形重叠区域；
拼接缝处理：对矩形重叠区域进行拼接缝处理；
图像融合：对矩形重叠区域构建缝合线。
作为进一步的优选实施方案，所述的拼接缝处理中采用中值滤波发消除拼接缝。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种模拟人眼的自动驾驶图像感知系统，其特征在于，包括广角摄像头、两个长焦摄像头、电机、数据通信模块、比较器、控制器、电源管理模块；
所述的广角摄像头用于拍摄生成第一图像；
所述的两个长焦摄像头分别为左摄像头与右摄像头，左摄像头拍摄生成第二图像，右摄像头拍摄生成第三图像；
所述的电机分别控制长焦摄像头的位置和转换长焦摄像头的方向；
所述的数据通信模块为控制器、广角摄像头、长焦摄像头、电机之间建立数据连接；
所述的比较器对第二图像与第三图像进行识别，检测第二图像与第三图像的相似性；以第一图像为基准图像，几何校正第二图像、第三图像；
所述的控制器用于控制左右摄像头的移动，图像进行识别，对第二图像与第三图像进行拼接后进行阈值分割确定图像内的目标区域、背景区域、行人、车辆；
电源管理模块与各个模块进行电连接，提供各个模块所需要的电压。
2.根据权利要求1所述的模拟人眼的自动驾驶图像感知系统，其特征在于，所述的广角摄像头为鱼眼摄像头。
3.根据权利要求2所述的模拟人眼的自动驾驶图像感知系统，其特征在于，所述的电机由步进电机组成。
4.根据权利要求1所述的模拟人眼的自动驾驶图像感知系统，其特征在于，还包括GPS定位模块。
5.一种模拟人眼的自动驾驶图像感知方法，其特征在于，包括以下步骤：
S1.广角摄像头拍摄生成第一图像，并通过数据传输模块将第一图像传输到比较器与控制器；
S2.左右摄像头拍摄生成第二图像与第三图像，通过传输模块将第二图像与第三图像传输到比较器与控制器；
S3.比较器比较第二图像与第三图像的相似性，将比较结果发送到控制器；
S4.控制器根据比较器的结果，控制电机左摄像头与右摄像头位置与方向进行移动，直至拍摄生成的第二图像与第三图像相似度达95%；
S5.对第二图像与第三图像进行拼接，识别标记行人图像、汽车图像，得到拼接图像；
S6.以第一图像为基准图像将拼接图像与之进行比较，检测拼接图像与基准图像的相似性差距，行人图像、汽车图像标记的正确性。
6.根据权利要求5所述的模拟人眼的自动驾驶图像感知方法，其特征在于，所述的S5步骤包括图像初步对准、拼接缝处理、图像融合处理；
图像初步对准：将第二图像与第三图像进行图像初步对准，获得第二图像与第三图像的矩形重叠区域；
拼接缝处理：对矩形重叠区域进行拼接缝处理；
图像融合：对矩形重叠区域构建缝合线。
7.根据权利要求6所述的模拟人眼的自动驾驶图像感知方法，其特征在于，所述的拼接缝处理中采用中值滤波发消除拼接缝。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092173.3A CN109949205A (zh) | 2019-01-30 | 2019-01-30 | 一种模拟人眼的自动驾驶图像感知系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092173.3A CN109949205A (zh) | 2019-01-30 | 2019-01-30 | 一种模拟人眼的自动驾驶图像感知系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109949205A true CN109949205A (zh) | 2019-06-28 |
Family
ID=67007430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910092173.3A Pending CN109949205A (zh) | 2019-01-30 | 2019-01-30 | 一种模拟人眼的自动驾驶图像感知系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949205A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112312038A (zh) * | 2019-07-24 | 2021-02-02 | 常州星宇车灯股份有限公司 | 用于智能驾驶的复合镜头和车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238326A (ja) * | 2005-02-28 | 2006-09-07 | Canon Inc | カメラ装置システムおよび撮影動画像再生方法 |
| CN104469282A (zh) * | 2013-09-25 | 2015-03-25 | 中央大学 | 具有双镜头的影像撷取系统 |
| CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
| CN108805910A (zh) * | 2018-06-01 | 2018-11-13 | 海信集团有限公司 | 多目车载记录仪、目标检测方法、智能驾驶系统及汽车 |
| US20180352165A1 (en) * | 2017-06-05 | 2018-12-06 | Samsung Electronics Co., Ltd. | Device having cameras with different focal lengths and a method of implementing cameras with different focal lenghts |
-
2019
- 2019-01-30 CN CN201910092173.3A patent/CN109949205A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238326A (ja) * | 2005-02-28 | 2006-09-07 | Canon Inc | カメラ装置システムおよび撮影動画像再生方法 |
| CN104469282A (zh) * | 2013-09-25 | 2015-03-25 | 中央大学 | 具有双镜头的影像撷取系统 |
| US20180352165A1 (en) * | 2017-06-05 | 2018-12-06 | Samsung Electronics Co., Ltd. | Device having cameras with different focal lengths and a method of implementing cameras with different focal lenghts |
| CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
| CN108805910A (zh) * | 2018-06-01 | 2018-11-13 | 海信集团有限公司 | 多目车载记录仪、目标检测方法、智能驾驶系统及汽车 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112312038A (zh) * | 2019-07-24 | 2021-02-02 | 常州星宇车灯股份有限公司 | 用于智能驾驶的复合镜头和车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102779347B (zh) | 一种用于飞行器的目标跟踪与定位方法和装置 | |
| US9352690B2 (en) | Apparatus and method for detecting obstacle adaptively to vehicle speed | |
| CN108749813B (zh) | 一种自动泊车系统及泊车方法 | |
| CN105844225B (zh) | 一种基于车辆的图像处理方法和装置 | |
| CN106527426A (zh) | 一种室内多目轨迹规划系统及其方法 | |
| EP2899691A1 (en) | Target tracking method and system for intelligent tracking high speed dome camera | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| CN113196007B (zh) | 一种应用于车辆的相机系统 | |
| CN207164772U (zh) | 一种反恐探索车、可穿戴设备和虚拟现实探测系统 | |
| CN106020232A (zh) | 一种无人机避障装置及避障方法 | |
| CN104766481A (zh) | 一种无人机进行车辆跟踪的方法及系统 | |
| JP2018084802A (ja) | 撮像装置、撮像システム及び距離情報取得方法 | |
| US20220191460A1 (en) | Obstacle detection method and apparatus and unmanned aerial vehicle | |
| CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
| CN103696652A (zh) | 一种电动折叠门的保护方法、保护系统及电动折叠门 | |
| CN104079916A (zh) | 一种全景三维视觉传感器及使用方法 | |
| CN101540822A (zh) | 高分辨率大视场航空成像装置及其方法 | |
| KR20180135146A (ko) | 3d 정보를 이용한 드론 탐지장치 및 그 방법 | |
| CN106382918A (zh) | 一种三维视觉传感器 | |
| CN109949205A (zh) | 一种模拟人眼的自动驾驶图像感知系统与方法 | |
| CN104297896A (zh) | 一种对焦方法及电子设备 | |
| JP2004046451A (ja) | 目画像撮像装置および個体認証装置 | |
| CN104484051A (zh) | 基于穿戴式眼镜视线的室内实时营销指挥方法和系统 | |
| US20210266467A1 (en) | Control device, control method, and program | |
| US20190068943A1 (en) | Environment Perception System for Autonomous Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |