CN113978365A - 全向adas+360°全景融合辅助驾驶系统及方法 - Google Patents
全向adas+360°全景融合辅助驾驶系统及方法 Download PDFInfo
- Publication number
- CN113978365A CN113978365A CN202111262430.7A CN202111262430A CN113978365A CN 113978365 A CN113978365 A CN 113978365A CN 202111262430 A CN202111262430 A CN 202111262430A CN 113978365 A CN113978365 A CN 113978365A
- Authority
- CN
- China
- Prior art keywords
- adas
- omnidirectional
- panoramic
- paths
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 title claims abstract description 68
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 title claims abstract description 68
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种全向ADAS+360°全景融合辅助驾驶系统，包括：核心板；ADAS摄像模块，所述ADAS摄像模块与所述核心板连接，所述ADAS摄像模块为多个。通过摄像头对车辆周边进行全方位的预警；通过边缘模块加核心模块的架构，使到计算的负荷分布到边缘和核心两个模块，计算速度更快，硬件成本更加优化。
Description
技术领域
本发明涉及辅助驾驶术领域，特别涉及一种全向ADAS+360°全景融合辅助驾驶系统及方法。
背景技术
现在智能驾驶辅助系统技术还不完善，目前的视觉的ADAS只有单向，即只有前向，对侧面和后面来车的报警，需要通过其他设备，如没有报警功能的凸镜，或者具有报警功能的雷达，系统复杂度高。现在汽车技术发展迅速，特别在自动驾驶、远程驾驶的技术发展方向，现有的驾驶辅助系统存在全景只能用于展示，无法主动报警，并存在不能实时显示的不足，不能满足现有的技术发展。
发明内容
本发明的主要目的在于提供一种全向ADAS+360°全景融合辅助驾驶系统，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种全向ADAS+360°全景融合辅助驾驶系统，包括：
核心板；
ADAS摄像模块，所述ADAS摄像模块与所述核心板连接，所述ADAS摄像模块为多个。
进一步地，所述ADAS摄像模块包括：
边缘计算模块，所述边缘计算模块与核心板电联接，所述边缘计算模块用于对摄入的视频计算输出点云至所述核心板；
摄像头，所述摄像头与所述边缘计算模块电联接。
进一步地，所述ADAS摄像模块为4组或4组以上，分别设于车辆的前、后、左、右。
进一步地，还包括交互模块，所述交互模块至少具有显示屏、扬声器和麦克风，所述显示屏用于显示ADAS计算结果与环视图像融合的全景系统视频图像，所述扬声器用于触发ADAS警报时发声警示。
进一步地，单个所述摄像头的拍摄角度大于180°。
进一步地，所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
基于本发明的另一个方面，提供了一种全向ADAS+360°全景融合辅助驾驶方法，包括以下步骤：
4路或4路以上摄像图像信息单独转化成点云；
接收4路或4路以上方向点云数据和4路图像信息，对4路或4路以上方向点云数据进行ADAS算法计算，对4路或4路以上图像信息进行360°拼接算法，合成环视图像；
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
进一步地，还包括以下步骤：
当触发ADAS警报时扬声器进行发声警示。
进一步地，还包括以下步骤：
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算，根据计算结果输出控制信号至车辆控制器。
与现有技术相比，本发明具有如下有益效果：
1.通过摄像头对车辆周边进行全方位的预警；
2.通过边缘模块加核心模块的架构，使到计算的负荷分布到边缘和核心两个模块，计算速度更快，硬件成本更加优化。
附图说明
图1为本发明的一种全向ADAS+360°全景融合辅助驾驶系统的结构示意图。
图2为本发明的一种全向ADAS+360°全景融合辅助驾驶系统的数据传输流向示意图。
图3为本发明的一种全向ADAS+360°全景融合辅助驾驶系统的全景视图示意图。
图4为本发明的一种全向ADAS+360°全景融合辅助驾驶系统的摄像模块的安装点位图。
图中：1、核心板；2、边缘计算模块；3、摄像头；4、显示屏；5、扬声器；6、麦克风。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-4所示的一种全向ADAS+360°全景融合辅助驾驶系统，包括：
核心板1；
ADAS摄像模块，所述ADAS摄像模块与所述核心板1连接，所述ADAS摄像模块为多个，用于提供多个视角范围的数据到核心板进一步计算和拼接。
其中，所述ADAS摄像模块包括：
边缘计算模块2，所述边缘计算模块2与核心板1电联接，所述边缘计算模块2用于对摄入的视频计算输出点云至所述核心板；
摄像头3，所述摄像头3与所述边缘计算模块2电联接。
其中，根据图3图4所示，所述ADAS摄像模块为4组，分别设于车辆的4个角。
其中，还包括交互模块，所述交互模块至少具有显示屏4、扬声器5和麦克风6，所述显示屏4用于显示ADAS计算结果与环视图像融合的全景系统视频图像，所述扬声器5用于触发ADAS警报时发声警示。
其中，单个所述摄像头3的拍摄角度大于180°。
其中，所述核心板1为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
基于本发明的另一个方面，提供了一种全向ADAS+360°全景融合辅助驾驶方法，包括以下步骤：
4路或4路以上摄像图像信息单独转化成点云；
接收4路或4路以上方向点云数据和4路或4路以上图像信息，对4路方向点云数据进行ADAS算法计算，对4路或4路以上图像信息进行360°拼接算法，合成环视图像；
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
其中，还包括以下步骤：
当触发ADAS警报时扬声器进行发声警示。
其中，还包括以下步骤：
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算，根据计算结果输出控制信号至车辆控制器。
针对现有的辅助驾驶缺乏及时性、准确性以及不够全面的缺陷，360°全景ADAS智能驾驶辅助系统可以根据车体大小安装4个以上摄像头，每个摄像头角度均大于180°，每个摄像头都能做ADAS功能，每个摄像头都配有一个具备一个边缘计算模块，对摄入的视频计算输出点云。4个摄像头输出的点云都给到核心板，核心板会对4个摄像头输入的点云进一步同时计算，得到最后的结果。可以实现获取到360°驾驶画面，全方位监控。获取到的数据传输到核心板，内嵌算法进行计算将360°图像拼接，得到360°全景图像效果展示在显示屏上。
根据图1和图2所示，4路摄像收集图像信息，分两种情况输出，一种是图像传输到核心板进行360°拼接算法，合成全景视频图像输出，另一种进行边缘计算转化成点云可到到核心板，4路方向点云数据同时进行ADAS算法计算。ADAS计算结果与环视图像融合输出到显示屏和扬声器上，显示屏可直观看到全景系统视频图像，当触发ADAS警报时扬声器发声警示。同时摄像头将获取到的原视频流直接给到核心板进行ADAS计算以及360°算法计算，计算结果可得出控制信号给到车辆控制器，紧急情况时可实现紧急自动辅助驾驶。所以摄像头可独立做多种驾驶辅助功能，同时将车身全方位的摄像图像信息实时的显示到显示屏上，驾驶员可以实时的看到车辆驾驶周边情况，紧急情况下自动启动辅助驾驶实现紧急避让等功能。
通过360°全景ADAS智能驾驶辅助系统可以获取到360°全景驾驶视频画面，车辆驾驶路况一清二楚。系统里面的每个摄像头都有ADAS算法，可以更快更清晰的获取图像信息，同时可实现异常检测自动报警、车距检测及报警、车辆检测VD、行人检测PED、行人保护系统、驾驶员驾驶检测、盲点探测等功能，达到行人及时保护，对驾驶员时刻监控并警示、对车辆物品及时躲避等等效果，达到车辆驾驶更安全的效果。对比现在的独立系统，系统的优点是：
1.能通过摄像头对车辆周边进行全方位的预警；
2.通过边缘模块+核心模块的架构，使到计算的负荷分布到边缘和核心两个模块，计算速度更快，硬件成本更加优化。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种全向ADAS+360°全景融合辅助驾驶系统，其特征在于，包括：
核心板；
ADAS摄像模块，所述ADAS摄像模块与所述核心板连接，所述ADAS摄像模块为多个。
2.根据权利要求1所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，所述ADAS摄像模块包括：
边缘计算模块，所述边缘计算模块与核心板电联接，所述边缘计算模块用于对摄入的视频计算输出点云至所述核心板；
摄像头，所述摄像头与所述边缘计算模块电联接。
3.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，所述ADAS摄像模块为4组或4组以上。
4.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，还包括交互模块，所述交互模块至少具有显示屏、扬声器和麦克风，所述显示屏用于显示ADAS计算结果与环视图像融合的全景系统视频图像，所述扬声器用于触发ADAS警报时发声警示。
5.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
6.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，单个所述摄像头的拍摄角度大于180°。
7.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶系统，其特征在于，所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
8.一种全向ADAS+360°全景融合辅助驾驶方法，其特征在于，包括以下步骤：
4路或4路以上摄像图像信息单独转化成点云；
接收4路或4路以上图像点云数据和4路或4路以上图像信息，对4路或4路以上图像点云数据进行ADAS算法计算，对4路或4路以上图像信息进行360°拼接算法，合成环视图像；
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
9.根据权利要求8所述的全向ADAS+360°全景融合辅助驾驶方法，其特征在于，还包括以下步骤：
当触发ADAS警报时扬声器进行发声警示。
10.根据权利要求8所述的全向ADAS+360°全景融合辅助驾驶方法，其特征在于，还包括以下步骤：
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算，根据计算结果输出控制信号至车辆控制器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111262430.7A CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111262430.7A CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113978365A true CN113978365A (zh) | 2022-01-28 |
Family
ID=79743322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111262430.7A Pending CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113978365A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180020160A1 (en) * | 2016-07-18 | 2018-01-18 | Suyin Optronics Corp. | 360-degree panoramic camera module and device |
| CN109109790A (zh) * | 2018-08-29 | 2019-01-01 | 广东卡仕达电子科技有限公司 | 一种360°全景泊车辅助系统及其语音控制方法 |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶系统及方法 |
| CN109581931A (zh) * | 2018-12-19 | 2019-04-05 | 广州路派电子科技有限公司 | 一种用于全景环视系统的控制器系统 |
| CN209089078U (zh) * | 2018-09-26 | 2019-07-09 | 福州大学 | 一种面向大型客车的嵌入式六路全景系统 |
| CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
| CN112954281A (zh) * | 2019-12-10 | 2021-06-11 | 通用汽车环球科技运作有限责任公司 | 在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云 |
-
2021
- 2021-10-28 CN CN202111262430.7A patent/CN113978365A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180020160A1 (en) * | 2016-07-18 | 2018-01-18 | Suyin Optronics Corp. | 360-degree panoramic camera module and device |
| CN109109790A (zh) * | 2018-08-29 | 2019-01-01 | 广东卡仕达电子科技有限公司 | 一种360°全景泊车辅助系统及其语音控制方法 |
| CN209089078U (zh) * | 2018-09-26 | 2019-07-09 | 福州大学 | 一种面向大型客车的嵌入式六路全景系统 |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶系统及方法 |
| CN109581931A (zh) * | 2018-12-19 | 2019-04-05 | 广州路派电子科技有限公司 | 一种用于全景环视系统的控制器系统 |
| CN112954281A (zh) * | 2019-12-10 | 2021-06-11 | 通用汽车环球科技运作有限责任公司 | 在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云 |
| CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| WO2012172923A1 (ja) | 車両周辺監視装置 | |
| CN103679838A (zh) | 车辆监控系统及方法 | |
| JP5495071B2 (ja) | 車両周辺監視装置 | |
| TWM593949U (zh) | 用於車輛之影像整合警示系統 | |
| US20140184737A1 (en) | Driving assistant system and method | |
| US11708032B2 (en) | Driving support device | |
| CN212305474U (zh) | 一种大型车辆全景影像拼接系统及汽车 | |
| TW201425105A (zh) | 泊車輔助系統及方法 | |
| CN103241172A (zh) | 一种汽车全景监视系统 | |
| CN102442249A (zh) | 全景汽车行驶实景监视系统 | |
| CN209634470U (zh) | 一种集成主动安全报警显示的全景环视设备及一种汽车 | |
| US8213683B2 (en) | Driving support system with plural dimension processing units | |
| JP2013005232A (ja) | 車両周辺監視装置 | |
| CN113852795A (zh) | 视频画面调整方法、装置、电子设备及存储介质 | |
| CN112001266B (zh) | 一种大型无人运输车监控方法及系统 | |
| CN113978365A (zh) | 全向adas+360°全景融合辅助驾驶系统及方法 | |
| CN216331763U (zh) | 一种集成全景功能和bsd功能的智能汽车电子后视镜设备 | |
| CN202923503U (zh) | 一种多输出模式的全景辅助泊车系统 | |
| CN212324233U (zh) | 一种全地域覆盖的车载周视监测系统 | |
| CN209290277U (zh) | 辅助驾驶系统 | |
| TWI626605B (zh) | 影像式車輛防撞模組的測試裝置以及測試方法 | |
| CN113301271A (zh) | 一种域控制器显示方法 | |
| CN112216067A (zh) | 一种基于车载广角相机的图像处理方法 | |
| CN114827491B (zh) | 一种无线传输全景环视拼接技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |