CN211603888U - 一种车载综合控制系统 - Google Patents
一种车载综合控制系统 Download PDFInfo
- Publication number
- CN211603888U CN211603888U CN202020264207.0U CN202020264207U CN211603888U CN 211603888 U CN211603888 U CN 211603888U CN 202020264207 U CN202020264207 U CN 202020264207U CN 211603888 U CN211603888 U CN 211603888U
- Authority
- CN
- China
- Prior art keywords
- module
- input interface
- video input
- interface
- looking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本实用新型公开了一种车载综合控制系统，包括：综合控制器，以及与所述综合控制器连接的通信控制器、定位终端和显示终端；其中，所述综合控制器包括控制模块、卫星导航模块、惯导模块、雷达模块以及图像采集模块；所述控制模块连接所述卫星导航模块、所述惯导模块、所述雷达模块和所述图像采集模块。本实用新型实施例的车载综合控制系统通过设置多种外围控制接口以及多个用于采集外部环境的视频采集装置，能够提升导航的准确度，并采用FPGA处理芯片对图像进行预处理，提高显示效果和识别精度。
Description
技术领域
本实用新型属于车辆控制技术领域，具体涉及一种车载综合控制系统。
背景技术
车载综合控制器是无人车遥控系统的核心模块之一，融合各类环境感知传感器，实时传输到遥控终端显示车辆周边态势，辅助操控人员控制车辆，接收遥控器操控指令，通过CAN协议控制底盘完成动作，也可以同时通过控制上装动作，实现对整车的一体化操控。
目前，市场上大多数的无人车都是采用单一的车载摄像头来进行道路信息采集，利用微处理器进行图像处理的导航方式，在对道路的路况的识别上存在狭隘性和局域性，且近些年无人车驾驶事故不断增加，说明现在在无人车导航系统上还存在着一定的安全隐患，容易发生安全事故，需要进行改进。
实用新型内容
为了解决现有技术中存在的上述问题，本实用新型提供了一种车载综合控制系统。
本实用新型的一个实施例提供了一种车载综合控制系统，包括：
综合控制器，以及与所述综合控制器连接的通信控制器、定位终端和显示终端；其中，
所述综合控制器包括：控制模块、卫星导航模块、惯导模块、雷达模块以及图像采集模块；
所述控制模块连接所述卫星导航模块、所述惯导模块、所述雷达模块和所述图像采集模块。
在一个具体实施方式中，所述综合控制器上还设置有控制信号接口、以外网接口、供电接口、左前双目SDI视频输入接口、右前双目SDI视频输入接口、左前环视SDI视频输入接口、右前环视SDI视频输入接口、左后环视SDI视频输入接口、右后环视SDI视频输入接口、天线接口、自定义预留接口。
在一个具体实施方式中，所述图像采集模块包括前视摄像头和环视摄像头，其中，所述前视摄像头分别连接至所述左前双目SDI视频输入接口和所述右前双目SDI视频输入接口，以采集前视视频图像；
所述环视摄像头分别连接至所述左前环视SDI视频输入接口、所述右前环视SDI视频输入接口、所述左后环视SDI视频输入接口和所述右后环视SDI视频输入接口，以采集环视视频图像。
在一个具体实施方式中，所述雷达模块包括前后毫米波雷达、左右毫米波雷达、前视激光雷达和侧视激光雷达。
在一个具体实施方式中，所述综合控制器通过所述以太网接口连接所述通信控制器和所述定位终端。
在一个具体实施方式中，所述卫星导航模块通过所述天线接口连接天线。
在一个具体实施方式中，所述控制模块包括：FPGA处理芯片以及连接所述 FPGA处理芯片的图形处理单元、视频解码单元和视频编码单元。
本实用新型实施例的车载综合控制系统通过设置多种外围控制接口以及多个用于采集外部环境的视频采集装置，能够提升导航的准确度，并采用FPGA处理芯片对图像进行预处理，提高显示效果和识别精度。
附图说明
图1为本实用新型实施例提供的一种车载综合控制系统的模块框图；
图2为本实用新型实施例提供的一种车载综合控制系统控制模块的模块框图。
具体实施方式
下面结合具体实施方式对本实用新型作进一步的详细描述。但不应将此理解为本实用新型上述主题的范围仅限于以下的实施例，凡基于本实用新型内容所实现的技术均属于本实用新型的范围。
实施例一
请参见图1，图1为本实用新型实施例提供的一种车载综合控制系统的模块框图包括：
综合控制器，以及与所述综合控制器连接的通信控制器、定位终端和显示终端；
综合控制器和定位终端通过网口连接，以接收定位、定向及速度等报文信息，具体实施中，定位终端可以是北斗定位设备、GPS定位设备、伽利略定位设备等能够实现定位功能的导航系统；
综合控制器和通信控制器通过网口连接，以将综合控制器处理后的信息转换成对应的格式(例如JSON格式)通过通信控制器进行发送，具体实施中，通信控制器可以是具备网络信息发送功能的设备；综合控制器和显示终端通过特定的显示接口进行连接，以便接收综合控制器发送的车辆当前状态信息并通过电子地图显示在显示终端上。当然，综合控制器还通过CAN总线连接至底盘驱动系统，以对底盘状态进行监控。
其中，
所述综合控制器包括：控制模块、卫星导航模块、惯导模块、雷达模块以及图像采集模块；
所述控制模块连接所述卫星导航模块、所述惯导模块、所述雷达模块和所述图像采集模块。
在一个具体实施方式中，所述综合控制器上还设置有控制信号接口、以太网接口、供电接口、左前双目SDI(serial digital interface,数字分量串行接口)视频输入接口、右前双目SDI视频输入接口、左前环视SDI视频输入接口、右前环视SDI视频输入接口、左后环视SDI视频输入接口、右后环视SDI视频输入接口、天线接口、自定义预留接口。当然，本申请并不局限于上述接口的组合，在具体应用场景中，可以针对性的设置接口数量和接口功能，例如对车辆监控要求较高，则可以设置更多的视频输入接口，以便连接更多的图像采集装置，或者对信号接收的实时性和准确性要求较高，则可以设置更多的天线接口以增强信息接收能力。
在一个具体实施方式中，所述图像采集模块包括前视摄像头和环视摄像头，其中，所述前视摄像头分别连接至所述左前双目SDI视频输入接口和所述右前双目SDI视频输入接口，以采集前视视频图像；
所述环视摄像头分别连接至所述左前环视SDI视频输入接口、所述右前环视SDI视频输入接口、所述左后环视SDI视频输入接口和所述右后环视SDI视频输入接口，以采集环视视频图像。
在一个具体实施方式中，所述雷达模块包括前后毫米波雷达、左右毫米波雷达、前视激光雷达和侧视激光雷达。
为了提升能够全方位的感知外部的信息，本申请通过前视摄像头、环视摄像头、毫米波雷达、激光雷达、碰撞开关、超声波雷达模块、定位定向卫星导航模块、惯导模块等进行定位和环境识别，当然，在具体实施时，可根据应用场景需求进行选装以上模块中的组合。其中，为了提升导航控制的准确性，前视摄像头和环视摄像头需要同时使用。
在一个具体实施方式中，所述卫星导航模块通过所述天线接口连接天线。
在一个具体实施方式中，请参见图2，图2为本实用新型实施例提供的一种车载综合控制系统控制模块的模块框图，所述控制模块包括：FPGA(Field Programmable GateArray，现场可编程门阵列)处理芯片以及连接所述FPGA处理芯片的图形处理单元、视频解码单元和视频编码单元。
而由于本申请采用多个前视摄像头和环视摄像头进行视频和图像采集，因此在进行图像视频处理时，就需要处理能力更高的处理器和处理方法。例如，需要实时的对视频进行滤波、增强拼接、编解码传输，有的应用场景还需要对图像进行识别理解，处理要求快，对计算性能也有极大需求。
因此，本实施例的FPGA处理芯片可以是Xilinx公司的ZYNQ芯片、图形处理单元可以采用英伟达公司的Jetson TX2级计算模块，利用PCIE高速总线接口进行互联。FPGA设计64位宽DDR3内存，用于多路图像的并行缓存，ZYNQFPGA 完成图像预处理，包括图像滤波和图像增强。多路环视图像及前视图像拼接，以扩展前视图像(2路)为主，四角叠加拼接4路环视图像。
为了进一步提升图像处理效率，本身的图形处理单元使用AI(ArtificialIntelligence,人工智能)领域性能优越的GPGPU(General-purpose computing ongraphics processing units，通用图形处理器)进行算法加速，主要用于图像识别理解。
FPGA与GPGPU通过PCIE(peripheral component interconnect express) 总线进行视频数据高速传输，GPGPU进行图像识别处理，实现人脸识别+指挥手势识别+车辆目标人员跟随+双目镜头标定算法。值得一提的是，上述几种识别算法均为现有技术，具体实现方式在此不再赘述。
具体的，本申请采用示例性的方式对上述算法的应用进行举例：
其中，人脸识别主要基于YOLOV3算法实现，在光照充足条件下，其识别率为99％，识别速度为450毫秒。
前视摄像模块的两个摄像头提供目标人员的距离测量能力，模块内双摄像头基线长度10厘米，测距在10米以下，误差为1米内；测距在10米至15米之间时，误差在2米内。
手势识别+车辆目标人员跟随，基于体态识别核心算法，识别目标人员的操作手势，与预先学习的适量手势比对，判断操作指令，同时通过目标跟随算法跟踪目标人员，并作遮挡处理。在光照充足的情况下，操作员距离镜头3～5米范围内，正视摄像头做预定手势，手势识别率达到95％，识别速度为380毫秒。
本实用新型实施例的车载综合控制系统通过设置多种外围控制接口以及多个用于采集外部环境的视频采集装置，能够提升导航的准确度，并采用FPGA处理芯片对图像进行预处理，提高显示效果和识别精度。
最后应说明的是：以上实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的精神和范围。
Claims (7)
1.一种车载综合控制系统，其特征在于，包括：
综合控制器，以及与所述综合控制器连接的通信控制器、定位终端和显示终端；其中，
所述综合控制器包括：控制模块、卫星导航模块、惯导模块、雷达模块以及图像采集模块；
所述控制模块连接所述卫星导航模块、所述惯导模块、所述雷达模块和所述图像采集模块。
2.根据权利要求1所述的车载综合控制系统，其特征在于，所述综合控制器上还设置有控制信号接口、以太网接口、供电接口、左前双目SDI视频输入接口、右前双目SDI视频输入接口、左前环视SDI视频输入接口、右前环视SDI视频输入接口、左后环视SDI视频输入接口、右后环视SDI视频输入接口、天线接口、自定义预留接口。
3.根据权利要求2所述的车载综合控制系统，其特征在于，所述图像采集模块包括前视摄像头和环视摄像头，其中，所述前视摄像头分别连接至所述左前双目SDI视频输入接口和所述右前双目SDI视频输入接口，以采集前视视频图像；
所述环视摄像头分别连接至所述左前环视SDI视频输入接口、所述右前环视SDI视频输入接口、所述左后环视SDI视频输入接口和所述右后环视SDI视频输入接口，以采集环视视频图像。
4.根据权利要求2所述的车载综合控制系统，其特征在于，所述雷达模块包括前后毫米波雷达、左右毫米波雷达、前视激光雷达和侧视激光雷达。
5.根据权利要求2所述的车载综合控制系统，其特征在于，所述综合控制器通过所述以太网接口连接所述通信控制器和所述定位终端。
6.根据权利要求2所述的车载综合控制系统，其特征在于，所述卫星导航模块通过所述天线接口连接天线。
7.根据权利要求2所述的车载综合控制系统，其特征在于，所述控制模块包括：FPGA处理芯片以及连接所述FPGA处理芯片的图形处理单元、视频解码单元和视频编码单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202020264207.0U CN211603888U (zh) | 2020-03-06 | 2020-03-06 | 一种车载综合控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202020264207.0U CN211603888U (zh) | 2020-03-06 | 2020-03-06 | 一种车载综合控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN211603888U true CN211603888U (zh) | 2020-09-29 |
Family
ID=72582233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202020264207.0U Active CN211603888U (zh) | 2020-03-06 | 2020-03-06 | 一种车载综合控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN211603888U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118351598A (zh) * | 2024-06-12 | 2024-07-16 | 山东浪潮科学研究院有限公司 | 一种基于gpgpu的手势动作识别方法、系统及存储介质 |
-
2020
- 2020-03-06 CN CN202020264207.0U patent/CN211603888U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118351598A (zh) * | 2024-06-12 | 2024-07-16 | 山东浪潮科学研究院有限公司 | 一种基于gpgpu的手势动作识别方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9922553B2 (en) | Vehicle assistance systems and methods utilizing vehicle to vehicle communications | |
| CN107807632B (zh) | 从融合的传感器数据感知道路状况 | |
| CN113420805B (zh) | 视频和雷达的动态轨迹图像融合方法、装置、设备及介质 | |
| KR102043060B1 (ko) | 자율 주행 장치 및 이를 구비한 차량 | |
| CN109817022B (zh) | 一种获取目标对象位置的方法、终端、汽车及系统 | |
| US11027654B2 (en) | Vehicle vision system with compressed video transfer via DSRC link | |
| CN112738171B (zh) | 车辆的控制方法、装置、系统、设备及存储介质 | |
| CN109492566B (zh) | 车道位置信息获取方法、装置及存储介质 | |
| CN109196437B (zh) | 智能驾驶方法、装置及存储介质 | |
| CN110855883A (zh) | 一种图像处理系统、方法、装置设备及存储介质 | |
| CN212305474U (zh) | 一种大型车辆全景影像拼接系统及汽车 | |
| CN109089086B (zh) | 一种全景摄像系统 | |
| CN110733444A (zh) | 一种基于mpsoc平台的adas驾驶辅助系统 | |
| CN113852795B (zh) | 视频画面调整方法、装置、电子设备及存储介质 | |
| CN211603888U (zh) | 一种车载综合控制系统 | |
| CN114240769A (zh) | 一种图像处理方法以及装置 | |
| CN213948406U (zh) | 车辆驾驶辅助系统、车载无人飞行器和车载主机 | |
| CN113432614B (zh) | 车辆导航方法、装置、电子设备及计算机可读存储介质 | |
| CN109559541B (zh) | 一种无人驾驶交通工具路线管理系统 | |
| EP3441960A1 (en) | Intelligent lighting system, intelligent vehicle and auxiliary vehicle driving system and method therefor | |
| US11182623B2 (en) | Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles | |
| KR20200070100A (ko) | 차량 검출 방법 및 이를 수행하는 전자 기기 | |
| CN114827491B (zh) | 一种无线传输全景环视拼接技术 | |
| CN113071498B (zh) | 车辆控制方法、装置、系统、计算机设备及存储介质 | |
| CN110032118A (zh) | 一种基于可重构计算的边缘计算系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |