CN113635845A - 集成辅助驾驶系统及作业机械 - Google Patents
集成辅助驾驶系统及作业机械 Download PDFInfo
- Publication number
- CN113635845A CN113635845A CN202111005836.7A CN202111005836A CN113635845A CN 113635845 A CN113635845 A CN 113635845A CN 202111005836 A CN202111005836 A CN 202111005836A CN 113635845 A CN113635845 A CN 113635845A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- instruction
- control module
- result data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- FXNSVEQMUYPYJS-UHFFFAOYSA-N 4-(2-aminoethyl)benzenesulfonamide Chemical compound NCCC1=CC=C(S(N)(=O)=O)C=C1 FXNSVEQMUYPYJS-UHFFFAOYSA-N 0.000 claims 4
- 238000004519 manufacturing process Methods 0.000 abstract description 29
- 238000011161 development Methods 0.000 description 25
- 238000004458 analytical method Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010047513 Vision blurred Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种集成辅助驾驶系统及作业机械，该系统包括控制模块及与所述控制模块连接并受所述控制模块控制的输入输出组件；所述输入输出组件，用于接收用户的第一输入，向所述控制模块发送所述第一输入对应的目标指令；所述控制模块，用于基于所述目标指令，获取与所述目标指令对应的目标辅助功能的目标结果数据。本发明提供的集成辅助驾驶系统及作业机械，基于CPU、GPU和MCU分工处理的架构，将多个辅助驾驶功能集成到一个计算平台中进行处理，能够通过一个计算平台实现对作业机械驾驶的多元化的、智能化的辅助，降低了制造成本。进一步地，系统中的各个功能的模块化程度高，以实现快速工程化和量产。
Description
技术领域
本发明涉及作业机械技术领域，尤其涉及一种集成辅助驾驶系统及作业机械。
背景技术
作业机械(例如：自卸车、搅拌车或吊车等作业机械)引发交通事故发生的原因，一般有以下三点：其一，道路状况比较复杂，特别在恶劣的天气，视线不好，给作业机械的行车安全带来隐患；其二，作业机械自身的车况较差，一般作业机械具有车身高、车厢大的特点，司机所处的驾驶室只占左侧的一小部分，右侧有很大一部分看不见，形成盲区，稍有疏忽或失误就极易产生碰撞；其三，驾驶员在不适合驾车的情况下(如疲劳或者注意力不集中等情况)驾驶汽车。
而驾驶辅助技术的主要功能是综合运用计算机、电子、自动化控制等各类技术与手段，为车辆驾驶员提供自动或半自动的驾驶辅助功能，提高车辆驾驶的安全性、舒适度和便捷性。例如遥控融合泊车、疲劳监测系统及高级辅助驾驶。辅助驾驶包含但不限于自动紧急制动、全速自适应巡航、车道保持辅助主动变道辅助等。
目前，辅助驾驶系统在执行每个功能模块，分别需要独立的计算平台来完成。所以，实现系统的所有功能，需要设置多个计算平台，造价成本高，不利于量产。
发明内容
本发明提供一种集成辅助驾驶系统及作业机械，用以解决现有技术中每个功能模块单独使用计算平台的缺陷，实现将多个辅助驾驶功能集成到一个计算平台中进行并行处理，能够在无需设置过多的独立的计算平台的前提下，实现全面的智能化辅助驾驶功能，降低成本，同时有利于量产。
本发明提供一种集成辅助驾驶系统，包括控制模块及与所述控制模块连接并受所述控制模块控制的输入输出组件；
所述输入输出组件，用于接收用户的第一输入，向所述控制模块发送所述第一输入对应的目标指令；
所述控制模块，用于基于所述目标指令，获取与所述目标指令对应的目标辅助功能的目标结果数据；
其中，所述控制模块包括CPU子模块、GPU子模块和MCU子模块，所述目标指令与所述目标辅助功能一一对应。
根据本发明提供一种的集成辅助驾驶系统，所述目标辅助功能包括：环视、倒车辅助、盲区碰撞预警、变道辅助预警、行车开门预警、驾驶员行为监控、自动紧急制动和前向碰撞预警。
根据本发明提供一种的集成辅助驾驶系统，还包括与所述控制模块连接的AEBS模块；
所述AEBS模块包括第一图像单元、第一雷达单元和数据处理单元；
所述第一图像单元，用于获取作业机械前方的目标图像；
所述第一雷达单元，用于获取第一障碍物的雷达数据；
所述数据处理单元，用于基于所述目标图像和所述第一障碍物的雷达数据，获取所述第一障碍物的融合信息；
所述MCU子模块，用于在接收的目标指令为AEBS检测指令的情况下，基于所述第一障碍物的融合信息，获取所述目标结果数据；
其中，所述目标结果数据为对作业机械的控制指令，所述第一障碍物为处于作业机械前方的障碍物，所述目标图像为包括至少一个所述第一障碍物的图像。
根据本发明提供的一种集成辅助驾驶系统，所述数据处理单元，还用于基于目标图像，获取拟合的车道线方程；
所述MCU子模块，具体用于在接收的目标指令为AEBS检测指令信息时，基于所述拟合的车道线方程，获取车道偏离量；
在所述车道偏离量大于预先设置的阈值的情况下，向所述CPU 子模块发送所述目标结果数据；
其中，所述目标结果数据为偏离车道线的报警信息。
根据本发明提供的一种集成辅助驾驶系统，还包括：第二雷达单元；
所述控制模块，用于在接收的目标指令为BSD检测指令的情况下，向所述第二雷达单元发送第一启动指令；
所述第二雷达单元，用于在接收到所述第一启动指令的情况下，获取多个目标物体的相对位置和相对速度；
所述MCU子模块，具体用于基于任一所述目标物体的相对位置和相对速度，向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为在盲区接近所述目标物体的报警信息，所述目标物体为处于所述作业机械侧后方的物体。
根据本发明提供的一种集成辅助驾驶系统，包括第二图像单元；
所述控制模块，用于在接收的目标指令为DMS检测指令的情况下，向所述第二图像单元发送第二启动指令；
所述第二图像单元，用于在接收到所述第二启动指令的情况下，获取驾驶室内司机的图像；
所述CPU子模块，将所述司机的图像输入至分类模型，获取所述目标结果数据；
其中，所述目标结果数据为所述司机的驾驶状态，所述分类模型，是基于司机的图像信息样本以及预先确定的驾驶状态进行训练后得到的。
根据本发明提供的一种集成辅助驾驶系统，包括第三图像单元和第三雷达单元；
所述控制模块，用于在接收的目标指令为倒车指令的情况下，向所述第三图像单元和第三雷达单元发送第三启动指令；
所述第三图像单元，用于在接收到所述第三启动指令的情况下，获取倒车图像；
所述第三雷达单元，用于在接收到所述第三启动指令的情况下，获取第二障碍物的距离信息；
所述GPU子模块，用于基于所述倒车图像，获取所述作业机械的动态倒车轨迹；
基于所述作业机械的动态倒车轨迹和所述第二障碍物的距离信息，对所述作业机械的后方区域根据安全度进行划分，并向所述CPU 子模块发送所述目标结果数据；
其中，所述目标结果数据为所述划分后的所述作业机械的后方区域和所述第二障碍物的距离信息，所述第二障碍物为所述作业机械在倒车时处于所述作业机械的后方区域的障碍物。
根据本发明提供的一种集成辅助驾驶系统，包括第四图像单元；
所述控制模块，用于在接收的目标指令为环视指令的情况下，向所述第四图像单元发送第四启动指令；
所述第四图像单元，用于在接收到所述第四启动指令的情况下，获取至少四个方向的图像；
所述GPU子模块，用于基于所述四个方向的图像，获取环视立体图像，并向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为所述作业机械的所述环视立体图像。
根据本发明提供的一种集成辅助驾驶系统，所述输入输出组件，还用于接收所述目标结果数据，并进行前端显示。
根据本发明提供的一种集成辅助驾驶系统，所述控制模块，包括所述CPU子模块和所述MCU子模块采用串口进行通信。
本发明还提供一种作业机械，包括：如上所述的集成辅助驾驶系统。
集成辅助驾驶系统及作业机械，基于CPU、GPU和MCU分工处理的架构，将多个辅助驾驶功能集成到一个计算平台中进行处理，能够通过一个计算平台实现对作业机械驾驶的多元化的、智能化的辅助，降低了制造成本。进一步地，系统中的各个功能的模块化程度高，以实现快速工程化和量产。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的集成辅助驾驶系统的结构示意图之一；
图2是本发明提供的作业机械的前视图；
图3是本发明提供的作业机械的左视图；
图4是本发明提供的作业机械的右视图；
图5是本发明提供的作业机械的后视图；
图6是本发明提供的集成辅助驾驶系统的结构示意图之二。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的集成辅助驾驶系统的结构示意图。如图1所示，本发明实施例提供的集成辅助驾驶系统，包括控制模块120及与控制模块120连接并受控制模块120控制的输入输出组件110。
输入输出组件110，用于接收用户的输入信息，向控制模块发送输入信息对应的目标指令。
需要说明的是，集成辅助驾驶系统包括硬件系统和软件系统两部分。其中，硬件系统由视觉摄像头、毫米波雷达、超声波雷达、线控制动、线控油门、计算平台等构成，用于根据指令驱动对应的硬件。软件系统包括人机交互界面、辅助驾驶算法功能等，人机交互界面的面向对象为处于作业机械驾驶舱内的用户，例如可以是驾驶员，还可以是副驾驶员。
具体地，输入输出组件110响应于第一输入，向控制模块120发送与第一输入对应的目标指令。
第一输入，用于激活集成辅助驾驶系统中的功能。用户可以通过第一输入，在人机交互界面选择对应的控件完成集成辅助驾驶系统中对辅助驾驶功能的配置。
目标指令，用于在集成辅助驾驶系统中的驱动对应的辅助驾驶功能的相关硬件，以实现该辅助驾驶功能的初始化。
可选地，第一输入可以为对上述人机交互页面中的若干个控件的触控输入、语音输入、手势输入或者按键输入。
优选地，输入输出组件110为驾驶舱内的中控屏，中控屏接收来自用户输入的第一输入，并向控制模块120发送用于驱动第一输入指示的辅助功能的指令。
控制模块120，用于基于目标指令，获取与目标指令对应的目标功能的目标结果数据。
其中，控制模块包括CPU子模块、GPU子模块和MCU子模块，目标指令与目标辅助功能一一对应，目标辅助功能为环视、倒车辅助、盲区碰撞预警、驾驶员行为监控和自动紧急制动。
具体地，控制模块120接收到来自输入输出组件110的目标指令后，驱动相关硬件执行目标指令指示的目标辅助功能，并接收经过该目标辅助功能处理后的目标结果数据。
控制模块120由图形处理器(Graphics Processing Unit，GPU) 子模块、中央处理器(Central Processing Unit，CPU)子模块、微控制单元(Micro Control Unit，MCU)子模块构成。其中，GPU子模块主要进行视觉图像算法处理，CPU子模块主要进行相机图像数据的采集、前端交互以及数据通信，MCU子模块主要对通过控制器域网(Controller AreaNetwork,CAN)传输的数据(例如，车身数据、毫米波雷达、超声波雷达信息)进行解析，以及进行车辆控制算法的处理。
其中，CPU子模块和GPU子模块相连，CPU子模块与MCU子模块通过串口连接，并进行数据传输。
MCU子模块与作业机械的车身通过CAN连接通信，以获取作业机械的车速、档位、转向盘、转向灯的信息。
本发明实施例基于CPU、GPU和MCU分工处理的架构，将多个辅助驾驶功能集成到一个计算平台中进行处理，能够通过一个计算平台实现对作业机械驾驶的多元化的、智能化的辅助，降低了制造成本。进一步地，系统中的各个功能的模块化程度高，以实现快速工程化和量产。
在上述任一实施例的基础上，目标辅助功能包括：环视、倒车辅助、盲区碰撞预警、变道辅助预警、行车开门预警、驾驶员行为监控、自动紧急制动和前向碰撞预警。具体地，集成辅助驾驶系统中包括的辅助功能包括但不限于以下的例举，例如，辅助功能包括360°环视、倒车辅助、盲区碰撞预警、变道辅助预警、行车开门预警、驾驶员行为监控、自动紧急制动、前向碰撞预警等。
优选地，将中控屏与集成了CPU、GPU和MCU的核心板处理芯片和嵌入式单片机制作成一体的集成辅助驾驶系统。该系统可以实现环视、倒车辅助、盲区碰撞预警、驾驶员行为监控和自动紧急制动等功能。本发明实施例对核心板的构成不做具体限制。
例如，核心板中可以包括处理芯片和嵌入式单片机，其中，处理芯片可以为集成CPU子模块和GPU子模块的T507开发板，嵌入式单片机STM32作为MCU子模块。由T507开发板与STM32组成的核心板，可以通过该核心板的一个计算平台，满足信息娱乐系统、数字仪表、360环视系统、高级驾驶辅助系统(Advanced Driver Assistance System，ADAS)、驾驶员监控系统(Driver Monitoring System， DMS)、流媒体后视镜、云镜等多个不同智能化系统的运行需求。
并且，将车道偏离预警、自动紧急制动和前向碰撞预警集成到自动紧急制动功能中。
将盲区碰撞预警、变道辅助预警和行车开门预警集成到盲区碰撞预警功能中。
本发明实施例基于CPU、GPU和MCU分工处理的架构，将多个辅助驾驶功能集成到一个计算平台中进行处理，能够通过一个计算平台实现对作业机械驾驶的多元化的、智能化的辅助，降低了制造成本。进一步地，系统中的各个功能的模块化程度高，以实现快速工程化和量产。
图2是本发明提供的作业机械的前视图。如图2所示，在上述任一实施例的基础上，集成辅助驾驶系统还包括与控制模块120连接的 AEBS模块210。
AEBS模块210包括第一图像单元、第一雷达单元和数据处理单元。
具体地，自动紧急制动系统(Autonomous Emergency Braking System，AEBS)模块210集成视觉摄像头、毫米波雷达和数据处理单元，并将该整体作为独立硬件模块，设置在作业机械的车身上，并可以通过CAN接收由控制模块120发出的用于激活自动紧急制动功能的指令。
第一图像单元，用于获取作业机械前方的目标图像。
其中，目标图像为包括至少一个第一障碍物的图像。
具体地，视觉摄像头采集作业机械前方的目标图像。
该目标图像包括行驶路径上位于本作业机械前方的邻近的物体信息，其中，物体包括处于作业机械前方的车辆、物体以及行人等。
优选地，第一图像单元为单目摄像头，并作为独立于集成辅助驾驶系统的AEBS模块210中的一部分，安装于作业机械驾驶舱内，使摄像头朝外，贴设在前挡风玻璃下沿的中间位置处。
第一雷达单元，用于获取第一障碍物的雷达数据。
具体地，雷达装置采集多组雷达数据，用于表征多个第一障碍物与作业机械的距离信息。
优选地，第一雷达单元为一个毫米波雷达传感器，并作为独立于集成辅助驾驶系统的AEBS模块210中的另一部分，与该硬件的布设位置相同，安装于作业机械驾驶舱内，贴设在前挡风玻璃下沿的中间位置处，。
数据处理单元，用于基于目标图像和第一障碍物的雷达数据，获取第一障碍物的融合信息。
其中，第一障碍物为处于作业机械前方的障碍物。
具体地，数据处理单元根据目标图像和多个第一障碍物的雷达数据进行数据融合，并将第一障碍物的融合信息CAN的通信方式，发送给STM32进行结果解析。
融合信息，用于确认位于本车同一车道内的前方物体，并确定每一个位于本车同一车道内的前方物体的类型及与本作业机械的相对速度v和相对距离d。
MCU子模块，用于在接收的目标指令为AEBS检测指令的情况下，基于第一障碍物的融合信息，向CPU子模块发送目标结果数据。
其中，目标结果数据为对前向碰撞报警信息。
需要说明的是，AEBS模块通常处于待命模式，在该待命模式中向STM32发送融合信息。对应地，在STM32设置有临界标准，在满足这些临界标准的情况下，识别出紧急制动状况，也就是说在没有附加的制动干预的情况下即将发生或可能发生的事故，或即将发生的必要时可以减少其事故严重性的事故。
具体地，STM32在接收到第一障碍物的融合信息后，根据第一障碍物的相对距离d与相对速度v，获取第一障碍物的检测状况，并将解析结果和预先设置的不同程度的临界标准进行比较，识别出对应的紧急制动状况，并向T507开发板发送目标结果数据。
目标结果数据，包括根据紧急制动状况生成的前向碰撞报警信息，该报警信息的类型可以是声音报警、灯光报警或者震动报警中的一种或多种类型，本发明实施例对此不作具体限定。
可以理解的是，目标结果数据还包括对该作业机械的制动器、油门和转向等装置的控制指令，以实现作业机械的紧急制动。
优选地，在STM32中，解析第一障碍物相对距离d与相对速度 v，并计算碰撞时间t＝d/v。
当t>T1，说明在当前的行驶轨迹中，位于本作业机械前方有障碍物，但无碰撞危险。
当t<T1，说明位于本作业机械前方有障碍物有发生碰撞的风险，则STM32向T507开发板发送一级预警，并通过CAN向作业机械传递控车指令，使作业机械的指示灯常亮。
当t<T2，说明在一级警报下驾驶员未介入。则STM32向T507 开发板发送二级预警，并通过CAN向作业机械传递控车指令，使作业机械的指示灯和警报声联合预警，进入前向碰撞预警。
当t<T3，说明在二级警报下驾驶员仍未介入，则STM32向T507 开发板发送三级预警，并通过CAN向作业机械传递控车指令，使作业机械进入自动紧急碰撞制动，进行刹车。
其中，T1、T2和T3分别是不同程度的临界标准，并具有 T1>T2>T3的规律。
本发明实施例基于独立设置的AEBS模块，对前方道路障碍物检测，并将检测结果传输至MCU子模块进行自动紧急制动功能的算法处理，并根据算法结果实现控车，能够解决作业机械的自动紧急制动的控制问题，进一步地，将自动紧急制动的功能的作为独立的模块集成至系统中，降低了制造成本，以实现快速工程化和量产。
在上述任一实施例的基础上，数据处理单元，还用于基于目标图像获取，获取拟合的车道线方程。
需要说明的是，单目摄像头采集到的作业机械前方的目标图像，包括行驶路径上位于本作业机械前方的路况信息，即行驶区域内的车道线信息。
具体地，数据处理单元对目标图像进行分析提取车道线信息，根据车道线信息进行拟合，获取该车道的曲线拟合方程，本发明实施例对拟合的数学模型不作具体限定。
优选地，针对直线型、抛物线型、蛇型等不同走向的车道线，数据处理单元基于车道线信息进行三次曲线拟合，可以精确得到任意形状的曲线方程，以表征车道线的检测结果，并将该检测结果以CAN 的通信方式，发送给STM32进行结果解析。
MCU子模块，具体用于在接收的目标指令为AEBS检测指令信息时，基于拟合的车道线方程，获取车道偏离量。
在车道偏离量大于预先设置的阈值的情况下，向CPU子模块发送目标结果数据。
其中，目标结果数据为偏离车道线的报警信息。
需要说明的是，变道辅助预警功能集成在自动紧急制动功能中，所以当输入输出控件110接收到的目标指令为用于激活AEBS功能的情况下，AEBS模块除了实现自动紧急制动和前向碰撞预警以外，还要实现变道辅助预警功能。
具体地，STM32根据检测出的车道线，计算作业机械相对车道线的车道偏离量，并根据车道偏离量对当前作业机械相对于车道线的偏离状况进行解析。
若解析结果为作业机械没有偏离倾向，作业机械可以按照既定的行驶路线移动。
若解析结果为作业机械有偏离倾向，即车道偏离量大于某一预设阈值，则向T507开发板发送报警信息，该报警信息的类型可以是声音报警、灯光报警或者震动报警中的一种或多种类型，本发明实施例对此不作具体限定。
优选地，作业机械的车道偏移量超出系统设置的报警临界线，系统向驾驶员进行报警。报警信息通过STM32向T507开发板发送串口消息，在T507开发板进行中控屏前端展示和声光报警处理。
本发明实施例基于独立设置的AEBS模块，对前方道路车道线检测，并将检测结果传输至MCU子模块进行车道偏离检测的算法处理，并根据算法结果对驾驶员进行报警，能够使作业机械避免产生危险的路径偏离，进一步地，将自动紧急制动的功能的作为独立的模块集成至系统中，降低了制造成本，以实现快速工程化和量产。
图3是本发明提供的作业机械的左视图，图4是本发明提供的作业机械的右视图。。如图3和图4所示，在上述任一实施例的基础上，该系统还包括：第二雷达单元320和420。
具体地，在作业机械的车身上安装雷达传感器，本发明实施例对雷达传感器的种类和安装位置不作具体限定。
优选地，在作业机械的左右两侧各安装一个毫米波雷达，用于感知车侧后方的物体。
例如，可以在作业机械的车头和车身连接处的左侧设置一个毫米波雷达320，在右侧的对应位置设置一个毫米波雷达420，也可以在作业机械的车身中间处的左右位置各安装一个毫米波雷达。
控制模块，用于在接收的目标指令为BSD检测指令的情况下，向第二雷达单元320和420发送第一启动指令。
具体地，在控制模块接收的目标指令用于激活盲点监控系统 (Blind SpotDetection，BSD)的辅助功能的情况下，向设置在两侧的毫米波雷达320和420发送用于启动采集雷达数据的指令。
第二雷达单元320和420，用于在接收到第一启动指令的情况下，获取多个目标物体的相对位置和相对速度。
其中，目标物体为处于作业机械侧后方的物体。
具体地，毫米波雷达320和420接收到用于启动采集雷达数据的指令后，采集多个处于作业机械侧后方的物体雷达数据。
每个物体的雷达数据包括该物体的相对位置和相对速度。
MCU子模块，具体用于基于任一目标物体的相对位置和相对速度，向CPU子模块发送目标结果数据；
其中，目标结果数据为在盲区接近目标物体的报警信息。
具体地，STM32对接收到每一组相对位置和相对速度，计算出对应的目标物体与作业机械之间的间隔距离，并根据间隔距离对当前作业机械与后方障碍物的检测状况进行解析。
若解析结果为间隔距离小于某一预设阈值，则说明作业机械不会与侧后方任意一个障碍物发生碰撞。
若解析结果为间隔距离不小于某一预设阈值，则说明作业机可能会与侧后方某一个或者是某几个障碍物发生碰撞。进而，需要向T507 开发板对可能会发生的碰撞发送报警信息，该报警信息的类型可以是声音报警、灯光报警或者震动报警中的一种或多种类型，本发明实施例对此不作具体限定。
优选地，STM32对接收到多组相对位置和相对速度，经过筛选得到离车最近障碍物距离，若该距离小于某一预设阈值，则向T507 开发板发送报警信息，以进行碰撞预警。
本发明实施例基于第二雷达单元对作业机械侧后方物体识别，得到物体的相对位置、速度，并通过与MCU子模块进行实时通信，以使得MCU子模块根据物体的相对位置、速度进行算法处理。能够在直行、转弯、变道过程中，感知车侧后方障碍物，根据计算障碍物与车身距离产生报警。进一步地，将盲区碰撞预警、变道辅助预警、开门预警集成为系统中的一个模块，降低了制造成本，以实现快速工程化和量产。
在上述任一实施例的基础上，该系统还包括：第二图像单元。
具体地，在作业机械的车身上安装摄像装置，本发明实施例对摄像装置的种类和安装位置不作具体限定。
优选地，在作业机械的驾驶位前方安装一个红外摄像头，即位于左侧内部A柱(挡风玻璃两侧支柱内侧)，用于实时捕捉驾驶位的司机状态图像。
控制模块，用于在接收的目标指令为DMS检测指令的情况下，向第二图像单元发送第二启动指令。
具体地，在控制模块接收的目标指令用于驾驶员监控系统(Driver MonitoringSystem，DMS)的辅助功能的情况下，向设置在驾驶位前方的摄像头发送用于启动采集司机图像数据的指令。
第二图像单元，用于在接收到第二启动指令的情况下，获取驾驶室内司机的图像。
具体地，摄像头接收到用于启动采集司机图像数据的指令后，采集处于作业机械驾驶位的司机图像数据。
司机图像数据包括司机面部特征和体态特征。
CPU子模块，将司机的图像输入至分类模型，获取目标结果数据。
其中，目标结果数据为司机的驾驶状态，分类模型，是基于司机的图像信息样本以及预先确定的驾驶状态进行训练后得到的。
具体地，T507开发板对接收到来自摄像头采集的司机图像，根据存储在其中的分类模型对司机的状态进行解析和识别，本发明实施例对分类模型和识别对象不作具体限定。
可以理解的是，对于司机识别出的不同状态，除了可以发出不同程度的警示。
优选地，利用移动神经网络的深度学习框架，对手机、烟、人脸进行多目标检测，并对人脸关键特征点检测，主要包括对遮挡/无人脸、打电话、低头、吸烟、左顾右盼、打哈欠、闭眼异常行为进行检测，并进行语音提醒。
移动神经网络的深度学习框架(Mobile Neural Network，MNN)，是一个轻量级的深度神经网络推理引擎，MNN负责加载网络模型，推理预测返回相关结果，整个推理过程可以分为模型的加载解析、计算图的调度、在异构后端上高效运行，具有通用性、轻量性、高性能、易用性的特征。
本发明实施例基于车内红外摄像头实时分析驾驶员行为以及面部特征提供高级的安全警示，能够对遮挡/无人脸、打电话、低头、吸烟、左顾右盼、打哈欠、闭眼异常行为进行检测，并进行声音提醒。进一步地，将疲劳驾驶预警作为一个模块集成到系统中，降低了制造成本，以实现快速工程化和量产。
图5是本发明提供的作业机械的后视图。如图5所示，在上述任一实施例的基础上，该系统还包括：第三图像单元520和第三雷达单元530。
具体地，在作业机械的车身上安装摄像装置和雷达传感器，本发明实施例对摄像装置和雷达传感器的种类和安装位置不作具体限定。
优选地，在作业机械的车身的车尾处安装一个摄像头520，用于感知车后方的物体。
也可以在作业机械的两个后车胎的中间处安装一个摄像头，用于感知车后方的物体。
在作业机械的两个后车灯之间的同一水平线上均匀分布四个超声波雷达传感器530，作为对近距离物体感知识别，提高近距离物体识别准确性。在倒车过程中，结合倒车影像，可在视频中实时显示障碍物距离，如果最小超声波障碍物距离小于阈值时，会产生语音提醒报警。
控制模块，用于在接收的目标指令为倒车指令的情况下，向第三图像单元520和第三雷达单元530发送第三启动指令
具体地，在控制模块接收的目标指令用于激活倒车影像的辅助功能的情况下，向设置在车身后面的摄像520头和雷达传感器530发送用于启动采集倒车图像数据和距离数据的指令。
第三图像单元520，用于在接收到第三启动指令的情况下，获取倒车图像。
具体地，摄像头520接收到用于启动采集倒车图像数据的指令后，采集处于作业机械后方的倒车图像数据，本发明实施例对图像数据的格式不作具体限定。
倒车图像数据包括位于本作业机械的倒车行驶路径中邻近的物体信息和路况信息，其中，物体信息包括处于作业机械后方的车辆、物体以及行人等，路况信息包括处于作业机械后方的路面状况。
优选地，倒车图像数据的格式为YUV图像数据。
YUV是一种颜色编码方法，常使用在各个视频处理组件中。其中，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
可以理解的是，还可以在作业机械的货厢上方中间处安装一个摄像头510，用于监控货厢箱体内部情况，本发明实施例对摄像头510 的监控内容不作具体限定，例如可以监控货厢货物情况。
第三雷达单元530，用于在接收到第三启动指令的情况下，获取第二障碍物的距离信息。
其中，第二障碍物为作业机械在倒车时处于作业机械的后方区域的障碍物。
具体地，四个超声波雷达传感器530接收到用于启动采集倒车距离数据的指令后，采集处于作业机械后方的第二障碍物与车尾之间的距离数据，本发明实施例对距离数据的格式不作具体限定。
GPU子模块，用于基于倒车图像，获取作业机械的动态倒车轨迹。
具体地，在T507开发板内置的GPU中，利用是三维图形API 的子集opengl-es(OpenGL for Embedded Systems)技术，进行图像去畸变，再根据车辆运动学原理计算后轮运动轨迹方程，获取作业机械的倒车轨迹。
GPU子模块可以基于作业机械的动态倒车轨迹和第二障碍物的距离信息，对作业机械的后方区域根据安全度进行划分，并向CPU 子模块发送目标结果数据。
其中，目标结果数据为划分后的作业机械的后方区域。
具体地，T507开发板中的GPU根据作业机械的在执行倒车轨迹的过程中，实时监控后方区域的情况，利用在后方区域中，距离车尾最近的障碍物与作业机械车尾之间的距离，对后方区域进行划分，并将生成的安全区域、报警区域、危险区域通过T507开发板中的CPU进行前端显示，并在影像中实时显示车尾与障碍物距离，本发明实施例对区域划分的方法不作具体限定。
例如，可以将实时生成的危险区域以红色直线对倒车影像的画面进行划分，处于画面比较靠近下方的位置，以警告驾驶员不能再向后倒车，因为这个线条的终点位置和车尾只剩下很小的距离，再向后就要发生碰撞。
将实时生成的报警区域以黄色直线对倒车影像的画面进行划分，并处于红色直线的上方，以提示驾驶员还有可以倒车的余地，能够继续向后倒车，但是有发生碰撞的可能性。
将实时生成的安全区域以绿色直线对倒车影像的画面进行划分，并处于黄色直线的上方，以示意驾驶员在该范围内可以继续缓慢倒车，并且不会发生碰撞。
优选地，由T507的GPU利用opengl-es技术，进行图像去畸变、绘制动态轨迹线(根据车辆运动学原理计算后轮运动轨迹方程)，生成安全区域、报警区域、危险区域，并结合超声波雷达语音距离提醒。
本发明实施例基于作业机械在挂倒挡倒车时，通过影像显示告知驾驶员周围障碍物的情况，帮助驾驶员扫除视野死角和视线模糊的缺陷，并结合超声波雷达语音距离提醒，提高驾驶的安全性。进一步地，利用CPU+GPU提高倒车影像的处理速度，并作为一个模块集成到系统中，降低了制造成本，以实现快速工程化和量产。
在上述任一实施例的基础上，该系统包括第四图像单元210、310、 410和520。
具体地，在作业机械的车身上安装至少4个摄像装置210、310、 410和520，本发明实施例对摄像装置的种类和安装位置不作具体限定。
优选地，在作业机械的车头的中间位置安装一个摄像头210，用于感知车前方的物体。在作业机械的车身的车尾安装一个摄像头520，与倒车影像辅助功能共用一个摄像头，用于感知车后面的物体。在作业机械的车身两侧的中间位置各安装一个摄像头310和410，用于感知车两侧的物体。
控制模块，用于在接收的目标指令为环视指令的情况下，向第四图像单元210、310、410和520发送第四启动指令。
具体地，在控制模块接收的目标指令用于激活环视影像的辅助功能的情况下，向设置在作业机械的四个方位的摄像头210、310、410 和520发送用于启动采集对应方位的图像数据的指令。
第四图像单元210、310、410和520，用于在接收到第四启动指令的情况下，获取至少四个方向的图像。
具体地，四个摄像头210、310、410和520接收到用于启动采集对应方位的图像数据的指令后，采集处于作业机械对应方位的图像数据，本发明实施例对图像数据的格式不作具体限定。
对应方位的图像数据包括位于本作业机械的倒车行驶路径中对应方位上邻近的物体信息和路况信息，其中，物体信息包括处于作业机械后方的车辆、物体以及行人等，路况信息包括处于作业机械后方的路面状况。
优选地，对应方位的图像数据的格式为YUV图像数据。
GPU子模块，用于基于四个方向的图像，获取环视立体图像，并向CPU子模块发送目标结果数据。
其中，目标结果数据为作业机械的环视立体图像。
具体地，T507开发板中的GPU根据作业机械的四个不同方位上的图像利用opengl-es技术，经过图像矫正、俯视变换等，得到环视立体图像。
环视立体图像，用于将作业机械以及周边情况以3D效果实时呈现，本发明实施例对3D效果不作具体限定。
例如，可以是可将路边的公共设施和树木以锥体呈现在3D效果中，作业机械邻近的行人、路障、车辆以正方体呈现在3D效果中。
优选地，由T507的GPU利用opengl-es技术，经过图像矫正、俯视变换等，最终在前端显示3D效果，并根据前端按钮、灯转向、方向盘转向动态显示对应侧的画面，本发明对指示对应侧画面显示的方法不作具体限定。
例如，可以是由司机拨动转向信号控制杆，以获取对应侧的具体实时2D影像。
司机向前、后、左或者右拨动转向信号控制杆，可以在中控屏的第一区域显示作业机械前方、后方、左侧或者右侧的影像，第二区域显示作业机械行进过程中的3D效果。
本发明实施例基于四路摄像头获取实时图像，利用opengl-es技术实现图像3D显示和环视360度的车身鸟瞰图，能够使驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位和距离，并能根据灯转向、方向盘转向动态显示对应侧的画面。进一步地，利用 CPU+GPU提高四路环视图像的处理速度，并作为一个模块集成到系统中，降低了制造成本，以实现快速工程化和量产。
图6是本发明提供的集成辅助驾驶系统的结构示意图之二。如图 6所示，在上述任一实施例的基础上，输入输出组件，还用于接收目标结果数据，并进行前端显示。
具体地，在输入输出组件接收激活辅助驾驶功能的指令后，还要接收由T507开发板和/或STM32处理后的结果，并对其进行前端显示。
优选地，输入输出组件为中控屏610，与控制模块620做成一体，形成集成辅助驾驶系统。可直接安装在驾驶室内，可保证原有中控屏娱乐影音功能正常使用的前提下，在人机交互页面可配置具体辅助驾驶功能，并对激活后的结果进行前端显示。
其中，控制模块620将内置CPU+GPU的开发板621、MCU模块622和独立设置的AEBS模块623集成为一体化的功能模块。
例如，中控屏610接收到启动AEBS的指令，则将对应指令传至 AEBS模块623，通过内置的第一图像单元6231、第一雷达单元6232 和数据处理单元6233对障碍物、车道线进行结果解析，并进行自动紧急制动功能算法处理，并根据算法结果实现控车，并对车道偏离结果在中控屏610进行实时显示。
中控屏610接收到启动BSD的指令，则将对应指令经由MCU 模块622，驱动与其连接的第二雷达单元6221对车侧后障碍物识别，并给出障碍物相对位置、速度，并传送至MCU模块622计算出障碍物与车身距离产生报警。
中控屏610接收到启动DMS检测的指令，则将对应指令经由内置CPU+GPU的开发板621，驱动与其连接的第二图像单元6211采集图像，并传送至内置CPU+GPU的开发板621对遮挡/无人脸、打电话、低头、吸烟、左顾右盼、打哈欠、闭眼异常行为进行检测并声音提醒。
中控屏610接收到启动倒车影像的指令，则将对应指令经由内置 CPU+GPU的开发板621，驱动与其连接的第三图像单元6212和第三雷达单元6213，分别采集后方障碍物的图像和距离信息，并传送至内置CPU+GPU的开发板621进行倒车状况解析，最终在中控屏610上以影像显示告知驾驶员后方障碍物的情况，帮助驾驶员扫除视野死角和视线模糊的缺陷，并结合超声波雷达语音距离提醒，提高驾驶的安全性。
中控屏610接收到启动环视影像的指令，则将对应指令经由内置 CPU+GPU的开发板621，驱动与其连接的第四图像单元6214采集图像，并传送至内置CPU+GPU的开发板621进行周边环境状况解析，最终在中控屏610上以影像显示告知驾驶员四周障碍物的情况，帮助驾驶员扫除视野死角和视线模糊的缺陷。
本发明实施例基于输入输出控件和计算平台做成一体，可直接安装在驾驶室内，可保证原有输入输出控件娱乐影音功能正常使用，并显示辅助驾驶功能。进一步地，对高集成度的驾驶系统进行显示，降低了制造成本，以实现快速工程化和量产。
在上述任一实施例的基础上，控制模块，包括CPU子模块和MCU 子模块采用串口进行通信。
具体地，T507开发板与STM32通过串口进行数据传输。
本发明实施例基于串口进行CPU子模块和MCU子模块之间的数据传输与解析，能够提高效率，降低了制造成本，以实现快速工程化和量产。
本发明实施例提供的作业机械，包括集成辅助驾驶系统。
具体地，将多个辅助驾驶功能集成在作业机械的中控屏中，以辅助作业机械在驾驶过程中避免事故发生。
作业机械，包括但不限于起重机、旋挖钻机或重型卡车等。
本发明实施例基于CPU、GPU和MCU分工处理的架构，将多个辅助驾驶功能集成到一个计算平台中进行处理，能够通过一个计算平台实现对作业机械驾驶的多元化的、智能化的辅助，降低了制造成本。进一步地，系统中的各个功能的模块化程度高，以实现快速工程化和量产。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种集成辅助驾驶系统，其特征在于，包括控制模块及与所述控制模块连接并受所述控制模块控制的输入输出组件；
所述输入输出组件，用于接收用户的第一输入，向所述控制模块发送所述第一输入对应的目标指令；
所述控制模块，用于基于所述目标指令，获取与所述目标指令对应的目标辅助功能的目标结果数据；
其中，所述控制模块包括CPU子模块、GPU子模块和MCU子模块，所述目标指令与所述目标辅助功能一一对应。
2.根据权利要求1所述的集成辅助驾驶系统，其特征在于，所述目标辅助功能包括：环视、倒车辅助、盲区碰撞预警、变道辅助预警、行车开门预警、驾驶员行为监控、自动紧急制动和前向碰撞预警。
3.根据权利要求2所述的集成辅助驾驶系统，其特征在于，还包括与所述控制模块连接的AEBS模块；
所述AEBS模块包括第一图像单元、第一雷达单元和数据处理单元；
所述第一图像单元，用于获取作业机械前方的目标图像；
所述第一雷达单元，用于获取第一障碍物的雷达数据；
所述数据处理单元，用于基于所述目标图像和所述第一障碍物的雷达数据，获取所述第一障碍物的融合信息；
所述MCU子模块，用于在接收的目标指令为AEBS检测指令的情况下，基于所述第一障碍物的融合信息，获取所述目标结果数据；
其中，所述目标结果数据为对作业机械的控制指令，所述第一障碍物为处于所述作业机械前方的障碍物，所述目标图像为包括至少一个所述第一障碍物的图像。
4.根据权利要求3所述的集成辅助驾驶系统，其特征在于，所述数据处理单元，还用于基于目标图像，获取拟合的车道线方程；
所述MCU子模块，具体用于在接收的目标指令为AEBS检测指令信息时，基于所述拟合的车道线方程，获取车道偏离量；
在所述车道偏离量大于预先设置的阈值的情况下，向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为偏离车道线的报警信息。
5.根据权利要求3所述的集成辅助驾驶系统，其特征在于，还包括：第二雷达单元；
所述控制模块，用于在接收的目标指令为BSD检测指令的情况下，向所述第二雷达单元发送第一启动指令；
所述第二雷达单元，用于在接收到所述第一启动指令的情况下，获取多个目标物体的相对位置和相对速度；
所述MCU子模块，具体用于基于任一所述目标物体的相对位置和相对速度，向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为在盲区接近所述目标物体的报警信息，所述目标物体为处于所述作业机械侧后方的物体。
6.根据权利要求5所述的集成辅助驾驶系统，其特征在于，包括第二图像单元；
所述控制模块，用于在接收的目标指令为DMS检测指令的情况下，向所述第二图像单元发送第二启动指令；
所述第二图像单元，用于在接收到所述第二启动指令的情况下，获取驾驶室内司机的图像；
所述CPU子模块，将所述司机的图像输入至分类模型，获取所述目标结果数据；
其中，所述目标结果数据为所述司机的驾驶状态，所述分类模型，是基于司机的图像信息样本以及预先确定的驾驶状态进行训练后得到的。
7.根据权利要求5所述的集成辅助驾驶系统，其特征在于，包括第三图像单元和第三雷达单元；
所述控制模块，用于在接收的目标指令为倒车指令的情况下，向所述第三图像单元和第三雷达单元发送第三启动指令；
所述第三图像单元，用于在接收到所述第三启动指令的情况下，获取倒车图像；
所述第三雷达单元，用于在接收到所述第三启动指令的情况下，获取第二障碍物的距离信息；
所述GPU子模块，用于基于所述倒车图像，获取所述作业机械的动态倒车轨迹；
基于所述作业机械的动态倒车轨迹和所述第二障碍物的距离信息，对所述作业机械的后方区域根据安全度进行划分，并向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为所述划分后的所述作业机械的后方区域和所述第二障碍物的距离信息，所述第二障碍物为所述作业机械在倒车时处于所述作业机械的后方区域的障碍物。
8.根据权利要求5所述的集成辅助驾驶系统，其特征在于，包括第四图像单元；
所述控制模块，用于在接收的目标指令为环视指令的情况下，向所述第四图像单元发送第四启动指令；
所述第四图像单元，用于在接收到所述第四启动指令的情况下，获取至少四个方向的图像；
所述GPU子模块，用于基于所述四个方向的图像，获取环视立体图像，并向所述CPU子模块发送所述目标结果数据；
其中，所述目标结果数据为所述作业机械的所述环视立体图像。
9.根据权利要求1至8任一所述的集成辅助驾驶系统，其特征在于，所述输入输出组件，还用于接收所述目标结果数据，并进行前端显示。
10.根据权利要求9所述的集成辅助驾驶系统，其特征在于，所述控制模块，包括所述CPU子模块和所述MCU子模块采用串口进行通信。
11.一种作业机械，其特征在于，包括：如权利要求1至10任一所述的集成辅助驾驶系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005836.7A CN113635845B (zh) | 2021-08-30 | 2021-08-30 | 集成辅助驾驶系统及作业机械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005836.7A CN113635845B (zh) | 2021-08-30 | 2021-08-30 | 集成辅助驾驶系统及作业机械 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113635845A true CN113635845A (zh) | 2021-11-12 |
| CN113635845B CN113635845B (zh) | 2022-11-04 |
Family
ID=78424392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111005836.7A Active CN113635845B (zh) | 2021-08-30 | 2021-08-30 | 集成辅助驾驶系统及作业机械 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113635845B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115718445A (zh) * | 2022-11-15 | 2023-02-28 | 杭州将古文化发展有限公司 | 适用于博物馆的智能物联网管理系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470801A (zh) * | 2007-12-24 | 2009-07-01 | 财团法人车辆研究测试中心 | 车辆偏移的检知方法与装置 |
| JP2010163164A (ja) * | 2010-02-19 | 2010-07-29 | Hitachi Automotive Systems Ltd | 走行支援装置 |
| CN203228734U (zh) * | 2013-04-17 | 2013-10-09 | 山东科技大学 | 智能汽车主动安全预警系统 |
| JP2014078056A (ja) * | 2012-10-09 | 2014-05-01 | Honda Elesys Co Ltd | 車両用領域識別装置、そのプログラム及びその方法 |
| CN104330810A (zh) * | 2014-11-17 | 2015-02-04 | 广东好帮手电子科技股份有限公司 | 一种基于soc的北斗多模导航车联网终端及设计方法 |
| US20170039084A1 (en) * | 2015-08-06 | 2017-02-09 | Ionroad Technologies Ltd. | Enhanced advanced driver assistance system (adas) system on chip |
| CN107878430A (zh) * | 2017-11-24 | 2018-04-06 | 南京视莱尔汽车电子有限公司 | 一种智能汽车驾驶辅助装置 |
| CN108508882A (zh) * | 2017-02-28 | 2018-09-07 | 郑州宇通客车股份有限公司 | 一种车辆辅助驾驶控制平台 |
| CN109062209A (zh) * | 2018-08-07 | 2018-12-21 | 安徽工程大学 | 一种智能辅助驾驶控制系统及其控制方法 |
| CN208344074U (zh) * | 2018-04-27 | 2019-01-08 | 南京行车宝智能科技有限公司 | 一种基于机器视觉的汽车综合辅助驾驶系统 |
| CN112009398A (zh) * | 2020-08-18 | 2020-12-01 | 三一专用汽车有限责任公司 | 车辆的控制方法、装置、车辆和存储介质 |
| CN113093591A (zh) * | 2021-03-12 | 2021-07-09 | 东风汽车集团股份有限公司 | 高集成度辅助驾驶控制方法、多核微处理器及系统 |
| CN113232663A (zh) * | 2021-06-29 | 2021-08-10 | 西安电子科技大学芜湖研究院 | 一种应用于高级辅助驾驶的控制系统 |
-
2021
- 2021-08-30 CN CN202111005836.7A patent/CN113635845B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470801A (zh) * | 2007-12-24 | 2009-07-01 | 财团法人车辆研究测试中心 | 车辆偏移的检知方法与装置 |
| JP2010163164A (ja) * | 2010-02-19 | 2010-07-29 | Hitachi Automotive Systems Ltd | 走行支援装置 |
| JP2014078056A (ja) * | 2012-10-09 | 2014-05-01 | Honda Elesys Co Ltd | 車両用領域識別装置、そのプログラム及びその方法 |
| CN203228734U (zh) * | 2013-04-17 | 2013-10-09 | 山东科技大学 | 智能汽车主动安全预警系统 |
| CN104330810A (zh) * | 2014-11-17 | 2015-02-04 | 广东好帮手电子科技股份有限公司 | 一种基于soc的北斗多模导航车联网终端及设计方法 |
| US20170039084A1 (en) * | 2015-08-06 | 2017-02-09 | Ionroad Technologies Ltd. | Enhanced advanced driver assistance system (adas) system on chip |
| CN108508882A (zh) * | 2017-02-28 | 2018-09-07 | 郑州宇通客车股份有限公司 | 一种车辆辅助驾驶控制平台 |
| CN107878430A (zh) * | 2017-11-24 | 2018-04-06 | 南京视莱尔汽车电子有限公司 | 一种智能汽车驾驶辅助装置 |
| CN208344074U (zh) * | 2018-04-27 | 2019-01-08 | 南京行车宝智能科技有限公司 | 一种基于机器视觉的汽车综合辅助驾驶系统 |
| CN109062209A (zh) * | 2018-08-07 | 2018-12-21 | 安徽工程大学 | 一种智能辅助驾驶控制系统及其控制方法 |
| CN112009398A (zh) * | 2020-08-18 | 2020-12-01 | 三一专用汽车有限责任公司 | 车辆的控制方法、装置、车辆和存储介质 |
| CN113093591A (zh) * | 2021-03-12 | 2021-07-09 | 东风汽车集团股份有限公司 | 高集成度辅助驾驶控制方法、多核微处理器及系统 |
| CN113232663A (zh) * | 2021-06-29 | 2021-08-10 | 西安电子科技大学芜湖研究院 | 一种应用于高级辅助驾驶的控制系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115718445A (zh) * | 2022-11-15 | 2023-02-28 | 杭州将古文化发展有限公司 | 适用于博物馆的智能物联网管理系统 |
| CN115718445B (zh) * | 2022-11-15 | 2023-09-01 | 杭州将古文化发展有限公司 | 适用于博物馆的智能物联网管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113635845B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681299B2 (en) | Vehicle sensor system and method of use | |
| US11472403B2 (en) | Vehicular control system with rear collision mitigation | |
| US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
| US11318886B2 (en) | Interactive safety system for vehicles | |
| US8988493B2 (en) | Rear-view multi-functional camera system with driving corridor monitoring features | |
| CN104115198B (zh) | 车辆合流辅助系统和方法 | |
| CN110203199B (zh) | 行驶控制装置以及行驶控制方法 | |
| JP2006227811A (ja) | 運転支援装置 | |
| US20190135169A1 (en) | Vehicle communication system using projected light | |
| CN113879297A (zh) | 一种车辆视野盲区预警系统、方法及车辆 | |
| CN107992056A (zh) | 一种基于分域集中计算单元的汽车智能驾驶计算平台终端 | |
| JP6838124B2 (ja) | 自動運転制御システム | |
| CN113635845B (zh) | 集成辅助驾驶系统及作业机械 | |
| CN116674468A (zh) | 影像显示方法及相关装置、车辆、存储介质和程序 | |
| JPWO2019193715A1 (ja) | 運転支援装置 | |
| JP2023165721A (ja) | 表示制御装置 | |
| CN216861387U (zh) | 集成辅助驾驶系统及作业机械 | |
| CN115249416B (zh) | 一种矿用梭车防碰撞预警方法及系统 | |
| CN109416887B (zh) | 识别控制对象车辆报知装置 | |
| DE102022126702A1 (de) | Fahrzeug- und anhängerradweg-kollisionserkennung und -warnung | |
| JP7342926B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP7505443B2 (ja) | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム | |
| US20240119873A1 (en) | Vehicular driving assist system with head up display | |
| CN114202965B (zh) | 辅助驾驶方法、装置、车载终端及存储介质 | |
| WO2022250117A1 (ja) | 車両用表示システム、車両用表示方法、及び車両用表示プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |