CN107226087A - 一种结构化道路自动驾驶运输车及控制方法 - Google Patents
一种结构化道路自动驾驶运输车及控制方法 Download PDFInfo
- Publication number
- CN107226087A CN107226087A CN201710385715.7A CN201710385715A CN107226087A CN 107226087 A CN107226087 A CN 107226087A CN 201710385715 A CN201710385715 A CN 201710385715A CN 107226087 A CN107226087 A CN 107226087A
- Authority
- CN
- China
- Prior art keywords
- camera
- data
- automatic pilot
- vehicle
- ultrasonic ranging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000007935 neutral effect Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 21
- 230000032258 transport Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000001276 controlling effect Effects 0.000 claims description 10
- 230000004888 barrier function Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 235000007164 Oryza sativa Nutrition 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000000979 retarding effect Effects 0.000 claims description 3
- 235000009566 rice Nutrition 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 240000007594 Oryza sativa Species 0.000 claims 1
- 230000008859 change Effects 0.000 claims 1
- 229940050561 matrix product Drugs 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种结构化道路自动驾驶运输车及控制方法,本发明的装置通过摄像头读入图像,传递给具有不同作用的神经网络进行计算。将各个神经网络组队分工,实现了自动驾驶、标志理解、危险预警、人机交互等功能,并受到共享单车的启发,创建了一个模型参数共享平台,有助于解决人们在神经网络难以理解的路上行驶自动驾驶车辆训练参数模型费时费力的问题,提高了资源的利用率。
Description
技术领域
本发明属于自动驾驶技术领域,具体涉及一种结构化道路自动驾驶运输车及控制方法。
背景技术
交通运输长期以来就是社会发展的推进器,2016年仅天猫双十一一天就产生了6.57亿物流订单。随着物流快递量的与日俱增,快递员的负担也大大加重。由于每天的快递量较多,快递员即使是在中午的时候很难得到休息,加上快递员在为客户运送物品的时候还要不停地关注着手机订单,运送快递的车辆便容易发生事故,让不少人坐立不安。
因此,使用一种能够减轻物流负担的快递货运系统便十分重要,现行的方案主要有以下几种:
中国发明专利201620108720.4提出了一种使用无人机系统运送快递的平台,包括无人机和固定装置,利用底部设有的可竖直升降和分离连接的快递盒实现了快递运送的功能。目前国内很多物流公司如顺丰京东等都在农村做试点对无人机运送快递进行了测试,在一定程度上解放了部分劳动力。但由于无人机体型较小,一台无人机往往只能承载一份快递,效率并不高。非军用无人机的电池续航时间和可遥控距离都比较小,即使是性能较好的无人机实际可遥控范围也都在几千米之内,如果依靠无人机解放劳动力,物流公司可能需要花费更多的资金去建立快递点,城市中的高楼大厦、景观照明、绿化数目等也都可能给无人机的飞行带来隐患。因此,虽然无人机有机会解决“农村最后一千米”的快递配送问题,但实现城市中大量订单的配送在短期内却似乎并不可能,难以解决城市中快递员送货辛苦、事故频发等问题。
与无人机送货相比,将自动驾驶技术运用到快递物流行业似乎是更加可行的办法。
在自动驾驶技术应用于货运行业的实例中,上海港机重工有限公司提出了一种方法以提升物件运输的效率和运输过程中的安全性,申请号:200710044004.X。所述方法为在路面上作出车辆行驶轨迹的标识线,并在车辆上安装摄像机系统和运动控制系统,类似于寻迹车,通过计算机对实时拍摄的标识线进行视频图像分析,计算偏离量数据,实现了车辆的自动驾驶、无人驾驶。但系统中只应用了前后两个摄像机,没有其它相关的摄像头和传感器,因此在驾驶的过程中只能用来识别已经铺设好的标识线,没有对道路周围的实时情况如标志牌、行人车辆等进行监测的功能,安全性不高。
深度学习在过去的一年中获得了极快的发展,并逐渐应用到了自动驾驶领域中,国内的一小部分电商公司如京东、阿里等也正计划将无人驾驶技术应用到快递运输上,2016年9月京东宣布中国首辆无人配送快递车已经进入道路测试阶段,其核心算法就是深度学习。与国外很多的研究团队采用的方法相似,均使用了深度学习、图像识别、大数据应用等诸多先进的技术,实现了无人驾驶的功能,但同时对技术和硬件成本的要求也很高,且体型比较小,缺少严密的报警系统,很多的无人快递车一次都只能运动一个包裹,即使是比较大的京东快递车也只有6个载货舱,且有货物大小的限制。此外,深度学习算法的一个最主要的特点就是从数据中学习,一个训练好的自动驾驶模型在大多数道路上由机器驾驶一般是没有问题的,但遇到奇怪的路时就很容易识别不了,尤其是在行人多、路面窄的街区和小区中比较蜿蜒的小路上,每次遇到难以识别的道路时就重新训练模型是一项比较费时费力的任务。
发明内容
本发明的目的在于克服上述不足,提供一种结构化道路自动驾驶运输车及控制方法,使得在大多数情况下系统可以完全无人监督驾驶,紧急情况下会自动减速并向人反馈信息,同时针对我国道路的多样化和模型参数训练耗费时间和成本的问题构建了一个与自动驾驶系统相辅助的模型参数共享平台。
为了达到上述目的,一种结构化道路自动驾驶运输车,包括监督驾驶室和货仓,货仓后部设置有第一摄像头,货仓的侧面分别设置有第二摄像头和第三摄像头,监督驾驶舱前部设置有无畸变高速摄像头、双目摄像头和前部超声波测距单元,货仓的两侧均设置有若干侧面超声波测距单元,货仓顶部设置有激光雷达,货仓内设置有GPS模块;
所述第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头、双目摄像头、激光雷达、侧面超声波测距单元、前部超声波测距单元和GPS模块均连接中央处理单元;
所述第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头用于实时采集车辆四周路况的RGB图像数据,传递给中央处理单元中不同的神经网络进行特征提取;
所述双目摄像头位于监督驾驶室正前方的中央位置,用于实时关注着车辆正前方的情况,构建深度图,传递给中央处理单元进行测距;
所述激光雷达用于360°测算周围物体的位置、速度等特征量,构建点云图,感知周围环境,传递给中央处理单元,形成精度为厘米级的3D环境地图;
所述侧面超声波测距单元和前部超声波测距单元用于障碍物的测距;
所述中央处理单元用于接收第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头、双目摄像头、激光雷达、侧面超声波测距单元、前部超声波测距单元和GPS模块的数据,利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策,并将动作指令传递给车辆控制单元。
所述货仓包括小型货仓、中型货仓和大型货仓。
所述第一摄像头采用远焦摄像头,第二摄像头采用广角摄像头,第三摄像头采用鱼眼摄像头。
所述中央处理单元包括:
视觉处理模块:包括图形处理器GPU和中央处理器CPU,用于接受摄像头获得的图像数据,同时接受超声波测距单元所获得的距离数据和激光雷达获得的周围物体相关特征量,完成对转向角度的判断,分割出道路、行人、车辆等,同时读取交通信号灯和交通信号标志信息,综合分析所得数据传递给决策模块和人机交互模块,并利用点云图和深度图结合修正反馈;
决策模块:用于根据障碍物数据及控制指令数据判断系统的移动模式,即前进、后退、停止或是角度转向,并将其编码为决策指令数据传递给车辆控制单元;
人机交互模块:用于根据障碍物数据及控制指令数据判断是否需要进行危险预警向车主或行人返回信息,并将其编码为决策指令数据传递给车辆控制单元;
危险预警模块:根据深度图、点云图和测距单元返回的信息,在紧急情况下自动减速,必要时向车主和行人返回信息进行提醒。
一种结构化道路自动驾驶运输车的控制方法,包括以下步骤:
步骤一,通过第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头获取周围环境的的RGB图像数据,双目摄像头获取深度图数据,激光雷达获取点云图数据,侧面超声波测距单元、前部超声波测距单元获取周围障碍物的距离,GPS模块进行地图匹配判断位置信息;
步骤二,中央处理器根据第一摄像头、第二摄像头、第三摄像头、无畸变高速摄像头的数据处理四个不同的神经网络处理数据,将激光雷达生成的点云图与双目摄像头生成的深度图相结合,判断危险目标是否在危险区域内,并修正控制并反馈输出,中央处理器分析各个神经网络输出的数据,结合危险预警所得到的信息,判断是否需要向车主和行人返回信息并输出;
步骤三,中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向,特殊情况下通过屏幕或语音输出向车主或行人返回信息。
所述步骤二中,四个不同的神经网络包括:
第一个卷积神经网络输出转向角度;
第二个全卷积神经网络对图像进行分割和语义理解;
第三个神经网络寻找交通信号灯和交通信号标志;
第四个多尺度卷积神经网络检测前面的人或其他动物。
所述步骤三中,训练端到端深度学习的驾驶决策功能控制流程为:
第一步,在训练系统之前,首先假定方向控制命令为其中r是以米为单位的转弯半径,同时假定左转弯的为负,右转弯的为正,其中假定为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况;
第二步,通过四个摄像头采集彩色RGB图像,对视频进行降采样同时添加部分偏移和旋转数据;
第三步,训练卷积神经网络的权重值:该网络由输入层、输出层及隐层构成,其中隐层包括九层,一个归一层,五个卷积层和三个全连接层,在前三层采用2×2的卷积,其卷积核为5×5,后两层采用无步幅卷积,卷积核是3×3,五个卷积层之后是全连接层,最后输出一个数字,即转弯半径的倒数;
第四步,判断神经网络输出是否出现错误:若没有出现错误,输出位移和方向控制指令,若出现错误,利用反向传播来调整权重重新进行优化;
第五步:根据正确的位移和方向控制指令记录调整口方向盘的操作,积累数据进行仿真实验和上路测试。
所述步骤三中,危险预警机制的控制流程为:
第一步,单目摄像头采集RGB图像数据,输入到Multinet网络模型中;
第二步,Multinet网络模型完成道路分割,街道分类和车辆检测,Multinet网络模型基于编码器—解码器架构,编码器由VGG网络架构的卷积层和池化层组成,共有13层,生成图像张量,为解码提供丰富的图像特征,解码器由三部分组成,分为分类解码器、语义解码器和检测解码器,分类解码器利用编码器生成的图像特征,先对图像特征矩阵进行1×1的卷积,接着通过全连接层,并使用softmax函数层分类,从而得出所属类别的概率,检测解码器利用编码产生的特征,通过500个1×1的卷积产生隐藏的大小为39×12×500的图像张量,再通过1×1的卷积产生分辨率为39×12的6个通道,语义分割解码器基于全卷积神经网络架构,输入的编码通过卷积池化层产生分辨率为39×12的分割,接着利用三个反卷积进行上采样,跳层实现从较低的层来获取具有高分辨率的特征,再通过卷积并将其添加到上采样的结果中,三个解码器共享计算加速处理;
第三步,与双目摄像头得到的深度图相匹配,获得左右图像的差异,进而进行深度的转换,完成测距,判断前后车辆的距离,
第四步,根据前后车辆距离判断是否安全,如果安全则不作任何响应,如果不安全车辆根据具体情况进行减速或者其他判断,需要情况下向车主或行人返回信息提醒。
所述步骤三中,标志牌识别控制流程为:
第一步,四个摄像头采集RGB图,并根据采集得到的数据进行图像预处理,将所有的图片拉伸到相同的大小范围;
第二步,检测分割出交通标志信号灯或交通信号标志,提取关键的信息特征,首先创建TensorFlow图对象,设置占位符放置图片和标签,然后定义全连接层,使用可以在分类任务上取得小于0的部分函数值为0的ReLu函数作为激活函数,全连接层输出对数矢量,采用交叉熵作为损失函数,利用softmax将标签数据和神经网络的输出结果转化为概率;
第三步,进行循环的训练,与信息库中的交通标志信号灯和交通标志信号进行对比得出结果进行驾驶决策的判断。
与现有技术相比,本发明的装置通过摄像头读入图像,传递给具有不同作用的神经网络进行计算。将各个神经网络组队分工,实现了自动驾驶、标志理解、危险预警、人机交互等功能,并受到共享单车的启发,创建了一个模型参数共享平台,有助于解决人们在神经网络难以理解的路上行驶自动驾驶车辆训练参数模型费时费力的问题,提高了资源的利用率。
本发明的控制方法基于计算机视觉和深层神经网络技术,在实现了主要功能的基础上算法的思路较为简洁,不需要特别冗长的代码,强调从数据中学习,本发明结合自动驾驶系统创建了参数共享平台,有利于节省自动驾驶研究过程中针对难识别的路训练参数模型的时间,很大程度上提高了资源利用率;本发明在控制过程中隐藏了决策过程,车辆自己模仿人的驾驶行为,使自动驾驶技术更加有效地贴近生活,将神经网络进行专职分工,组队实现不同的功能,每个网络只做适合自己的事,提高了系统的整体稳定性。
附图说明
图1为本发明的主视图;
图2为本发明的右视图;
图3为本发明的后视图;
图4为本发明的自动驾驶系统结构图;
图5为本发明训练驾驶决策功能的流程图;
图6为本发明危险预警机制控制流程图;
图7为本发明标志牌识别控制流程图;
图8为本发明参数共享平台使用流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参见图1至3,一种结构化道路自动驾驶运输车,包括监督驾驶室12和货仓,货仓后部设置有第一摄像头1,货仓的侧面分别设置有第二摄像头2和第三摄像头3,监督驾驶舱12前部设置有无畸变高速摄像头4、双目摄像头5和前部超声波测距单元8,货仓的两侧均设置有若干侧面超声波测距单元7,货仓顶部设置有激光雷达6,货仓内设置有GPS模块;
第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4、双目摄像头5、激光雷达6、侧面超声波测距单元7、前部超声波测距单元8和GPS模块均连接中央处理单元;
第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4用于实时采集车辆四周路况的RGB图像数据,传递给中央处理单元中不同的神经网络进行特征提取;
双目摄像头5位于监督驾驶室12正前方的中央位置,用于实时关注着车辆正前方的情况,构建深度图,传递给中央处理单元进行测距;
激光雷达6用于360°测算周围物体的位置、速度等特征量,构建点云图,感知周围环境,传递给中央处理单元,形成精度为厘米级的3D环境地图;
侧面超声波测距单元7和前部超声波测距单元8用于障碍物的测距;
中央处理单元用于接收第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4、双目摄像头5、激光雷达6、侧面超声波测距单元7、前部超声波测距单元8和GPS模块的数据,利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策,并将动作指令传递给车辆控制单元。
中央处理单元包括:
视觉处理模块:包括图形处理器GPU和中央处理器CPU,用于接受摄像头获得的图像数据,同时接受超声波测距单元所获得的距离数据和激光雷达获得的周围物体相关特征量,完成对转向角度的判断,分割出道路、行人、车辆等,同时读取交通信号灯和交通信号标志信息,综合分析所得数据传递给决策模块和人机交互模块,并利用点云图和深度图结合修正反馈;
决策模块:用于根据障碍物数据及控制指令数据判断系统的移动模式,即前进、后退、停止或是角度转向,并将其编码为决策指令数据传递给车辆控制单元;
人机交互模块:用于根据障碍物数据及控制指令数据判断是否需要进行危险预警向车主或行人返回信息,并将其编码为决策指令数据传递给车辆控制单元;
危险预警模块:根据深度图、点云图和测距单元返回的信息,在紧急情况下自动减速,必要时向车主和行人返回信息进行提醒。
优选的,货仓包括小型货仓9、中型货仓10和大型货仓11,第一摄像头1采用远焦摄像头,第二摄像头2采用广角摄像头,第三摄像头3采用鱼眼摄像头。
参见图4,一种结构化道路自动驾驶运输车的控制方法,包括以下步骤:
步骤一,通过第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4获取周围环境的的RGB图像数据,双目摄像头5获取深度图数据,激光雷达6获取点云图数据,侧面超声波测距单元7、前部超声波测距单元8获取周围障碍物的距离,GPS模块进行地图匹配判断位置信息;
步骤二,中央处理器根据第一摄像头1、第二摄像头2、第三摄像头3、无畸变高速摄像头4的数据处理四个不同的神经网络处理数据,将激光雷达6生成的点云图与双目摄像头5生成的深度图相结合,判断危险目标是否在危险区域内,并修正控制并反馈输出,中央处理器分析各个神经网络输出的数据,结合危险预警所得到的信息,判断是否需要向车主和行人返回信息并输出;
步骤三,中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向,特殊情况下通过屏幕或语音输出向车主或行人返回信息。
所述步骤二中,四个不同的神经网络包括:
第一个卷积神经网络输出转向角度;
第二个全卷积神经网络对图像进行分割和语义理解;
第三个神经网络寻找交通信号灯和交通信号标志;
第四个多尺度卷积神经网络检测前面的人或其他动物。
参见图5,训练端到端深度学习的驾驶决策功能控制流程为:
第一步,在训练系统之前,首先假定方向控制命令为其中r是以米为单位的转弯半径,同时假定左转弯的为负,右转弯的为正,其中假定为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况;
第二步,通过四个摄像头采集彩色RGB图像,对视频进行降采样同时添加部分偏移和旋转数据;
第三步,训练卷积神经网络的权重值:该网络由输入层、输出层及隐层构成,其中隐层包括九层,一个归一层,五个卷积层和三个全连接层,在前三层采用2×2的卷积,其卷积核为5×5,后两层采用无步幅卷积,卷积核是3×3,五个卷积层之后是全连接层,最后输出一个数字,即转弯半径的倒数;
第四步,判断神经网络输出是否出现错误:若没有出现错误,输出位移和方向控制指令,若出现错误,利用反向传播来调整权重重新进行优化;
第五步:根据正确的位移和方向控制指令记录调整口方向盘的操作,积累数据进行仿真实验和上路测试。
参见图6,危险预警机制的控制流程为:
第一步,单目摄像头采集RGB图像数据,输入到Multinet网络模型中;
第二步,Multinet网络模型完成道路分割,街道分类和车辆检测,Multinet网络模型基于编码器—解码器架构,编码器由VGG网络架构的卷积层和池化层组成,共有13层,生成图像张量,为解码提供丰富的图像特征,解码器由三部分组成,分为分类解码器、语义解码器和检测解码器,分类解码器利用编码器生成的图像特征,先对图像特征矩阵进行1×1的卷积,接着通过全连接层,并使用softmax函数层分类,从而得出所属类别的概率,检测解码器利用编码产生的特征,通过500个1×1的卷积产生隐藏的大小为39×12×500的图像张量,再通过1×1的卷积产生分辨率为39×12的6个通道,语义分割解码器基于全卷积神经网络架构,输入的编码通过卷积池化层产生分辨率为39×12的分割,接着利用三个反卷积进行上采样,跳层实现从较低的层来获取具有高分辨率的特征,再通过卷积并将其添加到上采样的结果中,三个解码器共享计算加速处理;
第三步,与双目摄像头得到的深度图相匹配,获得左右图像的差异,进而进行深度的转换,完成测距,判断前后车辆的距离,
第四步,根据前后车辆距离判断是否安全,如果安全则不作任何响应,如果不安全车辆根据具体情况进行减速或者其他判断,需要情况下向车主或行人返回信息提醒。
参见图7,标志牌识别控制流程为:
第一步,四个摄像头采集RGB图,并根据采集得到的数据进行图像预处理,将所有的图片拉伸到相同的大小范围;
第二步,检测分割出交通标志信号灯或交通信号标志,提取关键的信息特征,首先创建TensorFlow图对象,设置占位符放置图片和标签,然后定义全连接层,使用可以在分类任务上取得小于0的部分函数值为0的ReLu函数作为激活函数,全连接层输出对数矢量,采用交叉熵作为损失函数,利用softmax将标签数据和神经网络的输出结果转化为概率;
第三步,进行循环的训练,与信息库中的交通标志信号灯和交通标志信号进行对比得出结果进行驾驶决策的判断。
参见图8,参数共享平台的使用方法为:
在训练自动驾驶系统的过程中遇到难以理解的路时便记录下其它开过此路的车的数据,然后根据数据训练参数模型,将其发布到云端,如果有其他人想在类似的道路上行驶自动驾驶车辆,只需要直接加载参数模型都可以,平台针对自动驾驶系统,所有人都可以上传自己训练的参数模型,也可以从中下载自己需要的参数模型。
虽然神经网络可以学习多种道路特征并做出较高准确率的决策,但世界上却有很多并不是那么标准的路,当遇到比较难以理解的路时往往需要根据道路的特征重新训练参数模型。目前我国利用神经网络技术研发自动驾驶汽车的机构并不在意少数,国内却少有可以参数共享的平台,很多相对成熟的自动驾驶技术可以很容易地识别比较宽阔的公路,却很难在弯曲奇怪的小路上行驶,每次都重新训练费时又费力。因此,本发明在构建自动驾驶系统的同时创建了一个自动驾驶相关的模型参数共享平台,当遇到小区内或街区里比较难以理解的路时,我们会记录下其他开过此路汽车的数据,并以此数据训练模型参数,将参数发布到云端,如果有其他人想在该道路上行驶自动驾驶车辆,无论是快递车、汽车还是大货车,只需加载该参数模型就好。
本发明具有较高的可移植性,无论是在汽车或是大货车上都可以采用本发明提出的自动驾驶系统,在这里我们针对上述描述的社会问题提出一种货运快递车的应用场景,具有以下几个特点:
(1)在大多数情况下车辆可以实现完全自动驾驶,人类只需辅助监控,快递员不必担心回因为疲劳过度或者关注手机订单而发生交通事故;
(2)外型类似于现阶段经常使用的快递小车,属于中小型车辆,考虑到实现无人驾驶,将最初的货仓分割成了独立的货仓,包括三种大小,可以容纳体积较大的快递;
(3)贴合应用场景可以采用低速行驶的模式,整体安全性较高,具有危险预警和人机交互功能,内置显示屏,在紧急情况下会自动减速,必要时向车主返回信息和向行人发出警告;
(4)由于神经网络具有很强的学习功能,驾驶室的座位可以折叠,现实生活中一个快递点的快递车往往只服务于周围一定范围内的区域,在道路较好的情况下,一段时间之后自动驾驶快递车如果经过测试无人干预也能比较顺利地完成货运时,物流高峰期可以将座位折叠起来当作一个独立的大型储物仓进行货运;
(5)GPS定位,到达目的地附近会自动停止通知客户取货。
Claims (9)
1.一种结构化道路自动驾驶运输车,其特征在于,包括监督驾驶室(12)和货仓,货仓后部设置有第一摄像头(1),货仓的侧面分别设置有第二摄像头(2)和第三摄像头(3),监督驾驶舱(12)前部设置有无畸变高速摄像头(4)、双目摄像头(5)和前部超声波测距单元(8),货仓的两侧均设置有若干侧面超声波测距单元(7),货仓顶部设置有激光雷达(6),货仓内设置有GPS模块;
所述第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)、双目摄像头(5)、激光雷达(6)、侧面超声波测距单元(7)、前部超声波测距单元(8)和GPS模块均连接中央处理单元;
所述第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)用于实时采集车辆四周路况的RGB图像数据,传递给中央处理单元中不同的神经网络进行特征提取;
所述双目摄像头(5)位于监督驾驶室(12)正前方的中央位置,用于实时关注着车辆正前方的情况,构建深度图,传递给中央处理单元进行测距;
所述激光雷达(6)用于360°测算周围物体的位置、速度等特征量,构建点云图,感知周围环境,传递给中央处理单元,形成精度为厘米级的3D环境地图;
所述侧面超声波测距单元(7)和前部超声波测距单元(8)用于障碍物的测距;
所述中央处理单元用于接收第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)、双目摄像头(5)、激光雷达(6)、侧面超声波测距单元(7)、前部超声波测距单元(8)和GPS模块的数据,利用隐含式决策神经网络确定系统的前进、后退、停止及转向决策,并将动作指令传递给车辆控制单元。
2.根据权利要求1所述的一种结构化道路自动驾驶运输车,其特征在于,所述货仓包括小型货仓(9)、中型货仓(10)和大型货仓(11)。
3.根据权利要求1所述的一种结构化道路自动驾驶运输车,其特征在于,所述第一摄像头(1)采用远焦摄像头,第二摄像头(2)采用广角摄像头,第三摄像头(3)采用鱼眼摄像头。
4.根据权利要求1所述的一种结构化道路自动驾驶运输车,其特征在于,所述中央处理单元包括:
视觉处理模块:包括图形处理器GPU和中央处理器CPU,用于接受摄像头获得的图像数据,同时接受超声波测距单元所获得的距离数据和激光雷达获得的周围物体相关特征量,完成对转向角度的判断,分割出道路、行人、车辆等,同时读取交通信号灯和交通信号标志信息,综合分析所得数据传递给决策模块和人机交互模块,并利用点云图和深度图结合修正反馈;
决策模块:用于根据障碍物数据及控制指令数据判断系统的移动模式,即前进、后退、停止或是角度转向,并将其编码为决策指令数据传递给车辆控制单元;
人机交互模块:用于根据障碍物数据及控制指令数据判断是否需要进行危险预警向车主或行人返回信息,并将其编码为决策指令数据传递给车辆控制单元;
危险预警模块:根据深度图、点云图和测距单元返回的信息,在紧急情况下自动减速,必要时向车主和行人返回信息进行提醒。
5.权利要求1所述的一种结构化道路自动驾驶运输车的控制方法,其特征在于,包括以下步骤:
步骤一,通过第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)获取周围环境的的RGB图像数据,双目摄像头(5)获取深度图数据,激光雷达(6)获取点云图数据,侧面超声波测距单元(7)、前部超声波测距单元(8)获取周围障碍物的距离,GPS模块进行地图匹配判断位置信息;
步骤二,中央处理器根据第一摄像头(1)、第二摄像头(2)、第三摄像头(3)、无畸变高速摄像头(4)的数据处理四个不同的神经网络处理数据,将激光雷达(6)生成的点云图与双目摄像头(5)生成的深度图相结合,判断危险目标是否在危险区域内,并修正控制并反馈输出,中央处理器分析各个神经网络输出的数据,结合危险预警所得到的信息,判断是否需要向车主和行人返回信息并输出;
步骤三,中央处理的综合各个神经网络的输出和危险预警模块返回的信息控制车辆的前进、后退、停止及固定角度转向,特殊情况下通过屏幕或语音输出向车主或行人返回信息。
6.根据权利要求5所述的一种结构化道路自动驾驶运输车的控制方法,其特征在于,所述步骤二中,四个不同的神经网络包括:
第一个卷积神经网络输出转向角度;
第二个全卷积神经网络对图像进行分割和语义理解;
第三个神经网络寻找交通信号灯和交通信号标志;
第四个多尺度卷积神经网络检测前面的人或其他动物。
7.根据权利要求5所述的一种结构化道路自动驾驶运输车的控制方法,其特征在于,所述步骤三中,训练端到端深度学习的驾驶决策功能控制流程为:
第一步,在训练系统之前,首先假定方向控制命令为其中r是以米为单位的转弯半径,同时假定左转弯的为负,右转弯的为正,其中假定为方向控制命令的好处在于避免了出现因直线行驶导致转弯半径r为无穷大的情况;
第二步,通过四个摄像头采集彩色RGB图像,对视频进行降采样同时添加部分偏移和旋转数据;
第三步,训练卷积神经网络的权重值:该网络由输入层、输出层及隐层构成,其中隐层包括九层,一个归一层,五个卷积层和三个全连接层,在前三层采用2×2的卷积,其卷积核为5×5,后两层采用无步幅卷积,卷积核是3×3,五个卷积层之后是全连接层,最后输出一个数字,即转弯半径的倒数;
第四步,判断神经网络输出是否出现错误:若没有出现错误,输出位移和方向控制指令,若出现错误,利用反向传播来调整权重重新进行优化;
第五步:根据正确的位移和方向控制指令记录调整口方向盘的操作,积累数据进行仿真实验和上路测试。
8.根据权利要求5所述的一种结构化道路自动驾驶运输车的控制方法,其特征在于,所述步骤三中,危险预警机制的控制流程为:
第一步,单目摄像头采集RGB图像数据,输入到Multinet网络模型中;
第二步,Multinet网络模型完成道路分割,街道分类和车辆检测,Multinet网络模型基于编码器—解码器架构,编码器由VGG网络架构的卷积层和池化层组成,共有13层,生成图像张量,为解码提供丰富的图像特征,解码器由三部分组成,分为分类解码器、语义解码器和检测解码器,分类解码器利用编码器生成的图像特征,先对图像特征矩阵进行1×1的卷积,接着通过全连接层,并使用softmax函数层分类,从而得出所属类别的概率,检测解码器利用编码产生的特征,通过500个1×1的卷积产生隐藏的大小为39×12×500的图像张量,再通过1×1的卷积产生分辨率为39×12的6个通道,语义分割解码器基于全卷积神经网络架构,输入的编码通过卷积池化层产生分辨率为39×12的分割,接着利用三个反卷积进行上采样,跳层实现从较低的层来获取具有高分辨率的特征,再通过卷积并将其添加到上采样的结果中,三个解码器共享计算加速处理;
第三步,与双目摄像头得到的深度图相匹配,获得左右图像的差异,进而进行深度的转换,完成测距,判断前后车辆的距离,
第四步,根据前后车辆距离判断是否安全,如果安全则不作任何响应,如果不安全车辆根据具体情况进行减速或者其他判断,需要情况下向车主或行人返回信息提醒。
9.根据权利要求5所述的一种结构化道路自动驾驶运输车的控制方法,其特征在于,所述步骤三中,标志牌识别控制流程为:
第一步,四个摄像头采集RGB图,并根据采集得到的数据进行图像预处理,将所有的图片拉伸到相同的大小范围;
第二步,检测分割出交通标志信号灯或交通信号标志,提取关键的信息特征,首先创建TensorFlow图对象,设置占位符放置图片和标签,然后定义全连接层,使用可以在分类任务上取得小于0的部分函数值为0的ReLu函数作为激活函数,全连接层输出对数矢量,采用交叉熵作为损失函数,利用softmax将标签数据和神经网络的输出结果转化为概率;
第三步,进行循环的训练,与信息库中的交通标志信号灯和交通标志信号进行对比得出结果进行驾驶决策的判断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710385715.7A CN107226087B (zh) | 2017-05-26 | 2017-05-26 | 一种结构化道路自动驾驶运输车及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710385715.7A CN107226087B (zh) | 2017-05-26 | 2017-05-26 | 一种结构化道路自动驾驶运输车及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107226087A true CN107226087A (zh) | 2017-10-03 |
CN107226087B CN107226087B (zh) | 2019-03-26 |
Family
ID=59933787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710385715.7A Active CN107226087B (zh) | 2017-05-26 | 2017-05-26 | 一种结构化道路自动驾驶运输车及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107226087B (zh) |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992829A (zh) * | 2017-12-05 | 2018-05-04 | 武汉中海庭数据技术有限公司 | 一种交通信号灯车道级控制关系提取方法及装置 |
CN108090464A (zh) * | 2017-12-29 | 2018-05-29 | 浙江大华技术股份有限公司 | 一种人脸检测方法及装置 |
CN108108750A (zh) * | 2017-12-12 | 2018-06-01 | 清华大学苏州汽车研究院(吴江) | 基于深度学习和单目视觉的距离空间重建方法 |
CN108133484A (zh) * | 2017-12-22 | 2018-06-08 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院(吴江) | 基于增强学习和多传感器融合的自动驾驶系统 |
CN108305250A (zh) * | 2018-01-30 | 2018-07-20 | 昆明理工大学 | 非结构化机器人视觉检测机械零件的同步识别与定位方法 |
CN108416783A (zh) * | 2018-02-01 | 2018-08-17 | 湖北工业大学 | 基于全卷积神经网路的道路场景分割方法 |
CN108427417A (zh) * | 2018-03-30 | 2018-08-21 | 北京图森未来科技有限公司 | 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆 |
CN108550259A (zh) * | 2018-04-19 | 2018-09-18 | 何澜 | 道路拥堵判断方法、终端设备及计算机可读存储介质 |
CN108597223A (zh) * | 2018-04-28 | 2018-09-28 | 北京智行者科技有限公司 | 一种用于智能车辆行为描述的数据处理方法和系统 |
CN108762250A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 设备的控制方法和装置、设备、计算机程序和存储介质 |
CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
CN108994820A (zh) * | 2018-07-27 | 2018-12-14 | 国网江苏省电力有限公司徐州供电分公司 | 用于带电作业的机器人系统及作业场景构建方法 |
CN109146389A (zh) * | 2018-10-08 | 2019-01-04 | 广州德泰克自动化科技有限公司 | 一种包裹id追踪识别设备 |
CN109165885A (zh) * | 2018-07-12 | 2019-01-08 | 上海建工集团股份有限公司 | 混凝土预制构件运输监控方法及系统 |
CN109164801A (zh) * | 2018-08-08 | 2019-01-08 | 尹彦勇 | 一种无人驾驶系统 |
CN109253722A (zh) * | 2018-08-22 | 2019-01-22 | 顺丰科技有限公司 | 融合语义分割的单目测距系统、方法、设备及存储介质 |
CN109377778A (zh) * | 2018-11-15 | 2019-02-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于多路rdma和v2x的协同自动驾驶系统及方法 |
TWI657407B (zh) * | 2017-12-07 | 2019-04-21 | 財團法人資訊工業策進會 | 利用遞歸神經網路的三維點雲追蹤裝置及方法 |
CN109767637A (zh) * | 2019-02-28 | 2019-05-17 | 杭州飞步科技有限公司 | 倒计时信号灯识别及处理的方法和装置 |
CN109855616A (zh) * | 2019-01-16 | 2019-06-07 | 电子科技大学 | 一种基于虚拟环境和强化学习的多传感器机器人导航方法 |
CN109886152A (zh) * | 2019-01-30 | 2019-06-14 | 天津大学 | 一种基于多传感器协作的无人驾驶路径选择方法 |
CN110008978A (zh) * | 2017-12-07 | 2019-07-12 | 亿目朗欧洲股份有限公司 | 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统 |
CN110082126A (zh) * | 2019-05-10 | 2019-08-02 | 云南农业大学 | 自动驾驶测试平台 |
CN110110950A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东振世信息技术有限公司 | 生成配送路区的方法、装置及计算机可读存储介质 |
CN110109159A (zh) * | 2019-05-22 | 2019-08-09 | 广州小鹏汽车科技有限公司 | 行驶管理方法、装置、电子设备及存储介质 |
CN110197027A (zh) * | 2019-05-28 | 2019-09-03 | 百度在线网络技术(北京)有限公司 | 一种自动驾驶测试方法、装置、智能设备和服务器 |
CN110197097A (zh) * | 2018-02-24 | 2019-09-03 | 北京图森未来科技有限公司 | 一种港区监控方法及系统、中控系统 |
CN110211371A (zh) * | 2018-02-28 | 2019-09-06 | 罗伯特·博世有限公司 | 用于求取道路交叉口的拓扑信息的方法 |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
CN110298219A (zh) * | 2018-03-23 | 2019-10-01 | 广州汽车集团股份有限公司 | 无人驾驶车道保持方法、装置、计算机设备和存储介质 |
CN110320883A (zh) * | 2018-03-28 | 2019-10-11 | 上海汽车集团股份有限公司 | 一种基于强化学习算法的车辆自动驾驶控制方法及装置 |
CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
JP2019211971A (ja) * | 2018-06-04 | 2019-12-12 | 株式会社豊田中央研究所 | 既存移動流を利用した無動力物流システム |
CN110615003A (zh) * | 2019-10-30 | 2019-12-27 | 吉林大学 | 基于策略梯度在线学习算法的巡航控制系统及设计方法 |
WO2020034903A1 (zh) * | 2018-08-17 | 2020-02-20 | 北京京东尚科信息技术有限公司 | 一种基于拓扑图的智能导航的方法和系统 |
US10600234B2 (en) | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
CN111008986A (zh) * | 2019-11-20 | 2020-04-14 | 天津大学 | 一种基于多任务半卷积的遥感图像分割方法 |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
CN111047885A (zh) * | 2019-03-29 | 2020-04-21 | 杭州锣卜科技有限公司 | 一种带有超重报警功能的无人运载车 |
CN111273676A (zh) * | 2020-03-24 | 2020-06-12 | 广东工业大学 | 一种端到端自动驾驶的方法及系统 |
US10705216B2 (en) | 2017-12-07 | 2020-07-07 | Institute For Information Industry | Three-dimensional point cloud tracking apparatus and method using recurrent neural network |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
CN111752390A (zh) * | 2020-06-27 | 2020-10-09 | 北京百度网讯科技有限公司 | 界面的视觉安全性检测方法、装置、设备以及存储介质 |
CN111898702A (zh) * | 2020-08-14 | 2020-11-06 | 海之韵(苏州)科技有限公司 | 一种基于深度学习的无人艇环境智能感知方法 |
US10839230B2 (en) | 2018-09-06 | 2020-11-17 | Ford Global Technologies, Llc | Multi-tier network for task-oriented deep neural network |
CN112606850A (zh) * | 2020-12-25 | 2021-04-06 | 天津市天波科达科技有限公司 | 一种简易自动驾驶装置及方法 |
CN113168558A (zh) * | 2018-10-05 | 2021-07-23 | 罗伯特·博世有限公司 | 用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 |
CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
CN114981615A (zh) * | 2020-01-22 | 2022-08-30 | 西门子歌美飒可再生能源公司 | 用于对道路运输路线进行计算机实现的分析的方法和装置 |
CN117849708A (zh) * | 2024-03-07 | 2024-04-09 | 奥鼎智通(北京)科技有限公司 | 一种基于多传感器建图的超宽带定位方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050033492A1 (en) * | 2003-08-07 | 2005-02-10 | Alan Mendelson | System and method for safety and financial monitoring of motor vehicles |
CN201544955U (zh) * | 2009-10-21 | 2010-08-11 | 三一重型装备有限公司 | 矿用车辆电液行走控制系统 |
CN202676174U (zh) * | 2012-05-11 | 2013-01-16 | 苏州大方特种车股份有限公司 | 动力平板运输车精确对接控制系统 |
CN104149782A (zh) * | 2014-07-31 | 2014-11-19 | 同济大学 | 一种基于磁导航的多传感器融合智能车的自动驾驶系统 |
CN104527646A (zh) * | 2014-12-19 | 2015-04-22 | 苏州大方特种车股份有限公司 | 无人驾驶冶金运输车 |
-
2017
- 2017-05-26 CN CN201710385715.7A patent/CN107226087B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050033492A1 (en) * | 2003-08-07 | 2005-02-10 | Alan Mendelson | System and method for safety and financial monitoring of motor vehicles |
CN201544955U (zh) * | 2009-10-21 | 2010-08-11 | 三一重型装备有限公司 | 矿用车辆电液行走控制系统 |
CN202676174U (zh) * | 2012-05-11 | 2013-01-16 | 苏州大方特种车股份有限公司 | 动力平板运输车精确对接控制系统 |
CN104149782A (zh) * | 2014-07-31 | 2014-11-19 | 同济大学 | 一种基于磁导航的多传感器融合智能车的自动驾驶系统 |
CN104527646A (zh) * | 2014-12-19 | 2015-04-22 | 苏州大方特种车股份有限公司 | 无人驾驶冶金运输车 |
Cited By (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992829A (zh) * | 2017-12-05 | 2018-05-04 | 武汉中海庭数据技术有限公司 | 一种交通信号灯车道级控制关系提取方法及装置 |
US10705216B2 (en) | 2017-12-07 | 2020-07-07 | Institute For Information Industry | Three-dimensional point cloud tracking apparatus and method using recurrent neural network |
TWI657407B (zh) * | 2017-12-07 | 2019-04-21 | 財團法人資訊工業策進會 | 利用遞歸神經網路的三維點雲追蹤裝置及方法 |
CN110008978A (zh) * | 2017-12-07 | 2019-07-12 | 亿目朗欧洲股份有限公司 | 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统 |
CN108108750A (zh) * | 2017-12-12 | 2018-06-01 | 清华大学苏州汽车研究院(吴江) | 基于深度学习和单目视觉的距离空间重建方法 |
CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院(吴江) | 基于增强学习和多传感器融合的自动驾驶系统 |
US10417911B2 (en) | 2017-12-18 | 2019-09-17 | Ford Global Technologies, Llc | Inter-vehicle cooperation for physical exterior damage detection |
US10600234B2 (en) | 2017-12-18 | 2020-03-24 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self imaging |
CN108133484A (zh) * | 2017-12-22 | 2018-06-08 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN108133484B (zh) * | 2017-12-22 | 2022-01-28 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN108090464A (zh) * | 2017-12-29 | 2018-05-29 | 浙江大华技术股份有限公司 | 一种人脸检测方法及装置 |
US10745005B2 (en) | 2018-01-24 | 2020-08-18 | Ford Global Technologies, Llc | Inter-vehicle cooperation for vehicle self height estimation |
CN108305250A (zh) * | 2018-01-30 | 2018-07-20 | 昆明理工大学 | 非结构化机器人视觉检测机械零件的同步识别与定位方法 |
CN108416783A (zh) * | 2018-02-01 | 2018-08-17 | 湖北工业大学 | 基于全卷积神经网路的道路场景分割方法 |
CN110110950A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东振世信息技术有限公司 | 生成配送路区的方法、装置及计算机可读存储介质 |
CN110197097A (zh) * | 2018-02-24 | 2019-09-03 | 北京图森未来科技有限公司 | 一种港区监控方法及系统、中控系统 |
CN110197097B (zh) * | 2018-02-24 | 2024-04-19 | 北京图森智途科技有限公司 | 一种港区监控方法及系统、中控系统 |
CN110211371A (zh) * | 2018-02-28 | 2019-09-06 | 罗伯特·博世有限公司 | 用于求取道路交叉口的拓扑信息的方法 |
US11505187B2 (en) | 2018-03-23 | 2022-11-22 | Guangzhou Automobile Group Co., Ltd. | Unmanned lane keeping method and device, computer device, and storage medium |
CN110298219A (zh) * | 2018-03-23 | 2019-10-01 | 广州汽车集团股份有限公司 | 无人驾驶车道保持方法、装置、计算机设备和存储介质 |
CN110320883A (zh) * | 2018-03-28 | 2019-10-11 | 上海汽车集团股份有限公司 | 一种基于强化学习算法的车辆自动驾驶控制方法及装置 |
CN108427417A (zh) * | 2018-03-30 | 2018-08-21 | 北京图森未来科技有限公司 | 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆 |
CN108427417B (zh) * | 2018-03-30 | 2020-11-24 | 北京图森智途科技有限公司 | 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆 |
CN108550259B (zh) * | 2018-04-19 | 2020-05-12 | 何澜 | 道路拥堵判断方法、终端设备及计算机可读存储介质 |
CN108550259A (zh) * | 2018-04-19 | 2018-09-18 | 何澜 | 道路拥堵判断方法、终端设备及计算机可读存储介质 |
CN108762250A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 设备的控制方法和装置、设备、计算机程序和存储介质 |
CN108597223A (zh) * | 2018-04-28 | 2018-09-28 | 北京智行者科技有限公司 | 一种用于智能车辆行为描述的数据处理方法和系统 |
US10628690B2 (en) | 2018-05-09 | 2020-04-21 | Ford Global Technologies, Llc | Systems and methods for automated detection of trailer properties |
JP7155618B2 (ja) | 2018-06-04 | 2022-10-19 | 株式会社豊田中央研究所 | 既存移動流を利用した無動力物流システム |
JP2019211971A (ja) * | 2018-06-04 | 2019-12-12 | 株式会社豊田中央研究所 | 既存移動流を利用した無動力物流システム |
CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
CN109165885B (zh) * | 2018-07-12 | 2022-02-15 | 上海建工集团股份有限公司 | 混凝土预制构件运输监控方法及系统 |
CN109165885A (zh) * | 2018-07-12 | 2019-01-08 | 上海建工集团股份有限公司 | 混凝土预制构件运输监控方法及系统 |
CN108994820A (zh) * | 2018-07-27 | 2018-12-14 | 国网江苏省电力有限公司徐州供电分公司 | 用于带电作业的机器人系统及作业场景构建方法 |
CN109164801A (zh) * | 2018-08-08 | 2019-01-08 | 尹彦勇 | 一种无人驾驶系统 |
CN109164801B (zh) * | 2018-08-08 | 2021-06-29 | 尹彦勇 | 一种无人驾驶系统 |
WO2020034903A1 (zh) * | 2018-08-17 | 2020-02-20 | 北京京东尚科信息技术有限公司 | 一种基于拓扑图的智能导航的方法和系统 |
CN109253722A (zh) * | 2018-08-22 | 2019-01-22 | 顺丰科技有限公司 | 融合语义分割的单目测距系统、方法、设备及存储介质 |
US10839230B2 (en) | 2018-09-06 | 2020-11-17 | Ford Global Technologies, Llc | Multi-tier network for task-oriented deep neural network |
CN113168558A (zh) * | 2018-10-05 | 2021-07-23 | 罗伯特·博世有限公司 | 用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 |
CN109146389A (zh) * | 2018-10-08 | 2019-01-04 | 广州德泰克自动化科技有限公司 | 一种包裹id追踪识别设备 |
CN109377778A (zh) * | 2018-11-15 | 2019-02-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于多路rdma和v2x的协同自动驾驶系统及方法 |
CN109377778B (zh) * | 2018-11-15 | 2021-04-06 | 浪潮集团有限公司 | 一种基于多路rdma和v2x的协同自动驾驶系统及方法 |
CN109855616A (zh) * | 2019-01-16 | 2019-06-07 | 电子科技大学 | 一种基于虚拟环境和强化学习的多传感器机器人导航方法 |
CN109886152A (zh) * | 2019-01-30 | 2019-06-14 | 天津大学 | 一种基于多传感器协作的无人驾驶路径选择方法 |
US11351917B2 (en) | 2019-02-13 | 2022-06-07 | Ford Global Technologies, Llc | Vehicle-rendering generation for vehicle display based on short-range communication |
CN109767637A (zh) * | 2019-02-28 | 2019-05-17 | 杭州飞步科技有限公司 | 倒计时信号灯识别及处理的方法和装置 |
CN111047885A (zh) * | 2019-03-29 | 2020-04-21 | 杭州锣卜科技有限公司 | 一种带有超重报警功能的无人运载车 |
CN110082126A (zh) * | 2019-05-10 | 2019-08-02 | 云南农业大学 | 自动驾驶测试平台 |
CN110109159B (zh) * | 2019-05-22 | 2021-06-04 | 广州小鹏汽车科技有限公司 | 行驶管理方法、装置、电子设备及存储介质 |
CN110109159A (zh) * | 2019-05-22 | 2019-08-09 | 广州小鹏汽车科技有限公司 | 行驶管理方法、装置、电子设备及存储介质 |
CN110197027B (zh) * | 2019-05-28 | 2023-07-18 | 百度在线网络技术(北京)有限公司 | 一种自动驾驶测试方法、装置、智能设备和服务器 |
CN110197027A (zh) * | 2019-05-28 | 2019-09-03 | 百度在线网络技术(北京)有限公司 | 一种自动驾驶测试方法、装置、智能设备和服务器 |
CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
CN110615003A (zh) * | 2019-10-30 | 2019-12-27 | 吉林大学 | 基于策略梯度在线学习算法的巡航控制系统及设计方法 |
CN111008986A (zh) * | 2019-11-20 | 2020-04-14 | 天津大学 | 一种基于多任务半卷积的遥感图像分割方法 |
CN111008986B (zh) * | 2019-11-20 | 2023-09-05 | 天津大学 | 一种基于多任务半卷积的遥感图像分割方法 |
CN114981615A (zh) * | 2020-01-22 | 2022-08-30 | 西门子歌美飒可再生能源公司 | 用于对道路运输路线进行计算机实现的分析的方法和装置 |
CN111273676B (zh) * | 2020-03-24 | 2023-04-18 | 广东工业大学 | 一种端到端自动驾驶的方法及系统 |
CN111273676A (zh) * | 2020-03-24 | 2020-06-12 | 广东工业大学 | 一种端到端自动驾驶的方法及系统 |
CN111752390B (zh) * | 2020-06-27 | 2024-04-05 | 阿波罗智联(北京)科技有限公司 | 界面的视觉安全性检测方法、装置、设备以及存储介质 |
CN111752390A (zh) * | 2020-06-27 | 2020-10-09 | 北京百度网讯科技有限公司 | 界面的视觉安全性检测方法、装置、设备以及存储介质 |
CN111898702A (zh) * | 2020-08-14 | 2020-11-06 | 海之韵(苏州)科技有限公司 | 一种基于深度学习的无人艇环境智能感知方法 |
CN112606850A (zh) * | 2020-12-25 | 2021-04-06 | 天津市天波科达科技有限公司 | 一种简易自动驾驶装置及方法 |
CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
CN113808219B (zh) * | 2021-09-17 | 2024-05-14 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
CN117849708A (zh) * | 2024-03-07 | 2024-04-09 | 奥鼎智通(北京)科技有限公司 | 一种基于多传感器建图的超宽带定位方法及系统 |
CN117849708B (zh) * | 2024-03-07 | 2024-05-17 | 奥鼎智通(北京)科技有限公司 | 一种基于多传感器建图的超宽带定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107226087B (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107226087B (zh) | 一种结构化道路自动驾驶运输车及控制方法 | |
US11934962B2 (en) | Object association for autonomous vehicles | |
US11370423B2 (en) | Multi-task machine-learned models for object intention determination in autonomous driving | |
Han et al. | Research on road environmental sense method of intelligent vehicle based on tracking check | |
WO2022141910A1 (zh) | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 | |
CN105009175B (zh) | 基于传感器盲点和局限性来修改自主车辆的行为 | |
CN112633176B (zh) | 一种基于深度学习的轨道交通障碍物检测方法 | |
CN110531753A (zh) | 自主车辆的控制系统、控制方法和控制器 | |
CN110930323B (zh) | 图像去反光的方法、装置 | |
CN107985189A (zh) | 面向高速驾驶环境下的驾驶员变道深度预警方法 | |
CN115048972B (zh) | 交通场景解构分类方法及虚实结合自动驾驶测试方法 | |
US11574462B1 (en) | Data augmentation for detour path configuring | |
US20230048680A1 (en) | Method and apparatus for passing through barrier gate crossbar by vehicle | |
CN115457074A (zh) | 用于对象检测和跟踪的神经网络 | |
Kemsaram et al. | An integrated framework for autonomous driving: Object detection, lane detection, and free space detection | |
Fernandes et al. | Intelligent robotic car for autonomous navigation: Platform and system architecture | |
Xu et al. | Exploiting high-fidelity kinematic information from port surveillance videos via a YOLO-based framework | |
Valeja et al. | Traffic sign detection using Clara and Yolo in python | |
US20220146277A1 (en) | Architecture for map change detection in autonomous vehicles | |
CN111038521A (zh) | 一种自动驾驶“意识决定”模型的构成方法 | |
CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及系统 | |
US11702011B1 (en) | Data augmentation for driver monitoring | |
CN114821212A (zh) | 交通标志物的识别方法、电子设备、车辆和存储介质 | |
CN115508841A (zh) | 一种路沿检测的方法和装置 | |
TW201816745A (zh) | 智慧多功能行車輔助駕駛記錄方法及系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |