CN110347043B - 一种智能驾驶控制方法及装置 - Google Patents
一种智能驾驶控制方法及装置 Download PDFInfo
- Publication number
- CN110347043B CN110347043B CN201910635094.2A CN201910635094A CN110347043B CN 110347043 B CN110347043 B CN 110347043B CN 201910635094 A CN201910635094 A CN 201910635094A CN 110347043 B CN110347043 B CN 110347043B
- Authority
- CN
- China
- Prior art keywords
- instruction
- following
- vehicle
- controlled vehicle
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种智能驾驶控制方法及装置,方法包括:获得受控车辆采集的实时图像;将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令;将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。应用本发明实施例,实现了对受控车辆的安全、可靠控制。
Description
技术领域
本发明涉及智能驾驶技术领域,尤其涉及一种智能驾驶控制方法及装置。
背景技术
随着智能驾驶时代的来到,智能驾驶技术逐渐成为研究热点。
目前,智能驾驶方法通常比较简单,例如,在车辆前部装上雷达和红外线探头,当探知前方有异物或者行人时,就控制受控车辆刹车;或者是,检测与前车之间的距离,保持与前车之间的距离为固定距离,并在检测到前车加速时,控制受控车辆也加速;在检测到前车减速时,控制受控车辆也减速。发明人在研究相关技术的过程中发现:现有智能驾驶方法通常完全基于传感器感知外界环境,进而采取相应的决策来对车辆进行控制,由于传感器对外界环境的感知具有局限性,往往难以保证准确识别车辆行驶环境中的所有物体,例如,可能无法识别交通信号灯和人行道等等;因此会对受控车辆的控制的安全、可靠控制造成影响。
因此有必要设计一种新的智能驾驶控制方法,以克服上述问题。
发明内容
本发明的目的在于克服现有技术之缺陷,提供了一种智能驾驶控制方法及装置,以实现对受控车辆的安全、可靠控制。
本发明是这样实现的:
第一方面,本发明提供一种智能驾驶控制方法,所述方法包括:
获得受控车辆采集的实时图像;
将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令;
将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
可选的,通过以下方式预先训练得到目标卷积神经网络:
对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;
用各种远程操作以及各种远程操作下回传的实时图像构建训练集;
用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络。
可选的,基于所述图像识别结果和预设跟驰条件,确定跟驰指令,包括:
若所述图像识别结果包含车辆,获得受控车辆采集的车头间距;根据所获得的车头间距和受控车辆的速度,计算车头时距;判断所述车头时距是否小于预设阈值;若小于预设阈值,确定跟驰指令为停止行驶指令。
可选的,若所述图像识别结果不包含车辆,所述方法还包括:
若所述图像识别结果包含交通信号灯,确定交通信号灯的颜色,若交通信号灯的颜色为红色,判断所述图像识别结果是否包含人行道,若包含人行道,确定跟驰指令为停止行驶指令;若不包含人行道,确定跟驰指令为保持原态指令。
可选的,若交通信号灯的颜色为绿色,所述方法还包括:
确定跟驰指令为保持原态指令。
可选的,将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令,包括:
若所述跟驰指令为停止行驶指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述停止行驶指令;
若所述跟驰指令为保持原态指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述用户操作指令。
可选的,所述受控车辆设有摄像头和超声波传感器。
可选的,目标检测模型为Yolov3tiny网络模型。
第二方面,本发明提供一种智能驾驶控制装置,所述装置包括:
获得模块,用于获得受控车辆采集的实时图像;
确定模块,用于将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令;
发送模块,用于将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
可选的,所述装置还包括训练模块,用于通过以下方式预先训练得到目标卷积神经网络:
对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;
用各种远程操作以及各种远程操作下回传的实时图像构建训练集;
用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络。
本发明具有以下有益效果:应用本发明实施例,可以得到目标卷积神经网络输出的用户操作指令、目标检测模型输出的图像识别结果;并基于图像识别结果和预设跟驰条件,确定跟驰指令;进而,将用户操作指令与跟驰指令进行与运算,得到车辆控制指令;并将车辆控制指令发送至受控车辆。由于输入目标检测模型的实时图像的尺寸均为预设尺寸,统一了目标检测模型所处理图像的大小,提高了目标检测模型的检测效率;进而,通过将用户操作指令与跟驰指令进行与运算,综合了目标卷积神经网络和目标检测模型的输出结果,使得车辆控制指令既能满足用户操作又能满足预设跟驰条件,保证了受控车辆可以在车辆控制指令的控制下安全行驶,形成了自适应巡航反馈系统,实现了对受控车辆的安全、可靠控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的智能驾驶控制方法的一种流程示意图;
图2为本发明实施例提供的智能驾驶控制装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
需要说明的是,本发明所提供的智能驾驶控制方法可以应用于电子设备,其中,在具体应用中,该电子设备可以为计算机、个人电脑、平板、手机等等,这都是合理的。
参见图1,本发明实施例提供一种智能驾驶控制方法,方法包括如下步骤:
S101、获得受控车辆采集的实时图像;
受控车辆可以设有摄像头和超声波传感器,通过摄像头可以采集实时图像,通过超声波传感器可以测量车头间距,车头间距是指同向连续行驶的两车中的后车车头与前车车头之间的距离。
受控车辆采集的实时图像可以包含受控车辆的前方道路情况,例如,可以包括前方车辆、交通信号灯和人行道等等。受控车辆可以接收车辆控制指令,并按照车辆控制指令行驶。
S102、将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令;
输入目标检测模型的实时图片的尺寸均为预设尺寸,统一了目标检测模型对图片格式,提高了目标检测模型的检测效率。预设尺寸可以事先设定,例如可以为64*64、32*32等等。
一种实现方式中,可以通过以下方式预先训练得到目标卷积神经网络:
对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;
用各种远程操作以及各种远程操作下回传的实时图像构建训练集;
用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络。
电子设备(本发明的执行主体)可以通过远程连接受控车辆,从而对受控车辆进行远程操作,远程操作可以包括前进、后退、前进左转、前进右转、停止、左转、右转、左后退和右后退等操作指令,受控车辆可以接收远程操作指令,并按照远程操作指令行驶,回传行驶过程中采集的实时图像。电子设备可以记录各种远程操作生成远程操作数据集;记录各种远程操作下回传的实时图像,生成图像集,用每种远程操作及该远程操作下回传的实时图像作为一个训练样本,得到由各个训练样本构成的训练集。
进而,可以使用训练集对预设卷积神经网络进行训练,可以通过可视化工具(例如tensorboad、DataFocus等)查看训练结果,如果训练结果满足预设要求,可以认为模型训练效果理想,就可以结束训练,从而得到训练好的目标卷积神经网络。预设要求可以根据需求事先设定,例如,当训练结果的准确率达到预设阈值时,可以确定训练结果满足预设要求;或者训练结果的误差小于预设误差时,可以确定训练结果满足预设要求。
又一种实现方式中,为了提高训练效率,可以采用高性能服务器训练预设卷积神经网络,在得到训练好的目标卷积神经网络后,可以将训练好的目标卷积神经网络迁移到本地,从而电子设备可以直接得到训练好的目标卷积神经网络,在将实时图像输入至该目标卷积神经网络后,就可以得到目标卷积神经网络输出的用户操作指令。
预设卷积神经网络可以包括卷积层、池化层、全连接层等,可以根据需求事先设定各层的结构以及激活函数,并预先设定损失函数、优化算法等,损失函数可以为均方误差损失函数、交叉熵损失函数、Softmax损失函数等等。优化算法可以为梯度下降法、共轭梯度法、Adam(adaptive moment estimation,自适应矩估计)优化算法等等。例如,预设卷积神经网络各层结构如表1所示,Conv1、Conv2、Conv3、Pool、Conv4、Conv5、FC1、FC2、FC3、loss、optimization分别表示卷积层1、卷积层2、卷积层3、池化层、卷积层4、卷积层5、全连接层1、全连接层2、全连接层3、损失函数和优化算法。
表1
可以预先设计受控车辆的行驶路况环境,例如,可以布置运行轨道、TSR(trafficsignal recognize,交通信号识别)、Precrash Warning(预防碰撞系统)等模拟路况环境。可以预先向受控车辆发送远程操作指令,控制受控车辆行驶,从而可以获得受控车辆在行驶过程中采集的实时图像,确定所采集的各个实时图像中所包含的预设类别的物体以及各物体所在区域的BoudingBox四个值(包括该区域的中心点坐标、区域的宽和高),预设类别可以包括车辆、交通信号灯以及颜色、人行道等。可以将所采集的各个实时图像中所包含的预设类别的物体以及各物体所在区域的BoudingBox四个值存储至文件中,文件格式可以为PASCAL VOC文件格式,通过读取该文件可以得到图像数据集合。目标检测模型可以为Yolov3tiny网络模型或YOLOv2网络模型等。示例性的,PASCAL VOC标签文件格式可以如下:
用PASCAL VOC文件中的图像数据集合训练目标检测模型,在训练至收敛后,就可以得到训练好的目标检测模型。目标检测模型可以检测车辆、人行道、交通信号灯等类别的物体。
受控车辆可以设有RaspberryPi 3b+(树莓派)和Ardunio,在RaspberryPi 3b+(树莓派)和Ardunio搭载linux系统的基础上,还可以加装WI-FI扩展模块、摄像头(例如树莓派摄像头(Pi-Camera))、超声波传感器、TB6612FNG电机驱动等模块,可以通过树莓派内置的Pi-camera接口事先编写受控车辆到电子设备之间的视频传输协议,通过树莓派内置的GPIO接口编写电子设备-树莓派-电机之间的小车控制协议、舵机和摄像头初始化校准算法。本发明对具体的视频传输协议、小车控制协议和初始化校准算法不做限定,例如,视频传输协议可以为Real Time Messaging Protocol(实时消息传输协议)、HLS(HTTP LiveStreaming,基于Http协议的流媒体网络传输协议)等等。由于相比TCP(TransmissionControl Protocol传输控制协议)而言,面向非连接的UDP(User Datagram Protocol,用户数据报协议)更加简单有效,故小车控制系统的通讯协议可以采用UDP协议。小车控制协议中小车接收协议的数据格式可以如表2所示。初始化校准算法可以根据需求事先设定,用于对舵机和摄像头的参数初始化。
表2
由表2可以看出,在用户按下“s”按键后,通过UDP信号传输通道传输停止行驶指令至受控车辆,受控车辆可以通过chr(5)通道接收到停止行驶指令,并停止行驶;在用户按下“↑”按键后,通过UDP信号传输通道传输前进指令至受控车辆,受控车辆可以通过chr(1)通道接收到前进指令,激活树莓派的IO20接口和IO19接口,使受控车辆向前行驶;在用户按下“↓”按键后,通过UDP信号传输通道传输前进指令至受控车辆,受控车辆可以通过chr(2)通道接收到后退指令,激活树莓派的IO21接口和IO26接口,使受控车辆向后行驶;在用户按下“↑←”按键后,通过UDP信号传输通道传输左转指令至受控车辆,受控车辆可以通过chr(7)通道接收到左转指令,激活树莓派的IO20接口,使受控车辆左转;在用户按下“↑→”按键后,通过UDP信号传输通道传输右转指令至受控车辆,受控车辆可以通过chr(6)通道接收到右转指令,激活树莓派的IO19接口,使受控车辆右转;在用户按下“←”按键后,通过UDP信号传输通道传输左旋转指令至受控车辆,受控车辆可以通过chr(4)通道接收到左旋转指令,激活树莓派的IO21接口和IO19接口,使受控车辆左旋转;在用户按下“→”按键后,通过UDP信号传输通道传输右旋转指令至受控车辆,受控车辆可以通过chr(3)通道接收到右旋转指令,激活树莓派的IO20接口和IO26接口,使受控车辆右旋转。在用户按下“↓←”按键后,通过UDP信号传输通道传输左后旋转指令至受控车辆,受控车辆可以通过chr(9)通道接收到左后旋转指令,激活树莓派的IO26接口,使受控车辆左后旋转;在用户按下“↓→”按键后,通过UDP信号传输通道传输右转指令至受控车辆,受控车辆可以通过chr(8)通道接收到右后旋转指令,激活树莓派的IO21接口,使受控车辆右后旋转;其他格式不再一一赘述,另外,在其他实施方式中,也可以根据需求设计相应的车辆控制协议。
一种实现方式中,基于所述图像识别结果和预设跟驰条件,确定跟驰指令,可以包括:
若所述图像识别结果包含车辆,获得受控车辆采集的车头间距;根据所获得的车头间距和受控车辆的速度,计算车头时距;判断所述车头时距是否小于预设阈值;若小于预设阈值,确定跟驰指令为停止行驶指令。
图像识别结果包括是否包含车辆、是否包含交通信号灯、交通信号灯的颜色、是否包含人行道等信息。如果图像识别结果中包含车辆,表明受控车辆的前方有车辆,进而可以获得受控车辆的超声波传感器采集的车头间距,用车头间距除以受控车辆的速度,就可以得到车头时距。受控车辆的速度可以由受控车辆发动机的转速转换计算得到。预设阈值可以根据需求事先设定,例如,可以为1.55秒、2秒等。可以设置判定帧频为测量车头间距所需时间的两个数量级以上,从而保证在测量时间内车头时距是恒定的。
另外,若车头时距不小于预设阈值,表明受控车辆与前车之间距离处于安全距离以内,则可以确定跟驰指令为保持原态指令。
又一种实现方式中,受控车辆的速度可以是固定的预设值,在这种情况下,可以在获得受控车辆采集的车头间距后;可以直接判断所述车头间距是否小于预设距离阈值;若小于预设距离阈值,确定跟驰指令为停止行驶指令;若不小于预设距离阈值,确定跟驰指令为保持原态指令。
示例性的,若受控车辆的速度为3.5cm/s,预设距离阈值可以3.5*1.55=5.4cm。
若所述图像识别结果不包含车辆,表明受控车辆的前方没有车辆,进一步的,可以判断图像识别结果是否包含交通信号灯:若图像识别结果包含交通信号灯,确定交通信号灯的颜色,若交通信号灯的颜色为红色,判断所述图像识别结果是否包含人行道,若包含人行道,确定跟驰指令为停止行驶指令;若不包含人行道,确定跟驰指令为保持原态指令。
若图像识别结果所包含交通信号灯的颜色为红色且图像识别结果包含人行道,表明受控车辆已行驶至人行道附近,由于交通信号灯的颜色为红色,表明受控车辆应当停止运行,故可以确定跟驰指令为停止行驶指令。
若交通信号灯的颜色为绿色,表明受控车辆可以继续行驶,所述方法还可以包括:确定跟驰指令为保持原态指令。若交通信号灯的颜色为黄色,也可以确定跟驰指令为保持原态指令。
S103、将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
应用本发明实施例,通过将用户操作指令与跟驰指令进行与运算,综合了目标卷积神经网络和目标检测模型的输出结果,使得车辆控制指令既能满足用户操作又能满足预设跟驰条件,受控车辆可以在车辆控制指令的控制下,形成自适应巡航反馈系统,实现了受控车辆的可靠控制。
具体的,将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令,可以包括:
若所述跟驰指令为停止行驶指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述停止行驶指令;
若所述跟驰指令为保持原态指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述用户操作指令。
可以看出,一旦跟驰指令为停止行驶指令,无论用户操作指令是什么,车辆控制指令就为停止行驶指令,从而保证了受控车辆会停止运行,提高了行驶的安全性和可靠性;当跟驰指令为保持原态指令时,受控车辆才会按照用户操作指令进行行驶,实现了对受控车辆的安全控制。
与上述的方法实施例相对应,本发明实施例还提供一种智能驾驶控制装置。
参见图2,图2为本发明实施例所提供的一种智能驾驶控制装置的结构示意图,装置包括:
获得模块201,用于获得受控车辆采集的实时图像;
确定模块202,用于将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令;
发送模块203,用于将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
应用本发明实施例,可以得到目标卷积神经网络输出的用户操作指令、目标检测模型输出的图像识别结果;并基于图像识别结果和预设跟驰条件,确定跟驰指令;进而,将用户操作指令与跟驰指令进行与运算,得到车辆控制指令;并将车辆控制指令发送至受控车辆。由于输入目标检测模型的实时图像的尺寸均为预设尺寸,统一了目标检测模型所处理图像的大小,提高了目标检测模型的检测效率;进而,通过将用户操作指令与跟驰指令进行与运算,综合了目标卷积神经网络和目标检测模型的输出结果,使得车辆控制指令既能满足用户操作又能满足预设跟驰条件,保证了受控车辆可以在车辆控制指令的控制下安全行驶,形成了自适应巡航反馈系统,实现了对受控车辆的安全、可靠控制。
可选的,所述装置还包括训练模块,用于通过以下方式预先训练得到目标卷积神经网络:
对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;
用各种远程操作以及各种远程操作下回传的实时图像构建训练集;
用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络。
可选的,所述确定模块基于所述图像识别结果和预设跟驰条件,确定跟驰指令,具体为:
若所述图像识别结果包含车辆,获得受控车辆采集的车头间距;根据所获得的车头间距和受控车辆的速度,计算车头时距;判断所述车头时距是否小于预设阈值;若小于预设阈值,确定跟驰指令为停止行驶指令。
可选的,所述确定模块还用于:
若所述图像识别结果不包含车辆,若所述图像识别结果包含交通信号灯,确定交通信号灯的颜色,若交通信号灯的颜色为红色,判断所述图像识别结果是否包含人行道,若包含人行道,确定跟驰指令为停止行驶指令;若不包含人行道,确定跟驰指令为保持原态指令。
可选的,所述确定模块还用于:
若交通信号灯的颜色为绿色,确定跟驰指令为保持原态指令。
可选的,所述发送模块将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令,具体为:
若所述跟驰指令为停止行驶指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述停止行驶指令;
若所述跟驰指令为保持原态指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述用户操作指令。
可选的,所述受控车辆设有摄像头和超声波传感器。
可选的,所述目标检测模型为Yolov3tiny网络模型。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种智能驾驶控制方法,其特征在于,所述方法包括:
获得受控车辆采集的实时图像;
将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令,所述训练好的 目标卷积神经网络,包括:对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;用各种远程操作以及各种远程操作下回传的实时图像构建训练集;用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令,包括:若所述图像识别结果包含车辆,获得受控车辆采集的车头间距;根据所获得的车头间距和受控车辆的速度,计算车头时距;判断所述车头时距是否小于预设阈值;若小于预设阈值,确定跟驰指令为停止行驶指令;
将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
2.根据权利要求1所述的方法,其特征在于,若所述图像识别结果不包含车辆,所述方法还包括:
若所述图像识别结果包含交通信号灯,确定交通信号灯的颜色,若交通信号灯的颜色为红色,判断所述图像识别结果是否包含人行道,若包含人行道,确定跟驰指令为停止行驶指令;若不包含人行道,确定跟驰指令为保持原态指令。
3.根据权利要求2所述的方法,其特征在于,若交通信号灯的颜色为绿色,所述方法还包括:
确定跟驰指令为保持原态指令。
4.根据权利要求2或3所述的方法,其特征在于,将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令,包括:
若所述跟驰指令为停止行驶指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述停止行驶指令;
若所述跟驰指令为保持原态指令,则将所述用户操作指令与所述跟驰指令进行与运算,得到的车辆控制指令为所述用户操作指令。
5.根据权利要求1所述的方法,其特征在于,所述受控车辆设有摄像头和超声波传感器。
6.根据权利要求1所述的方法,其特征在于,所述目标检测模型为Yolov3tiny网络模型。
7.一种智能驾驶控制装置,其特征在于,所述装置包括:
获得模块,用于获得受控车辆采集的实时图像;
训练模块,用于通过以下方式预先训练得到目标卷积神经网络:对受控车辆进行各种远程操作,得到受控车辆在每一远程操作下回传的实时图像;用各种远程操作以及各种远程操作下回传的实时图像构建训练集;用所述训练集训练预设卷积神经网络,通过可视化工具显示训练结果,当所显示的训练结果满足预设要求时,得到训练好的目标卷积神经网络;
确定模块,用于将所述实时图像输入至预先训练好的目标卷积神经网络,得到所述目标卷积神经网络输出的用户操作指令;并调整所述实时图像的尺寸至预设尺寸,将调整尺寸后的实时图像输入至预先训练好的目标检测模型,得到所述目标检测模型输出的图像识别结果;基于所述图像识别结果和预设跟驰条件,确定跟驰指令,包括:若所述图像识别结果包含车辆,获得受控车辆采集的车头间距;根据所获得的车头间距和受控车辆的速度,计算车头时距;判断所述车头时距是否小于预设阈值;若小于预设阈值,确定跟驰指令为停止行驶指令;
发送模块,用于将所述用户操作指令与所述跟驰指令进行与运算,得到车辆控制指令;并将所述车辆控制指令发送至所述受控车辆,以使所述受控车辆按照所述车辆控制指令行驶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635094.2A CN110347043B (zh) | 2019-07-15 | 2019-07-15 | 一种智能驾驶控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635094.2A CN110347043B (zh) | 2019-07-15 | 2019-07-15 | 一种智能驾驶控制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110347043A CN110347043A (zh) | 2019-10-18 |
CN110347043B true CN110347043B (zh) | 2023-03-10 |
Family
ID=68175303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910635094.2A Active CN110347043B (zh) | 2019-07-15 | 2019-07-15 | 一种智能驾驶控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110347043B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142519A (zh) * | 2019-12-17 | 2020-05-12 | 西安工业大学 | 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971563A (zh) * | 2017-04-01 | 2017-07-21 | 中国科学院深圳先进技术研究院 | 智能交通信号灯控制方法及系统 |
CN107161155A (zh) * | 2017-04-27 | 2017-09-15 | 大连理工大学 | 一种基于人工神经网络的车辆协同换道方法及其系统 |
CN107203134A (zh) * | 2017-06-02 | 2017-09-26 | 浙江零跑科技有限公司 | 一种基于深度卷积神经网络的前车跟随方法 |
CN108196546A (zh) * | 2018-01-03 | 2018-06-22 | 驭势(上海)汽车科技有限公司 | 智能驾驶车辆的安全性监控系统及方法 |
CN109213148A (zh) * | 2018-08-03 | 2019-01-15 | 东南大学 | 一种基于深度强化学习的车辆低速跟驰决策方法 |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
CN109389838A (zh) * | 2018-11-26 | 2019-02-26 | 爱驰汽车有限公司 | 无人驾驶路口路径规划方法、系统、设备及存储介质 |
CN109709956A (zh) * | 2018-12-26 | 2019-05-03 | 同济大学 | 一种自动驾驶车辆速度控制多目标优化的跟驰算法 |
CN109726683A (zh) * | 2018-12-29 | 2019-05-07 | 北京市商汤科技开发有限公司 | 目标对象检测方法和装置、电子设备和存储介质 |
CN109934119A (zh) * | 2019-02-19 | 2019-06-25 | 平安科技(深圳)有限公司 | 调整车辆行驶方向方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107813830A (zh) * | 2016-08-31 | 2018-03-20 | 法乐第(北京)网络科技有限公司 | 一种辅助车辆驾驶的方法及装置 |
CN108196535B (zh) * | 2017-12-12 | 2021-09-07 | 清华大学苏州汽车研究院(吴江) | 基于增强学习和多传感器融合的自动驾驶系统 |
CN109196437B (zh) * | 2018-08-21 | 2021-04-09 | 达闼机器人有限公司 | 智能驾驶方法、装置及存储介质 |
-
2019
- 2019-07-15 CN CN201910635094.2A patent/CN110347043B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971563A (zh) * | 2017-04-01 | 2017-07-21 | 中国科学院深圳先进技术研究院 | 智能交通信号灯控制方法及系统 |
CN107161155A (zh) * | 2017-04-27 | 2017-09-15 | 大连理工大学 | 一种基于人工神经网络的车辆协同换道方法及其系统 |
CN107203134A (zh) * | 2017-06-02 | 2017-09-26 | 浙江零跑科技有限公司 | 一种基于深度卷积神经网络的前车跟随方法 |
CN108196546A (zh) * | 2018-01-03 | 2018-06-22 | 驭势(上海)汽车科技有限公司 | 智能驾驶车辆的安全性监控系统及方法 |
CN109213148A (zh) * | 2018-08-03 | 2019-01-15 | 东南大学 | 一种基于深度强化学习的车辆低速跟驰决策方法 |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
CN109389838A (zh) * | 2018-11-26 | 2019-02-26 | 爱驰汽车有限公司 | 无人驾驶路口路径规划方法、系统、设备及存储介质 |
CN109709956A (zh) * | 2018-12-26 | 2019-05-03 | 同济大学 | 一种自动驾驶车辆速度控制多目标优化的跟驰算法 |
CN109726683A (zh) * | 2018-12-29 | 2019-05-07 | 北京市商汤科技开发有限公司 | 目标对象检测方法和装置、电子设备和存储介质 |
CN109934119A (zh) * | 2019-02-19 | 2019-06-25 | 平安科技(深圳)有限公司 | 调整车辆行驶方向方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
城市快速路单车道车头间距的研究;刘岩等;《大连交通大学学报》;20120430;第33卷(第2期);第20-23页 * |
驾驶员车头时距研究;孟凡兴等;《工业工程与管理》;20130430;第18卷(第2期);第131-135,140页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110347043A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10684626B1 (en) | Handling intersection navigation without traffic lights using computer vision | |
CN109949594B (zh) | 实时的交通灯识别方法 | |
JP6819594B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2017029847A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11592570B2 (en) | Automated labeling system for autonomous driving vehicle lidar data | |
US20180211121A1 (en) | Detecting Vehicles In Low Light Conditions | |
CN110895674A (zh) | 用于基于自我中心视觉的未来车辆定位的系统和方法 | |
US11003928B2 (en) | Using captured video data to identify active turn signals on a vehicle | |
JP2018107759A (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
US9842283B2 (en) | Target object detection system and a method for target object detection | |
US20220375208A1 (en) | Annotation cross-labeling for autonomous control systems | |
JP2023548691A (ja) | インテリジェントライトスイッチング方法及びシステム並びに関連装置 | |
KR102310782B1 (ko) | 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템 | |
CN111443707A (zh) | 自主引导车辆到利用远程设备选择的期望停放位置 | |
WO2019116423A1 (ja) | 教師データ収集装置 | |
WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
CN112606804B (zh) | 一种车辆主动制动的控制方法及控制系统 | |
CN111145569A (zh) | 一种道路监测、车辆行驶控制方法、装置及车路协同系统 | |
KR20230003143A (ko) | 차량이 붐 배리어를 통과하기 위한 방법 및 장치 | |
CN110347043B (zh) | 一种智能驾驶控制方法及装置 | |
CN110648360B (zh) | 一种基于车载摄像头避让他方车辆的方法及系统 | |
JP7269694B2 (ja) | 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置 | |
CN112489125A (zh) | 一种堆场行人自动检测方法及装置 | |
KR102220912B1 (ko) | 차량용 디스플레이 장치 및 이를 구비한 차량 | |
EP4113377A1 (en) | Use of dbscan for lane detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |