CN113665591A - 无人驾驶控制方法、装置、设备及介质 - Google Patents
无人驾驶控制方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113665591A CN113665591A CN202111139677.XA CN202111139677A CN113665591A CN 113665591 A CN113665591 A CN 113665591A CN 202111139677 A CN202111139677 A CN 202111139677A CN 113665591 A CN113665591 A CN 113665591A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned
- image
- graph
- plane projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000012937 correction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/047—
-
- G06T5/80—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/28—Wheel speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种无人驾驶控制方法、装置、设备及介质。其中，方法包括：获取行驶车辆预设俯视角度范围内的图像，并将图像转换为平面投影图；将平面投影图作为预定神经网络模型的输入参数，获得与平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；根据可行驶区域，确定用于车辆行驶的规划路线；根据定位点和规划路线，对车辆的左右轮的速度进行调整，控制车辆无人驾驶。采用本申请实施例中的技术方案，能够实现降低无人驾驶车辆的无人驾驶成本的基础上不影响计算效率。
Description
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种无人驾驶控制方法、装置、设备及介质。
背景技术
传统的无人驾驶方案，一般包括：
首先是感知，通过车辆上安装的多个传感器，在不同的时间点了解车辆周边、车辆自身以及车辆在地球上所处的位置等信息，通过该车辆上安装的传感器把车辆上的所有数据实时采集下来用于决策，这也是感知成本高昂而时间无法同步的地方，在收集信息之后还需要高精度地图和定位进行决策，且无法实现绝对的时空精准；
传统无人驾驶控制，通过VCU对车辆进行操控，对于车辆的控制，有四个缺点，一是控制的精度不高，二是响应速度慢，三是控制策略冗长，四是车况无法反馈。传统无人驾驶的感知技术方式，一般都提供传感器例如雷达、摄像头传感器，将信息传到无人驾驶的算法决策单元，在特有的高性能处理单元当中，告诉车辆此时此刻应该干什么；
然后，把决策结果告诉无人驾驶开发平台上的控制模块，由控制模块负责车辆整车所有零部件的实时调度和反馈，结合高精度地图的车道级定位和实时路况更新，在未知场景到来前做出决策判断，避免事故发生，同时，高精度地图地位也可以和视觉互相校验，达到更高的安全性。
目前的无人驾驶控制方法基于架设于车辆上的多个传感器，导致无人驾驶控制方法的成本过高，且由于多个传感器同时获取数据导致数据计算量大，导致车辆行驶过程中安全性也存在影响。
发明内容
有鉴于此，本发明的目的在于提出一种无人驾驶控制方法、装置、设备及介质，能够实现降低无人驾驶车辆的无人驾驶成本。
第一方面，本发明提供的一种无人驾驶控制方法，包括：
获取行驶车辆预设俯视角度范围内的图像，并将所述图像转换为平面投影图；
将所述平面投影图作为预定神经网络模型的输入参数，获得与所述平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；
根据所述可行驶区域，确定用于所述车辆行驶的规划路线；根据定位点和所述规划路线，对所述车辆的左右轮的速度进行调整，控制车辆无人驾驶。
可选地，所述获取行驶车辆预设俯视角度范围内的图像，并将所述图像转换为平面投影图，包括：
基于摄像装置获取预设俯视角度范围内图像；
对所述预设俯视角度范围内图像基于畸变矫正矩阵进行转换，获取所述平面投影图；所述畸变矫正矩阵是通过所述摄像装置的关联参数值获取的。
可选地，所述预定神经网络模型通过如下方法训练，包括：
基于所述摄像装置获取若干张平面投影图，和，与所述平面投影图关联的分类信息图；
将所述分类信息图输入神经网络模型进行训练；
若所述神经网络模型输出满足预设条件，则所述神经网络模型训练完成。
可选地，所述根据所述可行驶区域，确定用于所述车辆行驶的规划路线，包括：
根据所述可行驶区域，在所述分类信息图上，计算所需的定位点；
依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作。
可选地，所述根据所述可行驶区域，在所述分类信息图上，计算所需的定位点，包括：
根据所述分类信息图中的可行驶区域，测量所述车辆的偏航角和当前坐标；
测量所述车辆在所述可行驶区域的终点坐标；
根据所述偏航角、所述当前坐标和所述终点坐标，在所述分类信息图上生成行驶路线；所述行驶路线包括行驶方向，所述行驶方向用于确定车头方向。
可选地，所述依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作，包括：根据所述分类信息图上生成的行驶路线，控制车辆停止或绕行。
第二方面，本发明提供的一种无人驾驶控制装置，包括：
图像获取模块，用于获取设置于行驶车辆上方的摄像装置所拍摄的预设俯视角度范围内的图像，并将所述图像转换为平面投影图；
图像处理模块，用于将所述平面投影图作为预定神经网络模型的输入参数，获得与所述平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；
规划模块，用于根据所述可行驶区域，确定用于所述车辆行驶的规划路线；根据定位点和所述规划路线，对所述车辆的左右轮的速度进行调整，控制车辆无人驾驶。
可选地，所述图像获取模块，具体用于：
基于摄像装置获取预设俯视角度范围内图像；
对所述预设俯视角度范围内图像基于畸变矫正矩阵进行转换，获取所述平面投影图；所述畸变矫正矩阵是通过所述摄像装置的关联参数值获取的。
可选地，所述图像处理模块中所述预定神经网络模型通过如下方法训练，包括：
基于所述摄像装置获取若干张平面投影图，和，与所述平面投影图关联的分类信息图；
将所述分类信息图输入神经网络模型进行训练；
若所述神经网络模型输出满足预设条件，则所述神经网络模型训练完成。
可选地，所述规划模块，具体用于：
根据所述可行驶区域，在所述分类信息图上，计算所需的定位点；
依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作。
可选地，所述规划模块，具体还用于：
根据所述分类信息图中的可行驶区域，测量所述车辆的偏航角和当前坐标；
测量所述车辆在所述可行驶区域的终点坐标；
根据所述偏航角、所述当前坐标和所述终点坐标，在所述分类信息图上生成行驶路线；所述行驶路线包括行驶方向，所述行驶方向用于确定车头方向。可选地，所述规划模块，具体还用于：根据所述分类信息图上生成的行驶路线，控制车辆停止或绕行。
第三方面，本发明一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
采用上述技术方案，本申请具有如下有益效果：
1)采用上述技术方案，通过在车辆的车身架上预设俯视角度的鱼眼镜头，创建对应该鱼眼镜头的获取图像的畸变矫正矩阵，通过该畸变矫正矩阵，将该鱼眼镜头获取到的图像转换成平面投影图，提高了转换为平面投影图的准确率，从而也可以缩短计算时间。
2)采用上述技术方案，可以根据该计算获取的所需定位点，和关联可行驶区域的规划路线中的该车辆所在的下中心点，计算出定位点和该下中心点之间的夹角，将夹角与该偏航角做差得到要调节的方向，和根据得到的要调节的路线误差，通过比例、微分、积分项的参数调节，对车辆的左右轮的速度进行调整，能够实现无需高精度地图就能够对无人驾驶车辆的控制，从而降低无人驾驶车辆的无人驾驶成本。
3)采用上述技术方案，可以根据调整后的车辆的方向，配置当前轨迹路线，将轨迹路线与关联可行驶区域的规划路线进行比较，在比较出有偏差时，提示无人驾驶车辆微调行驶在关联可行驶区域的规划路线中，提高了无人驾驶车辆在无人驾驶的过程中的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例提供的无人驾驶控制方法的流程示意图；
图2示出了本发明一实施例提供的无人驾驶控制方法的流程示意图；
图3示出了本发明一实施例提供的无人驾驶控制装置的结构示意图；
图4示出了本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种无人驾驶控制方法，应对于现有无人驾驶控制方法通过设置大量传感器来获取驾驶状态的能够实现降低无人驾驶车辆的无人驾驶成本。
请参见图1，图1是本发明无人驾驶控制方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
S101、获取设置于行驶车辆上方的摄像装置所拍摄的预设俯视角度范围内的图像，并将图像转换为平面投影图。
在一个可能的实施方式中，车辆的车身上方架上的高于车身的其中一个横梁上设置有一个预设俯视角度的鱼眼镜头，将该鱼眼镜头获取到的图像转换成平面投影图，鱼眼镜头是一种极端的广角镜头，可以获取到最大范围的摄影视角，通过设置鱼眼镜头对比于通过设置有大量传感器可有效降低成本同时提高视野同步性。
在本实施例中，在设计车辆的车身时，可以在车辆车身顶部约预设距离例如20cm(厘米)处架设一个悬梁，可以在悬梁的预设位置处例如左侧，我们放置了一个俯视朝下的鱼眼镜头，这样鱼眼镜头就能够观察到一个全景的视野范围。在本实施例中，最后转换得到的平面投影图的像素为预设值100*100，预设像素值不为对本申请的具体限制。
S102、将平面投影图作为预定神经网络模型的输入参数，获得与平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息。
具体地，为规划驾驶时的路线，首先需要获取驾驶图像，从而根据图像规划驾驶路线。本步骤中，通过将平面投影图输入至预定神经网络模型中，获取与平面投影图关联的分类信息图，通过分类信息图的分类信息，从而在做到指引车辆行驶的同时，实现最小的数据处理量，有效提高了计算效率，满足无人驾驶对数据更新频率的要求。
S103、根据可行驶区域，确定用于车辆行驶的规划路线；根据定位点和规划路线，对车辆的左右轮的速度进行调整，控制车辆无人驾驶。
可选地，步骤S101中，具体包括如下步骤：
基于摄像装置获取预设俯视角度范围内图像；
对预设俯视角度范围内图像基于畸变矫正矩阵进行转换，获取平面投影图；畸变矫正矩阵是通过摄像装置的关联参数值获取的。
通过畸变矫正矩阵可配合广角镜头尤其是鱼眼镜头，在扩大拍摄范围的同时，实现图像的矫正。本实施例中一个可能的实施方式在步骤S101中体现为使用广角镜头中的鱼眼镜头来获取图像，具体使用鱼眼镜头在图像获取方面的有益效果在上述步骤S101中已说明，在本步骤中不再赘述。然而为了尽可能大的视野范围，相较于标准镜头，获取到的图像往往存在一定的变形。为了解决上述问题，可通过设定畸变矫正矩阵来进行转换，从而将图片转换为与人眼相适应的标准平面图像，使图像更符合人眼的观察习惯。对于本实施例中的步骤S101最后获得的平面投影图分辨率为100*100。
在本实施例中，畸变矫正矩阵可以涉及至少两种图像关联参数，其中的至少两种图像关联参数可以包括鱼眼镜头的像素直径参数、相机视场角参数、相机焦距参数、车前距参数、车高参数等，通过图像关联参数可以获取预设角度范围需求参数，预设角度范围需求参数包括摄像装置的镜头内角度α、镜头内距离β以及光心的准确坐标。通过生成的畸变矫正矩阵，最终可以获得高分辨率二维图像。需要说明的是，上述列举出的图像关联参数不为全部的涉及参数，具体涉及参数根据具体场景设置而进行针对性调整。
在一个可能的实施方式中，将瑞芯微的rk3399pro(瑞芯微推出的一款低功耗、高性能的应用处理器芯片)作为上位机，可以将STM32作下位机，可以在rk3399pro的基础上加入了神经网络计算单元(NPU，Neural Network Processing Unit)，这样可以为训练语义分割网络(Unet)提供强大的算力支持等，本发明不加以限定。
可选地，预定神经网络模型通过如下方法训练，包括：
基于摄像装置获取若干张平面投影图，和，与平面投影图关联的分类信息图；
将分类信息图输入神经网络模型进行训练；
若神经网络模型输出满足预设条件，则神经网络模型训练完成。
具体地，通过将分类信息图内的元素输入神经网络模型对Unet神经网络模型进行训练，并当神经网络模型满足一定预设条件后，则神经网络模型训练完成。针对于本申请中无人驾驶控制方法，本申请中的预设条件可通过设置迭代次数，或是误差阈值来限制训练完成条件。
通过上述的神经网络模型，为无人驾驶的控制提供了基础的框架。为了获取后续的规划路线提供了基础数据，有效提高了本申请无人驾驶控制方法的效率，同时提高了依据本申请的无人驾驶控制方法的安全性。
可选地，参见图2，步骤S103包括：
S1031、根据可行驶区域，在分类信息图上，计算所需的定位点；
S1032、依据定位点，对车辆在可行驶区域上的障碍物进行处理，确定用于车辆行驶的调整操作。
具体地，在步骤S103中，本申请涉及的无人驾驶控制方法主要是通过获取分类信息图的分割图的边缘来计算所需的定位点，由确定得到的定位点，获取车辆行驶的规划路线，控制车辆实现自动驾驶。相较于通过设置多个传感器来获取车辆行驶状态的方法来控制车辆的无人驾驶情况，本实施例中的具体方法可有效降低车辆控制时的数据计算量，促使提高控制方法的计算效率，提高了本实施例的无人驾驶控制方法的安全性。
可选地，步骤S1031，包括：
根据分类信息图中的可行驶区域，测量车辆的偏航角和当前坐标；
测量车辆在可行驶区域的终点坐标；
根据偏航角、当前坐标和终点坐标，在分类信息图上生成行驶路线；行驶路线包括行驶方向，行驶方向用于确定车头方向。
具体地，根据分类信息图中的可行驶区域，测量该车辆在当前位置的偏航角yaw和经纬度即当前坐标，和测量该车辆在该可行驶区域终点的经纬度即终点坐标，根据偏航角yaw、当前坐标和终点坐标，在关联分类信息图的分割图的边缘上计算获取所需的规划路线。规划路线包括行驶方向，行驶方向确定车辆的车头方向。
可选地，步骤S1032，包括：根据分类信息图上生成的行驶路线，控制车辆停止或绕行。
具体地，根据二值图中的可行驶区域，通过测量车辆在可行驶区域终点的经纬度即终点坐标，和通过GPS或北斗系统测量该车辆在当前位置的经纬度即当前坐标，和通过该当前坐标和该终点坐标计算出一个夹角Angle，通过该车辆的控制端，测量该车辆在当前位置的偏航角yaw，通过夹角Angle和偏航角yaw的角度差，在关联二值图的分割图的边缘上计算获取所需的定位点即B点，从而实现无需传感器就能够在关联该二值图的分割图的边缘上计算获取所需的定位点，降低无人驾驶车辆的无人驾驶成本。
在本实施例中，可以在关联可行驶区域的规划路线中取第九个像素点作为目标点，称作五米点，即五米点为定位点沿可行驶区域的规划路线中沿定位点的第九个像素点；因为车辆的程序执行一次是预设时间例如0.1s(秒)，所以对于本身行驶的规划路线是实时更新的，五米点可以很好的作为最后对该车辆控制驾驶的依据等，本申请不加以限定。
根据无人驾驶行驶过程中的左右轮速度，配置对应于左右轮速度的当前轨迹路线，将该轨迹路线与关联该可行驶区域的规划路线进行比较，在比较出有偏差时，提示该车辆微调行驶在关联该可行驶区域的规划路线中，从而提高无人驾驶车辆在无人驾驶的过程中的安全性。
在一种可能的实施方式中，可以根据二值图中的可行驶区域，通过GPS或是北斗系统测量该车辆在该可行驶区域终点的经纬度即终点坐标，和通过GPS或是北斗系统测量无人驾驶车辆在当前位置的经纬度即当前坐标，和通过该当前坐标和该终点坐标计算出一个夹角，通过车辆的惯性测量单元，测量该车辆在当前位置的偏航角，通过夹角和偏航角的角度差，在关联该二值图的分割图的边缘上计算获取所需的定位点，实现无需传感器就能够在关联该二值图的分割图的边缘上计算获取所需的定位点，能够实现降低无人驾驶车辆的无人驾驶成本。
进一步地，可以根据步骤S1031计算获取的所需定位点B点，和根据靠右行驶在关联该可行驶区域的规划路线中的该车辆所在的下中心点C点，计算出当前坐标处与定位点B点和下中心点C点之间的夹角，之后获取夹角与偏航角的差值得到要调节的路线误差。在步骤S101确定的平面投影图中，本实施例中二值图的像素为100＊100，则下中心点C点在二值图中的坐标为(100，50)。根据得到的要调节的路线误差，通过对该车辆的左右轮的速度进行调整，实现无需高精度地图就能够对该车辆的左右轮的速度进行调整，从而实现无人驾驶，因此实现降低无人驾驶车辆的无人驾驶成本。
在一个实施例中，提供了一种无人驾驶控制装置30，参见图3，包括：
图像获取模块301，用于获取设置于行驶车辆上方的摄像装置所拍摄的预设俯视角度范围内的图像，并将所述图像转换为平面投影图；
图像处理模块302，用于将所述平面投影图作为预定神经网络模型的输入参数，获得与所述平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；
规划模块303，用于根据所述可行驶区域，确定用于所述车辆行驶的规划路线；根据定位点和所述规划路线，对所述车辆的左右轮的速度进行调整，控制车辆无人驾驶。
可选地，所述图像获取模块301，具体用于：
基于所述摄像装置获取预设俯视角度范围内图像；
对所述预设俯视角度范围内图像基于畸变矫正矩阵进行转换，获取所述平面投影图；所述畸变矫正矩阵是通过所述摄像装置的关联参数值获取的。
可选地，所述图像处理模块302中所述预定神经网络模型通过如下方法训练，包括：
基于所述摄像装置获取若干张平面投影图，和，与所述平面投影图关联的分类信息图；
将所述分类信息图输入神经网络模型进行训练；
若所述神经网络模型输出满足预设条件，则所述神经网络模型训练完成。
可选地，所述规划模块303，具体用于：
根据所述可行驶区域，在所述分类信息图上，计算所需的定位点；
依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作。
可选地，所述规划模块303，具体还用于：
根据所述分类信息图中的可行驶区域，测量所述车辆的偏航角和当前坐标；
测量所述车辆在所述可行驶区域的终点坐标；
根据所述偏航角、所述当前坐标和所述终点坐标，在所述分类信息图上生成行驶路线；所述行驶路线包括行驶方向，所述行驶方向用于确定车头方向。可选地，所述规划模块，具体还用于：根据所述分类信息图上生成的行驶路线，控制车辆停止或绕行。
本申请实施例提供的无人驾驶控制装置30与上述无人驾驶控制方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述无人驾驶控制方法相同的发明构思，本申请实施例还提供了一种电子设备40，如图4所示，该电子设备40可以包括处理器401和存储器402。
处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.一种无人驾驶控制方法，其特征在于，包括：
获取行驶车辆预设俯视角度范围内的图像，并将所述图像转换为平面投影图；
将所述平面投影图作为预定神经网络模型的输入参数，获得与所述平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；
根据所述可行驶区域，确定用于所述车辆行驶的规划路线；根据定位点和所述规划路线，对所述车辆的左右轮的速度进行调整，控制车辆无人驾驶。
2.根据权利要求1所述的无人驾驶控制方法，其特征在于，所述获取行驶车辆预设俯视角度范围内的图像，并将所述图像转换为平面投影图，包括：
基于摄像装置获取预设俯视角度范围内图像；
对所述预设俯视角度范围内图像基于畸变矫正矩阵进行转换，获取所述平面投影图；所述畸变矫正矩阵是通过所述摄像装置的关联参数值获取的。
3.根据权利要求2所述的无人驾驶控制方法，所述预定神经网络模型通过如下方法训练，包括：
基于所述摄像装置获取若干张平面投影图，和，与所述平面投影图关联的分类信息图；
将所述分类信息图内元素输入神经网络模型进行训练；
若所述神经网络模型输出满足预设条件，则所述神经网络模型训练完成。
4.根据权利要求1所述的无人驾驶控制方法，其特征在于，所述根据所述可行驶区域，确定用于所述车辆行驶的规划路线包括：
根据所述可行驶区域，在所述分类信息图上，计算所需的定位点；
依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作。
5.根据权利要求4所述的无人驾驶控制方法，其特征在于，所述根据所述可行驶区域，在所述分类信息图上，计算所需的定位点，包括：
根据所述分类信息图中的可行驶区域，测量所述车辆的偏航角和当前坐标；
测量所述车辆在所述可行驶区域的终点坐标；
根据所述偏航角、所述当前坐标和所述终点坐标，在所述分类信息图上生成行驶路线；所述行驶路线包括行驶方向，所述行驶方向用于确定车头方向。
6.根据权利要求5所述的无人驾驶控制方法，其特征在于，依据所述定位点，对所述车辆在所述可行驶区域上的障碍物进行处理，确定用于所述车辆行驶的调整操作，包括：根据所述分类信息图上生成的行驶路线，控制车辆停止或绕行。
7.一种无人驾驶装置，其特征在于，包括：
图像获取模块，用于获取设置于行驶车辆上方的摄像装置所拍摄的预设俯视角度范围内的图像，并将所述图像转换为平面投影图；
图像处理模块，用于将所述平面投影图作为预定神经网络模型的输入参数，获得与所述平面投影图关联的分类信息图；其中，分类信息图包括多种像素点，像素点的不同种类用于表示可行驶区域，不可行驶区域和人，车，车道线和其他信息分类信息图；
规划模块，用于根据所述可行驶区域，确定用于所述车辆行驶的规划路线；根据定位点和所述规划路线，对所述车辆的左右轮的速度进行调整，控制车辆无人驾驶。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139677.XA CN113665591B (zh) | 2021-09-28 | 2021-09-28 | 无人驾驶控制方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139677.XA CN113665591B (zh) | 2021-09-28 | 2021-09-28 | 无人驾驶控制方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113665591A true CN113665591A (zh) | 2021-11-19 |
| CN113665591B CN113665591B (zh) | 2023-07-11 |
Family
ID=78550382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111139677.XA Active CN113665591B (zh) | 2021-09-28 | 2021-09-28 | 无人驾驶控制方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113665591B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114386721A (zh) * | 2022-03-23 | 2022-04-22 | 蔚来汽车科技(安徽)有限公司 | 用于换电站的路径规划方法、系统、介质和换电站 |
| CN114821346A (zh) * | 2022-06-28 | 2022-07-29 | 深圳安德空间技术有限公司 | 一种基于嵌入式平台的雷达图像智能识别方法和系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679127A (zh) * | 2012-09-24 | 2014-03-26 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
| CN106228134A (zh) * | 2016-07-21 | 2016-12-14 | 北京奇虎科技有限公司 | 基于路面图像的可行驶区域检测方法、装置及系统 |
| US20170025004A1 (en) * | 2015-07-24 | 2017-01-26 | Robert Bosch Gmbh | Method and device for determining a pickup position from multiple pickup positions for a vehicle incorporated by a parking facility |
| CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN107856667A (zh) * | 2017-11-08 | 2018-03-30 | 科大讯飞股份有限公司 | 辅助泊车系统和方法 |
| CN110967032A (zh) * | 2019-12-03 | 2020-04-07 | 清华大学 | 一种野外环境下无人车局部行驶路线实时规划方法 |
| CN111209779A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 可行驶区域检测及智能驾驶控制方法、装置和系统 |
| US20200172110A1 (en) * | 2017-08-18 | 2020-06-04 | Sony Corporation | Vehicle traveling control device, vehicle traveling control method, and program |
| CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
| CN112101128A (zh) * | 2020-08-21 | 2020-12-18 | 东南大学 | 一种基于多传感器信息融合的无人方程式赛车感知规划方法 |
| CN112212872A (zh) * | 2020-10-19 | 2021-01-12 | 合肥工业大学 | 基于激光雷达和导航地图的端到端自动驾驶方法及系统 |
| US20210026355A1 (en) * | 2019-07-25 | 2021-01-28 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
| US20210116914A1 (en) * | 2019-10-16 | 2021-04-22 | Yuan Ren | Method and system for localization of an autonomous vehicle in real time |
| KR20210048450A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 라이드플럭스 | 차량 주행 경로 지도 생성 방법, 장치 및 컴퓨터프로그램 |
| US20210201569A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Map Feature Extraction Using Overhead View Images |
| DE102020105070A1 (de) * | 2020-02-26 | 2021-08-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erkennen eines befahrbaren Bereichs in einer Umgebung eines Fahrzeugs mithilfe eines binären künstlichen neuronalen Netzes, Recheneinrichtung sowie Fahrerassistenzsystem |
-
2021
- 2021-09-28 CN CN202111139677.XA patent/CN113665591B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679127A (zh) * | 2012-09-24 | 2014-03-26 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
| US20170025004A1 (en) * | 2015-07-24 | 2017-01-26 | Robert Bosch Gmbh | Method and device for determining a pickup position from multiple pickup positions for a vehicle incorporated by a parking facility |
| CN106228134A (zh) * | 2016-07-21 | 2016-12-14 | 北京奇虎科技有限公司 | 基于路面图像的可行驶区域检测方法、装置及系统 |
| CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| US20200172110A1 (en) * | 2017-08-18 | 2020-06-04 | Sony Corporation | Vehicle traveling control device, vehicle traveling control method, and program |
| CN107856667A (zh) * | 2017-11-08 | 2018-03-30 | 科大讯飞股份有限公司 | 辅助泊车系统和方法 |
| CN111209779A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 可行驶区域检测及智能驾驶控制方法、装置和系统 |
| US20210026355A1 (en) * | 2019-07-25 | 2021-01-28 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
| US20210116914A1 (en) * | 2019-10-16 | 2021-04-22 | Yuan Ren | Method and system for localization of an autonomous vehicle in real time |
| KR20210048450A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 라이드플럭스 | 차량 주행 경로 지도 생성 방법, 장치 및 컴퓨터프로그램 |
| CN110967032A (zh) * | 2019-12-03 | 2020-04-07 | 清华大学 | 一种野外环境下无人车局部行驶路线实时规划方法 |
| US20210201569A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Map Feature Extraction Using Overhead View Images |
| CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
| DE102020105070A1 (de) * | 2020-02-26 | 2021-08-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erkennen eines befahrbaren Bereichs in einer Umgebung eines Fahrzeugs mithilfe eines binären künstlichen neuronalen Netzes, Recheneinrichtung sowie Fahrerassistenzsystem |
| CN112101128A (zh) * | 2020-08-21 | 2020-12-18 | 东南大学 | 一种基于多传感器信息融合的无人方程式赛车感知规划方法 |
| CN112212872A (zh) * | 2020-10-19 | 2021-01-12 | 合肥工业大学 | 基于激光雷达和导航地图的端到端自动驾驶方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114386721A (zh) * | 2022-03-23 | 2022-04-22 | 蔚来汽车科技(安徽)有限公司 | 用于换电站的路径规划方法、系统、介质和换电站 |
| CN114386721B (zh) * | 2022-03-23 | 2023-06-20 | 蔚来汽车科技(安徽)有限公司 | 用于换电站的路径规划方法、系统、介质和换电站 |
| CN114821346A (zh) * | 2022-06-28 | 2022-07-29 | 深圳安德空间技术有限公司 | 一种基于嵌入式平台的雷达图像智能识别方法和系统 |
| CN114821346B (zh) * | 2022-06-28 | 2022-09-02 | 深圳安德空间技术有限公司 | 一种基于嵌入式平台的雷达图像智能识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113665591B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11715232B2 (en) | Method and device to determine the camera position and angle | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
| CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| WO2020185489A1 (en) | Sensor validation using semantic segmentation information | |
| EP4033324B1 (en) | Obstacle information sensing method and device for mobile robot | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN113665591B (zh) | 无人驾驶控制方法、装置、设备及介质 | |
| KR102338763B1 (ko) | V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 | |
| CN111510704B (zh) | 校正摄像头错排的方法及利用其的装置 | |
| CN110766761B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN110751693B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| US20230063939A1 (en) | Electro-hydraulic varifocal lens-based method for tracking three-dimensional trajectory of object by using mobile robot | |
| US20230206500A1 (en) | Method and apparatus for calibrating extrinsic parameter of a camera | |
| CN115436917A (zh) | Lidar视轴对准误差和主车辆定位误差的协同估计和校正 | |
| CN114694111A (zh) | 车辆定位 | |
| CN116486290B (zh) | 一种无人机监测追踪方法、装置、电子设备及存储介质 | |
| JP2021081272A (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
| CN115456898A (zh) | 停车场的建图方法、装置、车辆及存储介质 | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| Subramanyam | Chartopolis-A Self Driving Car Test Bed | |
| CN112308905B (zh) | 一种平面标志物的坐标确定方法及装置 | |
| CN114353780B (zh) | 姿态优化方法及设备 | |
| EP3846128A1 (en) | Estimation of road marking position in an ego vehicle environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |