CN115223148A - 一种车辆的自动控制方法、装置、车辆、设备及存储介质 - Google Patents

一种车辆的自动控制方法、装置、车辆、设备及存储介质 Download PDF

Info

Publication number
CN115223148A
CN115223148A CN202211140394.1A CN202211140394A CN115223148A CN 115223148 A CN115223148 A CN 115223148A CN 202211140394 A CN202211140394 A CN 202211140394A CN 115223148 A CN115223148 A CN 115223148A
Authority
CN
China
Prior art keywords
vehicle
image
information
intersection
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211140394.1A
Other languages
English (en)
Other versions
CN115223148B (zh
Inventor
顾维灏
艾锐
王岳
曹东璞
王聪
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haomo Zhixing Technology Co Ltd
Original Assignee
Haomo Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haomo Zhixing Technology Co Ltd filed Critical Haomo Zhixing Technology Co Ltd
Priority to CN202211140394.1A priority Critical patent/CN115223148B/zh
Publication of CN115223148A publication Critical patent/CN115223148A/zh
Application granted granted Critical
Publication of CN115223148B publication Critical patent/CN115223148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18109—Braking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种车辆的自动控制方法、装置、车辆、设备及存储介质，所述方法包括：获取车辆针对待通行路口所采集的目标颜色图像以及感知信息；基于感知信息，构建鸟瞰图像；将鸟瞰图像和目标颜色图像输入预训练的目标模型，获取目标模型输出的通行类别；其中，目标模型是以图像样本组为训练样本对预设模型进行训练得到的，图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；基于通行类别，控制车辆在路口停止，或通过路口；本发明通过真实的驾驶数据构建目标模型判断车辆在路口是通行还是停止，提高车辆行为判断的安全性。

Description

一种车辆的自动控制方法、装置、车辆、设备及存储介质
技术领域
本发明涉及车辆技术领域，特别是涉及一种车辆的自动控制方法、装置、车辆、设备及存储介质。
背景技术
在自动驾驶中，路口的车辆控制通常基于红绿灯状态进行，相关技术中，采用基于规则的判断以确定车辆是否要通过路口，其中，基于规则的判断中，需要首先确定出红绿灯的状态，然后再基于红绿灯的状态和车道信息之间的映射关系，确定出车道对应的红绿灯的状态，在确定出此状态后，再根据障碍物信息判断是否通行。
上述过程在红绿灯种类较多、车道较多，不同城市车道和红绿灯对应不同的情况下，规则判断的逻辑非常复杂，判断过程较长，且极易出现错误的判断。
发明内容
有鉴于此，本发明旨在提出一种车辆的自动控制方法、装置、车辆、设备及存储介质，以解决现有技术通过规则判断车辆是否通行的逻辑非常复杂导致判断过程较长且容易出现错误判断的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种车辆的自动控制方法，包括：
获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对所述车辆当前所处环境和/或行驶工况所采集的信息；
基于所述感知信息，构建鸟瞰图像；
将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；
基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
进一步地，所述获取车辆针对待通行路口所采集的目标颜色图像，包括：
将所述车辆采集到的多张颜色图像输入到二分类模型中；
基于所述二分类模型输出的每张颜色图像对应的分类结果，筛选出多张所述目标颜色图像，所述分类结果表征所述颜色图像是否包括红绿灯图像；
其中，所述二分类模型是以包括红绿灯图像信息的颜色图像和未包括红绿灯图像信息的颜色图像作为训练样本训练得到的。
进一步地，所述感知信息至少包括车辆描述信息、障碍物信息以及车道信息，其中，所述车辆描述信息包括所述车辆所在的位置、所述车辆的尺寸参数中的至少一者，所述基于所述感知信息，构建鸟瞰图像，包括：
基于所述车辆描述信息、所述障碍物信息以及所述车道信息，按照预设的坐标转换关系，将所述车辆所在的位置、所述车辆的尺寸参数、所述车辆当前所处环境的车道以及障碍物映射到三维坐标系中，得到各自对应的映射坐标；
根据各个所述映射坐标，绘制所述鸟瞰图像。
进一步地，所述目标模型通过以下步骤训练得到：
将所述样本图像组中的所述目标颜色图像样本和所述鸟瞰图像样本输入所述预设模型中，得到所述预设模型输出的预测通行类别；
基于所述预测通行类别和所述图像样本组对应的通行类别标签，确定所述预设模型对应的损失值；其中，所述通行类别标签表征所述车辆是否真实通过路口；
基于所述损失值，对所述预设模型进行更新；
将多次更新后的预设模型作为所述目标模型。
进一步地，所述目标模型包括：融合模块以及分类模块；
其中，所述融合模块用于对所述目标颜色图像和所述鸟瞰图像进行融合，得到融合图像；
所述分类模块用于根据输入至所述分类模块的所述融合图像，确定所述通行类别。
进一步地，所述对所述目标颜色图像和所述鸟瞰图像进行融合的步骤包括：
对所述目标颜色图像进行多次特征提取，得到多个不同尺度的颜色图像特征图；以及，对所述鸟瞰图像进行多次特征提取，得到多个不同尺度的鸟瞰图像特征图；
以所述鸟瞰图像特征图作为所述颜色图像特征图辅助，将相同尺度的所述鸟瞰图像特征图和所述颜色图像特征图进行融合，得到每种尺度对应的融合特征图；
再将不同尺度对应的融合特征图进行融合，得到所述融合图像。
相对于现有技术，本发明所述的车辆的自动控制方法具有以下优势：
本发明通过获取车辆针对待通行路口所采集的目标颜色图像以及感测信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对车辆当前所处环境和/或行驶工况所采集的信息；基于所述感知信息，构建鸟瞰图像；将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
本发明通过采用车辆通过真实路口的采集的图像组作为训练样本，训练目标模型对车辆是否通过路口进行判断，进而通过采集的目标颜色图像和绘制的鸟瞰图像确认车辆所处的具体场景，根据具体的场景确定车辆所处的场景的通行分类，正是由于目标模型通过真实驾驶环境数据得到，得到的通行分类更加可靠，使模型学习了真实情况下，人对车辆是否通过路口的判断。进而对车辆是否通过路口的判断准确度得到提高。
此外，基于鸟瞰图像能够预测被障碍物遮挡的信息，也避免了周围环境对感知信息影响，进而造成误判的情况发生。
本发明的另一目的在于提出一种车辆的自动控制装置，以解决现有技术通过映射规则判断车辆通行的逻辑非常复杂导致判断过程较长且容易出现错误判断的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种车辆的自动控制装置，包括：
第一获取模块，用于获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对所述车辆当前所处环境和/或行驶工况所采集的信息；
构建模块，用于基于所述感知信息，构建鸟瞰图像；
第二获取模块，用于将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；
控制模块，用于基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
所述车辆的自动控制装置与上述车辆的自动控制方法相对于现有技术所具有的的优势相同，在此不做赘述。
本发明的另一目的在于提出一种车辆，以解决现有技术通过映射规则判断车辆是否通行的逻辑非常复杂导致判断过程较长且容易出现错误判断的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种车辆，包括：控制单元，所述控制单元用于执行上述车辆的自动控制方法。
所述车辆与上述车辆的自动控制方法相对于现有技术所具有的优势相同，在此不做赘述。
本发明的另一目的在于提出一种电子设备，以解决现有技术通过映射规则判断车辆是否通行的逻辑非常复杂导致判断过程较长且容易出现错误判断的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现上述车辆的自动控制方法中的步骤。
所述电子设备与上述车辆的自动控制方法相对于现有技术所具有的优势相同，在此不做赘述。
本发明的另一目的在于提出一种计算机存储介质，以解决现有技术通过映射规则判断车辆是否通行的逻辑非常复杂导致判断过程较长且容易出现错误判断的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储执行上述车辆的自动控制方法的计算机程序。
所述计算机存储介质与上述车辆的自动控制方法相对于现有技术所具有的优势相同，在此不做赘述。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例一提供的一种车辆的自动控制方法的步骤流程图；
图2示出了本发明又一实施例提供的一种车辆的自动控制方法的步骤流程图；
图3示出了本发明又一实施例的模型训练过程的流程示意图；
图4示出了本发明实施例二提供的一种车辆的自动控制装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明的一种车辆的自动控制方法、装置、车辆、设备及存储介质。
实施例一
参照图1，图1示出了本发明实施例提供的一种车辆的自动控制方法的步骤流程图，如图1所示，包括：
S101，获取车辆针对待通行路口所采集的目标颜色图像以及感知信息。
其中，目标颜色图像为包括红绿灯的图像，由于在判断是否能够通行路口时，需要根据交通信号灯的指示，因此，需要采集当前路口的红绿灯图像，以判断是否能够通行。感知信息是对车辆当前所处的环境和/或行驶工况所采集的信息，至少包括：车辆当前速度、所处车道、周围障碍物信息以及车道信息等，示例地，包括感知信息可以是对车辆的车道信息、周围障碍物信息，也可以是车辆当前的车速，当前行驶状态，如加速还是减速等，还可以是既包括车辆所在车道信息，周围障碍物距离车辆的距离以及车辆自身的速度等。根据这些信息，可以确定车辆的周围环境，同样能够用于判断车辆是否通过路口。
在本发明实施例中，颜色图像可通过车辆前方的摄像头拍摄后处理得到，而由于红绿灯信息可能被前方障碍物遮挡或部分遮挡，可拍摄多张图像，从中筛选出包括红绿灯的图像；感知信息可以是根据多种传感器感知的信息，如通过车速传感器感知车辆的当前车速、通过距离传感器获取车辆与障碍物的距离，通过位置传感器获取车辆当前所处的车道等。
S102，基于所述感知信息，构建鸟瞰图像。
在真实的驾驶环境中，红绿灯反映了该路口能否通过，但并不表示绿灯时车辆就一定能通过路口，还需要结合周围环境确认是否满足通过路口的条件，如前方是否存在障碍物，车速是否满足条件等，因此，还需要感知周围的环境信息，来判断是否能够通过路口。
而由于单纯通过感知得到的感知信息，容易受到障碍物、周围车辆等的影响，且采集的图像容易受到遮挡，导致采集的信息不全，因此，基于感知信息构建鸟瞰图像，根据鸟瞰图像来更好地描绘周围环境。这是由于鸟瞰图像能够根据采集的信息预测被遮挡的部分信息，进而完整地描绘出周围环境。
本发明实施例中，上述步骤S101和步骤S102可以同时进行，也可以先后进行，本发明不做具体限制。
S103，将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别。
其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本。通过车辆通过真实路口采集的图像样本对预设模型进行了训练，也就是让模型学习了车辆在何种场景下会通过路口，而在何种场景会在路口停止，进而使模型能够根据获取到的场景信息预测车辆是在路口停止还是通行。
在得到鸟瞰图像和目标颜色图像后，可将两种图像直接输入预训练的目标模型中，通过预训练的目标模型确定车辆的通行类别。其中，通行类别表示车辆通过路口或是车辆在路口停止。
S104，基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
在确定了通行类别后，即可以根据通行类别，控制车辆在路口的行为，本发明实施例中，可以将通行类别可以采用通行标识进行表示，示例地，通过通行ID表示，如1表示车辆通过路口，0表示车辆在路口停止，则在接收到通行类别为1时，控制车辆通过路口，而在接收到通行指令为0时，控制车辆在路口停止。
本发明实施例通过将获取的目标颜色图像和基于车辆当前所处环境和/或行驶工况的感知信息构建的鸟瞰图像输入至预训练的目标模型中，获取车辆的通行类别，根据该通行类别控制车辆在路口是通行还是停止；本发明实施例通过将带有红绿灯信息的颜色图像和对周围信息感知得到的鸟瞰图像，帮助模型理解车辆所处的环境，进而直接根据模型确定通行类别，根据通行类别控制车辆是否通过路口，由于目标模型采用真实驾驶数据进行学习，使得对车辆行为控制的准确度更高，避免了现有技术中采用映射规则来判断车辆是否通过路口，准确度不高的问题。
同时，对于车辆是否通行路口的判断是基于鸟瞰图像和目标颜色图像进行的，由于鸟瞰图像能够预测很好地预测被障碍物遮挡的部分信息，也避免了采用多种传感器进行感知造成的复合错误。
参照图2，图2示出了本发明又一实施例提供的一种车辆的自动控制方法的步骤流程图，如图2所示，包括：
S201，将所述车辆采集到的多张颜色图像输入到二分类模型中；基于所述二分类模型输出的每张颜色图像对应的分类结果，筛选出多张所述目标颜色图像，所述分类结果表征所述颜色图像是否包括红绿灯图像。
由于采集的图像信息中的红绿灯可能被障碍物遮挡或是存在并没有包括红绿灯的图像信息，即部分采集的图像信息中并不包含红绿灯信息，进而也就不能帮助目标模型对车辆是否能够通过路口进行判断，因此需要筛选出包含红绿灯的图像信息。
本发明实施例中，将采集的多张图像输入预训练好的二分类模型中，通过二分类模型，筛选出包括红绿灯的图像，该二分类模型为采用包括红绿灯图像信息的颜色图像和未包括红绿灯图像信息的颜色图像作为训练样本训练得到的，从而能够更好地分辨红绿灯图像信息和非红绿灯图像信息。
具体实施时，可以通过车辆摄像头实施采集图像，基于单视图像得到的颜色图像来进行红绿灯信息的筛选，在未筛选到红绿灯信息时确定此时并非车辆通过路口的场景，则不需要对能够通过路口进行判断，而若是采集到红绿灯信息，则说明需要对能够通过路口进行判断，此时继续后续步骤。
S202，基于所述车辆描述信息、所述障碍物信息以及所述车道信息，按照预设的坐标转换关系，将所述车辆所在的位置、所述车辆的尺寸参数、所述车辆当前所处环境的车道以及障碍物映射到三维坐标系中，得到各自对应的映射坐标。
由于车辆描述信息、障碍物信息以及车道信息可能是通过不同的传感器获取，如对于同一障碍物，不同角度的摄像头获取的信息不同，而绘制鸟瞰图需要的是三维场景中的全局信息，因此，需要对不同传感器获取的信息，基于预设的坐标转换关系，映射到同一个三维坐标系中，从而从全局来描述车辆当前位置的具体场景。
在某些实施例中，可通过激光雷达进行信息感知，将返回的基于激光雷达得到的点云数据进行处理，从而构建出车辆周围的三维场景。
S203，根据所述映射坐标，绘制所述鸟瞰图像。
由于鸟瞰图像能够反应出真实的场景信息，进一步帮助模型理解车辆所处的具体环境以及车辆的信息，进而确定车辆在路口的通行类别，因此，除了获取目标颜色图像外，还绘制了鸟瞰图像。
本发明实施例中，由于上述步骤S202得到各自对应的映射坐标，也就明确了障碍物、车辆具体位置以及车道在三维场景中的具体描述，因此可以直接根据映射坐标绘制出鸟瞰图像。
S204，将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别。
其中，目标模型包括融合模块和分类模块，融合模块用于对输入的鸟瞰图像和目标颜色图像的进行特征提取以及特征融合，分类模块，用于对输入至分类模块的融合图像进行而分类，以确定通行类别。
具体地，将鸟瞰图像和目标颜色图像输入预训练的目标模型后，目标模型的融合模块采用CNN（Convolutional Neural Networks，卷积神经网络）对鸟瞰图像和目标颜色图像分别进行多次特征提取，利用残差网络结构，得到多个不同尺度的颜色图像特征和多个不同尺度的鸟瞰图像特征图。在图像特征透气
之后，通过transformer模块，利用自注意力机制，将在相同尺度的颜色图像特征图和鸟瞰图像特征图进行融合，以采用鸟瞰图像辅助红绿灯信息，帮助模型理解车辆当前所处的场景。
再将多个融合后不同尺度的的特征图进行融合，进一步地丰富模型对场景的理解，从而使得模型能够根据红绿灯信息和车辆周围的环境信息，确认车辆所处的场景。
接着，将融合后的融合图像输入至目标模型的分类模块，基于MLP（MultilayerPerceptron，多层感知器）对融合图像进行二分类，从而得到车辆在路口通行还是停止的分类，实际上，由于融合图像反映了车辆所处的场景，在确定车辆所处的场景之后，可由MLP对融合图像进行分类，确定场景所述类别，即该场景是属于车辆通过路口的场景还是属于车辆在路口停止的场景。
在某些实施例中，可以根据融合图像，确定该场景属于在路口通行的场景的概率以及属于在路口停止的场景的概率，在某一概率大于阈值时，输出通行分类，示例地，根据融合图像，确定属于在路口通行的场景的概率为90%，属于在路口停止的场景的概率为10%，而概率阈值为80%，则输出通行分类为通过路口。
S205，基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
本发明实施例中，在确定通行类别之后，根据具体的通行类别控制车辆进行相应动作。车辆控制可由整车控制器执行，示例地，模型输出结果表示车辆在路口通行，此时将对应的输出结果发送给整车控制器，则整车控制器根据信号控制车辆在路口通行，也可以是单独设置的控制单元，根据模型输出的通行分类，控制车辆执行对应行为，本发明不做具体限制。
其中，目标模型的具体训练步骤如下：
参照图3，如图3所示，目标模型分为融合模块和分类模块，首先，根据真实车辆通过路口采集的颜色图像和获取的感知信息，利用二分类模型筛选出目标颜色图像，并根据感知信息绘制鸟瞰图。
再将筛选的目标颜色图像以及绘制的鸟瞰图像输入至融合模块，通过融合模块对目标颜色图像以及鸟瞰图像进行特征提取，其中，由于卷积神经网络为三层，则分别得到三个尺度的颜色图像特征图：第一尺度颜色图像特征图、第二尺度颜色图像特征图以及第三尺度颜色图像特征图；三个尺度的鸟瞰图像特征图：第一尺度鸟瞰图像特征图、第二尺度鸟瞰图像特征图、第三尺度鸟瞰图像特征图。
之后，将同一尺度的颜色特征图和鸟瞰图像特征图通过transformer模块，基于自注意力机制进行特征融合，得到三个不同尺度的融合图像，即将第一尺度颜色图像特征图和第一尺度鸟瞰图像特征图融合，第二尺度颜色图像特征图和第二尺度鸟瞰图像特征图融合，将第三尺度颜色图像特征图和第三尺度鸟瞰图像图特征融合；
再将三个不同尺度的融合图像进行拼接或是相加，得到融合图像；
之后，将融合图像输入至分类模块，通过MLP对融合特征图像进行二分类，确定融合图像所属的通行类别概率，将概率大于阈值的通行类别作为输出结果。
之后，基于输出结果与真实驾驶环境的通行结果，采用等间隔调整策略的学习率衰减方式构建类别平衡损失函数，进而得到损失值，然后基于损失值对目标模型的参数进行更新。
如此，不断重复以上训练过程，直到达到预设的迭代更新次数，或者模型收敛，从而得到用于推理阶段的目标模型。在模型训练的过程中，为了使模型快速收敛，采用随机梯度下降的优化算法作为优化器。
本发明实施例通过采用预训练的模型筛选出包括红绿灯图像的颜色图像，并根据感知的车辆描述信息、车道信息以及障碍物信息，绘制鸟瞰图像；再将颜色图像和鸟瞰图像输入预训练好的目标模型中，根据颜色图像和鸟瞰图像融合后的融合图像判断车辆当前的所处场景，进而确定通行类别，根据通行类别控制车辆在路口停止或是通行。
本发明实施例通过颜色图像和鸟瞰图像描述车辆当前所处的场景，基于场景特征，使模型识别出车辆当前所处场景所属的通行类别，从而确定车辆是否能够通过路口，由此，基于具体的场景来判断是否通过路口，避免了采用复杂的映射规则进行判断。
而由于本发明实施例采用真实驾驶车辆通过路口的颜色图像和鸟瞰图像为训练样本得到目标模型，即本发明实施例的目标模型基于真实场景进行学习，预测结果更贴近人正常驾驶的判断，提高了判断的准确度，同时，也避免了多传感器可能造成的复合错误。
此外，由于本发明实施例将颜色图像和鸟瞰图像进行了特征融合，丰富了对场景特征的描述，进一步加深了模型对场景的理解，从而提高了模型分类的准确度。
实施例二
参照图4，图4示出了本发明实施例提供的一种车辆的自动控制装置的结构示意图，如图4所示，包括：
第一获取模块401，用于获取车辆针对待通行路口所采集的目标颜色图像以及感知信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对车辆当前所处环境和/或行驶工况所采集的信息；
构建模块402，用于基于所述感知信息，构建鸟瞰图像；
第二获取模块403，用于将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；
控制模块404，用于基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
在一种可选的实施例中，所述第一获取模块包括：
第一获取子模块，用于获取车辆采集到的多张颜色图像；
输入模块，用于将车辆采集到的多张颜色图像输入到二分类模型中；
筛选模块，用于基于所述二分类模型输出的每张颜色图像对应的分类结果，筛选出多张所述目标颜色图像，所述分类结果表征所述颜色图像是否包括红绿灯图像；
其中，所述二分类模型是以包括红绿灯图像信息的颜色图像和未包括红绿灯图像信息的颜色图像作为训练样本训练得到的。
在一种可选的实施例中，所述构建模块包括：
获取子模块，用于获取车辆针对待通行路口采集的感知信息，所述感知信息至少包括车辆描述信息、障碍物信息以及车道信息，其中，所述车辆描述信息包括所述车辆所在的位置、所述车辆的尺寸参数中的至少一者；
映射模块，用于基于所述车辆描述信息、所述障碍物信息以及所述车道信息，按照预设的坐标转换关系，将所述车辆所在的位置、所述车辆的尺寸参数、所述车辆当前所处环境的车道以及障碍物映射到三维坐标系中，得到各自对应的映射坐标；
绘制模块，用于根据各个所述映射坐标，绘制所述鸟瞰图像。
其中，所述目标模型包括：融合模块以及分类模块；
所述融合模块用于对所述目标颜色图像和所述鸟瞰图像进行融合，得到融合图像；
所述分类模块用于根据输入至所述分类模块的所述融合图像，确定通行类别。
基于同一发明构思，本发明实施例提供了一种车辆，包括：控制单元，所述控制单元用于执行上述任一实施例所述的车辆的自动控制方法。
基于同一发明构思，本发明实施例还提供了一种电子设备，包括：存储器和处理器，存储器中存储有计算机程序，该计算机程序可在处理器上运行，进而实现上述任一实施例所述的车辆的自动控制方法中的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一实施例所述的一种车辆的自动控制方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内；
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和部件并不一定是本发明所必须的。
以上对本发明所提供的一种车辆的自动控制方法、装置、车辆、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车辆的自动控制方法，其特征在于，所述方法包括：
获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对所述车辆当前所处环境和/或行驶工况所采集的信息；
基于所述感知信息，构建鸟瞰图像；
将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；
基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
2.根据权利要求1所述的车辆的自动控制方法，其特征在于，所述获取所述车辆针对待通行路口所采集的目标颜色图像，包括：
将所述车辆采集到的多张颜色图像输入到二分类模型中；
基于所述二分类模型输出的每张颜色图像对应的分类结果，筛选出多张所述目标颜色图像，所述分类结果表征所述颜色图像是否包括红绿灯图像；
其中，所述二分类模型是以包括红绿灯图像信息的颜色图像和未包括红绿灯图像信息的颜色图像作为训练样本训练得到的。
3.根据权利要求1所述的车辆的自动控制方法，其特征在于，所述感知信息至少包括车辆描述信息、障碍物信息以及车道信息，其中，所述车辆描述信息包括所述车辆所在的位置、所述车辆的尺寸参数中的至少一者，所述基于所述感知信息，构建鸟瞰图像，包括：
基于所述车辆描述信息、所述障碍物信息以及所述车道信息，按照预设的坐标转换关系，将所述车辆所在的位置、所述车辆的尺寸参数、所述车辆当前所处环境的车道以及障碍物映射到三维坐标系中，得到各自对应的映射坐标；
根据各个所述映射坐标，绘制所述鸟瞰图像。
4.根据权利要求1所述的车辆的自动控制方法，其特征在于，所述目标模型通过以下步骤训练得到：
将所述图像样本组中的所述目标颜色图像样本和所述鸟瞰图像样本输入所述预设模型中，得到所述预设模型输出的预测通行类别；
基于所述预测通行类别和所述图像样本组对应的通行类别标签，确定所述预设模型对应的损失值；其中，所述通行类别标签表征所述车辆是否真实通过路口；
基于所述损失值，对所述预设模型进行更新；
将多次更新后的预设模型作为所述目标模型。
5.根据权利要求1-4任一所述的车辆的自动控制方法，其特征在于，所述目标模型包括：融合模块以及分类模块；
其中，所述融合模块用于对所述目标颜色图像和所述鸟瞰图像进行融合，得到融合图像；
所述分类模块用于根据输入至所述分类模块的所述融合图像，确定所述通行类别。
6.根据权利要求5所述的车辆的自动控制方法，其特征在于，所述对所述目标颜色图像和所述鸟瞰图像进行融合的步骤包括：
对所述目标颜色图像进行特征提取，得到多个不同尺度的颜色图像特征图；以及，对所述鸟瞰图像进行多次特征提取，得到多个不同尺度的鸟瞰图像特征图；
以所述鸟瞰图像特征图作为所述颜色图像特征图辅助，将相同尺度的所述鸟瞰图像特征图和所述颜色图像特征图进行融合，得到每种尺度对应的融合特征图；
再将不同尺度对应的融合特征图进行融合，得到所述融合图像。
7.一种车辆的自动控制装置，其特征在于，所述装置包括：
第一获取模块，用于获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信息，其中，所述目标颜色图像中包括红绿灯的图像信息；所述感知信息是对所述车辆当前所处环境和/或行驶工况所采集的信息；
构建模块，用于基于所述感知信息，构建鸟瞰图像；
第二获取模块，用于将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型，获取所述目标模型输出的通行类别；其中，所述目标模型是以图像样本组为训练样本对预设模型进行训练得到的，所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本；
控制模块，用于基于所述通行类别，控制所述车辆在所述路口停止，或通过所述路口。
8.一种车辆，其特征在于，包括：控制单元，所述控制单元用于执行上述权利要求1-6任一所述的车辆的自动控制方法。
9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-6任一项所述的车辆的自动控制方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储执行权利要求1-6任一所述的车辆的自动控制方法的计算机程序。
CN202211140394.1A 2022-09-20 2022-09-20 一种车辆的自动控制方法、装置、车辆、设备及存储介质 Active CN115223148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211140394.1A CN115223148B (zh) 2022-09-20 2022-09-20 一种车辆的自动控制方法、装置、车辆、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211140394.1A CN115223148B (zh) 2022-09-20 2022-09-20 一种车辆的自动控制方法、装置、车辆、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115223148A true CN115223148A (zh) 2022-10-21
CN115223148B CN115223148B (zh) 2023-04-18

Family

ID=83617858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211140394.1A Active CN115223148B (zh) 2022-09-20 2022-09-20 一种车辆的自动控制方法、装置、车辆、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115223148B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113370993A (zh) * 2021-06-11 2021-09-10 北京汽车研究总院有限公司 车辆自动驾驶的控制方法和车辆自动驾驶的控制系统
CN113665570A (zh) * 2017-04-18 2021-11-19 动态Ad有限责任公司 自动地感知行驶信号的方法、装置及运载工具
CN114913290A (zh) * 2022-05-24 2022-08-16 北京地平线信息技术有限公司 多视角融合的场景重建方法、感知网络训练方法及装置
CN115042821A (zh) * 2022-08-12 2022-09-13 小米汽车科技有限公司 车辆控制方法、装置、车辆及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113665570A (zh) * 2017-04-18 2021-11-19 动态Ad有限责任公司 自动地感知行驶信号的方法、装置及运载工具
CN113370993A (zh) * 2021-06-11 2021-09-10 北京汽车研究总院有限公司 车辆自动驾驶的控制方法和车辆自动驾驶的控制系统
CN114913290A (zh) * 2022-05-24 2022-08-16 北京地平线信息技术有限公司 多视角融合的场景重建方法、感知网络训练方法及装置
CN115042821A (zh) * 2022-08-12 2022-09-13 小米汽车科技有限公司 车辆控制方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN115223148B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11055544B2 (en) Electronic device and control method thereof
US20200143670A1 (en) Vehicle electronic controller
WO2022052406A1 (zh) 一种自动驾驶训练方法、装置、设备及介质
US20230144209A1 (en) Lane line detection method and related device
KR20200094641A (ko) 강화 학습에 기초하여 협업 주행에서 다중 에이전트 센서 퓨전을 수행하는 방법 및 장치
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
CN111738037B (zh) 一种自动驾驶方法及其系统、车辆
CN112698645A (zh) 具有基于学习的定位校正系统的动态模型
CN111874006A (zh) 路线规划处理方法和装置
EP3588226A1 (en) Method and arrangement for generating control commands for an autonomous road vehicle
US20220204020A1 (en) Toward simulation of driver behavior in driving automation
KR102246706B1 (ko) 자율 주행 장치 및 이상 도로 상황에서 자율 주행 장치 운용 방법
EP3974869A1 (en) Perception system error detection and re-verification
CN112330915B (zh) 无人机森林防火预警方法、系统、电子设备和存储介质
US20220129726A1 (en) Determination of the driving context of a vehicle
US20210237737A1 (en) Method for Determining a Lane Change Indication of a Vehicle
US20220410931A1 (en) Situational awareness in a vehicle
CN111505690A (zh) 实时检测应急车辆并规划行驶路径的方法及装置
CN114719882A (zh) 基于视觉的机器人导航
EP3674972A1 (en) Methods and systems for generating training data for neural network
JP2022172444A (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
CN115223148B (zh) 一种车辆的自动控制方法、装置、车辆、设备及存储介质
KR102467969B1 (ko) 자동차에 대한 주변 환경 정보를 융합하기 위한 융합 시스템
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
CN116880462A (zh) 自动驾驶模型、训练方法和自动驾驶方法和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant