CN111666921A - 车辆控制方法、装置、计算机设备和计算机可读存储介质 - Google Patents

车辆控制方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111666921A
CN111666921A CN202010607555.8A CN202010607555A CN111666921A CN 111666921 A CN111666921 A CN 111666921A CN 202010607555 A CN202010607555 A CN 202010607555A CN 111666921 A CN111666921 A CN 111666921A
Authority
CN
China
Prior art keywords
semantic
image
target
obstacle
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010607555.8A
Other languages
English (en)
Other versions
CN111666921B (zh
Inventor
申远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010607555.8A priority Critical patent/CN111666921B/zh
Publication of CN111666921A publication Critical patent/CN111666921A/zh
Application granted granted Critical
Publication of CN111666921B publication Critical patent/CN111666921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种车辆控制方法、装置、计算机设备和计算机可读存储介质。所述方法包括：获取目标车辆的道路场景图像；对所述道路场景图像进行图像语义分割，得到语义分割图像，所述语义分割图像包括已知语义区域和未知语义区域；确定所述未知语义区域中的异常障碍物的位置信息；按照所述位置信息控制所述目标车辆避开所述异常障碍物行驶。采用本方法能够提高自动驾驶汽车的安全性。

Description

车辆控制方法、装置、计算机设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种车辆控制方法、装置、计算机设备和计算机可读存储介质。
背景技术
随着人工智能的发展，出现了自动驾驶汽车。自动驾驶汽车是一种通过计算机系统实现无人驾驶的智能汽车，其依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，使得计算机系统在没有人类的主动操作下，自动、安全地控制机动车辆。在自动驾驶汽车的行驶过程中，需要对行驶途中的障碍物进行检测，以及时躲避障碍。
传统技术中，自动驾驶汽车不能识别所有的障碍物，这导致自动驾驶车辆的避障能力低，即安全性能低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高自动驾驶汽车的安全性能的车辆控制方法、装置、计算机设备和计算机可读存储介质。
一种车辆控制方法，该方法包括：
获取目标车辆的道路场景图像；
对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；
确定未知语义区域中的异常障碍物的位置信息；
按照位置信息控制目标车辆避开异常障碍物行驶。
一种车辆控制装置，该装置包括：
获取模块，用于获取目标车辆的道路场景图像；
分割模块，用于对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；
确定模块，用于确定未知语义区域中的异常障碍物的位置信息；
控制模块，用于按照位置信息控制目标车辆避开异常障碍物行驶。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取目标车辆的道路场景图像；
对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；
确定未知语义区域中的异常障碍物的位置信息；
按照位置信息控制目标车辆避开异常障碍物行驶。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标车辆的道路场景图像；
对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；
确定未知语义区域中的异常障碍物的位置信息；
按照位置信息控制目标车辆避开异常障碍物行驶。
上述车辆控制方法、装置、计算机设备和计算机可读存储介质，对目标车辆的道路场景图像进行图像语义分割，得到包括已知语义区域和未知语义区域的语义分割图像，根据语义分割图像确定道路场景图像中异常障碍物的位置信息，按照该位置信息控制目标车辆避开异常障碍物行驶，这样，实现对异常障碍物所在位置的准确识别，使得自动驾驶汽车可避开异常障碍物行驶，提高了自动驾驶汽车的安全性。
附图说明
图1为一个实施例中车辆控制方法的应用环境图；
图2为一个实施例中车辆控制方法的流程示意图；
图3(a)为一个实施例中道路场景图像的示意图；
图3(b)为一个实施例中语义分割图像的示意图；
图4(a)为一个实施例中道路场景图像的示意图；
图4(b)为一个实施例中对道路场景图像进行语义标注的示意图；
图5为一个实施例中图像语义分割模型的结构示意图；
图6为另一个实施例中图像语义分割模型的结构示意图；
图7为另一个实施例中对道路场景图像进行语义标注的示意图；
图8为一个实施例中目标场景区域的示意图；
图9为一个实施例中目标轮廓的示意图；
图10为另一个实施例中车辆控制方法的流程示意图；
图11为一个实施例中车辆控制装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的无人驾驶、自动驾驶、无人机、机器人、智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：本申请提供的车辆控制方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取目标车辆的道路场景图像，将获取目标车辆的道路场景图像上传至服务器104；服务器104获取到获取目标车辆的道路场景图像时，对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；服务器104确定未知语义区域中的异常障碍物的位置信息；服务器104将异常障碍物的位置信息下发至终端102，终端102按照该位置信息避开异常障碍物行驶。
其中，终端102可以但不限于是自动驾驶汽车、移动机器人等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种车辆控制方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取目标车辆的道路场景图像。
其中，道路场景图像是待通过本申请实施例中提供的方法进行处理的图像。道路场景图像可反映目标车辆的周围环境，比如车道、车辆、行人、障碍物等。道路场景图像可以是通过图像采集装置实时采集的图像，这样在目标车辆行驶过程中，通过实时分析道路场景图像，得到异常障碍物的位置信息，从而使得目标车辆进行规避。
在一个具体的实施例中，目标车辆可通过内置的图像采集装置采集现实场景的图像，也可通过外置的、且与目标车辆关联的图像采集装置采集现实场景的图像。比如目标车辆可通过连接线或网络，与外置的图像采集装置连接，外置的图像采集装置采集现实场景的图像，并将采集的图像传输至目标车辆。
在一个具体的实施例中，图像采集装置可以是摄像头。摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D(3Dimensions，三维)摄像头等。可选地，调用摄像头开启扫描模式，实时扫描摄像头视野中的目标对象，并按照指定帧率实时地生成道路场景图像。摄像头视野是摄像头可拍摄到的区域。
在一个具体的实施例中，图像采集装置可以是激光雷达、毫米波雷达等雷达系统。激光雷达是通过发射激光束探测目标对象的位置、速度、姿态、形状等特征数据的雷达系统。毫米波雷达是在毫米波波段探测的雷达系统。雷达系统实时向目标对象发射探测信号，接收目标对象反射回来的回波信号，基于探测信息与回波信号之间的差异，确定目标对象的特征数据。雷达系统采用多个发射器和接收器，由此获取的道路场景图像为三维点云图像。
具体地，计算机设备(即目标车辆)可获取在本机上生成的道路场景图像，也可以接收其它计算机设备传递的道路场景图像，并将道路场景图像上传至服务器，从而服务器获取得到道路场景图像。
步骤204，对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域。
其中，图像语义分割是将图像中的像素按照表达语义的不同进行分割。图像语义分割是像素级的分类，通过对图像中每一个像素点进行分类，实现整幅图像的语义标注。具体地，图像语义分割对图像中每一个像素点进行分类，确定每一个像素点所属的语义类别，从而得到多个语义像素区域，同一语义像素区域的像素点所属的语义类别相同。语义类别是按照表达语义的不同划分的语言表达式。比如在道路场景图像中，车辆与行人属于不同的表达语义，因此车辆相应的像素点与行人相应的像素点属于不同的语义类别。
具体地，语义分割图像的图像尺寸与道路场景图像的图像尺寸一致，语义分割图像中的各像素点与道路场景图像中的各像素点相对应。举例说明，参照图3(a)，图3(a)为一个实施例中道路场景图像的示意图。可以看到，道路场景图像可反映目标车辆的周围环境。参照图3(b)，图3(b)为一个实施例中语义分割图像的示意图。可以看到，在语义分割图像中显示语义标注。由不同语义类别的像素点构建的语义像素区域的颜色不同，比如语义像素区域310和语义像素区域320；由同一语义类别的像素点构建的语义像素区域的颜色相同，比如语义像素区域320和语义像素区域330。
具体地，在已知语义区域中，每一个像素点所属的语义类别是预先设置的语义类别。可以理解，预先设置的语义类别通常是车辆周围环境中的常规障碍物，比如行人、车辆、车道、建筑物、植物、天空等等。但是对于一些异常障碍物，比如车辆掉落物、道路遗落物、路面坑槽、路面石子等等，其形状通常都是不规则的，尤其对于车辆掉落物、道路遗落物来说，其内容也是不确定的，因此对于这些异常障碍物，很难预先设置语义类别，在未知语义区域中，每一个像素点所属的语义类别不是预先设置的语义类别。在一个具体的实施例中，在语义分割图像中，已知语义区域按照每个语义像素区域所属的语义类别，显示相应的语义标注；未知语义区域可显示统一的语义标注，或者直接不显示语义标注。
具体地，可将未知语义区域的像素点所属的语义类别归纳为通识类别。这样在对道路场景图像中每一个像素点进行分类时，针对不是预先设置的语义类别的像素点，统一归为通识类别，并采用统一的语义标注，或者统一不显示语义标注。
可以理解，对于一些常规障碍物，比如天空、建筑物等，由于其不在车辆行驶的车道上，也可不预先设置这些常规障碍物的像素点所属的语义类别，使之归为通识类别。
需要说明的是，本申请实施例中对图像语义分割的方式不做限定，只要能够从道路场景图像中识别出已知语义区域即可，比如通用的图像语义分割算法、通用的图像语义分割模型等。
在一个实施例中，服务器根据预先训练完成的图像语义分割模型对道路场景图像进行图像语义分割。S204包括：将道路场景图像输入图像语义分割模型进行处理；通过图像语义分割模型输出语义分割图像。
其中，该图像语义分割模型可包括卷积神经网络结构，该卷积神经网络可执行卷积计算、归一化处理、激活函数计算等操作。
在一个具体的实施例中，图像语义分割模型的训练方法可以是：获取训练样本图像及训练样本图像相应的训练标签，训练标签用于对相应的训练样本图像中各像素点所属的语义类别进行标注。接着，初始化图像语义分割模型的参数，将训练样本图像输入图像语义分割模型，得到预测语义分割图像，该预测语义分割图像中的像素点具有表示所属语义类别的像素值。接着，针对预测语义分割图像与训练标签之间的差异，采用损失函数，基于梯度下降算法对图像语义分割模型的参数进行优化。按照上述方法对图像语义分割模型进行迭代训练，直至满足训练停止条件。训练停止条件可以是迭代次数达到指定次数，或者损失函数的变化量小于指定阈值。
具体地，通过图像语义分割模型输出语义分割图像中的像素点，具有表示所属语义类别的像素值。即对道路场景图像中的像素点逐个进行分类，得到每个像素点的像素值，根据每个像素点的像素值，即可得到这些像素点所属的语义类别。其中，对于未知语义区域，可赋予统一的、且与已知语义区域的像素值不同的像素值，这样将未知语义区域的像素点统一归为通识类别。
上述实施例中，通过图像语义分割模型得到道路场景图像相应的语义分割图像，实现准确识别已知语义区域，后续在道路场景图像中，可通过排除已知语义区域，得到异常障碍物所在的场景区域。
具体地，服务器对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像显示已知语义区域的语义标注；语义分割图像对未知语义区域显示统一的语义标注，或者不显示未知语义区域的语义标注。
步骤206，确定未知语义区域中的异常障碍物的位置信息。
其中，异常障碍物是未预先设置语义类别的障碍物，比如车辆掉落物、道路遗落物、路面坑槽、路面石子等等。位置信息可反应异常障碍物所在位置，或者异常障碍物的尺寸和所在位置等。
在一个实施例中，S206包括：确定道路场景图像中与未知语义区域相应的候选场景区域；在候选场景区域中选取目标场景区域；目标场景区域与目标车辆行驶的目标车道存在交集；确定目标场景区域中的异常障碍物的位置信息。
具体地，如上，异常障碍物存在于未知语义区域中。在得到语义分割图像后，比对语义分割图像和道路场景图像，即可确定道路场景图像中与未知语义区域相应的候选场景区域。在语义分割图像中显示未知语义区域的语义标注时，根据未知语义区域的语义标注直接确定候选场景区域；在语义分割图像中不显示未知语义区域的语义标注时，通过排除已知语义区域，得到与未知语义区域相应的候选场景区域。
举例说明，参照图4(a)，图4(a)为一个实施例中道路场景图像的示意图。图4(b)为一个实施例中在如图4(a)所示的道路场景图像中，对已知语义区域进行语义标注的示意图。可以看到，在对道路场景图像中的已知语义区域进行语义标注后，未进行语义标注的区域即为道路场景图像中的未知语义区域，即候选场景区域。
可以理解，未知语义区域的范围可能较广，而实际需要检测的是目标车辆行驶的目标车道上的异常障碍物。比如，一异常障碍物存在于车道两边的树木上，该异常障碍物不会对车辆行驶产生影响；但是一异常障碍物存在于目标车道中央，该异常障碍物会影响车辆行驶。因此从候选场景区域中选取目标场景区域。
举例说明，继续参照图4(b)，图4(b)中的区域410即表示从候选场景区域中选取的目标场景区域。
具体地，服务器得到语义分割图像后，比对语义分割图像和道路场景图像，在语义分割图像中显示未知语义区域的语义标注时，服务器根据未知语义区域的语义标注直接确定候选场景区域；在语义分割图像中不显示未知语义区域的语义标注时，服务器通过排除已知语义区域，得到与未知语义区域相应的候选场景区域。接着，服务器在候选场景区域中选取与目标车辆行驶的目标车道存在交集的目标场景区域。接着，服务器确定目标场景区域中的异常障碍物的位置信息。
上述实施例中，根据语义分割图像，确定道路场景图像中与未知语义区域相应的候选场景区域，并从候选场景区域中，选取与目标车辆行驶的目标车道存在交集的目标场景区域，实现准确定位异常障碍物所在的场景区域，后续准确识别异常障碍物的位置信息。
步骤208，按照位置信息控制目标车辆避开异常障碍物行驶。
在一个实施例中，S208包括：确定已知语义区域中的常规障碍物的位置信息；按照异常障碍物的位置信息以及常规障碍物的位置信息，控制目标车辆避开异常障碍物以及常规障碍物行驶。
具体地，上述与未知语义区域相应的候选场景区域为第一候选场景区域，从与未知语义区域相应的候选场景区域中选取的目标场景区域为第一目标场景区域。服务器确定道路场景图像中与未知语义区域相应的第一候选场景区域，以及与已知语义区域相应的第二候选场景区域；接着，服务器在第一候选场景区域中选取与目标车辆行驶的目标车道存在交集的第一目标场景区域，并且在第二候选场景区域中选取与目标车辆行驶的目标车道存在交集的第二目标场景区域；接着，服务器确定第一目标场景区域中的异常障碍物的位置信息，并确定第二目标场景区域中的常规障碍物的位置信息；接着，服务器按照异常障碍物的位置信息以及常规障碍物的位置信息，控制目标车辆避开异常障碍物以及常规障碍物行驶。
可以理解，也可通过上述方法仅确定已知语义区域中的常规障碍物的位置信息，按照常规障碍物的位置信息控制目标车辆避开常规障碍物行驶。
上述实施例中，根据语义分割图像同时确定异常障碍物的位置信息以及常规障碍物的位置信息，减少了数据处理量；并且自动驾驶汽车可避开各类障碍物行驶，提高了自动驾驶汽车的稳定性和安全性。
在一个具体的实施例中，常规障碍物的位置信息也可通过目标检测策略进行确定，通过候选框标注常规障碍物的位置。目标检测策略可以是通用的目标检测算法，或者预先训练完成的目标检测模型。比如Faster Region-CNN(ConvolutionalNeuralNetwork)网络结构、SSD(Single Shot MultiBox Detector)网络结构、CenterNet网络结构、ExtremeNet网络结构等。服务器通过目标检测策略确定常规障碍物的位置信息，并通过上述方法确定异常障碍物的位置信息，按照异常障碍物的位置信息以及常规障碍物的位置信息，控制目标车辆避开异常障碍物以及常规障碍物行驶。
在一个实施例中，S208包括：查询道路场景图像的采集方式；确定采集方式相应的坐标类型；根据坐标类型生成异常障碍物的位置信息。
具体地，如上，道路场景图像可通过多种采集方式进行采集，比如摄像头、激光雷达、毫米波雷达等。不同的采集方式可对应不同的坐标类型，比如对于摄像头采集的道路场景图像，可通过二维坐标可表示障碍物的位置信息，而对于激光雷达、毫米波雷达等采集的道路场景图像，需要通过三维坐标表示障碍物的位置信息。因此针对不同的坐标类型生成相应的坐标信息。
上述实施例中，基于不同的道路场景图像采集方式，均可得到相应的位置信息，提升了本实施例方法的应用范围。
上述车辆控制方法中，对目标车辆的道路场景图像进行图像语义分割，得到包括已知语义区域和未知语义区域的语义分割图像，根据语义分割图像确定道路场景图像中异常障碍物的位置信息，按照该位置信息控制目标车辆避开异常障碍物行驶，这样，实现对异常障碍物所在位置的准确识别，使得自动驾驶汽车可避开异常障碍物行驶，提高了自动驾驶汽车的安全性。
在一个实施例中，图像语义分割模型包括特征提取网络和上采样网络；将道路场景图像输入图像语义分割模型进行处理，包括：将道路场景图像输入特征提取网络，经过特征提取网络中不同尺度的卷积网络层的处理，得到特征信息；将特征信息输入上采样网络，经过上采样网络中不同尺度的转置卷积网络层的处理，得到语义分割图像；语义分割图像中的像素点，具有表示所属语义类别的像素值。
其中，不同尺度的卷积网络层，是指每个卷积网络层输出的特征图的图像尺寸不同。同理，不同尺度的转置卷积网络层，是指每个转置卷积网络层输出的特征图的图像尺寸不同。
具体地，特征提取网络用于对道路场景图像进行特征提取操作。可以理解，经过特征提取操作得到的特征信息(即特征图)，其图像尺寸小于道路场景图像的图像尺寸。由于需要对道路场景图像的每个像素点进行分类，因此通过上采样网络将特征信息的图像尺寸恢复为道路场景图像的图像尺寸，并确定每个像素点所属的语义类别。
在一个具体的实施例中，参照图5，图5为一个实施例中图像语义分割模型的结构示意图。可以看到，特征提取网络包括不同尺度的卷积网络层，上采样网络包括不同尺度的转置卷积网络层。每个卷积网络层具有相应的、且包括于上采样网络的转置卷积网络层，卷积网络层输出的特征图与相应的转置卷积网络层输出的特征图之间图像尺寸一致。
举例说明，继续参照图5，假设特征提取网络包括5个不同尺度的卷积网络层。将一张W*H*C(W代表图像的长度，H代表图像的宽度，C代表图像的通道数量)的RGB图像输入特征提取网络，每经过一个卷积网络层，该卷积网络层输出图像的图像面积为输入图像的图像面积的1/4，该卷积网络层输出图像的通道数量为输入图像的通道数量的2倍，即：
Figure BDA0002561373490000111
其中，Wout为输出图像的长度；Hout为输出图像的宽度；Cout为输出图像的通道数量；Win为输入图像的长度；Hin为输入图像的宽度；Cin为输入图像的通道数量。
假设上采样网络包括5个不同尺度的转置卷积网络层。将特征提取网络输出的特征信息(即特征图)输入上采样网络，每经过一个转置卷积网络层，该转置卷积网络层输出图像的图像面积为输入图像的图像面积的4倍，该卷积网络层输出图像的通道数量为指定通道数量N，该指定通道数量为预先设置的语义类别的数量。该指定通道数量可保证模型的特征表达能力，并且通过减少通道数量可以加快模型的训练速度，这样实现模型的特征表达能力与训练速度之间的均衡。
通过特征提取网络和上采样网络的处理，最终得到一张W*H*C'(C'代表指定通道数量)的灰度图像，其图像尺寸与原始输入图像的图像尺寸一致，且灰度图像中的每一个像素点具有表示所属语义类别的像素值。
本实施例中，通过特征提取网络进行特征提取操作，并通过上采样网络将特征提取网络输出的特征图的图像尺寸恢复为原始输入图像的图像尺寸，并确定每个像素点所属的语义类别，实现准确识别道路场景图像中的已知语义区域。
在一个实施例中，每个卷积网络层具有相应的、且包括于上采样网络的转置卷积网络层，卷积网络层输出的特征图与相应的转置卷积网络层输出的特征图之间图像尺寸一致；将特征信息输入上采样网络，经过上采样网络中不同尺度的转置卷积网络层的处理，得到语义分割图像，包括：将特征信息输入上采样网络；按照上采样网络所包括的转置卷积网络层的顺序，将上采样网络所包括的转置卷积网络层依次作为当前处理层进行数据处理；对于每一层当前处理层，根据当前处理层的输出和下一个当前处理层相应的卷积网络层的输出，共同得到下一个当前处理层的输入；通过末层转置卷积网络层输出道路场景图像相应的语义分割图像。
在一个具体的实施例中，参照图6，图6为另一个实施例中图像语义分割模型的结构示意图。可以看到，每个卷积网络层具有相应的、且包括于上采样网络的转置卷积网络层，卷积网络层输出的特征图与相应的转置卷积网络层输出的特征图之间图像尺寸一致，每个转置卷积网络层的输入，不仅包括上一个卷积网络层或者转置卷积网络层的输出，还包括与之对应的卷积网络层的输出。可通过残差连接，将与转置卷积网络层对应的卷积网络层的输出，输入至转置卷积网络层中。
可以理解，卷积网络层提取的浅层特征，其分辨率高，包含更多细节信息，但是语义性低；转置卷积网络层提取的深层特征，具有更强的语义信息，但是分辨率低，对细节的感知能力差。通过残差连接将浅层特征与深层特征进行融合处理，丰富了特征表达能力。
在一个具体的实施例中，每个卷积网络层可由卷积层、归一化层和激活层构成。卷积层用于提取边缘、纹理等基本特征；归一化层用于将卷积层提取的特征按照正态分布进行归一化处理，过滤掉其中的噪声特征，提高模型的训练收敛速度；激活层用于对卷积层提取的特征进行非线性映射，加强模型的泛化能力。
在一个具体的实施例中，每个转置卷积网络层可由转置卷积层和面积裁剪层构成。转置卷积层用于对上一个处理层的输出的图像面积、通道数量进行处理，并提供像素点所属的语义类别的预测结果；面积裁剪层用于对特征图进行对齐操作，即对与当前处理层相应的卷积网络层的输出和上一个处理层的输出进行对齐操作，便于后续的特征融合处理。具体地，先通过转置卷积层对上一个处理层的输出进行处理，接着通过面积裁剪层，对转置卷积层的处理结果和相应的卷积网络层的输出进行对齐操作，接着将转置卷积层的处理结果和相应的卷积网络层的输出进行矩阵加操作，得到当前处理层的输出。
本实施例中，对转置卷积网络层提取的深层特征和卷积网络层提取的浅层特征进行特征融合操作，丰富了特征表达能力。
在一个实施例中，图像语义分割模型的训练步骤，包括：获取训练样本图像及训练样本图像相应的训练标签；训练标签用于对相应的训练样本图像中各像素点所属的语义类别进行标注；训练样本图像中独立的常规障碍物所属的语义类别为障碍物类别；训练样本图像中连续的常规障碍物所属的语义类别不为障碍物类别；根据训练样本图像和训练样本图像相应的训练标签，训练图像语义分割模型。
具体地，对于一些常规障碍物，比如水马、锥桶等，当单独存在于车道上时，其作为障碍物影响车辆行驶。但是，当连续存在于车道上时，其具有导向作用，用于指示车辆行驶方向。
在一个具体的实施例中，在图像语义分割模型的训练中，将连续存在、具有导向指示作用的常规障碍物，其语义类别不标注为障碍物类别，其可标注为导向类别、指示类别等。
本实施例中，使得自动驾驶汽车可识别出指示物，并按照指示物的指示行驶，实现自动驾驶汽车的精准驾驶。
在一个实施例中，确定目标场景区域中的异常障碍物的位置信息，包括：根据语义分割图像对道路场景图像进行掩膜处理，得到语义掩膜；语义掩膜用于单独提取目标场景区域；获取语义掩膜中的目标场景区域的边缘轮廓，得到异常障碍物的位置信息。
其中，掩膜是由0和1组成的二进制图像，当对一图像进行掩膜处理时，1值区域被处理，被屏蔽的0值区域不被处理。
在一个实施例中，在得到语义分割图像后，比对语义分割图像和道路场景图像，即可确定道路场景图像中，与未知语义区域相应的第一候选场景区域，以及与已知语义区域相应的第二候选场景区域，根据语义分割图像对道路场景图像进行语义标注；接着，从第一候选场景区域中确定目标场景区域；接着，对道路场景图像进行掩膜处理，其中第二候选场景区域、和第一场景区域中除了目标场景区域之外的其它场景区域，作为待处理的1值区域，目标场景区域作为被屏蔽的0值区域(即语义掩膜)；接着，对道路场景图像进行消除处理，目标场景区域被保留，该目标场景区域即为异常障碍物具体所在的区域；接着，提取目标场景区域的边缘轮廓，得到异常障碍物的位置信息。
在另一个实施例中，在得到语义分割图像后，根据语义分割图像对道路场景图像进行语义标注；接着，对道路场景图像进行掩膜处理，其中第二候选场景区域作为待处理的1值区域，第一候选场景区域作为被屏蔽的0值区域(即语义掩膜)；接着，对道路场景图像进行消除处理，其中第二候选场景区域被消除，第一候选场景区域被保留；接着，从第一候选场景区域中确定目标场景区域；接着提取目标场景区域的边缘轮廓，得到异常障碍物的位置信息。
举例说明，参考图7，图7为一个实施例中在道路场景图像中对已知语义区域和未知语义区域进行语义标注的示意图。可以看到，图中纯黑色区域为未知语义区域。区域710和区域720均为第一候选场景区域，但是区域720与目标车道存在交集，因此区域720即为从第一候选场景区域中选取的目标场景区域。参照图8，图8为一个实施例中对道路场景图像进行消除处理后，目标场景区域的示意图。可以看到，区域720被保留。
本实施例中，通过语义掩膜单独提取目标场景区域，并获取语义掩膜中的目标场景区域的边缘轮廓，得到异常障碍物的位置信息，这样，可单独对目标场景区域的边缘轮廓进行提取，避免了周围环境的影响，实现准确获取异常障碍物的位置信息。
在一个实施例中，获取语义掩膜中的目标场景区域的边缘轮廓，得到异常障碍物的位置信息，包括：提取语义掩膜中的目标场景区域的原始轮廓；对原始轮廓进行平滑处理，得到目标轮廓；根据目标轮廓得到异常障碍物的位置信息。
在一个具体的实施例中，可通过通用的边缘提取算法，提取目标场景区域的原始轮廓，比如Canny边缘提取算法。可通过通用的凸包算法，对原始轮廓进行平滑处理，得到目标轮廓，该目标轮廓可为凸包轮廓，比如Graham扫描法。
可以理解，凸包轮廓是将障碍物的最外层的点连接起来所构建的凸多边形，凸包轮廓可准确反映障碍物的形状、位置和尺寸。具体地，构成凸包轮廓的像素点的坐标值，可反映障碍物所在的位置；凸包轮廓可反映障碍物的尺寸。
举例说明，参照图9，图9为一个实施例中目标轮廓的示意图。可以看到，目标轮廓可反映障碍物的形状、位置和尺寸。
在一个具体的实施例中，也可提取语义掩膜中的目标场景区域的原始轮廓，根据原始轮廓得到异常障碍物的位置信息。
本实施例中，提取语义掩膜中的目标场景区域的原始轮廓，对原始轮廓进行平滑处理，得到目标轮廓，并根据目标轮廓得到异常障碍物的位置信息，这样，可准确获取异常障碍物的形状、位置和尺寸。
在一个实施例中，语义掩膜还用于提取目标车道的车道边缘区域；该方法还包括：在语义掩膜中定位目标车道的车道边缘区域；获取目标轮廓所包括的区域与车道边缘区域的交集面积；在交集面积小于面积阈值时，执行根据目标轮廓得到异常障碍物的位置信息的步骤。
具体地，当异常障碍物与目标车道的车道边缘区域的交集面积大于等于面积阈值时，说明异常障碍物处于目标车道的边缘处，基本上不会影响自动驾驶汽车行驶；而当异常障碍物与目标车道的车道边缘区域的交集面积小于面积阈值时，说明异常障碍物可能靠近目标车道的中央位置，可能会影响自动驾驶汽车行驶，因此需要避开该异常障碍物。
在一个具体的实施例中，在对道路场景图像进行掩膜处理时，可将目标场景区域以及目标车道的车道边缘区域，作为被屏蔽的0值区域(即语义掩膜)，这样，单独提取出目标场景区域以及目标车道的车道边缘区域，在得到目标场景区域的目标轮廓后，定位目标车道的车道边缘区域，准确获取目标轮廓所包括的区域与车道边缘区域的交集面积。
在一个具体的实施例中，也可在得到目标场景区域的原始轮廓后，定位目标车道的车道边缘区域，获取原始轮廓所包括的区域与车道边缘区域的交集面积。
本实施例中，在目标轮廓所包括的区域与车道边缘区域的交集面积小于面积阈值时，根据目标轮廓得到异常障碍物的位置信息，这样避免了多余的计算，减少了数据处理量。
在一个实施例中，根据坐标类型生成异常障碍物的位置信息，包括：在坐标类型为二维坐标时，获取异常障碍物的坐标点集合；坐标点集合是根据异常障碍物的边缘像素点的二维坐标确定的；将坐标点集合作为异常障碍物的位置信息。
其中，异常障碍物的边缘像素点，可以是构成异常障碍物的原始轮廓的像素点，也可以是构成异常障碍物的目标轮廓的像素点。
在一个具体的实施例中，坐标点集合中的坐标点数量，可以根据实际应用进行设定。比如可选取异常障碍物的所有边缘像素点的二维坐标，也可选取异常障碍物的部分边缘像素点的二维坐标。
本实施例中，在坐标类型为二维坐标时，根据异常障碍物的边缘像素点的二维坐标确定坐标点集合，将坐标点集合作为异常障碍物的位置信息，准确反映异常障碍物所在的位置。
在一个实施例中，根据坐标类型生成异常障碍物的位置信息，包括：在坐标类型为三维坐标时，获取异常障碍物的中心点的三维坐标；以中心点的三维坐标为中心，构建异常障碍物的外接包围体，外接包围体的尺寸根据异常障碍物的尺寸确定；将中心点的三维坐标和外接包围体的尺寸，作为异常障碍物的位置信息。
其中，外接包围体的形状可以是立方体、圆柱体等具有规则形状的三维体。
在一个具体的实施例中，外接包围体的尺寸可根据异常障碍物的原始轮廓的尺寸确定，也可以根据异常障碍物的目标轮廓的尺寸确定。比如，可选取包围异常障碍物的原始轮廓的最小外接包围体，或者包围异常障碍物的目标轮廓的最小外接包围体。
本实施例中，在坐标类型为三维坐标时，根据异常障碍物的中心点的三维坐标和外接包围体的尺寸作为异常障碍物的位置信息，准确反映异常障碍物所在的位置。
在一个实施例中，如图10所示，提供一种车辆控制方法，包括以下步骤：
步骤1002，获取目标车辆的道路场景图像。
步骤1004，将道路场景图像输入图像语义分割模型的特征提取网络，经过特征提取网络中不同尺度的卷积网络层的处理，得到特征信息。
其中，每个卷积网络层具有相应的、且包括于上采样网络的转置卷积网络层，卷积网络层输出的特征图与相应的转置卷积网络层输出的特征图之间图像尺寸一致。
步骤1006，将特征信息输入上采样网络，按照上采样网络所包括的转置卷积网络层的顺序，将上采样网络所包括的转置卷积网络层依次作为当前处理层进行数据处理，对于每一层当前处理层，根据当前处理层的输出和下一个当前处理层相应的卷积网络层的输出，共同得到下一个当前处理层的输入，通过末层转置卷积网络层输出道路场景图像相应的语义分割图像，语义分割图像包括已知语义区域和未知语义区域。
其中，语义分割图像中的各像素点与道路场景图像中的各像素点相对应，已知语义区域中的各像素点属于预先设置的语义类别，未知语义区域中的各像素点不属于预先设置的语义类别。语义分割图像中的像素点，具有表示所属语义类别的像素值。
其中，该图像语义分割模型的训练步骤，包括：获取训练样本图像及训练样本图像相应的训练标签；训练标签用于对相应的训练样本图像中各像素点所属的语义类别进行标注；训练样本图像中独立的常规障碍物所属的语义类别为障碍物类别；训练样本图像中连续的常规障碍物所属的语义类别不为障碍物类别；根据训练样本图像和训练样本图像相应的训练标签，训练图像语义分割模型。
步骤1008，确定道路场景图像中与未知语义区域相应的候选场景区域，在候选场景区域中选取目标场景区域，目标场景区域与目标车辆行驶的目标车道存在交集。
步骤1010，根据语义分割图像对道路场景图像进行掩膜处理，得到语义掩膜，该语义掩膜用于单独提取目标场景区域。
在一个实施例中，在得到语义分割图像后，比对语义分割图像和道路场景图像，即可确定道路场景图像中，与未知语义区域相应的第一候选场景区域，以及与已知语义区域相应的第二候选场景区域，根据语义分割图像对道路场景图像进行语义标注；接着，从第一候选场景区域中确定目标场景区域；接着，对道路场景图像进行掩膜处理，其中第二候选场景区域、和第一场景区域中除了目标场景区域之外的其它场景区域，作为待处理的1值区域，目标场景区域作为被屏蔽的0值区域(即语义掩膜)；接着，对道路场景图像进行消除处理，目标场景区域被保留，该目标场景区域即为异常障碍物具体所在的区域。
步骤1012，提取语义掩膜中的目标场景区域的原始轮廓，对原始轮廓进行平滑处理，得到目标轮廓。
其中，语义掩膜还用于提取目标车道的车道边缘区域；该方法还包括：在语义掩膜中定位目标车道的车道边缘区域，获取目标轮廓所包括的区域与车道边缘区域的交集面积；在交集面积小于面积阈值时，执行步骤1014。
步骤1014，查询道路场景图像的采集方式，确定采集方式相应的坐标类型，根据坐标类型生成目标轮廓相应的位置信息，将目标轮廓相应的位置信息作为异常障碍物的位置信息。
其中，在坐标类型为二维坐标时，获取异常障碍物的坐标点集合；坐标点集合是根据异常障碍物的边缘像素点的二维坐标确定的；将坐标点集合作为异常障碍物的位置信息。
其中，在坐标类型为三维坐标时，获取异常障碍物的中心点的三维坐标；以中心点的三维坐标为中心，构建异常障碍物的外接包围体，外接包围体的尺寸根据异常障碍物的尺寸确定；将中心点的三维坐标和外接包围体的尺寸，作为异常障碍物的位置信息。
步骤1016，确定已知语义区域中的常规障碍物的位置信息，按照异常障碍物的位置信息以及常规障碍物的位置信息，控制目标车辆避开异常障碍物以及常规障碍物行驶。
上述车辆控制方法中，对目标车辆的道路场景图像进行图像语义分割，得到包括已知语义区域和未知语义区域的语义分割图像，根据语义分割图像确定道路场景图像中异常障碍物的位置信息，按照该位置信息控制目标车辆避开异常障碍物行驶，这样，实现对异常障碍物所在位置的准确识别，使得自动驾驶汽车可避开异常障碍物行驶，提高了自动驾驶汽车的安全性。
应该理解的是，虽然图2、图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图10中的至少一部分步骤可以包括多个步骤或多个阶段，这些步骤或阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或其它步骤中的步骤或阶段的至少一部分轮流或交替地执行。
在一个实施例中，如图11所示，提供了一种车辆控制装置，该装置可以采用软件模块或硬件模块，或是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1102、分割模块1104、确定模块1106和控制模块1108，其中：
获取模块1102，用于获取目标车辆的道路场景图像；
分割模块1104，用于对道路场景图像进行图像语义分割，得到语义分割图像，语义分割图像包括已知语义区域和未知语义区域；
确定模块1106，用于确定未知语义区域中的异常障碍物的位置信息；
控制模块1108，用于按照位置信息控制目标车辆避开异常障碍物行驶。
在一个实施例中，分割模块1104，还用于：将道路场景图像输入图像语义分割模型进行处理；通过图像语义分割模型输出语义分割图像；其中，语义分割图像中的各像素点与道路场景图像中的各像素点相对应；已知语义区域中的各像素点属于预先设置的语义类别，未知语义区域中的各像素点不属于预先设置的语义类别。
在一个实施例中，图像语义分割模型包括特征提取网络和上采样网络；分割模块1104，还用于：将道路场景图像输入特征提取网络，经过特征提取网络中不同尺度的卷积网络层的处理，得到特征信息；将特征信息输入上采样网络，经过上采样网络中不同尺度的转置卷积网络层的处理，得到语义分割图像；语义分割图像中的像素点，具有表示所属语义类别的像素值。
在一个实施例中，每个卷积网络层具有相应的、且包括于上采样网络的转置卷积网络层，卷积网络层输出的特征图与相应的转置卷积网络层输出的特征图之间图像尺寸一致；分割模块1104，还用于：将特征信息输入上采样网络；按照上采样网络所包括的转置卷积网络层的顺序，将上采样网络所包括的转置卷积网络层依次作为当前处理层进行数据处理；对于每一层当前处理层，根据当前处理层的输出和下一个当前处理层相应的卷积网络层的输出，共同得到下一个当前处理层的输入；通过末层转置卷积网络层输出道路场景图像相应的语义分割图像。
在一个实施例中，车辆控制装置还包括训练模块，训练模块用于：获取训练样本图像及训练样本图像相应的训练标签；训练标签用于对相应的训练样本图像中各像素点所属的语义类别进行标注；训练样本图像中独立的常规障碍物所属的语义类别为障碍物类别；训练样本图像中连续的常规障碍物所属的语义类别不为障碍物类别；根据训练样本图像和训练样本图像相应的训练标签，训练图像语义分割模型。
在一个实施例中，确定模块1106，还用于：确定道路场景图像中与未知语义区域相应的候选场景区域；在候选场景区域中选取目标场景区域；目标场景区域与目标车辆行驶的目标车道存在交集；确定目标场景区域中的异常障碍物的位置信息。
在一个实施例中，确定模块1106，还用于：根据语义分割图像对道路场景图像进行掩膜处理，得到语义掩膜；语义掩膜用于单独提取目标场景区域；获取语义掩膜中的目标场景区域的边缘轮廓，得到异常障碍物的位置信息。
在一个实施例中，确定模块1106，还用于：提取语义掩膜中的目标场景区域的原始轮廓；对原始轮廓进行平滑处理，得到目标轮廓；根据目标轮廓得到异常障碍物的位置信息。
在一个实施例中，语义掩膜还用于提取目标车道的车道边缘区域；确定模块1106，还用于：在语义掩膜中定位目标车道的车道边缘区域；获取目标轮廓所包括的区域与车道边缘区域的交集面积；在交集面积小于面积阈值时，执行根据目标轮廓得到异常障碍物的位置信息的步骤。
在一个实施例中，确定模块1106，还用于：查询道路场景图像的采集方式；确定采集方式相应的坐标类型；根据坐标类型生成异常障碍物的位置信息。
在一个实施例中，确定模块1106，还用于：在坐标类型为二维坐标时，获取异常障碍物的坐标点集合；坐标点集合是根据异常障碍物的边缘像素点的二维坐标确定的；将坐标点集合作为异常障碍物的位置信息。
在一个实施例中，确定模块1106，还用于：在坐标类型为三维坐标时，获取异常障碍物的中心点的三维坐标；以中心点的三维坐标为中心，构建异常障碍物的外接包围体，外接包围体的尺寸根据异常障碍物的尺寸确定；将中心点的三维坐标和外接包围体的尺寸，作为异常障碍物的位置信息。
在一个实施例中，控制模块1108，还用于：确定已知语义区域中的常规障碍物的位置信息；按照异常障碍物的位置信息以及常规障碍物的位置信息，控制目标车辆避开异常障碍物以及常规障碍物行驶。
上述车辆控制装置中，对目标车辆的道路场景图像进行图像语义分割，得到包括已知语义区域和未知语义区域的语义分割图像，根据语义分割图像确定道路场景图像中异常障碍物的位置信息，按照该位置信息控制目标车辆避开异常障碍物行驶，这样，实现对异常障碍物所在位置的准确识别，使得自动驾驶汽车可避开异常障碍物行驶，提高了自动驾驶汽车的安全性。
关于车辆控制装置的具体限定可以参见上文中对于车辆控制方法的限定，在此不再赘述。上述车辆控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储车辆控制数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆控制方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或组合某些部件，或具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种车辆控制方法，其特征在于，所述方法包括：
获取目标车辆的道路场景图像；
对所述道路场景图像进行图像语义分割，得到语义分割图像，所述语义分割图像包括已知语义区域和未知语义区域；
确定所述未知语义区域中的异常障碍物的位置信息；
按照所述位置信息控制所述目标车辆避开所述异常障碍物行驶。
2.根据权利要求1所述的方法，其特征在于，所述确定所述未知语义区域中的异常障碍物的位置信息，包括：
确定所述道路场景图像中与所述未知语义区域相应的候选场景区域；
在所述候选场景区域中选取目标场景区域；所述目标场景区域与所述目标车辆行驶的目标车道存在交集；
确定所述目标场景区域中的所述异常障碍物的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标场景区域中的所述异常障碍物的位置信息，包括：
根据所述语义分割图像对所述道路场景图像进行掩膜处理，得到语义掩膜；所述语义掩膜用于单独提取所述目标场景区域；
获取所述语义掩膜中的所述目标场景区域的边缘轮廓，得到所述异常障碍物的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述获取所述语义掩膜中的所述目标场景区域的边缘轮廓，得到所述异常障碍物的位置信息，包括：
提取所述语义掩膜中的所述目标场景区域的原始轮廓；
对所述原始轮廓进行平滑处理，得到目标轮廓；
根据所述目标轮廓得到所述异常障碍物的位置信息。
5.根据权利要求4所述的方法，其特征在于，所述语义掩膜还用于提取所述目标车道的车道边缘区域；
所述方法还包括：
在所述语义掩膜中定位所述目标车道的车道边缘区域；
获取所述目标轮廓所包括的区域与所述车道边缘区域的交集面积；
在所述交集面积小于面积阈值时，执行所述根据所述目标轮廓得到所述异常障碍物的位置信息的步骤。
6.根据权利要求1所述的方法，其特征在于，所述对所述道路场景图像进行图像语义分割，得到语义分割图像，包括：
将所述道路场景图像输入图像语义分割模型进行处理；
通过所述图像语义分割模型输出所述语义分割图像；
其中，所述语义分割图像中的各像素点与所述道路场景图像中的各像素点相对应；所述已知语义区域中的各像素点属于预先设置的语义类别，所述未知语义区域中的各像素点不属于所述预先设置的语义类别。
7.根据权利要求6所述的方法，其特征在于，所述图像语义分割模型包括特征提取网络和上采样网络；
所述将所述道路场景图像输入图像语义分割模型进行处理，包括：
将所述道路场景图像输入所述特征提取网络，经过所述特征提取网络中不同尺度的卷积网络层的处理，得到特征信息；
将所述特征信息输入所述上采样网络，经过所述上采样网络中不同尺度的转置卷积网络层的处理，得到所述语义分割图像；所述语义分割图像中的像素点，具有表示所属语义类别的像素值。
8.根据权利要求7所述的方法，其特征在于，每个所述卷积网络层具有相应的、且包括于所述上采样网络的转置卷积网络层，所述卷积网络层输出的特征图与相应的所述转置卷积网络层输出的特征图之间图像尺寸一致；
所述将所述特征信息输入所述上采样网络，经过所述上采样网络中不同尺度的转置卷积网络层的处理，得到所述语义分割图像，包括：
将所述特征信息输入所述上采样网络；
按照所述上采样网络所包括的转置卷积网络层的顺序，将所述上采样网络所包括的转置卷积网络层依次作为当前处理层进行数据处理；
对于每一层当前处理层，根据当前处理层的输出和下一个当前处理层相应的卷积网络层的输出，共同得到下一个当前处理层的输入；
通过末层转置卷积网络层输出所述道路场景图像相应的语义分割图像。
9.根据权利要求1所述的方法，其特征在于，所述确定所述未知语义区域中的异常障碍物的位置信息，包括：
查询所述道路场景图像的采集方式；
确定所述采集方式相应的坐标类型；
根据所述坐标类型生成所述异常障碍物的位置信息。
10.根据权利要求9所述的方法，其特征在于，所述根据所述坐标类型生成所述异常障碍物的位置信息，包括：
在所述坐标类型为二维坐标时，获取所述异常障碍物的坐标点集合；所述坐标点集合是根据所述异常障碍物的边缘像素点的二维坐标确定的；
将所述坐标点集合作为所述异常障碍物的位置信息。
11.根据权利要求9所述的方法，其特征在于，所述根据所述坐标类型生成所述异常障碍物的位置信息，包括：
在所述坐标类型为三维坐标时，获取所述异常障碍物的中心点的三维坐标；
以所述中心点的三维坐标为中心，构建所述异常障碍物的外接包围体，所述外接包围体的尺寸根据所述异常障碍物的尺寸确定；
将所述中心点的三维坐标和所述外接包围体的尺寸，作为所述异常障碍物的位置信息。
12.根据权利要求1所述的方法，其特征在于，所述按照所述位置信息控制所述目标车辆避开所述异常障碍物行驶，包括：
确定所述已知语义区域中的常规障碍物的位置信息；
按照所述异常障碍物的位置信息以及所述常规障碍物的位置信息，控制所述目标车辆避开所述异常障碍物以及所述常规障碍物行驶。
13.一种车辆控制装置，其特征在于，所述装置包括：
获取模块，用于获取目标车辆的道路场景图像；
分割模块，用于对所述道路场景图像进行图像语义分割，得到语义分割图像，所述语义分割图像包括已知语义区域和未知语义区域；
确定模块，用于确定所述未知语义区域中的异常障碍物的位置信息；
控制模块，用于按照所述位置信息控制所述目标车辆避开所述异常障碍物行驶。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202010607555.8A 2020-06-30 2020-06-30 车辆控制方法、装置、计算机设备和计算机可读存储介质 Active CN111666921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010607555.8A CN111666921B (zh) 2020-06-30 2020-06-30 车辆控制方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010607555.8A CN111666921B (zh) 2020-06-30 2020-06-30 车辆控制方法、装置、计算机设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111666921A true CN111666921A (zh) 2020-09-15
CN111666921B CN111666921B (zh) 2022-05-20

Family

ID=72390412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010607555.8A Active CN111666921B (zh) 2020-06-30 2020-06-30 车辆控制方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111666921B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112424793A (zh) * 2020-10-14 2021-02-26 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
CN112464841A (zh) * 2020-12-04 2021-03-09 四川长虹电器股份有限公司 一种用于专用道路违规行驶车辆检测的方法、存储介质
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质
CN112738214A (zh) * 2020-12-24 2021-04-30 郑州嘉晨电器有限公司 一种工业车辆环境重构方法及系统
CN112818910A (zh) * 2021-02-23 2021-05-18 腾讯科技（深圳）有限公司 车辆挡位控制方法、装置、计算机设备和存储介质
CN112902981A (zh) * 2021-01-26 2021-06-04 中国科学技术大学 机器人导航方法和装置
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113821033A (zh) * 2021-09-18 2021-12-21 鹏城实验室 一种无人车路径规划方法、系统及终端
CN113841154A (zh) * 2021-03-30 2021-12-24 华为技术有限公司 一种障碍物检测方法及装置
CN114038197A (zh) * 2021-11-24 2022-02-11 浙江大华技术股份有限公司 场景状态的确定方法、装置、存储介质及电子装置
CN114279451A (zh) * 2020-09-28 2022-04-05 阿里巴巴集团控股有限公司 导航方法、装置、电子设备及存储介质
CN114332140A (zh) * 2022-03-16 2022-04-12 北京文安智能技术股份有限公司 一种交通道路场景图像的处理方法
CN114596698A (zh) * 2020-12-03 2022-06-07 腾讯科技（深圳）有限公司 道路监控设备位置判断方法、装置、存储介质及设备
CN116612194A (zh) * 2023-07-20 2023-08-18 天津所托瑞安汽车科技有限公司 一种位置关系确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107346611A (zh) * 2017-07-20 2017-11-14 北京纵目安驰智能科技有限公司 一种自主驾驶的车辆的避障方法以及避障系统
CN109871787A (zh) * 2019-01-30 2019-06-11 浙江吉利汽车研究院有限公司 一种障碍物检测方法及装置
CN111158359A (zh) * 2019-12-02 2020-05-15 北京京东乾石科技有限公司 障碍物处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107346611A (zh) * 2017-07-20 2017-11-14 北京纵目安驰智能科技有限公司 一种自主驾驶的车辆的避障方法以及避障系统
CN109871787A (zh) * 2019-01-30 2019-06-11 浙江吉利汽车研究院有限公司 一种障碍物检测方法及装置
CN111158359A (zh) * 2019-12-02 2020-05-15 北京京东乾石科技有限公司 障碍物处理方法和装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114279451A (zh) * 2020-09-28 2022-04-05 阿里巴巴集团控股有限公司 导航方法、装置、电子设备及存储介质
CN112424793A (zh) * 2020-10-14 2021-02-26 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
WO2022077264A1 (zh) * 2020-10-14 2022-04-21 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN114596698B (zh) * 2020-12-03 2024-01-23 腾讯科技（深圳）有限公司 道路监控设备位置判断方法、装置、存储介质及设备
CN114596698A (zh) * 2020-12-03 2022-06-07 腾讯科技（深圳）有限公司 道路监控设备位置判断方法、装置、存储介质及设备
CN112464841A (zh) * 2020-12-04 2021-03-09 四川长虹电器股份有限公司 一种用于专用道路违规行驶车辆检测的方法、存储介质
CN112738214A (zh) * 2020-12-24 2021-04-30 郑州嘉晨电器有限公司 一种工业车辆环境重构方法及系统
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质
CN113807354B (zh) * 2020-12-29 2023-11-03 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN112902981A (zh) * 2021-01-26 2021-06-04 中国科学技术大学 机器人导航方法和装置
CN112902981B (zh) * 2021-01-26 2024-01-09 中国科学技术大学 机器人导航方法和装置
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN113011255B (zh) * 2021-02-05 2024-01-16 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN112818910B (zh) * 2021-02-23 2022-03-18 腾讯科技（深圳）有限公司 车辆挡位控制方法、装置、计算机设备和存储介质
CN112818910A (zh) * 2021-02-23 2021-05-18 腾讯科技（深圳）有限公司 车辆挡位控制方法、装置、计算机设备和存储介质
CN113841154A (zh) * 2021-03-30 2021-12-24 华为技术有限公司 一种障碍物检测方法及装置
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN113821033A (zh) * 2021-09-18 2021-12-21 鹏城实验室 一种无人车路径规划方法、系统及终端
CN114038197A (zh) * 2021-11-24 2022-02-11 浙江大华技术股份有限公司 场景状态的确定方法、装置、存储介质及电子装置
CN114332140A (zh) * 2022-03-16 2022-04-12 北京文安智能技术股份有限公司 一种交通道路场景图像的处理方法
CN116612194A (zh) * 2023-07-20 2023-08-18 天津所托瑞安汽车科技有限公司 一种位置关系确定方法、装置、设备及存储介质
CN116612194B (zh) * 2023-07-20 2023-10-20 天津所托瑞安汽车科技有限公司 一种位置关系确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111666921B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN110622177B (zh) 实例分割
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN112947419B (zh) 避障方法、装置及设备
CN115049700A (zh) 一种目标检测方法及装置
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds
CN114097006A (zh) 交叉模态传感器数据对准
Xing et al. Traffic sign recognition using guided image filtering
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
Saleem et al. Steering angle prediction techniques for autonomous ground vehicles: a review
Dewangan et al. Towards the design of vision-based intelligent vehicle system: methodologies and challenges
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
Danapal et al. Sensor fusion of camera and LiDAR raw data for vehicle detection
CN113255779A (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN111008622B (zh) 一种图像对象检测方法、装置以及计算机可读存储介质
Acun et al. D3net (divide and detect drivable area net): deep learning based drivable area detection and its embedded application
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
Piao et al. Lane detection of unstructured roads based on WS-P2PNet
CN112651986B (zh) 环境识别方法、识别装置、识别系统、电子设备及介质
CN112654998B (zh) 一种车道线检测方法和装置
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
CN115431968B (zh) 车辆控制器、车辆及车辆控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028048

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant