CN112232312A - 基于深度学习的自动驾驶方法、装置和电子设备 - Google Patents
基于深度学习的自动驾驶方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112232312A CN112232312A CN202011433827.3A CN202011433827A CN112232312A CN 112232312 A CN112232312 A CN 112232312A CN 202011433827 A CN202011433827 A CN 202011433827A CN 112232312 A CN112232312 A CN 112232312A
- Authority
- CN
- China
- Prior art keywords
- lane
- line
- lane line
- recognition result
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/55—External transmission of data to or from the vehicle using telemetry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于深度学习的自动驾驶方法、装置和电子设备，通过深度学习识别模型基于车辆的前方环境图像输出两种识别结果，第一识别结果标记出车道线，第二识别结果标记每一车道线对应的车道标识。结合第一识别结果和第二识别结果，可以对第一识别结果中每一车道线标记出车道标识，进而在第一识别结果中确定不同车道线所在的线。车道线所在的线为持续的连线，因而可以在任何路况下准确控制车辆行驶在车道内。同时，基于语义分割的第一识别结果识别的车道线具有较高的准确性，误识别率较低，第一识别结果与第二识别结果的结合能够弥补第二识别结果中对车道线的误识别，提高识别结果的准确性，从而有利于准确指导车辆沿着车道行驶。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种基于深度学习的自动驾驶方法、装置和电子设备。
背景技术
自动驾驶和智慧交通可以减少城市拥堵、改善交通状况、减少人为操作失误或者疲劳驾驶而导致的交通事故，还可以解放人类的双手，创造出时间上的第“25”小时，把通勤时间留给人们去思考问题或者读书看报。高精地图是自动驾驶的重要组成部分，车道线是高精地图最重要的要素，视频和图像以成本低及可视化效果好成为高精地图车道线大规模生产的重要数据源。可变化车道的分割线均为单虚线，所以正确进行非连续车道线的实例分割对于高级驾驶辅助系统(AdvancedDriverAssistanceSystems)至关重要。
目前虽然能区分出车道线和路面，但是车道线之间是无差别的，尤其一些车道线是单虚线的情况下，无法区分出虚线中的各短线属于哪一车道线，导致车辆无法识别出其所在车道的车道线，从而无法控制车辆沿着其所在的车道线行驶。例如，由于无法识别各车道线所在线，会将单虚线中实线断开的部分识别为路面，从而导致车辆行驶到这部分路段时无法依据其所在的车道线的位置控制自身沿着车道线行驶，甚至会参照其它车道线控制车的位置，从而导致车辆从当前车道驶出，带来安全隐患。可见，现有技术对车道的识别结果无法准确区分不同的车道线所在的线，导致对车道线的识别结果无法准确指导车辆沿着车道行驶。
发明内容
本发明实施例提供一种基于深度学习的自动驾驶方法、装置和电子设备，用以解决现有技术对车道的识别结果无法准确区分不同的车道线所在的线，导致对车道线的识别结果无法准确指导车辆沿着车道行驶的问题。
针对以上技术问题，第一方面，本发明实施例提供一种基于深度学习的自动驾驶方法，包括：
在行驶过程中获取的前方环境图像；
将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
可选地，所述将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果，包括：
将所述前方环境图像输入深度学习识别模型，由所述深度学习识别模型中的共享特征提取模块对所述前方环境图像进行特征提取，得到共享特征；
由所述识别模型将所述共享特征分别输入所述识别模型中的语义分割模块和实例分割模块，得到由所述语义分割模块执行所述语义分割任务输出的所述第一识别结果和由所述实例分割模块执行所述实例分割任务输出的所述第二识别结果。
可选地，所述将所述前方环境图像输入深度学习识别模型之前，还包括：
获取若干组训练样本；其中，每一组训练样本均包括作为输入样本的车辆的前方环境图像，以及作为输出样本的第一标记结果和第二标记结果；所述第一标记结果标记出了前方环境图像中的车道线；所述第二标记结果标记出了前方环境图像中每一车道线对应的车道标识；
通过所述若干组训练样本对预先构建的初始模型进行训练，得到所述深度学习识别模型；其中，所述初始模型包括用于对输入样本进行特征提取的初始共享特征提取模块、以所述第一标记结果为输出样本的初始语义分割模块和以所述第二标记结果为输出样本的初始实例分割模块。
可选地，所述根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，包括：
对所述第一识别结果中的任一车道线，根据所述任一车道线在所述第一识别结果中的位置，确定所述第二识别结果中与所述任一车道线对应的车道线，作为对应车道线；
根据所述第二识别结果中所述前方环境图像中每一车道线对应的车道标识，确定所述对应车道线对应的车道标识，作为所述任一车道线对应的车道标识。
可选地，所述按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线，包括：
对任一车道标识，根据所述第一识别结果中每一车道线对应的车道标识，将车道标识为所述任一车道标识的所有车道线的连线作为所述任一标识的车道线所在线；
获取所述车辆左侧距所述车辆最近的车道线所在线，作为所述左车道线所在的行车控制线，以及所述车辆右侧距所述车辆最近的车道线所在线，作为所述右车道线所在的行车控制线。
可选地，所述根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶，包括：
获取所述车辆偏离所述左车道线所在的行车控制线的第一距离，以及偏离所述右车道线所在的行车控制线的第二距离；
控制所述车辆的行驶方向，以使得所述第一距离与所述第二距离之间的距离差小于或等于预设距离阈值。
可选地，还包括：
若所述距离差大于所述预设距离阈值，且所述距离差大于所述预设距离阈值的持续时长大于预设时长阈值，则发出告警信息。
第二方面，本发明实施例提供一种基于深度学习的自动驾驶装置，包括：
获取模块，用于在行驶过程中获取的前方环境图像；
识别模块，用于将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
确定模块，用于根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
控制模块，用于根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的基于深度学习的自动驾驶方法的步骤。
第四方面，本发明实施例提供一种非暂态可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一项所述的基于深度学习的自动驾驶方法的步骤。
本发明的实施例提供了一种基于深度学习的自动驾驶方法、装置和电子设备，通过深度学习识别模型基于车辆的前方环境图像输出两种识别结果，第一识别结果标记出车道线，第二识别结果标记每一车道线对应的车道标识。结合第一识别结果和第二识别结果，可以对第一识别结果中每一车道线标记出车道标识，进而在第一识别结果中确定不同车道线所在的线。车道线所在的线为持续的连线，因而可以在任何路况下准确控制车辆行驶在车道内。同时，基于语义分割的第一识别结果识别的车道线具有较高的准确性，误识别率较低，第一识别结果与第二识别结果的结合能够弥补第二识别结果中对车道线的误识别，提高识别结果的准确性，从而有利于准确指导车辆沿着车道行驶。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于深度学习的自动驾驶方法的流程示意图；
图2是本发明另一实施例提供的深度学习识别模型的网络结构示意图；
图3是本发明另一实施例提供的基于深度学习的自动驾驶装置的结构框图；
图4是本发明另一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本实施例提供的基于深度学习的自动驾驶方法的流程示意图，该方法可以由车载的设备执行，或者服务器执行后实时传输到车载的设备来控制车辆行驶。参见图1，该方法：
步骤101：在行驶过程中获取的前方环境图像。
具体地，可以通过安装在车辆前方的至少一个图像采集单元（例如，摄像头）实时采集前方环境图像。
步骤102：将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识。
深度学习识别模型用于基于输入的前方环境图像，分别输出第一识别结果和第二识别结果。
需要说明的是，语义分割任务（Semantic segmentation）需要预测出输入图像的每一个像素点属于哪一类的标签。实例分割任务（instance segmentation）在语义分割的基础上，还需要区分出同一类不同的个体。
通过深度学习识别模型基于同一前方环境图像输出两种识别结果，一种识别结果仅标记出车道线（即语义分割，仅区分车道线和路面），另一种识别结果需标记出每一车道线对应的车道标识（例如，对于车辆左侧的车道线，按照与车辆距离由近及远对应的车道标识依次为“左1”、“左2”、“左3”，对于车辆右侧的车道线，按照与车辆距离由近及远对应的车道标识依次为“右1”、“右2”、“右3”）。
第一识别结果由于仅需区分出车道线，识别结果较为简单，识别结果也就有更高的准确性。第二识别结果不仅需要区分车道线还要区分每一车道线对应的车道标识，识别结果较为复杂，则识别的精准度也较低，例如，第二识别结果可能会将一些路面损坏处、路边等识别为车道线。本实施例中，将第一识别记结果和第二识别结果结合，能够在识别准确性较高的第一识别结果中标记出每一车道线对应的车道标识。
步骤103：根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
步骤104：根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
通过第一识别结果和第二识别结果能够确定车辆最近的左车道线所在的行车控制线，以及右车道线所在的行车控制线。车道线所在的线为持续的连线，可以在任何特殊的情况下指导车辆沿着车道线行驶，而不受其他车道线的干扰。例如，即便是对于单虚线的车道线，在实线断开的部分也不会将其它车道线误认为是车辆某一侧最近的一条车道线，从而使得车辆偏离车道。
本实施例提供了一种基于深度学习的自动驾驶方法，通过深度学习识别模型基于车辆的前方环境图像输出两种识别结果，第一识别结果标记出车道线，第二识别结果标记每一车道线对应的车道标识。结合第一识别结果和第二识别结果，可以对第一识别结果中每一车道线标记出车道标识，进而在第一识别结果中确定不同车道线所在的线。车道线所在的线为持续的连线，因而可以在任何路况下准确控制车辆行驶在车道内。同时，基于语义分割的第一识别结果识别的车道线具有较高的准确性，误识别率较低，第一识别结果与第二识别结果的结合能够弥补第二识别结果中对车道线的误识别，提高识别结果的准确性，从而有利于准确指导车辆沿着车道行驶。
进一步地，在上述实施例的基础上，所述将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果，包括：
将所述前方环境图像输入深度学习识别模型，由所述深度学习识别模型中的共享特征提取模块对所述前方环境图像进行特征提取，得到共享特征；
由所述识别模型将所述共享特征分别输入所述识别模型中的语义分割模块和实例分割模块，得到由所述语义分割模块执行所述语义分割任务输出的所述第一识别结果和由所述实例分割模块执行所述实例分割任务输出的所述第二识别结果。
图2为本实施例提供的深度学习识别模型的网络结构示意图，参见图2，在提取共享特征之后，分别将共享特征输入语义分割模块和实例分割模块，得到两种不同的识别结果。其中，语义分割模块和实例分割模块可以均为神经网络类型的模型。
本实施例中，通过深度学习识别模型中的语义分割模块和实例分割模块实现了对同一前方环境图像输出两种识别结果。共用的共享特征提取模块也简化了模型的网络结构。
关于深度学习识别模型的训练，进一步地，在上述各实施例的基础上，所述将所述前方环境图像输入深度学习识别模型之前，还包括：
获取若干组训练样本；其中，每一组训练样本均包括作为输入样本的车辆的前方环境图像，以及作为输出样本的第一标记结果和第二标记结果；所述第一标记结果标记出了前方环境图像中的车道线；所述第二标记结果标记出了前方环境图像中每一车道线对应的车道标识；
通过所述若干组训练样本对预先构建的初始模型进行训练，得到所述深度学习识别模型；其中，所述初始模型包括用于对输入样本进行特征提取的初始共享特征提取模块、以所述第一标记结果为输出样本的初始语义分割模块和以所述第二标记结果为输出样本的初始实例分割模块。
模型训练过程中，可以通过相关的软件对输入样本进行标记，例如，第一标记结果将车道线所在的像素点标记为1，将其它部分标记为0。第二标记结果中，将车辆左侧，与车辆最近的车道线（即“左一”）标记为1、与车辆次近的车道线（即“左二”）标记为3。将车辆右侧，与车辆最近的车道线（即“右一”）标记为2、与车辆次近的车道线（即“右二”）标记为4。
可理解的是，深度学习识别模型进行过训练之后，初始共享特征提取模块将成为识别模型中的共享特征提取模块，初始语义分割模块将成为识别模型中的语义分割模块，初始实例分割模块将成为识别模型中的实例分割模块。
本实施例中，通过训练样本的标记实现了对初始模型的训练，得到深度学习识别模型，通过深度学习识别模型能够实现对前方环境图像输出两种识别结果，进而结合两种识别结果控制车辆行驶。
进一步地，在上述各实施例的基础上，所述根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，包括：
对所述第一识别结果中的任一车道线，根据所述任一车道线在所述第一识别结果中的位置，确定所述第二识别结果中与所述任一车道线对应的车道线，作为对应车道线；
根据所述第二识别结果中所述前方环境图像中每一车道线对应的车道标识，确定所述对应车道线对应的车道标识，作为所述任一车道线对应的车道标识。
由于第一识别结果和第二识别结果是基于同一图像识别得到的，因此图像中各物体的位置是相对应的，通过这种相对应的位置关系，能够使得第一识别结果中每一车道线均能在第二识别模型中找到与之对应的，具有车道标识的车道线，进而确定出第一识别结果中的每一车道线的车道标识。
进一步地，在上述各实施例的基础上，所述按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线，包括：
对任一车道标识，根据所述第一识别结果中每一车道线对应的车道标识，将车道标识为所述任一车道标识的所有车道线的连线作为所述任一标识的车道线所在线；
获取所述车辆左侧距所述车辆最近的车道线所在线，作为所述左车道线所在的行车控制线，以及所述车辆右侧距所述车辆最近的车道线所在线，作为所述右车道线所在的行车控制线。
相同车道标识的车道线标记的是显示路面中的同一车道线，因此通过车道标识能够将每一车道线所在线还原出来，进而即便在一些特殊的路况下，由于每一车道线均是连续的线，也能准确区分不同车道线，从而正确指导车辆的行驶过程。
进一步地，在上述各实施例的基础上，所述根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶，包括：
获取所述车辆偏离所述左车道线所在的行车控制线的第一距离，以及偏离所述右车道线所在的行车控制线的第二距离；
控制所述车辆的行驶方向，以使得所述第一距离与所述第二距离之间的距离差小于或等于预设距离阈值。
在控制车辆行驶过程中，可以通过车道线分别偏离左车道线所在的行车控制线和右车道线所在的行车控制线的距离，来判断车辆是否正在沿着车道线正常行驶。
具体计算过程中，可以取车辆沿着道路延伸方向上的中线上的某一点与左车道线所在的行车控制线的距离作为第一距离，取该点与右车道线所在的行车控制线的距离作为第二距离。也可以取车辆左侧任一车轮与左车道线所在的行车控制线的距离作为第一距离，取车辆右侧任一车轮与右车道线所在的行车控制线的距离作为第二距离，本实施例对此不做具体限制。
本实施例中，通过第一距离和第二距离之间的距离差确定控制车辆沿着车道行驶，有利于使得车辆沿着车道正中线行驶，降低车辆行驶对其它车道上车辆的影响，提高了车辆行驶的安全性。
进一步地，在上述各实施例的基础上，还包括：
若所述距离差大于所述预设距离阈值，且所述距离差大于所述预设距离阈值的持续时长大于预设时长阈值，则发出告警信息。
进一步地，还可以控制车辆紧急停车。本实施例中的告警信息可以通过车辆中的报警设备（例如，报警灯、语音报警设备等）发出，以使得车主及时通过人工驾驶保证行车安全。
本实施例中，当距离差大于预设距离阈值的持续时长大于预设时长阈值，说明车辆确实偏离了车道，及时发出告警信息有利于保持车辆安全。
具体来说，本实施例提供的方法可以应用于自动驾驶领域，当前自动驾驶中的车道保持功能主要依靠高精地图和实时车道线识别的融合实现。车道线的识别属于地面解析的一部分，地面解析算法的输入源主要是普通摄像头或者激光雷达两种。当前基于普通摄像头的识别方法主要是采用传统图像设计特征（SIFT,HOG,Harr等特征），使用传统机器学习的方法（SVM，随机森林）进行分类检测。传统方法在复杂环境下及远处目标识别方面有不足，一旦遇到不同场景，传统方法的算子可能会失效，导致检测失效。
基于此，本实施例提供的方法包括：行车记录仪采集大量道路视频数据；收集行车记录仪的采集的视频数据，大数据标注（车道线、箭头等目标），作为大数据训练样本。使用图像卷积神经网络训练数据，生成模型参数文件；基于图像神经网络训练数据样本，当评价指标MIoU（平均交并比）趋于平稳的时候表示训练趋于收敛，获得一个最佳的模型参数文件。通过模型实现车道线的识别，并根据识别的车道线控制车辆行驶。
图3为本实施例提供的基于深度学习的自动驾驶装置的结构框图，参见图3，该基于深度学习的自动驾驶装置包括获取模块301、识别模块302、确定模块303和控制模块304，其中，
获取模块301，用于在行驶过程中获取的前方环境图像；
识别模块302，用于将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
确定模块303，用于根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
控制模块304，用于根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
本实施例提供的基于深度学习的自动驾驶装置适用于上述各实施例提供的基于深度学习的自动驾驶方法，在此不再赘述。
本实施例提供了一种基于深度学习的自动驾驶装置，通过深度学习识别模型基于车辆的前方环境图像输出两种识别结果，第一识别结果标记出车道线，第二识别结果标记每一车道线对应的车道标识。结合第一识别结果和第二识别结果，可以对第一识别结果中每一车道线标记出车道标识，进而在第一识别结果中确定不同车道线所在的线。车道线所在的线为持续的连线，因而可以在任何路况下准确控制车辆行驶在车道内。同时，基于语义分割的第一识别结果识别的车道线具有较高的准确性，误识别率较低，第一识别结果与第二识别结果的结合能够弥补第二识别结果中对车道线的误识别，提高识别结果的准确性，从而有利于准确指导车辆沿着车道行驶。
可选地，所述将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果，包括：
将所述前方环境图像输入深度学习识别模型，由所述深度学习识别模型中的共享特征提取模块对所述前方环境图像进行特征提取，得到共享特征；
由所述识别模型将所述共享特征分别输入所述识别模型中的语义分割模块和实例分割模块，得到由所述语义分割模块执行所述语义分割任务输出的所述第一识别结果和由所述实例分割模块执行所述实例分割任务输出的所述第二识别结果。
可选地，所述将所述前方环境图像输入深度学习识别模型之前，还包括：
获取若干组训练样本；其中，每一组训练样本均包括作为输入样本的车辆的前方环境图像，以及作为输出样本的第一标记结果和第二标记结果；所述第一标记结果标记出了前方环境图像中的车道线；所述第二标记结果标记出了前方环境图像中每一车道线对应的车道标识；
通过所述若干组训练样本对预先构建的初始模型进行训练，得到所述深度学习识别模型；其中，所述初始模型包括用于对输入样本进行特征提取的初始共享特征提取模块、以所述第一标记结果为输出样本的初始语义分割模块和以所述第二标记结果为输出样本的初始实例分割模块。
可选地，所述根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，包括：
对所述第一识别结果中的任一车道线，根据所述任一车道线在所述第一识别结果中的位置，确定所述第二识别结果中与所述任一车道线对应的车道线，作为对应车道线；
根据所述第二识别结果中所述前方环境图像中每一车道线对应的车道标识，确定所述对应车道线对应的车道标识，作为所述任一车道线对应的车道标识。
可选地，所述按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线，包括：
对任一车道标识，根据所述第一识别结果中每一车道线对应的车道标识，将车道标识为所述任一车道标识的所有车道线的连线作为所述任一标识的车道线所在线；
获取所述车辆左侧距所述车辆最近的车道线所在线，作为所述左车道线所在的行车控制线，以及所述车辆右侧距所述车辆最近的车道线所在线，作为所述右车道线所在的行车控制线。
可选地，所述根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶，包括：
获取所述车辆偏离所述左车道线所在的行车控制线的第一距离，以及偏离所述右车道线所在的行车控制线的第二距离；
控制所述车辆的行驶方向，以使得所述第一距离与所述第二距离之间的距离差小于或等于预设距离阈值。
可选地，还包括：
若所述距离差大于所述预设距离阈值，且所述距离差大于所述预设距离阈值的持续时长大于预设时长阈值，则发出告警信息。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：
在行驶过程中获取的前方环境图像；
将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
在行驶过程中获取的前方环境图像；
将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
另一方面，本发明实施例还提供一种非暂态可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
在行驶过程中获取的前方环境图像；
将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的自动驾驶方法，其特征在于，包括：
在行驶过程中获取的前方环境图像；
将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
2.根据权利要求1所述的基于深度学习的自动驾驶方法，其特征在于，所述将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果，包括：
将所述前方环境图像输入深度学习识别模型，由所述深度学习识别模型中的共享特征提取模块对所述前方环境图像进行特征提取，得到共享特征；
由所述识别模型将所述共享特征分别输入所述识别模型中的语义分割模块和实例分割模块，得到由所述语义分割模块执行所述语义分割任务输出的所述第一识别结果和由所述实例分割模块执行所述实例分割任务输出的所述第二识别结果。
3.根据权利要求2所述的基于深度学习的自动驾驶方法，其特征在于，所述将所述前方环境图像输入深度学习识别模型之前，还包括：
获取若干组训练样本；其中，每一组训练样本均包括作为输入样本的车辆的前方环境图像，以及作为输出样本的第一标记结果和第二标记结果；所述第一标记结果标记出了前方环境图像中的车道线；所述第二标记结果标记出了前方环境图像中每一车道线对应的车道标识；
通过所述若干组训练样本对预先构建的初始模型进行训练，得到所述深度学习识别模型；其中，所述初始模型包括用于对输入样本进行特征提取的初始共享特征提取模块、以所述第一标记结果为输出样本的初始语义分割模块和以所述第二标记结果为输出样本的初始实例分割模块。
4.根据权利要求1所述的基于深度学习的自动驾驶方法，其特征在于，所述根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，包括：
对所述第一识别结果中的任一车道线，根据所述任一车道线在所述第一识别结果中的位置，确定所述第二识别结果中与所述任一车道线对应的车道线，作为对应车道线；
根据所述第二识别结果中所述前方环境图像中每一车道线对应的车道标识，确定所述对应车道线对应的车道标识，作为所述任一车道线对应的车道标识。
5.根据权利要求1所述的基于深度学习的自动驾驶方法，其特征在于，所述按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线，包括：
对任一车道标识，根据所述第一识别结果中每一车道线对应的车道标识，将车道标识为所述任一车道标识的所有车道线的连线作为所述任一标识的车道线所在线；
获取所述车辆左侧距所述车辆最近的车道线所在线，作为所述左车道线所在的行车控制线，以及所述车辆右侧距所述车辆最近的车道线所在线，作为所述右车道线所在的行车控制线。
6.根据权利要求1所述的基于深度学习的自动驾驶方法，其特征在于，所述根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶，包括：
获取所述车辆偏离所述左车道线所在的行车控制线的第一距离，以及偏离所述右车道线所在的行车控制线的第二距离；
控制所述车辆的行驶方向，以使得所述第一距离与所述第二距离之间的距离差小于或等于预设距离阈值。
7.根据权利要求6所述的基于深度学习的自动驾驶方法，其特征在于，还包括：
若所述距离差大于所述预设距离阈值，且所述距离差大于所述预设距离阈值的持续时长大于预设时长阈值，则发出告警信息。
8.一种基于深度学习的自动驾驶装置，其特征在于，包括：
获取模块，用于在行驶过程中获取的前方环境图像；
识别模块，用于将所述前方环境图像输入深度学习识别模型，得到由所述深度学习识别模型通过语义分割任务确定的第一识别结果，以及通过实例分割任务确定的第二识别结果；其中，所述第一识别结果中包括所述前方环境图像中的车道线，所述第二识别结果中包括所述前方环境图像中每一车道线对应的车道标识；
确定模块，用于根据所述前方环境图像中每一车道线对应的车道标识确定所述第一识别结果中每一车道线对应的车道标识，按照所述第一识别结果中每一车道线对应的车道标识获得距离当前车辆最近的左车道线所在的行车控制线和距离当前车辆最近的右车道线所在的行车控制线；
控制模块，用于根据所述左车道线所在的行车控制线和所述右车道线所在的行车控制线控制所述车辆沿车道行驶。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于深度学习的自动驾驶方法的步骤。
10.一种非暂态可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的自动驾驶方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433827.3A CN112232312A (zh) | 2020-12-10 | 2020-12-10 | 基于深度学习的自动驾驶方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433827.3A CN112232312A (zh) | 2020-12-10 | 2020-12-10 | 基于深度学习的自动驾驶方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232312A true CN112232312A (zh) | 2021-01-15 |
Family
ID=74124102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011433827.3A Pending CN112232312A (zh) | 2020-12-10 | 2020-12-10 | 基于深度学习的自动驾驶方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232312A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240816A (zh) * | 2022-02-24 | 2022-03-25 | 魔门塔(苏州)科技有限公司 | 道路环境感知方法、装置、存储介质、电子设备及车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102785661A (zh) * | 2012-08-20 | 2012-11-21 | 深圳先进技术研究院 | 车道偏离控制系统及方法 |
| CN106828489A (zh) * | 2017-02-14 | 2017-06-13 | 中国科学院自动化研究所 | 一种车辆行驶控制方法及装置 |
| CN109670376A (zh) * | 2017-10-13 | 2019-04-23 | 神州优车股份有限公司 | 车道线识别方法及系统 |
| CN111274926A (zh) * | 2020-01-17 | 2020-06-12 | 深圳佑驾创新科技有限公司 | 图像数据筛选方法、装置、计算机设备和存储介质 |
| CN111401150A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于实例分割和自适应变换算法的多车道线检测方法 |
-
2020
- 2020-12-10 CN CN202011433827.3A patent/CN112232312A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102785661A (zh) * | 2012-08-20 | 2012-11-21 | 深圳先进技术研究院 | 车道偏离控制系统及方法 |
| CN106828489A (zh) * | 2017-02-14 | 2017-06-13 | 中国科学院自动化研究所 | 一种车辆行驶控制方法及装置 |
| CN109670376A (zh) * | 2017-10-13 | 2019-04-23 | 神州优车股份有限公司 | 车道线识别方法及系统 |
| CN111274926A (zh) * | 2020-01-17 | 2020-06-12 | 深圳佑驾创新科技有限公司 | 图像数据筛选方法、装置、计算机设备和存储介质 |
| CN111401150A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于实例分割和自适应变换算法的多车道线检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240816A (zh) * | 2022-02-24 | 2022-03-25 | 魔门塔(苏州)科技有限公司 | 道路环境感知方法、装置、存储介质、电子设备及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11840239B2 (en) | Multiple exposure event determination | |
| EP3533681B1 (en) | Method for detecting safety of driving behavior, apparatus and storage medium | |
| CN109426801B (zh) | 一种车道线实例检测方法和装置 | |
| EP4120215A1 (en) | Method for identifying abnormal driving behavior | |
| KR102453627B1 (ko) | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 | |
| CN110400478A (zh) | 一种路况通知方法及装置 | |
| CN111815959B (zh) | 一种车辆违章的检测方法、装置以及计算机可读存储介质 | |
| CN105620489A (zh) | 驾驶辅助系统及车辆实时预警提醒方法 | |
| CN107944425A (zh) | 道路标志的识别方法和装置 | |
| CN114418895A (zh) | 驾驶辅助方法及装置、车载设备及存储介质 | |
| CN112793567A (zh) | 一种基于路况检测的辅助驾驶方法及系统 | |
| CN113469115A (zh) | 用于输出信息的方法和装置 | |
| CN112232312A (zh) | 基于深度学习的自动驾驶方法、装置和电子设备 | |
| CN106504542A (zh) | 车速智能监控方法和系统 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN116580551A (zh) | 车辆驾驶行为评估方法、装置、设备及存储介质 | |
| CN113538968B (zh) | 用于输出信息的方法和装置 | |
| CN107452230A (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
| CN113183982A (zh) | 车辆的行驶路线的生成方法及装置、自动驾驶车辆 | |
| CN113085861A (zh) | 自动驾驶车辆的控制方法及装置、自动驾驶车辆 | |
| CN112686127A (zh) | 基于gm-hmm的驾驶员超车意图识别方法 | |
| Dopfer et al. | What can we learn from accident videos? | |
| Stepanyants et al. | A Pipeline for Traffic Accident Dataset Development | |
| CN112132115B (zh) | 一种图像筛选方法及装置 | |
| Jayawardena et al. | Development of An Image Processing Based Driver Assistance System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210115 |
|
| RJ01 | Rejection of invention patent application after publication |