CN112078593A - 基于多种网络协同模型的自动驾驶系统及方法 - Google Patents

基于多种网络协同模型的自动驾驶系统及方法 Download PDF

Info

Publication number
CN112078593A
CN112078593A CN202010724471.2A CN202010724471A CN112078593A CN 112078593 A CN112078593 A CN 112078593A CN 202010724471 A CN202010724471 A CN 202010724471A CN 112078593 A CN112078593 A CN 112078593A
Authority
CN
China
Prior art keywords
automatic driving
models
network model
trained
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010724471.2A
Other languages
English (en)
Other versions
CN112078593B (zh
Inventor
公茂果
汪昆
王钊
梁爽
王善峰
武越
张明阳
李豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010724471.2A priority Critical patent/CN112078593B/zh
Publication of CN112078593A publication Critical patent/CN112078593A/zh
Application granted granted Critical
Publication of CN112078593B publication Critical patent/CN112078593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于多种网络协同模型的自动驾驶系统和方法，其系统包括自动驾驶控制装置、图像采集装置、存储器和处理器，其中，图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求；存储器接收查询请求，并将目标图片输入至少三个预先训练的不同类型的网络模型；每个预先训练的网络模型对目标图片分类后输出各自的分类结果；处理器接收并汇总各自的分类结果，输出识别结果；自动驾驶控制装置根据识别结果控制车辆自动驾驶。本发明的方案基于多种网络模型协同判断，避免了单一模型会受到对抗样本欺骗的问题，目标信息不会受到污染，会被正确识别，对于自动驾驶来说，具有非常高的安全性和可靠性。

Description

基于多种网络协同模型的自动驾驶系统及方法
技术领域
本发明属于机器学习技术领域，具体涉及一种基于多种网络协同模型的自动驾驶系统和方法。
背景技术
自动驾驶汽车(Autonomous vehicles；Self-driving automobile)又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。
自动驾驶技术包括视频摄像头、雷达传感器以及激光测距器来了解周围的交通状况，并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。自动驾驶汽车对社会、驾驶员和行人均有益处，是未来汽车的一个重要发展方向。
自动驾驶汽车上的摄像机通过能够实时目标识别的网络模型，会把拍到的场景中的人、车、障碍物、红绿灯、路标等信息识别出来。但目前的目标识别网络模型可能会受到攻击者训练的对抗样本的欺骗，这对安全性要求极高的自动驾驶系统而言是致命的。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于多种网络协同模型的自动驾驶系统和方法。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明实施例提供了一种基于多种网络协同模型的自动驾驶系统，包括自动驾驶控制装置、图像采集装置、存储器和处理器，其中，
所述图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求；
所述存储器接收所述查询请求，并将所述目标图片输入至少三个预先训练的不同类型的网络模型；所述至少三个预先训练的不同类型的网络模型存储于所述存储器；
每个预先训练的网络模型对所述目标图片分类后输出各自的分类结果；
所述处理器接收并汇总所述各自的分类结果，输出识别结果；
所述自动驾驶控制装置根据所述识别结果控制车辆自动驾驶。
可选的，所述图像采集装置包括图像传感器和目标识别网络模型，所述图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。
可选的，所述处理器接收并汇总所述分类结果，输出识别结果；包括：
所述处理器接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；
将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；
将投票总数最多的类别作为所述识别结果输出。
可选的，所述预先训练的不同类型的网络模型包括监督学习网络模型、半监督学习网络模型、无监督网络模型和小样本学习模型中的至少一种。
可选的，所述目标图片为包含路标、行人、车辆、障碍物、红绿灯信息的图片。
第二方面，本发明实施例还提供了一种基于多种网络协同模型的自动驾驶方法，包括：
图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求；
存储器在接收到所述查询请求后，并将所述目标图片输入至少三个预先训练的不同类型的网络模型；所述至少三个预先训练的不同类型的网络模型存储于所述存储器；
每个预先训练的网络模型对所述目标图片分类后输出各自的分类结果；
处理器接收并汇总所述各自的分类结果，输出识别结果；
自动驾驶控制装置根据所述识别结果控制车辆自动驾驶。
可选地，所述图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求，包括：
所述图像采集装置包括图像传感器和目标识别网络模型，所述图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。
可选的，所述处理器接收并汇总所述分类结果，输出识别结果；包括：
所述处理器接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；
将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；
将投票总数最多的类别作为所述识别结果输出。
可选的，所述预先训练的不同类型的网络模型包括监督学习网络模型、半监督学习网络模型、无监督网络模型和小样本学习模型中的至少一种。
可选的，所述目标图片为包含路标、行人、车辆、障碍物、红绿灯信息的图片。
与现有技术相比，本发明的有益效果：本发明的方案通过采用至少三个预先训练的不同类型的网络模型对目标图片进行分类，基于多种网络模型协同判断，避免了单一模型会受到对抗样本欺骗的问题，目标信息不会受到污染，会被正确识别，对于自动驾驶来说，具有非常高的安全性和可靠性。
附图说明
图1是本发明实施例提供的基于多种网络协同模型的自动驾驶系统的结构示意图；
图2是本发明实施例提供的基于多种网络协同模型的自动驾驶方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在以下的描述中，涉及到“一些实施例”和“本发明实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”和“本发明实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)自动驾驶系统(Autopilot system，ATO)，是指车辆驾驶员执行的工作完全自动化的、高度集中控制的车辆运行系统。自动驾驶系统具备车辆自动唤醒启动和休眠、自动出入停车场、自动清洗、自动行驶、自动停车、自动开关车门、故障自动恢复等功能，并具有常规运行、降级运行、运行中断等多种运行模式。实现全自动运营可以节省能源，优化系统能耗和速度的合理匹配。自动驾驶系统相关的关键技术，包括环境感知、逻辑推理和决策、运动控制、处理器性能等。随着机器视觉(如3D摄像头技术)、模式识别软件(如光学字符识别程序)和光达系统(已结合全球定位技术和空间数据)的进步，车载计算机可以通过将机器视觉、感应器数据和空间数据相结合来控制汽车的行驶。
2)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
3)机器学习(Machine Learning，ML)，是一种实现人工智能的方法。机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分，机器学习算法可以分为监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习。
4)小样本学习(Few-shot Learning)，是元学习在监督学习领域的应用。在元训练阶段将数据集分解为不同的元任务，去学习类别变化的情况下模型的泛化能力，在元测试阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。小样本学习所解决的问题是机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。
5)半监督学习(Semi-Supervised Learning，SSL)，是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用少量的标记数据，来进行模式识别工作。半监督学习的基本思想是利用数据分布上的模型假设建立学习器对未标签样例进行标签。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的精确度。
6)监督学习：是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。这就要求学习算法是在一种“合理”的方式从一种从训练数据到看不见的情况下形成。
7)无监督学习：无监督学习是指一个数据集，我们不知道要拿他来干嘛，也不知道每个数据样本数据点是什么，我们只被告知这是一个数据集，那么对于一个这样的数据集，无监督学习只能判断数据集中的存在的数据子集，并且把其划分为各个簇，对于无监督学习，我们不能事先知道这些数据能带给我们什么样的信息，只有在学习后我们才能大概得出结论。
请参见图1，图1是本发明实施例提供的一种基于多种网络协同模型的自动驾驶系统的结构示意图。如图1所示的基于多种网络协同模型的自动驾驶系统，包括自动驾驶控制装置400、图像采集装置100、存储器200和处理器300；其中，
图像采集装置100采集道路实时图片，并在识别出目标图片时提出查询请求。存储器200接收查询请求，并将目标图片输入至少三个预先训练的不同类型的网络模型；至少三个预先训练的不同类型的网络模型存储于存储器200；每个预先训练的网络模型对目标图片分类后输出各自的分类结果；处理器300接收并汇总各自的分类结果，输出识别结果；自动驾驶控制装置400根据识别结果控制车辆自动驾驶。
本发明实施例的图像采集装置100，可以包括图像传感器和目标识别网络模型，该图像传感器可以是CCD图像传感器，其可以提供很好的图像质量和抗噪能力，对于安全性要求极高的自动驾驶系统是非常必要的；同时还具有和图像采集装置100其它部件配合设计时的灵活性，对于自动驾驶车内的图像采集装置100的整体集成设计比较有利。
目标识别网络模型可以是现有的任一种目标识别或检测网络模型，比如RCNN系列、Mask-RCNN、R-FCN、YOLO、SSD、FPN等，只要满足能识别出指定的目标图片即可。目标识别网络可与CCD图像传感器集成为一体，图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。查询请求也即对目标图片进行正确分类的请求。
道路实时图片是包含道路一些实时信息的图片；目标图片可以为包含路标、行人、车辆、障碍物、红绿灯的图片。当单一的目标识别网络模型受到对抗样本欺骗时，这些目标图片信息就容易收到污染，从而影响自动驾驶控制装置400的判断。
进一步地，处理器300接收并汇总分类结果，输出识别结果；包括：处理器300接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；将投票总数最多的类别作为识别结果输出。
进一步地，本发明实施例中至少三个预先训练的不同类型的网络模型可以包括监督学习网络模型、半监督学习网络模型、无监督学习网络模型和小样本学习模型中的至少一种。其中，监督学习网络模型可以是支持向量机模型、线性回归模型、逻辑回归模型等；半监督学习网络模型优选为 Mixmatch模型；无监督网络模型优选为无监督数据增强(UDA)模型，小样本学习模型可以是原型网络模型、孪生网络模型、匹配网络模型。
本发明实施例的至少三个预先训练的不同类型的网络模型，可以是监督学习网络模型、半监督学习网络模型、无监督学习网络模型或小样本学习模型中的至少三种的组合，比如，支持向量机模型、Mixmatch模型、原型网络模型的组合，或者线性回归模型、Mixmatch模型和无监督数据增强 (UDA)模型和孪生网络模型的组合；也可以是每种模型中的不同类型的模型与其它网络模型的组合，比如，线性回归模型、逻辑回归模型和无监督数据增强(UDA)模型的组合；也可以是同一种网络模型的不同类型，比如，支持向量机模型、线性回归模型、逻辑回归模型的组合。
此外，为了保证预先训练的不同类型的网络模型识别的精度，优先采用支持向量机模型、线性回归模型、逻辑回归模型、Mixmatch模型、无监督数据增强(UDA)模型的组合。为了保证安全性，各模型的训练应使用尽可能多的样本训练得出精度尽可能高的模型。这些模型的组合使用大量的路标、行人、车辆、障碍物、红路灯等训练样本来训练后，不但有利于每个模型识别的精度的提高，更有利于这些模型的组合的整体的识别能力得到提高，更有利于抵抗对抗样本的欺骗。
对抗样本是在机器学习的数据集中通过故意添加细微的干扰所形成的输入样本，导致模型以高置信度给出一个错误的输出。包括卷积神经网络在内的深度学习模型对于对抗样本都具有极高的脆弱性。很多情况下，在训练集的不同子集上训练得到的具有不同结构的模型都会对相同的对抗样本实现误分，这意味着对抗样本成为了训练算法的一个盲点。比如，在精度达到人类水平的神经网络上通过优化过程故意构造数据点，其上的误差率接近100％，模型在这个输入点x′的输出与附近的数据点x非常不同。在许多情况下，x′与x非常近似，人类观察者不会察觉原始样本和对抗样本之间的差异，但是网络会作出非常不同的预测。因此，目前的分类模型均很难避免对抗样本的欺骗。当自动驾驶系统采用单一的分类模型时，由于对抗样本的存在很容易造成目标图片的污染，从而欺骗自动驾驶系统。
而本发明通过在识别出目标图片后再使用至少三个分类模型进行投票分类，针对抗样本对特定模型的干扰提出了一个可行的框架，增加分类结果的准确性，可以排除对抗样本对自动驾驶系统的影响。
请参见图2，图2是本发明实施例提供的一种基于多种网络协同模型的自动驾驶方法。如图2所示的基于多种网络协同模型的自动驾驶方法，包括：
S101、图像采集装置100采集道路实时图片，并在识别出目标图片时提出查询请求。
图像采集装置100，可以包括图像传感器和目标识别网络模型，该图像传感器可以是CCD图像传感器，其可以提供很好的图像质量和抗噪能力，对于安全性要求极高的自动驾驶系统是非常必要的；同时还具有和图像采集装置100其它部件配合设计时的灵活性，对于自动驾驶车内的图像采集装置100的整体集成设计比较有利。
目标识别网络模型可以是现有的任一种目标识别或检测网络模型，比如RCNN系列、Mask-RCNN、R-FCN、YOLO、SSD、FPN等，只要满足能识别出指定的目标图片即可。目标识别网络可与CCD图像传感器集成为一体，图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。查询请求也即对目标图片进行正确分类的请求。
道路实时图片是包含道路一些实时信息的图片；目标图片可以为包含路标、行人、车辆、障碍物、红绿灯的图片。当单一的目标识别网络模型受到对抗样本欺骗时，这些目标图片信息就容易收到污染，从而影响自动驾驶控制装置400的判断。
S102、存储器200在接收到查询请求后，并将目标图片输入至少三个预先训练的不同类型的网络模型；至少三个预先训练的不同类型的网络模型存储于存储器200。
进一步地，本发明实施例中至少三个预先训练的不同类型的网络模型可以包括监督学习网络模型、半监督学习网络模型、无监督学习网络模型和小样本学习模型中的至少一种。其中，小样本学习模型可以是原型网络模型、孪生网络模型、匹配网络模型；监督学习网络模型可以是支持向量机模型、线性回归模型、逻辑回归模型等；半监督学习网络模型优选为 Mixmatch模型；无监督网络模型优选为无监督数据增强(UDA)模型。
本发明实施例的至少三个预先训练的不同类型的网络模型，可以是监督学习网络模型、半监督学习网络模型、无监督学习网络模型或小样本学习模型中的至少三种的组合，比如，支持向量机模型、Mixmatch模型、原型网络模型的组合，或者线性回归模型、Mixmatch模型和无监督数据增强 (UDA)模型和孪生网络模型的组合；也可以是每种模型中的不同类型的模型与其它网络模型的组合，比如，线性回归模型、逻辑回归模型和无监督数据增强(UDA)模型的组合；也可以是同一种网络模型的不同类型，比如，支持向量机模型、线性回归模型、逻辑回归模型的组合。
此外，为了保证预先训练的不同类型的网络模型识别的精度，优先采用支持向量机模型、线性回归模型、逻辑回归模型、Mixmatch模型、无监督数据增强(UDA)模型的组合。为了保证安全性，各模型的训练应使用尽可能多的样本训练得出精度尽可能高的模型。这些模型的组合使用大量的路标、行人、车辆、障碍物、红路灯等训练样本来训练后，不但有利于每个模型识别的精度的提高，更有利于这些模型的组合的整体的识别能力得到提高，更有利于抵抗对抗样本的欺骗。
S103、每个预先训练的网络模型对目标图片分类后输出各自的分类结果。
将目标图片输入至少三个不同类型的预先训练的网络模型进行投票分类，输出各自的投票分类结果。
S104、处理器300接收并汇总各自的分类结果，输出识别结果。具体包括：
S1041、处理器300接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；
S1042、将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；
S1043、将投票总数最多的类别作为识别结果输出。
S105、自动驾驶控制装置400根据识别结果控制车辆自动驾驶。
需要说明的是，本发明的主要改进点在于针对单一分类、识别网络会产生的对抗样本所带来的问题做出的改进，而基于该识别结果的自动驾驶控制装置400如何控制车辆自动驾驶并不属于本发明的改进范围，可以结合现有技术中的自动驾驶控制装置400根据识别的目标图片信息控制车辆自动驾驶的相关技术来实现。
下面结合具体的算法框架对本发明的自动驾驶方法中的分类识别过程进行说明。
设P是分类网络个数，P≥3；Modi是第i个分类网络模型，其中i∈[0,P)； C是分类任务所有可能的类别数；cj是第j个类，j∈[0,C)；nj是第j类的投票总数之和。
1、图像采集装置识别标识并向所有分类模型发送查询请求以执行分类任务；
2、各分类模型Modi执行分类任务，并上传分类结果cj对待识别标识进行分类；
3、分类结果处理器计算票数，并获得每类的投票总数nj的列表 N＝[n0,n1,...,nj]，得票数最多的一类为最终识别结果。
本发明的方案通过采用至少三个预先训练的不同类型的网络模型对目标图片进行分类，基于多种网络模型协同判断，避免了单一模型会受到对抗样本欺骗的问题，目标信息不会受到污染，会被正确识别，对于自动驾驶来说，具有非常高的安全性和可靠性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于多种网络协同模型的自动驾驶系统，其特征在于，包括自动驾驶控制装置、图像采集装置、存储器和处理器，其中，
所述图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求；
所述存储器接收所述查询请求，并将所述目标图片输入至少三个预先训练的不同类型的网络模型；所述至少三个预先训练的不同类型的网络模型存储于所述存储器；
每个预先训练的网络模型对所述目标图片分类后输出各自的分类结果；
所述处理器接收并汇总所述各自的分类结果，输出识别结果；
所述自动驾驶控制装置根据所述识别结果控制车辆自动驾驶。
2.根据权利要求1所述的自动驾驶系统，其特征在于，所述图像采集装置包括图像传感器和目标识别网络模型，所述图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。
3.根据权利要求1所述的自动驾驶系统，其特征在于，所述处理器接收并汇总所述分类结果，输出识别结果；包括：
所述处理器接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；
将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；
将投票总数最多的类别作为所述识别结果输出。
4.根据权利要求1所述的自动驾驶系统，其特征在于，所述预先训练的不同类型的网络模型包括监督学习网络模型、半监督学习网络模型、无监督网络模型和小样本学习模型中的至少一种。
5.根据权利要求1所述的自动驾驶系统，其特征在于，所述目标图片为包含路标、行人、车辆、障碍物、红绿灯信息的图片。
6.一种基于多种网络协同模型的自动驾驶方法，其特征在于，包括：
图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求；
存储器在接收到所述查询请求后，并将所述目标图片输入至少三个预先训练的不同类型的网络模型；所述至少三个预先训练的不同类型的网络模型存储于所述存储器；
每个预先训练的网络模型对所述目标图片分类后输出各自的分类结果；
处理器接收并汇总所述各自的分类结果，输出识别结果；
自动驾驶控制装置根据所述识别结果控制车辆自动驾驶。
7.根据权利要求6所述的自动驾驶方法，其特征在于，所述图像采集装置采集道路实时图片，并在识别出目标图片时提出查询请求，包括：
所述图像采集装置包括图像传感器和目标识别网络模型，所述图像传感器采集道路实时图片并输入目标识别网络模型，在输出目标图片时提出查询请求。
8.根据权利要求6所述的自动驾驶方法，其特征在于，所述处理器接收并汇总所述分类结果，输出识别结果；包括：
所述处理器接收每个预先训练的网络模型各自的分类结果，计算得到每个预先训练的网络模型分类出的每一类的票数；
将所有预先训练的网络模型分类出的每一类的票数汇总整理，得到每一类的投票总数；
将投票总数最多的类别作为所述识别结果输出。
9.根据权利要求6所述的自动驾驶方法，其特征在于，所述预先训练的不同类型的网络模型包括监督学习网络模型、半监督学习网络模型、无监督网络模型和小样本学习模型中的至少一种。
10.根据权利要求6所述的自动驾驶方法，其特征在于，所述目标图片为包含路标、行人、车辆、障碍物、红绿灯信息的图片。
CN202010724471.2A 2020-07-24 2020-07-24 基于多种网络协同模型的自动驾驶系统及方法 Active CN112078593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010724471.2A CN112078593B (zh) 2020-07-24 2020-07-24 基于多种网络协同模型的自动驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724471.2A CN112078593B (zh) 2020-07-24 2020-07-24 基于多种网络协同模型的自动驾驶系统及方法

Publications (2)

Publication Number Publication Date
CN112078593A true CN112078593A (zh) 2020-12-15
CN112078593B CN112078593B (zh) 2021-12-21

Family

ID=73735610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724471.2A Active CN112078593B (zh) 2020-07-24 2020-07-24 基于多种网络协同模型的自动驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN112078593B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418359A (zh) * 2021-01-21 2021-02-26 国汽智控(北京)科技有限公司 一种基于道路场景的任务处理方法及系统
CN113361340A (zh) * 2021-05-17 2021-09-07 上海云从汇临人工智能科技有限公司 特征提示方法、装置及计算机存储介质
CN113879334A (zh) * 2021-09-30 2022-01-04 郑州师范学院 一种适用于车辆自动驾驶的机器学习对抗攻击识别系统
CN115171386A (zh) * 2022-07-07 2022-10-11 中南大学 一种基于蒙特卡洛树搜索的分布式协同驾驶方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法
CN113361340B (zh) * 2021-05-17 2024-05-28 上海云从汇临人工智能科技有限公司 特征提示方法、装置及计算机存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248586A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
CN108230296A (zh) * 2017-11-30 2018-06-29 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
CN108764459A (zh) * 2018-05-16 2018-11-06 西安电子科技大学 基于语义定义的目标识别网络设计方法
CN109508580A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 交通信号灯识别方法和装置
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术（北京）有限公司 用于无人驾驶车的避障方法和装置
CN110097004A (zh) * 2019-04-30 2019-08-06 北京字节跳动网络技术有限公司 面部表情识别方法和装置
JP2019137194A (ja) * 2018-02-09 2019-08-22 本田技研工業株式会社 走行態様認識装置
CN110163153A (zh) * 2019-05-23 2019-08-23 百度在线网络技术（北京）有限公司 用于识别交通标志牌边界的方法及装置
US20190311298A1 (en) * 2018-04-09 2019-10-10 Here Global B.V. Asynchronous parameter aggregation for machine learning
JP2019214319A (ja) * 2018-06-13 2019-12-19 本田技研工業株式会社 認識処理装置、車両制御装置、認識処理方法、およびプログラム
CN110728287A (zh) * 2019-10-10 2020-01-24 深圳铂石空间科技有限公司 图像识别方法及装置、电子设备、存储介质
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
US20200117901A1 (en) * 2018-10-16 2020-04-16 Duke University Systems and methods for predicting real-time behavioral risks using everyday images
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法
CN111291753A (zh) * 2020-01-22 2020-06-16 平安科技（深圳）有限公司 基于图像的文本识别方法、装置及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248586A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
CN109508580A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 交通信号灯识别方法和装置
CN108230296A (zh) * 2017-11-30 2018-06-29 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
JP2019137194A (ja) * 2018-02-09 2019-08-22 本田技研工業株式会社 走行態様認識装置
US20190311298A1 (en) * 2018-04-09 2019-10-10 Here Global B.V. Asynchronous parameter aggregation for machine learning
CN108764459A (zh) * 2018-05-16 2018-11-06 西安电子科技大学 基于语义定义的目标识别网络设计方法
JP2019214319A (ja) * 2018-06-13 2019-12-19 本田技研工業株式会社 認識処理装置、車両制御装置、認識処理方法、およびプログラム
US20200117901A1 (en) * 2018-10-16 2020-04-16 Duke University Systems and methods for predicting real-time behavioral risks using everyday images
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术（北京）有限公司 用于无人驾驶车的避障方法和装置
CN110097004A (zh) * 2019-04-30 2019-08-06 北京字节跳动网络技术有限公司 面部表情识别方法和装置
CN110163153A (zh) * 2019-05-23 2019-08-23 百度在线网络技术（北京）有限公司 用于识别交通标志牌边界的方法及装置
CN110728287A (zh) * 2019-10-10 2020-01-24 深圳铂石空间科技有限公司 图像识别方法及装置、电子设备、存储介质
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法
CN111291753A (zh) * 2020-01-22 2020-06-16 平安科技（深圳）有限公司 基于图像的文本识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阮航等: "基于Faster R-CNN的车辆多属性识别", 《计算机技术与发展》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418359A (zh) * 2021-01-21 2021-02-26 国汽智控(北京)科技有限公司 一种基于道路场景的任务处理方法及系统
CN112418359B (zh) * 2021-01-21 2021-04-09 国汽智控(北京)科技有限公司 一种基于道路场景的任务处理方法及系统
CN113361340A (zh) * 2021-05-17 2021-09-07 上海云从汇临人工智能科技有限公司 特征提示方法、装置及计算机存储介质
CN113361340B (zh) * 2021-05-17 2024-05-28 上海云从汇临人工智能科技有限公司 特征提示方法、装置及计算机存储介质
CN113879334A (zh) * 2021-09-30 2022-01-04 郑州师范学院 一种适用于车辆自动驾驶的机器学习对抗攻击识别系统
CN115171386A (zh) * 2022-07-07 2022-10-11 中南大学 一种基于蒙特卡洛树搜索的分布式协同驾驶方法
CN115171386B (zh) * 2022-07-07 2023-12-12 中南大学 一种基于蒙特卡洛树搜索的分布式协同驾驶方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法
CN115730300B (zh) * 2022-12-12 2023-06-27 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Also Published As

Publication number Publication date
CN112078593B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN112078593B (zh) 基于多种网络协同模型的自动驾驶系统及方法
Gupta et al. Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues
US20210356968A1 (en) Scenario identification for validation and training of machine learning based models for autonomous vehicles
Shreyas et al. Self-driving cars: An overview of various autonomous driving systems
CN109191841A (zh) 一种基于树莓派的城市交通智能管理系统
US20230419688A1 (en) Ambiguous Lane Detection Event Miner
Pashchenko et al. Deep neural network method of recognizing the critical situations for transport systems by video images
US10860865B2 (en) Predictive security camera system
WO2023023336A1 (en) Detected object path prediction for vision-based systems
Deshmukh et al. An overview of deep learning techniques for autonomous driving vehicles
US20210142225A1 (en) Ensemble of narrow ai agents
DE102020202342A1 (de) Cloud-Plattform für automatisierte Mobilität und computerimplementiertes Verfahren zur Bereitstellung einer Cloud basierten Datenanreicherung an die automatisierte Mobilität
Prarthana et al. A Comparative Study of Artificial Intelligence Based Vehicle Classification Algorithms Used to Provide Smart Mobility
Malbog et al. PED-AI: Pedestrian Detection for Autonomous Vehicles using YOLOv5
CN117456737B (zh) 基于3d视觉智能的智慧交通大数据处理方法及系统
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备
EP4287147A1 (en) Training method, use, software program and system for the detection of unknown objects
US20230245554A1 (en) Method and computer program for characterizing future trajectories of traffic participants
Sajna et al. Learning-Based Smart Parking System
Thal et al. Clustering-Based Trajectory Prediction of Vehicles Interacting with Vulnerable Road Users
Zhao et al. Research on automatic classification for driving scenarios based on big data and ontology
Pradeepkumar et al. Traffic Rules Recognition Using Machine Learning
Al-Haimi et al. Traffic light counter detection comparison using you only look oncev3 and you only look oncev5 for version 3 and 5
Liu et al. Vehicle Detection and Tracking Techniques Based on Deep Learning in Road Traffic Surveillance
Genitha et al. AI based Real-Time Traffic Signal Control System using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant