CN116433957A - 一种基于半监督学习的智能驾驶感知方法 - Google Patents

一种基于半监督学习的智能驾驶感知方法 Download PDF

Info

Publication number
CN116433957A
CN116433957A CN202310039441.1A CN202310039441A CN116433957A CN 116433957 A CN116433957 A CN 116433957A CN 202310039441 A CN202310039441 A CN 202310039441A CN 116433957 A CN116433957 A CN 116433957A
Authority
CN
China
Prior art keywords
model
perception
intelligent driving
data
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310039441.1A
Other languages
English (en)
Inventor
王健
赵小楠
王本强
马辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202310039441.1A priority Critical patent/CN116433957A/zh
Publication of CN116433957A publication Critical patent/CN116433957A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于半监督学习的智能驾驶感知方法，本方法首先使用现有有标注数据以有监督的方式训练用于智能驾驶终端的感知模型，并将其部署于智能驾驶终端；其次，在各智能驾驶终端获取一定量的感知数据时，汇聚到中央服务集群，由专家对数据质量进行人工把控及部分标签标注；最后，采用半监督模型训练方法，对感知模型进行迭代更新。本方法通过使用智能驾驶终端在行驶过程中采集的数据，以教师模型和学生模型互相提升的半监督学习方式，降低了人工标注数据所带来的人力和物力成本，提高了模型迭代更新的效率。

Description

一种基于半监督学习的智能驾驶感知方法
技术领域
本发明涉及智能驾驶领域，具体是一种基于半监督学习的智能驾驶感知方法。
背景技术
公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
智能驾驶技术中的感知功能是非常重要的，而且其感知设备丰富、感知数据模态多样、感知数据量大且任务输出复杂，机器学习技术在其中得到了广泛应用，例如计算机视觉、自然语言处理及推荐系统等。这些机器学习技术的成功应用，都是建立在大量数据的基础之上的。然而在实际应用场景中，我们能够获得数据往往数据规模较小或是需要行业专家的标注，因此，高质量且大数量的训练数据很难获得。
半监督学习(Semi-Supervised Learning)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性，因此，半监督学习正越来越受到人们的重视。智能驾驶终端在运行过程中，其感知设备会不断采集汇聚新的感知数据，使用传统监督学习方法时，我们需要对数据进行全量的人工标注后才可以用于模型训练，而在采用半监督学习方法后，在保证模型更新迭代效率的前提下，标注成本将大大降低。
发明内容
为了解决上述现有技术中存在的技术问题，本发明提供一种基于半监督学习的智能驾驶感知方法，用于提升智能驾驶感知软件的可靠性与高效性。
为了解决所述技术问题，本发明采用的技术方案是：一种基于半监督学习的智能驾驶感知方法，包括以下步骤：
S01）、使用现有有标注数据以有监督的方式训练用于智能驾驶终端的感知模型，并将其部署于智能驾驶终端；
S02）、在各智能驾驶终端获取一定量的感知数据时，汇聚到中央服务集群，由专家对数据质量进行人工把控及部分标签标注；
S03）、采用半监督模型训练方法，对感知模型进行迭代更新；
S04）、更新后的感知模型在智能驾驶过程中进行工作。
进一步的，步骤S03）具体为：
S31）、专家把现有感知模型复制为教师模型和学生模型；
S32）、未标注的新数据进行弱增强后，输入教师模型，得到预测结果，并通过预先设定的置信度阈值δ过滤部分潜在的错误样本，生成伪标签；
S33）、将未标注的新数据进行强增强后，结合S32）中生成的伪标签，输入到学生模型中进行有监督的前向传播和反向传播更新；
S34）、采用EMA算法，结合学生模型更新的权重，更新教师模型的权重；
S35）、判断学生模型的损失是否收敛，若学生模型损失已经收敛，则结束模型训练流程；若学生模型损失还未收敛，则重复进行S32）至S34）步骤。
进一步的，步骤S02）执行以后，使用增广的监督数据对已有预训练模型进行迁移学习训练，增强初始化模型。
进一步的，方法用于智能驾驶的障碍物检测、车道线检测、可行驶区域检测、障碍物运动预测。
进一步的，本方法用于智能驾驶的智能问答。
本发明的有益效果：本发明所述智能驾驶感知方法基于半监督学习，通过使用智能驾驶终端在行驶过程中采集的数据，以教师模型和学生模型互相提升的半监督学习方式，降低了人工标注数据所带来的人力和物力成本，提高了模型迭代更新的效率。
具体实施方式
下面结合具体实施例对本发明做进一步的说明。
实施例1
本实施例公开一种基于联邦学习和半监督学习的智能驾驶感知方法，本方法包括以下步骤：
S01）、使用现有有标注数据以有监督的方式训练用于智能驾驶终端的感知模型，并将其部署于智能驾驶终端；
S02）、在各智能驾驶终端获取一定量的感知数据时，汇聚到中央服务集群，由专家对数据质量进行人工把控及部分标签标注；
S03）、采用半监督模型训练方法，对感知模型进行迭代更新；
S04）、更新后的感知模型在智能驾驶过程中进行工作。
本实施例采用半监督学习方法利用大量的无标签样本和相对少量带有标签的样本来训练机器学习模型，解决有标签样本不足的难题，在保证最终模型效果损失较小的情况下，降低数据标注带来的人力和物力成本。
下面以基于计算机视觉的障碍物检测为例说明本方法的具体步骤：
1、采集并标注一定量的单目相机图像数据，使用SSD算法训练一个能够检测人、车、锥桶等道路常见障碍物的目标检测模型，并将其部署于智能驾驶终端，以期能够在智能驾驶车辆在运行过程中，实时地预测出相机视线能障碍物的位置，从而实现减速或绕行；
2、在智能驾驶终端收集到一定量新的数据后，收集各智能驾驶终端采集的数据到云端服务器，由专家对数据质量进行人工把控，筛选掉较低质量数据，并对其中部分数据进行人工标注；
3、使用增广的监督数据对已有预训练模型进行迁移学习训练，增强初始化模型；
4、使用半监督学习技术对障碍物检测模型进行更新迭代：
a、专家对现有障碍物检测模型复制为教师模型和学生模型；
b、未标注的新数据进行弱增强后，输入教师模型，得到预测结果，并通过预先设定的置信度阈值δ过滤部分潜在的错误样本，生成伪标签；因为这些置信度低的预测框有可能是错误的正样本，由于包含噪声的伪标签会涌向教师模型，所以我们将教师模型和学生模型分开训练，在获得伪标签后只有学生模型的权重可以通过反向传播更新；
c、将未标注的新数据进行强增强后，结合b中生成的伪标签，输入到学生模型中进行有监督的前向传播和反向传播更新；
d、采用EMA算法，结合学生模型更新的权重，更新教师模型的权重，可以防止决策边界急剧向少数类别倾斜；
e、判断学生模型的损失是否收敛，若学生模型损失已经收敛，则结束模型训练流程；若学生模型损失还未收敛，则重复进行b至d步骤。
本实施例所述感知方法除了用于上述障碍检测方法，还可以用于智能驾驶的车道线检测、可行驶区域检测、障碍物运动预测，或者用于智能驾驶的智能问答系统。
本实施例基于半监督学习算法，提供了一种智能驾驶感知方法，切实提升智能驾驶感知软件的可靠性与高效性。
半监督学习(Semi-Supervised Learning)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。智能驾驶终端在运行过程中，其感知设备会不断采集汇聚新的感知数据，使用传统监督学习方法时，我们需要对数据进行全量的人工标注后才可以用于模型训练，而在采用半监督学习方法后，在保证模型更新迭代效率的前提下，标注成本将大大降低。本实施例提出联合训练教师模型和学生模型的半监督学习方法，教师模型产生的伪标签用于训练学生模型，学生模型反向传播更新的权重经过EMA算法更新教师模型，可以有效缓解过拟合问题，并在一定程度上防止了噪声伪标签带来的不利影响。
上述虽然对本发明的具体实施方式进行了描述，但并非对发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围内。

Claims (5)

1.一种基于半监督学习的智能驾驶感知方法，其特征在于：包括以下步骤：
S01）、使用现有有标注数据以有监督的方式训练用于智能驾驶终端的感知模型，并将其部署于智能驾驶终端；
S02）、在各智能驾驶终端获取一定量的感知数据时，汇聚到中央服务集群，由专家对数据质量进行人工把控及部分标签标注；
S03）、采用半监督模型训练方法，对感知模型进行迭代更新；
S04）、更新后的感知模型在智能驾驶过程中进行工作。
2.根据权利要求1所述的基于半监督学习的智能驾驶感知方法，其特征在于：步骤S03）具体为：
S31）、专家把现有感知模型复制为教师模型和学生模型；
S32）、未标注的新数据进行弱增强后，输入教师模型，得到预测结果，并通过预先设定的置信度阈值δ过滤部分潜在的错误样本，生成伪标签；
S33）、将未标注的新数据进行强增强后，结合S32）中生成的伪标签，输入到学生模型中进行有监督的前向传播和反向传播更新；
S34）、采用EMA算法，结合学生模型更新的权重，更新教师模型的权重；
S35）、判断学生模型的损失是否收敛，若学生模型损失已经收敛，则结束模型训练流程；若学生模型损失还未收敛，则重复进行S32）至S34）步骤。
3.根据权利要求2所述的基于半监督学习的智能驾驶感知方法，其特征在于：步骤S02）执行以后，使用增广的监督数据对已有预训练模型进行迁移学习训练，增强初始化模型。
4.根据权利要求1所述的基于半监督学习的智能驾驶感知方法，其特征在于：本方法用于智能驾驶的障碍物检测、车道线检测、可行驶区域检测、障碍物运动预测。
5.根据权利要求1所述的基于半监督学习的智能驾驶感知方法，其特征在于：本方法用于智能驾驶的智能问答。
CN202310039441.1A 2023-01-12 2023-01-12 一种基于半监督学习的智能驾驶感知方法 Pending CN116433957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310039441.1A CN116433957A (zh) 2023-01-12 2023-01-12 一种基于半监督学习的智能驾驶感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310039441.1A CN116433957A (zh) 2023-01-12 2023-01-12 一种基于半监督学习的智能驾驶感知方法

Publications (1)

Publication Number Publication Date
CN116433957A true CN116433957A (zh) 2023-07-14

Family

ID=87078480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310039441.1A Pending CN116433957A (zh) 2023-01-12 2023-01-12 一种基于半监督学习的智能驾驶感知方法

Country Status (1)

Country Link
CN (1) CN116433957A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN117132607A (zh) * 2023-10-27 2023-11-28 腾讯科技（深圳）有限公司 图像分割模型处理方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN116665025B (zh) * 2023-07-31 2023-11-14 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN117132607A (zh) * 2023-10-27 2023-11-28 腾讯科技（深圳）有限公司 图像分割模型处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN116433957A (zh) 一种基于半监督学习的智能驾驶感知方法
CN109657552B (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN110569700B (zh) 优化损伤识别结果的方法及装置
JP2018097807A (ja) 学習装置
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
KR20180070258A (ko) 주행상황에서의 동시적 물체 인식 및 학습 방법
CN113808123B (zh) 一种基于机器视觉的药液袋动态检测方法
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN116420175A (zh) 在本车辆的自动和辅助驾驶中连续、自适应检测环境特征的计算机实施的方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN111353273B (zh) 一种雷达数据标注方法、装置、设备及存储介质
CN112750128A (zh) 图像语义分割方法、装置、终端及可读存储介质
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
US20230084761A1 (en) Automated identification of training data candidates for perception systems
CN110084190B (zh) 一种基于ann的剧烈光照环境下实时非结构化道路检测方法
JP2021197184A (ja) 分類器を訓練及びテストするためのデバイス及び方法
KR20210127639A (ko) 분류기를 훈련하기 위한 디바이스 및 방법
CN115147790B (zh) 一种基于图神经网络的车辆未来轨迹预测方法
CN117593648B (zh) 基于弱监督学习的遥感目标建筑物提取方法
CN111160316B (zh) 一种基于轻量级神经网络的车牌识别方法
CN116597419B (zh) 一种基于参数化互近邻的车辆限高场景识别方法
Xia et al. Multi-RPN Fusion-Based Sparse PCA-CNN Approach to Object Detection and Recognition for Robot-Aided Visual System
CN116956045A (zh) 一种用于行为预测域自适应的伪标签改进的轨迹预测方法
CN117197584A (zh) 一种地质特征的识别分类方法、系统及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination