CN114911813A - 车载感知模型的更新方法、装置、电子设备及存储介质 - Google Patents

车载感知模型的更新方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114911813A
CN114911813A CN202210735166.2A CN202210735166A CN114911813A CN 114911813 A CN114911813 A CN 114911813A CN 202210735166 A CN202210735166 A CN 202210735166A CN 114911813 A CN114911813 A CN 114911813A
Authority
CN
China
Prior art keywords
perception
model
vehicle
target
perception model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210735166.2A
Other languages
English (en)
Other versions
CN114911813B (zh
Inventor
张宏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinli Intelligent Technology Jiangsu Co ltd
Original Assignee
Xinli Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinli Intelligent Technology Shanghai Co Ltd filed Critical Xinli Intelligent Technology Shanghai Co Ltd
Priority to CN202210735166.2A priority Critical patent/CN114911813B/zh
Publication of CN114911813A publication Critical patent/CN114911813A/zh
Application granted granted Critical
Publication of CN114911813B publication Critical patent/CN114911813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开了一种车载感知模型的更新方法、装置、电子设备及存储介质。其中,方法包括:获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果;根据目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;如果第二感知模型的推理性能高于第一感知模型,则使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新。本发明实施例的方案,解决了离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新。

Description

车载感知模型的更新方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及人工智能技术领域,尤其涉及一种车载感知模型的更新方法、装置、电子设备及存储介质。
背景技术
随着汽车智能化、电子化的推进,自动驾驶已经成为未来汽车发展的主流趋势之一。自动驾驶汽车依靠人工智能、视觉计算、雷达以及全球定位等各个系统的协同合作,可以在没有任何人类主动操作下,自动安全的控制机动车辆。自动驾驶的应用具有减轻交通拥堵,降低驾驶工作强度,缓解驾驶员疲劳,降低事故率,从而达到提升驾驶安全的目的。其中,感知是自动驾驶的核心技术之一。感知系统负责感知周围的环境,并对感知的结果进行分析与决策,作为后续路径规划和执行的依据,进而实现自动驾驶。环境感知包括车辆检测、行人检测、车道线检测、障碍物检测、交通标识检测、信号灯检测识别等。
现阶段,环境感知主要是基于离线训练得到的深度学习模型来实现,该方法的实现方式是,首先车载传感器采集大量的数据,然后基于采集到的数据,通过深度学习即离线的方式在服务器或者云端,训练得到检测和识别目标的车载感知模型,进而再进行各个环境场景的实际应用部署。然而离线训练得到的车载感知模型使用的训练数据会存在与实际环境不匹配问题,导致离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降。
发明内容
本发明实施例提供了一种车载感知模型的更新方法、装置、电子设备及存储介质,以解决离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新。
根据本发明实施例的一方面,提供了一种车载感知模型的更新方法,包括:
获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;
根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;
如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新。
根据本发明实施例的另一方面,提供了一种车载感知模型的更新装置,包括:
目标感知数据获取模块,用于获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;
目标训练样本构建模块,用于根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;
在线更新模型,用于如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新。
根据本发明实施例的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明实施例任一实施例所述的车载感知模型的更新方法。
根据本发明实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明实施例任一实施例所述的车载感知模型的更新方法。
本发明实施例的技术方案,通过获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新,解决了离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新。
应当理解,本部分所描述的内容并非旨在标识本发明实施例的实施例的关键或重要特征,也不用于限制本发明实施例的范围。本发明实施例的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种车载感知模型的更新方法的流程图;
图2是根据本发明实施例二提供的一种车载感知模型的更新方法的流程图;
图3是根据本发明实施例三提供的一种车载感知模型的更新方法的流程图;
图4是根据本发明实施例三提供的一种实现车载感知模型的更新方法的系统的结构示意图;
图5是根据本发明实施例四提供的一种车载感知模型的更新装置的结构示意图;
图6是实现本发明实施例的车载感知模型的更新方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明实施例一部分的实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
需要说明的是,本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种车载感知模型的更新方法的流程图,本实施例可适用于对车载感知模型进行在线更新的情况,该方法可以由车载感知模型的更新装置来执行,该车载感知模型的更新装置可以采用硬件和/或软件的形式实现,该车载感知模型的更新装置可配置于电子设备中,在本实施例中涉及到的电子设备可以为计算机、服务器或者平板电脑等。具体的,参考图1,该方法具体包括如下:
步骤110、获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果。
其中,目标感知数据可以为车载图像传感器获取到的图像数据,也可以为车载雷达获取到的点云数据,本实施例中对其不加以限定。
在本实施例的一个可选实现方式中,可以在车辆的行驶过程中,通过车辆中安装的图像传感器或者雷达实时的获取车辆行驶环境的图像数据或者点云数据;也可以在车辆停泊时,通过车辆中安装的图像传感器或者雷达实时的获取车辆停泊环境的图像数据或者点云数据,本实施例中对其不加以限定。
在本实施例的一个可选实现方式中,在获取到车辆的目标感知数据之后,可以进一步的通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果;其中,第一感知模型可以为预先训练的INT8量化模型;本实施例中涉及到的INT8量化模型指的是原始浮点模型(例如,FP16:Float point 16位或FP32:Float point 32位)经过量化后的模型,其权重和激活值的范围是INT8。示例性的,第一感知模型可以使用常用的基于深度学习的物体检测与识别算法,如yolov5。
在本实施例的一个例子中,目标感知数据为车辆在行驶过程中通过车载图像传感器获取到的车辆周边行人图像数据,进一步的,可以通过车辆内置的第一感知模型对获取到的车辆周边行人图像数据进行检测,即将获取到的车辆周边行人图像数据输入至第一感知模型中,得到与车辆周边行人图像数据匹配的行人检测结果。
步骤120、根据目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练。
其中,第二感知模型可以为预先训练得到的浮点模型,例如,FP16:Float point16位或FP32:Float point 32位等,本实施例中对其不加以限定。需要说明的是,本实施例中涉及到的第一感知模型与第二感知模型初始时是相同的,不同之处仅在于第一感知模型的数据类型是INT8,第二感知模型的数据类型是Float point 16或者Float point 32。
在本实施例的一个可选实现方式中,在获取到车辆的目标感知数据,并通过车辆内置的第一感知模型获取到与目标感知数据匹配的目标检测结果之后,可以进一步的根据目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行迭代训练。
在本实施例的一个具体例子中,目标感知数据为车辆在行驶过程中通过车载图像传感器获取到的车辆周边行人图像数据,通过车辆内置的第一感知模型得到与车辆周边行人图像数据匹配的行人检测结果之后,可以将车辆周边行人图像数据与行人检测结果图像构建为一个目标训练样本,可以理解的是,车辆周边行人图像数据即为原始图像数据,行人检测结果图像即为原始图像数据的标注数据;进一步的,可以将构建得到的目标训练样本输入至第二感知模型中进行迭代训练,即对第二感知模型进行训练。
步骤130、如果第二感知模型的推理性能高于第一感知模型,则使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新。
需要说明的是,本实施例中,在使用目标训练样本对车辆内置的第二感知模型进行训练的过程中,同时也通过训练完成的第二感知模型对目标感知数据进行目标检测,即推理;例如,在上述例子中,在将构建得到的目标训练样本输入至第二感知模型中进行迭代训练之后,可以根据训练得到的第二感知模型对目标训练样本中的原始图像数据即车辆周边行人图像数据进行推理,得到推理结果图像;进一步的,可以将第二感知模型得到的推理结果图像与原始图像数据的标注数据即行人检测结果图像进行比对,判断二者中识别准确率较高的图像,示例性的,可以通过车载用户来确定识别准确率较高的图像。
进一步的,如果第二感知模型的推理性能高于第一感知模型,即通过上述第二感知模型得到的推理结果图像的识别准确率高于原始图像数据的标注数据的识别准确率时,可以使用第二感知模型的模型参数对第一感知模型的模型参数进行更新,即实现了车载感知模型的在线更新。
本实施例的方案,通过获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果;根据目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;如果第二感知模型的推理性能高于第一感知模型,则使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新,解决了离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新。
实施例二
图2是根据本发明实施例二提供的一种车载感知模型的更新方法的流程图,本实施例是对上述各技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图2所示,车载感知模型的更新方法可以包括如下步骤:
步骤210、获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果。
在本实施例的一个可选实现方式中,获取车辆的目标感知数据可以包括:在检测到满足预设的模型更新频率条件时,获取车辆的目标感知数据;和/或;在检测到车辆进入至设定地域属性的区域时,获取车辆的目标感知数据。
其中,预设的模型频率可以为每30分钟一次、每天一次或者每周一次等,本实施例中对其不加以限定;即在本实施例中,可以每30分钟获取一次目标感知数据。
其中,设定地域属性区域可以为机场、道路封锁区域或者新环境区域等,本实施例中对其不加以限定。在本实施例中,当车辆行驶到设定地域属性的区域时,即可自动获取目标感知数据。
步骤220、当目标检测结果满足预设的精准度条件时,将目标检测结果作为目标感知数据的标注结果,构建目标训练样本;当目标检测结果不满足预设的精准度条件时,将目标感知数据进行车载用户显示,并根据车载用户针对目标感知数据输入的人工标注结果,构建目标训练样本。
其中,预设的精准度条件可以为检测准确率大于设定阈值,例如,90%、95%或者98%等,本实施例中对其不加以限定。
在本实施例的一个可选实现方式中,当第一感知模型确定的与目标感知数据匹配的目标检测结果满足预设的精准度条件时,例如,检测准确率大于设定准确率阈值90%时,可以将目标检测结果作为目标感知数据的标注结果,并将目标检测结果与目标感知数据构建成一对目标训练样本。
在本实施例的一个可选实现方式中,当第一感知模型确定的与目标感知数据匹配的目标检测结果不满足预设的精准度条件时,例如,检测准确率小于设定准确率阈值90%时,可以将目标感知数据通过车载终端显示给用户,用户可以对目标感知数据进行标注,并将标注得到的人工标注结果与目标感知数据构建成一对目标训练样本。
在本实施例的另一个可选实现方式中,当第一感知模型确定的与目标感知数据匹配的目标检测结果不满足预设的精准度条件时,也可以通过车载终端中内置的标注模型对目标感知数据进行标注,并将模型标注结果与目标感知数据构建成一对目标训练样本。
步骤230、使用目标训练样本对车辆内置的第二感知模型进行训练。
在本实施例的一个可选实现方式中,使用目标训练样本对车辆内置的第二感知模型进行训练可以包括:将目标训练样本输入至第二感知模型中进行迭代训练,当满足训练停止条件时,停止训练;例如,当损失函数小于0.0001时,可以停止迭代训练。
步骤240、如果第二感知模型的推理性能高于第一感知模型,则使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新。
本实施例的方案,当目标检测结果满足预设的精准度条件时,将目标检测结果作为目标感知数据的标注结果,构建目标训练样本;当目标检测结果不满足预设的精准度条件时,将目标感知数据进行车载用户显示,并根据车载用户针对目标感知数据输入的人工标注结果,构建目标训练样本,可以在不同条件下构建得到目标训练样本,为后续车载感知模型的训练以及更新提供依据。
实施例三
图3是根据本发明实施例三提供的一种车载感知模型的更新方法的流程图,本实施例是对上述各技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图3所示,车载感知模型的更新方法可以包括如下步骤:
步骤310、获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与目标感知数据匹配的目标检测结果。
步骤320、根据目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练。
步骤330、使用预先加载的测试数据对第一感知模型和第二感知模型进行测评,并根据测评结果确定第二感知模型的推理性能高于第一感知模型;和/或交替使用第一感知模型或者第二感知模型的输出结果,作为车辆感知结果,并根据车载用户对各车辆感知结果的反馈信息,确定第二感知模型的推理性能高于第一感知模型。
在本实施例的一个可选实现方式中,在使用构建的目标训练样本对车辆内置的第二感知模型进行训练之后,可以进一步的使用预先加载的测试数据对第一感知模型和第二感知模型进行测评,并根据测评结果确定第二感知模型的推理性能高于第一感知模型。
在具体实现中,可以将测试数据分别输入至第一感知模型和第二感知模型中,分别得到与测试数据对应的测试结果,并将测试结果与测试数据的标注结果进行比对,从而确定第一感知模型和第二感知模型针对测试数据的测评准确率;如果针对测试数据第二感知模型的测评准确率大于第一感知模型的测评准确率,则确定第二感知模型的推理性能高于第一感知模型。
在本实施例的另一个可选实现方式中,可以交替使用第一感知模型或者第二感知模型的输出结果,作为车辆感知结果,并实时接收车载用户对车辆感知结果的反馈信息,根据车载用户的反馈信息,确定第二感知模型的推理性能高于第一感知模型。
步骤340、使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新。
在本实施例的一个可选实现方式中,第一感知模型为对浮点型的第二感知模型进行定点量化后得到的整型模型;第一感知模型以及第二感知模型依次可以包括相连的前处理模块、骨干模块、颈部模块以及检测头模块。
在本实施例的一个可选实现方式中,使用第二感知模型的模型参数对第一感知模型的模型参数进行在线更新,可以包括:获取第二感知模型中与颈部模块对应的第一权重参数和/或与检测头模块对应的第二权重参数;对第一权重参数和/或第二权重参数分别进行量化处理,得到第一量化权重参数和/或第二量化权重参数;使用第一量化权重参数对第一感知模块中的颈部模块进行更新,和/或使用第二量化权重参数对第一感知模块中的检测头模块进行更新。
在本实施例的一个具体例子中,可以把FP16或者FP32浮点型模型转换为整型模型INT8;本实施例的方案,考虑到在线学习的时间和内存等限制要求,仅对第一感知模块中的颈部模块和检测头模块中的权重参数进行更新,这样可以提升模型参数更新的效率,并且不会影响模型的性能。
在本实施例的一个可选实现方式中,使用第二量化权重参数对第一感知模块中的检测头模块进行更新的频率,高于使用第一量化权重参数对第一感知模块中的颈部模块进行更新。
在本实施例的一个可选实现方式中,第一感知模块的颈部模块和检测头模块的权重参数可以不同时更新,例如,对于大多数情况,当汽车运行一段时间后,检测头模块会有显着的改善。在这种情况下,检测头模块的权重参数可以每天更换一次,颈部模块的权重参数可以每周或者每个月更新一次。
本实施例的方案,可以使用预先加载的测试数据对第一感知模型和第二感知模型进行测评,并根据测评结果确定第二感知模型的推理性能高于第一感知模型;和/或交替使用第一感知模型或者第二感知模型的输出结果,作为车辆感知结果,并根据车载用户对各车辆感知结果的反馈信息,确定第二感知模型的推理性能高于第一感知模型,为后续准确地对第一感知模块的权重参数进行更新提供依据,可以训练得到性能较优的车载感知模型。
在上述技术方案的基础上,还可以获取车辆的实时感知数据,将实时感知数据分别输入至第一感知模型和第二感知模型中,获取第一目标检测结果和第二目标检测结果;将第一目标检测结果和第二目标检测结果进行融合,得到车辆检测结果。
在本实施例的一个可选实现方式中,可以将第一感知模型与第二感知模型的输出结果进行融合。例如,如果第一感知模型与第二感知模型有不同的输出,可以直接使用第二感知模型输出作为后处理算法的输入,也可以直接综合第一感知模型与第二感知模型结果。即把模型输出的所有结果直接送入后处理算法。这样设置的好处在于,可以提升车载感知模型的感知精度。
为了更好地理解本发明实施例,图4是根据本发明实施例三提供的一种实现车载感知模型的更新方法的系统的结构示意图,其主要包括如下:
410、在线感知数据采集模块。
在本实施例中,在线感知数据采集模块,用于模型的在线训练。常用的包括摄像头采集的视频/图像数据,Lidar/Radar采集的点云数据等。
420、推理模块。
在本实施例中,推理模块在第一次部署时,加载预先训练的INT8量化模型,后续INT8量化模型会被持续在线更新。其主要包括相连的前处理模块421、骨干模块422、颈部模块423以及检测头模块424。
其中,前处理模块421,可以用于对输入的感知数据进行增强,例如,对输入的感知数据进行均值化、几何变换等。
骨干模块422,可以用于提取基础特征。
颈部模块423,可以用于融合骨干模块422中不同层的基础特征,为检测头模块424提供不同尺度的特征图。例如,可以采用采用特征金字塔FPN;示例性的,算法模型是yolov5,当输入感知数据的尺寸为640*640时,输出的三个尺度上的特征图可以分别为:80x80、40x40、20x20。
检测头模块424,可以用于在不同尺度的特征图中进行目标检测。
430、训练和推理模块。
在本实施例中,训练和推理模块也可以包括相连的前处理模块431、骨干模块432、颈部模块433以及检测头模块434。在本实施例中,将训练和推理模块进行定点量化即可得到推理模块。
440、权重更新模块。
在本实施例中,不同于常用的模型更新方法,考虑到在线学习的时间和内存等限制要求,使用感知数据进行在线更新时,只更新颈部模块423以及检测头模块424。
在一个实施例中,模型的训练基于自定义配置运行,例如默认配置可以每30分钟运行一次;在另一个实施例中,根据车主配置运行,例如,车主在敏感地段和区域打开本地训练;这里的敏感区域可包括机场等涉密区域。在另一个实施例中,颈部模块423以及检测头模块424这两个模块的权重也可以不同时更新;例如,对于大多数情况,当汽车运行一段时间后,检测头模块424会有显着的改善。在这种情况下,检测头模块424将每天更换一次,颈部模块423更新可能每周或者每月仅一次,具体取决于模型的改进程度。
在本实施例中,当系统开始部署时,已加载离线训练的感知模型INT8-model。比较FP-model是不是比已经部署的INT8-model具有更好的性能,如果是,使用FP-model替换INT8-model的颈部模块423以及检测头模块424的模型参数。
450、后处理和结果融合模块。
在本实施例中,当检测头模块得到检测结果时,需要进行后处理。这里的后处理一般指的是NMS(non maximum suppression即非极大抑制)。所谓非极大值抑制:对于输入的一张图片,依靠检测头模块可以得到多个候选框,以及关于候选框中属于类别的概率值,根据类别分类概率做排序,具体算法流程如下:
(1)将所有框的得分排序,选中最高分及其对应的框
(2)遍历其余的框,如果和当前最高分框的重叠面积(IOU)大于一定阈值,我们就将框删除。(3)从未处理的框中继续选一个得分最高的,重复上述过程。
在本实施例的另一个可选实现方式中,还可以并行推理INT8-model与FP-model,然后融合两个模型的输出结果以获得更好的精度。在一个实施例中,将INT8-model与FP-model输出结果与后处理算法融合;例如,如果INT8-model与FP-model有不同的输出,直接使用FP-model输出作为后处理算法的输入。在另一个实施例中,直接综合INT8-model与FP-model模型结果。即把模型输出的所有结果直接送入后处理算法。
本实施例的方案,可以解决离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新,可以不断地完善系统性能。
实施例四
图5是根据本发明实施例四提供的一种车载感知模型的更新装置的结构示意图,该装置可以执行上述各实施例中设计到的车载感知模型的更新方法,如图5所示,该装置包括:目标感知数据获取模块510、目标训练样本构建模块520以及在线更新模块530。
目标感知数据获取模块510,用于获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;
目标训练样本构建模块520,用于根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;
在线更新模块530,用于如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新。
本实施例的方案,通过目标感知数据获取模块获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;通过目标训练样本构建模块根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;通过在线更新模块如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新,解决了离线训练得到的车载感知模型存在局限性,在实际环境下车载感知模型的准确率下降的问题,可以实现对车载感知模型的在线更新。
在本实施例的一个可选实现方式中,目标训练样本构建模块520,具体用于当所述目标检测结果满足预设的精准度条件时,将所述目标检测结果作为所述目标感知数据的标注结果,构建目标训练样本;
当所述目标检测结果不满足预设的精准度条件时,将所述目标感知数据进行车载用户显示,并根据车载用户针对所述目标感知数据输入的人工标注结果,构建目标训练样本。
在本实施例的一个可选实现方式中,在线更新模块530,具体用于使用预先加载的测试数据对所述第一感知模型和第二感知模型进行测评,并根据测评结果确定第二感知模型的推理性能高于第一感知模型;和/或
交替使用第一感知模型或者第二感知模型的输出结果,作为车辆感知结果,并根据车载用户对各车辆感知结果的反馈信息,确定第二感知模型的推理性能高于第一感知模型。
在本实施例的一个可选实现方式中,第一感知模型为对浮点型的第二感知模型进行定点量化后得到的整型模型;
所述第一感知模型或者第二感知模型包括依次相连的前处理模块、骨干模块、颈部模块以及检测头模块;
在线更新模块530,还具体用于获取所述第二感知模型中与颈部模块对应的第一权重参数和/或与检测头模块对应的第二权重参数;
对所述第一权重参数和/或第二权重参数分别进行量化处理,得到第一量化权重参数和/或第二量化权重参数;
使用所述第一量化权重参数对第一感知模块中的颈部模块进行更新,和/或使用所述第二量化权重参数对第一感知模块中的检测头模块进行更新。
在本实施例的一个可选实现方式中,使用所述第二量化权重参数对第一感知模块中的检测头模块进行更新的频率,高于使用所述第一量化权重参数对第一感知模块中的颈部模块进行更新。
在本实施例的一个可选实现方式中,获取车辆的目标感知数据,包括:
在检测到满足预设的模型更新频率条件时,获取车辆的目标感知数据;和/或;
在检测到所述车辆进入至设定地域属性的区域时,获取车辆的目标感知数据。
在本实施例的一个可选实现方式中,车载感知模型的更新装置,还包括:检测结果融合模块,用于获取所述车辆的实时感知数据,将所述实时感知数据分别输入至第一感知模型和第二感知模型中,获取第一目标检测结果和第二目标检测结果;
将第一目标检测结果和第二目标检测结果进行融合,得到车辆检测结果。
本发明实施例所提供的车载感知模型的更新装置可执行本发明实施例任意实施例所提供的车载感知模型的更新方法,具备执行方法相应的功能模块和有益效果。
本发明实施例的技术方案中,所涉及用户个人信息(如人脸信息、语音信息等)的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
实施例五
图6示出了可以用来实施本发明实施例的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明实施例的实现。
如图6所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如车载感知模型的更新方法。
在一些实施例中,车载感知模型的更新方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的车载感知模型的更新方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行车载感知模型的更新方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明实施例的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明实施例中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明实施例的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明实施例保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明实施例的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明实施例保护范围之内。

Claims (10)

1.一种车载感知模型的更新方法,其特征在于,包括:
获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;
根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;
如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新。
2.根据权利要求1所述的方法,其特征在于,所述根据目标感知数据和目标检测结果构建目标训练样本,包括:
当所述目标检测结果满足预设的精准度条件时,将所述目标检测结果作为所述目标感知数据的标注结果,构建目标训练样本;
当所述目标检测结果不满足预设的精准度条件时,将所述目标感知数据进行车载用户显示,并根据车载用户针对所述目标感知数据输入的人工标注结果,构建目标训练样本。
3.根据权利要求1所述的方法,其特征在于,所述第二感知模型的推理性能高于第一感知模型,包括:
使用预先加载的测试数据对所述第一感知模型和第二感知模型进行测评,并根据测评结果确定第二感知模型的推理性能高于第一感知模型;和/或
交替使用第一感知模型或者第二感知模型的输出结果,作为车辆感知结果,并根据车载用户对各车辆感知结果的反馈信息,确定第二感知模型的推理性能高于第一感知模型。
4.根据权利要求1所述的方法,其特征在于,第一感知模型为对浮点型的第二感知模型进行定点量化后得到的整型模型;
所述第一感知模型或者第二感知模型包括依次相连的前处理模块、骨干模块、颈部模块以及检测头模块;
使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新,包括:
获取所述第二感知模型中与颈部模块对应的第一权重参数和/或与检测头模块对应的第二权重参数;
对所述第一权重参数和/或第二权重参数分别进行量化处理,得到第一量化权重参数和/或第二量化权重参数;
使用所述第一量化权重参数对第一感知模块中的颈部模块进行更新,和/或使用所述第二量化权重参数对第一感知模块中的检测头模块进行更新。
5.根据权利要求4所述的方法,其特征在于,使用所述第二量化权重参数对第一感知模块中的检测头模块进行更新的频率,高于使用所述第一量化权重参数对第一感知模块中的颈部模块进行更新。
6.根据权利要求1所述的方法,其特征在于,获取车辆的目标感知数据,包括:
在检测到满足预设的模型更新频率条件时,获取车辆的目标感知数据;和/或;
在检测到所述车辆进入至设定地域属性的区域时,获取车辆的目标感知数据。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
获取所述车辆的实时感知数据,将所述实时感知数据分别输入至第一感知模型和第二感知模型中,获取第一目标检测结果和第二目标检测结果;
将第一目标检测结果和第二目标检测结果进行融合,得到车辆检测结果。
8.一种车载感知模型的更新装置,其特征在于,包括:
目标感知数据获取模块,用于获取车辆的目标感知数据,并通过车辆内置的第一感知模型获取与所述目标感知数据匹配的目标检测结果;
目标训练样本构建模块,用于根据所述目标感知数据和目标检测结果构建目标训练样本,并使用目标训练样本对车辆内置的第二感知模型进行训练;
在线更新模块,用于如果所述第二感知模型的推理性能高于所述第一感知模型,则使用所述第二感知模型的模型参数对所述第一感知模型的模型参数进行在线更新。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的车载感知模型的更新方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的车载感知模型的更新方法。
CN202210735166.2A 2022-06-27 2022-06-27 车载感知模型的更新方法、装置、电子设备及存储介质 Active CN114911813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210735166.2A CN114911813B (zh) 2022-06-27 2022-06-27 车载感知模型的更新方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210735166.2A CN114911813B (zh) 2022-06-27 2022-06-27 车载感知模型的更新方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114911813A true CN114911813A (zh) 2022-08-16
CN114911813B CN114911813B (zh) 2023-09-26

Family

ID=82772442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210735166.2A Active CN114911813B (zh) 2022-06-27 2022-06-27 车载感知模型的更新方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114911813B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830332A (zh) * 2018-06-22 2018-11-16 安徽江淮汽车集团股份有限公司 一种视觉车辆检测方法及系统
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式(北京)技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
CN112769811A (zh) * 2020-12-30 2021-05-07 北京天融信网络安全技术有限公司 一种隐蔽信道检测模型更新方法及装置
CN113205070A (zh) * 2021-05-27 2021-08-03 三一专用汽车有限责任公司 视觉感知算法优化方法及系统
CN113449823A (zh) * 2021-08-31 2021-09-28 成都深蓝思维信息技术有限公司 自动驾驶模型训练方法及数据处理设备
CN113838021A (zh) * 2021-09-18 2021-12-24 长春理工大学 基于改进的YOLOv5网络的肺结节检测系统
US20220114805A1 (en) * 2021-12-22 2022-04-14 Julio Fernando Jarquin Arroyo Autonomous vehicle perception multimodal sensor data management
CN114444717A (zh) * 2022-01-25 2022-05-06 杭州海康威视数字技术股份有限公司 自主学习方法、装置、电子设备及机器可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830332A (zh) * 2018-06-22 2018-11-16 安徽江淮汽车集团股份有限公司 一种视觉车辆检测方法及系统
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式(北京)技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
CN112769811A (zh) * 2020-12-30 2021-05-07 北京天融信网络安全技术有限公司 一种隐蔽信道检测模型更新方法及装置
CN113205070A (zh) * 2021-05-27 2021-08-03 三一专用汽车有限责任公司 视觉感知算法优化方法及系统
CN113449823A (zh) * 2021-08-31 2021-09-28 成都深蓝思维信息技术有限公司 自动驾驶模型训练方法及数据处理设备
CN113838021A (zh) * 2021-09-18 2021-12-24 长春理工大学 基于改进的YOLOv5网络的肺结节检测系统
US20220114805A1 (en) * 2021-12-22 2022-04-14 Julio Fernando Jarquin Arroyo Autonomous vehicle perception multimodal sensor data management
CN114444717A (zh) * 2022-01-25 2022-05-06 杭州海康威视数字技术股份有限公司 自主学习方法、装置、电子设备及机器可读存储介质

Also Published As

Publication number Publication date
CN114911813B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
EP4036886A2 (en) Method and apparatus for monitoring vehicle, cloud control platform and system for vehicle-road collaboration
CN112906823B (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN112598192B (zh) 一种车辆进入物流园区的预测方法、装置、存储介质及终端
CN115359471A (zh) 图像处理及联合检测模型训练方法、装置、设备和存储介质
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN114998863B (zh) 目标道路识别方法、装置、电子设备以及存储介质
CN115880928A (zh) 自动驾驶高精地图实时更新方法、装置、设备及存储介质
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN114911813B (zh) 车载感知模型的更新方法、装置、电子设备及存储介质
CN115995075A (zh) 一种车辆自适应导航方法、装置、电子设备及存储介质
CN112861701B (zh) 违章停车识别方法、装置、电子设备以及计算机可读介质
CN115311522A (zh) 用于自动驾驶的目标检测方法及装置、电子设备及介质
CN114708498A (zh) 图像处理方法、装置、电子设备以及存储介质
CN115063765A (zh) 一种道路边界线确定方法、装置、设备及存储介质
CN112926630B (zh) 路线规划方法、装置、电子设备以及计算机可读介质
CN113869317A (zh) 车牌识别方法、装置、电子设备和存储介质
CN113806361B (zh) 电子监控设备与道路的关联方法、装置及存储介质
US20230038645A1 (en) Method, electronic device and storage medium for remote damage assessment of vehicle
CN114529768B (zh) 确定对象类别的方法、装置、电子设备和存储介质
CN116168366B (zh) 点云数据生成方法、模型训练方法、目标检测方法和装置
CN111091096B (zh) 车辆偏离决策方法、装置、存储介质及车辆
CN112907949B (zh) 交通异常的检测方法、模型的训练方法及装置
CN114999204B (zh) 导航信息处理方法、装置、设备及存储介质
CN112907959A (zh) 电子眼管理方法、设备和存储介质
CN115775329A (zh) 目标识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 28, Room 415, 4th Floor, Building A, Zhongchuang Service Center, No. 1 Xihu Road, Wujin National High tech Industrial Development Zone, Changzhou City, Jiangsu Province, 213164

Patentee after: Xinli Intelligent Technology (Jiangsu) Co.,Ltd.

Address before: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee before: Xinli Intelligent Technology (Shanghai) Co.,Ltd.