CN116821398A - 一种道路缺陷识别模型训练用数据集获取方法 - Google Patents

一种道路缺陷识别模型训练用数据集获取方法 Download PDF

Info

Publication number
CN116821398A
CN116821398A CN202311018934.3A CN202311018934A CN116821398A CN 116821398 A CN116821398 A CN 116821398A CN 202311018934 A CN202311018934 A CN 202311018934A CN 116821398 A CN116821398 A CN 116821398A
Authority
CN
China
Prior art keywords
road
defect
data set
defects
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311018934.3A
Other languages
English (en)
Other versions
CN116821398B (zh
Inventor
刘君
李静林
邹思思
李永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xintang Xintong Zhejiang Technology Co ltd
Original Assignee
Xintang Xintong Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xintang Xintong Beijing Technology Co ltd filed Critical Xintang Xintong Beijing Technology Co ltd
Priority to CN202311018934.3A priority Critical patent/CN116821398B/zh
Publication of CN116821398A publication Critical patent/CN116821398A/zh
Application granted granted Critical
Publication of CN116821398B publication Critical patent/CN116821398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种道路缺陷识别模型训练用数据集获取方法,涉及道路工程领域,包括采集历史图像数据,进行图像分割以形成缺陷单元图像,并对其进行聚类,形成基础道路缺陷的第一数据集;然后,根据预设规则将基础缺陷组合,形成组合道路缺陷,并将其与历史图像比对,根据相似度大小,将其纳入第二或第三数据集。在训练模型时,首先使用第一数据集进行训练,然后基于前一数据集的训练结果,采用迁移学习方式使用第二和第三数据集进行进一步训练。本发明方法提高了识别的准确性和模型的泛化能力,能有效识别各种未出现过的道路缺陷。

Description

一种道路缺陷识别模型训练用数据集获取方法
技术领域
本发明涉及道路工程领域,更具体地说,涉及一种道路缺陷识别模型训练用数据集获取方法。
背景技术
随着城市化进程的加快,城市道路的维护和管理工作日益重要。特别是道路表面的缺陷识别与修复,关系到道路的使用寿命、行车的安全以及城市的运行效率。然而,现有的道路缺陷识别技术多存在一些问题,未能满足日益严格的道路管理需求。
现有的道路缺陷识别技术主要依赖于图像识别技术,通过对道路表面的实时图像进行识别分析,以检测道路表面的缺陷。这些技术一般使用摄像头捕捉道路表面的实时图像,然后利用图像识别算法对图像进行分析,以识别出道路表面的缺陷。
这些方法的基础是从大量道路图像中训练模型,以识别出各种道路缺陷。然而,这类方法的一个重要限制在于,训练模型的效果大程度上依赖于所使用的图像数据库的质量和多样性。
现有的道路图像数据库通常由采集的历史道路图像组成,这些图像中包含了各种已经出现过的道路缺陷。然而,由于道路缺陷的种类和形态千变万化,这些历史图像不可能包含所有可能出现的道路缺陷,特别是一些尚未出现过的新型或复杂缺陷。因此,基于这类图像数据库训练出的模型可能无法准确识别那些在训练数据集中未曾出现过的道路缺陷,这大大限制了现有道路缺陷识别技术的实用性和可靠性。
此外,现有的道路缺陷识别技术也往往忽视了道路缺陷之间的复杂关系。例如,多种不同类型的道路缺陷可能在同一位置或相邻位置并存,形成复杂的组合缺陷,这对识别模型的性能和鲁棒性提出了更高的要求。
发明内容
本发明要解决的技术问题是提供一种道路缺陷识别模型训练用数据集获取方法,以解决背景技术中提到的问题。
为了达到上述目的,本发明采取以下技术方案:
一种道路缺陷识别模型训练用数据集获取方法,包括如下步骤:
S1:采集包含各种道路缺陷的历史图像数据;
S2:对于历史缺陷图像,采用图像分割技术,以轮廓和边缘为基础,将各个缺陷从背景和其他相邻缺陷中分割出来,得到一系列缺陷单元图像;
S3:对于分割后的缺陷单元图像,采用图像聚类算法,基于图像的形状、尺寸特征,对缺陷单元图像进行聚类,使得形状、尺寸相似的缺陷单元图像在同一类中,每一类代表一种基础道路缺陷;将基础道路缺陷纳入第一数据集;
S4:根据预定的规则和算法,随机选取多个基础道路缺陷,以及各个基础道路缺陷的位置、重叠等级参数,将这些基础道路缺陷进行组合,得到一系列组合道路缺陷;
S5:将每一个组合道路缺陷的图像与S1中的历史图像数据中的所有图像进行比对,根据比对结果,如果历史图像数据中存在图像与该组合道路缺陷的图像的相似度小于预设的阈值,则将该组合道路缺陷图像纳入第二数据集,否则,将该组合道路缺陷图像纳入第三数据集;
S6:在训练道路缺陷识别模型时,首先采用第一数据集对模型进行训练,随后,在基于第一数据集的训练结果基础上,采用迁移学习的方式使用第二数据集进行进一步训练;接着,在基于第二数据集的训练结果基础上,采用迁移学习的方式使用第三数据集进行进一步训练。
在一些实施例中,所述图像分割技术采用全卷积网络或U-Net模型。
在一些实施例中,所述图像聚类算法采用K-Means聚类算法或谱聚类算法。
在一些实施例中,S4中所述预定的规则和算法包括:
基础道路缺陷选择规则:定义从基础道路缺陷库中选择多少个基础道路缺陷进行组合的规则;这可以是固定的数字,也可以是一个范围内的随机数字。例如,可以定义每次组合选择2-4个元缺陷;
基础道路缺陷位置规则:定义基础道路缺陷在组合中的位置关系;这可以包括基础道路缺陷在水平方向上的相对位置(如左、右或随机)、基础道路缺陷在垂直方向上的相对位置(如上、下或随机)等。例如,可以定义基础道路缺陷在水平和垂直方向上的位置是随机的。
基础道路缺陷重叠等级参数:定义基础道路缺陷在组合中可以重叠的程度;可以设定为一个范围,例如0-50%,其中0表示没有重叠,50%表示一个基础道路缺陷可以覆盖另一个基础道路缺陷的一半面积。
组合算法:用于根据上述规则来实际生成组合道路缺陷。即算法需要根据基础道路缺陷选择规则随机选择基础道路缺陷,然后根据基础道路缺陷位置规则和基础道路缺陷重叠等级参数来确定基础道路缺陷在组合中的具体位置和重叠程度。
在一些实施例中,S5中的相似度计算基于如下步骤:使用形状上下文(ShapeContext)或者四叉树(Quadtree)来提取图像的形状特征,然后使用距离度量来计算这些特征之间的相似度。
在一些实施例中,所述距离度量为欧氏距离或者余弦相似度。
在一些实施例中,所述道路缺陷识别模型在任一数据集上的训练过程包括:
S621:人为在实验所用地面上构造数据集上的道路缺陷;
S622:使用一辆装备有各类传感器的汽车,对S621的道路缺陷驶过,记录传感器数据并标注对应的缺陷类型,形成特征数据集;
S623:应用机器学习算法,利用S622步骤得到的特征数据集训练一个道路缺陷识别模型,所述道路缺陷识别模型用于接收汽车行驶过程中传感器的实时数据并输出对应的道路缺陷类型。
在一些实施例中,S622中所述传感器至少包括加速度传感器和陀螺仪。
本发明相对于现有技术的优点在于:
1、本发明通过采用三种数据集分类的方法,将基础道路缺陷、组合道路缺陷以及在历史图像数据中已经出现过的组合道路缺陷进行了有效的整理和分类。这不仅可以增加训练数据集的多样性,同时也有利于模型学习和理解不同类型的道路缺陷,从而提高模型的识别准确性。
2、本发明通过生成和训练包含未在历史图像数据中出现过的组合道路缺陷的数据集,该方法可以让模型具有识别未知道路缺陷的能力。这对于提升模型的泛化性能和实用性非常重要,因为在实际应用中,总会存在一些新的、未曾出现过的道路缺陷需要模型识别和处理。
3、本发明通过采用迁移学习的方式,首先使用第一数据集(基础道路缺陷)进行模型的初步训练,让模型掌握最基础的道路缺陷的识别能力。然后在第一数据集训练的基础上,通过迁移学习使用第二数据集(组合道路缺陷)进行进一步训练,让模型理解和掌握更复杂的、由基础缺陷组合而成的缺陷的识别能力。在每一步的迁移学习中,模型都可以利用上一步训练的结果,避免了从头开始训练的复杂度。第三数据集包含了那些在历史图像数据中出现过,但在第一、第二数据集中没有的组合道路缺陷。通过在第二数据集训练的基础上,使用迁移学习训练第三数据集,模型可以学习到这些额外的、新的缺陷组合模式,从而提高模型对于新、未知道路缺陷的泛化和识别能力。迁移学习还可以有效地节省训练资源。通过在已经训练过的模型基础上进行新的训练,可以减少训练时间,节省计算资源,提高训练效率。这在处理大规模数据集时尤其重要,可以大幅度提高模型训练的效率。
4、本发明除了可以应用在基于图像识别的道路缺陷模型的训练上,还可以应用在另一种模型训练方法:通过人为在实验地面上构造道路缺陷,并使用装备有各类传感器的汽车对这些道路缺陷进行驶过和记录,模拟出真实的道路行驶条件,提高模型在真实场景下的表现。同时,也可以让模型学习和理解多种传感器的数据特征,进一步提升模型的识别精度和鲁棒性。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作描述。
如图1所示为本发明方法流程图,本发明方法包括如下步骤:
S1:采集包含各种道路缺陷的历史图像数据;
S2:对于历史缺陷图像,采用图像分割技术,以轮廓和边缘为基础,将各个缺陷从背景和其他相邻缺陷中分割出来,得到一系列缺陷单元图像;
S3:对于分割后的缺陷单元图像,采用图像聚类算法,基于图像的形状、尺寸特征,对缺陷单元图像进行聚类,使得形状、尺寸相似的缺陷单元图像在同一类中,每一类代表一种基础道路缺陷;将基础道路缺陷纳入第一数据集;
S4:根据预定的规则和算法,随机选取多个基础道路缺陷,以及各个基础道路缺陷的位置、重叠等级参数,将这些基础道路缺陷进行组合,得到一系列组合道路缺陷;
S5:将每一个组合道路缺陷的图像与S1中的历史图像数据中的所有图像进行比对,根据比对结果,如果历史图像数据中存在图像与该组合道路缺陷的图像的相似度小于预设的阈值,则将该组合道路缺陷图像纳入第二数据集,否则,将该组合道路缺陷图像纳入第三数据集;
S6:在训练道路缺陷识别模型时,首先采用第一数据集对模型进行训练,随后,在基于第一数据集的训练结果基础上,采用迁移学习的方式使用第二数据集进行进一步训练;接着,在基于第二数据集的训练结果基础上,采用迁移学习的方式使用第三数据集进行进一步训练。
在一些实施例中,图像分割技术采用全卷积网络或U-Net模型。
在一些实施例中,图像聚类算法采用K-Means聚类算法或谱聚类算法。
在一些实施例中,S4中预定的规则和算法包括:
基础道路缺陷选择规则:定义从基础道路缺陷库中选择多少个基础道路缺陷进行组合的规则;这可以是固定的数字,也可以是一个范围内的随机数字。例如,可以定义每次组合选择2-4个元缺陷;
基础道路缺陷位置规则:定义基础道路缺陷在组合中的位置关系;这可以包括基础道路缺陷在水平方向上的相对位置(如左、右或随机)、基础道路缺陷在垂直方向上的相对位置(如上、下或随机)等。例如,可以定义基础道路缺陷在水平和垂直方向上的位置是随机的。
基础道路缺陷重叠等级参数:定义基础道路缺陷在组合中可以重叠的程度;可以设定为一个范围,例如0-50%,其中0表示没有重叠,50%表示一个基础道路缺陷可以覆盖另一个基础道路缺陷的一半面积。
组合算法:用于根据上述规则来实际生成组合道路缺陷。即算法需要根据基础道路缺陷选择规则随机选择基础道路缺陷,然后根据基础道路缺陷位置规则和基础道路缺陷重叠等级参数来确定基础道路缺陷在组合中的具体位置和重叠程度。
在一些实施例中,S5中的相似度计算基于如下步骤:使用形状上下文(ShapeContext)或者四叉树(Quadtree)来提取图像的形状特征,然后使用距离度量来计算这些特征之间的相似度。
在一些实施例中,距离度量为欧氏距离或者余弦相似度。
在一些实施例中,道路缺陷识别模型在任一数据集上的训练过程包括:
S621:人为在实验所用地面上构造数据集上的道路缺陷;
S622:使用一辆装备有各类传感器的汽车,对S621的道路缺陷驶过,记录传感器数据并标注对应的缺陷类型,形成特征数据集;
S623:应用机器学习算法,利用S622步骤得到的特征数据集训练一个道路缺陷识别模型,道路缺陷识别模型用于接收汽车行驶过程中传感器的实时数据并输出对应的道路缺陷类型。
在一些实施例中,S622中传感器至少包括加速度传感器和陀螺仪。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种道路缺陷识别模型训练用数据集获取方法,其特征在于,包括如下步骤:
S1:采集包含各种道路缺陷的历史图像数据;
S2:对于历史缺陷图像,采用图像分割技术,以轮廓和边缘为基础,将各个缺陷从背景和其他相邻缺陷中分割出来,得到一系列缺陷单元图像;
S3:对于分割后的缺陷单元图像,采用图像聚类算法,基于图像的形状、尺寸特征,对缺陷单元图像进行聚类,使得形状、尺寸相似的缺陷单元图像在同一类中,每一类代表一种基础道路缺陷;将基础道路缺陷纳入第一数据集;
S4:根据预定的规则和算法,随机选取多个基础道路缺陷,以及各个基础道路缺陷的位置、重叠等级参数,将这些基础道路缺陷进行组合,得到一系列组合道路缺陷;
S5:将每一个组合道路缺陷的图像与S1中的历史图像数据中的所有图像进行比对,根据比对结果,如果历史图像数据中存在图像与该组合道路缺陷的图像的相似度小于预设的阈值,则将该组合道路缺陷图像纳入第二数据集,否则,将该组合道路缺陷图像纳入第三数据集;
S6:在训练道路缺陷识别模型时,首先采用第一数据集对模型进行训练,随后,在基于第一数据集的训练结果基础上,采用迁移学习的方式使用第二数据集进行进一步训练;接着,在基于第二数据集的训练结果基础上,采用迁移学习的方式使用第三数据集进行进一步训练。
2.根据权利要求1所述道路缺陷识别模型训练用数据集获取方法,其特征在于,所述图像分割技术采用全卷积网络或U-Net模型。
3.根据权利要求1所述道路缺陷识别模型训练用数据集获取方法,其特征在于,所述图像聚类算法采用K-Means聚类算法或谱聚类算法。
4.根据权利要求1所述道路缺陷识别模型训练用数据集获取方法,其特征在于,S4中所述预定的规则和算法包括:
基础道路缺陷选择规则:定义从基础道路缺陷库中选择多少个基础道路缺陷进行组合的规则;
基础道路缺陷位置规则:定义基础道路缺陷在组合中的位置关系;
基础道路缺陷重叠等级参数:定义基础道路缺陷在组合中可以重叠的程度;
组合算法:用于根据上述规则来实际生成组合道路缺陷。
5.根据权利要求1所述道路缺陷识别模型训练用数据集获取方法,其特征在于,S5中的相似度计算基于如下步骤:使用形状上下文或者四叉树来提取图像的形状特征,然后使用距离度量来计算这些特征之间的相似度。
6.根据权利要求5所述道路缺陷识别模型训练用数据集获取方法,其特征在于,所述距离度量为欧氏距离或者余弦相似度。
7.根据权利要求1所述道路缺陷识别模型训练用数据集获取方法,其特征在于,所述道路缺陷识别模型在任一数据集上的训练过程包括:
S621:人为在实验所用地面上构造数据集上的道路缺陷;
S622:使用一辆装备有各类传感器的汽车,对S621的道路缺陷驶过,记录传感器数据并标注对应的缺陷类型,形成特征数据集;
S623:应用机器学习算法,利用S622步骤得到的特征数据集训练一个道路缺陷识别模型,所述道路缺陷识别模型用于接收汽车行驶过程中传感器的实时数据并输出对应的道路缺陷类型。
8.根据权利要求7所述道路缺陷识别模型训练用数据集获取方法,其特征在于,S622中所述传感器至少包括加速度传感器和陀螺仪。
CN202311018934.3A 2023-08-14 2023-08-14 一种道路缺陷识别模型训练用数据集获取方法 Active CN116821398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311018934.3A CN116821398B (zh) 2023-08-14 2023-08-14 一种道路缺陷识别模型训练用数据集获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311018934.3A CN116821398B (zh) 2023-08-14 2023-08-14 一种道路缺陷识别模型训练用数据集获取方法

Publications (2)

Publication Number Publication Date
CN116821398A true CN116821398A (zh) 2023-09-29
CN116821398B CN116821398B (zh) 2023-11-10

Family

ID=88143233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311018934.3A Active CN116821398B (zh) 2023-08-14 2023-08-14 一种道路缺陷识别模型训练用数据集获取方法

Country Status (1)

Country Link
CN (1) CN116821398B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
US20200074211A1 (en) * 2018-08-28 2020-03-05 Sony Corporation Automatic license plate recognition based on augmented datasets
CN111179263A (zh) * 2020-01-06 2020-05-19 宜通世纪物联网研究院(广州)有限公司 一种工业图像表面缺陷检测模型、方法、系统及装置
US20210097348A1 (en) * 2019-10-01 2021-04-01 Google Llc Training neural networks using data augmentation policies
CN113177616A (zh) * 2021-06-29 2021-07-27 腾讯科技(深圳)有限公司 图像分类方法、装置、设备及存储介质
CN113396368A (zh) * 2019-02-05 2021-09-14 优鲁格斯股份有限公司 存在目标数据集时机器学习算法的自动优化
CN113762423A (zh) * 2021-11-09 2021-12-07 北京世纪好未来教育科技有限公司 数据处理和模型训练方法、装置、电子设备及存储介质
CN114241256A (zh) * 2021-11-30 2022-03-25 郑州信大先进技术研究院 基于神经网络的训练样本图像增强方法及系统
CN114494174A (zh) * 2022-01-21 2022-05-13 广东工业大学 一种芯片焊接线缺陷检测方法及装置
CN115862607A (zh) * 2023-01-30 2023-03-28 阿里巴巴达摩院(杭州)科技有限公司 训练样本集的生成方法和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074211A1 (en) * 2018-08-28 2020-03-05 Sony Corporation Automatic license plate recognition based on augmented datasets
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN113396368A (zh) * 2019-02-05 2021-09-14 优鲁格斯股份有限公司 存在目标数据集时机器学习算法的自动优化
US20210097348A1 (en) * 2019-10-01 2021-04-01 Google Llc Training neural networks using data augmentation policies
CN111179263A (zh) * 2020-01-06 2020-05-19 宜通世纪物联网研究院(广州)有限公司 一种工业图像表面缺陷检测模型、方法、系统及装置
CN113177616A (zh) * 2021-06-29 2021-07-27 腾讯科技(深圳)有限公司 图像分类方法、装置、设备及存储介质
CN113762423A (zh) * 2021-11-09 2021-12-07 北京世纪好未来教育科技有限公司 数据处理和模型训练方法、装置、电子设备及存储介质
CN114241256A (zh) * 2021-11-30 2022-03-25 郑州信大先进技术研究院 基于神经网络的训练样本图像增强方法及系统
CN114494174A (zh) * 2022-01-21 2022-05-13 广东工业大学 一种芯片焊接线缺陷检测方法及装置
CN115862607A (zh) * 2023-01-30 2023-03-28 阿里巴巴达摩院(杭州)科技有限公司 训练样本集的生成方法和存储介质

Also Published As

Publication number Publication date
CN116821398B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109165549B (zh) 基于三维点云数据的道路标识获取方法、终端设备及装置
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
CN103034836B (zh) 道路标志检测方法和道路标志检测设备
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN109000645A (zh) 复杂环境目标经典航迹提取方法
CN105160330B (zh) 一种车标识别方法及车标识别系统
CN105930791A (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
Zheng et al. HLU 2-Net: a residual U-structure embedded U-Net with hybrid loss for tire defect inspection
CN108681693A (zh) 基于可信区域的车牌识别方法
CN106446834A (zh) 一种基于图像的车型识别方法及装置
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN114488194A (zh) 一种智能驾驶车辆结构化道路下目标检测识别方法
CN104978567A (zh) 基于场景分类的车辆检测方法
TWI611961B (zh) 車道線影像分析方法、影像分析裝置及其電腦可讀取式媒體
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN113240623B (zh) 一种路面病害检测方法及装置
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN116821398B (zh) 一种道路缺陷识别模型训练用数据集获取方法
CN107832732A (zh) 基于三叉树遍历的车道线检测方法
CN115100173B (zh) 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116628531A (zh) 众包地图道路对象要素聚类方法、系统及存储介质
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
Trivedi et al. Vehicle counting module design in small scale for traffic management in smart city

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231017

Address after: 311215 room 330, 3 / F, Yuesheng International Center, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Xintang Xintong (Zhejiang) Technology Co.,Ltd.

Address before: 521, 5th Floor, Building 5, Yard A69, Fushi Road, Haidian District, Beijing, 100041

Applicant before: Xintang Xintong (Beijing) Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant