CN114429620A - 限高装置下边缘位置检测模型训练方法和系统 - Google Patents

限高装置下边缘位置检测模型训练方法和系统 Download PDF

Info

Publication number
CN114429620A
CN114429620A CN202210357873.2A CN202210357873A CN114429620A CN 114429620 A CN114429620 A CN 114429620A CN 202210357873 A CN202210357873 A CN 202210357873A CN 114429620 A CN114429620 A CN 114429620A
Authority
CN
China
Prior art keywords
height limiting
limiting device
lower edge
training
edge position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210357873.2A
Other languages
English (en)
Inventor
孙旭生
杨超
肖志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202210357873.2A priority Critical patent/CN114429620A/zh
Publication of CN114429620A publication Critical patent/CN114429620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种限高装置下边缘位置检测模型训练方法和系统，所述方法包括：采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。该方法和系统提高了训练得出的模型效果，使得后续限高装置的检测准确性较高，以保证行车安全。

Description

限高装置下边缘位置检测模型训练方法和系统
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统。
背景技术
随着汽车技术的不断发展，大型客车、大型货车以及房车等车身高度比较高的车型数量持续增长。然而，由于大型车辆驾驶员的疏忽或无法准确估计限高装置位置等原因，车辆与限高装置发生碰撞而造成人员伤亡以及财产损失的事故频繁发生。
为了在行车过程中及时检测到限高装置，通常需要训练检测模型。而基于常规的限高装置检测模型做检测时，由于检测的是限高装置的整体，而且检测的部分通常会包含许多背景，因而无法准确计算出限高装置的高度。并且，限高装置的种类繁多，数据采集无法涵盖到全部种类，因此常规的检测方案会产生大量的漏检情况，或需要使用大规模数据集进行训练，模型训练过程复杂。
因此，提供一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统，以提高训练得出的模型效果，使得后续限高装置的检测准确性较高，以保证行车安全，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统，以提高训练得出的模型效果，使得后续限高装置的检测准确性较高，以保证行车安全。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于深度学习的限高装置下边缘位置检测模型训练方法，所述方法包括：
采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；
提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；
利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
进一步地，所述基于海量图像构建限高装置的图像数据集，具体包括：
使用完成标定的双目相机，在汽车的真实驾驶环境中，采集所有目标区域内所遇到的所有限高装置，所述目标区域为存在限高装置的区域；
在采集过程中应保证汽车以预设车速向前行驶，采集从限高装置在双目相机成像开始直到车辆通过限高装置无法采集到限高数据为止的所有图像帧；
将所有图像帧形成所述图像数据集。
进一步地，训练集与测试集的预设比例为4:1。
进一步地，所述对各所述限高装置的下边缘位置进行特征标注，具体包括：
以直线或折线的方式标注下边缘；
各图像中包含的所有限高装置均分别进行标注，且不同种类的限高装置利用不同的直线进行标注；
对每个标注的限高装置进行限高类别标注。
进一步地，所述深度学习网络为U-Net网络。
进一步地，所述方法还包括：
对所述限高装置下边缘位置检测模型进行测试和误差分析，以得到最优的限高装置下边缘位置检测模型。
进一步地，所述对所述限高装置下边缘位置检测模型进行测试，具体包括：
将采集到的限高数据的测试集输入到所述限高装置下边缘位置检测模型中进行测试；
获取限高装置下边缘位置检测模型输出的限高装置下边缘的关键点位置信息置；
获取限高装置的检测置信度，并根据检测置信度的数值大小判断检测的可靠性；
判定检测置信度大于或者等于置信度阈值，则以所述检测置信度对应的检测结果作为实际的检测结果；
判定检测置信度小于置信度阈值，则不将该检测结果作为实际的检测结果。
本发明还提供一种基于深度学习的限高装置下边缘位置检测模型训练系统，所述系统包括：
数据集构建单元，用于采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；
边缘特征标注单元，用于提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；
检测模型训练单元，用于利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法和系统，通过采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；并提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；利用深度学习网络对所述训练集中的限高装置进行特征训练，以得到限高装置下边缘位置检测模型。这样，该方法和系统通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通过高度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法一种具体实施方式的流程图；
图2-图4为图像特征标记图；
图5为本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一种具体实施方式中，如图1所示，本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法包括：
S1：采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；其中，训练集与测试集的预设比例为4:1。
具体地，在获取海量图像时，使用完成标定的双目相机，在汽车的实际驾驶场景中采集所遇到的限高装置，如限高杆、桥洞、横杆以及其他与大型车辆在高度方向上有碰撞风险的限高装置。一个场景数据的采集应该满足从限高装置在相机中成像开始，直到车辆通过限高装置无法采集到限高装置的数据为止。随后将采集到的数据按照4:1划分为训练集与测试集，保证训练集与测试集无交集，即测试集为独立的一批数据。其中，采集到的限高装置示例图如图2所示。
S2：提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注。
其中，所述基于海量图像构建限高装置的图像数据集，具体包括以下步骤：
S21：使用完成标定的双目相机，在汽车的真实驾驶环境中，采集所有目标区域内所遇到的所有限高装置；
S22：在采集过程中应保证汽车以预设车速向前行驶，采集从限高装置在双目相机成像开始直到车辆通过限高装置无法采集到限高数据为止的所有图像帧；
S23：将所有图像帧形成所述图像数据集。
所述对各所述限高装置的下边缘位置进行特征标注，具体包括以下步骤：
S201：以直线或折线的方式标注下边缘；
S202：各图像中包含的所有限高装置均分别进行标注，且不同的限高装置利用不同的直线进行标注；
S203：对每个标注的限高装置进行限高类别标注。
也就是说，通过双目相机采集后的海量图像需要进行标注，标注后构建图像数据集，或者构建数据集后进行标注。可使用Labelme软件对限高装置的下边缘进行标注。具体的标注方式如图3所示。其中，标注的过程中应满足如下要求：
1）对限高装置的标注应该以直线或折线的方式标注下边缘，保证所标注的直线不能附在背景上面；
2）图像中包含的多有限高装置都应予以标注，并用多个直线进行标注；
3）每个标注的限高装置都应标注其类别，不同种类的限高装置应有不同的命名，如限高杆、桥洞、横杆等。
S3：利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
由于限高装置检测任务需要在车辆的真实驾驶场景中实时进行，因此，对于深度学习的网络有两个硬性要求。首先，要求深度学习网络的前向推理时间要满足实时性的要求，以此满足限高装置检测算法的可落地性。其次，要求深度学习网络训练的模型足够高效，尽可能减少误检与漏检的情况，以此提高限高装置检测算法的实用性。基于上述要求，并结合实际限高装置下边缘检测的任务，优选地，选择U-Net作为限高装置下边缘检测的深度学习网络。
在一些使用场景中，选择U-Net进行模型训练时，将采集到的限高数据的训练集与标注完成的对应的标签输入U-Net网络中进行训练。选择每20个迭代周期保存一次模型的参数。在模型训练过中，模型的预测值与输入的训练集标签经过计算得到损失值，观察训练过程的损失大小，当模型的损失值不再下降后停止训练，在保存的模型中选择损失最小的模型作为限高装置下边缘位置检测模型。
为了提高模型训练的效果，所述方法还包括：
S4：对所述限高装置下边缘位置检测模型进行测试和误差分析，以得到优化后的限高装置下边缘位置检测模型。
其中，所述对所述限高装置下边缘位置检测模型进行测试，具体包括以下步骤：
S41：将采集到的限高数据的测试集输入到所述限高装置下边缘位置检测模型中进行测试；
S42：获取限高装置下边缘位置检测模型输出的包围框的位置信息，并将包围框的信息可视化，得到限高装置的位置；
S43：获取限高装置的检测置信度，并根据检测置信度的数值大小判断检测的可靠性；
S44：判定检测置信度大于或者等于置信度阈值，则以所述检测置信度对应的检测结果作为实际的检测结果；
S45：判定检测置信度小于置信度阈值，则重新训练模型。
具体地，在一些实施例中，将采集到的限高数据的测试集输入到保存的限高装置下边缘检测模型中进行测试，模型预测图像中的限高装置的下边缘的关键点位置信息，将关键点信息可视化到图像中的结果如图4所示。其中左上部分为对横杆的检测结果，中下部分为对限高杆的检测结果。
根据模型的检测结果与限高数据中测试集的标签，对限高装置下边缘检测的模型测试的结果进行误差分析。
在误差分析时，选择交并比（Intersection over Union，IoU）作为关键点的限高装置检测算法的评价指标。其中，交并比的计算公式为：
交并比 =真阳性 / （假阳性+真阳性+假阴性）
例如，对于基于深度学习的限高装置下边缘检测结果，预测的下边缘的关键点的位置与标签中的真值点的位置相同时，记为真阳性。如果模型预测某个位置有关键点，但实际上该位置没有关键点，记为假阳性。如果真值中某个位置有点，但是模型预测该位置没有点，记为假阴性。
这样，在上述具体实施方式中，本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法，通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，提高了训练得出的模型效果，使得后续限高装置的检测准确性较高，进而保证了行车安全。并且，使用基于深度学习的限高装置下边缘检测方法不仅可以精确回归出限高装置的下边缘，由于模型重点学习的是限高装置的下边缘特征，因此不需要大量样本即可拥有很强的泛化能力，从而能准确的计算出限高装置的具体最低限行高度，从而使得大型车辆能够顺利通过限高装置，或提前获得不可通过的预警信号。基于深度学习的关键点的限高装置检测方法，经过数据的采集划分与标注，模型的训练以及测试，最后通过IoU评价指标进行误差分析判断模型预测结果的优劣。此方法训练出的模型可以高效的检测出限高装置的下边缘的具体位置，通过将下边缘位置增加到特征标注的维度中，据此训练出的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通过高度。进而大型汽车可以根据具体的下边缘的位置信息可以判断出车辆可以通过限高装置，或提前预知无法通过该装置，从而做出进一步决策。
除了上述方法，本发明还提供一种基于深度学习的限高装置下边缘位置检测模型训练系统，如图5所示，所述系统包括：
数据集构建单元100，用于采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；
边缘特征标注单元200，用于提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；
检测模型训练单元300，用于利用深度学习网络对所述训练集中的限高装置进行特征训练，以得到限高装置下边缘位置检测模型。
这样，在上述具体实施方式中，本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练系统，通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，提高了训练得出的模型效果，使得后续限高装置的检测准确性较高，进而保证了行车安全。并且，使用基于深度学习的限高装置下边缘检测方法不仅可以精确回归出限高装置的下边缘，由于模型重点学习的是限高装置的下边缘特征，因此不需要大量样本即可拥有很强的泛化能力，从而能准确的计算出限高装置的具体最低限行高度，从而使得大型车辆能够顺利通过限高装置，或提前获得不可通过的预警信号。基于深度学习的关键点的限高装置检测方法，经过数据的采集划分与标注，模型的训练以及测试，最后通过IoU评价指标进行误差分析判断模型预测结果的优劣。该方案训练出的模型可以高效的检测出限高装置的下边缘的具体位置，通过将下边缘位置增加到特征标注的维度中，据此训练出的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通过高度。进而大型汽车可以根据具体的下边缘的位置信息可以判断出车辆可以通过限高装置，或提前预知无法通过该装置，从而做出进一步决策。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种限高装置下边缘位置检测模型训练方法，其特征在于，所述方法包括：
采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；
提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；
利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
2.根据权利要求1所述的限高装置下边缘位置检测模型训练方法，其特征在于，所述基于海量图像构建限高装置的图像数据集，具体包括：
使用完成标定的双目相机，在汽车的真实驾驶环境中，采集所有目标区域内所遇到的所有限高装置，所述目标区域为存在限高装置的区域；
在采集过程中应保证汽车以预设车速向前行驶，采集从限高装置在双目相机成像开始直到车辆通过限高装置无法采集到限高数据为止的所有图像帧；
将所有图像帧形成所述图像数据集。
3.根据权利要求1所述的限高装置下边缘位置检测模型训练方法，其特征在于，训练集与测试集的预设比例为4:1。
4.根据权利要求1所述的限高装置下边缘位置检测模型训练方法，其特征在于，所述对各所述限高装置的下边缘位置进行特征标注，具体包括：
以直线或折线的方式标注下边缘；
各图像中包含的所有限高装置均分别进行标注，且不同种类的限高装置利用不同的直线进行标注；
对每个标注的限高装置进行限高类别标注。
5.根据权利要求1所述的限高装置下边缘位置检测模型训练方法，其特征在于，所述深度学习网络为U-Net网络。
6.根据权利要求1所述的限高装置下边缘位置检测模型训练方法，其特征在于，所述方法还包括：
对所述限高装置下边缘位置检测模型进行测试和误差分析，以得到最优的限高装置下边缘位置检测模型。
7.根据权利要求6所述的限高装置下边缘位置检测模型训练方法，其特征在于，所述对所述限高装置下边缘位置检测模型进行测试，具体包括：
将采集到的限高数据的测试集输入到所述限高装置下边缘位置检测模型中进行测试；
获取限高装置下边缘位置检测模型输出的限高装置下边缘的关键点位置信息；
获取限高装置的检测置信度，并根据检测置信度的数值大小判断检测的可靠性；
判定检测置信度大于或者等于置信度阈值，则以所述检测置信度对应的检测结果作为实际的检测结果；
判定检测置信度小于置信度阈值，则不将该检测结果作为实际的检测结果。
8.一种限高装置下边缘位置检测模型训练系统，其特征在于，所述系统包括：
数据集构建单元，用于采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；
边缘特征标注单元，用于提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；
检测模型训练单元，用于利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202210357873.2A 2022-04-07 2022-04-07 限高装置下边缘位置检测模型训练方法和系统 Pending CN114429620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210357873.2A CN114429620A (zh) 2022-04-07 2022-04-07 限高装置下边缘位置检测模型训练方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357873.2A CN114429620A (zh) 2022-04-07 2022-04-07 限高装置下边缘位置检测模型训练方法和系统

Publications (1)

Publication Number Publication Date
CN114429620A true CN114429620A (zh) 2022-05-03

Family

ID=81314244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357873.2A Pending CN114429620A (zh) 2022-04-07 2022-04-07 限高装置下边缘位置检测模型训练方法和系统

Country Status (1)

Country Link
CN (1) CN114429620A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107702674A (zh) * 2017-08-23 2018-02-16 六六房车有限公司 一种车辆行驶限高障碍检测方法
CN110148148A (zh) * 2019-03-01 2019-08-20 北京纵目安驰智能科技有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
CN110426046A (zh) * 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
US20200348132A1 (en) * 2019-05-02 2020-11-05 Corelogic Solutions, Llc System, computer program product and method for using a convolution neural network to auto-determine a floor height and floor height elevation of a building
CN112163466A (zh) * 2020-09-11 2021-01-01 杭州鸿泉物联网技术股份有限公司 一种基于uwb的限高高度确定方法、装置和系统
WO2021155082A1 (en) * 2020-01-31 2021-08-05 Reliant Immune Diagnostics, Inc. Computer-based systems configured for automated feature detection for image analysis and methods thereof
CN113284120A (zh) * 2021-05-31 2021-08-20 北京经纬恒润科技股份有限公司 限高高度测量方法及装置
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端
CN113658226A (zh) * 2021-08-26 2021-11-16 中国人民大学 一种限高装置高度检测方法和系统
CN113994391A (zh) * 2021-09-23 2022-01-28 深圳市锐明技术股份有限公司 车辆通行提醒方法、装置及车载终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107702674A (zh) * 2017-08-23 2018-02-16 六六房车有限公司 一种车辆行驶限高障碍检测方法
CN110148148A (zh) * 2019-03-01 2019-08-20 北京纵目安驰智能科技有限公司 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
US20200348132A1 (en) * 2019-05-02 2020-11-05 Corelogic Solutions, Llc System, computer program product and method for using a convolution neural network to auto-determine a floor height and floor height elevation of a building
CN110426046A (zh) * 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
WO2021155082A1 (en) * 2020-01-31 2021-08-05 Reliant Immune Diagnostics, Inc. Computer-based systems configured for automated feature detection for image analysis and methods thereof
CN112163466A (zh) * 2020-09-11 2021-01-01 杭州鸿泉物联网技术股份有限公司 一种基于uwb的限高高度确定方法、装置和系统
CN113284120A (zh) * 2021-05-31 2021-08-20 北京经纬恒润科技股份有限公司 限高高度测量方法及装置
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端
CN113658226A (zh) * 2021-08-26 2021-11-16 中国人民大学 一种限高装置高度检测方法和系统
CN113994391A (zh) * 2021-09-23 2022-01-28 深圳市锐明技术股份有限公司 车辆通行提醒方法、装置及车载终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI MA，QIAN WANG: "Low-Light Image Enhancement Combining U-Net and Self-attention Mechanism", 《ICNC-FSKD 2021: ADVANCES IN NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》, 1 January 2022 (2022-01-01), pages 769 - 780 *
韩佳彤 等: "数据实时转化技术在智能限高监控平台中的应用研究", 《内蒙古大学学报（自然科学版）》, vol. 51, no. 3, 31 May 2020 (2020-05-31), pages 315 - 321 *

Similar Documents

Publication Publication Date Title
CN113378805B (zh) 基于深度学习的限高装置检测方法、系统和智能终端
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
US8687063B2 (en) Method for predicting lane line and lane departure warning system using the same
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN112348035B (zh) 车辆关键点检测方法、装置及电子设备
CN112163348A (zh) 道路异常路面的检测方法、装置、仿真方法、车辆和介质
CN111753649A (zh) 车位检测方法、装置、计算机设备和存储介质
CN114998856B (zh) 一种多相机图像的3d目标检测方法、装置、设备及介质
CN104167109A (zh) 车辆位置的检测方法和检测装置
CN112465193B (zh) 多传感器数据融合的参数优化方法及装置
CN112132131A (zh) 量筒液位识别方法和装置
CN114565895A (zh) 一种基于智慧社会的安防监控系统及方法
CN113240756A (zh) 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN114973198A (zh) 目标车辆的航向角预测方法、装置及电子设备、存储介质
CN114882470A (zh) 车载防碰撞预警方法、装置、计算机设备及存储介质
CN114022523B (zh) 低重叠点云数据配准系统及方法
KR20210018493A (ko) 차선 속성 검출
US9747801B2 (en) Method and device for determining surroundings
CN113255671A (zh) 针对长宽比大物体的目标检测方法、系统、设备及介质
CN114429620A (zh) 限高装置下边缘位置检测模型训练方法和系统
CN115512098B (zh) 一种桥梁电子化巡检系统及巡检方法
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质
CN114005110B (zh) 3d检测模型训练方法与装置、3d检测方法与装置
CN115546130A (zh) 用于数字孪生的身高测量方法、装置及电子设备
CN114663760A (zh) 模型训练的方法、目标检测方法、存储介质及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220503