CN110175507B - 模型评估方法、装置、计算机设备和存储介质 - Google Patents

模型评估方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110175507B
CN110175507B CN201910278743.8A CN201910278743A CN110175507B CN 110175507 B CN110175507 B CN 110175507B CN 201910278743 A CN201910278743 A CN 201910278743A CN 110175507 B CN110175507 B CN 110175507B
Authority
CN
China
Prior art keywords
sample set
test sample
value
test
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910278743.8A
Other languages
English (en)
Other versions
CN110175507A (zh
Inventor
陈飞
黎伟杰
彭绍东
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeRide Corp
Original Assignee
WeRide Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeRide Corp filed Critical WeRide Corp
Priority to CN201910278743.8A priority Critical patent/CN110175507B/zh
Publication of CN110175507A publication Critical patent/CN110175507A/zh
Application granted granted Critical
Publication of CN110175507B publication Critical patent/CN110175507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种模型评估方法、装置、计算机设备和存储介质，计算机设备获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。采用上述方法可以提升对无人车深度学习模型的改进效果。

Description

模型评估方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种模型评估方法、装置、计算机设备和存储介质。
背景技术
在无人车的深度学习模型开发过程中，模型评估占据了重要的一部分。通过对深度学习模型进行评估，开发人员可以从评估数据中获得更多的信息，有助于进一步地改进无人车的深度学习模型。
现有的模型评估方法根据深度学习模型对测试数据集的测试结果，获得混淆矩阵和PR曲线等模型评估数据，然后根据上述模型评估数据确定出测试数据集中的误判数据，然后对上述误判数据进行评估分析，使得开发人员可以根据上述评估结果来改进模型。
但是，采用上述方法对深度学习模型的改进效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种模型评估方法、装置、计算机设备和存储介质。
一种模型评估方法，上述方法包括：
获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；
获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；
基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
在其中一个实施例中，上述基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果，包括：
根据模型评估数据从测试样本集中选择出测试错误样本集；其中，测试错误样本集包括错误预测结果对应的测试样本；
分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，确定模型评估结果。
在其中一个实施例中，上述分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，包括：
基于标注信息的取值，计算测试样本集中各个取值对应的测试样本占测试样本集的第一比例；
基于标注信息的取值，计算测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例；
根据第一比例和第二比例，计算标注信息的各个取值的显著度，其中，显著度用于表征标注信息的取值对无人车深度学习模型的预测结果的影响程度。
在其中一个实施例中，标注信息包括测试样本集的采集时间、采集测试样本集时的天气信息以及采集测试样本集的位置信息中的至少一种信息。
在其中一个实施例中，当标注信息包括采集测试样本集的位置信息时，上述分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析之前，还包括：
根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；
将至少一个聚类坐标确定为标注信息的取值，其中，一个聚类坐标对应标注信息的一个取值。
在其中一个实施例中，当标注信息包括采集测试样本集的位置信息时，上述分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析之前，还包括：
根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；
基于预设的无人车行驶地图，确定各聚类坐标在无人车行驶地图中对应的至少一个路径；
将至少一个路径确定为标注信息的取值；其中，一个路径对应标注信息的一个取值。
在其中一个实施例中，上述确定模型评估结果，包括：
根据标注信息的各个取值的显著度，将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素。
在其中一个实施例中，上述将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素，包括：
将显著度最高的路径确定为影响无人车深度学习模型评估结果的目标路径；
基于无人车行驶地图，将包含目标路径的路线确定为待优化路线。
一种模型评估装置，上述装置包括：
计算模块，用于获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；
获取模块，用于获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；
统计模块，用于基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述模型评估方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述模型评估方法的步骤。
上述模型评估方法、装置、计算机设备和存储介质，计算机设备获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。由于计算机设备获得了深度学习模型的模型评估数据，以及测试样本集的标注信息，然后基于标注信息对模型评估数据进行统计特征分析；可以分析测试样本的不同标注信息对无人车深度学习模型的影响，从而使模型开发人员可以结合测试样本的具体场景对模型进行改进，提升了对无人车深度学习模型的改进效果。
附图说明
图1为一个实施例中模型评估方法的应用环境图；
图2为一个实施例中模型评估方法的流程示意图；
图2A为一个实施例中模型评估数据的示意图；
图3为另一个实施例中模型评估方法的流程示意图；
图4为另一个实施例中模型评估方法的流程示意图；
图4A为一个实施例中统计特征分析过程的示意图；
图5为另一个实施例中模型评估方法的流程示意图；
图6为另一个实施例中模型评估方法的流程示意图；
图6A为另一个实施例中统计特征分析过程的示意图；
图7为一个实施例中模型评估装置的结构框图；
图8为另一个实施例中模型评估装置的结构框图；
图9为另一个实施例中模型评估装置的结构框图；
图10为另一个实施例中模型评估装置的结构框图；
图11为另一个实施例中模型评估装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的模型评估方法，可以应用于如图1所示的应用环境中。其中，无人车100采集训练样本集110后，通过无人车深度学习模型120对上述训练样本集110进行分析处理，获得预测结果130；计算机设备140可以根据上述预测结果130对无人车深度学习模型120进行评估。上述计算机设备140可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种模型评估方法，以该方法应用于图1中的计算机设备为例进行说明，包括：
S101、获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据。
其中，上述无人车深度学习模型可以是神经网络模型，也可以是卷积网络模型，对于深度学习模型的类型在此不做限定。上述测试样本集可以是二维图片的集合，也可以是三维图像的集合，例如点云数据的集合，对于上述测试样本集的类型在此不做限定。例如，无人车在路上行驶采集大量的二维图像，形成测试样本集，上述测试样本集中可以包括无人车在自动驾驶时采集的图像，也可以是在有人驾驶的状态下采集的图像；计算机设备将上述图像输入无人车深度学习模型中，通过深度学习模型对测试样本集进行分析得到预测结果。上述预测结果可以是识别道路中的行人位置，也可以识别图像中的交通灯的颜色或者指向，例如左转灯或者右转灯，还可以识别交通灯的显示灯时长，例如识别图片中红灯时长为20秒；上述预测结果可以通过包围盒(bounding box)表示，也可以通过置信度表示，对于上述预测结果的类型在此不做限定。
上述模型评估数据是指能够反映无人车深度学习模型的预测能力的参数，上述模型评估数据可以是混淆矩阵，也可以是P-R曲线等，对于模型评估数据的类型在此不做限定。其中，混淆矩阵用于衡量模型准确度，主要用于比较模型预测结果和测试样本的真实信息，矩阵中的每一行代表测试样本集的预测结果，每一列代表测试样本集的真实信息，矩阵中的单元格数据为不同预测类型的测试样本数量；以图2A所示的交通灯预测结果的混淆矩阵为例，混淆矩阵中的第三行第一列中的单元格数据为10，该单元格所在的行表示预测结果为黄灯，所在的列表示真实信息为红灯，那么无人车深度学习模型将红灯样本预测为黄灯的样本数量为10。上述P-R曲线用于表示精确率P与召回率R之间的关系，其中，精确率P表示正确预测的正样本数量与测试样本数量的比值，召回率R表示正确预测的正样本数量与实际正样本数量的比值；例如无人车深度学习模型在预测测试样本中的绿灯时，所有包含绿灯的测试样本为正样本，其它测试样本为负样本；测试样本的总数为100，包含绿灯的正样本数量为30时，若无人车深度学习模型得到的预测出的25个绿灯对应的样本中，有20个样本为正样本，那么精确率为20/25＝80％，召回率为20/30＝67％。
具体地，计算机设备在获取无人车深度学习模型得到的预测结果后，可以将测试样本集的预测结果与测试样本的真实信息进行对比，来得到上述混淆矩阵；计算机设备还可以对上述混淆矩阵中的单元格数据进行处理，例如进一步得到精确率和召回率等，获得P-R曲线等；对于上述模型评估数据的计算方式可以根据模型评估数据的类型来确定，在此不做限定。
S102、获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息。
其中，上述标注信息用于描述测试样本集的场景信息，可以是采集上述测试样本时使用的摄像头参数，也可以是无人车在采集上述样本时的形式速度等，还可以是测试样本集的图片或点云质量以及图片或点云可辨识程度等，对于上述标注信息的类型在此不做限定。可选地，标注信息还可以包括测试样本集的采集时间、采集测试样本集时的天气信息以及采集测试样本集的位置信息中的至少一种信息。
具体地，无人车在采集上述测试样本集时，可以自动在测试样本中添加对应的标注信息，使得计算机设备可以根据测试样本集来获取对应的标注信息。计算机设备在获取预测结果对应的测试样本集的标注信息时，可以获取无人车深度学习模型输出的所有的预测结果对应的测试样本集的标注信息，也可以根据模型评估需求，获取部分预测结果对应的测试样本集的标注信息；对于上述标注信息的获取方式在此不做限定。
S103、基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
具体地，计算机设备在基于标注信息对模型评估数据进行统计特性分析时，可以基于其中一个类型的标注信息来分析，也可以基于多个类型的标注信息来分析；另外，计算机设备还可以分别基于一个类型的标注信息来分析，然后对上述分析结果继续进行统计特征分析；对此不做限定。例如，计算机设备可以基于白天采集测试样本集来分析模型评估数据；也可以基于白天且天气为晴天时采集的测试样本集。
进一步地，计算机设备在对模型评估数据进行统计特征分析时，可以使用数据科学工具来分析，上述数据科学工具可以是pandas框架，也可以是R框架，对于上述统计特征分析的具体方法在此不做限定。
在上述步骤的基础上，计算机设备可以获得模型评估结果，上述模型评估结果可以是一种标注信息，用于提示模型开发人员该标注信息对无人车深度学习模型的准确度有较大的影响；也可以是上述影响无人车深度学习模型准确度的标注信息可能引起的错误现象，例如“无人车深度学习模型容易将夜晚采集的黄灯测试样本预测为绿灯”；对于上述模型评估结果的具体形式在此不做限定。
上述模型评估方法，计算机设备获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。由于计算机设备获得了深度学习模型的模型评估数据，以及测试样本集的标注信息，然后基于标注信息对模型评估数据进行统计特征分析；可以分析测试样本的不同标注信息对无人车深度学习模型的影响，从而使模型开发人员可以结合测试样本的具体场景对模型进行改进，提升了对深度学习模型的改进效果。
图3为另一个实施例中模型评估方法的流程示意图；本实施例涉及计算机设备基于标注信息对模型评估数据进行统计特征分析的一种具体方式，在上述实施例的基础上，如图3所示，上述S103包括：
S201、根据模型评估数据从测试样本集中选择出测试错误样本集；其中，测试错误样本集包括错误预测结果对应的测试样本。
具体地，计算机设备可以根据模型评估数据，对无人车深度学习模型预测错误的测试样本进行分析，选择出测试错误样本集；上述测试样本集可以是所述测试样本集中所有错误预测结果对应的样本，也可以根据上述模型评估数据，选择一部分错误预测结构对应的测试样本；上述测试错误样本集的选择方式在此不做限定。
上述测试错误样本集可以是根据模型评估数据选择出的一个样本集，也可是根据模型评估数据中的多个数据选择出来的多个样本集，对于上述测试错误样本集的类型在此不做限定。
继续以图2A所示的交通灯预测结果的混淆矩阵为例，上述混淆矩阵中的4个单元格数据对应错误预测结果，计算机设备可以根据上述各个单元格数据来选择测试错误样本集，例如，计算机设备可以选择上述4个单元格数据中数值最大的单元格数据对应的测试样本为测试错误样本集，将预测结果为绿灯而真实信息为红灯的40个测试样本为测试错误样本集；另外，计算机设备也可以选择将真实信息为黄灯，而预测结果为红灯以及绿灯的两个单元格数据20以及30对应的测试样本为测试错误样本集，计算机设备可以将上述50个测试样本确定为一个测试错误样本集，也可以将真实信息为红灯而预测结果为红灯的20个测试样本和真实信息为黄灯而预测结果为绿灯的30个测试样本分别确定为一个测试错误样本集，也就是说计算机设备选择出两个测试错误样本集。
S202、分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，确定模型评估结果。
其中，上述标注信息的取值是指标注信息的类型中包含的不同场景信息。例如，标注信息为采集时间时，标注信息的取值可以是具体的采集时刻，例如八点整，也可以白天或者晚上；标注信息为天气信息时，标注信息的取值可以包括晴天、雨天，也可以是雾霾指数；标注信息为位置信息时，标注信息的取值可以是采集测试样本时的坐标位置，位置信息的取值也可以是对上述坐标位置进行处理后得到的信息，例如可以是城市，也可以是道路名称等。
另外，标注信息的取值可以包括一种类型的标注信息，例如标注信息的取值为白天和晚上；标注信息的取值也可以包括多种类型的标注信息，例如标注信息类型包括采集时间和天气信息时，标注信息的取值可以是白天-晴天、白天-阴天、晚上-晴天以及晚上-阴天；对于上述标注信息的取值的形式在此不做限定。计算机设备可以分析白天采集和测试样本和晚上采集的测试样本对应的模型评估数据，来确定是否采集时间不同对无人车深度学习模型的准确度有影响，具体的统计分析方法与上述S103中类似，在此不做限定。
上述模型分析方法，计算机设备基于标注信息的取值，分别对测试样本集和测试错误样本集进行统计特征分析，有利于计算机设备获得测试错误样本集在不同的标注信息的取值方面的统计特征，确定模型评估结果，进而提升对深度学习模型的改进效果。
图4为另一个实施例中模型评估方法的流程示意图；本实施例涉及计算机设备分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析的具体方式，在上述实施例的基础上，如图4所示，上述S202包括：
S301、基于标注信息的取值，计算测试样本集中各个取值对应的测试样本占测试样本集的第一比例。
S302、基于标注信息的取值，计算测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例。
S303、根据第一比例和第二比例，计算标注信息的各个取值的显著度，其中，显著度用于表征标注信息的取值对无人车深度学习模型的预测结果的影响程度。
具体地，计算机设备可以基于标注信息的取值，计算出各个取值对应的测试样本占测试样本集的第一比例，以及测试错误样本集中各个取值对应的测试样本占测试错我样本集的第二比例。
继续以图2A所示的交通灯预测结果的混淆矩阵为例，在真实信息为黄灯的测试样本集为例，测试样本集的数量为1000，其中720个测试样本的采集时间为白天，280个测试样本的采集时间为晚上；计算机设备选择预测结果为绿灯的30个测试样本为测试错误样本集，在上述测试错误样本集中，有10个测试样本的采集时间为白天，有20个测试样本的采集时间为晚上；计算机对上述模型评估数据进行统计特征分析处理，可以得到上述第一比例为：白天的测试样本占比为72％，晚上的测试样本占比为28％；同时可以得到上述第二比例为，在测试错误样本集中，白天的测试样本占比为33％，晚上的测试样本占比为67％，上述分析过程见图4A。
计算机设备在获取上述第一比例和第二比例的基础上，可以根据上述第一比例和第二比例，计算标注信息的各个取值的显著度。上述显著度是指上述标注信息的取值不同而导致测试样本集和错误测试样本集中的上述第一比例和第二比例不同的概率。计算机设备可以通过上述S103中的数据科学工具来获得上述显著度。
继续以2A所示的交通灯预测结果的混淆矩阵为例，通过对第一比例和第二比例进行分析，计算机设备可以得到，在测试样本集中只有28％的测试样本为晚上采集的，而测试错误样本集中有67％的测试样本为晚上采集的，因此标注信息的取值为晚上时，对无人车深度学习模型的预测准确度有显著影响，无人车深度学习模型容易将晚上采集的黄灯测试样本预测为绿灯。
进一步地，计算机设备在获取各个取值的显著度之后，可以根据标注信息的各个取值的显著度，将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素。例如，可以将标注信息的取值为晚上，确定为无人车深度学习模型评估结果的因素。
上述模型评估方法，计算机设备基于标注信息的取值，计算测试样本集以及测试错误样本集中，各个取值对应的测试样本所占的第一比例和第二比例；可以根据上述第一比例和第二比例，更准确地确定出哪一个取值对无人车深度学习模型的预测结果影响较大，进而使模型开发人员针对上述标注信息的取值对模型进行改进，提升对无人车深度学习模型的改进效果。
图5为另一个实施例中模型评估方法的流程示意图；本实施例涉及标注信息包括采集测试样本集的位置信息的情况，在上述实施例的基础上，如图5所示，上述S202之前还包括：
S401、根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标。
具体地，无人车在采集上述测试样本集时，可能在同一个位置进行多次采集，例如可以通过不同的角度采集该位置的图像信息，因此，在测试样本集中可能存在多张图片是对同一位置采集得到的，计算机设备可以将相邻的位置信息进行聚类处理，获得至少一个聚类坐标。计算机设备对位置信息进行聚类处理时，可以设置不同位置信息之间的距离阈值，当两个测试样本的位置信息之间的距离小于上述距离阈值时，计算机设备可以认为这两个测试样本对应的位置相同，然后将两个测试样本的位置信息进行聚类，得到一个聚类坐标。
计算机设备在将多个的测试样本的位置信息进行聚类处理时，可以把上述多个测试样本的位置信息中的其中一个位置信息确定为聚类坐标，也可以对上述多个测试样本的位置信息的坐标进行平均，然后将平均后的坐标确定为聚类坐标；对于上述聚类坐标的获得方式在此不作限定。
S402、将至少一个聚类坐标确定为标注信息的取值，其中，一个聚类坐标对应标注信息的一个取值。
进一步地，计算机设备可以将上述聚类坐标确定为标注信息的取值，使得计算机设备可以基于各聚类坐标对模型评估数据进行统计特征分析。例如，计算机设备可以确定测试样本集中那些聚类坐标对应的测试样本容易被无人车深度学习模型预测错误。
上述模型评估方法，计算机设备将聚类坐标确定为标注信息的取值，使得计算机设备可以根据上述聚类坐标分析哪些位置的测试样本容易被无人车深度学习模型预测错误，使得模型开发人员可以重新采集该位置的测试样本对模型进行训练，提升模型预测的准确度。
图6为另一个实施例中模型评估方法的流程示意图；本实施例涉及标注信息包括采集测试样本集的位置信息时的另一种方法，在上述实施例的基础上，如图6所示，上述S202之前还包括：
S501、根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标。
具体地，上述聚类坐标的获得方式与上述S401中的描述类似，在此不再赘述。
S502、基于预设的无人车行驶地图，确定各聚类坐标在无人车行驶地图中对应的至少一个路径。
计算机设备在获得上述聚类坐标后，可以基于预设的无人车形式地图，将聚类坐标与上述无人车行驶地图中相应的坐标点进行对应，确定出上述聚类坐标在地图中是属于那一个路径；计算机设备确定出的路径可以是路径的编号，也可是路径的坐标范围，还可以是路径的名称，在此不做限定。
S503、将至少一个路径确定为标注信息的取值；其中，一个路径对应标注信息的一个取值。
计算机设备可以将上述路径确定为标注信息的取值，使得计算机设备可以基于各路径对模型评估数据进行统计特征分析。例如，计算机设备可以确定测试样本集中那些路径对应的测试样本容易被无人车深度学习模型预测错误。
进一步地，计算机设备在基于各路径对模型评估数据进行统计特征分析之后，可以将显著度最高的路径确定为影响无人车深度学习模型评估结果的目标路径，并基于无人车行驶地图，将包含目标路径的路线确定为待优化路线。
继续以2A所示的交通灯预测结果的混淆矩阵为例，计算机设备对测试样本集的各个位置信息进行聚类处理，然后基于预设的无人车行驶地图确定出聚类坐标对应的路径，将“科韵路”“中山路”“五山路”“北京路”确定为标注信息的取值，基于上述各路径对混淆矩阵中的单元格数据进行统计特征分析，可以得到各个路径对应的测试样本占测试样本集的第一比例，以及各个路径对应的测试样本占测试错误样本集的第二比例，如图6A所示，在测试样本集中，“科韵路”对应的测试样本占测试样本集的比例为10％，而在测试错误样本集中，“科韵路”对应的测试样本占测试错误样本集的比例为40％，也就是说无人车深度学习模型容易将“科韵路”中采集的测试样本预测错误，可以将该路径确定为影响无人车深度学习模型评估结果的目标路径；进一步地，计算机设备可以将包含“科韵路”的路线确定为待优化路线。
上述模型评估方法，计算机设备将路径确定为标注信息的取值，使得计算机设备可以根据上述路径分析哪些路径的测试样本容易被无人车深度学习模型预测错误，使得模型开发人员可以重新采集该路径的测试样本对模型进行训练，提升模型预测的准确度，同时计算机设备通过将包含目标路径的路线确定为待优化路线，可以使无人车在规划路线时，可以有偏向地避开上述目标路径。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种模型评估装置，包括：计算模块10、获取模块20和统计模块30，其中：
计算模块10，用于获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；
获取模块20，用于获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；
统计模块30，用于基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
本申请实施例提供的模型评估装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，如图8所示，在上述实施例的基础上，上述统计模块30包括：
选择单元301，用于根据模型评估数据从测试样本集中选择出测试错误样本集；其中，测试错误样本集包括错误预测结果对应的测试样本。
统计单元302，用于分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，确定模型评估结果。
在一个实施例中，如图9所示，在上述实施例的基础上，上述统计单元302包括：
第一计算子单元3021，用于基于标注信息的取值，计算测试样本集中各个取值对应的测试样本占测试样本集的第一比例.
第二计算子单元3022，用于基于标注信息的取值，计算测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例。
第三计算子单元3023，用于根据第一比例和第二比例，计算标注信息的各个取值的显著度，其中，显著度用于表征标注信息的取值对无人车深度学习模型的预测结果的影响程度。
在一个实施例中，在上述实施例的基础上，标注信息包括测试样本集的采集时间、采集测试样本集时的天气信息以及采集测试样本集的位置信息中的至少一种信息。
在一个实施例中，如图10所示，标注信息包括采集测试样本集的位置信息；在上述实施例的基础上，上述统计模块30还包括：
聚类单元303，用于根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；
确定单元304，用于将至少一个聚类坐标确定为标注信息的取值，其中，一个聚类坐标对应标注信息的一个取值。
在一个实施例中，如图10所示，标注信息包括采集测试样本集的位置信息；在上述实施例的基础上，确定单元304还用于基于预设的无人车行驶地图，确定各聚类坐标在无人车行驶地图中对应的至少一个路径；将至少一个路径确定为标注信息的取值；其中，一个路径对应标注信息的一个取值。
在一个实施例中，如图11所示，在上述实施例的基础上，上述统计单元302还包括确定子单元3024，用于根据标注信息的各个取值的显著度，将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素。
在一个实施例中，如图11所示，在上述实施例的基础上，上述确定子单元3024具体用于：将显著度最高的路径确定为影响无人车深度学习模型评估结果的目标路径；基于无人车行驶地图，将包含目标路径的路线确定为待优化路线。
本申请实施例提供的模型评估装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于模型评估装置的具体限定可以参见上文中对于模型评估方法的限定，在此不再赘述。上述模型评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型评估数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型评估方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；
获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；
基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据模型评估数据从测试样本集中选择出测试错误样本集；其中，测试错误样本集包括错误预测结果对应的测试样本；分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，确定模型评估结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于标注信息的取值，计算测试样本集中各个取值对应的测试样本占测试样本集的第一比例；基于标注信息的取值，计算测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例；根据第一比例和第二比例，计算标注信息的各个取值的显著度，其中，显著度用于表征标注信息的取值对无人车深度学习模型的预测结果的影响程度。
在一个实施例中，标注信息包括测试样本集的采集时间、采集测试样本集时的天气信息以及采集测试样本集的位置信息中的至少一种信息。
在一个实施例中，标注信息包括采集测试样本集的位置信息，处理器执行计算机程序时还实现以下步骤：根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；将至少一个聚类坐标确定为标注信息的取值，其中，一个聚类坐标对应标注信息的一个取值。
在一个实施例中，标注信息包括采集测试样本集的位置信息，处理器执行计算机程序时还实现以下步骤：根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；基于预设的无人车行驶地图，确定各聚类坐标在无人车行驶地图中对应的至少一个路径；将至少一个路径确定为标注信息的取值；其中，一个路径对应标注信息的一个取值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据标注信息的各个取值的显著度，将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将显著度最高的路径确定为影响无人车深度学习模型评估结果的目标路径；基于无人车行驶地图，将包含目标路径的路线确定为待优化路线。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取无人车深度学习模型对测试样本集的预测结果，并根据预测结果计算无人车深度学习模型的模型评估数据；
获取预测结果对应的测试样本集的标注信息；其中，标注信息用于描述测试样本集的场景信息；
基于标注信息对模型评估数据进行统计特征分析，获得模型评估结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据模型评估数据从测试样本集中选择出测试错误样本集；其中，测试错误样本集包括错误预测结果对应的测试样本；分别基于标注信息的取值对测试样本集和测试错误样本集进行统计特征分析，确定模型评估结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于标注信息的取值，计算测试样本集中各个取值对应的测试样本占测试样本集的第一比例；基于标注信息的取值，计算测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例；根据第一比例和第二比例，计算标注信息的各个取值的显著度，其中，显著度用于表征标注信息的取值对无人车深度学习模型的预测结果的影响程度。
在一个实施例中，标注信息包括测试样本集的采集时间、采集测试样本集时的天气信息以及采集测试样本集的位置信息中的至少一种信息。
在一个实施例中，标注信息包括采集测试样本集的位置信息，计算机程序被处理器执行时还实现以下步骤：根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；将至少一个聚类坐标确定为标注信息的取值，其中，一个聚类坐标对应标注信息的一个取值。
在一个实施例中，标注信息包括采集测试样本集的位置信息，计算机程序被处理器执行时还实现以下步骤：根据测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；基于预设的无人车行驶地图，确定各聚类坐标在无人车行驶地图中对应的至少一个路径；将至少一个路径确定为标注信息的取值；其中，一个路径对应标注信息的一个取值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据标注信息的各个取值的显著度，将显著度最高的取值确定为影响无人车深度学习模型评估结果的因素。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将显著度最高的路径确定为影响无人车深度学习模型评估结果的目标路径；基于无人车行驶地图，将包含目标路径的路线确定为待优化路线。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型评估方法，其特征在于，所述方法包括：
获取无人车深度学习模型对测试样本集的预测结果，并根据所述预测结果计算所述无人车深度学习模型的模型评估数据；
获取所述预测结果对应的测试样本集的标注信息；其中，所述标注信息用于描述所述测试样本集的场景信息；
根据所述模型评估数据从所述测试样本集中选择出测试错误样本集；其中，所述测试错误样本集包括错误预测结果对应的测试样本；
基于所述标注信息的取值，计算所述测试样本集中各个取值对应的测试样本占所述测试样本集的第一比例；
基于所述标注信息的取值，计算所述测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例；
根据所述第一比例和所述第二比例，计算所述标注信息的各个取值的显著度，并确定模型评估结果，其中，所述显著度用于表征标注信息的取值对所述无人车深度学习模型的预测结果的影响程度，所述显著度用于确定模型评估结果。
2.根据权利要求1所述的方法，其特征在于，所述标注信息包括所述测试样本集的采集时间、采集所述测试样本集时的天气信息以及采集所述测试样本集的位置信息中的至少一种信息。
3.根据权利要求2所述的方法，其特征在于，当所述标注信息包括采集所述测试样本集的位置信息时，所述基于所述标注信息的取值，计算所述测试样本集中各个取值对应的测试样本占所述测试样本集的第一比例之前，还包括：
根据所述测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；
将所述至少一个聚类坐标确定为所述标注信息的取值，其中，一个聚类坐标对应所述标注信息的一个取值。
4.根据权利要求2所述的方法，其特征在于，当所述标注信息包括采集所述测试样本集的位置信息时，所述基于所述标注信息的取值，计算所述测试样本集中各个取值对应的测试样本占所述测试样本集的第一比例之前，还包括：
根据所述测试样本集中的各个位置信息，将相邻的位置信息进行聚类处理，获得至少一个聚类坐标；
基于预设的无人车行驶地图，确定各所述聚类坐标在所述无人车行驶地图中对应的至少一个路径；
将所述至少一个路径确定为所述标注信息的取值；其中，一个路径对应所述标注信息的一个取值。
5.根据权利要求1任一项所述的方法，其特征在于，所述确定所述模型评估结果，包括：
根据所述标注信息的各个取值的显著度，将显著度最高的取值确定为影响所述无人车深度学习模型评估结果的因素。
6.根据权利要求5所述的方法，其特征在于，所述将显著度最高的取值确定为影响所述无人车深度学习模型评估结果的因素，包括：
将显著度最高的路径确定为影响所述无人车深度学习模型评估结果的目标路径；
基于所述无人车行驶地图，将包含所述目标路径的路线确定为待优化路线。
7.一种模型评估装置，其特征在于，所述装置包括：
计算模块，用于获取无人车深度学习模型对测试样本集的预测结果，并根据所述预测结果计算所述无人车深度学习模型的模型评估数据；
获取模块，用于获取所述预测结果对应的测试样本集的标注信息；其中，所述标注信息用于描述所述测试样本集的场景信息；
统计模块，用于根据所述模型评估数据从所述测试样本集中选择出测试错误样本集；其中，所述测试错误样本集包括错误预测结果对应的测试样本；基于所述标注信息的取值，计算所述测试样本集中各个取值对应的测试样本占所述测试样本集的第一比例；基于所述标注信息的取值，计算所述测试错误样本集中各个取值对应的测试样本占测试错误样本集的第二比例；根据所述第一比例和所述第二比例，计算所述标注信息的各个取值的显著度，并确定模型评估结果，其中，所述显著度用于表征标注信息的取值对所述无人车深度学习模型的预测结果的影响程度，所述显著度用于确定模型评估结果。
8.根据权利要求7所述的装置，其特征在于，所述标注信息包括所述测试样本集的采集时间、采集所述测试样本集时的天气信息以及采集所述测试样本集的位置信息中的至少一种信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910278743.8A 2019-04-09 2019-04-09 模型评估方法、装置、计算机设备和存储介质 Active CN110175507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910278743.8A CN110175507B (zh) 2019-04-09 2019-04-09 模型评估方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910278743.8A CN110175507B (zh) 2019-04-09 2019-04-09 模型评估方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110175507A CN110175507A (zh) 2019-08-27
CN110175507B true CN110175507B (zh) 2023-07-04

Family

ID=67689542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910278743.8A Active CN110175507B (zh) 2019-04-09 2019-04-09 模型评估方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110175507B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111404721B (zh) * 2020-02-13 2023-07-25 中国平安人寿保险股份有限公司 基于web的模型训练过程数据可视化处理方法、装置、设备
CN113537506B (zh) * 2020-04-22 2023-08-29 百度在线网络技术（北京）有限公司 针对机器学习效果的测试方法、装置、设备和介质
CN111833601B (zh) * 2020-06-28 2022-05-20 北京邮电大学 一种低通信开销的宏观交通规律建模方法
CN111860698B (zh) * 2020-08-05 2023-08-11 中国工商银行股份有限公司 确定学习模型的稳定性的方法和装置
CN112732496B (zh) * 2020-12-05 2024-04-12 西安翔腾微电子科技有限公司 一种gpu深度测试精度的评估方法
CN112529335B (zh) * 2020-12-25 2021-12-31 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068605A1 (zh) * 2016-10-13 2018-04-19 腾讯科技（深圳）有限公司 行程时间预测方法、装置及服务器
CN108198072A (zh) * 2017-12-29 2018-06-22 郑州云海信息技术有限公司 一种人工智能评估金融产品特征的系统
CN108960232A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
KR101936029B1 (ko) * 2018-07-18 2019-01-11 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839962B2 (en) * 2016-09-26 2020-11-17 International Business Machines Corporation System, method and computer program product for evaluation and identification of risk factor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068605A1 (zh) * 2016-10-13 2018-04-19 腾讯科技（深圳）有限公司 行程时间预测方法、装置及服务器
CN108198072A (zh) * 2017-12-29 2018-06-22 郑州云海信息技术有限公司 一种人工智能评估金融产品特征的系统
CN108960232A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
KR101936029B1 (ko) * 2018-07-18 2019-01-11 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
引入深度学习的城市基准地价评估模型研究;王华等;《中国土地科学》;20180915(第09期);全文 *
数据挖掘技术在个人信用评估模型中的应用;葛继科等;《计算机技术与发展》;20061210(第12期);全文 *

Also Published As

Publication number Publication date
CN110175507A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175507B (zh) 模型评估方法、装置、计算机设备和存储介质
CN110163248B (zh) 模型评估的可视化方法、装置、计算机设备和存储介质
KR102015947B1 (ko) 자율주행을 위한 학습대상 이미지 추출 장치 및 방법
WO2022222095A1 (zh) 轨迹预测方法、装置、计算机设备和存储介质
CN104819726A (zh) 导航数据处理方法、装置及导航终端
CN113033604A (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
KR102015945B1 (ko) 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN117173913B (zh) 基于不同时段车流量分析的交通控制方法及系统
CN108229473A (zh) 车辆年检标签检测方法及装置
US20230278587A1 (en) Method and apparatus for detecting drivable area, mobile device and storage medium
CN115830399B (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN111488883A (zh) 车架号识别方法、装置、计算机设备和存储介质
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN112001453B (zh) 一种视频事件检测算法的准确率计算方法及装置
US11443131B2 (en) Systems and methods for creating a parking map
von Rueden et al. Street-map based validation of semantic segmentation in autonomous driving
CN110516559B (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
CN115797310A (zh) 一种光伏电站组串倾角的确定方法及电子设备
CN111414804B (zh) 识别框确定方法、装置、计算机设备、车辆和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant