CN117681892A - 面向矿区场景的自动驾驶数据选择方法和装置 - Google Patents
面向矿区场景的自动驾驶数据选择方法和装置 Download PDFInfo
- Publication number
- CN117681892A CN117681892A CN202410148918.4A CN202410148918A CN117681892A CN 117681892 A CN117681892 A CN 117681892A CN 202410148918 A CN202410148918 A CN 202410148918A CN 117681892 A CN117681892 A CN 117681892A
- Authority
- CN
- China
- Prior art keywords
- scene
- training data
- mining area
- perception
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005065 mining Methods 0.000 title claims abstract description 187
- 238000010187 selection method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 197
- 230000008447 perception Effects 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 12
- 238000004088 simulation Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种面向矿区场景的自动驾驶数据选择方法和装置，应用于自动化驾驶技术领域。该方法包括：根据数据选择元素库获取第一训练数据，第一训练数据包括数据选择元素库中所有元素类别下的元素；基于第一训练数据对矿区感知模型进行训练，并通过评测矿区感知模型在各个场景下感知结果的准确度，确定矿区感知模型的困难感知场景；根据数据选择元素库获取困难感知场景下的第二训练数据，并基于第二训练数据对矿区感知模型进行训练。
Description
技术领域
本发明涉及自动化驾驶技术领域，尤其涉及一种面向矿区场景的自动驾驶数据选择方法和装置。
背景技术
随着自动驾驶技术的快速发展，其配置的传感器硬件也在不断升级，导致每天产生的数据量呈爆炸式增长。如何从大规模数据集中选择有效的数据进行标注并应用于提升自动驾驶感知能力变的至关重要。
现有技术中，自动驾驶数据的选择策略可以使用主动学习等相关技术。
然而，这种选择策略通常是针对传统城市场景，对于矿区场景下的自动驾驶，由于障碍物类型特殊，环境极端恶劣，场景复杂多变，因此，现有技术中的数据选择策略难以直接应用于矿区场景。
发明内容
本发明提供一种面向矿区场景的自动驾驶数据选择方法和装置，用以解决现有技术中的数据选择策略难以直接应用于矿区场景的问题。
本发明提供一种面向矿区场景的自动驾驶数据选择方法，包括：根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择方法，所述根据数据选择元素库获取第一训练数据，包括：接收用户的第一选择输入；响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；根据所述所有元素类别下的所有元素获取所述第一训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择方法，所述根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，包括：接收用户的第二选择输入；响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；根据所述困难感知场景包含的元素获取所述第二训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择方法，所述基于所述第二训练数据对矿区感知模型进行训练之后，所述方法还包括：获取第三训练数据；将所述第三训练数据输入所述矿区感知模型，得到目标感知结果；确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性；从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择方法，所述从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据之后，所述方法还包括：对所述第四训练数据进行自适应帧选择，得到第五训练数据，所述第五训练数据的图像帧数量小于所述第四训练数据的图像帧数量。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择方法，所述确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性，包括：确定所述目标感知结果的熵值和所述第三训练数据的KL散度；所述熵值与所述目标感知结果的不确定性成正比，所述KL散度用于衡量数据相似性。
本发明还提供一种面向矿区场景的自动驾驶数据选择装置，包括：获取模块和处理模块；所述获取模块，用于根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；所述处理模块，用于基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；所述获取模块，用于根据所述数据选择元素库获取所述困难感知场景下的第二训练数据；所述处理模块，用于基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择装置，所述获取模块具体用于：接收用户的第一选择输入；响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；根据所述所有元素类别下的所有元素获取所述第一训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择装置，所述获取模块具体用于：接收用户的第二选择输入；响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；根据所述困难感知场景包含的元素获取所述第二训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择装置，所述获取模块，还用于获取第三训练数据；所述处理模块，还用于将所述第三训练数据输入所述矿区感知模型，得到目标感知结果；确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性；从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择装置，所述处理模块，还用于对所述第四训练数据进行自适应帧选择，得到第五训练数据，所述第五训练数据的图像帧数量小于所述第四训练数据的图像帧数量。
根据本发明提供一种的面向矿区场景的自动驾驶数据选择装置，所述处理模块，用于确定所述目标感知结果的熵值和所述第三训练数据的KL散度；所述熵值与所述目标感知结果的不确定性成正比，所述KL散度用于衡量数据相似性。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述面向矿区场景的自动驾驶数据选择方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述面向矿区场景的自动驾驶数据选择方法的步骤。
本发明提供的面向矿区场景的自动驾驶数据选择方法和装置，可以根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。通过该方案，由于可以确定矿区感知模型的困难感知场景，并根据数据选择元素库获取所述困难感知场景下的第二训练数据，因此，通过第二训练数据训练后的矿区感知模型可以提高在困难感知场景下的感知能力，如此，可以实现训练数据的指向性选择，从而加强矿区感知模型在恶劣环境下的感知效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的面向矿区场景的自动驾驶数据选择方法的流程示意图之一；
图2是本发明提供的面向矿区场景的自动驾驶数据选择方法的流程示意图之二；
图3是本发明提供的面向矿区场景的自动驾驶数据选择方法的流程示意图之三；
图4是本发明提供的面向矿区场景的自动驾驶数据选择方法的流程示意图之四；
图5是本发明提供的面向矿区场景的自动驾驶数据选择装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
为了便于清楚描述本发明实施例的技术方案，在本发明实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
本发明实施例为了阐释的目的而描述了一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。
下面结合具体实施例和附图对上述实现方式进行详细的阐述。
如图1所示，本发明实施例提供一种面向矿区场景的自动驾驶数据选择方法，该面向矿区场景的自动驾驶数据选择方法可以应用于面向矿区场景的自动驾驶数据选择装置。该面向矿区场景的自动驾驶数据选择方法可以包括S101-S103：
S101、面向矿区场景的自动驾驶数据选择装置根据数据选择元素库获取第一训练数据。
可选地，上述数据选择元素库可以包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。上述障碍物类别下的元素可以包括落石、水坑、淤泥、弯道、车辆、行人等；上述作业场景类别下的元素可以包括露天矿、井工矿、封闭园区、装载区以及破碎站等；上述环境类别下的元素可以包括阴天、大雾、雨天、雪天、扬尘、白天、夜晚等。
可选地，上述第一训练数据可以包括所述数据选择元素库中所有元素类别下的元素。如图2所示，面向矿区场景的自动驾驶数据选择装置可以根据数据选择元素库从仿真数据池中获取所有元素类别下所有元素对应的数据，该第一训练数据可以覆盖矿区场景下所有场景的感知数据。
可选地，面向矿区场景的自动驾驶数据选择装置可以接收用户的第一选择输入；响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；根据所述所有元素类别下的所有元素获取所述第一训练数据。
具体地，用户可以通过第一选择输入从仿真数据池中选择可以包括所有元素类别下所有元素的数据作为第一训练数据。
可选地，上述数据选择元素库可以用于分类存储自动驾驶车辆上搭载的自动驾驶传感器检测到的元素，该自动驾驶传感器可以包括以下至少一项：激光雷达、红外相机以及可见光相机。
可选地，上述第一训练数据为未进行标注处理的训练数据。在获取第一训练数据后，面向矿区场景的自动驾驶数据选择装置可以先对第一训练数据进行标注。
S102、面向矿区场景的自动驾驶数据选择装置基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景。
其中，上述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景。
可选地，继续参考图2，面向矿区场景的自动驾驶数据选择装置可以基于标注处理后的第一训练数据对矿区感知模型进行训练，使得该矿区感知模型具备一定的感知能力，然后，再对训练后的矿区感知模型的感知结果进行评测，即评测矿区感知模型在各个场景下感知结果的准确度，最后，筛选出感知能力较差的困难感知场景。
可以理解的是，由于第一训练数据可以覆盖矿区场景下所有场景的感知数据，因此，对训练后的矿区感知模型的感知能力进行评测可以明确矿区感知模型需要针对性补充训练的场景。
可选地，面向矿区场景的自动驾驶数据选择装置可以构建平行的矿区场景下的仿真自动驾驶系统，同步的进行仿真矿区感知模型的迭代与更新。即同步构建真实自动驾驶系统和仿真自动驾驶系统。由于仿真系统可以产生海量标注数据。因此，通过在仿真系统评测仿真矿区感知模型可以指导真实自动驾驶系统实现更快的困难感知场景的挖掘。
S103、面向矿区场景的自动驾驶数据选择装置根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练。
可选地，面向矿区场景的自动驾驶数据选择装置可以接收用户的第二选择输入；响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；根据所述困难感知场景包含的元素获取所述第二训练数据。
具体地，继续参考图2，在确定矿区感知模型的困难感知场景后，用户可以通过第二选择输入从数据选择元素库中选择该困难感知场景所包含的元素，再根据该困难感知场景包含的元素从真实数据池获取第二训练数据。
可选地，上述第二训练数据为未进行标注处理的训练数据。在获取第二训练数据后，面向矿区场景的自动驾驶数据选择装置可以先对第二训练数据进行标注，再基于第二训练数据对矿区感知模型进行训练，反复迭代该过程，以实现对矿区感知模型的迭代更新。
可选地，面向矿区场景的自动驾驶数据选择装置可以重复执行上述步骤S101-S103，直至满足第一终止条件，以实现矿区感知模型的迭代更新。该第一终止条件可以为迭代次数达到第一预设次数，或者矿区感知模型的感知结果的准确度达到第一预设准确度。
本发明实施例中，由于可以确定矿区感知模型的困难感知场景，并根据数据选择元素库获取所述困难感知场景下的第二训练数据，因此，通过第二训练数据训练后的矿区感知模型可以提高在困难感知场景下的感知能力，如此，可以实现训练数据的指向性选择，从而加强矿区感知模型在恶劣环境下的感知效果。
可选地，当数据闭环初步建立，依赖人工编写规则进行数据选择，往往难以照顾到不同任务模型的迭代需求，因此，需要利用主动学习方法进一步挖掘场景数据。
如图3所示，在执行上述S103之后，本申请实施例提供的数据选择方法还可以包括S301- S304：
S301、面向矿区场景的自动驾驶数据选择装置获取第三训练数据。
可选地，上述第三训练数据可以包括经过标注的训练数据和未经标注的训练数据，面向矿区场景的自动驾驶数据选择装置可以从真实数据池中直接获取未经标注的训练数据；还可以从真实数据池中获取训练数据，并进行标注处理，从而得到经过标注的训练数据。
S302、面向矿区场景的自动驾驶数据选择装置将所述第三训练数据输入所述矿区感知模型，得到目标感知结果。
可选地，如图4所示，上述矿区感知模型可以包括云端感知模型和本地感知模型。面向矿区场景的自动驾驶数据选择装置可以将第三训练数据分别输入云端感知模型和本地感知模型，并联合云端感知模型和本地感知模型进行感知结果推理，以得到目标感知结果。
需要说明的是，上述云端感知模型的数据体量大于本地感知模型的数据体量。因此，通过联合云端感知模型和本地感知模型确定目标感知结果可以实现对矿区自动驾驶数据的高效选择。
S303、面向矿区场景的自动驾驶数据选择装置确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性。
具体地，继续参考图4，面向矿区场景的自动驾驶数据选择装置可以采用不确定性估计和分布多样性估计联合策略对云端感知模型和本地感知模型进行感知结果不确定性和样本分布多样性估计，从而选择出不确定性高且分布多样性高的样本作为需要标注的第四训练数据。
可选地，面向矿区场景的自动驾驶数据选择装置可以确定所述目标感知结果的熵值和所述第三训练数据的KL散度；所述熵值与所述目标感知结果的不确定性成正比，所述KL散度用于衡量数据相似性。
具体地，熵值是衡量不确定性的一个指标，熵值越高，感知结果的不确定性越大；熵值越小，感知结果的不确定性越小。因此，面向矿区场景的自动驾驶数据选择装置可以采用熵值来衡量云端感知模型和本地感知模型的目标感知结果的不确定性。由于KL散度可以用以衡量两个概率分布的相似性。因此，面向矿区场景的自动驾驶数据选择装置可以采用基于KL散度的方法来估计第三训练数据中偏差较大的样本。
S304、面向矿区场景的自动驾驶数据选择装置从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
可选地，面向矿区场景的自动驾驶数据选择装置可以将第四训练数据更新至真实数据池。
可选地，继续参考图4，在确定第四训练数据后，面向矿区场景的自动驾驶数据选择装置可以对所述第四训练数据进行自适应帧选择，得到第五训练数据，所述第五训练数据的图像帧数量小于所述第四训练数据的图像帧数量。
具体地，面向矿区场景的自动驾驶数据选择装置可以通过长短期记忆（LongShort-Term Memory，LSTM）网络模型对第四训练数据进行自适应帧选择，以降低数据冗余度。例如，可以删除重合度高的图像帧以及不包含有效信息的图像帧。
可选地，在确定第五训练数据后，面向矿区场景的自动驾驶数据选择装置可以将第五训练数据更新至真实数据池，并使用真实数据池中的训练数据对矿区感知模型进行更新。
可选地，面向矿区场景的自动驾驶数据选择装置可以重复执行上述步骤S301-S304，直至满足第二终止条件，以实现矿区感知模型的迭代更新。该第二终止条件可以为迭代次数达到第二预设次数，或者矿区感知模型的感知结果的准确度达到第二预设准确度。
本发明实施例中，由于可以从第三训练数据中选择不确定性高于第二阈值且样本分布多样性高于第三阈值的第四训练数据，因此可以选择出不确定性高且分布多样性高的样本作为矿区感知模型的有效训练数据，从而提高矿区感知模型的感知能力。
上述主要从方法的角度对本发明实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例提供的面向矿区场景的自动驾驶数据选择方法，执行主体可以为面向矿区场景的自动驾驶数据选择装置，或者该面向矿区场景的自动驾驶数据选择装置中的用于面向矿区场景的自动驾驶数据选择的控制模块。本发明实施例中以面向矿区场景的自动驾驶数据选择装置执行面向矿区场景的自动驾驶数据选择方法为例，说明本发明实施例提供的面向矿区场景的自动驾驶数据选择装置。
需要说明的是，本发明实施例可以根据上述方法示例对面向矿区场景的自动驾驶数据选择装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。可选的，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图5所示，本发明实施例提供一种面向矿区场景的自动驾驶数据选择装置500。该面向矿区场景的自动驾驶数据选择装置500包括：获取模块501和处理模块502。所述获取模块501，可以用于根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；所述处理模块502，用于基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；所述获取模块501，用于根据所述数据选择元素库获取所述困难感知场景下的第二训练数据；所述处理模块502，用于基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
可选地，所述获取模块501具体用于：接收用户的第一选择输入；响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；根据所述所有元素类别下的所有元素获取所述第一训练数据。
可选地，所述获取模块501具体用于：接收用户的第二选择输入；响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；根据所述困难感知场景包含的元素获取所述第二训练数据。
可选地，所述获取模块501，还用于获取第三训练数据；所述处理模块502，还用于将所述第三训练数据输入所述矿区感知模型，得到目标感知结果；确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性；从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
可选地，所述处理模块502，还用于对所述第四训练数据进行自适应帧选择，得到第五训练数据，所述第五训练数据的图像帧数量小于所述第四训练数据的图像帧数量。
可选地，所述处理模块502，用于确定所述目标感知结果的熵值和所述第三训练数据的KL散度；所述熵值与所述目标感知结果的不确定性成正比，所述KL散度用于衡量数据相似性。
本发明实施例中，由于可以确定矿区感知模型的困难感知场景，并根据数据选择元素库获取所述困难感知场景下的第二训练数据，因此，通过第二训练数据训练后的矿区感知模型可以提高在困难感知场景下的感知能力，如此，可以实现训练数据的指向性选择，从而加强矿区感知模型在恶劣环境下的感知效果。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface) 620、存储器(memory) 630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行面向矿区场景的自动驾驶数据选择方法，该方法包括：根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的面向矿区场景的自动驾驶数据选择方法，该方法包括：根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的面向矿区场景的自动驾驶数据选择方法，该方法包括：根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种面向矿区场景的自动驾驶数据选择方法，其特征在于，包括：
根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；
基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；
根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，并基于所述第二训练数据对矿区感知模型进行训练；
其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
2.根据权利要求1所述的面向矿区场景的自动驾驶数据选择方法，其特征在于，所述根据数据选择元素库获取第一训练数据，包括：
接收用户的第一选择输入；
响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；
根据所述所有元素类别下的所有元素获取所述第一训练数据。
3.根据权利要求1所述的面向矿区场景的自动驾驶数据选择方法，其特征在于，所述根据所述数据选择元素库获取所述困难感知场景下的第二训练数据，包括：
接收用户的第二选择输入；
响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；
根据所述困难感知场景包含的元素获取所述第二训练数据。
4.根据权利要求1-3任一项所述的面向矿区场景的自动驾驶数据选择方法，其特征在于，所述基于所述第二训练数据对矿区感知模型进行训练之后，所述方法还包括：
获取第三训练数据；
将所述第三训练数据输入所述矿区感知模型，得到目标感知结果；
确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性；
从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
5.根据权利要求4所述的面向矿区场景的自动驾驶数据选择方法，其特征在于，所述从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据之后，所述方法还包括：
对所述第四训练数据进行自适应帧选择，得到第五训练数据，所述第五训练数据的图像帧数量小于所述第四训练数据的图像帧数量。
6.根据权利要求4所述的面向矿区场景的自动驾驶数据选择方法，其特征在于，所述确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性，包括：
确定所述目标感知结果的熵值和所述第三训练数据的KL散度；
所述熵值与所述目标感知结果的不确定性成正比，所述KL散度用于衡量数据相似性。
7.一种面向矿区场景的自动驾驶数据选择装置，其特征在于，包括：获取模块和处理模块；
所述获取模块，用于根据数据选择元素库获取第一训练数据，所述第一训练数据包括所述数据选择元素库中所有元素类别下的元素；
所述处理模块，用于基于所述第一训练数据对矿区感知模型进行训练，并通过评测所述矿区感知模型在各个场景下感知结果的准确度，确定所述矿区感知模型的困难感知场景；
所述获取模块，用于根据所述数据选择元素库获取所述困难感知场景下的第二训练数据；
所述处理模块，用于基于所述第二训练数据对矿区感知模型进行训练；
其中，所述矿区感知模型为自动驾驶车辆在矿区场景下的自动感知装置，所述困难感知场景为所述矿区感知模型的感知结果的准确度小于第一阈值的场景，所述数据选择元素库包括以下至少一个元素类别：障碍物类别、作业场景类别、环境类别，每个元素类别下包括至少一个元素。
8.根据权利要求7所述的面向矿区场景的自动驾驶数据选择装置，其特征在于，所述获取模块，用于接收用户的第一选择输入；响应于所述第一选择输入，确定所述数据选择元素库中所有元素类别下的所有元素；根据所述所有元素类别下的所有元素获取所述第一训练数据。
9.根据权利要求7所述的面向矿区场景的自动驾驶数据选择装置，其特征在于，所述获取模块，用于接收用户的第二选择输入；响应于所述第二选择输入，根据所述数据选择元素库确定所述困难感知场景包含的元素；根据所述困难感知场景包含的元素获取所述第二训练数据。
10.根据权利要求7所述的面向矿区场景的自动驾驶数据选择装置，其特征在于，所述获取模块，还用于获取第三训练数据；
所述处理模块，还用于将所述第三训练数据输入所述矿区感知模型，得到目标感知结果；确定所述目标感知结果的不确定性和所述第三训练数据的样本分布多样性；从所述第三训练数据中选择所述不确定性高于第二阈值且所述样本分布多样性高于第三阈值的第四训练数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410148918.4A CN117681892B (zh) | 2024-02-02 | 2024-02-02 | 面向矿区场景的自动驾驶数据选择方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410148918.4A CN117681892B (zh) | 2024-02-02 | 2024-02-02 | 面向矿区场景的自动驾驶数据选择方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117681892A true CN117681892A (zh) | 2024-03-12 |
| CN117681892B CN117681892B (zh) | 2024-05-14 |
Family
ID=90135698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410148918.4A Active CN117681892B (zh) | 2024-02-02 | 2024-02-02 | 面向矿区场景的自动驾驶数据选择方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117681892B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200050191A1 (en) * | 2018-08-07 | 2020-02-13 | GM Global Technology Operations LLC | Perception uncertainty modeling from actual perception systems for autonomous driving |
| CN115879535A (zh) * | 2023-02-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 一种自动驾驶感知模型的训练方法、装置、设备和介质 |
| WO2023050645A1 (zh) * | 2021-09-29 | 2023-04-06 | 上海仙途智能科技有限公司 | 自动驾驶预测模型训练的方法、装置、终端及介质 |
| CN116107591A (zh) * | 2023-02-21 | 2023-05-12 | 重庆长安汽车股份有限公司 | 基于corner cases的部署模型构建方法 |
| CN116341648A (zh) * | 2023-03-24 | 2023-06-27 | 北京主线科技有限公司 | 自动驾驶车辆环境感知能力训练方法、装置、设备及介质 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| CN116626670A (zh) * | 2023-07-18 | 2023-08-22 | 小米汽车科技有限公司 | 自动驾驶模型的生成方法、装置、车辆及存储介质 |
| CN117095252A (zh) * | 2023-07-17 | 2023-11-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标检测方法 |
-
2024
- 2024-02-02 CN CN202410148918.4A patent/CN117681892B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200050191A1 (en) * | 2018-08-07 | 2020-02-13 | GM Global Technology Operations LLC | Perception uncertainty modeling from actual perception systems for autonomous driving |
| WO2023050645A1 (zh) * | 2021-09-29 | 2023-04-06 | 上海仙途智能科技有限公司 | 自动驾驶预测模型训练的方法、装置、终端及介质 |
| CN115879535A (zh) * | 2023-02-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 一种自动驾驶感知模型的训练方法、装置、设备和介质 |
| CN116107591A (zh) * | 2023-02-21 | 2023-05-12 | 重庆长安汽车股份有限公司 | 基于corner cases的部署模型构建方法 |
| CN116341648A (zh) * | 2023-03-24 | 2023-06-27 | 北京主线科技有限公司 | 自动驾驶车辆环境感知能力训练方法、装置、设备及介质 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| CN117095252A (zh) * | 2023-07-17 | 2023-11-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标检测方法 |
| CN116626670A (zh) * | 2023-07-18 | 2023-08-22 | 小米汽车科技有限公司 | 自动驾驶模型的生成方法、装置、车辆及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117681892B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11860629B2 (en) | Sparse convolutional neural networks | |
| CN108921200B (zh) | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 | |
| KR102296507B1 (ko) | 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치 | |
| Teng et al. | FusionPlanner: A multi-task motion planner for mining trucks via multi-sensor fusion | |
| CN114638148A (zh) | 用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型 | |
| US11740620B2 (en) | Operational testing of autonomous vehicles | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| US11967103B2 (en) | Multi-modal 3-D pose estimation | |
| CN111476343B (zh) | 利用掩蔽参数的方法和装置 | |
| US11687079B2 (en) | Methods, devices, and systems for analyzing motion plans of autonomous vehicles | |
| CN111310828B (zh) | 用于adas场景的目标检测模型微调方法及装置 | |
| US20210149408A1 (en) | Generating Depth From Camera Images and Known Depth Data Using Neural Networks | |
| CN111874007A (zh) | 基于知识与数据驱动的无人车分层决策方法、系统、装置 | |
| WO2021006870A1 (en) | Vehicular autonomy-level functions | |
| CN116740127A (zh) | 障碍物轨迹预测方法、装置、计算机设备和存储介质 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN117911829A (zh) | 车辆导航的点云图像融合方法及系统 | |
| CN117681892B (zh) | 面向矿区场景的自动驾驶数据选择方法和装置 | |
| CN117744473A (zh) | 一种面向矿山自动驾驶的数据闭环方法与系统 | |
| Lu et al. | DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data | |
| CN116523970A (zh) | 基于二次隐式匹配的动态三维目标跟踪方法及装置 | |
| CN114863300A (zh) | 一种最短路径生成方法及装置 | |
| CN114120287B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN111507154A (zh) | 使用横向滤波器掩膜来检测车道线元素的方法和装置 | |
| CN113191316B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |