CN116383622A - 感知信息的标注、检测模型的评测方法、装置及存储介质 - Google Patents
感知信息的标注、检测模型的评测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116383622A CN116383622A CN202310410485.0A CN202310410485A CN116383622A CN 116383622 A CN116383622 A CN 116383622A CN 202310410485 A CN202310410485 A CN 202310410485A CN 116383622 A CN116383622 A CN 116383622A
- Authority
- CN
- China
- Prior art keywords
- labeling
- perception information
- perception
- evaluation
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 183
- 238000002372 labelling Methods 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000011156 evaluation Methods 0.000 claims abstract description 116
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 6
- 238000013475 authorization Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及自动驾驶技术领域，具体提供一种感知信息的标注、检测模型的评测方法、装置及存储介质，旨在解决如何更为高效、低成本的获取问题感知信息的标注结果，并构建感知信息检测模型的测试方法的问题。为此目的，本发明根据待标注的问题感知信息构建评测数据集，根据评测需求对应的感知问题类型，对评测数据集中的问题感知信息进行区域标注和/或目标标注，获得标注结果，能够避免对评测数据集的所有目标都进行真值标注的过程，实现对问题感知信息更为快速简便的标注过程，既可以直观的获取所需要的标注结果，又能够降低标注成本。同时应用获得的标注结果进行感知信息检测模型的评测，也能够有效提升感知信息检测模型的评测效率。
Description
技术领域
本发明涉及自动驾驶技术领域，具体提供一种感知信息的标注、检测模型的评测方法、装置及存储介质。
背景技术
基于深度学习的高级辅助驾驶感知方案已经成为业内的主流。但是随着数据量的增大，如何高效地判断感知模型在众多场景中的表现成为了目前较为急切的需求，传统的方式是采用人工鉴别的方式，这种方式十分费时费力，且成本高昂。如何更为高效、低成本的构建感知模型的测试集以及测试方法是本领域需要解决的问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何更为高效、低成本的获取问题感知信息的标注结果，并构建感知信息检测模型的测试方法的问题。
在第一方面，本发明提供一种感知信息的标注方法，所述方法包括：
获取待标注的问题感知信息，以所述问题感知信息构建评测数据集；
根据评测需求对应的感知问题类型，对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注，以获取所述问题感知信息的标注结果。
在上述感知信息的标注方法的一个技术方案中，所述感知问题类型至少包括预设目标的误报问题和/或漏报问题；
“对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注”包括：
至少基于预设目标的误报问题和/或漏报问题，对所述问题感知信息中的不包含所述预设目标的区域进行区域标注。
在上述感知信息的标注方法的一个技术方案中，所述感知问题类型至少包括预设目标的分裂问题和/或不准问题；
“对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注”还包括：
至少基于预设目标的分裂问题和/或不准问题，对所述问题感知信息中的预设目标进行目标标注。
在上述感知信息的标注方法的一个技术方案中，所述评测数据集包括可视化数据；“以所述问题感知信息构建评测数据集”包括：
对所述问题感知信息进行数据转换，获得所述问题感知信息的可视化数据；
根据所述可视化数据，构建所述评测数据集。
在上述感知信息的标注方法的一个技术方案中，“进行标注”的步骤包括：
针对所述可视化数据的相邻帧中其中一帧的标注结果，获取所述相邻帧中另一帧的标注结果。
在第二方面，本发明提供一种感知信息检测模型的评测方法，所述方法包括：
获取问题感知信息的标注数据集；所述标注数据集中的问题感知信息是基于感知信息的标注方法技术方案中所述感知信息的标注方法进行标注的；
基于所述感知信息检测模型对所述问题感知信息进行检测，得到模型感知结果；
根据所述模型感知结果和所述标注数据集中问题感知信息的标注结果，获取所述感知信息检测模型的评测结果。
在上述感知信息检测模型的评测方法的一个技术方案中，所述方法还包括：
根据所述评测结果判断所述感知信息检测模型存在的问题及所述问题产生的原因，并根据所述原因对所述感知信息检测模型的参数进行调整；和/或，
根据所述评测结果对所述感知信息检测模型的训练数据的比例进行调整；和/或，
当所述感知信息检测模型为多个时，根据所述评测结果在多个所述感知信息检测模型中选择符合预设需求的感知信息检测模型。
在上述感知信息检测模型的评测方法的一个技术方案中，所述方法还包括：
分别获取所述感知信息检测模型的当前版本与历史版本的评测结果；
将所述当前版本与历史版本的评测结果进行比对，以获取所述感知信息检测模型的评测比对结果。
在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述感知信息的标注方法的技术方案中任一项技术方案所述的感知信息的标注方法或上述感知信息检测模型的评测方法的技术方案中任一项技术方案所述的感知信息检测模型的评测方法。
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述感知信息的标注方法的技术方案中任一项技术方案所述的感知信息的标注方法或上述感知信息检测模型的评测方法的技术方案中任一项技术方案所述的感知信息检测模型的评测方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，本发明能够根据待标注的问题感知信息构建评测数据集，根据评测需求对应的感知问题类型，对评测数据集中的问题感知信息进行区域标注和/或目标标注，从而获得标注结果。通过上述配置方式，本发明能够基于感知问题类型，对感知问题类型对应的区域和目标进行标注，避免了对评测数据集的所有目标都进行真值标注的过程，能够实现对问题感知信息更为快速简便的标注过程，既可以直观的获取所需要的标注结果，又能够降低标注成本。同时应用获得的标注结果进行感知信息检测模型的评测，也能够有效提升感知信息检测模型的评测效率。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的感知信息的标注方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的感知信息检测模型的评测方法的主要步骤流程示意图；
图3是根据本发明实施例的一个实施方式的感知信息检测模型的评测方法的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
参阅附图1，图1是根据本发明的一个实施例的感知信息的标注方法的主要步骤流程示意图。如图1所示，本发明实施例中的感知信息的标注方法主要包括下列步骤S101-步骤S102。
步骤S101：获取待标注的问题感知信息，以问题感知信息构建评测数据集。
在本实施例中，可以根据待标注的问题感知信息来构建评测数据集。
一个实施方式中，评测数据集中可以包括可视化数据，可以通过问题感知信息进行数据转换，获得可视化数据。可视化数据能够实现对问题感知信息更为直观地展示。
步骤S102：根据评测需求对应的感知问题类型，对评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注，以获取问题感知信息的标注结果。
在本实施例中，可以基于评测需求对应的感知问题类型来对评测数据集中的问题感知信息进行标注。即可以根据感知问题类型来确定是进行应用区域标注的方式进行标注还是应用目标标注的方式进行标注。
一个实施方式中，可基于评测需求来确定感知问题类型。其中，感知问题类型可以为预设目标的误报问题、预设目标的漏报问题、预设目标的分裂问题、预设目标的不准问题。预设目标可以为某一大类目标（如车辆），也可以为某一大类中的某一小类目标（如车辆中的小轿车），也可以包含某几类目标（如小轿车和行人等）。本领域技术人员可以根据实际的评测需求对预设目标以及感知问题类型进行设置和变换。
一个实施方式中，针对评测数据集中的可视化数据，可以根据相邻帧的标注结果进行标注推断，如根据相邻帧的其中一帧的标注结果，推断另一帧的标注结果，这样能够减少标注花费的时间。如，针对运动目标的相邻帧，可以根据其中一帧的标注结果和运动目标的运动速度，来推断另一帧的标注结果。如，针对静止目标的相邻帧，则可以根据其中一帧的标注结果来直接推断另一帧的标注结果。考虑到采集问题感知信息的设备也可能是处于运动状态，那么在对相邻帧的标注结果进行推断时，可以综合考虑采集设备的运动速度、运动位移、运动方向等信息。
基于上述步骤S101-步骤S102，本发明实施例能够根据待标注的问题感知信息构建评测数据集，根据评测需求对应的感知问题类型，对评测数据集中的问题感知信息进行区域标注和/或目标标注，从而获得标注结果。通过上述配置方式，本发明实施例能够基于感知问题类型，对感知问题类型对应的区域和目标进行标注，避免了对评测数据集的所有目标都进行真值标注的过程，能够实现对问题感知信息更为快速简便的标注过程，既可以直观的获取所需要的标注结果，又能够降低标注成本。同时应用获得的标注结果进行感知信息检测模型的评测，也能够有效提升感知信息检测模型的评测效率。
下面对步骤S102作进一步地说明。
在本发明实施例的一个实施方式中，感知问题类型可以至少包括预设目标的误报问题和/或漏报问题，步骤S102可以进一步被配置为：
至少基于预设目标的误报问题和/或漏报问题，对问题感知信息中的不包含预设目标的区域进行区域标注。其中，误报问题是指检测结果显示为预设目标，但实际并不是预设目标的问题。漏报问题是指检测结果中并未将预设目标全部检出的问题。
在本实施方式中，预设目标的误报问题和漏报问题，可以对问题感知信息中不包含预设目标的区域进行区域标注。即，对预设目标进行反向标注，并不是对所有目标进行目标标注，而是标注误报或漏报的完整连通区域，这样能够有效减少标注过程的成本和时间。
如，X类物体的误报问题和漏报问题，则可以将问题感知信息中不包含X类物体的区域标注出来，即区域标注，标注的区域即为可能存在误报问题和漏报问题的区域。
在本发明实施例的一个实施方式中，感知问题类型可以至少包括预设目标的分裂问题和/或不准问题，步骤S102可以进一步被配置为：
至少基于预设目标的分裂问题和/或不准问题，对问题感知信息中的预设目标进行目标标注。其中，分裂问题是指当仅存在唯一的预设目标时，却检测出多个预设目标的问题。不准问题是指检测结果与预设目标的实际值的IOU（Intersection over Union，交并比）不匹配的问题（如IOU小于IOU阈值）。
在本实施方式中，预设目标的分裂问题和不准问题，可以仅对问题感知信息中的预设目标进行目标标注，而不是对所有目标进行目标标注，从而在使用标注结果时，能够准确地判断出检测结果中的预设目标是否存在分裂问题和不准问题。
如，X类物体的分裂问题和不准问题，则可以将问题感知信息中 X类物体的直接标注出来即可。
一个实施方式中，针对评测数据集中的问题感知信息也可以采用分级标注的形式，即根据感知问题类型，既可以选择区域标注也可以选择目标标注，还可以选择区域标注和目标标注结合的方式。基于评测需求可以对标注的方式进行灵活选择，从而有效降低标注成本。
进一步，本发明还提供了一种感知信息检测模型的评测方法。
参阅附图2，图2是根据本发明的一个实施例的感知信息检测模型的评测方法的主要步骤流程示意图。如图2所示，本发明实施例中的感知信息检测模型的评测方法主要包括下列步骤S201-步骤S203。
步骤S201：获取问题感知信息的标注数据集，标注数据集中的问题感知信息是基于上述感知信息的标注方法实施例中的感知信息的标注方法进行标注的。
在本实施例中，可以对评测数据集中的问题感知信息进行标注。
步骤S202：基于感知信息检测模型对问题感知信息进行检测，得到模型感知结果。
在本实施例中，可以应用感知信息检测模型对评测数据集中的问题感知信息进行检测，获得模型感知结果。其中，感知信息检测模型是用于对问题感知信息（如采集的图像等）中的预设目标进行感知检测，从而获得模型感知结果。
步骤S203：根据模型感知结果和标注数据集中问题感知信息的标注结果，获取感知信息检测模型的评测结果。
在本实施例中，可以将模型感知结果和问题信息的标注结果进行比对，从而生成感知信息检测模型的评测结果。
一个实施方式中，评测结果可以包含下表1中的评测项目，可以对模型感知结果和标注结果的比对结果进行统计，从而获取下表1中每个评测项目的数据，作为感知信息检测模型的评测结果。
表1 感知信息检测模型的评测项目
在本发明实施例的一个实施方式中，可以根据评测结果判断感知信息检测模型存在的问题及问题产生的原因，并根据原因对感知信息检测模型的参数进行调整。
在本实施方式中，可以基于评测结果来对感知信息检测模型进行调整，如调整感知信息检测模型的参数。如可以对评测结果中的离散误报数和连续误报数进行统计，从而判断导致误报发生的原因。如连续误报数较高时，则可以认为是感知信息检测模型导致的误报，就可以针对感知信息检测模型的参数进行调整；如存在多个离散误报的问题时，则可以认为是后续的跟踪因素导致的，则可以基于评测结果来对跟踪算法进行调整。
在本发明实施例的一个实施方式中，可以根据评测结果对感知信息检测模型的训练数据的比例进行调整。
在本实施方式中，可以根据评测结果来调整感知信息检测模型的训练数据的比例，如当评测结果中，针对X类目标误报率较高时，则可以基于评测结果，增加针对X类目标的训连数据在整个训练数据中所占的比例，以对感知信息检测模型进行训练，从而提升感知信息检测模型针对X类目标的检出能力。
在本发明实施例的一个实施方式中，当感知信息检测模型为多个时，可以根据评测结果在预设的多个感知信息检测模型中选择符合预设需求的感知信息检测模型。
在本实施方式中，由于感知信息检测模型是基于深度信息算法的，而深度学习算法是根据参数随机训练产生的，其结果存在一定程度的偶然性，因而在模型的训练和测试过程中往往会准备多个感知信息检测模型。可以根据多个感知信息检测模型中的评测结果，来选择最终的感知信息检测模型。如，可以根据预设需求和评测结果选择综合性能最好的感知信息检测模型；或，可以根据预设需求和评测结果选择某一方面性能更突出的感知信息检测模型。
在本发明实施例的一个实施方式中，可以分别获取感知信息检测模型的当前版本与历史版本的评测结果；将当前版本与历史版本的评测结果进行比对，以获取感知信息检测模型的评测比对结果。
在本实施方式中，还可以对感知信息检测模型的多个版本的之间的评测结果进行比对，从而生成评测比对结果，以便于工程师明确不同版本的感知信息检测模型的性能变化趋势，以及版本之间的性能差异。
其中，评测比对结果可以根据下表2来确定，即将不同版本的评测结果之间的差异填入下表2中，从而获得评测比对结果。
表2 感知信息检测模型的评测比对结果
一个实施方式中，可以参阅附图3，图3是根据本发明实施例的一个实施方式的感知信息检测模型的评测方法的主要步骤流程示意图。如图3所示，感知信息检测模型的评测方法可以包括以下步骤S301至步骤S308：
步骤S301：获取评测数据集。
在本实施方式中，可以基于待标注的问题感知信息来获取评测数据集
步骤S302：基于设定的标注规则，对评测数据集中问题感知信息进行标注。
在本实施方式中，可以对根据评测需求对应的感知问题类型来确定标注规则，以对评测数据集中的问题感知信息进行标注。
步骤S303：获得标注结果。
在本实施方式中，可以基于步骤S302的标注过程，获取评测数据集中问题感知信息的标注结果。
步骤S304：构建深度学习模型。
在本实施方式中，可以构建基于深度学习的感知信息检测模型。
步骤S305：模型生成模型感知结果。
在本实施方式中，步骤S305所述的方法与前述步骤S202类似，为了描述简单，在此不再赘述。
步骤S306：生成评测结果。
在本实施方式中，步骤S306所述的方法与前述步骤S203类似，为了描述简单，在此不再赘述。
步骤S307：获取历史版本的评测结果。
在本实施方式中，可以获取感知信息检测模型的历史版本的评测结果。
步骤S308：版本间性能比对，获得评测比对结果。
在本实施方式中，可以通过对不同版本的评测结果进行比对，获得评测比对结果。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
需要说明的是，本公开实施例所涉及的数据（包括但不限于用于分析的数据、存储的数据、展示的数据、车辆使用数据、车辆采集的数据等），均为经过各方充分授权的数据。本公开实施例中涉及到的数据的获取、采集、标注、评测等动作，均为经用户、对象授权或者经过各方充分授权后执行。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的感知信息的标注方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的感知信息的标注方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的感知信息的标注方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的感知信息的标注方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的感知信息的标注方法，即每个处理器分别执行上述方法实施例的感知信息的标注方法的不同步骤，来共同实现上述方法实施例的感知信息的标注方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的感知信息的标注方法的程序，该程序可以由处理器加载并运行以实现上述感知信息的标注方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的感知信息检测模型的评测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的感知信息检测模型的评测方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的感知信息检测模型的评测方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的感知信息检测模型的评测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的感知信息检测模型的评测方法，即每个处理器分别执行上述方法实施例的感知信息检测模型的评测方法的不同步骤，来共同实现上述方法实施例的感知信息检测模型的评测方法。
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的感知信息检测模型的评测方法的程序，该程序可以由处理器加载并运行以实现上述感知信息检测模型的评测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
申请人处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
申请人非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种感知信息的标注方法，其特征在于，所述方法包括：
获取待标注的问题感知信息，以所述问题感知信息构建评测数据集；
根据评测需求对应的感知问题类型，对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注，以获取所述问题感知信息的标注结果。
2.根据权利要求1所述的感知信息的标注方法，其特征在于，所述感知问题类型至少包括预设目标的误报问题和/或漏报问题；
“对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注”包括：
至少基于预设目标的误报问题和/或漏报问题，对所述问题感知信息中的不包含所述预设目标的区域进行区域标注。
3.根据权利要求1或2所述的感知信息的标注方法，其特征在于，所述感知问题类型至少包括预设目标的分裂问题和/或不准问题；
“对所述评测数据集中的问题感知信息选择性地应用区域标注和/或目标标注的方式进行标注”还包括：
至少基于预设目标的分裂问题和/或不准问题，对所述问题感知信息中的预设目标进行目标标注。
4.根据权利要求1所述的感知信息的标注方法，其特征在于，所述评测数据集包括可视化数据；“以所述问题感知信息构建评测数据集”包括：
对所述问题感知信息进行数据转换，获得所述问题感知信息的可视化数据；
根据所述可视化数据，构建所述评测数据集。
5.根据权利要求4所述的感知信息的标注方法，其特征在于，“进行标注”的步骤包括：
针对所述可视化数据的相邻帧中其中一帧的标注结果，获取所述相邻帧中另一帧的标注结果。
6.一种感知信息检测模型的评测方法，其特征在于，所述方法包括：
获取问题感知信息的标注数据集；所述标注数据集中的问题感知信息是基于权利要求1至5中任一项所述感知信息的标注方法进行标注的；
基于所述感知信息检测模型对所述问题感知信息进行检测，得到模型感知结果；
根据所述模型感知结果和所述标注数据集中问题感知信息的标注结果，获取所述感知信息检测模型的评测结果。
7.根据权利要求6所述的感知信息检测模型的评测方法，其特征在于，所述方法还包括：
根据所述评测结果判断所述感知信息检测模型存在的问题及所述问题产生的原因，并根据所述原因对所述感知信息检测模型的参数进行调整；和/或，
根据所述评测结果对所述感知信息检测模型的训练数据的比例进行调整；和/或，
当所述感知信息检测模型为多个时，根据所述评测结果在多个所述感知信息检测模型中选择符合预设需求的感知信息检测模型。
8.根据权利要求6所述的感知信息检测模型的评测方法，其特征在于，所述方法还包括：
分别获取所述感知信息检测模型的当前版本与历史版本的评测结果；
将所述当前版本与历史版本的评测结果进行比对，以获取所述感知信息检测模型的评测比对结果。
9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的感知信息的标注方法或权利要求6至8中任一项所述的感知信息检测模型的评测方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的感知信息的标注方法或权利要求6至8中任一项所述的感知信息检测模型的评测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310410485.0A CN116383622A (zh) | 2023-04-18 | 2023-04-18 | 感知信息的标注、检测模型的评测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310410485.0A CN116383622A (zh) | 2023-04-18 | 2023-04-18 | 感知信息的标注、检测模型的评测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116383622A true CN116383622A (zh) | 2023-07-04 |
Family
ID=86973129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310410485.0A Pending CN116383622A (zh) | 2023-04-18 | 2023-04-18 | 感知信息的标注、检测模型的评测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383622A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784162A (zh) * | 2024-02-26 | 2024-03-29 | 安徽蔚来智驾科技有限公司 | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 |
-
2023
- 2023-04-18 CN CN202310410485.0A patent/CN116383622A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784162A (zh) * | 2024-02-26 | 2024-03-29 | 安徽蔚来智驾科技有限公司 | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 |
| CN117784162B (zh) * | 2024-02-26 | 2024-05-14 | 安徽蔚来智驾科技有限公司 | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992427B (zh) | 创建业务测试场景的方法、装置、设备及其存储介质 | |
| US10901967B2 (en) | License plate matching systems and methods | |
| US20190266434A1 (en) | Method and device for extracting information from pie chart | |
| KR102543508B1 (ko) | 머신 러닝을 사용하는 비디오 피드 내에서의 자동화된 오브젝트 추적 | |
| EP2899671A1 (en) | Identification method and device for target object in image | |
| CN105023165A (zh) | 社交网络平台中投放任务的控制方法、装置及系统 | |
| CN104823438A (zh) | 用于生成人的活动总结的系统和方法 | |
| CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
| CN109493101A (zh) | 目标品牌信息确定方法、装置、电子设备及存储介质 | |
| US20220189008A1 (en) | Method for detecting data defects and computing device utilizing method | |
| CN107832794A (zh) | 一种卷积神经网络生成方法、车系识别方法及计算设备 | |
| JP2023527100A (ja) | イベント検出方法、装置、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム | |
| CN116383622A (zh) | 感知信息的标注、检测模型的评测方法、装置及存储介质 | |
| CN111950621A (zh) | 基于人工智能的目标数据检测方法、装置、设备及介质 | |
| CN111405475A (zh) | 一种多维感知数据碰撞融合分析方法和装置 | |
| CN112734046A (zh) | 模型训练及数据检测方法、装置、设备及介质 | |
| CN103838861A (zh) | 一种基于三维gis动态显示信息的方法和显示系统 | |
| CN104424485A (zh) | 一种基于图像识别来获取特定信息的方法与装置 | |
| CN109933679A (zh) | 图像中的对象类型识别方法、装置和设备 | |
| CN112699659B (zh) | 房源虚假信息识别方法、装置、电子设备及存储介质 | |
| CN113111734B (zh) | 一种水印分类模型训练方法及装置 | |
| CN112364850B (zh) | 一种视频质检方法、装置、电子设备及存储介质 | |
| CN117114141B (zh) | 模型训练的方法、评估方法、计算机设备及存储介质 | |
| CN113496017B (zh) | 验证方法、装置、设备和存储介质 | |
| CN116883960B (zh) | 目标检测方法、设备、驾驶设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |