CN116204670B - 车辆目标检测数据的管理方法、系统及电子设备 - Google Patents

车辆目标检测数据的管理方法、系统及电子设备 Download PDF

Info

Publication number
CN116204670B
CN116204670B CN202310465739.9A CN202310465739A CN116204670B CN 116204670 B CN116204670 B CN 116204670B CN 202310465739 A CN202310465739 A CN 202310465739A CN 116204670 B CN116204670 B CN 116204670B
Authority
CN
China
Prior art keywords
picture
target detection
vehicle target
data
confusion matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310465739.9A
Other languages
English (en)
Other versions
CN116204670A (zh
Inventor
方超群
陈立名
焦璐
胡江洪
曹彬
孙浩宇
张庆达
田楷
李策
贾明
王凯
宋兴辉
高广源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Fitow Tianjin Detection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fitow Tianjin Detection Technology Co Ltd filed Critical Fitow Tianjin Detection Technology Co Ltd
Priority to CN202310465739.9A priority Critical patent/CN116204670B/zh
Publication of CN116204670A publication Critical patent/CN116204670A/zh
Application granted granted Critical
Publication of CN116204670B publication Critical patent/CN116204670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本发明提供了一种车辆目标检测数据的管理方法、系统及电子设备,该方法可利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。

Description

车辆目标检测数据的管理方法、系统及电子设备
技术领域
本发明涉及数据管理技术领域,尤其是涉及一种车辆目标检测数据的管理方法、系统及电子设备。
背景技术
随着AI技术的兴起,目标检测模型越来越多的应用于工业防错检测中。尤其在整车装配过程中,目标检测模型相比以前的人工目检,不仅检测准确率高,而且标准客观一致,可24小时持续工作。因此现在工业整车目标检测模型已经得到了全面广泛的应用,并取得了非常不错的效果。
现有技术中,基于CNN(卷积神经网络)技术的目标检测模型需要较多的分布均匀的训练数据,数据越多越全面,越能提高模型最终的检测效果。因此,目标检测的数据管理、分析、存取的效果直接决定了目标检测模型的性能。
传统工业整车目标检测模型训练迭代周期中,车辆目标检测图片及数据一般通过模型训练环境中自有的文件系统进行管理,通过建立文件夹层级来方便自己存取图片。但现有的车辆目标检测数据的管理过程中还存在着数据管理效率低下,数据融合方式单一的问题。
发明内容
有鉴于此,本发明的目的在于提供一种车辆目标检测数据的管理方法、系统及电子设备,该方法可利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。
附图说明
图1为本发明实施例提供的一种车辆目标检测数据的管理方法的流程图;
图2为本发明实施例提供的一种车辆目标检测数据的管理方法中,数据信息导入步骤的流程图;
图3为本发明实施例提供的一种车辆目标检测数据的管理方法中,图片导出步骤的流程图;
图4为本发明实施例提供的一种车辆目标检测数据的管理方法中,训练数据接入步骤的流程图;
图5为本发明实施例提供的一种车辆目标检测数据的管理方法中,将训练数据与服务端口号进行关联后接入至模型中进行测试训练的流程图;
图6为本发明实施例提供的一种车辆目标检测数据的管理方法中,交互混淆矩阵生成步骤的流程图;
图7为本发明实施例提供的一种车辆目标检测数据的管理方法中混淆矩阵的示意图;
图8为本发明实施例提供的一种车辆目标检测数据的管理方法中,标注错误修改步骤的流程图;
图9为本发明实施例提供的一种车辆目标检测数据的管理方法中,在混淆矩阵中点选误检分块的示意图;
图10为本发明实施例提供的一种结合具体使用场景下的车辆目标检测数据的管理方法的流程图;
图11为本发明实施例提供的一种车辆目标检测数据的管理方法中误检标签图片的显示效果图;
图12为本发明实施例提供的一种车辆目标检测数据的管理系统的结构示意图;
图13为本发明实施例提供的一种电子设备的结构示意图。
图标:
1210-数据信息导入模块;1220-图片导出模块;1230-训练数据接入模块;1240-交互混淆矩阵生成模块;1250-标注错误修改模块;
101-处理器;102-存储器;103-总线;104-通信接口。
具体实施方式
现有技术的车辆目标检测数据在管理过程中还存在着数据管理效率低下,数据融合方式单一的问题。具体来说:
(1)不利于数据共享和协作,只有长期经营该项目的工程师才对自己的文件夹结构和数据存放位置有比较清晰的了解;
(2)不利于数据扩展和更新,如果需要增加或修改数据,可能需要重新组织文件夹结构;
(3)不利于数据质量控制和评估,无法统一地检查标注数据的准确性和完整性;
(4)不利于数据融合、再划分和使用。为了标注更加快速,各个标注员一般都是采用分工式的标注策略,每个人只标注自己擅长的图片种类。这就意味着数据有很多需要融合、再划分的过程。
基于此,本发明实施例提供的一种车辆目标检测数据的管理方法、系统及电子设备,该方法可利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种车辆目标检测数据的管理方法进行详细介绍,如图1所示,该方法包括以下步骤:
数据信息导入步骤S101,获取车辆目标检测图片,并将车辆目标检测图片的属性数据标签批量导入至已初始化的数据库中;
该步骤主要实现数据信息导入过程,将获取到的车辆目标检测图片及其属性数据作为输入数据,可以利用可视化平台导入, 也可以利用代码脚本批量导入。由于数据量较大,通常使用代码脚本批量导入,以保证导入效率和速度。实际场景中,属性数据标签可以是:图片路径、图片名称、图片宽高、图片大小、图片平均亮度、图片上的标注框、用户自定义的字段等上述一种或多种类型。可视化平台和数据库在初始化的过程中建立实时的信息传输机制,车辆目标检测图片及其属性数据在输入至可视化平台后即可与数据库进行实时数据交互,从而实现了数据信息的导入。
图片导出步骤S102,利用预设的可视化平台对车辆目标检测图片进行筛选,并将筛选后的车辆目标检测图片导出至预设的图片保存路径。
该步骤主要实现图片导出过程,用户可利用可视化平台提供的相关显示界面对车辆目标检测图片进行筛选,从而将其导入至指定的图片保存路径中。筛选过程中,需要对图片文件进行标注,进而用于后续步骤中的数据管理过程。
训练数据接入步骤S103,将图片保存路径下的车辆目标检测图片接入至预设的模型中进行测试训练;
该步骤主要实现训练数据接入过程,在利用可视化平台的相关显示界面对车辆目标检测图片进行筛选过后,将筛选后的车辆目标检测图片接入至预设的模型中进行训练。训练数据接入的过程中可通过设置IP端口的方式来实现,通过相应的IP端口连接至对应的模型训练服务中,并将筛选后的车辆目标检测图片通过该IP端口输入至模型中。
交互混淆矩阵生成步骤S104,利用属性数据标签以及模型的检测框预测属性值生成模型的交互混淆矩阵,并利用可视化平台对交互混淆矩阵进行展示。
该步骤主要实现交互混淆矩阵生成过程,具体的说,混淆矩阵是评估目标检测模型对于多类别标签识别准确率的一个重要手段,而目标检测混淆矩阵是一个热力图,热力图中的每个点分别表示了对应标签的正确检出、漏检、误检、过杀情况。然而,静态的混淆矩阵图表虽然能表示出这些指标。但是当需要具体对应到哪些标签误检、哪些标签漏检时,则从静态混淆矩阵中基本无从下手。而本步骤中设计了一个交互混淆矩阵,利用属性数据标签生成模型的交互混淆矩阵,并利用可视化平台对交互混淆矩阵进行展示,可以做到当用户点击可交互混淆矩阵中的某个分块时,就把该分块中的所有标签从数据库中单独调出在可视化前端展示,更加直观方便。
标注错误修改步骤S105,通过交互混淆矩阵从可视化平台中获取车辆目标检测图片中的异常图片,并对异常图片中对应的属性数据标签进行标注修改。
该步骤主要实现标注错误修改过程,在可视化平台筛选、查找、使用、比较数据或专门的查错过程中,当发现标注错误需要对其进行修改时,则通过交互混淆矩阵从可视化平台中获取车辆目标检测图片中的异常图片,并对异常图片中对应的属性数据标签进行标注修改,从而大大加快了已有标签的更新速度。
从上述实施例中的车辆目标检测数据的管理方法可知,该方法利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。
在一些实施方式中,数据信息导入步骤S101,如图2所示,包括:
步骤S201,遍历车辆目标检测图片存放的路径,获取车辆目标检测图片及其对应的属性数据标签;
步骤S202,利用批量导入工具将车辆目标检测图片及其对应的属性数据标签导入至已初始化的MongoDB数据库中。
实际场景中,对异常图片中对应的属性数据标签进行标注修改,利用COCO数据集或PascalVOC数据集所实现;数据库则采用MongoDB数据库作为后端记录所有原始图片数据的数据特征,如图片路径、图片名称、图片宽高、图片大小、图片平均亮度、图片上的标注框、用户自定义的字段等。通过python脚本的方式依次遍历文件系统中所有需要导入的图片。遍历过程中,将图片路径及其他工程师自定义的需要记录的关于该图片的各个信息组织进MongoDB数据库中。
在一些实施方式中,图片导出步骤S102,如图3所示,包括:
步骤S301,在可视化平台中建立与数据库进行实时信息传输的可视化前端;其中,可视化前端中通过web组件提供可选择界面,并通过可选择界面展示车辆目标检测图片;
步骤S302,利用可视化前端中设置的筛选语句对车辆目标检测图片的属性数据标签进行筛选,并将筛选后的车辆目标检测图片导出至预设的图片保存路径。
实际场景中,用户在可视化前端手动点选一批图片或者使用可视化前端预留的筛选语句进行筛选过后,点击可视化前端中设置的相关导出按钮并选择文件路径以后,即可开始导出图片到指定文件夹。筛选语句有很多,几乎可以覆盖所有筛选方法,可以类比excel筛选行的各种方法。本实施例中的筛选主要有:某个属性等于、大于或小于某个值;某个属性包含一些特殊字符;随机抽选指定数量的数据等。
具体的说,筛选过程可通过web服务的形式来实现,具体的,可首先筛选得到视图,然后点击相关标注服务按钮;此时可以通过web服务进行标注修改;标注完毕后点击<将标注数据导出到数据库>将在可视化平台和数据库中更新新的标注内容。
在一些实施方式中,训练数据接入步骤S103,如图4所示,包括:
步骤S401,获取图片保存路径下的车辆目标检测图片的属性数据标签,并将相同数据特征的属性数据标签确定为模型的训练数据;
步骤S402,设置服务端口号,并将训练数据与服务端口号进行关联后接入至模型中进行测试训练。
在可视化前端手动点选一批图片或者使用可视化前端预留的筛选语句进行筛选过后,通过点击可视化前端中设置的启动训练服务按钮,并设置服务端口号。此时相关训练代码库可以通过IP:端口的形式连接到训练服务,继而加载当前用户选择视图下的图片进行训练。这种训练数据加载方式不仅直观、方便、快捷,更具有一定的并发性和选择性。
具体的说,将相同数据特征的属性数据标签确定为模型的训练数据,可通过快速筛选实现了将相同特征的数据集进行融合和快速使用,从而有利于模型的训练过程。模型训练的时候需要把各种特征的数据单独组合在一起并分别测试,主要测试模型对该种数据的检测能力,其本质就是防止数据过多的数据处理过程。
在一些实施方式中,将训练数据与服务端口号进行关联后接入至模型中进行测试训练,如图5所示,包括:
步骤S501,设置与服务端口号的数量相同的子进程;其中,子进程与服务端口号一一对应;
步骤S502,在子进程下,将对应的服务端口号与训练数据进行关联后,接入至模型中进行多线程测试训练。
对于用户选择的同一个视图,可以有多个训练进程通过IP:端口服务进行接入,训练进程还可以使用相同功能的数据划分代码组件对于用户选择的视图进行进一步划分,只训练其中的子集。这对于同时开启多个训练进程并进行不同的数据集实验节省了大量的数据切分和拼接时间。
在一些实施方式中,交互混淆矩阵生成步骤S104,如图6所示,包括:
步骤S601,根据车辆目标检测图片的属性数据标签生成模型的静态混淆矩阵;
步骤S602,将静态混淆矩阵的热力图中的每个点与属性数据标签进行绑定,生成模型的交互混淆矩阵;
其中,交互混淆矩阵为描述模型的真实性性能的表格;表格的行单元为属性数据标签对应的真实类别;表格的列单元为属性数据标签对应的预测类别;表格的主对角线单元为模型的正确预测结果;表格的非对角线单元为模型的不正确预测结果。
步骤S603,利用可视化平台对交互混淆矩阵进行关联展示。
混淆矩阵是一个表格,通常用于描述分类模型在一组真实值已知的数据上的性能。简单来说,它是一种将分类器的预测结果与实际结果进行对比,以此来直观展示分类器准确性的可视化表格。 该矩阵被组织成行和列,其中每一行代表真实类别,每一列代表预测类别。矩阵中的单元格包含属于真实类和预测类的特定组合的样本数。矩阵的主对角线表示正确的预测,而非对角线单元表示不正确的预测。本申请中,将混淆矩阵输入的真值定义为标注框,而预测类别是指模型预测出的认为是某种物体的类别框。
交互混淆矩阵利用Jupyter Notebook库和Python plotly库生成,用户可以画出可交互的混淆矩阵,再把混淆矩阵热力图中的每个点的ID绑定到数据库中该标签的ID。混淆矩阵的示意图见图7所示,可以做到当用户点击可交互混淆矩阵中的某个分块时,就把该分块中(有误检、漏检、过杀、正确检出分块)的所有标签从数据库中单独调出在可视化前端展示,这对于用户在理解和挖掘当前模型检出能力和检出问题等场景中有较大帮助。
在一些实施方式中,标注错误修改步骤S105,如图8所示,包括:
步骤S801,利用可视化平台从交互混淆矩阵中获取车辆目标检测图片中的异常图片;其中,异常图片至少包含车辆目标检测图片的漏筛图片、过筛图片以及误筛图片;
步骤S802,利用异常图片中属性数据标签对应的服务端口号,将异常图片与可视化平台进行关联;
步骤S803,通过可视化平台生成异常图片的视图页面,并在视图页面中对异常图片中对应的属性数据标签进行标注修改。
利用交互混淆矩阵,首先点击混淆矩阵中需要检查的分块,具体如图9所示;这时可视化平台会只显示与该分块绑定的图片,通过在可视化平台浏览这些图片和这些图片的属性快速确定异常图片;然后选中需要修改的异常图片组成视图,点击标注服务按钮后可以通过web服务进行标注修改。修改完毕后点击<将标注数据导出到数据库>将在可视化平台和数据库中更新新的标注内容。
当用户在可视化平台筛选、查找、使用、比较数据或专门的查错过程中,如果发现标注错误或者觉得标注标准需要修改,则需要快速修改现有数据库中记录的标注数据。实际场景中可通过远程服务连接的方式实现修改标注,用户在可视化前端将需要修改标注的图片筛选出来组成视图,随后点击相关启动标注服务按钮,并设置服务端口号。此时无论是用户自己修改还是指定他人进行修改,只需要在可以连接到该IP:端口对应的服务中即可实现。标注修改完成后,点击相关导出按钮即可在可视化平台中更新的标注内容,这种方式大大加快了已有标签的更新速度。
结合具体使用场景,可参照图10所示的车辆目标检测数据的管理方法,该方法中的核心思想是建立一个中心化的可视化平台,帮助用户梳理、管理、理解CV(ComputerVision,计算机视觉数据)数据流动过程中的所有变化。可视化平台是与数据库实时信息传输的可视化前端,该前端主要通过web组件实现。用户通过可视化前端可以以筛选数据库数据的方式直接筛选出自己需要的图片数据进行查看或使用。
具体的说,通过每日取图后,将图片路径或原始图片信息全部导入至可视化平台中。可视化平台采用MongoDB数据库作为数据库后端记录所有原始图片数据的数据特征,如图片路径、图片名称、图片宽高、图片大小、图片平均亮度、图片上的标注框、用户自定义的字段等。用户通过可视化平台或数据库筛选语言筛选出待标注图片,然后用COCO或PascalVOC等标注格式进行标注。
以目标检测数据为例,用户可以使用(只展示5个示例):
limit(50):筛选出前50张图片进行展示;
take(100):随机抽选出100张图片进行展示;
filter_labels(label_name=”dog”):筛选出目标检测标签名称为dog的所有标签进行展示;
filter_labels(confidence>0.7):筛选出目标检测中置信度大于0.7的所有标签进行展示;
regexp(filename=”right”):筛选出文件名称中包含right的所有图片进行展示。
用户在可视化前端手动点选一批图片或者使用可视化前端预留的筛选语句进行筛选过后,点击可视化前端中的导出按钮,选择文件路径以后即可开始导出图片到指定文件夹。
然后使用数据库筛语言,将具有相同数据特征的数据整合成训练数据库视图。具体在可视化前端手动点选一批图片或者使用可视化前端预留的筛选语句进行筛选过后,点击可视化前端中的启动训练服务按钮,设置服务端口号。这时候训练代码库可以通过IP:端口的形式连接到训练服务,继而加载当前用户选择视图下的图片进行单次模型训练。
训练完成后,使用训练好的模型进行测试集推理,然后将测试结果导回到可视化平台,并使用可交互的混淆矩阵快速查看漏检、过杀、误检图片,如若发现数据问题则直接在可视化平台中修改数据或修改标注数据。具体通过可交互的混淆矩阵,把混淆矩阵热力图中的每个点的ID绑定到数据库中该标签的ID。则可以做到当用户点击可交互混淆矩阵中的某个分块时,就把该分块中(有误检、漏检、过杀、正确检出分块)的所有标签从数据库中单独调出在可视化前端展示。
可见,图10中的管理方法可利用中心化管理的特点,用户可以快速导出需要数据,快速使用需要数据进行训练,快速发现问题数据并快速进行修改。
从技术实现上,可采用MongoDB数据库作为数据库后端记录所有原始图片数据的数据特征,如图片路径、图片名称、图片宽高、图片大小、图片平均亮度、图片上的标注框、用户自定义的字段等。然后再建立起与数据库实时信息传输的可视化前端,前端主要通过web组件实现。用户通过可视化前端可以以筛选数据库数据的方式直接筛选出自己需要的图片数据进行查看或使用,具体如图11所示。
通过车辆目标检测数据的管理方法中所用的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性;可以实现数据的快速检索、筛选、分析等功能,提高了数据使用效率和质量。
同时,该方法利用MongoDB数据库实现了对原始数据集的高效存储和共享,可以支持多个场景下采集的大规模数据集,并且可以实现数据集的扩展、更新和备份等操作,保证了数据安全性和完整性。该方法可以实现交互混淆矩阵功能,用于展示目标检测模型对于多类别标签识别准确率,并通过交互过程直观地展示模型在指定分块下(有误检、漏检、过杀、正确检出分块)的表现,方便用户定位并改进目标检测模型存在问题。并且,该方法可采用服务形式,将中心化数据库与多个下游软件进行快速连接,如训练服务加快训练数据集的准备工作、标注服务可以快速增减、修改标签,从而整体上提高了数据利用率和工作效率。
通过上述实施例中提到的车辆目标检测数据的管理方法可知,该方法利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。
对应于上述方法实施例,本发明实施例提供了一种车辆目标检测数据的管理系统;如图12所示,该系统包括以下模块:
数据信息导入模块1210:用于获取车辆目标检测图片,并将车辆目标检测图片的属性数据标签批量导入至已初始化的数据库中;
图片导出模块1220:用于利用预设的可视化平台对车辆目标检测图片进行筛选,并将筛选后的车辆目标检测图片导出至预设的图片保存路径;
训练数据接入模块1230:用于将图片保存路径下的车辆目标检测图片接入至预设的模型中进行测试训练;
交互混淆矩阵生成模块1240:用于利用属性数据标签以及模型的检测框预测属性值生成模型的交互混淆矩阵,并利用可视化平台对交互混淆矩阵进行展示;
标注错误修改模块1250:用于通过交互混淆矩阵从可视化平台中获取车辆目标检测图片中的异常图片,并对异常图片中对应的属性数据标签进行标注修改。
在一些实施方式中,数据信息导入模块1210,用于:遍历车辆目标检测图片存放的路径,获取车辆目标检测图片及其对应的属性数据标签;利用批量导入工具将车辆目标检测图片及其对应的属性数据标签导入至已初始化的MongoDB数据库中。
在一些实施方式中,图片导出模块1220,用于:在可视化平台中建立与数据库进行实时信息传输的可视化前端;其中,可视化前端中通过web组件提供可选择界面,并通过可选择界面展示车辆目标检测图片;利用可视化前端中设置的筛选语句对车辆目标检测图片的属性数据标签进行筛选,并将筛选后的车辆目标检测图片导出至预设的图片保存路径。
在一些实施方式中,训练数据接入模块1230,用于:获取图片保存路径下的车辆目标检测图片的属性数据标签,并将相同数据特征的属性数据标签确定为模型的训练数据;设置服务端口号,并将训练数据与服务端口号进行关联后接入至模型中进行测试训练。
在一些实施方式中,训练数据接入模块1230在将训练数据与服务端口号进行关联后接入至模型中进行测试训练时,用于:设置与服务端口号的数量相同的子进程;其中,子进程与服务端口号一一对应;在子进程下,将对应的服务端口号与训练数据进行关联后,接入至模型中进行多线程测试训练。
在一些实施方式中,交互混淆矩阵生成模块1240,用于:根据车辆目标检测图片的属性数据标签生成模型的静态混淆矩阵;将静态混淆矩阵的热力图中的每个点与属性数据标签进行绑定,生成模型的交互混淆矩阵;其中,交互混淆矩阵为描述模型的真实性性能的表格;表格的行单元为属性数据标签对应的真实类别;表格的列单元为属性数据标签对应的预测类别;表格的主对角线单元为模型的正确预测结果;表格的非对角线单元为模型的不正确预测结果;利用可视化平台对交互混淆矩阵进行关联展示。
在一些实施方式中,标注错误修改模块1250,用于:利用可视化平台从交互混淆矩阵中获取车辆目标检测图片中的异常图片;其中,异常图片至少包含车辆目标检测图片的漏筛图片、过筛图片以及误筛图片;利用异常图片中属性数据标签对应的服务端口号,将异常图片与可视化平台进行关联;通过可视化平台生成异常图片的视图页面,并在视图页面中对异常图片中对应的属性数据标签进行标注修改。
在一些实施方式中,车辆目标检测数据的管理系统中的交互混淆矩阵,利用Jupyter Notebook库和Python plotly库生成;车辆目标检测数据的管理系统在对异常图片中对应的属性数据标签进行标注修改,利用COCO数据集或PascalVOC数据集来实现。
通过上述实施例中提到的车辆目标检测数据的管理系统可知,该系统可利用预设的可视化平台,可以实现对数据集的全生命周期管理,包括存储、筛选、导出、训练、评估和修改等功能,提高了数据管理的效率和便捷性,提升了数据融合的便利性;并通过交互混淆矩阵对车辆目标检测图片中的异常图片进行展示,直观的对异常图片中对应的属性数据标签进行标注修改,提高了数据管理效率,从而解决了现有技术的车辆目标检测数据在管理过程中存在的数据管理效率低下、数据融合方式单一的问题。
本实施例提供的车辆目标检测数据的管理系统,与上述实施例提供的车辆目标检测数据的管理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。为简要描述,实施例部分未提及之处,可参考前述车辆目标检测数据的管理方法实施例中相应内容。
本实施例还提供一种电子设备,该电子设备的结构示意图如图13所示,该设备包括处理器101和存储器102;其中,存储器102用于存储一条或多条计算机指令,一条或多条计算机指令被处理器执行,以实现上述车辆目标检测数据的管理方法。
图13所示的电子设备还包括总线103和通信接口104,处理器101、通信接口104和存储器102通过总线103连接。
其中,存储器102可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接,将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102,处理器101读取存储器102中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种可读存储介质,该可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前述实施例的车辆目标检测数据的管理方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种车辆目标检测数据的管理方法,其特征在于,所述方法包括以下步骤:
数据信息导入步骤:获取车辆目标检测图片,并将所述车辆目标检测图片的属性数据标签批量导入至已初始化的数据库中;
图片导出步骤:利用预设的可视化平台对所述车辆目标检测图片进行筛选,并将筛选后的所述车辆目标检测图片导出至预设的图片保存路径;
训练数据接入步骤:将所述图片保存路径下的所述车辆目标检测图片接入至预设的模型中进行测试训练;
交互混淆矩阵生成步骤:利用所述属性数据标签以及所述模型的检测框预测属性值生成所述模型的交互混淆矩阵,并利用所述可视化平台对所述交互混淆矩阵进行展示;
标注错误修改步骤:通过所述交互混淆矩阵从所述可视化平台中获取所述车辆目标检测图片中的异常图片,并对所述异常图片中对应的所述属性数据标签进行标注修改;
所述数据信息导入步骤,包括:
遍历所述车辆目标检测图片存放的路径,获取所述车辆目标检测图片及其对应的所述属性数据标签;
利用批量导入工具将所述车辆目标检测图片及其对应的所述属性数据标签导入至已初始化的MongoDB数据库中;
所述图片导出步骤,包括:
在所述可视化平台中建立与所述数据库进行实时信息传输的可视化前端;其中,所述可视化前端中通过web组件提供可选择界面,并通过所述可选择界面展示所述车辆目标检测图片;
利用所述可视化前端中设置的筛选语句对所述车辆目标检测图片的所述属性数据标签进行筛选,并将筛选后的所述车辆目标检测图片导出至预设的所述图片保存路径。
2.根据权利要求1所述的车辆目标检测数据的管理方法,其特征在于,所述训练数据接入步骤,包括:
获取所述图片保存路径下的所述车辆目标检测图片的属性数据标签,并将相同数据特征的所述属性数据标签确定为所述模型的训练数据;
设置服务端口号,并将所述训练数据与所述服务端口号进行关联后接入至所述模型中进行测试训练。
3.根据权利要求2所述的车辆目标检测数据的管理方法,其特征在于,将所述训练数据与所述服务端口号进行关联后接入至所述模型中进行测试训练,包括:
设置与所述服务端口号的数量相同的子进程;其中,所述子进程与所述服务端口号一一对应;
在所述子进程下,将对应的所述服务端口号与所述训练数据进行关联后,接入至所述模型中进行多线程测试训练。
4.根据权利要求1所述的车辆目标检测数据的管理方法,其特征在于,所述交互混淆矩阵生成步骤,包括:
根据所述车辆目标检测图片的所述属性数据标签生成所述模型的混淆矩阵;
将所述混淆矩阵的热力图中的每个点与所述属性数据标签进行绑定,生成所述模型的交互混淆矩阵;其中,所述交互混淆矩阵为描述所述模型的真实性性能的表格;所述表格的行单元为所述属性数据标签对应的真实类别;所述表格的列单元为所述属性数据标签对应的预测类别;所述表格的主对角线单元为所述模型的正确预测结果;所述表格的非对角线单元为所述模型的不正确预测结果;
利用所述可视化平台对所述交互混淆矩阵进行关联展示。
5.根据权利要求1所述的车辆目标检测数据的管理方法,其特征在于,所述标注错误修改步骤,包括:
利用所述可视化平台从所述交互混淆矩阵中获取所述车辆目标检测图片中的异常图片;其中,所述异常图片至少包含车辆目标检测图片的漏筛图片、过筛图片以及误筛图片;
利用所述异常图片中所述属性数据标签对应的服务端口号,将所述异常图片与所述可视化平台进行关联;
通过所述可视化平台生成所述异常图片的视图页面,并在所述视图页面中对所述异常图片中对应的所述属性数据标签进行标注修改。
6.根据权利要求1所述的车辆目标检测数据的管理方法,其特征在于,所述交互混淆矩阵,利用Jupyter Notebook库和Python plotly库生成;
对所述异常图片中对应的所述属性数据标签进行标注修改,利用COCO数据集或PascalVOC数据集来实现。
7.一种车辆目标检测数据的管理系统,其特征在于,所述系统包括以下模块:
数据信息导入模块:用于获取车辆目标检测图片,并将所述车辆目标检测图片的属性数据标签批量导入至已初始化的数据库中;
图片导出模块:用于利用预设的可视化平台对所述车辆目标检测图片进行筛选后,将所述车辆目标检测图片导出至预设的图片保存路径;
训练数据接入模块:用于将所述图片保存路径下的所述车辆目标检测图片接入至预设的模型中进行测试训练;
交互混淆矩阵生成模块:用于利用所述属性数据标签以及所述模型的检测框预测属性值生成所述模型的交互混淆矩阵,并利用所述可视化平台对所述交互混淆矩阵进行展示;
标注错误修改模块:用于通过所述交互混淆矩阵从所述可视化平台中获取所述车辆目标检测图片中的异常图片,并对所述异常图片中对应的所述属性数据标签进行标注修改;
所述数据信息导入模块,还用于:遍历所述车辆目标检测图片存放的路径,获取所述车辆目标检测图片及其对应的所述属性数据标签;利用批量导入工具将所述车辆目标检测图片及其对应的所述属性数据标签导入至已初始化的MongoDB数据库中;
所述图片导出模块,还用于:在所述可视化平台中建立与所述数据库进行实时信息传输的可视化前端;其中,所述可视化前端中通过web组件提供可选择界面,并通过所述可选择界面展示所述车辆目标检测图片;利用所述可视化前端中设置的筛选语句对所述车辆目标检测图片的所述属性数据标签进行筛选,并将筛选后的所述车辆目标检测图片导出至预设的所述图片保存路径。
8.一种电子设备,其特征在于,包括:处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时实现上述权利要求1至6任一项所述的车辆目标检测数据的管理方法的步骤。
CN202310465739.9A 2023-04-27 2023-04-27 车辆目标检测数据的管理方法、系统及电子设备 Active CN116204670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310465739.9A CN116204670B (zh) 2023-04-27 2023-04-27 车辆目标检测数据的管理方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310465739.9A CN116204670B (zh) 2023-04-27 2023-04-27 车辆目标检测数据的管理方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN116204670A CN116204670A (zh) 2023-06-02
CN116204670B true CN116204670B (zh) 2023-07-21

Family

ID=86513170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310465739.9A Active CN116204670B (zh) 2023-04-27 2023-04-27 车辆目标检测数据的管理方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN116204670B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN114065809A (zh) * 2021-11-03 2022-02-18 浙江吉利控股集团有限公司 一种乘用车异响识别方法、装置、电子设备以及存储介质
CN114120057A (zh) * 2021-11-09 2022-03-01 华侨大学 一种基于PaddleDetection的混淆矩阵生成方法
CN115859220A (zh) * 2022-12-23 2023-03-28 北京瑞莱智慧科技有限公司 数据处理方法、相关装置及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927335B (zh) * 2014-03-25 2017-12-12 北京航天发射技术研究所 车辆诊断可视化建模管理系统与方法
US10489722B2 (en) * 2017-07-27 2019-11-26 Disney Enterprises, Inc. Semiautomatic machine learning model improvement and benchmarking
CN109934293B (zh) * 2019-03-15 2023-06-13 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络
CN111310829A (zh) * 2020-02-14 2020-06-19 中国人民解放军国防科技大学 基于混淆矩阵的分类结果检测方法、装置及存储介质
CN111382798A (zh) * 2020-03-10 2020-07-07 上海眼控科技股份有限公司 样本图片的标签修正方法、装置、设备和存储介质
CN113011473A (zh) * 2021-03-02 2021-06-22 中国工商银行股份有限公司 模型优化方法、模型优化装置和电子设备
CN113849071A (zh) * 2021-09-10 2021-12-28 维沃移动通信有限公司 字符串处理方法和装置
CN113918554A (zh) * 2021-10-29 2022-01-11 广州华多网络科技有限公司 商品数据清洗方法及其装置、设备、介质、产品
CN115984274B (zh) * 2023-03-20 2023-05-30 菲特(天津)检测技术有限公司 一种车辆外观检测模型、构建方法及检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN114065809A (zh) * 2021-11-03 2022-02-18 浙江吉利控股集团有限公司 一种乘用车异响识别方法、装置、电子设备以及存储介质
CN114120057A (zh) * 2021-11-09 2022-03-01 华侨大学 一种基于PaddleDetection的混淆矩阵生成方法
CN115859220A (zh) * 2022-12-23 2023-03-28 北京瑞莱智慧科技有限公司 数据处理方法、相关装置及存储介质

Also Published As

Publication number Publication date
CN116204670A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US11947556B1 (en) Computerized monitoring of a metric through execution of a search query, determining a root cause of the behavior, and providing a notification thereof
US10891270B2 (en) Systems and methods for modelling virtual schemas in non-relational databases
US11886430B1 (en) Intent-based natural language processing system
CN102314460B (zh) 数据分析方法、系统及服务器
CN110955652B (zh) 一种用于进行数据展示的系统及方法
US11138191B1 (en) Multi-field search query of result data set generated from event data
CN1664810A (zh) 辅助表格填充
CN110826302A (zh) 调查问卷创建方法、装置、介质及电子设备
WO2023130837A1 (zh) 面向科研应用的自动机器学习实现方法、平台及装置
CN111324675B (zh) 一种应用访问链路的分析展示方法、系统以及电子设备
CN116644250B (zh) 页面检测方法、装置、计算机设备和存储介质
US11676345B1 (en) Automated adaptive workflows in an extended reality environment
EP2551782A1 (en) Locating ambiguities in data
CN116204670B (zh) 车辆目标检测数据的管理方法、系统及电子设备
CN109697242B (zh) 拍照搜题方法、装置、存储介质和计算设备
TWI709905B (zh) 資料分析方法及資料分析系統
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN113420042A (zh) 基于演示文稿的数据统计方法、装置、设备及存储介质
CN113569114A (zh) 一种系统数据的可视化展示方法及装置
CN113420080A (zh) 一种毒理学实验数据管理系统
CN115484560B (zh) 智能短信的处理方法、装置、电子设备及存储介质
CN113094265B (zh) 测试脚本的分析方法及分析装置、电子设备
CN112417259A (zh) 媒体资源的处理方法、装置、设备及存储介质
EP1455305B1 (en) Method for providing quantitative data and images for use in pathology analysis
CN114510591B (zh) 数字图像生成排版系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant