CN114925337A - 数据的标注方法、装置和电子设备 - Google Patents
数据的标注方法、装置和电子设备 Download PDFInfo
- Publication number
- CN114925337A CN114925337A CN202210550518.7A CN202210550518A CN114925337A CN 114925337 A CN114925337 A CN 114925337A CN 202210550518 A CN202210550518 A CN 202210550518A CN 114925337 A CN114925337 A CN 114925337A
- Authority
- CN
- China
- Prior art keywords
- file
- target
- minio
- annotated
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 2
- 238000004321 preservation Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000002407 reforming Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供了一种数据的标注方法、装置和电子设备，包括：基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求；获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中。本发明的方法中，标注结果集未进行本地化存储，极大的解决了标注结果外泄的风险，确保了标注结果的数据安全。
Description
技术领域
本发明涉及数据标注的技术领域，尤其是涉及一种数据的标注方法、装置和电子设备。
背景技术
目前，对图片的分析识别常常采用神经网络模型的方式，而神经网络模型在训练时，需要依赖海量的人工标注结果，人工标注结果往往通过众包的模式产生，也就是说相关领域的人员将采集到的图片作为标注任务外包给第三方团队，由第三方团队的人员执行标注任务，进而将标注得到的标注结果再回传给相关领域的人员，以将标注结果作为训练样本进行神经网络模型的训练。
上述第三方团队的人员(即标注人员)在进行图片的人工标注时，常常采用开源的图像标注工具labelme实现，具体过程为：先将采集得到的待标注图片以硬盘拷贝的形式保存到本地文件(例如，C盘中的一个文件夹)中，然后，labelme打开上述本地文件，其中的待标注图片便会呈现在labelme的画框中，标注人员可以使用labelme的框选工具对画框中呈现的待标注图片中的目标对象进行框选标注，标注完成的标注结果也会存储在本地文件中，最后，再通过硬盘拷贝的形式将本地文件中的标注结果回传给相关领域的人员。
上述数据标注的过程中，存在标注结果外泄的风险，也就是存在标注结果的数据安全问题，而对于自动驾驶领域来讲，标注结果集价值珍贵，标注结果的数据安全为重中之重，如何确保标注结果集的数据安全成为目前亟需解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据的标注方法、装置和电子设备，以缓解现有的数据的标注方法存在标注结果外泄风险的技术问题。
第一方面，本发明实施例提供了一种数据的标注方法，应用于改造的labelme工具，所述改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，所述方法包括：
基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向所述minio发送所述待标注文件获取请求，其中，所述待标注文件获取请求中携带有密钥信息、所述标识信息和第一桶的标识信息；
获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，并将所述目标待标注文件中的目标待标注图片加载至画框；
根据所述标注人员的框选操作对所述画框中的所述目标待标注图片中的目标对象进行框选标注，得到标注结果集；
在所述标注人员触发标注完成操作后，基于所述标注结果集生成标注结果保存请求，并向所述minio发送所述标注结果保存请求，以将所述标注结果集以目标已标注文件的形式存储至所述minio的第二桶中，其中，所述标注结果保存请求中携带有所述密钥信息、所述标识信息、所述minio的第二桶的标识信息和所述标注结果集的信息，所述目标已标注文件携带有所述标识信息。
进一步的，所述第一桶为所述标注人员的账号开通只读权限，所述第二桶为所述标注人员的账号开通只写权限。
进一步的，获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，包括：
获取所述minio根据所述待标注文件获取请求返回的加密的目标待标注文件；
对所述加密的目标待标注文件进行解密，得到所述目标待标注文件。
进一步的，基于所述标注结果集生成标注结果保存请求，包括：
对所述标注结果集进行加密，得到加密后的标注结果集；
基于所述加密后的标注结果集生成所述标注结果保存请求，其中，所述标注结果保存请求中携带的所述标注结果集的信息为所述加密后的标注结果集。
进一步的，所述待标注文件获取请求和所述标注结果保存请求均为http请求。
进一步的，所述第一桶为训练人员的账号开通只读权限，所述第二桶为所述训练人员的账号开通只读权限。
进一步的，在基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求之前，所述方法还包括：
获取所述标注人员输入的登录请求，其中，所述登录请求携带有所述标注人员的账号的信息和对应的密码的信息；
对所述登录请求进行验证，验证通过后完成所述标注人员的登录。
第二方面，本发明实施例还提供了一种数据的标注装置，应用于改造的labelme工具，所述改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，所述装置包括：
第一生成和发送单元，用于基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向所述minio发送所述待标注文件获取请求，其中，所述待标注文件获取请求中携带有密钥信息、所述标识信息和第一桶的标识信息；
获取和加载单元，用于获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，并将所述目标待标注文件中的目标待标注图片加载至画框；
框选标注单元，用于根据所述标注人员的框选操作对所述画框中的所述目标待标注图片中的目标对象进行框选标注，得到标注结果集；
第二生成和发送单元，用于在所述标注人员触发标注完成操作后，基于所述标注结果集生成标注结果保存请求，并向所述minio发送所述标注结果保存请求，以将所述标注结果集以目标已标注文件的形式存储至所述minio的第二桶中，其中，所述标注结果保存请求中携带有所述密钥信息、所述标识信息、所述minio的第二桶的标识信息和所述标注结果集的信息，所述目标已标注文件携带有所述标识信息。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种数据的标注方法，应用于改造的labelme工具，改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，该方法包括：基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求，其中，待标注文件获取请求中携带有密钥信息、标识信息和第一桶的标识信息；获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中，其中，标注结果保存请求中携带有密钥信息、标识信息、minio的第二桶的标识信息和标注结果集的信息，目标已标注文件携带有标识信息。通过上述描述可知，本发明的数据的标注方法中，目标待标注文件和标注结果集都未进行本地化存储，极大的解决了标注结果外泄的风险，确保了标注结果的数据安全，缓解了现有的数据的标注方法存在标注结果外泄风险的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据的标注方法的流程图；
图2为本发明实施例提供的一种数据的标注装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在通过开源的图像标注工具labelme对待标注图片进行人工标注时，存在待标注图片和标注结果在本地化存储的过程，因此会有标注结果外泄的风险。
基于此，本发明的数据的标注方法中，目标待标注文件和标注结果集都未进行本地化存储，极大的解决了标注结果外泄的风险，确保了标注结果的数据安全。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据的标注方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种数据的标注方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据的标注方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求，其中，待标注文件获取请求中携带有密钥信息、标识信息和第一桶的标识信息；
在本发明实施例中，上述数据的标注方法应用于改造的labelme工具，该改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注。
具体的，上述改造的labelme工具为待标注文件拥有方对现有的开源的labelme工具进行改造后得到的工具，例如，对于自动驾驶领域的待标注图片来讲，上述改造的labelme工具为自动驾驶领域的人员对现有的开源的labelme工具进行改造后得到的工具，是一种客户端程序，当自动驾驶领域的人员需要第三方团队进行待标注图片的标注时，将上述改造的labelme工具的安装包发送给第三方团队，第三方团队的人员就可以将改造的labelme工具安装于自身的本地电脑终端上进行使用。
上述minio为自动驾驶领域的人员购买的对象存储服务器，自动驾驶领域的运维人员可以在minio中创建桶，并在创建的桶上为第三方团队的人员开通账号，开通的账号即为标注人员的账号，另外，运维人员选中创建的桶，可以进一步对标注人员的账号进行桶的权限设置，也就是说使得标注人员的账号对选中的桶开通某种操作权限(例如，只读权限、只写权限和读写权限)。这样，标注人员的账号对某个桶便具备了具体的操作权限。
在本发明实施例中，minio中可以创建两个桶，分别是第一桶和第二桶，其中，第一桶用于存储待标注文件(待标注文件中包含待标注图像)，上述待标注文件为自动驾驶领域的人员通过图像采集装置采集得到的，具体的，图像采集装置采集到待标注文件后，可以将上述待标注文件通过硬件插入minio服务器，从而上传至第一桶中；第二桶用于存储已标注文件(已标注文件为描述性文件，比如，.txt文件，或者，.json结尾的文件，第一行可以是与之对应的目标待标注文件的地址，剩下的为一些坐标位置所表示的标注框及其对应的目标对象的类别)，可以标注结果集的统一管理，为后续模型的训练提供了数据支持。
在具体实现时，标注人员打开本地电脑终端上改造的labelme工具，登录标注人员的账号和密码，登录成功后，会出现待标注文件的列表(或者点击某个按钮就会出现待标注文件的列表)，列表中对应有各待标注文件的标识信息，例如，待标注文件的名称信息(可以是以时间命名的，本发明实施例对此不进行具体限制)，标注人员从待标注文件的列表中选择一个标识信息，选择的该标识信息所对应的待标注文件即为目标待标注文件，改造的labelme工具获取到上述标识信息后，会生成携带有密钥信息(为对标注人员的账号和密码进行编码后得到的，提高了待标注文件获取请求的安全等级)、标识信息和第一桶的标识信息(可以为第一桶的名称信息)的待标注文件获取请求，进而向minio发送该待标注文件获取请求，从而对minio的第一桶进行访问。
minio在收到上述待标注文件获取请求后，先对上述密钥信息进行验签，验签标注人员的账号是否有效，验签通过后，根据待标注文件获取请求中的桶的标识信息确定为第一桶，进而在第一桶中查找与目标待标注文件的标识信息对应的目标待标注文件，如此，便在第一桶中得到了目标待标注文件。
需要说明的是，对第一桶进行访问的代码是在改造的labelme工具的后端代码中封装好的，也就是说，待标注文件获取请求中必然携带有第一桶的标识信息，会对第一桶进行访问，即改造的labelme工具封装了在第一桶中进行读的权限，这样的改造设计更加安全，因为即便是对标注人员的账号设置了对第一桶进行可读可写的权限，标注人员的账号也无法对第一桶进行写的操作，这是因为改造的labelme工具中只封装了对第一桶的读的权限，其无法实现对第一桶的写的操作。
步骤S104，获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；
上述返回的目标待标注文件并未保存在本地电脑终端中，而是加载进了改造的labelme工具的内存中了，也就是说该过程不涉及待标注文件的本地存储，另外，改造的labelme工具的画框内也没有右键保存的操作，即整个过程都不存在待标注文件的本地存储，使得标注人员无法将待标注文件进行泄漏，也无法对待标注文件中的待标注图片进行修改，更加安全。
步骤S106，根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；
具体的，可以使用工具中的矩形工具框等框选工具对画框中的目标待标注图片中的目标对象进行框选标注。
步骤S108，在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中，其中，标注结果保存请求中携带有密钥信息、标识信息、minio的第二桶的标识信息和标注结果集的信息，目标已标注文件携带有标识信息。
具体的，在标注人员框选标注完成后，可以点击完成或保存按钮，这样便触发了标注完成操作，进而，改造的labelme工具基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，实现将标注结果集以目标已标注文件的形式存储至minio的第二桶中。
对第二桶进行写的代码(提前设置好的)是在改造的labelme工具的后端代码中封装好的，也就是说，标注结果保存请求中必然携带有第二桶的标识信息，会对第二桶进行写的操作，即改造的labelme工具封装了在第二桶中进行写的权限，这样的改造设计更加安全，因为即便是对标注人员的账号设置了对第二桶进行可读可写的权限，标注人员的账号也无法对第二桶进行读的操作，这是因为改造的labelme工具中只封装了对第二桶的写的权限，其无法实现对第二桶的读的操作。
上述过程无法进行标注结果集的本地存储，另外，标注人员也无法对第二桶进行读的操作，即标注人员无法将标注结果集进行外泄，更加安全。
另外，与现有技术相比，本发明的方法也节省了数据拷贝的成本，因为现有技术需要通过硬盘拷贝的形式将本地文件中的标注结果回传给相关领域的人员，而本申请中，框选标注完成后，标注结果集便直接存储至minio的第二桶中，minio即为相关领域的人员购买的服务器，即标注结果集会直接回传给相关领域的人员，节省了数据拷贝成本。
在本发明实施例中，提供了一种数据的标注方法，应用于改造的labelme工具，改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，该方法包括：基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求，其中，待标注文件获取请求中携带有密钥信息、标识信息和第一桶的标识信息；获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中，其中，标注结果保存请求中携带有密钥信息、标识信息、minio的第二桶的标识信息和标注结果集的信息，目标已标注文件携带有标识信息。通过上述描述可知，本发明的数据的标注方法中，目标待标注文件和标注结果集都未进行本地化存储，极大的解决了标注结果外泄的风险，确保了标注结果的数据安全，缓解了现有的数据的标注方法存在标注结果外泄风险的技术问题。
上述内容对本发明的数据的标注方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中，第一桶为标注人员的账号开通只读权限，第二桶为标注人员的账号开通只写权限。
具体的，进行上述的权限设置后，第一桶可以防止标注人员对其中的待标注文件的内容进行修改，确保了原数据的安全，第二桶可以防止标注人员对其中的已标注文件的内容进行读取，避免了标注结果集的外泄。
需要说明的是，第一桶的吞吐量需要设置的大一些，以确保文件读取的效率(读取的是待标注文件，其中都是待标注图片，内存占用大)，第二桶的安全性需要高一些(写入的是已标注文件，为描述性文件，内存占用不大，所以不需要很大的吞吐量，但是标注结果集的价值高，因此第二桶的安全性需要高一些)，以确保标注结果集的安全性。
在本发明的一个可选实施例中，获取minio根据待标注文件获取请求返回的目标待标注文件，具体包括：
获取minio根据待标注文件获取请求返回的加密的目标待标注文件；对加密的目标待标注文件进行解密，得到目标待标注文件。
具体的，minio返回的目标待标注文件为加密的文件，是为了防止目标待标注文件在传输的过程中被篡改，从而保证数据的安全性。改造的labelme工具在获取到上述加密的目标待标注文件后，对其进行解密，从而得到目标待标注文件。
上述解密具体可以为MD5解密。
在本发明的一个可选实施例中，基于标注结果集生成标注结果保存请求，具体包括：
对标注结果集进行加密，得到加密后的标注结果集；基于加密后的标注结果集生成标注结果保存请求，其中，标注结果保存请求中携带的标注结果集的信息为加密后的标注结果集。
具体的，改造的labelme工具发送的标注结果保存请求携带有加密后的标注结果集，进而将加密后的标注结果集以目标已标注文件的形式存储至minio的第二桶中，是为了防止标注结果集在传输的过程中被篡改，从而保证数据的安全性。
上述加密具体可以为MD5加密。
在本发明的一个可选实施例中，待标注文件获取请求和标注结果保存请求均为http请求。
在本发明的一个可选实施例中，第一桶为训练人员的账号开通只读权限，第二桶为训练人员的账号开通只读权限。
具体的，这样的话，训练人员就能从第一桶和第二桶中得到标注后的训练样本，用于具体的神经网络模型的训练。
另外，第一桶还可以为管理人员的账号开通读写的权限，第二桶也可以为管理人员的账号开通读写的权限。
在本发明的一个可选实施例中，在基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求之前，该方法还包括：
获取标注人员输入的登录请求，其中，登录请求携带有标注人员的账号的信息和对应的密码的信息；对登录请求进行验证，验证通过后完成标注人员的登录。
本发明提供了一种安全性高、应用简单的改造的labelme工具，还采用了minio私有云的对象存储服务对待标注文件和已标注文件进行存储，以桶的方式为标注人员灵活分配读写权限，为自动驾驶领域标注结果集的数据安全保驾护航，提高了标注结果集的传输维护效率。
对labelme工具的具体改造包括：通过http协议从远端minio获取加密的目标待标注文件以及通过http协议向远端minio保存加密的标注结果集，避免了待标注文件和已标注文件在本地的存储，杜绝了标注结果集的外泄。
实施例二：
本发明实施例还提供了一种数据的标注装置，该数据的标注装置主要用于执行本发明实施例一中所提供的数据的标注方法，以下对本发明实施例提供的数据的标注装置做具体介绍。
图2是根据本发明实施例的一种数据的标注装置的示意图，该数据的标注装置应用于改造的labelme工具，改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，如图2所示，该装置主要包括：第一生成和发送单元10、获取和加载单元20、框选标注单元30和第二生成和发送单元40，其中：
第一生成和发送单元，用于基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求，其中，待标注文件获取请求中携带有密钥信息、标识信息和第一桶的标识信息；
获取和加载单元，用于获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；
框选标注单元，用于根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；
第二生成和发送单元，用于在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中，其中，标注结果保存请求中携带有密钥信息、标识信息、minio的第二桶的标识信息和标注结果集的信息，目标已标注文件携带有标识信息。
在本发明实施例中，提供了一种数据的标注装置，应用于改造的labelme工具，改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，该装置包括：基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向minio发送待标注文件获取请求，其中，待标注文件获取请求中携带有密钥信息、标识信息和第一桶的标识信息；获取minio根据待标注文件获取请求返回的目标待标注文件，并将目标待标注文件中的目标待标注图片加载至画框；根据标注人员的框选操作对画框中的目标待标注图片中的目标对象进行框选标注，得到标注结果集；在标注人员触发标注完成操作后，基于标注结果集生成标注结果保存请求，并向minio发送标注结果保存请求，以将标注结果集以目标已标注文件的形式存储至minio的第二桶中，其中，标注结果保存请求中携带有密钥信息、标识信息、minio的第二桶的标识信息和标注结果集的信息，目标已标注文件携带有标识信息。通过上述描述可知，本发明的数据的标注装置中，目标待标注文件和标注结果集都未进行本地化存储，极大的解决了标注结果外泄的风险，确保了标注结果的数据安全，缓解了现有的数据的标注方法存在标注结果外泄风险的技术问题。
可选地，第一桶为标注人员的账号开通只读权限，第二桶为标注人员的账号开通只写权限。
可选地，获取和加载单元还用于：获取minio根据待标注文件获取请求返回的加密的目标待标注文件；对加密的目标待标注文件进行解密，得到目标待标注文件。
可选地，第二生成和发送单元还用于：对标注结果集进行加密，得到加密后的标注结果集；基于加密后的标注结果集生成标注结果保存请求，其中，标注结果保存请求中携带的标注结果集的信息为加密后的标注结果集。
可选地，待标注文件获取请求和标注结果保存请求均为http请求。
可选地，第一桶为训练人员的账号开通只读权限，第二桶为训练人员的账号开通只读权限。
可选地，该装置还用于：获取标注人员输入的登录请求，其中，登录请求携带有标注人员的账号的信息和对应的密码的信息；对登录请求进行验证，验证通过后完成标注人员的登录。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图3所示，本申请实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述数据的标注确定方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述数据的标注确定方法。
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
对应于上述数据的标注确定方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述数据的标注确定方法的步骤。
本申请实施例所提供的数据的标注确定装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据的标注方法，其特征在于，应用于改造的labelme工具，所述改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，所述方法包括：
基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向所述minio发送所述待标注文件获取请求，其中，所述待标注文件获取请求中携带有密钥信息、所述标识信息和第一桶的标识信息；
获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，并将所述目标待标注文件中的目标待标注图片加载至画框；
根据所述标注人员的框选操作对所述画框中的所述目标待标注图片中的目标对象进行框选标注，得到标注结果集；
在所述标注人员触发标注完成操作后，基于所述标注结果集生成标注结果保存请求，并向所述minio发送所述标注结果保存请求，以将所述标注结果集以目标已标注文件的形式存储至所述minio的第二桶中，其中，所述标注结果保存请求中携带有所述密钥信息、所述标识信息、所述minio的第二桶的标识信息和所述标注结果集的信息，所述目标已标注文件携带有所述标识信息。
2.根据权利要求1所述的方法，其特征在于，所述第一桶为所述标注人员的账号开通只读权限，所述第二桶为所述标注人员的账号开通只写权限。
3.根据权利要求1所述的方法，其特征在于，获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，包括：
获取所述minio根据所述待标注文件获取请求返回的加密的目标待标注文件；
对所述加密的目标待标注文件进行解密，得到所述目标待标注文件。
4.根据权利要求1所述的方法，其特征在于，基于所述标注结果集生成标注结果保存请求，包括：
对所述标注结果集进行加密，得到加密后的标注结果集；
基于所述加密后的标注结果集生成所述标注结果保存请求，其中，所述标注结果保存请求中携带的所述标注结果集的信息为所述加密后的标注结果集。
5.根据权利要求1所述的方法，其特征在于，所述待标注文件获取请求和所述标注结果保存请求均为http请求。
6.根据权利要求1所述的方法，其特征在于，所述第一桶为训练人员的账号开通只读权限，所述第二桶为所述训练人员的账号开通只读权限。
7.根据权利要求1所述的方法，其特征在于，在基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求之前，所述方法还包括：
获取所述标注人员输入的登录请求，其中，所述登录请求携带有所述标注人员的账号的信息和对应的密码的信息；
对所述登录请求进行验证，验证通过后完成所述标注人员的登录。
8.一种数据的标注装置，其特征在于，应用于改造的labelme工具，所述改造的labelme工具用于对minio的第一桶中存储的待标注文件中的待标注图片进行目标对象的标注，所述装置包括：
第一生成和发送单元，用于基于标注人员选择的目标待标注文件的标识信息生成待标注文件获取请求，并向所述minio发送所述待标注文件获取请求，其中，所述待标注文件获取请求中携带有密钥信息、所述标识信息和第一桶的标识信息；
获取和加载单元，用于获取所述minio根据所述待标注文件获取请求返回的所述目标待标注文件，并将所述目标待标注文件中的目标待标注图片加载至画框；
框选标注单元，用于根据所述标注人员的框选操作对所述画框中的所述目标待标注图片中的目标对象进行框选标注，得到标注结果集；
第二生成和发送单元，用于在所述标注人员触发标注完成操作后，基于所述标注结果集生成标注结果保存请求，并向所述minio发送所述标注结果保存请求，以将所述标注结果集以目标已标注文件的形式存储至所述minio的第二桶中，其中，所述标注结果保存请求中携带有所述密钥信息、所述标识信息、所述minio的第二桶的标识信息和所述标注结果集的信息，所述目标已标注文件携带有所述标识信息。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550518.7A CN114925337B (zh) | 2022-05-18 | 2022-05-18 | 数据的标注方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550518.7A CN114925337B (zh) | 2022-05-18 | 2022-05-18 | 数据的标注方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114925337A true CN114925337A (zh) | 2022-08-19 |
| CN114925337B CN114925337B (zh) | 2024-03-22 |
Family
ID=82808485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210550518.7A Active CN114925337B (zh) | 2022-05-18 | 2022-05-18 | 数据的标注方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114925337B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496749A (zh) * | 2022-11-14 | 2022-12-20 | 江苏智云天工科技有限公司 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
| CN118378132A (zh) * | 2024-06-21 | 2024-07-23 | 暗物质(北京)智能科技有限公司 | 一种基于Minio的模型训练数据标注方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073977A1 (en) * | 2019-09-05 | 2021-03-11 | Pearl Inc. | Systems and methods for automated medical image annotation |
| CN114359367A (zh) * | 2022-03-15 | 2022-04-15 | 深圳市华付信息技术有限公司 | 数据标注方法、装置、计算机设备及存储介质 |
-
2022
- 2022-05-18 CN CN202210550518.7A patent/CN114925337B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073977A1 (en) * | 2019-09-05 | 2021-03-11 | Pearl Inc. | Systems and methods for automated medical image annotation |
| CN114359367A (zh) * | 2022-03-15 | 2022-04-15 | 深圳市华付信息技术有限公司 | 数据标注方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 邱程;葛迪;侯群;: "基于遥感图像的人工标注系统的设计与实现", 电脑知识与技术, no. 23, 15 August 2018 (2018-08-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496749A (zh) * | 2022-11-14 | 2022-12-20 | 江苏智云天工科技有限公司 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
| CN115496749B (zh) * | 2022-11-14 | 2023-01-31 | 江苏智云天工科技有限公司 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
| CN118378132A (zh) * | 2024-06-21 | 2024-07-23 | 暗物质(北京)智能科技有限公司 | 一种基于Minio的模型训练数据标注方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114925337B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108900464B (zh) | 电子装置、基于区块链的数据处理方法和计算机存储介质 | |
| CN114925337A (zh) | 数据的标注方法、装置和电子设备 | |
| CN110245940B (zh) | 数字资产凭证继承转移中的信息处理方法、和相关装置 | |
| CN111078140B (zh) | 核电站文件上传管理方法、装置、终端设备及介质 | |
| US20150278487A1 (en) | Security scheme for authenticating digital entities and aggregate object origins | |
| US11184174B2 (en) | System and method for decentralized digital structured data storage, management, and authentication using blockchain | |
| CA3033144A1 (en) | Tracing objects across different parties | |
| CN111914029A (zh) | 基于区块链的医疗数据调用方法、装置、电子设备及介质 | |
| EP3792792A1 (en) | Tampering detection method for paper copy and apparatus and non-transitory computer-readable storage medium | |
| CN113704781A (zh) | 文件安全传输方法、装置、电子设备及计算机存储介质 | |
| CN109493087A (zh) | 一种基于二维码查验不动产登记信息的方法、计算机装置及计算机可读存储介质 | |
| CN112800404A (zh) | 一种跨链访问控制方法和装置 | |
| RU2759210C1 (ru) | Система и способ защиты электронных документов, содержащих конфиденциальную информацию, от несанкционированного доступа | |
| CN114827354A (zh) | 身份验证信息显示方法、装置、电子设备及可读存储介质 | |
| CN110855718B (zh) | 企业用户的注册方法、装置、电子设备及计算机可读介质 | |
| WO2019062007A1 (zh) | 数据传输方法、装置、终端设备及介质 | |
| CN112685077A (zh) | 数据修改方法、系统、计算机设备及计算机可读存储介质 | |
| CN109446054B (zh) | 基于大数据的越权操作请求的处理方法及终端设备 | |
| CN111145143A (zh) | 问题图像确定方法及装置、电子设备和存储介质 | |
| CN116303250A (zh) | 会计档案数据的管理方法、装置、电子设备及介质 | |
| CN114625700A (zh) | 基于权限的文件展示方法、装置、设备及存储介质 | |
| CN114417397A (zh) | 行为画像的构建方法、装置、存储介质及计算机设备 | |
| CN114240399A (zh) | 基于区块链平台的政务数据处理方法及系统 | |
| CN110647766A (zh) | 保证数据仓库文件下载安全性的方法及系统 | |
| US12093323B2 (en) | Computer-readable recording medium storing information management program, information processing system, and information management method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |