CN115620095A - 一种手部信息的标注方法、装置、设备及存储介质 - Google Patents
一种手部信息的标注方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115620095A CN115620095A CN202211645144.3A CN202211645144A CN115620095A CN 115620095 A CN115620095 A CN 115620095A CN 202211645144 A CN202211645144 A CN 202211645144A CN 115620095 A CN115620095 A CN 115620095A
- Authority
- CN
- China
- Prior art keywords
- picture
- hand information
- hand
- marked
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 description 18
- 210000004247 hand Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明适用图像处理技术领域，提供了一种手部信息的标注方法、装置、设备及存储介质，该方法包括：设置手部信息标注参数，获取待标注图片，根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件，从而提高了手部信息的标注效率，并降低了标注成本。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种手部信息的标注方法、装置、设备及存储介质。
背景技术
数据在人工智能算法中起着至关重要的作用，为了训练并得到准确的二维手部姿态估计模型，需要有准确的手部关键点标注信息。目前学术界主流的二维手部姿态估计数据集，给每只手标注的关键点包括一个手腕点，以及每根手指上分别标注4个关键点，因此共21个手部关键点，相比于目标检测算法中的边界框标注，手部关键点标注工作更为繁琐，同时手部关键点存在可见性问题， 因此手部关键点的标注成本更高，以开源社区中著名的标注工具Labelme为例，Labelme可以读入图片，并且可以方便的给图片中感兴趣的目标添加上掩膜、边界框、点、类别等信息，但是正是由于其比较宽泛的标注功能，导致其在标注手部关键点信息时并不高效，我们需要一个一个地添加21个点，这无疑是低效的，同时由于手部自遮挡等特性，手工标注被遮挡的手部关键点位置是比较困难的，因此导致标注成本高且效率低。
发明内容
本发明的目的在于提供一种手部信息的标注方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的手部信息的标注方法，导致手部信息的标注效率低、标注成本高的问题。
一方面，本发明提供了一种手部信息的标注方法，所述方法包括下述步骤：
设置手部信息标注参数；
获取待标注图片；
根据所述手部信息标注参数，通过预设的手部信息标注模型对所述待标注图片进行检测，得到所述待标注图片中手部信息的伪标签标注文件。
优选地，所述手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型。
优选地，所述通过预设的手部信息标注模型对所述待标注图片进行检测的步骤，包括：
通过所述手部姿态估计子模型对所述待标注图片进行手部关键点检测，得到所述待标注图片中手部的关键点坐标；
根据所述关键点坐标，通过所述手势分类子模型对所述待标注图片进行手势检测，得到所述待标注图片的手势类别；
根据所述关键点坐标和手势类别得到所述伪标签标注文件。
优选地，所述方法还包括：
解析所述伪标签标注文件，得到所述待标注图片中手部信息的伪标签；
对所述伪标签进行检查和修改。
另一方面，本发明提供了一种手部信息的标注装置，所述装置包括：
参数设置单元，用于设置手部信息标注参数；
图片获取单元，用于获取待标注图片；以及
图片检测单元，用于根据所述手部信息标注参数，通过预设的手部信息标注模型对所述待标注图片进行检测，得到所述待标注图片中手部信息的伪标签标注文件。
优选地，所述手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型。
优选地，所述图片检测单元包括：
关键点检测单元，用于通过所述手部姿态估计子模型对所述待标注图片进行手部关键点检测，得到所述待标注图片中手部的关键点坐标；
手势检测单元，用于根据所述关键点坐标，通过所述手势分类子模型对所述待标注图片进行手势检测，得到所述待标注图片的手势类别；以及
文件获得单元，用于根据所述关键点坐标和手势类别得到所述伪标签标注文件。
优选地，所述装置还包括：
文件解析单元，用于解析所述伪标签标注文件，得到所述待标注图片中手部信息的伪标签；以及
伪标签处理单元，用于对所述伪标签进行检查和修改。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述手部信息的标注方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述手部信息的标注方法所述的步骤。
本发明通过设置手部信息标注参数，获取待标注图片，之后根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件，从而提高了手部信息的标注效率，并降低了标注成本，从而提高了手部信息的标注的覆盖面和精确度，进而提高了用户体验。
附图说明
图1是本发明实施例一提供的手部信息的标注方法的实现流程图；
图2是本发明实施例二提供的手部信息的标注方法的实现流程图；
图3是本发明实施例三提供的手部信息的标注方法的实现流程图；
图4是本发明实施例四提供的手部信息的标注装置的结构示意图；
图5是本发明实施例四提供的手部信息的标注装置的优选结构示意图；
图6是本发明实施例五提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的手部信息的标注方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，设置手部信息标注参数。
本发明实施例适用于计算设备，例如，个人计算机、服务器等。在本发明实施例中，设置的手部信息标注参数可以通过读取存储有手部信息标注参数的、预设的配置文件来获取，也可以通过人机交互接口接收用户输入的手部信息标注参数来获取，手部信息标注参数包括手部关键点的检测参数（如图片中最多出现的手数、检测为手的置信度阈值等）、手势类别可选列表（如手势类别的个数、种类）等参数。
在步骤S102中，获取待标注图片。
在本发明实施例中，可以通过读取存储有待标注图片目录的、预设的配置文件来获取待标注图片，也可以通过人机交互接口接收用户输入的待标注图片所在目录来获取待标注图片，并根据获取的待标注图片生成相应的图片文件列表，其中，存储有待标注图片目录的配置文件和存储有手部信息标注参数的配置文件可以是同一个文件，也可以是不同的文件，待标注图片可以是jpg、png或者bmp格式，也可以是其它常用的图片文件格式。
在步骤S103中，根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件。
在本发明实施例中，先通过设置的手部信息标注参数对预设的手部信息标注模型进行初始化，再通过初始化后的手部信息标注模型对图片文件列表中的所有待标注图片进行逐一检测，得到对应的待标注图片中手部信息的伪标签，并将所有的待标注图片中手部信息的伪标签形成伪标签标注文件，最后，将伪标签标注文件保存到预先设置的标注文件输出目录中，其中，手部信息的伪标签包括手部关键点坐标的伪标签和/或者手势类别的伪标签，标注文件输出目录可以是通过读取存储有标注文件输出目录的、预设的配置文件来获取的，也可以通过人机交互接口接收用户输入的方式获取的，存储有标注文件输出目录的配置文件和存储有待标注图片目录/手部信息标注参数的配置文件可以是同一个文件，也可以是不同的文件。
优选地，手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型，从而使得手部信息标注模型专用性更强，能更高效地标注手部关键点和手势类别。
进一步优选地，手部姿态估计子模型采用MediaPipe中提供的高精度手部姿态估计算法，以对待标注图片中的手部关键点进行预测，从而提高了手部关键点伪标签信息的质量，进而提高了标注效率，并降低了标注成本。
进一步优选地，手势分类子模型采用三层全连接神经网络，从而在提高手势分类的准确性的同时不会引入较高的模型复杂度，让分类检测达到实时运行的效果。
在本发明实施例中，设置手部信息标注参数，获取待标注图片，根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件，从而提高了手部信息的标注效率，并降低了标注成本。
实施例二：
图2示出了本发明实施例二提供的手部信息的标注方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，通过手部姿态估计子模型对待标注图片进行手部关键点检测，得到待标注图片中手部的关键点坐标。
在本发明实施例中，通过基于MediaPipe的手部姿态估计子模型对待标注图片上的每只手进行检测，得到待标注图片上每只手的21个关键点坐标。
在步骤S202中，根据关键点坐标，通过手势分类子模型对待标注图片进行手势检测，得到待标注图片的手势类别。
在本发明实施例中，手势分类子模型也即是一个手势分类器，采用三层全连接神经网络作为手势分类器，将手部的关键点坐标输入预先训练好的三层全连接神经网络，以对待标注图片上每只手的手势进行检测，并将得到的每只手的手势类别进行输出。
在通过预先训练好的三层全连接神经网络对待标注图片进行手势检测前，优选地，将已被标注手势类别和手部关键点坐标的第一数据集输入三层全连接神经网络，对该三层全连接神经网络进行训练，再利用该三层全连接神经网络对未被标注的第二数据集进行预测，得到手势类别伪标签，之后，再通过人工对手部关键点伪标签和手势类别伪标签进行检查和修正，得到正确无误的标签，并将处理后的关键点坐标和手势类别作为新的训练集，用于对三层全连接神经网络进行微调，以不断加强三层全连接神经网络对新数据的泛化能力，从而不断提升手势分类的伪标签的准确性，并降低了人为标定手势类别的次数。
在步骤S203中，根据关键点坐标和手势类别得到伪标签标注文件。
在本发明实施例中，通过手部信息标注模型对关键点坐标和手势类别的检测结果进行解码，转换成上下文中的常见对象（Common Objects in Context，COCO）数据集标注格式后，形成伪标签标注文件，并将伪标签标注文件保存到指定的标注文件输出目录中。
在本发明实施例中，先通过手部姿态估计子模型对待标注图片进行手部关键点检测，得到待标注图片中手部的关键点坐标，再根据关键点坐标，通过手势分类子模型对待标注图片进行手势检测，得到待标注图片的手势类别，最后根据关键点坐标和手势类别得到伪标签标注文件，从而提高了手部关键点坐标和手势类别的检测准确性和检测效率。
实施例三：
图3示出了本发明实施例三提供的手部信息的标注方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S301中，解析伪标签标注文件，得到待标注图片中手部信息的伪标签；
在本发明实施例中，可以根据伪标签标注文件上记录的图片顺序，依次对伪标签标注文件上记录的每张待标注图片上每只手的21个关键点坐标和手势类别进行解析，也可以直接跳转到标注人员指定的待标注图片上，对其进行解析，解析时，每次读入一张待标注图片，并将该待标注图片和解析得到待标注图片中每只手的21个关键点坐标的伪标签、手势类别伪标签显示在图片视图上，在图片视图上，可以通过不同的颜色显示不同的手部关键点，在此基础上，还可以显示关键点之间的骨架连线。
在步骤S302中，对伪标签进行检查和修改。
在本发明实施例中，根据当前显示在图片视图上的待标注图片的标志位状态，确定该待标注图片是否已检查、还是未处理、其伪标签是否已修改，当当前标志位状态为已检查时，若伪标签有错误，则修改，并更新其标志位状态为已修改，当当前标志位状态为未处理时，则对伪标签进行检查，并对错误的伪标签进行修改，再更新其标志位状态为已修改，若伪标签没有错误，则更新其标志位状态为已检查，当当前标志位状态为已修改或者当前标志位状态为已修改已检查且伪标签没有错误时，则读入下一张待标注图片，对其对应的伪标签进行检查和修改，其中，标志位状态包括已检查、未处理以及已修改，标志位状态默认为未处理，表示图片尚未被处理，标志位状态的信息存储在伪标签标注文件中，以便于后续的数据处理。
在本发明实施例中，对于伪标签有效的图片，则保留下来，表示当前图片的伪标签预测较为准确或该图片中手部质量较高，不会出现非常模糊或手部不存在的情况，否则设置相应的“丢弃”标志位，以将当前伪标签从数据集中移除，并实时保存修改后的伪标签标注文件。
作为示例地，在图片视图上，标注人员可以通过拖拽操作将伪标签对应的位置不准确的关键点图元移动到合适的位置，此外可以通过点击鼠标左键选中关键点图元和鼠标移动到合适位置后点击右键取消选中的方式修改关键点图元的位置。在标注人员选择读入下一张图片前，如果标注人员修改过关键点坐标，则当前图片的标志位状态会设置为已修改，并在相应的树型列表上的当前图片名前勾选上可选框，表示当前图片的标注信息已经被修改，否则当前图片标志位状态会被设置为已检查，并在相应的树型列表上的当前图片名前部分选中上可选框，表示当前图片的标注信息已经被检查但没有修改过关键点位置。
在本发明实施例中，先解析伪标签标注文件，得到待标注图片中手部信息的伪标签，再对伪标签进行检查和修改，从而提高了标注的正确性。
实施例四：
图4示出了本发明实施例四提供的手部信息的标注装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
参数设置单元41，用于设置手部信息标注参数。
本发明实施例适用于计算设备，例如，个人计算机、服务器等。在本发明实施例中，设置的手部信息标注参数可以通过读取存储有手部信息标注参数的、预设的配置文件来获取，也可以通过人机交互接口接收用户输入的手部信息标注参数来获取，手部信息标注参数包括手部关键点的检测参数（如图片中最多出现的手数、检测为手的置信度阈值等）、手势类别可选列表（如手势类别的个数、种类）等参数。
图片获取单元42，用于获取待标注图片。
在本发明实施例中，可以通过读取存储有待标注图片目录的、预设的配置文件来获取待标注图片，也可以通过人机交互接口接收用户输入的待标注图片所在目录来获取待标注图片，并根据获取的待标注图片生成相应的图片文件列表，其中，存储有待标注图片目录的配置文件和存储有手部信息标注参数的配置文件可以是同一个文件，也可以是不同的文件，待标注图片可以是jpg、png或者bmp格式，也可以是其它常用的图片文件格式。
图片检测单元43，用于根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件。
在本发明实施例中，先通过设置的手部信息标注参数对预设的手部信息标注模型进行初始化，再通过初始化后的手部信息标注模型对图片文件列表中的所有待标注图片进行逐一检测，得到对应的待标注图片中手部信息的伪标签，并将所有的待标注图片中手部信息的伪标签形成伪标签标注文件，最后，将伪标签标注文件保存到预先设置的标注文件输出目录中，其中，手部信息的伪标签包括手部关键点坐标的伪标签和/或者手势类别的伪标签，标注文件输出目录可以是通过读取存储有标注文件输出目录的、预设的配置文件来获取的，也可以通过人机交互接口接收用户输入的方式获取的，存储有标注文件输出目录的配置文件和存储有待标注图片目录/手部信息标注参数的配置文件可以是同一个文件，也可以是不同的文件。
优选地，手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型，从而使得手部信息标注模型专用性更强，能更高效地标注手部关键点和手势类别。
进一步优选地，手部姿态估计子模型采用MediaPipe中提供的高精度手部姿态估计算法，以对待标注图片中的手部关键点进行预测，从而提高了手部关键点伪标签信息的质量，进而提高了标注效率，并降低了标注成本。
进一步优选地，手势分类子模型采用三层全连接神经网络，从而在提高手势分类的准确性的同时不会引入较高的模型复杂度，让分类检测达到实时运行的效果。
其中，如图5所示，优选地，图片检测单元43包括：
关键点检测单元431，用于通过手部姿态估计子模型对待标注图片进行手部关键点检测，得到待标注图片中手部的关键点坐标。
在本发明实施例中，通过基于MediaPipe的手部姿态估计子模型对待标注图片上的每只手进行检测，得到待标注图片上每只手的21个关键点坐标。
手势检测单元432，用于根据关键点坐标，通过手势分类子模型对待标注图片进行手势检测，得到待标注图片的手势类别。
在本发明实施例中，手势分类子模型也即是一个手势分类器，采用三层全连接神经网络作为手势分类器，将手部的关键点坐标输入预先训练好的三层全连接神经网络，以对待标注图片上每只手的手势进行检测，并将得到的每只手的手势类别进行输出。
在通过预先训练好的三层全连接神经网络对待标注图片进行手势检测前，优选地，将已被标注手势类别和手部关键点坐标的第一数据集输入三层全连接神经网络，对该三层全连接神经网络进行训练，再利用该三层全连接神经网络对未被标注的第二数据集进行预测，得到手势类别伪标签，之后，再通过人工对手部关键点伪标签和手势类别伪标签进行检查和修正，得到正确无误的标签，并将处理后的关键点坐标和手势类别作为新的训练集，用于对三层全连接神经网络进行微调，以不断加强三层全连接神经网络对新数据的泛化能力，从而不断提升手势分类的伪标签的准确性，并降低了人为标定手势类别的次数。
文件获得单元433，用于根据关键点坐标和手势类别得到伪标签标注文件。
在本发明实施例中，通过手部信息标注模型对关键点坐标和手势类别的检测结果进行解码，转换成上下文中的常见对象（Common Objects in Context，COCO）数据集标注格式后，形成伪标签标注文件，并将伪标签标注文件保存到指定的标注文件输出目录中。
如图5所示，又一优选地，本发明实施例的手部信息的标注装置还包括：
文件解析单元44，用于解析伪标签标注文件，得到待标注图片中手部信息的伪标签。
在本发明实施例中，可以根据伪标签标注文件上记录的图片顺序，依次对伪标签标注文件上记录的每张待标注图片上每只手的21个关键点坐标和手势类别进行解析，也可以直接跳转到标注人员指定的待标注图片上，对其进行解析，解析时，每次读入一张待标注图片，并将该待标注图片和解析得到待标注图片中每只手的21个关键点坐标的伪标签、手势类别伪标签显示在图片视图上，在图片视图上，可以通过不同的颜色显示不同的手部关键点，在此基础上，还可以显示关键点之间的骨架连线。
伪标签处理单元45，用于对伪标签进行检查和修改。
在本发明实施例中，根据当前显示在图片视图上的待标注图片的标志位状态，确定该待标注图片是否已检查、还是未处理、其伪标签是否已修改，当当前标志位状态为已检查时，若伪标签有错误，则修改，并更新其标志位状态为已修改，当当前标志位状态为未处理时，则对伪标签进行检查，并对错误的伪标签进行修改，再更新其标志位状态为已修改，若伪标签没有错误，则更新其标志位状态为已检查，当当前标志位状态为已修改或者当前标志位状态为已修改已检查且伪标签没有错误时，则读入下一张待标注图片，对其对应的伪标签进行检查和修改，其中，标志位状态包括已检查、未处理以及已修改，标志位状态默认为未处理，表示图片尚未被处理，标志位状态的信息存储在伪标签标注文件中，以便于后续的数据处理。
在本发明实施例中，对于伪标签有效的图片，则保留下来，表示当前图片的伪标签预测较为准确或该图片中手部质量较高，不会出现非常模糊或手部不存在的情况，否则设置相应的“丢弃”标志位，以将当前伪标签从数据集中移除，并实时保存修改后的伪标签标注文件。
在本发明实施例中，手部信息的标注装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例五：
图6示出了本发明实施例五提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。该处理器60执行计算机程序62时实现上述手部信息的标注方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器60执行计算机程序62时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，设置手部信息标注参数，获取待标注图片，根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件，从而提高了手部信息的标注效率，并降低了标注成本。
本发明实施例的计算设备可以为个人计算机、服务器。该计算设备6中处理器60执行计算机程序62时实现手部信息的标注方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例六：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述手部信息的标注方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图4所示单元41至43的功能。
在本发明实施例中，设置手部信息标注参数，获取待标注图片，根据手部信息标注参数，通过预设的手部信息标注模型对待标注图片进行检测，得到待标注图片中手部信息的伪标签标注文件，从而提高了手部信息的标注效率，并降低了标注成本。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种手部信息的标注方法，其特征在于，所述方法包括下述步骤：
设置手部信息标注参数；
获取待标注图片；
根据所述手部信息标注参数，通过预设的手部信息标注模型对所述待标注图片进行检测，得到所述待标注图片中手部信息的伪标签标注文件。
2.如权利要求1所述的方法，其特征在于，所述手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型。
3.如权利要求2所述的方法，其特征在于，所述通过预设的手部信息标注模型对所述待标注图片进行检测的步骤，包括：
通过所述手部姿态估计子模型对所述待标注图片进行手部关键点检测，得到所述待标注图片中手部的关键点坐标；
根据所述关键点坐标，通过所述手势分类子模型对所述待标注图片进行手势检测，得到所述待标注图片的手势类别；
根据所述关键点坐标和手势类别得到所述伪标签标注文件。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
解析所述伪标签标注文件，得到所述待标注图片中手部信息的伪标签；
对所述伪标签进行检查和修改。
5.一种手部信息的标注装置，其特征在于，所述装置包括：
参数设置单元，用于设置手部信息标注参数；
图片获取单元，用于获取待标注图片；以及
图片检测单元，用于根据所述手部信息标注参数，通过预设的手部信息标注模型对所述待标注图片进行检测，得到所述待标注图片中手部信息的伪标签标注文件。
6.如权利要求5所述的装置，其特征在于，所述手部信息标注模型包括预设的手部姿态估计子模型和预先训练好的手势分类子模型。
7.如权利要求6所述的装置，其特征在于，所述图片检测单元包括：
关键点检测单元，用于通过所述手部姿态估计子模型对所述待标注图片进行手部关键点检测，得到所述待标注图片中手部的关键点坐标；
手势检测单元，用于根据所述关键点坐标，通过所述手势分类子模型对所述待标注图片进行手势检测，得到所述待标注图片的手势类别；以及
文件获得单元，用于根据所述关键点坐标和手势类别得到所述伪标签标注文件。
8.如权利要求5所述的装置，其特征在于，所述装置还包括：
文件解析单元，用于解析所述伪标签标注文件，得到所述待标注图片中手部信息的伪标签；以及
伪标签处理单元，用于对所述伪标签进行检查和修改。
9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211645144.3A CN115620095A (zh) | 2022-12-21 | 2022-12-21 | 一种手部信息的标注方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211645144.3A CN115620095A (zh) | 2022-12-21 | 2022-12-21 | 一种手部信息的标注方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115620095A true CN115620095A (zh) | 2023-01-17 |
Family
ID=84880231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211645144.3A Pending CN115620095A (zh) | 2022-12-21 | 2022-12-21 | 一种手部信息的标注方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115620095A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392762A (zh) * | 2023-12-13 | 2024-01-12 | 中国石油集团川庆钻探工程有限公司 | 一种基于人体关键点姿态编码的特征行为识别方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723187A (zh) * | 2021-07-27 | 2021-11-30 | 武汉光庭信息技术股份有限公司 | 手势关键点的半自动标注方法及系统 |
-
2022
- 2022-12-21 CN CN202211645144.3A patent/CN115620095A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723187A (zh) * | 2021-07-27 | 2021-11-30 | 武汉光庭信息技术股份有限公司 | 手势关键点的半自动标注方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392762A (zh) * | 2023-12-13 | 2024-01-12 | 中国石油集团川庆钻探工程有限公司 | 一种基于人体关键点姿态编码的特征行为识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014385B1 (ko) | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 | |
| JP6893233B2 (ja) | 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム | |
| US11176415B2 (en) | Assisted image annotation | |
| CN109726712A (zh) | 文字识别方法、装置及存储介质、服务器 | |
| CN111401318B (zh) | 动作识别方法及装置 | |
| CN111666766B (zh) | 数据处理方法、装置和设备 | |
| Liao et al. | Visualization-based active learning for video annotation | |
| Healey et al. | Interest driven navigation in visualization | |
| JP2019046094A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN114519881A (zh) | 人脸位姿估计方法、装置、电子设备及存储介质 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| WO2024066067A1 (zh) | 一种定位界面上目标元素的方法、介质及电子设备 | |
| CN115335872A (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| CN115620095A (zh) | 一种手部信息的标注方法、装置、设备及存储介质 | |
| CN109858402B (zh) | 一种图像检测方法、装置、终端以及存储介质 | |
| CN111460858B (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
| CN116610304B (zh) | 页面代码生成方法、装置、设备和存储介质 | |
| CN116578738A (zh) | 一种基于图注意力和生成对抗网络的图文检索方法和装置 | |
| CN115546824B (zh) | 禁忌图片识别方法、设备及存储介质 | |
| CN114255219B (zh) | 征象识别方法、装置、电子设备和存储介质 | |
| Zhang et al. | Stroke-based semantic segmentation for scene-level free-hand sketches | |
| US20230071291A1 (en) | System and method for a precise semantic segmentation | |
| Yan et al. | Deep cognitive gate: Resembling human cognition for saliency detection | |
| Cham et al. | AI-Assisted Manual Segmentation Web Application for Geospatial Satellite and Imagery Data | |
| CN115565201B (zh) | 禁忌图片识别方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230117 |
|
| RJ01 | Rejection of invention patent application after publication |