CN113420839B - 用于堆叠平面目标物体的半自动标注方法及分割定位系统 - Google Patents
用于堆叠平面目标物体的半自动标注方法及分割定位系统 Download PDFInfo
- Publication number
- CN113420839B CN113420839B CN202110964636.8A CN202110964636A CN113420839B CN 113420839 B CN113420839 B CN 113420839B CN 202110964636 A CN202110964636 A CN 202110964636A CN 113420839 B CN113420839 B CN 113420839B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- deep learning
- planar target
- positioning system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000002372 labelling Methods 0.000 title claims abstract description 32
- 238000013136 deep learning model Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 235000021110 pickles Nutrition 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
发明为解决现有计算机视觉技术不适用于堆叠目标场景以及深度学习灵活性较差的问题，公开了一种用于堆叠平面目标物体的半自动标注方法及分割定位系统，属于人工智能技术领域。该方法包括图像采集、人工录入平面目标物体类别、训练深度学习模型以及识别等步骤。该系统包括图像采集模块、交互模块、数据标注和模型训练模块以及图像分割和处理模块。本发明通过半自动标注与训练，有效解决了堆叠状态下的平面目标物体中最上层可抓取平面目标物体的分割定位以及深度学习数据标注的工作量。同时，该发明使普通员工也可进行深度学习模型的训练，大大增加了深度学习工业部署的灵活性，降低了深度学习部署的成本。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种用于堆叠平面目标物体的半自动标注方法及分割定位系统。
背景技术
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，计算机视觉技术(CV，Computer Vision)是一门研究如何使机器“看”的科学，通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别文字识别(OCR，Optical Character Recognition)等技术。而随着人工智能技术逐渐成熟，图像识别技术越来越广泛地应用到日常生活中，比如物品分选。
然而，现有的基于计算机视觉技术的物品分选操作，存在以下缺陷：
1.现在研究的堆叠目标分拣大多针对三维目标，采用3d相机。工业上对平面目标物体分拣目前仍停留在目标无堆叠的场景，因此对于堆叠的平面目标物体分拣，堆叠状态下的平面目标物体难以分割出上层平面目标物体仍是一个问题。
2.现阶段在工业上，深度学习的应用较为困难，深度学习需要大量的图像标注，需要很大的成本，而且需要专业的AI工程师才能进行模型训练迭代，比如增加一种新的目标。
发明内容
本发明为解决现有计算机视觉技术不适用于堆叠目标场景以及深度学习灵活性较差的问题，提供一种用于堆叠平面目标物体的半自动标注方法及分割定位系统，通过半自动标注与训练，有效解决了堆叠状态下的平面目标物体中最上层可抓取平面目标物体的分割定位以及深度学习数据标注的工作量。同时，该发明使普通员工也可进行深度学习模型的训练，大大增加了深度学习工业部署的灵活性，降低了深度学习部署的成本。
本发明采用的技术方案是：
用于堆叠平面目标物体的半自动标注方法，所述方法包括：
步骤S1，分割定位系统采集第一图像和第二图像；第一图像对应一个平面目标物体，第二图像对应多个堆叠状态下的平面目标物体；
步骤S2，所述分割定位系统接收人工录入的第一信息；第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别；
步骤S3，所述分割定位系统通过第一信息和第二图像训练多个深度学习模型，深度学习模型用于识别平面目标物体的类别信息和位姿信息；所述分割定位系统保留得分最高的深度学习模型；
步骤S4，所述分割定位系统采集实时的第三图像；第三图像对应实时的多个堆叠状态下的平面目标物体；
步骤S5，所述分割定位系统通过得分最高的深度学习模型对第三图像进行实例分割和识别；
步骤S6，所述分割定位系统输出第三图像中最上层平面目标物体的类别信息和位姿信息。
进一步地，所述步骤S3中，所述分割定位系统训练深度学习模型时包含以下步骤：
步骤S31，所述分割定位系统对第一图像进行图像分割处理，提取出平面目标物体前景并得到平面目标物体前景的像素坐标信息；
步骤S32，所述分割定位系统将第二图像作为新背景，将平面目标物体前景作为掩膜图像与新背景进行随机融合，生成多个标注有类别和位姿的图像，完成数据集创建；
步骤S33，所述分割定位系统将数据集按比例分为训练集和测试集；
步骤S34，所述分割定位系统以训练集作为原始数据训练深度学习模型，以测试集验证深度学习模型，并保留得分最高的深度学习模型。
进一步地，所述步骤S33中，训练集和测试集的数据量比为9：1。
进一步地，所述步骤S34中，若分割定位系统判定得分超过设定的检测准确率的阈值，停止训练深度学习模型。
进一步地，所述阈值为95%。
进一步地，所述步骤S5中，分割定位系统通过得分最高的深度学习模型对第三图像进行识别时包含以下步骤：
步骤S51，所述分割定位系统利用得分最高的深度学习模型对第三图像进行实例分割；
步骤S52，所述分割定位系统提取感兴趣区域；
步骤S53，所述分割定位系统对感兴趣区域进行识别。
进一步地，所述步骤S53中，分割定位系统对感兴趣区域进行识别时依据像素面积大小去除遮挡平面目标物体。
用于堆叠平面目标物体的半自动标注的分割定位系统，所述系统包括：
图像采集模块，所述图像采集模块用于采集第一图像、第二图像和第三图像；第一图像对应一个平面目标物体，第二图像对应多个堆叠状态下的平面目标物体，第三图像对应实时的多个堆叠状态下的平面目标物体；
交互模块，所述交互模块用于人工录入的第一信息、确定深度学习模型以及显示实时的多个堆叠状态下的平面目标物体中最上层平面目标物体的类别信息和位姿信息；第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别；深度学习模型通过第一信息和第二图像训练而来，其用于识别平面目标物体的类别信息和位姿信息；
数据标注和模型训练模块，所述数据标注和模型训练模块通过第一信息和第二图像训练多个深度学习模型，并保留得分最高的深度学习模型；
图像分割和处理模块，所述图像分割和处理模块通过得分最高的深度学习模型对第三图像进行实例分割和识别。
进一步地，所述图像采集模块为摄像头或工业相机；所述交互模块包括工控机、显示屏和软件接口。
进一步地，所述数据标注和模型训练模块以及所述图像分割和处理模块采用MaskRcnn卷积神经网络以及Pytorch模型训练框架。
本发明的有益效果是：
本发明为解决现有计算机视觉技术不适用于堆叠目标场景以及深度学习灵活性较差的问题，提供一种用于堆叠平面目标物体的半自动标注方法及分割定位系统。针对堆叠的平面目标物体，有效解决了多个堆叠状态下的平面目标物体中最上层可抓取目标的分割定位问题。该发明通过半自动标注与训练，有效减少了深度学习数据标注的工作量，同时，该发明使普通员工也可进行深度学习模型的训练，大大增加了深度学习工业部署的灵活性，降低了深度学习部署的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有现技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例中，标注方法的流程图。
图2为实施例中，堆叠零件的图像。
图3为实施例中，单个零件的图像。
图4为实施例中，分割定位系统分割出的单个零件图像。
图5为实施例中，掩膜图像与堆叠图像叠加示意。
图6为实施例中，分割定位系统形成的标注文件样式。
图7为实施例中，深度学习模型验证结果图。
图8为实施例中，分割定位系统的逻辑连接示意图。
附图标记为：
100-图像采集模块，200-交互模块，300-数据标注和模型训练模块，400-图像分割和处理模块。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。
下面结合附图对发明的实施例进行详细说明。
用于堆叠平面目标物体的半自动标注方法，基于图像处理技术，其工作流程如图1所示。该方法包括离线过程和在线过程。
离线过程：
步骤S1，分割定位系统采集第一图像和第二图像，第一图像对应一个平面目标物体，即一张图像中只有一个平面目标物体。第二图像对应多个堆叠状态下的平面目标物体，即一张图像中有两个及两个以上呈堆叠状态的平面目标物体。
步骤S2，分割定位系统接收人工录入的第一信息；第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别。比如人工录入榨菜A正面，榨菜A反面。
步骤S3，分割定位系统通过第一信息和第二图像训练多个深度学习模型，深度学习模型用于识别平面目标物体的类别信息和位姿信息；分割定位系统保留得分最高的深度学习模型。
具体的步骤S3中，分割定位系统训练深度学习模型时包含以下步骤：
步骤S31，分割定位系统对第一图像进行图像分割处理，提取出平面目标物体前景并得到平面目标物体前景的像素坐标信息。
步骤S32，分割定位系统将第二图像作为新背景，将平面目标物体前景作为掩膜图像与新背景进行随机融合，生成多个标注有类别和位姿的图像，完成数据集创建。其中，位姿即中心点坐标。
步骤S33，分割定位系统将数据集按数据量比为9：1分为训练集和测试集。
步骤S34，分割定位系统以训练集作为原始数据训练深度学习模型，以测试集验证深度学习模型，保留得分最高的深度学习模型，比如以检测准确率进行得分评价。若分割定位系统判定得分超过限定的检测准确率的阈值，比如检测准确率达到95%，停止训练深度学习模型。
以平面零件识别为例，数据集的构建过程如下：
对于堆叠的零件图像标注，可通过人工采集20张大小相同的零件图像，其中，10张随机摆放的堆叠零件，如图2所示。10张随机摆放的单个零件，如图3所示。然后通过图像处理算法分割出单个零件，如图4所示，提取其像素坐标，并人工输入该零件类别，比如A零件；再将分割出的零件作为掩膜图像与堆叠图像进行叠加 ，如图5所示。因为分割出的零件可以随机平移，此时可随机创造出多张堆叠图像，比如随机平移生成10张。输出标注文件，如图6所示。那么通过排列组合，10张单个零件和10张堆叠图像可实现1000张堆叠零件的标注，便可快速完成堆叠图像的标注工作，创建数据集。将该数据集分为训练集和测试集，以训练集训练深度学习模型，以测试集验证深度学习模型，验证的效果如图7所示。
在线过程：
步骤S4，分割定位系统采集实时的第三图像；第三图像对应实时的多个堆叠状态下的平面目标物体。
步骤S5，分割定位系统通过得分最高的深度学习模型对第三图像进行实例分割和识别。
具体的，步骤S5中，分割定位系统通过得分最高的深度学习模型对第三图像进行识别时包含以下步骤：
步骤S51，分割定位系统利用深度学习模型对第三图像进行实例分割；
步骤S52，分割定位系统提取感兴趣区域；
步骤S53，分割定位系统对感兴趣区域进行识别。分割定位系统对感兴趣区域进行识别时依据像素面积大小去除遮挡平面目标物体。因为当平面目标物体堆叠时，深度学习模型会误识别出被遮挡的平面目标物体，需要去除。
步骤S6，分割定位系统输出第三图像中最上层平面目标物体的类别信息和位姿信息。
本实施例中提供一种用于堆叠平面目标物体的半自动标注方法，具有以下效果：
1.通过半自动标注实现普通工人也可以完成深度学习数据集的建立与模型训练，这样加入新的产品，工人可以通过简单的操作便可实现新产品的分割定位，而无需专业的AI工程师参与，使深度学习模型具有迁移学习能力。
2.通过深度学习模型对堆叠的平面目标物体进行实例分割，得到最上层平面目标物体的类别与位姿信息。该方法适用于对较薄的平面目标物体如食品包装、板类零件进行半自动标注训练与实例分割。对平面目标物体进行自动标注，主要目的是自动标注图像数据，从而建立图像数据集；对平面目标物体进行实例分割，主要目的是获取图像中的平面目标物体的类别信息与位姿信息，并将正确的抓取信息通过外部接口传递给执行机构。
本实施例中还提供一种用于堆叠平面目标物体的半主动标准分割定位系统，具有工人可操作且具有迁移学习能力的特点。该系统包括图像采集模块100、交互模块200、数据标注和模型训练模块300以及图像分割和处理模块400，如图8所示。
图像采集模块100，其为摄像头或工业相机，用于采集第一图像、第二图像和第三图像。第一图像对应一个平面目标物体，第二图像对应多个堆叠状态下平面目标物体，第三图像对应实时的多个堆叠状态下的平面目标物体。即，图像采集模块100完成以下目的：1.通过目标任务，人工控制相机采集训练数据集中的待标注图像。2.在平面目标物体分拣过程中根据传感器信号实时采集图像，将图像传送至图像分割和处理模块400。
交互模块200，安装在分拣平台上方，其包括工控机、显示屏和软件接口，用于人工录入的第一信息、确定深度学习模型以及显示实时的堆叠状态下的平面目标物体中最上层平面目标物体的类别信息和位姿信息。第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别；深度学习模型通过第一信息和第二图像训练而来，其用于识别平面目标物体的类别信息和位姿信息。即，交互模块200完成以下目的：1.人工输入平面目标物体的类别信息，进行数据标注。2.选择数据集进行训练并选择得分最高的深度学习模型，并由该得分最高的深度学习模型进行后续平面目标物体的分割和识别。3.显示平面目标物体实例分割定位结果。
数据标注和模型训练模块300，采用Mask Rcnn卷积神经网络以及Pytorch模型训练框架，其通过第一信息和第二图像训练多个深度学习模型，并保留得分最高的深度学习模型。即，数据标注和模型训练模块300针对图像采集模块100采集到的待标注图像，完成与以下目的：1. 结合人工输入的平面目标物体的类别信息和经图像处理获得的平面目标物体的像素坐标信息实现图像半自动标注，从而快速完成图像数据集的创建。2.使用创建完成的数据集进行训练，从而快速实现深度学习模型的训练与更新迭代。
图像分割和处理模块400，采用Mask Rcnn卷积神经网络以及Pytorch模型训练框架，其通过深度学习模型对第三图像进行实例分割和识别。对分拣过程中采集到的图像进行实例分割与目标定位，通过Mask Rcnn分割算法对堆叠平面目标物体进行实例分割，得到分割后目标的像素面积与位姿信息，并根据像素面积大小去除掉遮挡平面目标物体，从而准确得到上层可抓取平面目标物体的类别与位姿信息。
本实施例中，采用图像处理技术进行数据标注，图像处理中使用图像分割与图像融合算法。通过图像分割算法对采集的目标图像进行处理，提取感兴趣区域，实现掩膜图像与平面目标物体坐标信息的获取，通过图像融合算法将提取的掩膜图像与采集的其它图像进行融合，结合输入的平面目标物体类别信息，实现平面目标物体的快速标注，实现数据集的快速建立与模型的训练。本实施例基于深度学习图像分割算法，通过深度学习算法对平面目标物体进行分割定位，从而在平面目标物体堆叠情况下，准确得到最上层可抓取平面目标物体的类别与位姿信息，并将正确的抓取信息通过外部接口传递给执行机构。
Claims (9)
1.用于堆叠平面目标物体的半自动标注方法，其特征在于，所述方法包括：
步骤S1，分割定位系统采集第一图像和第二图像；第一图像对应一个平面目标物体，第二图像对应多个堆叠状态下的平面目标物体；
步骤S2，所述分割定位系统接收人工录入的第一信息；第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别；
步骤S3，所述分割定位系统通过第一信息和第二图像训练多个深度学习模型，深度学习模型用于识别平面目标物体的类别信息和位姿信息；所述分割定位系统保留得分最高的深度学习模型；
步骤S4，所述分割定位系统采集实时的第三图像；第三图像对应实时的多个堆叠状态下的平面目标物体；
步骤S5，所述分割定位系统通过得分最高的深度学习模型对第三图像进行实例分割和识别；
步骤S6，所述分割定位系统输出第三图像中最上层平面目标物体的类别信息和位姿信息；
其中，所述步骤S3中，所述分割定位系统训练深度学习模型时包含以下步骤：
步骤S31，所述分割定位系统对第一图像进行图像分割处理，提取出平面目标物体前景并得到平面目标物体前景的像素坐标信息；
步骤S32，所述分割定位系统将第二图像作为新背景，将平面目标物体前景作为掩膜图像与新背景进行随机融合，生成多个标注有类别和位姿的图像，完成数据集创建；
步骤S33，所述分割定位系统将数据集按比例分为训练集和测试集；
步骤S34，所述分割定位系统以训练集作为原始数据训练深度学习模型，以测试集验证深度学习模型，并保留得分最高的深度学习模型。
2.根据权利要求1所述的用于堆叠平面目标物体的半自动标注方法，其特征在于，所述步骤S33中，训练集和测试集的数据量比为9：1。
3.根据权利要求1所述的用于堆叠平面目标物体的半自动标注方法，其特征在于，所述步骤S34中，若分割定位系统判定得分超过设定的检测准确率的阈值，停止训练深度学习模型。
4.根据权利要求3所述的用于堆叠平面目标物体的半自动标注方法，其特征在于，所述阈值为95%。
5.根据权利要求1所述的用于堆叠平面目标物体的半自动标注方法，其特征在于，所述步骤S5中，分割定位系统通过得分最高的深度学习模型对第三图像进行识别时包含以下步骤：
步骤S51，所述分割定位系统利用得分最高的深度学习模型对第三图像进行实例分割；
步骤S52，所述分割定位系统提取感兴趣区域；
步骤S53，所述分割定位系统对感兴趣区域进行识别。
6.根据权利要求5所述的用于堆叠平面目标物体的半自动标注方法，其特征在于，所述步骤S53中，分割定位系统对感兴趣区域进行识别时依据像素面积大小去除遮挡平面目标物体。
7.用于权利要求1~6中任意一项所述的用于堆叠平面目标物体的半自动标注方法的分割定位系统，其特征在于，所述系统包括：
图像采集模块，所述图像采集模块用于采集第一图像、第二图像和第三图像；第一图像对应一个平面目标物体，第二图像对应多个堆叠状态下的平面目标物体，第三图像对应实时的多个堆叠状态下的平面目标物体；
交互模块，所述交互模块用于人工录入的第一信息、确定深度学习模型以及显示实时的多个堆叠状态下的平面目标物体中最上层平面目标物体的类别信息和位姿信息；第一信息与第一图像对应，其用于标记第一图像中的平面目标物体的类别；深度学习模型通过第一信息和第二图像训练而来，其用于识别平面目标物体的类别信息和位姿信息；
数据标注和模型训练模块，所述数据标注和模型训练模块通过第一信息和第二图像训练多个深度学习模型，并保留得分最高的深度学习模型；
图像分割和处理模块，所述图像分割和处理模块通过得分最高的深度学习模型对第三图像进行实例分割和识别。
8.根据权利要求7所述的用于堆叠平面目标物体的半自动标注的分割定位系统，其特征在于，所述图像采集模块为摄像头或工业相机；所述交互模块包括工控机、显示屏和软件接口。
9.根据权利要求7所述的用于堆叠平面目标物体的半自动标注的分割定位系统，其特征在于，所述数据标注和模型训练模块以及所述图像分割和处理模块采用Mask Rcnn卷积神经网络以及Pytorch模型训练框架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110964636.8A CN113420839B (zh) | 2021-08-23 | 2021-08-23 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110964636.8A CN113420839B (zh) | 2021-08-23 | 2021-08-23 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113420839A CN113420839A (zh) | 2021-09-21 |
| CN113420839B true CN113420839B (zh) | 2021-11-02 |
Family
ID=77719103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110964636.8A Active CN113420839B (zh) | 2021-08-23 | 2021-08-23 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420839B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092485B (zh) * | 2021-09-28 | 2024-08-09 | 华侨大学 | 一种基于mask rcnn的堆叠粗骨料图像分割方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN111275063A (zh) * | 2018-12-04 | 2020-06-12 | 广州中国科学院先进技术研究所 | 一种基于3d视觉的机器人智能抓取控制方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
| CN111489373B (zh) * | 2020-04-07 | 2023-05-05 | 北京工业大学 | 一种基于深度学习的遮挡物体分割方法 |
| CN112233078A (zh) * | 2020-10-12 | 2021-01-15 | 广州计量检测技术研究院 | 一种堆叠千克组砝码识别与关键部位分割方法 |
| CN112580647A (zh) * | 2020-12-11 | 2021-03-30 | 湖北工业大学 | 一种面向堆叠物体的识别方法及系统 |
| CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德（北京）机器人科技有限公司 | 对象抓取方法及装置 |
| CN113284179B (zh) * | 2021-05-26 | 2022-09-13 | 吉林大学 | 一种基于深度学习的机器人多物体分拣方法 |
-
2021
- 2021-08-23 CN CN202110964636.8A patent/CN113420839B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN111275063A (zh) * | 2018-12-04 | 2020-06-12 | 广州中国科学院先进技术研究所 | 一种基于3d视觉的机器人智能抓取控制方法及系统 |
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多算法融合Mask R-CNN堆叠千克组砝码识别与关键部位分割方法;赵迪 等;《激光杂志》;20210531;第42卷(第5期);第27-31页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113420839A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4009231A1 (en) | Video frame information labeling method, device and apparatus, and storage medium | |
| CN111652085B (zh) | 基于2d与3d特征结合的物体识别方法 | |
| CN107977639B (zh) | 一种人脸清晰度判断方法 | |
| Zhang et al. | Keypoint-graph-driven learning framework for object pose estimation | |
| Lin et al. | E2EK: End-to-end regression network based on keypoint for 6D pose estimation | |
| EP4322106B1 (en) | Defect detection method and apparatus | |
| CN111667005B (zh) | 一种采用rgbd视觉传感的人体交互系统 | |
| CN110796018A (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN111906782B (zh) | 一种基于三维视觉的智能机器人抓取方法 | |
| CN109829458B (zh) | 实时自动生成记录系统操作行为的日志文件的方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| KR20210122429A (ko) | 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN111666954A (zh) | 一种显著区域的联合学习提取方法及系统 | |
| CN113420839B (zh) | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 | |
| CN113487538A (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| Hao et al. | [Retracted] Fast Recognition Method for Multiple Apple Targets in Complex Occlusion Environment Based on Improved YOLOv5 | |
| CN111651038A (zh) | 基于ToF的手势识别控制方法及其控制系统 | |
| CN114494773A (zh) | 一种基于深度学习的零件分拣识别系统和方法 | |
| CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
| CN111435429A (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN112084103B (zh) | 界面测试方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 No. 3051, University Road, Science Park, West New Town University, Jinan City, Shandong Province Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 No. 3051, University Road, Science Park, West New Town University, Jinan City, Shandong Province Patentee before: Qilu University of Technology Country or region before: China |