CN112181270A - 图像分割标注方法、模型训练方法、装置及存储介质 - Google Patents
图像分割标注方法、模型训练方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112181270A CN112181270A CN202011046531.6A CN202011046531A CN112181270A CN 112181270 A CN112181270 A CN 112181270A CN 202011046531 A CN202011046531 A CN 202011046531A CN 112181270 A CN112181270 A CN 112181270A
- Authority
- CN
- China
- Prior art keywords
- touch
- image
- image segmentation
- attention weight
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003709 image segmentation Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 title claims abstract description 25
- 239000003086 colorant Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像分割标注方法、模型训练方法、装置及存储介质，所述方法包括：获取触摸轨迹；根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；根据所述触摸次数计算所述触摸点的注意力权重；根据所述触摸点和所述注意力权重标注所述图像。本发明提出一种图像分割标注方法，该方法读取触摸轨迹，并统计每个触摸点的触摸次数，通过触摸点的触摸次数计算触摸点的注意力权重，在最后的图像标注中加入标注点的注意力权重信息。通过触摸输入与注意力权重，提高了图片分割标注的效率。
Description
技术领域
本发明涉及图像标注技术领域，尤其是涉及一种图像分割标注方法、模型训练方法、装置及存储介质。
背景技术
随着深度学习方法的井喷式发展，越来越多的计算机视觉任务通过深度学习方法达到了极佳的效果，进而推动了人脸识别、自动驾驶、场景理解和目标检测等应用的落地，其中图像分割任务包含语义分割、实例分割和全景分割，这些都是计算机视觉中的基础任务，图像分割任务是把图像中不同类别的物体在像素级分割开，大量高级功能都需要在底层实现图像分割，然后再对分割结果做后续处理。目前应用于深度学习的图像分割方法都需要经过数据采集、数据标签标注、神经网络使用标注数据训练深度学习模型、应用训练后的深度学习模型对其他图像进行分割等几个阶段。数据标签标注是其中最耗费财力的部分，故各大人工智能公司都推出了自己的图像分割标注工具。不过这些标注工具的交互性不够强，会导致增加训练标准人员的成本。
现有的人工标注方法都使用鼠标和电脑来标注标签，这样的标注方法需要对标注人员进行专业培训，且标注效率较低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明提出一种图像分割标注方法，提高了图片分割标注的效率。
根据本发明的第一方面实施例的一种图像分割标注方法，包括：
获取触摸轨迹；
根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
根据所述触摸次数计算所述触摸点的注意力权重；
根据所述触摸点和所述注意力权重标注所述图像。
根据本发明实施例的一种图像分割标注方法，至少具有如下有益效果：该方法读取触摸轨迹，并统计每个触摸点的触摸次数，通过触摸点的触摸次数计算触摸点的注意力权重，在最后的图像标注中加入标注点的注意力权重信息。通过触摸输入和注意力权重，提高了图片分割标注的效率。
根据本发明的一些实施例，所述根据所述触摸次数计算所述触摸点的注意力权重步骤之前，还包括：
对所述触摸轨迹进行边缘优化。
根据本发明的一些实施例，所述触摸轨迹包括触摸颜色，所述触摸颜色对应标注对象的类别。
根据本发明的一些实施例，所述图像分割标注方法还包括：
根据所述触摸轨迹生成掩膜；
将所述掩膜与所述图像进行合成，生成掩膜图像。
根据本发明的一些实施例，所述掩膜的透明度与所述注意力权重成反比。
根据本发明的一些实施例，所述根据所述触摸次数计算所述触摸点的注意力权重，包括：
获取最大触摸次数，所述最大触摸次数为所有所述触摸点对应的所述触摸次数的最大值；
根据所述触摸次数和所述最大触摸次数计算注意力权重。
根据本发明的第二方面实施例的一种模型训练方法，包括：
通过所述的图像分割标注方法获取标注图像；
根据所述标注图像的标注区域的注意力权重，计算所述标注区域的交叉熵损失；
根据所述交叉熵损失，利用梯度下降法训练所述模型。
根据本发明实施例的一种模型训练方法，至少具有如下有益效果：将注意力权重引入到模型交叉熵损失的运算中，提供了额外的注意力信息，提升了模型的训练效果。
根据本发明的第三方面实施例的一种图像分割标注装置，包括：
获取模块，用于获取触摸轨迹；
触摸模块，用于根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
权重模块，用于根据所述触摸次数计算所述触摸点的注意力权重；
标注模块，用于根据所述触摸点和所述注意力权重标注所述图像。
根据本发明实施例的一种图像分割标注装置，至少具有如下有益效果：通过读取触摸轨迹，并统计每个触摸点的触摸次数，通过触摸点的触摸次数计算触摸点的注意力权重，在最后的图像标注中加入标注点的注意力权重信息。通过触摸输入和注意力权重，提高了图片分割标注的效率。
根据本发明的第四方面实施例的一种图像分割标注装置，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的图像分割标注方法。
根据本发明实施例的一种图像分割标注装置，至少具有如下有益效果：通过读取触摸轨迹，并统计每个触摸点的触摸次数，通过触摸点的触摸次数计算触摸点的注意力权重，在最后的图像标注中加入标注点的注意力权重信息。通过触摸输入和注意力权重，提高了图片分割标注的效率。
根据本发明的第五方面实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的图像分割标注方法。
根据本发明实施例的一种计算机可读存储介质，至少具有如下有益效果：通过读取触摸轨迹，并统计每个触摸点的触摸次数，通过触摸点的触摸次数计算触摸点的注意力权重，在最后的图像标注中加入标注点的注意力权重信息。通过触摸输入和注意力权重，提高了图片分割标注的效率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一种图像分割标注方法的第一流程图；
图2为本发明实施例一种图像分割标注方法的第二流程图。
具体实施方式
本发明的实施例提供了一种图像分割标注方法，参照图1，包括：
S100、获取触摸轨迹；
S200、根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
S300、根据所述触摸次数计算所述触摸点的注意力权重；
S400、根据所述触摸点和所述注意力权重标注所述图像。
具体地，本实施例提供了一套精准、智能、可适用于弱监督的图像分割标注系统，主要应用于计算机视觉中对图像分割任务中掩膜标签的标注，其优势是可以应用于弱监督学习场景，具有高准确率和强人机交互性，且操作简单。通过摒弃传统使用鼠标在计算机上标注的方法，改用平板电脑作为标注工具：首先用户在软件中设定图片输入目录和输出目录；然后在软件中设定标注的类别及对应的颜色；软件会自动按照输入目录的顺序加载欲标注图片；用户选择合适的标注尺寸；用户使用手指触摸的方式选择不同类别对图片进行涂抹标注，涂抹的区域为标注的掩膜标签；标注结束后掩膜标签会自动存储。
基于弱监督图片分割提供更直观和强交互性的标注方式。可以直接使用手指在终端上进行涂抹标注，这样的做法更体现了人机交互的思想，使标注人员无需专业培训就可以完成标注任务。弱监督涂抹标注因为标注简单，相比全监督精细标注提高了标注速度。涂抹标注中多次涂抹覆盖的区域也会以注意力权重的方式被记录，可以通过该注意力区域提供新的监督信息。
标注流程分为两个阶段，分别是设置阶段和标注阶段。
在设置阶段，首先需要设置数据集文件夹，数据集文件夹的设置是为了提供输入输出目录。可以自动从输入目录中读取图片，并自动将标注输出到输出目录中，这个功能的实现保障了标注的流程自动化。使用标准的JAVA文件流库加载文件夹内所有文件名，并使用了哈希表将文件名存储到内存中，同时将哈希表导出到外部文件中，用以记录已完成的标注情况。
设置标注类别和颜色进行配对，可以直观的使用颜色表示图片中物体的不同类别。本实施例提供60种在数据集标注中常用的颜色供用户选择，并集成JAVA标准库中的所有色调，构建了调色表盘用于自定义调色。本实施例还提供了当前主流图像分割数据集Pascal VOC，CityScape等的标注颜色方案，这个能够帮助用户快速构建标注系统。同时使用哈希表对配对进行存储，将哈希表导出到外部文件中，记录颜色和类别配对的设置情况。
在主界面阶段，用户持续完成标注工作，程序自动加载数据集图片，标注结束后点击加载下一张图片，整个标注工作是一个闭环流程，以满足持续和大数据量的标注工作。
在标注阶段，首先加载任意类型图像并转换为位图的格式，并将位图绘制在预定义的画布上。然后使用安卓的touch事件反馈机制采集用户的触摸轨迹，并对画布进行叠加掩膜进行绘制，将绘制结果直接以色彩返回给用户。
在标注界面提供了移动工具栏，可以选择触摸轨迹大小和触摸类别/颜色。工具栏使用线性布局布置在画布下方，易于直接使用。在触摸之前可以根据实际标注物体的特点进行不同的设置。
使用手指涂抹的部分标注替代使用鼠标的精细标注，只需要尽量用手将标注涂抹到目标物体内部。因为使用平板电脑进行直接手指涂抹的方法提供了极佳的交互性，可以在相同的时间内多次进行涂抹进行标注，获得了更大的标注范围和额外的注意力信息，使物体内部的像素级标注会更多。
用户通过涂抹进行图像分割标注，在涂抹过程中会产生触摸轨迹，根据触摸轨迹可以统计得到触摸点和触摸次数；通过触摸次数可以推测用户在标注过程中给予触摸点的注意力，计算得到注意力权重，将注意力权重作为一个标注信息存储到标注图像中。相较于传统的边缘标注方法，涂抹标注的方法交互性更强，只需直接使用手指涂抹进行标注，更符合人机交互理念，进而提升了标注速度；记录用户标注的过程重复涂抹的区域，提供额外的注意力信息，从而提高了涂抹标注的准确性。
触摸轨迹为用户涂抹标注图像产生的屏幕触摸轨迹，通过获取触摸轨迹可以得到用户的涂抹标注信息；触摸点为触摸轨迹上的像素点，触摸次数为触摸轨迹经过触摸点的次数。
注意力权重用于衡量图像标注区域的重要程度，注意力权重越高，代表图像标注区域的重要程度越高，即图像标注区域对应的触摸点的重要程度越高。
通过在标注图像中加入注意力去按照那个信息，相当于一张涂抹标注图像中包含若干张普通标注图像的标注信息，提高了涂抹标注的标注精度。
在本发明的一些具体实施例中，所述根据所述触摸次数计算所述触摸点的注意力权重步骤之前，还包括：
对所述触摸轨迹进行边缘优化。
具体地，对触摸轨迹进行边缘优化可以提高标注图像的准确性，边缘优化可以使用开运算或闭运算，也可以采用PhotoEditor库在画布上优化触摸轨迹。
开运算为先腐蚀后膨胀，开运算能平滑较大物体的边界的同时并不明显改变其面积。闭运算为先膨胀后腐蚀，闭运算能排除小型孔洞。
PhotoEditor库是一个照片编辑器库，通过PhotoEditor库中的边缘优化函数可以对触摸轨迹进行边缘优化。
在本发明的一些具体实施例中，所述触摸轨迹包括触摸颜色，所述触摸颜色对应标注对象的类别。
具体地，通过不同的触摸颜色来匹配不同的标注对象类别，使得一张图中可以容纳多个对象类别的标注。
触摸颜色即标注颜色，使用不同的标注颜色对不同的标注对象进行标注。
除了触摸颜色，触摸轨迹还包括轨迹宽度，通过调整轨迹宽度可以进行更粗糙或者更精细的标注。
在本发明的一些具体实施例中，所述图像分割标注方法还包括：
根据所述触摸轨迹生成掩膜；
将所述掩膜与所述图像进行合成，生成掩膜图像。
具体地，将触摸轨迹可视化，可以实时展示标注情况。掩膜覆盖在图像上，用于突出显示标注区域，将掩膜和图像进行合成，可以得到掩膜图像，即用于展示的标注图像。掩膜提供了弱监督级别的像素标注。
通过接收的触摸事件触发画布编辑事件，对画布实时修改涂抹掩膜的透明度，并实时通过画布返回给用户。不同程度的重叠次数会以注意力权重的方式单独存储到文件夹。
在本发明的一些具体实施例中，所述掩膜的透明度与所述注意力权重成反比。
具体地，通过掩膜的透明度来展示标注区域的涂抹次数，可以更加直观的展现标注图像。由于涂抹次数和注意力权重成正比，掩膜的透明度与注意力权重成反比，因此掩膜的透明度越低说明标注区域的涂抹次数越多，掩膜的透明度越高说明标注区域的涂抹次数越少。
可以设定10个透明度等级，初始透明度为50％，每次像素点被反复涂抹，掩膜的透明度会减少5％，从而提供直观的注意力表现。
在本发明的一些具体实施例中，所述根据所述触摸次数计算所述触摸点的注意力权重，包括：
获取最大触摸次数，所述最大触摸次数为所有所述触摸点对应的所述触摸次数的最大值；
根据所述触摸次数和所述最大触摸次数计算注意力权重。
具体地，注意力权重的计算通过触摸次数除以最大触摸次数得到，注意力权重的计算公式为：
注意力权重＝触摸次数*10/最大触摸次数
通过让重叠更多的地方获得更高的权重，进而对神经网络的训练产生正方向的指导，降低重叠较少区域的权重，减少错误标注带来给神经网络带来负面影响。
本发明的实施例还提供了一种模型训练方法，包括：
通过所述的图像分割标注方法获取标注图像；
根据所述标注图像的标注区域的注意力权重，计算所述标注区域的交叉熵损失；
根据所述交叉熵损失，利用梯度下降法训练所述模型。
具体地，在得到带有注意力权重的标注图像后，需要将其应用于模型训练中，参照图2，计算多任务损失函数，并将多任务损失函数反向传播到神经网络，使用随机梯度下降训练神经网络。得到的标注可适用于弱监督图像分割学习，通过快速的简单标注对部分像素点赋予标注，并通过密集条件随机场和注意力信息加强训练过程。在传统的全监督图像分割训练方法中，训练图像中每一个像素都有对应的类别标注，每一个像素通过神经网络之后都会得到一个输出，整幅图像逐像素比较其交叉熵，并将整幅图每个像素点的交叉熵损失平均值作为最终的损失函数。本实施例只对涂抹标注的区域进行监督训练，并且导入注意力权重，用于对不同注意力区域的标注信息进行加权。通常认为标注人员反复涂抹的地方对于更有帮助于分类，而少量涂抹的区域可能存在误标记的情况。
神经网络训练可以采用多任务方式进行。神经网络选择图像分割领域的deeplabV3+网络架构，首先训练图像通过神经网络进行预测输出，输出为每个像素点属于不同类别的置信度，然后和涂抹标注计算交叉熵损失，非标注区域不计算交叉熵损失。
多任务损失函数的计算公式为：
Totalloss＝CEloss×M+λ×CRFloss
其中，CEloss是训练数据集中整张图片的像素点与标注数据集中的像素点进行交叉熵运算之后的相似度张量，M是注意力权重，CEloss×M是对图片中不同的预测加权。多任务的另一个损失函数是CRFioss，使用密集条件随机场对训练图像及输出预测进行无监督的约束，约束使图像中临近的像素点趋向于预测为相同的类别，用于对分割边界做细粒度的划分；λ是多任务学习中的平衡系数。
多任务损失函数的具体公式为：
其中，i是图像中像素点的索引，yi是像素点i的预测置信度，是长度为类别数的向量，y′i是其转置向量；li是像素点i的标注，是长度为类别数的独热码向量；ωi是注意力权重，为0-1的常数；λ是多任务学习中的平衡系数；w是密集条件随机场的松弛函数。
本发明的实施例还提供了一种图像分割标注装置，包括：
获取模块，用于获取触摸轨迹；
触摸模块，用于根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
权重模块，用于根据所述触摸次数计算所述触摸点的注意力权重；
标注模块，用于根据所述触摸点和所述注意力权重标注所述图像。
具体地，方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
装置中所包含的层、模块、单元和/或平台等可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，装置中所包含的层、模块、单元和/或平台所对应执行的数据处理流程，其可按任何合适的顺序来执行，除非本文另外指示或以其他方式明显地与上下文矛盾。本发明实施例系统中所包含的层、模块、单元和/或平台所对应执行的数据处理流程可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。
本发明的实施例还提供了一种图像分割标注装置，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的图像分割标注方法。
具体地，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的图像分割标注方法。
具体地，存储介质中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行上述方法实施例中任一个技术方案所述的一种交互信息处理方法步骤。对于所述存储介质，其可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。可见，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
存储介质可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明系统中所包含的层、模块、单元和/或平台所对应执行的数据处理流程可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种图像分割标注方法，其特征在于，包括：
获取触摸轨迹；
根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
根据所述触摸次数计算所述触摸点的注意力权重；
根据所述触摸点和所述注意力权重标注所述图像。
2.根据权利要求1所述的图像分割标注方法，其特征在于，所述根据所述触摸次数计算所述触摸点的注意力权重步骤之前，还包括：
对所述触摸轨迹进行边缘优化。
3.根据权利要求1所述的图像分割标注方法，其特征在于，所述触摸轨迹包括触摸颜色，所述触摸颜色对应标注对象的类别。
4.根据权利要求1所述的图像分割标注方法，其特征在于，所述图像分割标注方法还包括：
根据所述触摸轨迹生成掩膜；
将所述掩膜与所述图像进行合成，生成掩膜图像。
5.根据权利要求4所述的图像分割标注方法，其特征在于，所述掩膜的透明度与所述注意力权重成反比。
6.根据权利要求1所述的图像分割标注方法，其特征在于，所述根据所述触摸次数计算所述触摸点的注意力权重，包括：
获取最大触摸次数，所述最大触摸次数为所有所述触摸点对应的所述触摸次数的最大值；
根据所述触摸次数和所述最大触摸次数计算注意力权重。
7.一种模型训练方法，其特征在于，包括：
通过如权利要求1至6任一项所述的图像分割标注方法获取标注图像；根据所述标注图像的标注区域的注意力权重，计算所述标注区域的交叉熵损失；
根据所述交叉熵损失，利用梯度下降法训练所述模型。
8.一种图像分割标注装置，其特征在于，包括：
获取模块，用于获取触摸轨迹；
触摸模块，用于根据所述触摸轨迹，获取触摸点和所述触摸点对应的触摸次数；
权重模块，用于根据所述触摸次数计算所述触摸点的注意力权重；
标注模块，用于根据所述触摸点和所述注意力权重标注所述图像。
9.一种图像分割标注装置，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6任一项所述的图像分割标注方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的图像分割标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011046531.6A CN112181270A (zh) | 2020-09-29 | 2020-09-29 | 图像分割标注方法、模型训练方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011046531.6A CN112181270A (zh) | 2020-09-29 | 2020-09-29 | 图像分割标注方法、模型训练方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112181270A true CN112181270A (zh) | 2021-01-05 |
Family
ID=73945626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011046531.6A Pending CN112181270A (zh) | 2020-09-29 | 2020-09-29 | 图像分割标注方法、模型训练方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112181270A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464742A (zh) * | 2021-01-29 | 2021-03-09 | 福建农林大学 | 赤潮图像自动识别的方法及装置 |
| CN112800265A (zh) * | 2021-02-01 | 2021-05-14 | 中国科学院空天信息创新研究院 | 一种基于无监督或弱监督方式的图像分割数据标注方法及系统 |
| CN114972746A (zh) * | 2022-04-13 | 2022-08-30 | 湖南大学 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593834A (zh) * | 2013-12-03 | 2014-02-19 | 厦门美图网科技有限公司 | 一种智能添加景深的图像增强方法 |
| US20150138225A1 (en) * | 2012-03-14 | 2015-05-21 | Omron Corporation | Method for displaying area extraction result and image processing apparatus |
| CN104732475A (zh) * | 2015-03-18 | 2015-06-24 | 厦门美图之家科技有限公司 | 一种基于手动涂抹的图像融合方法和系统 |
| CN104765601A (zh) * | 2015-03-18 | 2015-07-08 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN111325200A (zh) * | 2018-12-17 | 2020-06-23 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及计算机可读存储介质 |
| CN111710018A (zh) * | 2020-06-29 | 2020-09-25 | 广东小天才科技有限公司 | 一种手动涂抹杂物的方法、装置、电子设备和存储介质 |
-
2020
- 2020-09-29 CN CN202011046531.6A patent/CN112181270A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150138225A1 (en) * | 2012-03-14 | 2015-05-21 | Omron Corporation | Method for displaying area extraction result and image processing apparatus |
| CN103593834A (zh) * | 2013-12-03 | 2014-02-19 | 厦门美图网科技有限公司 | 一种智能添加景深的图像增强方法 |
| CN104732475A (zh) * | 2015-03-18 | 2015-06-24 | 厦门美图之家科技有限公司 | 一种基于手动涂抹的图像融合方法和系统 |
| CN104765601A (zh) * | 2015-03-18 | 2015-07-08 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN111325200A (zh) * | 2018-12-17 | 2020-06-23 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及计算机可读存储介质 |
| CN111710018A (zh) * | 2020-06-29 | 2020-09-25 | 广东小天才科技有限公司 | 一种手动涂抹杂物的方法、装置、电子设备和存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464742A (zh) * | 2021-01-29 | 2021-03-09 | 福建农林大学 | 赤潮图像自动识别的方法及装置 |
| CN112464742B (zh) * | 2021-01-29 | 2024-05-24 | 福建农林大学 | 赤潮图像自动识别的方法及装置 |
| CN112800265A (zh) * | 2021-02-01 | 2021-05-14 | 中国科学院空天信息创新研究院 | 一种基于无监督或弱监督方式的图像分割数据标注方法及系统 |
| CN112800265B (zh) * | 2021-02-01 | 2022-03-08 | 中国科学院空天信息创新研究院 | 一种基于无监督或弱监督方式的图像分割数据标注方法及系统 |
| CN114972746A (zh) * | 2022-04-13 | 2022-08-30 | 湖南大学 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
| CN114972746B (zh) * | 2022-04-13 | 2024-04-30 | 湖南大学 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112181270A (zh) | 图像分割标注方法、模型训练方法、装置及存储介质 | |
| Gong et al. | An object recognition, tracking, and contextual reasoning-based video interpretation method for rapid productivity analysis of construction operations | |
| Laganière | OpenCV 3 Computer Vision Application Programming Cookbook | |
| WO2021136365A1 (zh) | 基于机器学习模型的应用开发方法、装置及电子设备 | |
| US10489882B2 (en) | Thumbnail zoom | |
| JP4294348B2 (ja) | 表示システム | |
| CN112529026A (zh) | 提供ai模型的方法、ai平台、计算设备及存储介质 | |
| CN110298238A (zh) | 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质 | |
| JP2021125007A (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
| KR102485303B1 (ko) | 데이터 레이블링 장치 및 방법 | |
| US20230137533A1 (en) | Data labeling method and apparatus, computing device, and storage medium | |
| CN112990298B (zh) | 关键点检测模型训练方法、关键点检测方法及装置 | |
| Rapson et al. | Reducing the pain: A novel tool for efficient ground-truth labelling in images | |
| Chen et al. | Dive deeper into box for object detection | |
| Thakkar | Beginning machine learning in ios: CoreML framework | |
| Huang et al. | Layered controllable video generation | |
| CN114565803A (zh) | 用于提取难样本的方法、装置及机械设备 | |
| Ray et al. | Argos: A toolkit for tracking multiple animals in complex visual environments | |
| CN110457155B (zh) | 一种样本类别标签的修正方法、装置及电子设备 | |
| Escrivá et al. | OpenCV 4 Computer Vision Application Programming Cookbook: Build complex computer vision applications with OpenCV and C++ | |
| Kar | Mastering Computer Vision with TensorFlow 2. x: Build advanced computer vision applications using machine learning and deep learning techniques | |
| KR20210103835A (ko) | 인공지능 기반의 유행 예측 방법 및 장치 | |
| Eckstein et al. | The Halcon vision system: an example for flexible software architecture | |
| CN115496780A (zh) | 一种鱼类识别计数、测速预警和进出数量统计系统 | |
| Lopez-Villa et al. | A novel tool for ground truth data generation for video-based object classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |