CN110717060A - 图像mask的过滤方法、装置及存储介质 - Google Patents
图像mask的过滤方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110717060A CN110717060A CN201910832168.1A CN201910832168A CN110717060A CN 110717060 A CN110717060 A CN 110717060A CN 201910832168 A CN201910832168 A CN 201910832168A CN 110717060 A CN110717060 A CN 110717060A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- sample image
- data
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001914 filtration Methods 0.000 title claims abstract description 27
- 230000003321 amplification Effects 0.000 claims abstract description 71
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 76
- 230000008859 change Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 7
- 238000013434 data augmentation Methods 0.000 claims 2
- 238000002372 labelling Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，本发明提供一种图像mask的过滤方法、装置及计算机可读存储介质，其中的方法包括：获取样本中已标注数据；对已标注数据进行数据扩增处理，获取第一扩增数据；将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型；利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask；利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数；当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。本发明确保生成图像标注的可靠性和一致性，为mask标注提供新方法。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像mask的过滤方法、装置及计算机可读存储介质。
背景技术
在图像处理技术中，mask(掩膜，也称作“掩模”)是指对二维图像中的需要进行处理的部分的提取和标注，近年来，随着图像处理技术和深度学习技术的迅速发展，图像自动标注越来越受到标注人员的青睐，传统的图像标注方式，由标注人员根据个人经验和一些已有规则自行判断物体在二维图像中的位置，利用已有的标注工具，在二维图像上通过拖动鼠标，用边界框标出物体的轮廓，对二维图像中的物体进行标注，其缺点主要是标注速度慢，工作效率低。
目前在图像数据自动标注的研究上，比较流行的方法还有多视角协调训练、主动样本挖掘框架等，这些方法通常是从无标签数据中选择分类器或检测器认为置信度可能高的结果作为其标注信息并加入训练集，反复迭代，最终完成所有样本的标注。其缺点主要是仅通过置信度这一条件去区分标注信息的好与坏，不能很大程度上杜绝置信度高的错误标注出现,其自动生成的标注信息的可靠性、准确性及一致性无法保证，并且容易使得模型的迭代训练过程出现错误的不断累加，导致模型产生的结果不可靠。
发明内容
本发明提供一种图像mask的过滤方法、装置及计算机可读存储介质，其主要目的在于通过将样本中已标注的数据以及已标注数据扩增后得到的扩增数据一同用于模型训练，获得生成mask的模型，再利用该生成mask的模型对样本中未标注的数据以及未标注数据扩增后得到的数据进行预测处理，分别得到未标注数据对应的未标注图像的mask和未标注数据扩增后得到的数据对应的未标注图像的mask，通过mask的一致性指数公式计算出上述两个图像的mask的一致性指数，计算出的一致性指数与预设的指数阈值进行比对，符合指数阈值的未标注数据对应的未标注图像的mask自动生成，整个过程通过对比同一数据的预测结果来确保生成标注的可靠性和一致性，节约人工标注的时间及减少人工标注的成本，为mask标注提供新方法；相对现有的方法，本方法所生产的标注具有更高的可靠性和一致性，有利于提升模型收敛的速度及性能。
为实现上述目的，本发明提供一种图像mask的过滤方法，该方法包括：
获取样本中已标注数据；
对所述已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；
利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
优选地，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
优选地，所述mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
优选地，所述mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。
优选地，在输出所述第三样本图像的mask后，图像mask的过滤方法还包括：
判断所述样本的mask是否全部输出，如果没有全部输出，则，
将所述第三样本图像的mask与所述已标注数据一同作为样本新的已标注数据；
对所述新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将所述第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；
利用所述第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，所述第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，所述第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当所述第四样本图像的mask和所述第五样本图像的mask的一致性指数在所述预设的指数阈值范围内时，输出所述第五样本图像的mask。
优选地，所述第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器和处理器，所述存储器中包括图像mask的过滤程序，所述图像mask的过滤程序被所述处理器执行时实现如下步骤：
获取样本中已标注数据；
对所述已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；
利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
优选地，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
优选地，所述mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时，实现如上所述的图像mask的过滤方法中的任意步骤。
本发明提出的图像mask的过滤方法、装置及计算机可读存储介质，通过对已标注数据进行数据扩增处理，获取第一扩增数据；将已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型；再利用第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未扩增的未标注数据对应的第三样本图像进行预测处理，利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数，通过对比同一数据的预测结果来确保生成标注的可靠性和一致性；将一致性指数与预设的指数阈值进行比对，输出符合指数阈值的第三样本图像的mask，节约人工标注的时间及减少人工标注的成本，为mask标注提供新方法；相对现有的方法，本方法所生产的标注具有更高的可靠性和一致性，有利于提升模型收敛的速度及性能。
附图说明
图1为本发明图像mask的过滤方法较佳实施例的应用环境示意图；
图2为图1中图像mask的过滤程序较佳实施例的模块示意图；
图3为本发明图像mask的过滤方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种图像mask的过滤方法，应用于一种电子装置1。参照图1所示，为本发明图像mask的过滤方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。该至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器11，例如电子装置1上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。
在本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的图像mask的过滤程序10、第一扩增数据库、扩增的未标注数据库等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图像mask的过滤程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现上述这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括摄像装置，摄像装置既可以是电子装置1的一部分，也可以独立于电子装置1。在一些实施例中，电子装置1为智能手机、平板电脑、便携计算机等具有摄像头的终端设备，则摄像装置即为电子装置1的摄像头。在其他实施例中，电子装置1可以为服务器，摄像装置独立于该电子装置1、与该电子装置1通过有线或者无线网络连接。例如，该摄像装置安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标进行实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。该触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及图像mask的过滤程序10；处理器12执行存储器11中存储的图像mask的过滤程序10时实现如下步骤：
获取样本中已标注数据；
对已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型；
利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，第二样本图像为与预先扩增的未标注数据对应的图像，第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数；
当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
优选地，为了获得更大的已标注数据的扩增数据，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
优选地，为了更好地确保生成标注的可靠性和一致性，mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
优选地，所述mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。
优选地，为了进一步节约及减少人工标注的时间和成本，在输出第三样本图像的mask后，处理器12执行存储器11中存储的图像mask的过滤程序10时还实现如下步骤：
判断样本的mask是否全部输出，如果没有全部输出，则，
将第三样本图像的mask与已标注数据一同作为样本新的已标注数据；
对新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将第二扩增数据和新的已标注数据用于模型训练，得到第二生成mask的模型；
利用第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当第四样本图像的mask和第五样本图像的mask的一致性指数在预设的指数阈值范围内时，输出第五样本图像的mask。
优选地，为了获得更大的新的标注数据的扩增数据，第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中图像mask的过滤程序10较佳实施例的程序模块图。所述图像mask的过滤程序10可以被分割为：
获取模块110、数据扩增模块120、模型训练模块130、预测模块140、一致性指数计算模块150、输出mask模块160。
所述模块110-150所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块110用于获取样本中已标注数据。
数据扩增模块120用于对已标注数据进行数据扩增处理，获取第一扩增数据。
模型训练模块130用于对已标注数据和第一扩增数据进行模型训练，得到第一生成mask的模型。
预测模块140用于利用第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未标注数据对应的第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask。
一致性指数计算模块150用于计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
输出mask模块160用于当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
此外，本发明还提供一种图像mask的过滤方法。参照图3所示，为本发明图像mask的过滤方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，图像mask的过滤方法包括：步骤S10-步骤S50。
步骤S10，获取样本中已标注数据。
具体地，样本中已标注数据可以是通过人工完成的标注数据，为了减少人工的工作量，可以对样本中的少量数据进行标注，当然，也可以采用自动标注工具等方式对样本中的小部分数据进行标注，但是，由于该已标注的数据用于作为后续训练第一生成mask的模型数据集中的一部分，对后续样本标注的准确性有较大的影响，所以，优选由人工进行少量数据标注，标注好之后，将已标注数据进行储存，由处理器从样本中获取该已标注数据。
步骤S20，对已标注数据进行数据扩增处理，获取第一扩增数据。
处理器获取到样本中已标注数据后，对该已标注数据进行数据扩增处理，从而获取更大的已标注数据，即第一扩增数据，处理器在存储器内创建第一扩增数据库，将获得的第一扩增数据储存在第一扩增数据库内。
具体地，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
其中，多角度旋转是指随机旋转图像的一定角度；改变图像内容的朝向；也就是，将已标注的数据对应的图像进行多角度的旋转，从而获取不同角度下的扩增图像，每个图像均可以用图像数据来进行表示，通过多角度旋转可以获取不同角度下的扩增图像，通过获取的不同角度下的扩增图像获取每个角度图像所对应的图像数据。
翻转变换是指沿着水平或者垂直方向翻转图像；也就是将已标注的数据对应的图像沿着水平或者垂直方向翻转图像，从而获取翻转后的扩增图像，通过获取的翻转后的扩增图像获取每个翻转后的扩增图像所对应的图像数据。
缩放变换是指按照一定的比例放大或者缩小图像；也就是将已标注的数据对应的图像按照预先设定的比例放大或者缩小，从而获取放大或者缩小的扩增图像，通过获取的缩放后的扩增图像获取缩放后的扩增图像所对应的图像数据。
平移变换是指在图像平面上对图像以一定方式进行平移；可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置。也就是将已标注的数据对应的图像沿水平或竖直方向进行平移，获取图像内容位置改变的扩增图像，然后通过平移变换后的扩增图像获取与其相对应的平移变换后的扩增图像数据。
尺度变换是指对图像按照预先指定的尺度因子,进行放大或缩小；或者参照SIFT特征提取思想,利用预先指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度，通过上述的尺度变换方式对已标注的数据对应的图像进行尺度变换，获取尺度变换后的扩增图像，然后通过尺度变换后的扩增图像获取与其相对应的尺度变换后的扩增图像数据。
对比度变换是指在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，增加光照变化，通过上述的对比度变换方法对已标注的数据对应的图像进行对比度变换，获取对比度变换后的扩增图像，然后通过对比度变换后的扩增图像获取与其相对应的对比度变换后的扩增图像数据。
噪声扰动是指对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。通过噪声扰动的方式对已标注的数据对应的图像的每个像素RGB进行随机扰动，获取噪声扰动后的扩增图像，然后通过噪声扰动后的扩增图像获取与其相对应的噪声扰动后的扩增图像数据。
颜色变化是指对图像的颜色的改变，通过改变已标注的数据对应的图像的颜色，获取颜色变化后的扩增图像，然后通过颜色变化后的扩增图像获取与其相对应的颜色变化后的扩增图像数据。
通过上述所列举的方法对已标注数据进行数据扩增处理，可以选择上述方法中的一种，也可以选择上述方法中的几种，当然，也可以选择上述扩增图像数据方法之外的方法，只要能够达到扩增已标注数据的目的便可。
步骤S30，将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型。
具体地，处理器获取已标注数据以及由已标注数据扩增得到的第一扩增数据，将两个数据一同作为数据训练集，用于模型训练，通过模型训练得到第一生成mask的模型。其中，第一生成mask的模型可用于后续的对图像的预测处理中。
步骤S40，利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，第二样本图像为与预先扩增的未标注数据对应的图像，第三样本图像为与未扩增的未标注数据对应的图像。
处理器在获取样本中已标注数据的同时，也从样本中获取未标注的数据，并且对未标注的数据进行数据扩增处理，其中，对未标注的数据进行数据扩增处理与上述的对已标注数据扩增处理的方法相同，也可以选择多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
利用第一生成mask的模型对与预先扩增的未标注数据对应的第二样本图像进行预测处理，获取第二样本图像的mask；利用第一生成mask的模型对与未扩增的未标注数据对应的第三样本图像进行预测处理，获取第三样本图像的mask。
步骤S50，利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
处理器获取到第二样本图像的mask和第三样本图像的mask，利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
具体地，作为本发明的一个优选实施例，mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间，如果第二样本图像的mask和第三样本图像的mask完全一致，那么s就为1，s越大说明两个mask的一致性越高。
作为本发明的一个优选实施例，mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。J(A，B)(Jaccard距离)越大，两个mask的一致性越低。
步骤S60，当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
处理器将获取的一致性指数与预设的指数阈值进行比对，当第二样本图像的mask和第三样本图像的mask的一致性指数在预先设定的指数阈值的范围内时，输出第三样本图像的mask。
其中，指数阈值为预先根据采用的mask的一致性指数公式以及实际的具体要求来进行设定，可以设定一个阈值范围，以上述的Dice系数公式为例，如果采用的mask的一致性指数公式为Dice系数公式，那么可以根据对标注一致性的要求设定一致性的阈值在0.5～1之间，那么通过Dice系数公式计算出的s值为0.5～1之间的任一值时，处理器控制输出第三样本图像的mask自。
在对样本较大的图像数据进行标注时，可以通过将上述方法反复迭代后生成完所有的样本标注，作为本发明的一个优选方案，输出第三样本图像的mask后，图像mask的过滤的方法还包括：
判断样本的mask是否全部输出，如果没有全部输出，则，
将第三样本图像的mask与已标注数据一同作为样本新的已标注数据；
对新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；
利用第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当第四样本图像的mask和第五样本图像的mask的一致性指数在预设的指数阈值范围内时，输出第五样本图像的mask。
其中，第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时实现如下操作：
获取样本中已标注数据；
对已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型；
利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，第二样本图像为与预先扩增的未标注数据对应的图像，第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数；
当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
优选地，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
优选地，mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
优选地，mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。
优选地，在输出第三样本图像的mask后，所述图像mask的过滤程序被处理器执行时还实现如下操作：
判断样本的mask是否全部输出，如果没有全部输出，则，
将第三样本图像的mask与已标注数据一同作为样本新的已标注数据；
对新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；
利用第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当第四样本图像的mask和第五样本图像的mask的一致性指数在预设的指数阈值范围内时，输出第五样本图像的mask。
优选地，第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
本发明之计算机可读存储介质的具体实施方式与上述图像mask的过滤方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像mask的过滤方法，应用于电子装置，其特征在于，所述方法包括：
获取样本中已标注数据；
对所述已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；
利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
2.根据权利要求1所述的图像mask的过滤方法，其特征在于，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
3.根据权利要求1所述的图像mask的过滤方法，其特征在于，所述mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
4.根据权利要求1所述的图像mask的过滤方法，其特征在于，所述mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。
5.根据权利要求1所述的图像mask的过滤方法，其特征在于，在输出所述第三样本图像的mask后，图像mask的过滤方法还包括：
判断所述样本的mask是否全部输出，如果没有全部输出，则，
将所述第三样本图像的mask与所述已标注数据一同作为样本新的已标注数据；
对所述新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将所述第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；
利用所述第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，所述第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，所述第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当所述第四样本图像的mask和所述第五样本图像的mask的一致性指数在所述预设的指数阈值范围内时，输出所述第五样本图像的mask。
6.根据权利要求5所述的图像mask的过滤方法，其特征在于，所述第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
7.一种电子装置，其特征在于，该电子装置包括：存储器和处理器，所述存储器中包括统图像mask的过滤程序，所述图像mask的过滤程序被所述处理器执行时实现如下步骤：
获取样本中已标注数据；
对所述已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；
利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
8.根据权利要求7所述的电子装置，其特征在于，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
9.根据权利要求7所述的电子装置，其特征在于，所述mask的一致性指数公式为Dice系数公式，公式如下：
其中，中A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时，实现如权利要求1至6中任一项所述的图像mask的过滤方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910832168.1A CN110717060B (zh) | 2019-09-04 | 2019-09-04 | 图像mask的过滤方法、装置及存储介质 |
| PCT/CN2019/117811 WO2021042549A1 (zh) | 2019-09-04 | 2019-11-13 | 图像mask的过滤方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910832168.1A CN110717060B (zh) | 2019-09-04 | 2019-09-04 | 图像mask的过滤方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717060A true CN110717060A (zh) | 2020-01-21 |
| CN110717060B CN110717060B (zh) | 2023-08-18 |
Family
ID=69209652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910832168.1A Active CN110717060B (zh) | 2019-09-04 | 2019-09-04 | 图像mask的过滤方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110717060B (zh) |
| WO (1) | WO2021042549A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968028A (zh) * | 2020-08-14 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705691B (zh) * | 2021-08-30 | 2024-04-09 | 深圳平安智慧医健科技有限公司 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
| CN113887638B (zh) * | 2021-10-09 | 2024-08-06 | 上海识装信息科技有限公司 | 图像数据扩增方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| CN109035212A (zh) * | 2018-07-05 | 2018-12-18 | 清影医疗科技（深圳）有限公司 | 一种肺部ct影像特殊组织的标记方法 |
| CN109346159A (zh) * | 2018-11-13 | 2019-02-15 | 平安科技（深圳）有限公司 | 病例图像分类方法、装置、计算机设备及存储介质 |
| CN109740463A (zh) * | 2018-12-21 | 2019-05-10 | 沈阳建筑大学 | 一种车载环境下的目标检测方法 |
| CN109741346A (zh) * | 2018-12-30 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| CN109754403A (zh) * | 2018-11-29 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN109902672A (zh) * | 2019-01-17 | 2019-06-18 | 平安科技（深圳）有限公司 | 图像标注方法及装置、存储介质、计算机设备 |
| CN110070552A (zh) * | 2019-05-07 | 2019-07-30 | 西南石油大学 | 一种基于语义分割的岩石图像孔隙类型识别方法 |
| US20190244362A1 (en) * | 2018-02-06 | 2019-08-08 | Google Llc | Differentiable Jaccard Loss Approximation for Training an Artificial Neural Network |
| CN110110661A (zh) * | 2019-05-07 | 2019-08-09 | 西南石油大学 | 一种基于unet分割的岩石图像孔隙类型识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101959000B (zh) * | 2009-12-31 | 2013-06-05 | 四川虹欧显示器件有限公司 | 图像数据处理的方法和装置 |
| CN109461167B (zh) * | 2018-11-02 | 2020-07-21 | Oppo广东移动通信有限公司 | 图像处理模型的训练方法、抠图方法、装置、介质及终端 |
| CN110008997B (zh) * | 2019-03-06 | 2023-11-24 | 平安科技（深圳）有限公司 | 图像纹理相似度识别方法、装置及计算机可读存储介质 |
-
2019
- 2019-09-04 CN CN201910832168.1A patent/CN110717060B/zh active Active
- 2019-11-13 WO PCT/CN2019/117811 patent/WO2021042549A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190244362A1 (en) * | 2018-02-06 | 2019-08-08 | Google Llc | Differentiable Jaccard Loss Approximation for Training an Artificial Neural Network |
| CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| CN109035212A (zh) * | 2018-07-05 | 2018-12-18 | 清影医疗科技（深圳）有限公司 | 一种肺部ct影像特殊组织的标记方法 |
| CN109346159A (zh) * | 2018-11-13 | 2019-02-15 | 平安科技（深圳）有限公司 | 病例图像分类方法、装置、计算机设备及存储介质 |
| CN109754403A (zh) * | 2018-11-29 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN109740463A (zh) * | 2018-12-21 | 2019-05-10 | 沈阳建筑大学 | 一种车载环境下的目标检测方法 |
| CN109741346A (zh) * | 2018-12-30 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| CN109902672A (zh) * | 2019-01-17 | 2019-06-18 | 平安科技（深圳）有限公司 | 图像标注方法及装置、存储介质、计算机设备 |
| CN110070552A (zh) * | 2019-05-07 | 2019-07-30 | 西南石油大学 | 一种基于语义分割的岩石图像孔隙类型识别方法 |
| CN110110661A (zh) * | 2019-05-07 | 2019-08-09 | 西南石油大学 | 一种基于unet分割的岩石图像孔隙类型识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| FENGKAI WAN: "Deep Learning Method used in Skin Lesions Segmentation and Classification", 《SEMANTIC SCHOLAR》, pages 3 - 34 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968028A (zh) * | 2020-08-14 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021042549A1 (zh) | 2021-03-11 |
| CN110717060B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019169772A1 (zh) | 图片处理方法、电子装置及存储介质 | |
| CN111476227B (zh) | 基于ocr的目标字段识别方法、装置及存储介质 | |
| CN107977633B (zh) | 人脸图像的年龄识别方法、装置及存储介质 | |
| CN110348294B (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| US9785627B2 (en) | Automated form fill-in via form retrieval | |
| US9602728B2 (en) | Image capturing parameter adjustment in preview mode | |
| US20160098611A1 (en) | Text entity recognition | |
| CN111325104B (zh) | 文本识别方法、装置及存储介质 | |
| WO2021012382A1 (zh) | 配置聊天机器人的方法、装置、计算机设备和存储介质 | |
| CN111259846B (zh) | 文本定位方法和系统以及文本定位模型训练方法和系统 | |
| CN112884764B (zh) | 提取图像中地块的方法、装置、电子设备及存储介质 | |
| CN110008997B (zh) | 图像纹理相似度识别方法、装置及计算机可读存储介质 | |
| CN110717060B (zh) | 图像mask的过滤方法、装置及存储介质 | |
| CN111291753B (zh) | 基于图像的文本识别方法、装置及存储介质 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN111709414A (zh) | Ar设备及其文字识别方法、装置和计算机可读存储介质 | |
| CN111104813A (zh) | 二维码图像关键点检测方法、装置、电子设备及存储介质 | |
| US9524540B2 (en) | Techniques for automatically correcting groups of images | |
| WO2022105569A1 (zh) | 页面方向识别方法、装置、设备及计算机可读存储介质 | |
| WO2018184255A1 (zh) | 图像校正的方法和装置 | |
| CN116152166A (zh) | 基于特征相关性的缺陷检测方法及相关装置 | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| CN115035032A (zh) | 神经网络训练方法、相关方法、设备、终端及存储介质 | |
| CN110287988B (zh) | 数据增强方法、装置及计算机可读存储介质 | |
| CN110119681B (zh) | 一种文本行提取方法及装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |