CN112862789A - 基于机器学习的交互式图像分割方法 - Google Patents

基于机器学习的交互式图像分割方法 Download PDF

Info

Publication number
CN112862789A
CN112862789A CN202110186749.XA CN202110186749A CN112862789A CN 112862789 A CN112862789 A CN 112862789A CN 202110186749 A CN202110186749 A CN 202110186749A CN 112862789 A CN112862789 A CN 112862789A
Authority
CN
China
Prior art keywords
picture
training
segmentation
image segmentation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110186749.XA
Other languages
English (en)
Other versions
CN112862789B (zh
Inventor
韩越兴
杨珅
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110186749.XA priority Critical patent/CN112862789B/zh
Publication of CN112862789A publication Critical patent/CN112862789A/zh
Application granted granted Critical
Publication of CN112862789B publication Critical patent/CN112862789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器学习的交互式图像分割方法。本方法实现小样本环境下复杂图像的分割，首先是训练模块，通过定义输入样本的类别数，然后使用一到两张样本训练，反复提取样本各类别区域的部分放入机器学习模型中进行训练，针对错误分类的像素，人工干预赋予正确的标签，模型收集反馈信息并对结果修正，重复此过程直到结果基本正确，并生成该类型图像分割的模型；然后是分割模块，使用生成的分割模型对同类型的图片批量分割，如果分类错误可重新训练；此发明通过人机交互过程，引入了专家领域知识，使结果具有较高的可信度，可以解决小样本环境下复杂纹理图像分割问题，能够节省大量的时间成本和人力成本。

Description

基于机器学习的交互式图像分割方法
技术领域
本发明针对样本数量极少的复杂纹理图像数据，提出了一种基于机器学习的交互式图像分割方法。本发明可以应用在多个学科领域，如材料学、航空航天学、天文学、医学、微观结构学等中的图像处理，提高复杂图像分割速度，降低图像处理时间成本和经费成本，促进相应的学界和产界的进步和发展。
技术背景
图像分割是计算机视觉领域中的研究目标之一，具有重要的应用价值，同时也有一定的挑战性。图像分割是一种像素级别的分类技术，将图像中的每个像素进行分类，从而为进一步的分析提供基础。图像分割在各个领域已经被广泛使用，例如无人车自动驾驶，在不断变化的环境中感知，识别，规划和执行，高精度的图像分割可以提供有关道路的实时信息，从而及时辅助车辆作出决策；在人脸检测中，准确分割面部的各部位，能够估计性别、表情、年龄和种族，为进一步的面部分析提供基础；在医学图像处理中，准确分割病灶能够加快诊断速度，以及对未知病毒进行推测分析，推动医学的发展；在材料图像处理中，对于图像的微观结构定量分析能够揭示材料的宏观性能、微观结构和制备工艺三者关系，为材料快速开发打下了技术基础；在土壤检测中，帮助土地的卫星影像制图；在智慧农业中，精确农业机器人利用图像视觉技术提取不同区域图像的分割，提高农业效率和降低生产成本。
尽管目前的图像分割技术对很多图像都能很好的分割，但是，当图像中物体的纹理过于复杂的情况下，这些图像分割技术往往很难胜任，对于具有复杂纹理的图像进行分割是一项非常有挑战性的工作。具有复杂纹理的图像分割之所以很难实现，主要是由于这些图像过于模糊，纹理很难用数学进行描述，不同物体的纹理使得边界变得过于复杂，并且缺乏专家领域知识，在这些条件下，目前的计算机图像分割算法很难自动地对复杂纹理图像进行识别和分割。随着机器学习的发展，针对图像分割的方法也有了很大的发展，分割能力也迅速地提高，针对复杂纹理的图像分割技术的实现在理论和实践中有了可能。但是，机器学习训练分割模型需要一定量的图像样本，在某些领域，例如医学图像，材料图像，由于受制于环境等因素影响，可用于训练的样本极少，即小样本问题；且分割结果的效果及精度主要取决于预处理阶段的人工标注的效果和模型的泛化能力，标注需要耗费大量的时间和人力，结果也无法改变。
交互式的图像分割技术可以在领域专家的参与下，在分割的过程中就可以进行标注，有助于标注困难的情况下的机器学习和深度学习，因此得到了越来越多的人的关注。本发明在小样本环境下，提出新的算法，利用专家领域知识，对复杂纹理图像进行分割，训练好的模型可以对其它相类似的图片进行分割。
发明内容
本发明的目的在于针对已有技术的不足，提供一种基于机器学习的交互式图像分割方法，实现小样本环境下复杂图像的分割。通过定义输入样本的类别数，然后使用一到两张样本训练，反复提取样本各类别区域的部分放入机器学习模型中进行训练，针对错误分类的像素，人工干预赋予正确的标签，模型收集反馈信息并对结果修正，重复此过程直到结果基本正确，并生成该类型图像分割的模型，生成的分割模型可对同类型的其他图片批量分割。此发明通过人机交互过程，引入了专家领域知识，使结果具有较高的可信度，可以解决小样本环境下复杂纹理图像分割问题，能够节省大量的时间成本和人力成本。
为达到上述目的，本发明的构思是：
本发明根据图像特点，定义输入图像中不同区域的类别数，然后用人工方式在一张图像上提取各类别的部分像素，并计算提取的像素特征向量，机器学习根据特征向量进行训练并生成图像分割模型，根据此模型对样本的所有像素进行分类并将同类像素进行连接，生成分割结果，当一些像素被错误分类时，重点手动标注分类错误的像素，重点对这部分像素重新训练，再次生成的修正后的模型，重复此过程，生成最终的分类模型，可对同类型的其他图像进行批量分割。
根据上述发明构思，本发明采用下述技术方案：
一种基于机器学习的交互式图像分割方法，将软件界面分割为三个区域，分别是训练模块界面、分割模块界面和图像显示区域；所述训练模块界面包括以下内容：读入图片、邻域大小、特征提取、区域个数、区域标注、训练模型、对比原图；所述分割模块界面包括：读入单图、读入多图、图像分割、对比原图，此外包括按钮退出软件。
优选地，基于机器学习的交互式图像分割方法的所述训练模块界面，包括以下操作按钮：
(1)读入图片：打开并读入一张样本图片；
(2)邻域大小：设定像素点的特征范围；
(3)特征提取：提取图片中每个像素点的特征并保存；
(4)区域个数：输入图片中不同区域或类别的个数；
(5)区域标注：按下此钮后，可在图片中画线来标注不同区域，用不同的颜色表示，个数是设置的区域个数；
(6)训练模型：开始训练模型；
(7)对比原图：交替显示结果图和原图；
所述分割模块界面，包括以下操作按钮：
(8)读入单图：读入待分割的一张图片；
(9)读入多图：选择一个文件夹，并读入文件夹内所有的图片；
(10)图像分割：对读入的图片进行分割；
(11)对比原图：交替显示结果图和原图；
另外还包括：
(12)退出软件：点此按钮退出界面和所有图片框。
优选地，本发明训练模块和分割模块算法的步骤如下：
所述训练模块界面算法步骤如下：
(1)读入一张训练样本图像；
(2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure BDA0002942977650000031
其中，i是像素点的标号，
Figure BDA0002942977650000032
和
Figure BDA0002942977650000033
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；提取特征的方法可以有多种，本发明选择Gabor滤波器，Hu矩、梯度方向直方图(HoG)、灰度共生矩阵(GLCM)方法进行特征提取，描述如下：
Gabor滤波器是一种线性滤波方法，常用于图像纹理分析，可提取多个方向，不失一般性，优选本发明一共提取了6个方向的Gabor滤波，即0°,30°,60°,90°,120°,150°这6个方向的Gabor滤波，感兴趣区域即Region OfInterest(ROI)大小为n*n，n表示输入的邻域大小，下同，然后将这6个Gabor滤波器与原始图像卷积，最终得到每个像素的6维特征向量，记为fga；
Hu矩是一种基于形状的描述特征，具有平移不变性，旋转不变性和尺度不变性，Hu矩由7个不变矩组成，ROI大小也为n*n并计算Hu矩，一共得到每个像素的7维特征向量，记为fhu；
HoG即ROI中的梯度方向直方图，描述了像素的梯度方向，反映了图像中边缘梯度方向和强度的分布特征，记为fhg；
灰度共生矩阵(GLCM)记录了ROI内共生像素对分布情况，可以反映图像纹理在方向、距离和变换等方面的特征，记为GLCM Gε-α，ε和α分别表示每个像素对的距离和方向，不失一般性，优选本发明利用4个GLCM特征，并从这四个GLCM特征中提取到对比度，二阶矩,信息熵和关联度的方差作为GLCM特征，记为fgm；
(3)根据专家领域知识确定样本的类别数，确定不同区域个数；
(4)用鼠标在图像中标出不同区域的部分像素，用不同的颜色表示，颜色的个数是设置的区域个数；
(5)利用标注的像素特征向量对图像分割模型进行训练,分类器可以有多种选择，如决策树，随机森林，K近邻，朴素贝叶斯，K均值，支持向量机，集成学习算法，不失一般性，本发明采用随机森林为例；把标注像素的特征向量放入随机森林分类器中进行训练，本方法的Gini系数如公式(2)所示，假设图片的类别数为K，其中Rk表示第k个区域提取的每个像素特征向量的集合，如公式(3)所示，Gini(R,fi)表示某像素i的特征向量fi在所有的特征向量集R上的Gini系数，即属于各类别的概率：
Figure BDA0002942977650000041
Figure BDA0002942977650000042
对于多个分类器的结合策略，使用相对多数投票法，由公式(4)表示，c为类别标记集合,假设图片的类别数为K，则将提取的每个像素特征向量fi在所有特征向量集R上的输出表示为K维向量(fi 1(R),fi 2(R),...,fi K(R))，H(fi)表示最终预测为最多票的类别标记为该像素的类别；
Figure BDA0002942977650000043
(6)利用训练好的分割模型对同一张图片进行测试，如果部分区域像素被分类错误，着重提取这部分区域像素，重复上述步骤再次训练，提高模型精度，最终生成图像分割模型，每n轮训练时，分类器重点对新加入的特征向量学习，分配较大的权重λ，λ＞1，这样保证被分类错误的区域能够修正，达到良好的人机交互；
(7)再用其它包含同类物体的图片重复步骤(4)-(6)对该图像分割模型进行相同的训练。
优选地，本发明图像分割模块界面算法步骤如下：
(1)选择读入单图时，此时只能选择一张想被分割的图片，打开并读入一张图片；选择读入多图时，此时选择一个包含多张图片的文件夹，读入文件夹内所有图片；
(2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure BDA0002942977650000051
其中，i是像素点的标号，
Figure BDA0002942977650000052
和
Figure BDA0002942977650000053
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；或用其它的提取特征的方法进行多种特征的提取来组成和丰富特征向量fi；
(3)用已训练好的分割模型对每张图片的所有像素进行分类；
(4)查看分类结果；
(5)分类如果不正确则利用训练模块进行训练，分类正确则生成最终结果并退出。
本发明与现有方法相比较，具有以下显而易见的突出实质性特点和显著的优点：
(1)本发明的训练只需要一张到两张图像样本，突破了机器学习需要一定量训练样本的限制，初步解决了训练数据量稀少的小样本问题；
(2)本发明可以进行良好的人机交互，在领域专家的指导下，将修正信息反馈给计算机，使结果不断完善；
(3)本发明可以使用最终生成的模型对同类型的样本进行批量分割，模型的泛化能力较好，节省了大量的时间成本和人力成本。
附图说明：
图1是软件界面，包含三个区域，分别是训练模块(a)，分割模块(b)，图像显示区域(c)；训练模块包括按钮：读入图片(1)，邻域大小(2)，特征提取(3)，区域个数(4)，区域标注(5)，训练模型(6)，对比原图(7)；分割模块包括：读入单图(8)，读入多图(9)，图像分割(10)，对比原图(11)；此外包括按钮退出软件(12)。
图2是本发明基于机器学习的交互式图像分割方法的流程示意图，共分为以下步骤：(1)定义邻域大小和图像类别数；(2)画线提取各区域的部分像素；(3)计算提取的像素特征向量；(4)机器学习对提取像素训练并分类；(5)生成分割模型；(6)对所有像素进行分类(7)利用训练好的分割模型对同一张图片进行测试，如果部分区域像素被分类错误，着重提取这部分区域像素，重复上述步骤再次训练，提高模型精度，最终生成图像分割模型，每n轮训练时，分类器重点对新加入的特征向量学习，分配较大的权重λ，λ＞1，这样保证被分类错误的区域能够修正，获得最终的分割模型。
图3是本本发明基于机器学习的交互式图像使用模型分割的流程示意图，共分为两个部分，步骤如下：(1)选择读入单图时，此时只能选择一张想被分割的图片，打开并读入一张图片；选择读入多图时，此时选择一个包含多张图片的文件夹，读入文件夹内所有图片；(2)计算并提取每张图片的特征向量；(3)选择分割模型并对每张图片的所有像素进行分类；(4)对比原图；(5)如果有部分像素被错误分类，可进入训练模块重新训练；(6)如果分割正确，则得到最终分割结果。
具体实施方式：
本发明的优选实施例结合附图详述如下：
实施例一
参见图1，一种基于机器学习方法的交互式图像分割方法，其软件界面示意图包括三个区域，分别是训练模块界面a，分割模块界面b，图像显示区域c。
参见图1，本实施例基于机器学习方法的交互式图像分割，其软件界面示意图包括训练模块界面a，训练模块界面a包括如下多个按钮：读入图片1，邻域大小2，特征提取3，区域个数4，区域标注5，训练模型6，对比原图7。
参见图1，本实施例基于机器学习方法的交互式图像分割，其软件界面示意图包括分割模块界面b，分割模块界面b包括：读入单图8，读入多图9，图像分割10，对比原图11，此外包括按钮退出软件12。
本实施例基于机器学习方法的交互式图像分割方法的模块按钮丰富，能有效解决小样本环境下复杂纹理图像分割问题，能够节省大量的时间成本和人力成本。
实施例二
参见图1，一种基于机器学习方法的交互式图像分割方法，所述训练模块界面a包括以下操作按钮：
(1)读入图片：打开并读入一张样本图片；
(2)邻域大小：设定像素点的特征范围；
(3)特征提取：提取图片中每个像素点的特征并保存；
(4)区域个数：输入图片中不同区域或类别的个数；
(5)区域标注：按下此钮后，在图片中画线来标注不同区域，用不同的颜色表示，个数是设置的区域个数；
(6)训练模型：开始训练模型；
(7)对比原图：交替显示结果图和原图；
所述分割模块界面b包括以下操作按钮：
(8)读入单图：读入待分割的一张图片；
(9)读入多图：选择一个文件夹，并读入文件夹内所有的图片；
(10)图像分割：对读入的图片进行分割；
(11)对比原图：交替显示结果图和原图；
另外还包括：
(12)退出软件：点此按钮退出界面和所有图片框。
本实施例可以进行良好的人机交互，在领域专家的指导下，将修正信息反馈给计算机，使结果不断完善；本实施例可以使用最终生成的模型对同类型的样本进行批量分割，模型的泛化能力较好，节省了大量的时间成本和人力成本。
实施例三
参见图2，一种基于机器学习方法的交互式图像分割方法的训练模块界面a的算法步骤如下：
(1)读入一张训练样本图像；
(2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure BDA0002942977650000071
其中，i是像素点的标号，
Figure BDA0002942977650000072
和
Figure BDA0002942977650000073
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；提取特征的方法可以有多种，本实施例选择Gabor滤波器，Hu矩、梯度方向直方图(HoG)、灰度共生矩阵(GLCM)方法进行特征提取，描述如下：
Gabor滤波器是一种线性滤波方法，常用于图像纹理分析，可以提取多个方向，不失一般性，本实施例一共提取了6个方向的Gabor滤波，即0°,30°,60°,90°,120°,150°这6个方向的Gabor滤波，感兴趣区域即Region OfInterest(ROI)大小为n*n，n表示输入的邻域大小，然后将这6个Gabor滤波器与原始图像卷积，最终得到每个像素的6维特征向量，记为fga；
Hu矩是一种基于形状的描述特征，具有平移不变性，旋转不变性和尺度不变性，Hu矩由7个不变矩组成，ROI大小也为n*n并计算Hu矩，一共得到每个像素的7维特征向量，记为fhu；
HoG即ROI中的梯度方向直方图，描述了像素的梯度方向，反映了图像中边缘梯度方向和强度的分布特征，记为fhg；
灰度共生矩阵(GLCM)记录了ROI内共生像素对分布情况，可反映图像纹理在方向、距离和变换等方面的特征，记为GLCM Gε-α，ε和α分别表示每个像素对的距离和方向，不失一般性，利用4个GLCM特征，并从这四个GLCM特征中提取到对比度，二阶矩，信息熵和关联度的方差作为GLCM特征，记为fgm；
(3)根据专家领域知识确定样本的类别数，确定不同区域个数；
(4)用鼠标在图像中标出不同区域的部分像素，用不同的颜色表示，颜色的个数是设置的区域个数；
(5)利用标注的像素特征向量对图像分割模型进行训练,分类器可以有多种选择，如决策树，随机森林，K近邻，朴素贝叶斯，K均值，支持向量机，集成学习算法，不失一般性，本实施例采用随机森林为例；把标注像素的特征向量放入随机森林分类器中进行训练，本方法的Gini系数如公式(2)所示，假设图片的类别数为K，其中Rk表示第k个区域提取的每个像素特征向量的集合，如公式(3)所示，Gini(R,fi)表示某像素i的特征向量fi在所有的特征向量集R上的Gini系数，即属于各类别的概率：
Figure BDA0002942977650000081
Figure BDA0002942977650000082
对于多个分类器的结合策略，使用相对多数投票法，由公式(4)表示，c为类别标记集合,假设图片的类别数为K，则将提取的每个像素特征向量fi在所有特征向量集R上的输出表示为K维向量(fi 1(R),fi 2(R),...,fi K(R))，H(fi)表示最终预测为最多票的类别标记为该像素的类别；
Figure BDA0002942977650000091
(6)利用训练好的分割模型对同一张图片进行测试，如果部分区域像素被分类错误，着重提取这部分区域像素，重复上述步骤再次训练，提高模型精度，最终生成图像分割模型，每n轮训练时，分类器重点对新加入的特征向量学习，分配较大的权重λ，λ＞1，这样保证被分类错误的区域能够修正，达到良好的人机交互；
(7)再用其它包含同类物体的图片重复步骤(4)-(6)对该图像分割模型进行相同的训练。
本实施例基于机器学习的交互式图像分割方法，实现小样本环境下复杂图像的分割，通过定义输入样本的类别数，然后进行样本训练，反复提取样本各类别区域的部分放入机器学习模型中进行训练，针对错误分类的像素，人工干预赋予正确的标签，模型收集反馈信息并对结果修正，重复此过程直到结果基本正确，并生成该类型图像分割的模型，生成的分割模型可对同类型的其他图片批量分割。本实施例通过人机交互过程，引入了专家领域知识，使结果具有较高的可信度，可以解决小样本环境下复杂纹理图像分割问题，能够节省大量的时间成本和人力成本。
实施例四
参见图3，本实施例基于机器学习方法的交互式图像分割方法的分割模块界面b算法步骤如下：
(1)选择读入单图时，此时只能选择一张想被分割的图片，打开并读入一张图片；选择读入多图时，此时选择一个包含多张图片的文件夹，读入文件夹内所有图片
(2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure BDA0002942977650000092
其中，i是像素点的标号，
Figure BDA0002942977650000093
和
Figure BDA0002942977650000094
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；或用其它的提取特征的方法进行多种特征的提取来组成和丰富特征向量fi；
(3)用已训练好的分割模型对每张图片的所有像素进行分类；
(4)查看分类结果；
(5)分类如果不正确则利用训练模块进行训练，分类正确则生成最终结果并退出。
本实施例可使用最终生成的模型对同类型的样本进行批量分割，模型的泛化能力较好，节省了大量时间成本和人力成本。
综上所述，上述实施例基于机器学习的交互式图像分割方法，实现小样本环境下复杂图像的分割，首先是训练模块，通过定义输入样本的类别数，然后使用一到两张样本训练，反复提取样本各类别区域的部分放入机器学习模型中进行训练，针对错误分类的像素，人工干预赋予正确的标签，模型收集反馈信息并对结果修正，重复此过程直到结果基本正确，并生成该类型图像分割的模型；然后是分割模块，使用生成的分割模型对同类型的图片批量分割，如果分类错误可重新训练；此发明通过人机交互过程，引入了专家领域知识，使结果具有较高的可信度，可以解决小样本环境下复杂纹理图像分割问题，能够节省大量的时间成本和人力成本。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (4)

1.一种基于机器学习的交互式图像分割方法，其特征在于：将软件界面分割为三个区域，分别是训练模块界面(a)、分割模块界面(b)和图像显示区域(c)；
所述训练模块界面(a)包括以下内容：读入图片(1)，邻域大小(2)，特征提取(3)，区域个数(4)，区域标注(5)，训练模型(6)，对比原图(7)；
所述分割模块界面(b)包括：读入单图(8)，读入多图(9)，图像分割(10)，对比原图(11)，此外包括按钮退出软件(12)。
2.根据权利要求1所述的基于机器学习的交互式图像分割方法，其特征在于：
所述训练模块界面，包括以下操作按钮：
(1)读入图片：打开并读入一张样本图片；
(2)邻域大小：设定像素点的特征范围；
(3)特征提取：提取图片中每个像素点的特征并保存；
(4)区域个数：输入图片中不同区域或类别的个数；
(5)区域标注：按下此钮后，在图片中画线来标注不同区域，用不同的颜色表示，个数是设置的区域个数；
(6)训练模型：开始训练模型；
(7)对比原图：交替显示结果图和原图；
所述分割模块界面，包括以下操作按钮：
(8)读入单图：读入待分割的一张图片；
(9)读入多图：选择一个文件夹，并读入文件夹内所有的图片；
(10)图像分割：对读入的图片进行分割；
(11)对比原图：交替显示结果图和原图；
另外还包括：
(12)退出软件：点此按钮退出界面和所有图片框。
3.根据权利要求1所述的基于机器学习的交互式图像分割方法，其特征在于，构建训练模块界面(a)的操作步骤如下：
(a-1)读入一张训练样本图像；
(a-2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure FDA0002942977640000011
其中，i是像素点的标号，
Figure FDA0002942977640000012
和
Figure FDA0002942977640000013
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；或用其它的提取特征的方法进行多种特征的提取来组成和丰富特征向量fi；
(a-3)根据专家领域知识确定样本的类别数，确定不同区域个数；
(a-4)用鼠标在图像中标出不同区域的部分像素，用不同的颜色表示，颜色的个数是设置的区域个数；
(a-5)利用标注的像素特征向量对图像分割模型进行训练，分类器设有如下多种选择中的至少一种：决策树、随机森林、K近邻、朴素贝叶斯、K均值、支持向量机、集成学习算法、采用随机森林为例，把标注像素的特征向量放入随机森林分类器中进行训练，本方法的Gini系数如公式(2)所示，假设图片的类别数为K，其中Rk表示第k个区域提取的每个像素特征向量的集合，公式(3)则计算某像素i的特征向量fi在所有的特征向量集R上的Gini系数，即属于各类别的概率：
Figure FDA0002942977640000021
Figure FDA0002942977640000022
对于多个分类器的结合策略，使用相对多数投票法，由公式(4)表示，c为类别标记集合,假设图片的类别数为K，则将提取的每个像素特征向量fi在所有特征向量集R上的输出表示为K维向量(fi 1(R),fi 2(R),...,fi K(R))，H(fi)表示最终预测为最多票的类别标记为该像素的类别；
Figure FDA0002942977640000023
(a-6)利用训练好的分割模型对同一张图片进行测试，如果部分区域像素被分类错误，着重提取这部分区域像素，重复上述步骤再次训练，提高模型精度，最终生成图像分割模型，每n轮训练时，分类器重点对新加入的特征向量学习，分配较大的权重λ，其中λ＞1，这样保证被分类错误的区域能够修正，达到良好的人机交互；
(a-7)再用其它包含同类物体的图片重复步骤(a-4)～步骤(a-6)对图像分割模型进行相同的训练，从而完成基于机器学习的交互式图像分割。
4.根据权利要求1所述的基于机器学习的交互式图像分割方法，其特征在于，构建分割模块界面(b)的操作步骤如下：
(b-1)选择读入单图，此时只选择一张想被分割的图片，打开并读入一张图片；选择读入多图时，此时选择一个包含多张图片的文件夹，读入文件夹内所有图片；
(b-2)提取图片中每个像素点邻域内的多种特征fi，提取的特征组成一个特征向量：
Figure FDA0002942977640000031
其中，i是像素点的标号，
Figure FDA0002942977640000032
和
Figure FDA0002942977640000033
分别表示提取的第i个像素点的Gabor特征，Hu矩，梯度方向直方图(HoG)和灰度共生矩阵(GLCM)，F(*)表示将像素的多个特征连接成特征向量，fi表示连接后的特征向量；或用其它的提取特征的方法进行多种特征的提取来组成和丰富特征向量fi；
(b-3)用已训练好的分割模型对每张图片的所有像素进行分类；
(b-4)查看分类结果；
(b-5)分类如果不正确则利用训练模块进行训练，分类正确则生成最终结果并退出。
CN202110186749.XA 2021-02-10 2021-02-10 基于机器学习的交互式图像分割方法 Active CN112862789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110186749.XA CN112862789B (zh) 2021-02-10 2021-02-10 基于机器学习的交互式图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110186749.XA CN112862789B (zh) 2021-02-10 2021-02-10 基于机器学习的交互式图像分割方法

Publications (2)

Publication Number Publication Date
CN112862789A true CN112862789A (zh) 2021-05-28
CN112862789B CN112862789B (zh) 2023-06-13

Family

ID=75988113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110186749.XA Active CN112862789B (zh) 2021-02-10 2021-02-10 基于机器学习的交互式图像分割方法

Country Status (1)

Country Link
CN (1) CN112862789B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114532923A (zh) * 2022-02-11 2022-05-27 珠海格力电器股份有限公司 健康检测方法、装置、扫地机器人及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN108665462A (zh) * 2017-03-27 2018-10-16 西门子保健有限责任公司 用于医学成像的高度集成的注释和分割系统
CN109003279A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及系统
CN109840914A (zh) * 2019-02-28 2019-06-04 华南理工大学 一种基于用户交互式的纹理分割方法
CN110084821A (zh) * 2019-04-17 2019-08-02 杭州晓图科技有限公司 一种多实例交互式图像分割方法
CN111860515A (zh) * 2020-06-02 2020-10-30 格物钛(上海)智能科技有限公司 一种交互式智能2d语义分割系统、方法、存储介质和装置
CN112102336A (zh) * 2020-09-16 2020-12-18 湖南大学 一种基于用户交互与深度神经网络的图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665462A (zh) * 2017-03-27 2018-10-16 西门子保健有限责任公司 用于医学成像的高度集成的注释和分割系统
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN109003279A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及系统
CN109840914A (zh) * 2019-02-28 2019-06-04 华南理工大学 一种基于用户交互式的纹理分割方法
CN110084821A (zh) * 2019-04-17 2019-08-02 杭州晓图科技有限公司 一种多实例交互式图像分割方法
CN111860515A (zh) * 2020-06-02 2020-10-30 格物钛(上海)智能科技有限公司 一种交互式智能2d语义分割系统、方法、存储介质和装置
CN112102336A (zh) * 2020-09-16 2020-12-18 湖南大学 一种基于用户交互与深度神经网络的图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUANBIN LAI ET AL: "Material Image Segmentation with the Machine Learning Method and Complex Network Method", 《MRS ADVANCES》 *
PRAJVAL KOUL: "Spectral GUIR for Automated Tissue and Lesion Segmentation of T1 Weighted Breast MR Images", 《ARXIV:2004.08960》 *
彭自立: "用于交互式图像分割的自适应表观分离", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114532923A (zh) * 2022-02-11 2022-05-27 珠海格力电器股份有限公司 健康检测方法、装置、扫地机器人及存储介质
CN114532923B (zh) * 2022-02-11 2023-09-12 珠海格力电器股份有限公司 健康检测方法、装置、扫地机器人及存储介质

Also Published As

Publication number Publication date
CN112862789B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN107239731B (zh) 一种基于Faster R-CNN的手势检测和识别方法
CN108154102B (zh) 一种道路交通标志识别方法
CN112614128B (zh) 一种基于机器学习的内镜下辅助活检的系统及方法
Zawbaa et al. An automatic flower classification approach using machine learning algorithms
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN107256398A (zh) 基于特征融合的奶牛个体识别方法
CN110853053A (zh) 一种以多候选对象为语义知识的显著对象检测方法
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
Craye et al. Exploration strategies for incremental learning of object-based visual saliency
CN112862789B (zh) 基于机器学习的交互式图像分割方法
CN114818931A (zh) 一种基于小样本元学习的水果图像分类方法
Said et al. Comparison of color-based feature extraction methods in banana leaf diseases classification using SVM and K-NN
CN111881965B (zh) 药材产地等级的高光谱图形分类识别方法、装置及设备
Ball et al. Level set hyperspectral image classification using best band analysis
CN111311602A (zh) 中医面诊的嘴唇图像分割装置及方法
Montalvo et al. Identification of plant textures in agricultural images by principal component analysis
CN114792300B (zh) 一种基于多尺度注意力x光断针检测方法
CN112949728B (zh) 基于切片图像筛选和特征聚合的mri图像分类方法
CN111627033B (zh) 一种难样本实例分割方法、设备及计算机可读存储介质
Liu et al. One-stage attention-based network for image classification and segmentation on optical coherence tomography image
Li et al. A novel denoising autoencoder assisted segmentation algorithm for cotton field
CN109086774B (zh) 基于朴素贝叶斯的彩色图像二值化方法和系统
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
Gurunathan et al. Plant Leaf Diseases Detection Using KNN Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant