CN112102257B - 一种基于卷积神经网络的人体粪便自动识别方法 - Google Patents

一种基于卷积神经网络的人体粪便自动识别方法 Download PDF

Info

Publication number
CN112102257B
CN112102257B CN202010867522.7A CN202010867522A CN112102257B CN 112102257 B CN112102257 B CN 112102257B CN 202010867522 A CN202010867522 A CN 202010867522A CN 112102257 B CN112102257 B CN 112102257B
Authority
CN
China
Prior art keywords
classes
image
color
excrement
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010867522.7A
Other languages
English (en)
Other versions
CN112102257A (zh
Inventor
刘霖
闻涛
赵家喜
秦驰
李圳浩
张静
杜晓辉
刘娟秀
倪光明
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010867522.7A priority Critical patent/CN112102257B/zh
Publication of CN112102257A publication Critical patent/CN112102257A/zh
Application granted granted Critical
Publication of CN112102257B publication Critical patent/CN112102257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的人体粪便自动识别方法，属于数字图像处理领域和深度学习领域。该方法首先是对图像的HSV彩色空间中的S通道进行二值化后进行形态开操作，得到图像中粪便区域的准确位置，然后基于VGG19卷积神经网络搭建两个分支结构，一个分支用于粪便形状特征学习，另一个分支进行粪便颜色特征学习。独立的两个网络分支使得粪便形状和颜色可以同时预测，进行多输出分类；互不影响的联合MLP分类器结构使得粪便形状和颜色识别能够得到更准确的结果。本发明与需要专业检验师检测的人工检测方法相比，具有大众普适性强、时效性高、低成本且高度自动化的特点，与基于传统图像特征的分类方法相比，具有更好的鲁棒性。

Description

一种基于卷积神经网络的人体粪便自动识别方法
技术领域
本发明属于数字图像处理领域和深度学习领域，具体涉及卷积神经网络和多输出分类的人体粪便自动识别方法。
技术背景
人体粪便的外观性状特征包括形状和颜色两方面特征，这两个特征可以反映出人体的病理情况。在医院的粪便检查中，性状的检查往往需要由病人取少量样本放置于样本盒中，然后送往检验科由专业检验师进行人工判断。其中存在三个问题，其一是取少量样本进行观察难以反应出整体样本的真实情况；其二是虽然在专业医师的判读下可以得到相对准确的结果，但是这对于常规用途是不切实际的，特别是针对在一般人群的使用情况无法在其便后立即的大片粪便样本的准确评估；其三是粪便检查作为三大常规检查之一，日常检查量相对于其它非常规检查项目来说较大，对于人工识别来说不仅仅是工作强度高、效率低下的问题，更为重要的是由于检测速度慢带来的样本性状发生改变，导致不准确的识别结果。另一方面，基于传统图像特征的图像分类识别算法，例如HOG特征以及GLCM特征等，由于其容易受到环境等因素的影响，导致其在实际应用中存在许多困难。
随着数字图像处理技术以及深度学习技术的不断发展，越来越多的领域使用自动识别技术代替人工完成相关工作。针对于人体粪便的自动识别问题，实现是利用粪便区域在图像不同颜色空间中的特征差异和形态学操作去掉图像中无用的背景区域，得到图像中的粪便区域。然后构建两个相同结构的卷积神经网络分支，其中一个是粪便形状识别分支，以粪便区域的灰度图像作为输入，使其能够专注于学习粪便的形状结构特征；另一个分支是粪便颜色识别分支，以粪便区域的HSV彩色空间图像作为输入，使其能够专注于学习图像中粪便的颜色特征。进一步利用迁移学习将网络在源数据域上学习到的知识迁移到粪便形状和颜色识别的目标任务上，使得网络能够快速达到收敛。最后联合多个相互独立的MLP(Multi-Layer Perceptron，多层感知机)分类器，先对类间差异明显的类别进行分类，再对类间差异较小的类别进行分类。
发明内容
本发明针对目前医院粪便常规检测中存在的问题：少量样本不能代表整体样本真实情况、因需要专业检验师判读而难以用于常规用途、由于样本量较大导致人工检查效率低而导致的错误的检验结果，设计了一种基于深度学习的人体粪便自动识别方法，以此实现快速、可靠、低成本高度自动化的识别人体粪便性状的目的。
本发明技术方案是一种基于卷积神经网络的人体粪便自动识别方法，该方法包括以下步骤：
步骤1：采集人群便后的粪便图像；
步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签；
步骤3：对步骤2处理后的RGB彩色空间中的图像，转换为HSV彩色空间表示的图像，提取HSV彩色空间S通道图像后，再对S通道图像二值化得二值图像M1；
步骤4：对步骤3得到的图像M1进行形态学开操作得图像M2；
步骤5：对步骤4得到的图像M2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形ROI图像；
步骤6：基于VGG19卷积神经网络搭建两个分支结构，利用其在源域ImageNet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的RGB彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的RGB彩色图像转换为HSV彩色图像作为该分支的输入；
步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层Fc6的输出分别作为粪便区域的形状特征和颜色特征；
步骤8：对步骤7中输出的粪便区域的形状特征，训练多个MLP分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个MLP分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；
步骤9：对于新采集的粪便样本图像，经过步骤3到步骤7的处理后，使用步骤8训练的MLP分类器，对其进行分类。
其中，所述步骤2具体为：根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色(褐色)、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7。
其中，所述步骤5具体为：
步骤5.1：对步骤4得到的图像M2计算8连通域图像；
步骤5.2：返回像素个数最大的连通域；
步骤5.3：对步骤5.2得到的最大连通域求外接矩形；
步骤5.4：对步骤5.3得到的外接矩形位置；
步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域(如果超出原图范围，则以边界行列像素进行镜像填充)即为图像中的粪便区域。
其中，所述步骤6具体为：搭建VGG19网络结构，该网络结构具有4个卷积块，即4个block，每一个block之后接一个max pooling，每个卷积层之后都接一个ReLu非线性变换操作，并且对最后一个卷积层进行max pooling之后接一个fully connected，最终得到一个4096维的特征，对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度图像作为输入，对于粪便颜色识别分支以HSV彩色空间的三通道图像作为输入。
其中，所述步骤8具体为：
步骤8.1：对于粪便形状识别分支，按照标准的布里斯托尔分类表将其分为了1、2、3、4、5、6、7类，但是在实际的情况中，3类和4类、5类与6类粪便在形状上非常接近，因此先将3类和4类合并为同一类(类标签为34)，将5类和6类合并为同一类(类标签为56类)，训练一个分类器MLP-1对1类、2类、34类、56类、7类进行5分类；
步骤8.2：对步骤8.1的分类结果，训练分类器MLP-2对34类进行二分类——3类和4类，训练分类器MLP-3对56类进行二分类——5类和6类，需要注意的是MLP-1、MLP-2和MLP-3这三个分类器都以粪便形状识别分支输出的特征向量作为输入，联合上述三个分类器对粪便形状进行准确分类；
步骤8.3：对于粪便颜色识别分支，按照医生建议将粪便颜色分为了黄色、金黄色、棕黄色、黑色、鲜红色、暗红色、灰白色、绿色，在实际情况中，黄色、金黄色和棕黄色，鲜红色和暗红色在颜色特征上非常相近，因此先将黄色、金黄色和褐色合并为同一类(类标签为黄色)，将鲜红色和暗红色合并为同一类(类标签为红色)，训练一个分类器MLP-4对黄色、黑色、红色、灰白色、绿色进行5分类；
步骤8.4：对步骤8.3的分类结果，训练分类器MLP-5对黄色进行三分类——黄色、金黄色、棕黄色，训练分类器MLP-6对红色进行二分类——鲜红色和暗红色，需要注意的是MLP-4、MLP-5和MLP-6这三个分类器都以粪便颜色识别分支输出的特征向量作为输入，联合这三个分类器对粪便颜色进行准确分类；
步骤8.5：在经过粪便区域外接矩形框提取的样本中每个类别随机选取70％数量的样本作为训练集，30％数量的样本作为测试集，保存在测试集上表现最好的模型。
步骤8.6：采用召回率F1-score来对模型进行评估，F1-score＝Precision*Recall*2/(Precision+Recall)，其中精确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，其中TP表示模型对某一类正确分类的个数，FP表示模型将其他类别识别为该类的个数，FN表示模型将该类识别为其它类别的个数；
本发明是一种基于图像彩色与卷积神经网络的人体粪便自动识别方法，该方法首先是对图像的HSV彩色空间中的S通道进行二值化后进行形态开操作，得到图像中粪便区域的准确位置，然后基于VGG19卷积神经网络搭建两个分支结构，一个分支用于粪便形状特征学习，另一个分支进行粪便颜色特征学习，利用其在ImageNet上的预训练模型进行迁移学习，分别对粪便形状和粪便颜色进行特征提取，进一步对于粪便形状识别分支和粪便颜色识别分支分别联合多个MLP分类器，先对类间差异大的类别进行分类，再对类间差异小的类别进行精确分类。独立的两个网络分支使得粪便形状和颜色可以同时预测，进行多输出分类；互不影响的联合MLP分类器结构使得粪便形状和颜色识别能够得到更准确的结果。本发明与需要专业检验师检测的人工检测方法相比，具有大众实用性强、时效性高、低成本高度自动化的特点，与基于传统图像特征的例如HOG、GLCM特征的分类方法相比，使用基于卷积神经网络的特征提取技术具有更好的鲁棒性。
附图说明
图1是布里斯托粪便类型分类表；
图2是粪便颜色分类表；
图3是原始图像中粪便ROI区域提取流程图；
图4是发明方法的整体框架；
图5是基于VGG19微调的卷积神经网络结构；
具体实施方式
下面结合附图，对本发明一种基于卷积神经网络的人体粪便自动识别方法进行详细说明：
步骤1：为了适应一般人群的使用，因此首先对一定数量的人群采集其便后马桶中的粪便图像；
步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签，其具体为根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色(褐色)、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7；
步骤3：对步骤2处理后的RGB彩色空间中的图像，转换为HSV彩色空间表示的图像，提取HSV彩色空间S通道图像后，再对S通道图像二值化得二值图像M1；
步骤4：对步骤3得到的图像M1进行形态学开操作得图像M2；
步骤5：对步骤4得到的图像M2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形ROI图像；
步骤5.1：对步骤4得到的图像M2计算8连通域图像；
步骤5.2：返回像素个数最大的连通域；
步骤5.3：对步骤5.2得到的最大连通域求外接矩形；
步骤5.4：对步骤5.3得到的外接矩形位置；
步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域(如果超出原图范围，则以边界行列像素进行镜像填充)即为图像中的粪便区域；
步骤6：基于VGG19卷积神经网络搭建两个分支结构，利用其在源域ImageNet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的RGB彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的RGB彩色图像转换为HSV彩色图像作为该分支的输入,VGG19网络结构具有5个卷积块，即5个block，每一个block之后接一个maxpooling，每个卷积层之后都接一个ReLu非线性变换操作，并且对最后一个卷积层进行maxpooling之后接一个fully connected，最终得到一个4096维的特征。对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度图像作为输入，对于粪便颜色识别分支以HSV彩色空间的三通道图像作为输入。；
步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层Fc6的输出分别作为粪便区域的形状特征和颜色特征；
步骤8：对步骤7中输出的粪便区域的形状特征，训练多个MLP分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个MLP分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；
步骤8.1：对于粪便形状识别分支，按照标准的布里斯托尔分类表将其分为了1、2、3、4、5、6、7类，但是在实际的情况中，3类和4类、5类与6类粪便在形状上非常接近，因此先将3类和4类合并为同一类(类标签为34)，将5类和6类合并为同一类(类标签为56类)，训练一个分类器MLP-1对1类、2类、34类、56类、7类进行5分类；
步骤8.2：对步骤8.1的分类结果，训练分类器MLP-2对34类进行二分类——3类和4类，训练分类器MLP-3对56类进行二分类——5类和6类，需要注意的是MLP-1、MLP-2和MLP-3这三个分类器都以粪便形状识别分支输出的特征向量作为输入，联合上述三个分类器对粪便形状进行准确分类；
步骤8.3：对于粪便颜色识别分支，按照医生建议将粪便颜色分为了黄色、金黄色、棕黄色、黑色、鲜红色、暗红色、灰白色、绿色，在实际情况中，黄色、金黄色和棕黄色，鲜红色和暗红色在颜色特征上非常相近，因此先将黄色、金黄色和褐色合并为同一类(类标签为黄色)，将鲜红色和暗红色合并为同一类(类标签为红色)，训练一个分类器MLP-4对黄色、黑色、红色、灰白色、绿色进行5分类；
步骤8.4：对步骤8.3的分类结果，训练分类器MLP-5对黄色进行三分类——黄色、金黄色、棕黄色，训练分类器MLP-6对红色进行二分类——鲜红色和暗红色，需要注意的是MLP-4、MLP-5和MLP-6这三个分类器都以粪便颜色识别分支输出的特征向量作为输入，联合这三个分类器对粪便颜色进行准确分类；
步骤8.5：在经过粪便区域外接矩形框提取的样本中每个类别随机选取70％数量的样本作为训练集，30％数量的样本作为测试集，保存在测试集上表现最好的模型。
步骤8.6：采用召回率F1-score来对模型进行评估，F1-score＝Precision*Recall*2/(Precision+Recall)，其中精确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，其中TP表示模型对某一类正确分类的个数，FP表示模型将其他类别识别为该类的个数，FN表示模型将该类识别为其它类别的个数；
步骤9：对于新采集的粪便样本图像，经过步骤3到步骤7的处理后，使用步骤8训练的MLP分类器，对其进行分类。

Claims (4)

1.一种基于卷积神经网络的人体粪便自动识别方法，该方法包括以下步骤：
步骤1：为了适应一般人群的使用，因此首先对一定数量的人群采集其便后马桶中的粪便图像；
步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签；
步骤3：对步骤2处理后的RGB彩色空间中的图像，转换为HSV彩色空间表示的图像，提取HSV彩色空间S通道图像后，再对S通道图像二值化得二值图像M1；
步骤4：对步骤3得到的图像M1进行形态学开操作得图像M2；
步骤5：对步骤4得到的图像M2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形ROI图像；
步骤6：基于VGG19卷积神经网络搭建两个分支结构，利用其在源域ImageNet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的RGB彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的RGB彩色图像转换为HSV彩色图像作为该分支的输入；
步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层Fc6的输出分别作为粪便区域的形状特征和颜色特征；
步骤8：对步骤7中输出的粪便区域的形状特征，训练多个MLP分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个MLP分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；
步骤8.1：对于粪便形状识别分支，按照标准的布里斯托尔分类表将其分为了1、2、3、4、5、6、7类，但是在实际的情况中，3类和4类、5类与6类粪便在形状上非常接近，因此先将3类和4类合并为同一类，定义类标签为34，将5类和6类合并为同一类，定义类标签为56类，训练一个分类器MLP-1对1类、2类、34类、56类、7类进行5分类；
步骤8.2：对步骤8.1的分类结果，训练分类器MLP-2对34类进行二分类——3类和4类，训练分类器MLP-3对56类进行二分类——5类和6类，需要注意的是MLP-1、MLP-2和MLP-3这三个分类器都以粪便形状识别分支输出的特征向量作为输入，联合上述三个分类器对粪便形状进行准确分类；
步骤8.3：对于粪便颜色识别分支，按照医生建议将粪便颜色分为了黄色、金黄色、棕黄色、黑色、鲜红色、暗红色、灰白色、绿色，在实际情况中，黄色、金黄色和棕黄色，鲜红色和暗红色在颜色特征上非常相近，因此先将黄色、金黄色和褐色合并为同一类，定义类标签为黄色，将鲜红色和暗红色合并为同一类，定义类标签为红色，训练一个分类器MLP-4对黄色、黑色、红色、灰白色、绿色进行5分类；
步骤8.4：对步骤8.3的分类结果，训练分类器MLP-5对黄色进行三分类——黄色、金黄色、棕黄色，训练分类器MLP-6对红色进行二分类——鲜红色和暗红色，需要注意的是MLP-4、MLP-5和MLP-6这三个分类器都以粪便颜色识别分支输出的特征向量作为输入，联合这三个分类器对粪便颜色进行准确分类；
步骤8.5：在经过粪便区域外接矩形框提取的样本中每个类别随机选取70％数量的样本作为训练集，30％数量的样本作为测试集，保存在测试集上表现最好的模型；
步骤8.6：采用召回率F1-score来对模型进行评估，F1-score＝Precision*Recall*2/(Precision+Recall)，其中精确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，其中TP表示模型对某一类正确分类的个数，FP表示模型将其他类别识别为该类的个数，FN表示模型将该类识别为其它类别的个数；
步骤9：对于新采集的粪便样本图像，经过步骤2到步骤7的处理后，使用步骤8训练的MLP分类器，对其进行分类。
2.如权利要求1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于所述步骤2中其具体为根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色或褐色、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7。
3.如权利要求1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于步骤5具体为：
步骤5.1：对步骤4得到的图像M2计算8连通域图像；
步骤5.2：返回像素个数最大的连通域；
步骤5.3：对步骤5.2得到的最大连通域求外接矩形；
步骤5.4：对步骤5.3得到的外接矩形位置；
步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域，即为图像中的粪便区域，如果超出原图范围，则以边界行列像素进行镜像填充。
4.如权利要求1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于所述步骤6具体为：搭建VGG19网络结构，该网络结构具有4个卷积块，即4个block，每一个block之后接一个max pooling，每个卷积层之后都接一个ReLu非线性变换操作，并且对最后一个卷积层进行max pooling之后接一个fully connected，最终得到一个4096维的特征，对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度图像作为输入，对于粪便颜色识别分支以HSV彩色空间的三通道图像作为输入。
CN202010867522.7A 2020-08-26 2020-08-26 一种基于卷积神经网络的人体粪便自动识别方法 Active CN112102257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010867522.7A CN112102257B (zh) 2020-08-26 2020-08-26 一种基于卷积神经网络的人体粪便自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867522.7A CN112102257B (zh) 2020-08-26 2020-08-26 一种基于卷积神经网络的人体粪便自动识别方法

Publications (2)

Publication Number Publication Date
CN112102257A CN112102257A (zh) 2020-12-18
CN112102257B true CN112102257B (zh) 2022-11-08

Family

ID=73753396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867522.7A Active CN112102257B (zh) 2020-08-26 2020-08-26 一种基于卷积神经网络的人体粪便自动识别方法

Country Status (1)

Country Link
CN (1) CN112102257B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113062421A (zh) * 2021-03-03 2021-07-02 杭州跨视科技有限公司 一种健康检测的智能马桶及其健康检测方法
CN113537380A (zh) * 2021-07-29 2021-10-22 北京数美时代科技有限公司 一种色情图像识别方法、系统、存储介质和电子设备
CN113963199B (zh) * 2021-10-13 2023-04-18 电子科技大学 一种基于多种传感器特征融合和机器学习的医废识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009567B (zh) * 2017-11-10 2021-11-02 电子科技大学 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法
CN108549910A (zh) * 2018-04-17 2018-09-18 中国农业大学 一种基于卷积神经网络的玉米制种果穗图像初级分类方法
CN109241983A (zh) * 2018-09-13 2019-01-18 电子科技大学 一种图像处理与神经网络结合的条烟图像识别方法

Also Published As

Publication number Publication date
CN112102257A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102257B (zh) 一种基于卷积神经网络的人体粪便自动识别方法
Panchal et al. Plant diseases detection and classification using machine learning models
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN103518224B (zh) 用于分析微生物生长的方法
CN111860533A (zh) 图像的识别方法及装置、存储介质和电子装置
CN110097974A (zh) 一种基于深度学习算法的鼻咽癌远端转移预测系统
CN110111895A (zh) 一种鼻咽癌远端转移预测模型的建立方法
Azizi et al. Identifying potato varieties using machine vision and artificial neural networks
El-Melegy et al. Identification of tuberculosis bacilli in ZN-stained sputum smear images: a deep learning approach
Hossain et al. Tissue artifact segmentation and severity assessment for automatic analysis using wsi
Tantikitti et al. Image processing for detection of dengue virus based on WBC classification and decision tree
Roy et al. Segmentation techniques for rotten fruit detection
Karvelis et al. A watershed based segmentation method for multispectral chromosome images classification
Baghel et al. K-means segmentation method for automatic leaf disease detection
Khan et al. Comparitive study of tree counting algorithms in dense and sparse vegetative regions
CN103903015A (zh) 一种细胞有丝分裂检测方法
Gajanan et al. Detection of leaf disease using feature extraction for Android based system
Shihabuddin et al. Multi CNN based automatic detection of mitotic nuclei in breast histopathological images
Gajanan et al. Android based plant disease identification system using feature extraction technique
Saraswat et al. Malarial parasites detection in RBC using image processing
Zachariou et al. Localization and phenotyping of tuberculosis bacteria using a combination of deep learning and SVMs
Kim et al. Nucleus segmentation and recognition of uterine cervical pap-smears
Kunwar et al. Malaria detection using image processing and machine learning
Osman et al. Detection of tuberculosis bacilli in tissue slide images using HMLP network trained by extreme learning machine
Iqbal et al. Towards Efficient Segmentation and Classification of White Blood Cell Cancer Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant