CN110826565A - 基于跨连接的卷积神经网络齿痕舌象分类方法及系统 - Google Patents

基于跨连接的卷积神经网络齿痕舌象分类方法及系统 Download PDF

Info

Publication number
CN110826565A
CN110826565A CN201911059566.0A CN201911059566A CN110826565A CN 110826565 A CN110826565 A CN 110826565A CN 201911059566 A CN201911059566 A CN 201911059566A CN 110826565 A CN110826565 A CN 110826565A
Authority
CN
China
Prior art keywords
image
layer
tongue
tongue body
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911059566.0A
Other languages
English (en)
Other versions
CN110826565B (zh
Inventor
王建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Xinjian Medical Technology Co Ltd
Original Assignee
Beijing Zhongke Xinjian Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Xinjian Medical Technology Co Ltd filed Critical Beijing Zhongke Xinjian Medical Technology Co Ltd
Priority to CN201911059566.0A priority Critical patent/CN110826565B/zh
Publication of CN110826565A publication Critical patent/CN110826565A/zh
Application granted granted Critical
Publication of CN110826565B publication Critical patent/CN110826565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于跨连接的卷积神经网络齿痕舌象分类方法及系统，包括：获取舌象图像，并对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；根据预设的分类器对所述第二舌体图像进行分类，所述分类器采用基于多元信息的跨连接层卷积神经网络构造形成。能够有效克服现有的舌象分割方法存在样本量少，分类精度低，分类不准确，速度慢等问题。

Description

基于跨连接的卷积神经网络齿痕舌象分类方法及系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于跨连接的卷积神经网络齿痕舌象分类方法、一种基于跨连接的卷积神经网络齿痕舌象分类系统以及一种计算机可读存储介质。
背景技术
舌诊是祖国医学望诊中的重要组成部分，根据对患者舌面苔迹、舌质相关属性，包括颜色、形态等的观察，从而判断疾病所在，进而辨证论治。如今，中医舌诊的标准化、定量化、客观化研究已经成为中医诊断学现代化的主要研究方向，对整个中医学的发展有着极其深远的意义。
相关技术中，对舌象进行分类主要是依据医生常年工作经验对常见的一些舌象进行分类。
显然，依靠医生对舌象进行分类，由于医生所掌握的舌象样本数量较少，会导致舌象分类精度低，分类不准确以及效率低下等。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于跨连接的卷积神经网络齿痕舌象分类方法、一种基于跨连接的卷积神经网络齿痕舌象分类系统以及一种计算机可读存储介质。
本发明的一个方面，提供一种基于跨连接的卷积神经网络齿痕舌象分类方法，包括：
获取舌象图像，并对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；
对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；
根据预设的分类器对所述第二舌体图像进行分类，所述分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
可选地，所述对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像，包括：
根据灰度投影法去除所述舌象图像中的皮肤干扰部分，获得第一分割图像；
根据Otsu算法自动阈值分割去除所述第一分割图像中的牙齿及剩余皮肤部分，获得第二分割图像；
根据梯度边缘提取方法提取所述第一分割图像轮廓，并将获得的舌体轮廓与所述第二分割图像相交，获得所述第一舌体图像。
可选地，所述对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像，包括：
通过直方图均衡化改变所述第一舌体图像的对比度，以突出齿痕特征信息，获得所述第二舌体图像。
可选地，所述根据预设的分类器对所述第二舌体图像进行分类，包括：
分别提取所述第二舌体图像中的齿痕特征和RGB三色特征，形成四通道特征；
将所述四通道特征输入至所述分类器中，以对所述第二舌体图像进行分类。
可选地，所述卷积神经网络包括输入层、若干个卷积层、若干个池化层、全连接层以及输出层，至少两个所述池化层跨连接至所述全连接层。
可选地，还包括采用正向传播阶段和/或反向传播阶段对所述卷积神经网络进行训练的过程；其中，
所述正向传播阶段的训练过程是通过卷积层和池化层提取特征的过程；
所述反向传播阶段的训练过程是采用反向传播算法传递误差的过程，并采用随机梯度下降算法，更新网络中的权值参数。
可选地，所述正向传播阶段如下：
对于卷积层，第l层卷积层的第j个特征图
Figure BDA0002257518280000031
表示为：
其中，Mj是输入卷积层的特征图的集合，
Figure BDA0002257518280000033
表示连接l-1中第 i个特征图和第l层中第j个特征图的卷积核，f(·)为ReLU激活函数，
Figure BDA0002257518280000034
表示偏置；
对于池化层，第n层池化层中第i个特征图
Figure BDA0002257518280000035
表示为：
Figure BDA0002257518280000036
其中，
Figure BDA0002257518280000037
为连接权重，max(·)为最大池化操作，f(·)为ReLU 激活函数，为偏置；
对于全连接层，输出向量zk表示为：
zk＝f((αk)Tvk-1+bk)； (3)
其中，vk-1表示k-1层特征图拉成的向量，αk为连接权重，bk为偏置，f(·)为ReLU激活函数；
对于输出层，采用softmax分类器，输出的概率预测结果公式为：
Figure BDA0002257518280000039
其中，计算的是输入分类为类别j时的概率，w是权值参数， softmax分类器的损失函数为：
Figure BDA00022575182800000310
其中，1{·}是示性函数，1{值为真}＝1，1{值为假}＝0。
可选地，所述反向传播阶段如下：
通过正向传播阶段得到实际输出，首先需要计算网络中每一层的反馈传递误差：
Figure BDA0002257518280000041
其中，
Figure BDA0002257518280000044
代表的是矩阵或者向量对应的元素相乘，δ8是输出层的反馈传递误差，δ7是第7个隐含层的反馈传递误差，w8,w6,w5,w3分别表示对应隐含层的连接权重，f'表示ReLU激活函数的导数，δ6是第6个隐含层的反馈传递误差，δ5表示第6个隐含层 (6273≤i≤6528)部分传递给第5个隐含层的反馈传递误差，
Figure BDA0002257518280000042
表示第5个隐含层(1≤j≤256)部分传递给第4个隐含层的反馈传递误差，
Figure BDA0002257518280000043
表示外卷积运算，δ3是第3个隐含层的反馈传递误差，表示第3个隐含层(1≤j≤64)部分传递给第2个隐含层的反馈传递误差，δ1是第1个隐含层的反馈传递误差；
计算完每一层的反馈传递误差后，要计算权值和偏置的偏导数：
Figure BDA0002257518280000051
其中，公式(7)为网络中各层权值和偏置的偏导数，其中f7、 f6、f4、f2分别为第7个、第6个、第4个、第2个隐含层的特征图，input是输入的图像，Θ是内卷积运算。
本发明的另一个方面，提供一种基于跨连接的卷积神经网络齿痕舌象分类系统，包括：
获取模块，用于获取舌象图像，并对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；
增强模块，用于对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；
分类模块，用于根据预设的分类器对所述第二舌体图像进行分类，所述分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
可选地，所述获取模块具体用于：
根据灰度投影法去除所述舌象图像中的皮肤干扰部分，获得第一分割图像；
根据Otsu算法自动阈值分割去除所述第一分割图像中的牙齿及剩余皮肤部分，获得第二分割图像；
根据梯度边缘提取方法提取所述第一分割图像轮廓，并将获得的舌体轮廓与所述第二分割图像相交，获得所述第一舌体图像。
可选地，所述增强模块具体用于：
通过直方图均衡化改变所述第一舌体图像的对比度，以突出齿痕特征信息，获得所述第二舌体图像。
可选地，所述分类模块具体用于：
分别提取所述第二舌体图像中的齿痕特征和RGB三色特征，形成四通道特征；
将所述四通道特征输入至所述分类器中，以对所述第二舌体图像进行分类。
可选地，所述卷积神经网络包括输入层、若干个卷积层、若干个池化层、全连接层以及输出层，至少两个所述池化层跨连接至所述全连接层。
可选地，还包括训练模块，所述训练模块采用正向传播阶段和/或反向传播阶段对所述卷积神经网络进行训练；其中，
所述正向传播阶段的训练过程是通过卷积层和池化层提取特征的过程；
所述反向传播阶段的训练过程是采用反向传播算法传递误差的过程，并采用随机梯度下降算法，更新网络中的权值参数。
可选地，所述训练模块所采用的正向传播阶段如下：
对于卷积层，第l层卷积层的第j个特征图
Figure BDA0002257518280000061
表示为：
Figure BDA0002257518280000062
其中，Mj是输入卷积层的特征图的集合，
Figure BDA0002257518280000063
表示连接l-1中第 i个特征图和第l层中第j个特征图的卷积核，f(·)为ReLU激活函数，
Figure BDA0002257518280000064
表示偏置；
对于池化层，第n层池化层中第i个特征图
Figure BDA0002257518280000065
表示为：
Figure BDA0002257518280000066
其中，
Figure BDA0002257518280000067
为连接权重，max(·)为最大池化操作，f(·)为ReLU 激活函数，
Figure BDA0002257518280000068
为偏置；
对于全连接层，输出向量zk表示为：
zk＝f((αk)Tvk-1+bk)； (3)
其中，vk-1表示k-1层特征图拉成的向量，αk为连接权重，bk为偏置，f(·)为ReLU激活函数；
对于输出层，采用softmax分类器，输出的概率预测结果公式为：
其中，计算的是输入分类为类别j时的概率，w是权值参数， softmax分类器的损失函数为：
Figure BDA0002257518280000072
其中，1{·}是示性函数，1{值为真}＝1，1{值为假}＝0。
可选地，所述训练模块所采用的反向传播阶段如下：
通过正向传播阶段得到实际输出，首先需要计算网络中每一层的反馈传递误差：
其中，代表的是矩阵或者向量对应的元素相乘，δ8是输出层的反馈传递误差，δ7是第7个隐含层的反馈传递误差，w8,w6,w5,w3分别表示对应隐含层的连接权重，f'表示ReLU激活函数的导数，δ6是第6个隐含层的反馈传递误差，δ5表示第6个隐含层(6273≤i≤6528)部分传递给第5个隐含层的反馈传递误差，
Figure BDA0002257518280000081
表示第5个隐含层(1≤j≤256)部分传递给第4个隐含层的反馈传递误差，
Figure BDA0002257518280000082
表示外卷积运算，δ3是第3个隐含层的反馈传递误差，表示第3个隐含层(1≤j≤64)部分传递给第2个隐含层的反馈传递误差，δ1是第1个隐含层的反馈传递误差；
计算完每一层的反馈传递误差后，要计算权值和偏置的偏导数：
其中，公式(7)为网络中各层权值和偏置的偏导数，其中f7、 f6、f4、f2分别为第7个、第6个、第4个、第2个隐含层的特征图，input是输入的图像，Θ是内卷积运算。
本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
本发明的基于跨连接的卷积神经网络齿痕舌象分类方法及系统、存储介质，首先，通过对获得的舌象图像进行多尺度舌体分割预处理，可以有效去除舌象图像中的干扰信息，获得清晰的第一舌体图像；之后，通过对第一舌体图像进行图像增强处理，增强舌体的边缘特征，使齿痕特征得到了放大，作为一个特征通道，结合原始RGB三通道，形成4通道输入至分类器中，相当于在输入特征向量中增加了细节特征，在一定程度上弥补了样本不足的问题；最后，利用分类器对舌体图像进行分类，并且，在分类器的网络设计部分，为了提取到更多有效的信息和降低网络的训练难度，引入跨连思想，即将低层次特征和高层次特征相结合，使高层次特征与低层次特征有效地融合以优化网络，构造性能更好的分类器，提高分类精度从而提高对目标识别的准确率。能够有效克服现有的舌象分割方法存在样本量少，分类精度低，分类不准确，速度慢等问题。
附图说明
图1为本发明第一实施例中基于跨连接的卷积神经网络齿痕舌象分类方法的流程图；
图2为本发明第二实施例中卷积神经网络的结构示意图；
图3为本发明第三实施例中基于跨连接的卷积神经网络齿痕舌象分类系统的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
如图1所示，本发明的一个方面，提供一种基于跨连接的卷积神经网络齿痕舌象分类方法S100，包括：
S110、获取舌象图像，并对舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像。
具体地，在本步骤中，可以通过一些常规的图像获取设备(如摄像机、照相机或者舌象仪等)去获取舌象图像。所谓的对舌象图像进行多尺度舌体分割预处理的主要目的是为了获得清晰的舌体图像，为了实现如此目的，可以采用下述预处理方式：
根据灰度投影法去除舌象图像中的皮肤干扰部分，获得第一分割图像，这样，可以将分割区域集中于舌体周围。
根据Otsu算法自动阈值分割去除第一分割图像中的牙齿及剩余皮肤部分，获得第二分割图像，此时，舌体部分大致已分割出，但因有可能存在舌色和唇色相近，分割不完全状况，使舌轮廓并不清晰，为了解决这一问题，可以采用下述的梯度边缘提取方法。
根据梯度边缘提取方法提取第一分割图像轮廓，并将获得的舌体轮廓与第二分割图像相交，获得第一舌体图像，这样，可以获得清晰的第一舌体图像。
当然，除此以外，本领域技术人员还可以根据实际需要，选择其他一些的预处理算法实现获得清晰的舌体图像的目的，本实施例对此并不限定。
S120、对第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像。
具体地，在本步骤中，可以通过直方图均衡化改变第一舌体图像的对比度，从而实现突出齿痕特征信息，获得第二舌体图像。
当然，除此以外，本领域技术人员还可以根据实际需要，选择其他一些的图像增强处理方式突出齿痕特征信息即可。
S130、根据预设的分类器对第二舌体图像进行分类，分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
具体地，在本步骤中，可以将步骤S120所获得的第二舌体图像输入至分类器中，也即可以分别提取第二舌体图像中的齿痕特征和RGB三色特征，形成四通道特征，将四通道特征输入至分类器中，以对第二舌体图像进行分类。
本实施例的分类方法，首先，通过对获得的舌象图像进行多尺度舌体分割预处理，可以有效去除舌象图像中的干扰信息，获得清晰的第一舌体图像；之后，通过对第一舌体图像进行图像增强处理，增强舌体的边缘特征，使齿痕特征得到了放大，作为一个特征通道，结合原始RGB三通道，形成4通道输入至分类器中，相当于在输入特征向量中增加了细节特征，在一定程度上弥补了样本不足的问题；最后，利用分类器对舌体图像进行分类，并且，在分类器的网络设计部分，为了提取到更多有效的信息和降低网络的训练难度，引入跨连思想，即将低层次特征和高层次特征相结合，使高层次特征与低层次特征有效地融合以优化网络，构造性能更好的分类器，提高分类精度从而提高对目标识别的准确率。因此，本实施例的分类方法，能够有效克服现有的舌象分割方法存在样本量少，分类精度低，分类不准确，速度慢等问题。
在一些可选地实施方式中，如图2所示，卷积神经网络依次包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层，并且，第一池化层和第二池化层分别跨连接至全连接层。这样，通过将第一池化层和第二池化层分别跨连接至全连接层，也即将低层次特征和高层次特征相结合，使高层次特征与低层次特征有效地融合以优化网络，构造性能更好的分类器，从而可以提高分类精度，进而可以提高对目标识别的准确率。
需要说明的是，卷积神经网络除了可以采用如图2所示的布局以外，本领域技术人员还可以根据实际需要，对卷积神经网络采取其他一些布局，例如，设置更多或更少数量的卷积层和池化层等，并采取更多数量的池化层与全连接层跨连接等等，凡是采用本发明的跨层连接思想均属于本发明的保护范围。
在一些可选地实施方式中，为了提高分类器对舌体图像的分类准确度，分类方法还包括采用正向传播阶段和/或反向传播阶段对卷积神经网络进行训练的过程；其中，正向传播阶段的训练过程是通过卷积层和池化层提取特征的过程；反向传播阶段的训练过程是采用反向传播算法传递误差的过程，并采用随机梯度下降算法，更新网络中的权值参数。
具体地，正向传播阶段如下：
对于卷积层，第l层卷积层的第j个特征图
Figure BDA0002257518280000111
表示为：
Figure BDA0002257518280000112
其中，Mj是输入卷积层的特征图的集合，
Figure BDA0002257518280000113
表示连接l-1中第i个特征图和第l层中第j个特征图的卷积核，f(·)为ReLU激活函数，
Figure BDA0002257518280000114
表示偏置；
对于池化层，第n层池化层中第i个特征图
Figure BDA0002257518280000121
表示为：
Figure BDA0002257518280000122
其中，
Figure BDA0002257518280000123
为连接权重，max(·)为最大池化操作，f(·)为ReLU 激活函数，
Figure BDA0002257518280000124
为偏置；
对于全连接层，输出向量zk表示为：
zk＝f((αk)Tvk-1+bk)； (3)
其中，vk-1表示k-1层特征图拉成的向量，αk为连接权重，bk为偏置，f(·)为ReLU激活函数；
对于输出层，采用softmax分类器，输出的概率预测结果公式为：
Figure BDA0002257518280000125
其中，计算的是输入分类为类别j时的概率，w是权值参数， softmax分类器的损失函数为：
Figure BDA0002257518280000126
其中，1{·}是示性函数，1{值为真}＝1，1{值为假}＝0。
具体地，对于反向传播阶段如下：
通过正向传播阶段得到实际输出，首先需要计算网络中每一层的反馈传递误差：
Figure BDA0002257518280000131
其中，
Figure BDA0002257518280000135
代表的是矩阵或者向量对应的元素相乘，δ8是输出层的反馈传递误差，δ7是第7个隐含层的反馈传递误差，w8,w6,w5,w3分别表示对应隐含层的连接权重，f'表示ReLU激活函数的导数，δ6是第6个隐含层的反馈传递误差，δ5表示第6个隐含层 (6273≤i≤6528)部分传递给第5个隐含层的反馈传递误差，
Figure BDA0002257518280000132
表示第5个隐含层(1≤j≤256)部分传递给第4个隐含层的反馈传递误差，
Figure BDA0002257518280000133
表示外卷积运算，δ3是第3个隐含层的反馈传递误差，表示第3个隐含层(1≤j≤64)部分传递给第2个隐含层的反馈传递误差，δ1是第1个隐含层的反馈传递误差；
计算完每一层的反馈传递误差后，要计算权值和偏置的偏导数：
Figure BDA0002257518280000134
其中，公式(7)为网络中各层权值和偏置的偏导数，其中f7、f6、f4、f2分别为第7个、第6个、第4个、第2个隐含层的特征图，input是输入的图像，Θ是内卷积运算。
本发明的另一个方面，如图3所示，提供一种基于跨连接的卷积神经网络齿痕舌象分类系统100，该分类系统100可以应用于前文记载的分类方法，具体可以参考前文相关记载，在此不作赘述。分类系统100包括：
获取模块110，用于获取舌象图像，并对舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；
增强模块120，用于对第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；
分类模块130，用于根据预设的分类器对第二舌体图像进行分类，分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
本实施例的分类系统，获取模块通过对获得的舌象图像进行多尺度舌体分割预处理，可以有效去除舌象图像中的干扰信息，获得清晰的第一舌体图像；增强模块通过对第一舌体图像进行图像增强处理，增强舌体的边缘特征，使齿痕特征得到了放大，作为一个特征通道，结合原始RGB三通道，形成4通道输入至分类器中，相当于在输入特征向量中增加了细节特征，在一定程度上弥补了样本不足的问题；分类模块利用分类器对舌体图像进行分类，并且，在分类器的网络设计部分，为了提取到更多有效的信息和降低网络的训练难度，引入跨连思想，即将低层次特征和高层次特征相结合，使高层次特征与低层次特征有效地融合以优化网络，构造性能更好的分类器，提高分类精度从而提高对目标识别的准确率。因此，本实施例的分类系统，能够有效克服现有的舌象分割装置存在样本量少，分类精度低，分类不准确，速度慢等问题。
在一些可选地实施方式中，获取模块110具体用于：
根据灰度投影法去除舌象图像中的皮肤干扰部分，获得第一分割图像；
根据Otsu算法自动阈值分割去除第一分割图像中的牙齿及剩余皮肤部分，获得第二分割图像；
根据梯度边缘提取方法提取第一分割图像轮廓，并将获得的舌体轮廓与第二分割图像相交，获得第一舌体图像。
在一些可选地实施方式中，增强模块120具体用于：
通过直方图均衡化改变第一舌体图像的对比度，以突出齿痕特征信息，获得第二舌体图像。
在一些可选地实施方式中，分类模块130具体用于：
分别提取第二舌体图像中的齿痕特征和RGB三色特征，形成四通道特征；
将四通道特征输入至分类器中，以对第二舌体图像进行分类。
在一些可选地实施方式中，如图2所示，卷积神经网络可以依次包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层，并且，第一池化层和第二池化层分别跨连接至全连接层。
在一些可选地实施方式中，如图3所示，分类系统100还包括训练模块140，训练模块140采用正向传播阶段和/或反向传播阶段对卷积神经网络进行训练；其中，
正向传播阶段的训练过程是通过卷积层和池化层提取特征的过程；
反向传播阶段的训练过程是采用反向传播算法传递误差的过程，并采用随机梯度下降算法，更新网络中的权值参数。
具体地，训练模块140所采用的正向传播阶段如下：
对于卷积层，第l层卷积层的第j个特征图
Figure BDA0002257518280000151
表示为：
Figure BDA0002257518280000152
其中，Mj是输入卷积层的特征图的集合，
Figure BDA0002257518280000153
表示连接l-1中第 i个特征图和第l层中第j个特征图的卷积核，f(·)为ReLU激活函数，
Figure BDA0002257518280000154
表示偏置；
对于池化层，第n层池化层中第i个特征图
Figure BDA0002257518280000161
表示为：
Figure BDA0002257518280000162
其中，
Figure BDA0002257518280000163
为连接权重，max(·)为最大池化操作，f(·)为ReLU 激活函数，
Figure BDA0002257518280000164
为偏置；
对于全连接层，输出向量zk表示为：
zk＝f((αk)Tvk-1+bk)； (3)
其中，vk-1表示k-1层特征图拉成的向量，αk为连接权重，bk为偏置，f(·)为ReLU激活函数；
对于输出层，采用softmax分类器，输出的概率预测结果公式为：
Figure BDA0002257518280000165
其中，计算的是输入分类为类别j时的概率，w是权值参数， softmax分类器的损失函数为：
Figure BDA0002257518280000166
其中，1{·}是示性函数，1{值为真}＝1，1{值为假}＝0。
具体地，训练模块140所采用的反向传播阶段如下：
通过正向传播阶段得到实际输出，首先需要计算网络中每一层的反馈传递误差：
Figure BDA0002257518280000171
其中，
Figure BDA0002257518280000175
代表的是矩阵或者向量对应的元素相乘，δ8是输出层的反馈传递误差，δ7是第7个隐含层的反馈传递误差，w8,w6,w5,w3分别表示对应隐含层的连接权重，f'表示ReLU激活函数的导数，δ6是第6个隐含层的反馈传递误差，δ5表示第6个隐含层(6273≤i≤6528)部分传递给第5个隐含层的反馈传递误差，
Figure BDA0002257518280000172
表示第5个隐含层(1≤j≤256)部分传递给第4个隐含层的反馈传递误差，
Figure BDA0002257518280000173
表示外卷积运算，δ3是第3个隐含层的反馈传递误差，表示第3个隐含层(1≤j≤64)部分传递给第2个隐含层的反馈传递误差，δ1是第1个隐含层的反馈传递误差；
计算完每一层的反馈传递误差后，要计算权值和偏置的偏导数：
Figure BDA0002257518280000174
其中，公式(7)为网络中各层权值和偏置的偏导数，其中f7、f6、f4、f2分别为第7个、第6个、第4个、第2个隐含层的特征图，input是输入的图像，Θ是内卷积运算。
本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现根据前文记载的方法，具体可以参考前文相关记载，在此不作赘述。
其中，计算机可读介质可以是本发明的装置、设备、系统中所包含的，也可以是单独存在。
其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于跨连接的卷积神经网络齿痕舌象分类方法，其特征在于，包括：
获取舌象图像，并对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；
对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；
根据预设的分类器对所述第二舌体图像进行分类，所述分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
2.根据权利要求1所述的方法，其特征在于，所述对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像，包括：
根据灰度投影法去除所述舌象图像中的皮肤干扰部分，获得第一分割图像；
根据Otsu算法自动阈值分割去除所述第一分割图像中的牙齿及剩余皮肤部分，获得第二分割图像；
根据梯度边缘提取方法提取所述第一分割图像轮廓，并将获得的舌体轮廓与所述第二分割图像相交，获得所述第一舌体图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像，包括：
通过直方图均衡化改变所述第一舌体图像的对比度，以突出齿痕特征信息，获得所述第二舌体图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据预设的分类器对所述第二舌体图像进行分类，包括：
分别提取所述第二舌体图像中的齿痕特征和RGB三色特征，形成四通道特征；
将所述四通道特征输入至所述分类器中，以对所述第二舌体图像进行分类。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述卷积神经网络包括输入层、若干个卷积层、若干个池化层、全连接层以及输出层，至少两个所述池化层跨连接至所述全连接层。
6.根据权利要求1-3任一项所述的方法，其特征在于，还包括采用正向传播阶段和/或反向传播阶段对所述卷积神经网络进行训练的过程；其中，
所述正向传播阶段的训练过程是通过卷积层和池化层提取特征的过程；
所述反向传播阶段的训练过程是采用反向传播算法传递误差的过程，并采用随机梯度下降算法，更新网络中的权值参数。
7.根据权利要求6所述的方法，其特征在于，所述正向传播阶段如下：
对于卷积层，第l层卷积层的第j个特征图
Figure FDA0002257518270000021
表示为：
Figure FDA0002257518270000022
其中，Mj是输入卷积层的特征图的集合，
Figure FDA0002257518270000023
表示连接l-1中第i个特征图和第l层中第j个特征图的卷积核，f(·)为ReLU激活函数，
Figure FDA0002257518270000024
表示偏置；
对于池化层，第n层池化层中第i个特征图表示为：
Figure FDA0002257518270000026
其中，为连接权重，max(·)为最大池化操作，f(·)为ReLU激活函数，
Figure FDA0002257518270000028
为偏置；
对于全连接层，输出向量zk表示为：
zk＝f((αk)Tvk-1+bk)；(3)
其中，vk-1表示k-1层特征图拉成的向量，αk为连接权重，bk为偏置，f(·)为ReLU激活函数；
对于输出层，采用softmax分类器，输出的概率预测结果公式为：
Figure FDA0002257518270000031
其中，计算的是输入分类为类别j时的概率，w是权值参数，softmax分类器的损失函数为：
Figure FDA0002257518270000032
其中，1{·}是示性函数，1{值为真}＝1，1{值为假}＝0。
8.根据权利要求6所述的方法，其特征在于，所述反向传播阶段如下：
通过正向传播阶段得到实际输出，首先需要计算网络中每一层的反馈传递误差：
Figure FDA0002257518270000033
其中，
Figure FDA0002257518270000034
代表的是矩阵或者向量对应的元素相乘，δ8是输出层的反馈传递误差，δ7是第7个隐含层的反馈传递误差，w8,w6,w5,w3分别表示对应隐含层的连接权重，f'表示ReLU激活函数的导数，δ6是第6个隐含层的反馈传递误差，δ5表示第6个隐含层(6273≤i≤6528)部分传递给第5个隐含层的反馈传递误差，δi 4(1≤i≤64)表示第5个隐含层(1≤j≤256)部分传递给第4个隐含层的反馈传递误差，
Figure FDA0002257518270000042
表示外卷积运算，δ3是第3个隐含层的反馈传递误差，表示第3个隐含层(1≤j≤64)部分传递给第2个隐含层的反馈传递误差，δ1是第1个隐含层的反馈传递误差；
计算完每一层的反馈传递误差后，要计算权值和偏置的偏导数：
Figure FDA0002257518270000041
其中，公式(7)为网络中各层权值和偏置的偏导数，其中f7、f6、f4、f2分别为第7个、第6个、第4个、第2个隐含层的特征图，input是输入的图像，Θ是内卷积运算。
9.一种基于跨连接的卷积神经网络齿痕舌象分类系统，其特征在于，包括：
获取模块，用于获取舌象图像，并对所述舌象图像进行多尺度舌体分割预处理，以获得第一舌体图像；
增强模块，用于对所述第一舌体图像进行图像增强处理，以获得突出齿痕特征信息的第二舌体图像；
分类模块，用于根据预设的分类器对所述第二舌体图像进行分类，所述分类器采用基于多元信息的跨连接层卷积神经网络构造形成。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时能实现根据权利要求1-8任一项所述的方法。
CN201911059566.0A 2019-11-01 2019-11-01 基于跨连接的卷积神经网络齿痕舌象分类方法及系统 Active CN110826565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911059566.0A CN110826565B (zh) 2019-11-01 2019-11-01 基于跨连接的卷积神经网络齿痕舌象分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911059566.0A CN110826565B (zh) 2019-11-01 2019-11-01 基于跨连接的卷积神经网络齿痕舌象分类方法及系统

Publications (2)

Publication Number Publication Date
CN110826565A true CN110826565A (zh) 2020-02-21
CN110826565B CN110826565B (zh) 2023-07-14

Family

ID=69551922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911059566.0A Active CN110826565B (zh) 2019-11-01 2019-11-01 基于跨连接的卷积神经网络齿痕舌象分类方法及系统

Country Status (1)

Country Link
CN (1) CN110826565B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681238A (zh) * 2020-06-12 2020-09-18 电子科技大学 一种基于神经网络的齿痕舌识别方法及系统
CN111798445A (zh) * 2020-07-17 2020-10-20 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN116740054A (zh) * 2023-08-08 2023-09-12 天筛(聊城)生物科技有限公司 一种基于图像处理的舌象齿痕检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598906A (zh) * 2015-03-04 2015-05-06 西安工业大学 车辆外轮廓检测方法及其装置
CN105030200A (zh) * 2015-07-24 2015-11-11 天津大学 一种基于绿色单色光源的中医舌质舌苔分离方法
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107403422A (zh) * 2017-08-04 2017-11-28 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108647718A (zh) * 2018-05-10 2018-10-12 江苏大学 一种不同材料金相组织自动分类评级的方法
CN108734108A (zh) * 2018-04-24 2018-11-02 浙江工业大学 一种基于ssd网络的裂纹舌识别方法
CN109410168A (zh) * 2018-08-31 2019-03-01 清华大学 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN109766848A (zh) * 2019-01-15 2019-05-17 四川大学 一种基于监控视频的行人视力状况调查分析方法
CN109978895A (zh) * 2019-03-29 2019-07-05 北京峰云视觉技术有限公司 一种舌体图像分割方法和装置
CN110298829A (zh) * 2019-06-19 2019-10-01 上海国民集团健康科技有限公司 一种舌诊方法、装置、系统、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598906A (zh) * 2015-03-04 2015-05-06 西安工业大学 车辆外轮廓检测方法及其装置
CN105030200A (zh) * 2015-07-24 2015-11-11 天津大学 一种基于绿色单色光源的中医舌质舌苔分离方法
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107403422A (zh) * 2017-08-04 2017-11-28 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108734108A (zh) * 2018-04-24 2018-11-02 浙江工业大学 一种基于ssd网络的裂纹舌识别方法
CN108647718A (zh) * 2018-05-10 2018-10-12 江苏大学 一种不同材料金相组织自动分类评级的方法
CN109410168A (zh) * 2018-08-31 2019-03-01 清华大学 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN109766848A (zh) * 2019-01-15 2019-05-17 四川大学 一种基于监控视频的行人视力状况调查分析方法
CN109978895A (zh) * 2019-03-29 2019-07-05 北京峰云视觉技术有限公司 一种舌体图像分割方法和装置
CN110298829A (zh) * 2019-06-19 2019-10-01 上海国民集团健康科技有限公司 一种舌诊方法、装置、系统、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
张婷: "深度神经网络的核映射结构和跨连结构研究", 《中国博士学位论文全文数据库信息科技辑》 *
张灵 等: "基于灰度投影和阈值自动选取的舌像分割方法", 《中国组织工程研究与临床康复》 *
王丽冉;汤一平;陈朋;何霞;袁公萍;: "面向舌体分割的两阶段卷积神经网络设计", 《中国图象图形学报》 *
项里伟: "脾虚舌象识别的图像特征提取优化算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
黎玲萍: "基于深度学习的遥感图像分类算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681238A (zh) * 2020-06-12 2020-09-18 电子科技大学 一种基于神经网络的齿痕舌识别方法及系统
CN111798445A (zh) * 2020-07-17 2020-10-20 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN111798445B (zh) * 2020-07-17 2023-10-31 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN116740054A (zh) * 2023-08-08 2023-09-12 天筛(聊城)生物科技有限公司 一种基于图像处理的舌象齿痕检测方法
CN116740054B (zh) * 2023-08-08 2023-10-20 天筛(聊城)生物科技有限公司 一种基于图像处理的舌象齿痕检测方法

Also Published As

Publication number Publication date
CN110826565B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN109598709B (zh) 基于融合深度特征的乳腺辅助诊断系统及方法
CN107748900B (zh) 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN110298383B (zh) 基于多模态深度学习的病理分类方法及系统
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111798464A (zh) 基于深度学习的淋巴瘤病理图像智能识别方法
CN110826565A (zh) 基于跨连接的卷积神经网络齿痕舌象分类方法及系统
WO2022001237A1 (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN110263755B (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN111754531A (zh) 图像实例分割方法和装置
CN113256605B (zh) 一种基于深度神经网络的乳腺癌图像识别分类方法
CN110880177A (zh) 一种图像识别方法及装置
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
CN115272647A (zh) 一种肺部图像的识别处理方法及系统
CN113781403B (zh) 一种胸部ct影像处理方法与装置
CN107729863B (zh) 人体指静脉识别方法
CN111222559B (zh) 对小样本图像进行分类的主成分分析网络的训练方法
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
CN116258686A (zh) 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant