CN110705425A - 一种基于图卷积网络的舌象多标签分类学习方法 - Google Patents

一种基于图卷积网络的舌象多标签分类学习方法 Download PDF

Info

Publication number
CN110705425A
CN110705425A CN201910912799.4A CN201910912799A CN110705425A CN 110705425 A CN110705425 A CN 110705425A CN 201910912799 A CN201910912799 A CN 201910912799A CN 110705425 A CN110705425 A CN 110705425A
Authority
CN
China
Prior art keywords
tongue
label
image
tongue body
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910912799.4A
Other languages
English (en)
Other versions
CN110705425B (zh
Inventor
李自然
秦建增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Sisi Digital Technology Co Ltd
Original Assignee
Guangzhou Sisi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Sisi Digital Technology Co Ltd filed Critical Guangzhou Sisi Digital Technology Co Ltd
Priority to CN201910912799.4A priority Critical patent/CN110705425B/zh
Publication of CN110705425A publication Critical patent/CN110705425A/zh
Application granted granted Critical
Publication of CN110705425B publication Critical patent/CN110705425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积网络的舌象多标签分类学习方法，包括如下步骤：S1、对原始图像进行舌体检测，抽取得到舌体图像；S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到大样本多标签数据集；S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。本发明通过一个图卷积网络同时对舌象的多个标签进行分类诊断，充分学习标签之间的依赖关系，使得机器舌诊的过程变得更加高效准确。

Description

一种基于图卷积网络的舌象多标签分类学习方法
技术领域
本发明涉及中医舌诊机器视觉的检测与分类技术领域，具体涉及一种基于图卷积网络的舌体检测、舌体预处理、舌体半自动化标注流程以及舌象多标签分类的新方法。
背景技术
中医诊断依据的四诊“望，闻，问，切”中，“望”乃首要。而“望舌观病”又是“望诊”的重要组成部分，因为人体的五脏六腑通过经络与舌头相连，人体的变化情况均可反映在舌象上。中医舌诊以肉眼观察，主观性较强。因此，定量化分析方法能够为更精准的舌诊提供依据。
舌诊本质上就是图像分类问题。随着近年来机器视觉领域软硬件的蓬勃发展，以及数据驱动型算法的研究发展，对舌象的分类精度越来越高。但多数研究中的舌象分类任务，被设定为单标签的多类(或二元)分类问题，而少数运用多标签学习的研究，其标签数量较少，且并未运用深度学习技术，因此效果一般。医学的分类问题，从实用性角度，应该是多输出分类的，而多标签分类即是多输出分类的一种。在多标签学习中大致有三种策略：(1)将多标签问题拆解成多个独立的二元分类问题：如果标签之间不存在依赖关系，该策略是比较高效的；(2)考虑成对的标签结构关系：比如任意两个标签之间的相关性；(3)同时考虑多个标签之间的复杂的拓扑关系。舌象的标签之间必定存在一定的依赖关系，因此通过挖掘标签间的依赖关系，对于多标签学习在舌象分类领域的实用性发展，具有非常重要的意义。
以往大多数针对舌象的分类研究，是对各个标签进行单独分类，忽略了标签之间的依赖关系，且结果输出了多个分类模型，也就意味着在推断时，需要加载多个模型，从而影响效率。少数采用多标签的研究要么没有采用深度学习的技术，要么没有充分挖掘标签之间的依赖关系，影响了准确度。
发明内容
针对现有技术的不足，本发明旨在提供一种基于图卷积网络的舌象多标签分类学习方法，通过一个图卷积网络同时对舌象的多个标签进行分类诊断，充分学习标签之间的依赖关系，使得机器舌诊的过程变得更加高效准确。
为了实现上述目的，本发明采用如下技术方案：
一种基于图卷积网络的舌象多标签分类学习方法，包括如下步骤：
S1、对原始图像进行舌体检测，抽取得到舌体图像；
S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；
S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到得到大样本多标签数据集；
S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。
进一步地，步骤S1的具体过程如下：
S1.1、数据准备
S1.1.1、CenterNet的输入数据X为原始图像，先对原始图像进行随机缩放和平移的仿射变换，并设定变换后的图像大小为512×512，然后缩放像素到[0,1]之间，最后做归一化处理；
S1.1.2、CenterNet的输入数据Y包括舌体中心点热力图Yhm、舌体中心点误差下限Yreg以及舌体边界框的宽和高Ywh；在生成输入数据Y时，首先对边界框的坐标进行与输入数据X同样的缩放和平移的仿射变换，并设定变换后的图像大小为128×128；然后根据变换后的舌体边界框的坐标(xmin,ymin,xmax,ymax)，计算舌体边界框的宽w、高h和中心点坐标误差下限reg：
h＝ymax-ymin
w＝xmax-xmin
Figure BDA0002215195360000031
最后根据二维高斯核函数构建舌体中心点热力图Hx,y(P)：
Figure BDA0002215195360000032
其中，
r＝min(r1,r2,r3),
Figure BDA0002215195360000041
Figure BDA0002215195360000042
Figure BDA0002215195360000043
Figure BDA0002215195360000044
上式中，xmin是舌体边界框左上角的横坐标，ymin是舌体边界框左上角的纵坐标，xmax是舌体边界框右下角的横坐标，ymax是舌体边界框右下角的纵坐标，w是舌体边界框的宽，h是舌体边界框的高，reg是舌体中心点坐标误差下限，Hx,y(P)∈[0,1]，r是高斯核半径，m∈[0.6,0.9]，px是舌体中心点横坐标，py是舌体中心点纵坐标；
S1.2、模型创建：
利用深层聚和网络创建四个层级的网络，第一个层级网络共有33个隐含层，各层输出计算如下：
Figure BDA0002215195360000045
Figure BDA0002215195360000046
Figure BDA0002215195360000047
Figure BDA0002215195360000048
Figure BDA0002215195360000049
Figure BDA00022151953600000410
Figure BDA00022151953600000411
Figure BDA00022151953600000412
Figure BDA00022151953600000414
Figure BDA00022151953600000415
Figure BDA00022151953600000416
Figure BDA00022151953600000417
Figure BDA0002215195360000051
Figure BDA0002215195360000052
Figure BDA0002215195360000053
Figure BDA0002215195360000054
Figure BDA0002215195360000056
Figure BDA0002215195360000057
Figure BDA0002215195360000058
Figure BDA0002215195360000059
Figure BDA00022151953600000512
Figure BDA00022151953600000513
Figure BDA00022151953600000514
Figure BDA00022151953600000515
Figure BDA00022151953600000516
Figure BDA00022151953600000517
Figure BDA00022151953600000518
Figure BDA00022151953600000519
Figure BDA00022151953600000520
第二个层级网络共有18个隐含层，各层输出计算如下：
Figure BDA00022151953600000521
Figure BDA00022151953600000522
Figure BDA00022151953600000523
Figure BDA00022151953600000524
Figure BDA00022151953600000526
Figure BDA00022151953600000528
Figure BDA00022151953600000529
Figure BDA0002215195360000061
Figure BDA0002215195360000062
Figure BDA0002215195360000063
Figure BDA0002215195360000064
Figure BDA0002215195360000065
Figure BDA0002215195360000067
Figure BDA0002215195360000068
Figure BDA0002215195360000069
Figure BDA00022151953600000610
第三个层级网络共有6个隐含层，各层输出计算如下：
Figure BDA00022151953600000611
Figure BDA00022151953600000613
Figure BDA00022151953600000615
Figure BDA00022151953600000616
第四个层级网络对前三个层级网络分别接全连接层，各层输出计算如下：
Figure BDA00022151953600000617
Figure BDA00022151953600000618
上式中，X是训练数据；Wi,j表示第i层隐含层和第j层隐含层之间的卷积参数；
Figure BDA00022151953600000620
表示第i层隐含层和第j层隐含层之间的、并列第d个的卷积参数；
Figure BDA00022151953600000621
表示第i层隐含层和第j层隐含层之间的转置卷积参数；
Figure BDA00022151953600000622
表示第k层的输出；
Figure BDA00022151953600000623
是中心点误差下限的预测值；
Figure BDA00022151953600000624
是舌体中心点热力图预测值；
Figure BDA00022151953600000625
是舌体边界框的宽和高的预测值；MP(·)表示最大池化函数；σ(·)表示ReLu函数；BN(·)是batch正则化函数；concat(·)表示将一个或多个输入进行融合的函数；fDCN(·)是可变卷积函数。
进一步地，步骤S1.2中，对于每一个batch，模型训练的损失函数为：
loss＝losshm+λwhlosswh+λreglossreg；
Figure BDA0002215195360000071
Figure BDA0002215195360000072
其中，
Figure BDA0002215195360000073
其中，b是一个batch的大小，x,y＝[1,2,...,128]，N是中值为1的元素个数。
更进一步地，步骤S1.2中，模型训练的优化器用的是Adam算法，学习率设置为0.000125。
进一步地，所述去反光点处理的具体过程为：
S2.1.1、将舌体图像从RGB空间转为HSV色彩空间，并且拆分成H,S,V三个矩阵，并构造一个椭圆形态的结构矩阵f和矩阵S′：
Figure BDA0002215195360000082
S′ij为矩阵S′的元素，Sij为矩阵S的元素；
S2.1.2、利用结构矩阵f，对矩阵S′ij进行腐蚀处理，腐蚀处理后的矩阵记为Se；根据矩阵Se中值等于0的元素(Se)ij，将矩阵V中相应位置上的元素Vij设置为0，即：
Vij＝0,if(Se)ij＝0；
然后创建矩阵V′：
S2.1.3、用所述结构矩阵f对V′ij进行两次膨胀处理，记膨胀处理后的矩阵为Vd；矩阵Vd即为修复掩码，其中非零元素的位置即为需要修复的像素位置；
S2.1.4、利用基于Navier-Stokes的方法，对需要修复的像素位置附近的圆形区域进行插值处理。
进一步地，所述锐化处理的具体过程包括：
对经过去反光点处理后的舌体图像，使用滤波器为Ws进行卷积处理，所述滤波器Ws如下所示：
进一步地，所述摆正处理的具体过程包括：
S2.3.1、首先将锐化处理后的舌体图像大小转换至300×1000，然后将RGB彩色空间转为灰度空间，再对灰度图进行二值阈值化操作，阈值设置为127，填充值为255；
S2.3.2、对二值阈值化后的舌体图像进行查找外轮廓处理，并认为包含像素点最多的外轮廓即为舌体外轮廓；
S2.3.3、用椭圆来拟合舌体外轮廓，返回旋转角度θ；
S2.3.4、设舌体摆正角度为θ′(非弧度制)，则
Figure BDA0002215195360000091
设舌体图像是
Figure BDA0002215195360000092
h'和w'分别是图像的高和宽，其中心点为
Figure BDA0002215195360000093
那么舌体图像的旋转矩阵R为：
最后利用旋转矩阵R，对舌体图像进行旋转操作。
进一步地，步骤S3的具体过程如下：
S3.1、针对每个标签提取小样本舌体图像，医学专业人员对舌体图像的各个标签进行单独标注，标注方式为图像级别的弱监督标注，且尽量保证各个标签的各类小样本数量是均衡的；
S3.2、根据各个标签的特征在舌体表面的分布情况以及标签内的子类数目，采用步骤S3.1得到的经弱监督标注后小样本进行训练得到各标签的均衡小样本模型；具体为，当标签的特征分散在舌体表面的各个部位且标签内的子类数目等于1，则训练该标签的检测小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目等于2，则训练该标签的二分类小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目大于2，则训练该标签的多分类小样本模型；
S3.3、训练出各标签的小样本模型后，对各个标签的剩余样本进行推断，并在各个标签于舌体表面集中分布的区域添加标注框信息，使得将原先的弱监督标注转为强监督标注；
S3.4、将所关注舌体区域是一样的标签合并为一个标签，得到大样本多标签数据集；
S3.5、再让医学专业人员进行复核，包括调整边框位置，添加未检测出的标签，或新增其他标签，得到最终的大样本多标签数据集。
进一步地，步骤S4的具体过程为：
图卷积网络的输入数据X包括舌体图像
Figure BDA0002215195360000101
和各个标签的词嵌入向量
Figure BDA0002215195360000102
其中16是一个batch的大小，3是图像通道数，512是舌体图像大小，C是标签数量，t是词嵌入向量的维度；输入数据Y＝{0,1}16×C，则具体的向前模型如下：
Figure BDA0002215195360000103
g1＝σl(AZw1+b1)
g2＝(Ag1w2+b2)T
Figure BDA0002215195360000104
其中，
Figure BDA0002215195360000111
Figure BDA0002215195360000112
Figure BDA0002215195360000113
Figure BDA0002215195360000114
Figure BDA0002215195360000115
Figure BDA0002215195360000116
Figure BDA0002215195360000117
其中，Dij为矩阵D的元素，A″ij为矩阵A″的元素，Bn(·)表示函数B自身复合n次的函数；MP(·)表示最大池化函数；σ(·)表示ReLu函数；σl(·)表示LeakyReLu函数；BN(·)是batch正则化函数；Wk×k表示k×k卷积核；wi,bi,i＝{1,2}分别表示图卷积层的权值参数和偏置；A是相关矩阵；mij是第i个标签和第j个标签共同出现的数量；nj表示第j个标签出现的数量；
Figure BDA0002215195360000118
是最终的预测结果。
更进一步地，模型训练的损失函数用的是多标签软间隔损失，则每一个batch的损失为：
Figure BDA0002215195360000119
Figure BDA00022151953600001110
其中，Y是真实数据值，
Figure BDA00022151953600001111
是预测值，σs(·)是Sigmoid激活函数，N是一个batch的大小，C是标签数量；
模型训练的优化器用的是随机梯度下降算法，学习率设置为0.1，冲量设置为0.9，权值衰减系数为0.0001。
本发明的有益效果在于：
1、本发明通过一个图卷积网络同时对舌象的多个标签进行分类诊断，充分学习标签之间的依赖关系，使得机器舌诊的过程变得更加高效准确；
2、本发明使用了基于CenterNet的舌体检测算法，相比Anchor-based的检测算法，该方法更简单、高效、准确；
3、传统的舌象反光点处理基本上是基于RGB空间或者灰色空间进行阈值筛选，处理后的效果并不是非常明显。本发明将图像的RGB空间转为HSV色彩空间，然后对不饱和的像素，进行腐蚀、膨胀等处理，生成高亮区域掩码，最后对该掩码区域进行插值处理，以达到修复反光点的效果；
4、本发明对舌体图像进行摆正的预处理，因为如果舌体不正，按模板分出来的位置就不准确，本发明通过一系列的缩放、椭圆拟合、旋转和仿射等处理，可以简单、准确的摆正舌体；
5、本发明建立了舌象多标签标注优化流程，大大减少了医学专员的标注工作量。
附图说明
图1为本发明实施例方法的总体流程示意图；
图2为本发明实施例方法中的CenterNet舌体检测示意图；
图3为本发明实施例方法中去反光点处理示意图；
图4为本发明实施例方法中舌体锐化处理示意图；
图5为本发明实施例方法中舌体摆正处理示意图；
图6为本发明实施例方法中数据准备步骤的处理示意图；
图7为本发明实施例方法中舌象多标签标注优化流程示意图；
图8为本发明实施例方法中的模板示意图；
图9为本发明实施例方法中小样本模型的训练示意图；
图10为本发明实施例方法中标签合并示意图；
图11为本发明实施例方法中基于图卷积网络的舌体多标签分类模型示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本实施例提供一种基于图卷积网络的舌象多标签分类学习方法，如图1所示，包括如下步骤：
S1、对原始图像进行舌体检测，抽取得到舌体图像。本步骤可以有效减少干扰信息。
具体地，本实施例中，使用了基于CenterNet的舌体检测算法对原始图像进行舌体检测。CenterNet属于Anchor-free检测算法。传统的基于Anchor-based的舌体检测算法，都需要枚举出几乎所有潜在的目标检测框，然后进行分类，这样既浪费资源又不高效，而且还需要后续的很多处理。在本实施例中，CenterNet利用舌体检测框的中心点进行建模，先对该中心点的坐标进行估计，然后对舌体检测框的顶点坐标进行回归(如图2所示)。这是一个端对端的方法，相比Anchor-based的检测算法，该方法更简单、高效、准确。具体过程包括：
S1.1、数据准备
S1.1.1、CenterNet的输入数据X为原始图像，先对原始图像进行随机缩放和平移的仿射变换，并设定变换后的图像大小为512×512，然后缩放像素到[0,1]之间，最后做归一化处理(图6(a))。
S1.1.2、CenterNet的输入数据Y包括舌体中心点热力图Yhm、舌体中心点误差下限Yreg以及舌体边界框的宽和高Ywh；在生成输入数据Y时，首先对边界框的坐标进行与输入数据X同样的缩放和平移的仿射变换，并设定变换后的图像大小为128×128(图6(b))；然后根据变换后的舌体边界框的坐标(xmin,ymin,xmax,ymax)，计算舌体边界框的宽w、高h和中心点坐标误差下限reg：
h＝ymax-ymin
w＝xmax-xmin
Figure BDA0002215195360000141
最后根据二维高斯核函数构建舌体中心点热力图Hx,y(P)：
Figure BDA0002215195360000142
其中，
r＝min(r1,r2,r3),
Figure BDA0002215195360000151
Figure BDA0002215195360000152
Figure BDA0002215195360000153
Figure BDA0002215195360000154
上式中，xmin是舌体边界框左上角的横坐标，ymin是舌体边界框左上角的纵坐标，xmax是舌体边界框右下角的横坐标，ymax是舌体边界框右下角的纵坐标，w是舌体边界框的宽，h是舌体边界框的高，reg是舌体中心点坐标误差下限，Hx,y(P)∈[0,1]，r是高斯核半径，m∈[0.6,0.9]，px是舌体中心点横坐标，py是舌体中心点纵坐标。可以看到高斯核半径随着边界框的大小而改变，而σP随着高斯核半径的大小而调整。
由于只需要识别舌体，因此目标类别数目为1；设定一张128×128的图中，最多有128个舌体。当batch大小设置为16，即在每一个batch中，输入数据X∈[0,1]16×3×512×512，输入数据Yhm∈[0,1]16×1×128×128、Yreg∈[0,1]16×128×2、为实数集。
S1.2、模型创建
采用深层聚和网络(Deep Layer Aggregation，DLA)进行舌体图像特征抽取。该网络由两种结构组合而成，分别是层级式深度聚和(Hierarchical Deep Aggregation，HDA)以及迭代式深度聚合(Iterative Deep Aggregation，IDA)。设HDA函数为Hn，n为层数深度，则：
H1(X)＝F(X,B(X),B2(X))
Figure BDA0002215195360000161
Figure BDA0002215195360000162
···
Figure BDA0002215195360000163
即
Figure BDA0002215195360000165
其中，F(·)表示节点聚和操作函数；B(·)表示卷积块操作函数；B2(·)表示复合卷积块操作函数。
设IDA函数为Is，s为迭代式聚和节点数目，则：
Figure BDA0002215195360000166
其中，
Figure BDA0002215195360000167
是隐含层序列；F(·)表示节点聚和操作函数。
本实施例利用上述模型创建四个层级的网络，第一个层级网络共有33个隐含层，各层输出计算如下：
Figure BDA0002215195360000168
Figure BDA0002215195360000169
Figure BDA00022151953600001610
Figure BDA00022151953600001613
Figure BDA00022151953600001614
Figure BDA00022151953600001615
Figure BDA0002215195360000172
Figure BDA0002215195360000173
Figure BDA0002215195360000175
Figure BDA0002215195360000176
Figure BDA0002215195360000177
Figure BDA0002215195360000179
Figure BDA00022151953600001711
Figure BDA00022151953600001712
Figure BDA00022151953600001713
Figure BDA00022151953600001714
Figure BDA00022151953600001715
Figure BDA00022151953600001716
Figure BDA00022151953600001718
Figure BDA00022151953600001719
Figure BDA00022151953600001720
Figure BDA00022151953600001721
Figure BDA00022151953600001722
Figure BDA00022151953600001723
Figure BDA00022151953600001724
Figure BDA00022151953600001725
第二个层级网络共有18个隐含层，各层输出计算如下：
Figure BDA00022151953600001727
Figure BDA00022151953600001728
Figure BDA0002215195360000181
Figure BDA0002215195360000182
Figure BDA0002215195360000183
Figure BDA0002215195360000184
Figure BDA0002215195360000185
Figure BDA0002215195360000186
Figure BDA0002215195360000187
Figure BDA0002215195360000188
Figure BDA0002215195360000189
Figure BDA00022151953600001810
Figure BDA00022151953600001811
Figure BDA00022151953600001813
Figure BDA00022151953600001814
Figure BDA00022151953600001815
Figure BDA00022151953600001816
第三个层级网络共有6个隐含层，各层输出计算如下：
Figure BDA00022151953600001817
Figure BDA00022151953600001818
Figure BDA00022151953600001819
Figure BDA00022151953600001820
第四个层级网络对前三个层级网络分别接全连接层，各层输出计算如下：
Figure BDA00022151953600001824
Figure BDA00022151953600001825
上式中，X是训练数据；Wi,j表示第i层隐含层和第j层隐含层之间的卷积参数；
Figure BDA00022151953600001826
表示第i层隐含层和第j层隐含层之间的、并列第d个的卷积参数；
Figure BDA0002215195360000191
表示第i层隐含层和第j层隐含层之间的转置卷积参数；
Figure BDA0002215195360000192
表示第k层的输出；是中心点误差下限的预测值；是舌体中心点热力图预测值；是舌体边界框的宽和高的预测值；MP(·)表示最大池化函数；σ(·)表示ReLu函数；BN(·)是batch正则化函数；concat(·)表示将一个或多个输入进行融合的函数；fDCN(·)是可变卷积函数。
对于每一个batch，模型训练的损失函数为：
loss＝losshm+λwhlosswh+λreglossreg
Figure BDA0002215195360000196
Figure BDA0002215195360000197
其中，
Figure BDA0002215195360000198
Figure BDA0002215195360000199
其中，b是一个batch的大小，x,y＝[1,2,...,128]，N是
Figure BDA00022151953600001910
中值为1的元素个数；
模型训练的优化器用的是Adam算法，学习率设置为0.000125。
S2、对步骤S1中抽取的舌体图像进行图像预处理。
在本实施例中，所述图像预处理过程包括：
S2.1、去反光点处理；
传统的舌象反光点处理基本上是基于RGB空间或者灰色空间进行阈值筛选，处理后的效果并不是非常明显。而在本实施例中，首先将舌体图像的RGB空间转为HSV色彩空间，然后对不饱和的像素进行腐蚀、膨胀等处理，生成高亮区域掩码，最后对掩码后的高亮区域进行插值处理，以达到修复反光点的效果(如图3所示)。
更具体地，所述去反光点处理的具体流程包括：
S2.1.1、将舌体图像从RGB空间转为HSV色彩空间，并且拆分成H,S,V三个矩阵，并构造一个椭圆形态的结构矩阵f和矩阵S′：
Figure BDA0002215195360000201
Figure BDA0002215195360000202
S′ij为矩阵S′的元素，Sij为矩阵S的元素；
S2.1.2、利用结构矩阵f，对矩阵S′ij进行腐蚀处理，腐蚀处理后的矩阵记为Se；根据矩阵Se中值等于0的元素(Se)ij，将矩阵V中相应位置上的元素Vij设置为0，即：
Vij＝0,if(Se)ij＝0；
然后创建矩阵V′：
S2.1.3、用所述结构矩阵f对V′ij进行两次膨胀处理，记膨胀处理后的矩阵为Vd；矩阵Vd即为修复掩码，其中非零元素的位置即为需要修复的像素位置；
S2.1.4、利用基于Navier-Stokes的方法，对需要修复的像素位置附近的圆形区域进行插值处理，圆形区域的半径为5；
S2.2、锐化处理；
舌体表面的细节信息和边缘信息主要集中在图像的高频部分，而进行去反光点处理时会使得小部分的高频噪声丢失，因此需要锐化处理来提高模糊细节的质量(如图4所示)。
具体地，对经过去反光点处理后的舌体图像，使用滤波器为Ws进行卷积处理，所述滤波器Ws如下所示：
Figure BDA0002215195360000211
S2.3、舌体摆正处理；
中医认为舌体的不同位置是人体的五脏六腑的缩略图，因此需要根据一定的模板比例将标准舌体分割开。但如果舌体不正，按模板分出来的位置就不准确，因此需要对舌像进行摆正处理。在本实施例中，具体对舌体图像依次进行缩放、椭圆拟合、旋转和仿射等处理，可以简单、准确的摆正舌体(如图5所示)。
具体流程包括：
S2.3.1、首先将锐化处理后的舌体图像大小转换至300×1000，然后将RGB彩色空间转为灰度空间，再对灰度图进行二值阈值化操作，阈值设置为127，填充值为255；
S2.3.2、对二值阈值化后的舌体图像进行查找外轮廓处理，并认为包含像素点最多的外轮廓即为舌体外轮廓；
S2.3.3、用椭圆来拟合舌体外轮廓，返回旋转角度θ；
S2.3.4、设舌体摆正角度为θ′(非弧度制)，则
Figure BDA0002215195360000221
设舌体图像是
Figure BDA0002215195360000222
h'和w'分别是图像的高和宽，其中心点为那么舌体图像的旋转矩阵R为：
Figure BDA0002215195360000224
最后利用旋转矩阵R，对舌体图像进行旋转操作。
S3、针对各个标签，对预处理后的舌体图像进行半自动化标注；
多标签的标注难度相比单标签会大很多，除了要考虑标签样本的均衡问题，也要考虑标注工作中带来的人为误差问题。因此，本实施例中通过建立舌象多标签标注优化流程，大大减少了医学专员的标注工作量，具体如图7所示，将多标签图像级别的标注，转为各个单标签图像级别的标注，并在考虑各个单标签正负样本均衡问题的前提下，对每个标签单独训练小样本模型；利用得到的小样本模型去推断各个标签剩余的大样本，然后合并单标签成多标签数据集，最后进行人工复核。
具体过程如下：
S3.1、针对每个标签提取小样本舌体图像，医学专业人员对舌体图像的各个标签进行单独标注，标注方式为图像级别的弱监督标注(即没有任何标注框或关键点的信息)，且尽量保证各个标签的各类小样本数量是均衡的；
S3.2、根据各个标签的特征在舌体表面的分布情况以及标签内的子类数目，采用步骤S3.1得到的经弱标注后小样本进行训练得到各标签的均衡小样本模型；具体为，当标签的特征分散在舌体表面的各个部位且标签内的子类数目等于1，则训练该标签的检测小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目等于2，则训练该标签的二分类小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目大于2，则训练该标签的多分类小样本模型；
具体地，可以根据模板(如图8所示)，对各标签特征在舌体表面集中分布的位置进行切割，例如裂纹主要分布在舌根和舌中部位，那就切割出舌中和舌根作为训练数据，训练裂纹二分类小样本模型，而像淤点瘀斑分布比较随机，则需要训练检测模型，具体如图9所示。
S3.3、训练出各标签的小样本模型后，对各个标签的剩余样本进行推断，并在各个标签于舌体表面集中分布的区域添加标注框信息，使得将原先的弱监督标注转为强监督标注；
S3.4、由于有些标签所关注舌体区域是一样的，因此将这些标签合并为一个标签，得到大样本多标签数据集；比如裂纹、剥落和腐腻都集中关注舌根和舌中部分，因此合并三个标签成一个标签，如图10所示。
S3.5、再让医学专业人员进行复核，比如调整边框位置，添加未检测出的标签，或新增其他标签等，得到最终的大样本多标签数据集。
S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。过往的研究大多将舌体图像的多标签任务拆分成多个单标签子任务，少数舌象多标签分类并没有学习到标签之间的拓扑关系。而在本实施例中，用一个有向图对舌体图像的标签之间的依赖关系进行建模，构建基于图卷积网络的舌体多标签分类模型，如图11所示。
图卷积网络的输入数据X包括舌体图像
Figure BDA0002215195360000241
和各个标签的词嵌入向量其中16是一个batch的大小，3是图像通道数，512是舌体图像大小，C是标签数量，t是词嵌入向量的维度；输入数据Y＝{0,1}16×C，则具体的向前模型如下：
Figure BDA0002215195360000243
g1＝σl(AZw1+b1)
g2＝(Ag1w2+b2)T
Figure BDA0002215195360000244
其中，
Figure BDA0002215195360000245
Figure BDA0002215195360000247
Figure BDA0002215195360000248
Figure BDA0002215195360000249
Figure BDA00022151953600002410
Figure BDA00022151953600002411
其中，Dij为矩阵D的元素，A″ij为矩阵A″的元素，Bn(·)表示函数B自身复合n次的函数；MP(·)表示最大池化函数；σ(·)表示ReLu函数；σl(·)表示LeakyReLu函数；BN(·)是batch正则化函数；Wk×k表示k×k卷积核；wi,bi,i＝{1,2}分别表示图卷积层的权值参数和偏置；A是相关矩阵；mij是第i个标签和第j个标签共同出现的数量；nj表示第j个标签出现的数量；
Figure BDA0002215195360000251
是最终的预测结果。
模型训练的损失函数用的是多标签软间隔损失，则每一个batch的损失为：
Figure BDA0002215195360000252
Figure BDA0002215195360000253
其中，Y是真实数据值，
Figure BDA0002215195360000254
是预测值，σs(·)是Sigmoid激活函数，N是一个batch的大小，C是标签数量。
模型训练的优化器用的是随机梯度下降算法，学习率设置为0.1，冲量设置为0.9，权值衰减系数为0.0001。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于图卷积网络的舌象多标签分类学习方法，其特征在于，包括如下步骤：
S1、对原始图像进行舌体检测，抽取得到舌体图像；
S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；
S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到大样本多标签数据集；
S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。
2.根据权利要求1所述的方法，其特征在于，步骤S1的具体过程如下：
S1.1、数据准备
S1.1.1、CenterNet的输入数据X为原始图像，先对原始图像进行随机缩放和平移的仿射变换，并设定变换后的图像大小为512×512，然后缩放像素到[0,1]之间，最后做归一化处理；
S1.1.2、CenterNet的输入数据Y包括舌体中心点热力图Yhm、舌体中心点误差下限Yreg以及舌体边界框的宽和高Ywh；在生成输入数据Y时，首先对边界框的坐标进行与输入数据X同样的缩放和平移的仿射变换，并设定变换后的图像大小为128×128；然后根据变换后的舌体边界框的坐标(xmin,ymin,xmax,ymax)，计算舌体边界框的宽w、高h和中心点坐标误差下限reg：
h＝ymax-ymin
w＝xmax-xmin
Figure FDA0002215195350000021
最后根据二维高斯核函数构建舌体中心点热力图Hx,y(P)：
Figure FDA0002215195350000022
其中，
Figure FDA0002215195350000023
上式中，xmin是舌体边界框左上角的横坐标，ymin是舌体边界框左上角的纵坐标，xmax是舌体边界框右下角的横坐标，ymax是舌体边界框右下角的纵坐标，w是舌体边界框的宽，h是舌体边界框的高，reg是舌体中心点坐标误差下限，Hx,y(P)∈[0,1]，r是高斯核半径，m∈[0.6,0.9]，px是舌体中心点横坐标，py是舌体中心点纵坐标；
S1.2、模型创建：
利用深层聚和网络创建四个层级的网络，第一个层级网络共有33个隐含层，各层输出计算如下：
Figure FDA0002215195350000024
Figure FDA0002215195350000026
Figure FDA0002215195350000027
Figure FDA0002215195350000028
Figure FDA0002215195350000029
Figure FDA00022151953500000211
Figure FDA0002215195350000031
Figure FDA0002215195350000032
Figure FDA0002215195350000034
Figure FDA0002215195350000035
Figure FDA0002215195350000036
Figure FDA0002215195350000037
Figure FDA0002215195350000038
Figure FDA0002215195350000039
Figure FDA00022151953500000310
Figure FDA00022151953500000311
Figure FDA00022151953500000312
Figure FDA00022151953500000313
Figure FDA00022151953500000314
Figure FDA00022151953500000316
Figure FDA00022151953500000317
Figure FDA00022151953500000318
Figure FDA00022151953500000319
Figure FDA00022151953500000320
Figure FDA00022151953500000321
Figure FDA00022151953500000323
Figure FDA00022151953500000324
Figure FDA00022151953500000325
第二个层级网络共有18个隐含层，各层输出计算如下：
Figure FDA00022151953500000326
Figure FDA00022151953500000328
Figure FDA0002215195350000041
Figure FDA0002215195350000042
Figure FDA0002215195350000044
Figure FDA0002215195350000045
Figure FDA0002215195350000046
Figure FDA0002215195350000047
Figure FDA0002215195350000048
Figure FDA0002215195350000049
Figure FDA00022151953500000410
Figure FDA00022151953500000411
Figure FDA00022151953500000413
Figure FDA00022151953500000414
Figure FDA00022151953500000415
Figure FDA00022151953500000416
第三个层级网络共有6个隐含层，各层输出计算如下：
Figure FDA00022151953500000417
Figure FDA00022151953500000418
Figure FDA00022151953500000419
Figure FDA00022151953500000420
Figure FDA00022151953500000421
第四个层级网络对前三个层级网络分别接全连接层，各层输出计算如下：
Figure FDA00022151953500000423
上式中，X是训练数据；Wi,j表示第i层隐含层和第j层隐含层之间的卷积参数；
Figure FDA0002215195350000051
表示第i层隐含层和第j层隐含层之间的、并列第d个的卷积参数；表示第i层隐含层和第j层隐含层之间的转置卷积参数；
Figure FDA0002215195350000053
表示第k层的输出；
Figure FDA0002215195350000054
是中心点误差下限的预测值；是舌体中心点热力图预测值；
Figure FDA0002215195350000056
是舌体边界框的宽和高的预测值；MP(·)表示最大池化函数；σ(·)表示ReLu函数；BN(·)是batch正则化函数；concat(·)表示将一个或多个输入进行融合的函数；fDCN(·)是可变卷积函数。
3.根据权利要求1所述的方法，其特征在于，步骤S1.2中，对于每一个batch，模型训练的损失函数为：
loss＝losshm+λwhlosswh+λreglossreg；
Figure FDA0002215195350000058
其中，
其中，b是一个batch的大小，x,y＝[1,2,...,128]，N是
Figure FDA00022151953500000511
中值为1的元素个数。
4.根据权利要求2所述的方法，其特征在于，步骤S1.2中，模型训练的优化器用的是Adam算法，学习率设置为0.000125。
5.根据权利要求1所述的方法，其特征在于，所述去反光点处理的具体过程为：
S2.1.1、将舌体图像从RGB空间转为HSV色彩空间，并且拆分成H,S,V三个矩阵，并构造一个椭圆形态的结构矩阵f和矩阵S′：
Figure FDA0002215195350000061
Figure FDA0002215195350000062
S′ij为矩阵S′的元素，Sij为矩阵S的元素；
S2.1.2、利用结构矩阵f，对矩阵S′ij进行腐蚀处理，腐蚀处理后的矩阵记为Se；根据矩阵Se中值等于0的元素(Se)ij，将矩阵V中相应位置上的元素Vij设置为0，即：
Vij＝0,if(Se)ij＝0；
然后创建矩阵V′：
Figure FDA0002215195350000063
S2.1.3、用所述结构矩阵f对V′ij进行两次膨胀处理，记膨胀处理后的矩阵为Vd；矩阵Vd即为修复掩码，其中非零元素的位置即为需要修复的像素位置；
S2.1.4、利用基于Navier－Stokes的方法，对需要修复的像素位置附近的圆形区域进行插值处理。
6.根据权利要求1或5所述的方法，其特征在于，所述锐化处理的具体过程包括：
对经过去反光点处理后的舌体图像，使用滤波器为Ws进行卷积处理，所述滤波器Ws如下所示：
Figure FDA0002215195350000071
7.根据权利要求1所述的方法，其特征在于，所述摆正处理的具体过程包括：
S2.3.1、首先将锐化处理后的舌体图像大小转换至300×1000，然后将RGB彩色空间转为灰度空间，再对灰度图进行二值阈值化操作，阈值设置为127，填充值为255；
S2.3.2、对二值阈值化后的舌体图像进行查找外轮廓处理，并认为包含像素点最多的外轮廓即为舌体外轮廓；
S2.3.3、用椭圆来拟合舌体外轮廓，返回旋转角度θ；
S2.3.4、设舌体摆正角度为θ′(非弧度制)，则
Figure FDA0002215195350000072
设舌体图像是
Figure FDA0002215195350000073
h'和w'分别是图像的高和宽，其中心点为
Figure FDA0002215195350000074
那么舌体图像的旋转矩阵R为：
最后利用旋转矩阵R，对舌体图像进行旋转操作。
8.根据权利要求1所述的方法，其特征在于，步骤S3的具体过程如下：
S3.1、针对每个标签提取小样本舌体图像，医学专业人员对舌体图像的各个标签进行单独标注，标注方式为图像级别的弱监督标注，且尽量保证各个标签的各类小样本数量是均衡的；
S3.2、根据各个标签的特征在舌体表面的分布情况以及标签内的子类数目，采用步骤S3.1得到的经弱监督标注后小样本进行训练得到各标签的均衡小样本模型；具体为，当标签的特征分散在舌体表面的各个部位且标签内的子类数目等于1，则训练该标签的检测小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目等于2，则训练该标签的二分类小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目大于2，则训练该标签的多分类小样本模型；
S3.3、训练出各标签的小样本模型后，对各个标签的剩余样本进行推断，并在各个标签于舌体表面集中分布的区域添加标注框信息，使得将原先的弱监督标注转为强监督标注；
S3.4、将所关注舌体区域是一样的标签合并为一个标签，得到大样本多标签数据集；
S3.5、再让医学专业人员进行复核，包括调整边框位置，添加未检测出的标签，或新增其他标签，得到最终的大样本多标签数据集。
9.根据权利要求1所述的方法，其特征在于，步骤S4的具体过程为：
图卷积网络的输入数据X包括舌体图像
Figure FDA0002215195350000081
和各个标签的词嵌入向量
Figure FDA0002215195350000091
其中16是一个batch的大小，3是图像通道数，512是舌体图像大小，C是标签数量，t是词嵌入向量的维度；输入数据Y＝{0,1}16×C，则具体的向前模型如下：
Figure FDA0002215195350000092
g1＝σl(AZw1+b1)
g2＝(Ag1w2+b2)T
Figure FDA0002215195350000093
其中，
Figure FDA0002215195350000094
Figure FDA0002215195350000095
Figure FDA0002215195350000096
Figure FDA0002215195350000098
Figure FDA0002215195350000099
Figure FDA00022151953500000910
其中，Dij为矩阵D的元素，A″ij为矩阵A″的元素，Bn(·)表示函数B自身复合n次的函数；MP(·)表示最大池化函数；σ(·)表示ReLu函数；σl(·)表示LeakyReLu函数；BN(·)是batch正则化函数；Wk×k表示k×k卷积核；wi,bi,i＝{1,2}分别表示图卷积层的权值参数和偏置；A是相关矩阵；mij是第i个标签和第j个标签共同出现的数量；nj表示第j个标签出现的数量；
Figure FDA00022151953500000911
是最终的预测结果。
10.根据权利要求9所述的方法，其特征在于，模型训练的损失函数用的是多标签软间隔损失，则每一个batch的损失为：
Figure FDA0002215195350000101
Figure FDA0002215195350000102
其中，Y是真实数据值，
Figure FDA0002215195350000103
是预测值，σs(·)是Sigmoid激活函数，N是一个batch的大小，C是标签数量；
模型训练的优化器用的是随机梯度下降算法，学习率设置为0.1，冲量设置为0.9，权值衰减系数为0.0001。
CN201910912799.4A 2019-09-25 2019-09-25 一种基于图卷积网络的舌象多标签分类方法 Active CN110705425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910912799.4A CN110705425B (zh) 2019-09-25 2019-09-25 一种基于图卷积网络的舌象多标签分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910912799.4A CN110705425B (zh) 2019-09-25 2019-09-25 一种基于图卷积网络的舌象多标签分类方法

Publications (2)

Publication Number Publication Date
CN110705425A true CN110705425A (zh) 2020-01-17
CN110705425B CN110705425B (zh) 2022-06-28

Family

ID=69196571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912799.4A Active CN110705425B (zh) 2019-09-25 2019-09-25 一种基于图卷积网络的舌象多标签分类方法

Country Status (1)

Country Link
CN (1) CN110705425B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444896A (zh) * 2020-05-09 2020-07-24 北京碧拓科技有限公司 一种远红外热成像人体经络关键点定位方法
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111582402A (zh) * 2020-05-15 2020-08-25 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN112036555A (zh) * 2020-11-05 2020-12-04 北京亮亮视野科技有限公司 目标检测框架的优化方法及装置、存储介质、电子设备
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112580443A (zh) * 2020-12-02 2021-03-30 燕山大学 基于嵌入式设备改进CenterNet的行人检测方法
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
WO2021159767A1 (zh) * 2020-02-10 2021-08-19 腾讯科技（深圳）有限公司 一种医学图像处理的方法、图像处理的方法及装置
CN116486238A (zh) * 2023-04-26 2023-07-25 北京卫星信息工程研究所 联合点集表示与图分类的目标细粒度识别方法
CN117132777A (zh) * 2023-10-26 2023-11-28 腾讯科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质
CN112131420B (zh) * 2020-09-11 2024-04-16 中山大学 一种基于图卷积神经网络的眼底图像分类方法及装置
CN111582402B (zh) * 2020-05-15 2024-06-11 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171117A (zh) * 2017-12-05 2018-06-15 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110189305A (zh) * 2019-05-14 2019-08-30 上海大学 一种多任务舌象自动分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171117A (zh) * 2017-12-05 2018-06-15 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110189305A (zh) * 2019-05-14 2019-08-30 上海大学 一种多任务舌象自动分析方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XINFENG ZHANG ET AL: "Preliminary Study of Tongue Image Classification Based on Multi-label Learning", 《SPRINGER INTERNATIONAL PUBLISHING》 *
XINGYI ZHOU ET AL: "Objects as Points", 《ARXIV:1904.07850V2》 *
ZHAO-MIN CHEN ET AL: "Multi-Label Image Recognition with Graph Convolutional Networks", 《ARXIV:1904.03582V1》 *
于淼: "舌体特征的提取及融合分类方法研究", 《万方在线出版》 *
张金雷: "舌像局部病变自动分析", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159767A1 (zh) * 2020-02-10 2021-08-19 腾讯科技（深圳）有限公司 一种医学图像处理的方法、图像处理的方法及装置
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111476315B (zh) * 2020-04-27 2023-05-05 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111444896B (zh) * 2020-05-09 2023-06-30 北京碧拓科技有限公司 一种远红外热成像人体经络关键点定位方法
CN111444896A (zh) * 2020-05-09 2020-07-24 北京碧拓科技有限公司 一种远红外热成像人体经络关键点定位方法
CN111582402A (zh) * 2020-05-15 2020-08-25 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN111582402B (zh) * 2020-05-15 2024-06-11 北京市商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
CN113012811B (zh) * 2020-08-17 2023-11-03 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
CN112131420B (zh) * 2020-09-11 2024-04-16 中山大学 一种基于图卷积神经网络的眼底图像分类方法及装置
CN112036555A (zh) * 2020-11-05 2020-12-04 北京亮亮视野科技有限公司 目标检测框架的优化方法及装置、存储介质、电子设备
CN112036555B (zh) * 2020-11-05 2021-02-05 北京亮亮视野科技有限公司 目标检测框架的优化方法及装置、存储介质、电子设备
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112487143B (zh) * 2020-11-30 2022-11-18 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112580443B (zh) * 2020-12-02 2022-03-15 燕山大学 基于嵌入式设备改进CenterNet的行人检测方法
CN112580443A (zh) * 2020-12-02 2021-03-30 燕山大学 基于嵌入式设备改进CenterNet的行人检测方法
CN116486238A (zh) * 2023-04-26 2023-07-25 北京卫星信息工程研究所 联合点集表示与图分类的目标细粒度识别方法
CN116486238B (zh) * 2023-04-26 2023-09-15 北京卫星信息工程研究所 联合点集表示与图分类的目标细粒度识别方法
CN117132777A (zh) * 2023-10-26 2023-11-28 腾讯科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质
CN117132777B (zh) * 2023-10-26 2024-03-22 腾讯科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110705425B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110705425B (zh) 一种基于图卷积网络的舌象多标签分类方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
Han Automatic liver lesion segmentation using a deep convolutional neural network method
Hou et al. Unsupervised histopathology image synthesis
WO2019178702A9 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN107862694A (zh) 一种基于深度学习的手足口病检测系统
CN106408562A (zh) 基于深度学习的眼底图像视网膜血管分割方法及系统
CN110163884B (zh) 一种基于全连接深度学习神经网络的单个图像分割方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN112613410B (zh) 基于迁移学习的寄生虫虫卵识别方法
Wu et al. Deep learning for automatic quality grading of mangoes: methods and insights
CN111524144A (zh) 一种基于GAN和Unet网络的肺结节智能诊断方法
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
CN114445268A (zh) 一种基于深度学习的服装风格迁移方法及系统
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
CN114998362A (zh) 基于双分割模型的医学图像分割方法
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
McLeay et al. Deep convolutional neural networks with transfer learning for waterline detection in mussel farms
CN116977323A (zh) 基于图像编辑的白癜风病变区域分割方法、装置及电子设备
Korez et al. Segmentation of pathological spines in CT images using a two-way CNN and a collision-based model
Astono et al. [Regular Paper] Adjacent Network for Semantic Segmentation of Liver CT Scans
Li et al. Germ integrity detection for rice using a combination of germ color image features and deep learning
CN109712124A (zh) 超声图像的标记去除方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant