CN113724228A - 舌色苔色识别方法、装置、计算机设备及存储介质 - Google Patents
舌色苔色识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113724228A CN113724228A CN202111015676.4A CN202111015676A CN113724228A CN 113724228 A CN113724228 A CN 113724228A CN 202111015676 A CN202111015676 A CN 202111015676A CN 113724228 A CN113724228 A CN 113724228A
- Authority
- CN
- China
- Prior art keywords
- tongue
- color
- picture
- attention
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011248 coating agent Substances 0.000 title claims abstract description 71
- 238000000576 coating method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000006870 function Effects 0.000 claims description 81
- 238000003745 diagnosis Methods 0.000 claims description 60
- 238000012937 correction Methods 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 19
- 238000009500 colour coating Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 239000003814 drug Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请实施例属于人工智能领域，应用于智慧政医疗领域中，涉及一种舌色苔色识别方法，包括采集原始舌象图片集，对原始舌象图片集进行偏色校正，获得舌象校正图像集，对舌象校正图像集进行分割细化处理，获得舌体分割图像集，将舌体分割图像集输入至分类模型，输出携带舌色苔色标签的舌体标签数据，将舌体标签数据输入至预构建卷积网络模型，基于目标损失函数对卷积网络模型进行模型训练，输出卷积网络模型作为舌诊模型，将待分析舌象图片输入至舌诊模型进行舌色苔色识别，输出识别结果。本申请还提供一种舌色苔色识别装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，舌体标签数据可存储于区块链中。本申请提升舌色苔色识别的准确度。
Description
技术领域
本申请涉及人工智能技术领域和数字医疗技术领域，尤其涉及一种舌色苔色识别方法、装置、计算机设备及存储介质。
背景技术
舌诊是我国传统医学四诊“望，闻，问，切”中的重要内容，舌诊是观察舌头的色泽、形态的变化来辅助诊断及鉴别的一个简单有效的方法，而舌色苔色在舌诊辩证中起重要作用，提高舌色苔色的辨别能有效的帮助医生提高诊断的可靠性。传统的舌诊方法主要依靠医生目视，缺乏定量化的度量与分析手段。受到医生知识水平和经验的限制，诊断结果因人而异，主观性强，难以统一，可重复性差。因此，利用计算机技术研究舌诊性状，使其更加科学化、客观化已成为舌诊研究的必然方向。
利用计算机诊断舌色苔色，需要从采集的图像中恢复舌色苔色的客观色彩，辨别舌质苔质所在区域及相应的颜色。开放场景下舌色苔色的判断极易受光照条件影响，当前的计算机舌诊辅助诊断主要基于比色卡进行颜色校正，在标准设备的采集舌部图像上，适用范围有限，不便于在日常中帮助用户自主便捷的采集图像供医生远程诊断。此外，舌色苔色分布非均匀一致，传统方法需要标注精确区域分辨舌色苔色，泛化能力有限，而深度学习方法不需要标注，所需数据量大且缺乏有效定位，识别能力较差。
发明内容
本申请实施例的目的在于提出一种舌色苔色识别方法、装置、计算机设备及存储介质，以解决相关技术中舌色苔色识别的准确度不高的技术问题。
为了解决上述技术问题，本申请实施例提供一种舌色苔色识别方法，采用了如下所述的技术方案：
采集原始舌象图片集，对所述原始舌象图片集进行偏色校正，获得舌象校正图像集；
对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集；
将所述舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据；
将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型；
将待分析舌象图片输入至所述舌诊模型进行舌色苔色识别，输出识别结果。
进一步的，所述对所述原始舌象图片集进行偏色校正，获得舌象校正图像集的步骤包括：
将所述原始舌象图片集进行颜色空间转换，得到中间舌象图片集；
通过偏色校正对所述中间舌象图片集进行图片颜色调整，得到舌象校正图像集。
进一步的，所述通过偏色校正对所述中间舌象图片集进行图片颜色调整的步骤包括：
计算所述中间舌象图片集中每张中间舌象图片各通道的像素均值，并计算出所述像素均值与建立的标准肤色之间的距离；
根据所述距离调整所述中间舌象图片的颜色。
进一步的，所述卷积网络模型至少包括卷积层、注意力层和输出层，所述将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型的步骤包括：
将所述舌象标签数据输入至所述卷积层进行特征提取，获得舌象特征数据；
通过所述注意力层对所述舌象特征数据进行注意力特征提取，得到舌象注意力特征；
将所述舌象注意力特征通过所述输出层输出，得到分类预测结果；
根据所述舌象标签数据确定第一损失函数，根据所述分类预测结果确定第二损失函数，根据所述第一损失函数和所述第二损失函数确定目标损失函数；
基于所述目标损失函数调整所述卷积网络模型的模型参数；
当满足迭代结束条件时，根据所述模型参数生成舌诊模型。
进一步的，所述注意力层包括舌色注意力层和苔色注意力层，所述通过所述注意力层对所述舌象特征数据进行注意力特征提取，得到舌象注意力特征的步骤包括：
通过所述舌色注意力层对所述舌象特征数据进行注意力机制运算，得到舌色注意力特征；
通过所述苔色注意力层对所述舌象特征数据进行注意力机制运算，得到苔色注意力特征，其中，所述舌色注意力特征和所述苔色注意力特征组成所述舌象注意力特征。
进一步的，所述根据所述第一损失函数和所述第二损失函数确定目标损失函数的步骤包括：
根据所述第二损失函数得到正则项；
将所述第一损失函数、所述第二损失函数和所述正则项相加，得到目标损失函数。
进一步的，所述对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集的步骤包括：
将所述舌象校正图像集进行舌体分割，提取舌体图像；
对所述舌体图像进行轮廓处理，得到所述舌体分割图像集。
为了解决上述技术问题，本申请实施例还提供一种舌色苔色识别装置，采用了如下所述的技术方案：
采集校正模块，用于采集原始舌象图片集，对所述原始舌象图片进行偏色校正，获得舌象校正图像；
分割模块，用于对所述舌象校正图像进行分割细化处理，获得舌体分割图像；
分类模块，用于将所述舌体分割图像输入至分类模型中，输出携带舌色苔色标签的舌体标签数据；
训练模块，用于将所述舌体标签数据输入至预构建的卷积网络模型，基于目标损失函数对所述卷积网络模型进行模型训练，输出训练完成的所述卷积网络模型作为舌诊模型；
识别模块，用于将待分析舌象图片输入至所述舌诊模型进行舌色苔色识别，输出识别结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的舌色苔色识别方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的舌色苔色识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请采集原始舌象图片集，对原始舌象图片集进行偏色校正，获得舌象校正图像集，对舌象校正图像集进行分割细化处理，获得舌体分割图像集，将舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据，将舌体标签数据输入至预构建的卷积网络模型，基于目标损失函数对卷积网络模型进行模型训练，输出训练完成的卷积网络模型作为舌诊模型，将待分析舌象图片输入至舌诊模型进行舌色苔色识别，输出识别结果；本申请通过使用携带舌色苔色标签的舌象标签数据训练卷积网络模型得到舌诊模型，并利用舌诊模型进行舌色苔色识别，可以有效提取到有效特征，提高模型的识别能力和定位能力，进一步提升舌色苔色识别的准确度。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的舌色苔色识别方法的一个实施例的流程图；
图3是图2中步骤S204的一种具体实施方式的流程图；
图4是根据本申请的舌色苔色识别装置的一个实施例的结构示意图；
图5是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请提供了一种舌色苔色识别方法，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的舌色苔色识别方法一般由服务器/终端设备执行，相应地，舌色苔色识别装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的舌色苔色识别的方法的一个实施例的流程图，包括以下步骤：
步骤S201，采集原始舌象图片集，对原始舌象图片集进行偏色校正，获得舌象校正图像集。
其中，原始舌象图片集可以从公开数据集中获取，也可以通过爬虫软件收集到各类舌象图片数据，还可以通过中医舌象仪采集得到。由于采集位置、采集光线、采集设备等差异，采集到的原始舌象图片会存在偏色的问题，对诊断造成干扰，容易误诊，因此，需要对采集到的原始舌象图片集中的原始舌象图片进行偏色校正。
具体地，将原始舌象图片集进行颜色空间转换，得到中间舌象图片集，通过偏色校正对中间舌象图片集进行图片颜色调整，得到舌象校正图像集。
在本实施例中，因采集到的原始舌象图片无法准确还原舌部颜色，故还需通过颜色空间方式对色彩进行校正，将中医对舌象的抽象定义转化为客观参数，以便于临床收集患者的数据信息，分析中医的诊疗效果。
在偏色校正中，主要采用的颜色空间模型有RGB色彩空间、HSV色彩空间、HIS色彩空间、Lab色彩空间、YCrCb色彩空间等。由于Lab色彩空间所计算处理颜色偏差程度与人们主观感受相似，因此，分割前将采集到的原始舌象图片从RGB颜色空间转换为Lab颜色空间。
在Matlab中图像的颜色模型无法直接转换，需要将原始舌象图片的RGB颜色空间转变成XYZ颜色空间，再转换成Lab颜色空间。
需要说明，在进行偏色校正之前，要建立标准肤色，具体的，从公开数据集或者自有数据，获取无色偏人脸皮肤图像，将皮肤图像由RGB颜色空间转换到Lab颜色空间。
RGB颜色空间转变成XYZ颜色空间，每个像素值的转换公式如下：
XYZ颜色空间转换成Lab颜色空间，每个像素值对应的转换公式如下：
其中，
接着，计算每个皮肤图像的皮肤区域的Lab各通道的像素均值SLab，得到所有皮肤数据均值，SLab1＝[L1,a1,b1],…,SLabN＝[LN,aN,bN]，再分别计算每个通道均值MLab，例如，L通道均值即将上述皮肤的均值L求和取平均，此颜色作为标准肤色，a通道和b通道以此类推。
根据CIEDE2000颜色一致性标准，将到标准肤色MLab的一致性距离小于Ls的区域定义为合理肤色空间。
建立标准肤色后，对原始舌象图片进行偏色校正，具体地，按照上述颜色空间转换方法将原始舌象图片转换到Lab颜色空间，得到中间舌象图片，计算中间舌象图片皮肤区域的各通道像素均值McLab。根据CIEDE2000颜色一致性标准，计算当前中间舌象图片像素均值McLab到标准肤色MLab的距离Lc。当Lc小于Ls时，当前肤色在合理肤色空间内，则色差小；反之则颜色异常，需要校正。
在本实施例中，偏色校正的计算公式具体如下：
ILab＝ImageLab+(McLab-CLab)
其中，ImageLab表示原始舌象图片的原像素值；ILab表示原始舌象图片进行调整后的像素值；CLab表示McLab与MLab相连直线跟合理肤色空间边界Es的交点。
步骤S202，对舌象校正图像集进行分割细化处理，获得舌体分割图像集。
舌诊是通过观察舌象的变化来了解机体的生理功能和病理变化。舌象包括舌质和舌苔的各种表现，舌苔和舌质的异常变化则构成病理舌象，是中医医生诊断的重要依据。舌苔是舌面上附着的一层苔状物；舌质，则是舌的肌肉脉络组织。舌诊时，医生着重观察患者舌质和舌苔两方面的变化，具体包括舌质的颜色、舌苔的颜色、舌苔的厚度、湿度、质地以及舌形、舌态等，这些统称作舌象特征。
在分析舌象特征之前，需要将舌体区域分割出来，分割的效果将直接影响舌象特征分析的准确性。
在本实施例中，可以采用基于Snakes模型的舌体区域分割技术对舌象校正图像进行舌体分割；也可以采用K-means聚类算法完成舌象校正图像的舌体分割，首先选取两个聚类中心对舌图像进行迭代，在此过程中可分别将每个像素点分割并且区分为舌体和皮肤这两个特征色，然后选取含有舌体特征色的聚类区域作为其目标区域，含有皮肤特征色的聚类区域作为其背景区域，最后得到分割后图像；还可以采用基于多尺度卷积神经网络的像素级实例分割模型，实例分割模型通过深度学习对舌象校正图像提取舌体区域并计算轮廓边界，每张舌象校正图像生成一张背景为黑色、前景为舌体的图像。需要说明，舌体分割具体采用的方式可以根据实际情况进行选择。
在本实施例中，将舌象校正图像集中的舌象校正图像进行舌体分割得到舌体图像，受环境影响，分割后的舌体图像会存在不规则形状的干扰斑点，这些斑点体积较小且与舌体不连通，可以采用形态学轮廓提取算法，利用舌体体积远大于干扰斑点且互不连通这一特性，仅保留最大体积的连通区域，去除其他连通区域，得到舌体分割结果；另外，分割后的舌体图像往往存在锯齿状边缘，采用多边形近似算法对舌体边缘进行平滑处理，使得舌体分割的结果更加圆润平滑；同时，为了增加多边形近似算法的稳健性，在多边形近似算法后增加了凸包算法，防止多边形进行算法将舌体边缘分离出去。
步骤S203，将舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据。
一般情况下，舌质位于舌体周围，舌苔位于舌体中间。中医舌诊中的望诊讲究对舌体进行整体观察，但是计算机技术并不能像人脑那样自动完成对整个舌体的观察，因此需要先将舌质和舌苔分开，然后再分别进行特征的识别。舌质的颜色(舌色)主要分为淡白色、红色、红绛色、绛紫色、青紫色等，舌苔的颜色(苔色)主要分为白色、黄色、灰色、黑色，于是颜色成为分辨舌质和舌苔最明显的特征。
但是，由于舌色苔色的渐变特点，部分舌体分割图像没有典型的舌色苔色分类，即图像的颜色标签具有不确定性，不同医生的认知存在差异，由医生来标注不确定性需要采用大量的人力资源。
在本实施例中，采用基于噪声标签学习的方式进行标签标注。具体的，非典型的舌色苔色分类在不同医生标注时可能标注为不同的颜色，实际上等效于噪声标签，采用丢弃法(dropout)对分类模型进行训练，在训练过程中，可以获得多个子分类模型，对于每个舌体分割图像，所有子分类模型都会输出一个结果，所有子分类模型的结果投票，将归一化的投票结果设置为舌体分割图像的舌色苔色标签，此时的舌色苔色标签为不确定标签。例如，如某个样本10个子分类模型分类苔色最终的投票结果为[2,7,1,0]，即1票淡白，6票淡红，2票黄，1票黑,最终的标签为[0.2,0.7,0.1,0]。
需要强调的是，为进一步保证舌体标签数据的私密和安全性，上述舌体标签数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S204，将舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据舌体标签数据和分类预测结果确定目标损失函数，基于目标损失函数对卷积网络模型进行迭代更新，输出训练完成的卷积网络模型作为舌诊模型。
在本实施例中，预构建卷积网络模型，将舌体标签数据输入至卷积网络模型中进行训练，一轮训练结束后，计算卷积网络模型的目标损失函数，得到损失函数值，根据损失函数值调整模型参数，继续进行迭代训练，模型训练到一定程度，此时，模型的性能达到最优状态，损失函数值无法继续下降，即收敛。而判断收敛的方式只需要计算前后两轮迭代中的损失函数值，若损失函数值仍在变化，则继续选择训练的舌体标签数据输入至调整模型参数后的卷积网络模型中，以对卷积网络模型继续进行迭代训练；若损失函数值没有显著变化，则可认为模型收敛。模型收敛后，输出最终的卷积网络模型作为舌诊模型。
此外，使用携带有标签的舌体标签数据对模型进行训练，可以提高提取有效特征能力。
步骤S205，将待分析舌象图片输入至舌诊模型进行舌色苔色识别，输出识别结果。
在本实施例中，将待分析舌象图片输入至舌诊模型中进行舌色苔色识别，分别得到舌色识别结果和苔色识别结果，根据舌色识别结果和苔色识别结果进行病征诊断。
应当理解，舌诊的内容主要涉及两个方面，一方面是舌质，具体包括望舌质的神、色、形和态，可用来推断五脏六腑的健康情况以及气血是否充盈；另一方面是舌苔，具体包括望苔色和望苔质，通过观察舌苔的外在表现可以推断人体患病的器官和病症的深浅程度。舌色指的是舌质的颜色，一般呈现为淡红色、淡白色、红色，绛色和青紫色五种，舌色可以反映出一个人的气血情况；苔色指的是舌苔的颜色，一般呈现为灰黑、黄、淡黄、白、薄白五种，可以很好的反映出人体中胃的健康状况。
需要说明，在舌诊模型进行舌色苔色识别的同时，还可以提取舌质、舌苔的主要特征，舌质特征包括点刺、裂纹、老嫩和胖瘦等，舌苔特征包括厚薄、润燥等。
本申请通过使用携带舌色苔色标签的舌象标签数据训练卷积网络模型得到舌诊模型，并利用舌诊模型进行舌色苔色识别，可以有效提取到有效特征，提高模型的识别能力和定位能力，进一步提升舌色苔色识别的准确度。
在本实施例的一些可选的实现方式中，参考图3，上述将舌象标签数据输入至预构建的卷积网络模型，基于目标损失函数对卷积网络模型进行模型训练，输出训练完成的卷积网络模型作为舌诊模型的步骤包括：
步骤S301，将舌象标签数据输入至卷积层进行特征提取，获得舌象特征数据。
在本实施例中，卷积网络模型至少包括卷积层、注意力层和输出层，在卷积层对舌象标签数据进行卷积操作，提取舌象标签数据特征，获得舌象特征数据。
需要说明，卷积层为多层卷积结构叠加而成。
步骤S302，通过注意力层对舌象特征数据进行注意力特征提取，得到舌象注意力特征。
具体的，计算当前舌象特征ht的注意力权重，计算公式如下：
wt＝tanh(ht)
其次，注意力权重概率化，通过softmax函数计算注意力权重概率向量pt，计算公式如下：
其中，m为舌象特征数据中舌象特征数量。
最后，注意力权重配置，增强舌象特征表达，计算公式如下：
在本实施例中，在卷积网络模型的最后一层卷积层增加分类分支，包括舌色分支和苔色分支，舌色分支和苔色分支各增加一个注意力层，注意力层的原理是：模拟人脑的注意力，将有限的注意力选择性地分配给更重要的信息。
在本实施例中，注意力层包括舌色注意力层和苔色注意力层，舌色注意力层用于关注舌色区域，强化舌色区域的特征；苔色注意力层用于关注苔色区域，强化苔色区域的特征。
舌象注意力特征包括舌色注意力特征和苔色注意力特征，在一些可选的实现方式中，通过舌色注意力层对舌象特征数据进行注意力机制运算，得到舌色注意力特征，通过苔色注意力层对舌象特征数据进行注意力机制运算，得到苔色注意力特征。
步骤S303，将舌象注意力特征通过输出层输出，得到分类预测结果。
在本实施例中，输出层可以采用softmax函数进行分类预测，进而输出分类预测结果。
具体的，采用softmax函数对舌色注意力特征和苔色注意力特征分别进行分类预测，对应得到舌色分类结果和苔色分类结果，并将舌色分类结果和苔色分类结果结合进行输出，即为分类预测结果。
步骤S304，根据舌象标签数据确定第一损失函数，根据分类预测结果确定第二损失函数，根据第一损失函数和第二损失函数确定目标损失函数。
在本实施例中，设计一个目标损失函数，目标损失函数包括两部分，分类损失函数和注意力(attention)损失函数两部分，分类损失函数为第一损失函数，根据舌象标签数据确定，注意力损失函数为第二损失函数，根据分类预测结果确定。
具体地，分类损失函数是分类模型部分的损失函数，计算公式如下：
其中，p表示噪声标签概率，q表示经过分类模型输出的不确定标签概率，xi表示第i个标签。
在本实施例的一些可选的实现方式中，舌色感兴趣区域(attention1)和苔色感兴趣区域(attention2)为舌体区域，且由于两者位置分布的差异性，两个attention(注意力)相加的结果为整个舌体，即两者相加为舌体分割结果，使用dice loss作为两个attention相加的结果和分割标签的损失函数。
dice loss的计算公式如下：
其中，|X∩Y|表示真实标签与分类预测结果的预测标签之间的交集的概率，|X|表示真实标签的概率，|Y|表示预测标签的概率。
此外，舌质舌苔区域通常互斥，那么学习到的attention区域期望得到的不确定性更低，即每个位置的值接近0或者1，而不是临界于舌质舌苔，即attention区域信息量最小，其中一个attention尽可能接近1，即在diceloss的基础上增加正则项，正则项公式如下：
L＝-log(max(attention1，2))
目标损失函数则如下：
Loss＝DKL+diceloss+L
步骤S305，基于目标损失函数调整卷积网络模型的模型参数。
在本实施例中，根据损失函数值调整模型参数，继续进行迭代训练，模型训练到一定程度，此时，模型的性能达到最优状态，损失函数值无法继续下降，即收敛。
步骤S306，当满足迭代结束条件时，根据模型参数生成舌诊模型。
满足迭代结束条件即为模型收敛，模型收敛后，根据最终调整的模型参数输出最终的卷积网络模型作为舌诊模型。
本申请通过训练预构建的卷积网络模型作为舌诊模型，并在模型中增加注意力层，可以提高模型的识别能力和提供定位能力，进一步提升模型的识别准确度。
在本实施例的一些可选的实现方式中，卷积网络模型训练完成后，为了判定算法性能的高低好坏，需要对所训练出的模型性能进行评价，一般采用准确率(accuracy)、灵敏度(sensitivity)和特异性(specificity)参数对模型性能进行评价。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请可应用于智慧医疗领域中，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种舌色苔色识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例所述的舌色苔色识别装置400包括：采集校正模块401、分割模块402、分类模块403、训练模块404以及识别模块405。其中：
采集校正模块401用于采集原始舌象图片集，对所述原始舌象图片集进行偏色校正，获得舌象校正图像集；
分割模块402用于对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集；
分类模块403用于将所述舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据；
训练模块404用于将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型；
识别模块405用于将待分析舌象图片输入至所述舌诊模型进行舌色苔色识别，输出识别结果。
需要强调的是，为进一步保证舌体标签数据的私密和安全性，上述舌体标签数据还可以存储于一区块链的节点中。
上述舌色苔色识别装置，通过使用携带舌色苔色标签的舌象标签数据训练卷积网络模型得到舌诊模型，并利用舌诊模型进行舌色苔色识别，可以有效提取到有效特征，提高模型的识别能力和定位能力，进一步提升舌色苔色识别的准确度。
在本实施例中，采集校正模块401包括颜色空间转换子模块和偏色校正子模块，颜色空间转换子模块用于将所述原始舌象图片集进行颜色空间转换，得到中间舌象图片集；偏色校正子模块用于通过偏色校正对所述中间舌象图片集进行图片颜色调整，得到舌象校正图像集。
本实施例可以避免偏色对诊断造成干扰，提高诊断准确率。
在本实施例的一些可选的实现方式中，偏色校正子模块进一步用于：
计算所述中间舌象图片集中每张中间舌象图片各通道的像素均值，并计算出所述像素均值与建立的标准肤色之间的距离；
根据所述距离调整所述中间舌象图片的颜色。
本实施例中，根据建立的标准肤色进行颜色调整，可以提高偏色校正的效率和准确率。
在本实施例中，训练模块404包括卷积子模块、注意力子模块、输出子模块、计算子模块、调整子模块和生成子模块，卷积子模块用于将所述舌象标签数据输入至所述卷积层进行特征提取，获得舌象特征数据；注意力子模块用于通过所述注意力层对所述舌象特征数据进行注意力特征提取，得到舌象注意力特征；输出子模块用于将所述舌象注意力特征通过所述输出层输出，得到分类预测结果；计算子模块用于根据所述舌象标签数据确定第一损失函数，根据所述分类预测结果确定第二损失函数，根据所述第一损失函数和所述第二损失函数确定目标损失函数；调整子模块用于基于所述目标损失函数调整所述卷积网络模型的模型参数；生成子模块用于当满足迭代结束条件时，根据所述模型参数生成舌诊模型。
本实施例通过训练预构建的卷积网络模型作为舌诊模型，可以提升模型的识别准确度，进一步提高诊断的客观性。
在本实施例中，注意力子模块进一步用于：
通过所述舌色注意力层对所述舌象特征数据进行注意力机制运算，得到舌色注意力特征；
通过所述苔色注意力层对所述舌象特征数据进行注意力机制运算，得到苔色注意力特征，其中，所述舌色注意力特征和所述苔色注意力特征组成所述舌象注意力特征。
本实施例的注意力层，可以提高模型的识别能力和提供定位能力。
在本实施例中，计算子模块进一步用于：
根据所述第二损失函数得到正则项；
将所述第一损失函数、所述第二损失函数和所述正则项相加，得到目标损失函数。
在本实施例的一些可选的实现方式中，分割模块402进一步用于：
将所述舌象校正图像集进行舌体分割，提取舌体图像；
对所述舌体图像进行轮廓处理，得到所述舌体分割图像集。
本实施例可以提升分割效果，为后续提高舌象特征分析的准确性奠定基础。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备5包括通过系统总线相互通信连接存储器51、处理器52、网络接口53。需要指出的是，图中仅示出了具有组件51-53的计算机设备5，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器51可以是所述计算机设备5的内部存储单元，例如该计算机设备5的硬盘或内存。在另一些实施例中，所述存储器51也可以是所述计算机设备5的外部存储设备，例如该计算机设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括其外部存储设备。本实施例中，所述存储器51通常用于存储安装于所述计算机设备5的操作系统和各类应用软件，例如舌色苔色识别方法的计算机可读指令等。此外，所述存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器52在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制所述计算机设备5的总体操作。本实施例中，所述处理器52用于运行所述存储器51中存储的计算机可读指令或者处理数据，例如运行所述舌色苔色识别方法的计算机可读指令。
所述网络接口53可包括无线网络接口或有线网络接口，该网络接口53通常用于在所述计算机设备5与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例舌色苔色识别方法的步骤，通过使用携带舌色苔色标签的舌象标签数据训练卷积网络模型得到舌诊模型，并利用舌诊模型进行舌色苔色识别，可以有效提取到有效特征，提高模型的识别能力和定位能力，进一步提升舌色苔色识别的准确度。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的舌色苔色识别方法的步骤，通过使用携带舌色苔色标签的舌象标签数据训练卷积网络模型得到舌诊模型，并利用舌诊模型进行舌色苔色识别，可以有效提取到有效特征，提高模型的识别能力和定位能力，进一步提升舌色苔色识别的准确度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种舌色苔色识别方法，其特征在于，包括下述步骤：
采集原始舌象图片集，对所述原始舌象图片集进行偏色校正，获得舌象校正图像集；
对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集；
将所述舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据；
将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型；
将待分析舌象图片输入至所述舌诊模型进行舌色苔色识别，输出识别结果。
2.根据权利要求1所述的舌色苔色识别方法，其特征在于，所述对所述原始舌象图片集进行偏色校正，获得舌象校正图像集的步骤包括：
将所述原始舌象图片集进行颜色空间转换，得到中间舌象图片集；
通过偏色校正对所述中间舌象图片集进行图片颜色调整，得到舌象校正图像集。
3.根据权利要求2所述的舌色苔色识别方法，其特征在于，所述通过偏色校正对所述中间舌象图片集进行图片颜色调整的步骤包括：
计算所述中间舌象图片集中每张中间舌象图片各通道的像素均值，并计算出所述像素均值与建立的标准肤色之间的距离；
根据所述距离调整所述中间舌象图片的颜色。
4.根据权利要求1所述的舌色苔色识别方法，其特征在于，所述卷积网络模型至少包括卷积层、注意力层和输出层，所述将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型的步骤包括：
将所述舌象标签数据输入至所述卷积层进行特征提取，获得舌象特征数据；
通过所述注意力层对所述舌象特征数据进行注意力特征提取，得到舌象注意力特征；
将所述舌象注意力特征通过所述输出层输出，得到分类预测结果；
根据所述舌象标签数据确定第一损失函数，根据所述分类预测结果确定第二损失函数，根据所述第一损失函数和所述第二损失函数确定目标损失函数；
基于所述目标损失函数调整所述卷积网络模型的模型参数；
当满足迭代结束条件时，根据所述模型参数生成舌诊模型。
5.根据权利要求4所述的舌色苔色识别方法，其特征在于，所述注意力层包括舌色注意力层和苔色注意力层，所述通过所述注意力层对所述舌象特征数据进行注意力特征提取，得到舌象注意力特征的步骤包括：
通过所述舌色注意力层对所述舌象特征数据进行注意力机制运算，得到舌色注意力特征；
通过所述苔色注意力层对所述舌象特征数据进行注意力机制运算，得到苔色注意力特征，其中，所述舌色注意力特征和所述苔色注意力特征组成所述舌象注意力特征。
6.根据权利要求4所述的舌色苔色识别方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数确定目标损失函数的步骤包括：
根据所述第二损失函数得到正则项；
将所述第一损失函数、所述第二损失函数和所述正则项相加，得到目标损失函数。
7.根据权利要求1所述的舌色苔色识别方法，其特征在于，所述对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集的步骤包括：
将所述舌象校正图像集进行舌体分割，提取舌体图像；
对所述舌体图像进行轮廓处理，得到所述舌体分割图像集。
8.一种舌色苔色识别装置，其特征在于，包括：
采集校正模块，用于采集原始舌象图片集，对所述原始舌象图片集进行偏色校正，获得舌象校正图像集；
分割模块，用于对所述舌象校正图像集进行分割细化处理，获得舌体分割图像集；
分类模块，用于将所述舌体分割图像集输入至分类模型中，输出携带舌色苔色标签的舌体标签数据；
训练模块，用于将所述舌体标签数据输入至预构建的卷积网络模型，输出分类预测结果，根据所述舌体标签数据和所述分类预测结果确定目标损失函数，基于所述目标损失函数对所述卷积网络模型进行迭代更新，输出训练完成的所述卷积网络模型作为舌诊模型；
识别模块，用于将待分析舌象图片输入至所述舌诊模型进行舌色苔色识别，输出识别结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的舌色苔色识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的舌色苔色识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111015676.4A CN113724228B (zh) | 2021-08-31 | 2021-08-31 | 舌色苔色识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111015676.4A CN113724228B (zh) | 2021-08-31 | 2021-08-31 | 舌色苔色识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724228A true CN113724228A (zh) | 2021-11-30 |
| CN113724228B CN113724228B (zh) | 2024-05-10 |
Family
ID=78680073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111015676.4A Active CN113724228B (zh) | 2021-08-31 | 2021-08-31 | 舌色苔色识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724228B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511567A (zh) * | 2022-04-20 | 2022-05-17 | 天中依脉(天津)智能科技有限公司 | 舌体与舌苔图像识别分离方法 |
| CN114596621A (zh) * | 2022-05-10 | 2022-06-07 | 慧医谷中医药科技(天津)股份有限公司 | 一种基于机器视觉的舌象数据处理方法及系统 |
| CN114882047A (zh) * | 2022-04-19 | 2022-08-09 | 厦门大学 | 一种基于半监督与Transformers的医学图像分割方法及系统 |
| CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
| CN115691793A (zh) * | 2022-12-28 | 2023-02-03 | 智慧眼科技股份有限公司 | 一种舌象数据处理方法、装置及相关设备 |
| CN116824252A (zh) * | 2023-06-28 | 2023-09-29 | 广东省新黄埔中医药联合创新研究院 | 高光谱舌象图像的中医舌色分类量化方法 |
| CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
| CN117197139A (zh) * | 2023-11-07 | 2023-12-08 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于ai的舌诊图像多标签分类方法 |
| CN117611581A (zh) * | 2024-01-18 | 2024-02-27 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110136502A (ko) * | 2010-06-15 | 2011-12-21 | 한국 한의학 연구원 | 혀 진단 영역 추출 방법 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN110060250A (zh) * | 2019-04-24 | 2019-07-26 | 北京峰云视觉技术有限公司 | 一种舌体图像处理方法、装置及电子设备 |
| CN110189305A (zh) * | 2019-05-14 | 2019-08-30 | 上海大学 | 一种多任务舌象自动分析方法 |
| CN110495888A (zh) * | 2019-08-27 | 2019-11-26 | 上海中医药大学 | 一种基于中医舌、面图像的标准色卡及其应用 |
-
2021
- 2021-08-31 CN CN202111015676.4A patent/CN113724228B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110136502A (ko) * | 2010-06-15 | 2011-12-21 | 한국 한의학 연구원 | 혀 진단 영역 추출 방법 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN110060250A (zh) * | 2019-04-24 | 2019-07-26 | 北京峰云视觉技术有限公司 | 一种舌体图像处理方法、装置及电子设备 |
| CN110189305A (zh) * | 2019-05-14 | 2019-08-30 | 上海大学 | 一种多任务舌象自动分析方法 |
| CN110495888A (zh) * | 2019-08-27 | 2019-11-26 | 上海中医药大学 | 一种基于中医舌、面图像的标准色卡及其应用 |
Non-Patent Citations (1)
| Title |
|---|
| 孙萌 等: "基于TripletLoss损失函数的舌象分类方法研究", 北京生物医学工程, vol. 39, no. 2, pages 131 - 137 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882047A (zh) * | 2022-04-19 | 2022-08-09 | 厦门大学 | 一种基于半监督与Transformers的医学图像分割方法及系统 |
| CN114511567A (zh) * | 2022-04-20 | 2022-05-17 | 天中依脉(天津)智能科技有限公司 | 舌体与舌苔图像识别分离方法 |
| CN114511567B (zh) * | 2022-04-20 | 2022-08-05 | 天中依脉(天津)智能科技有限公司 | 舌体与舌苔图像识别分离方法 |
| CN114596621A (zh) * | 2022-05-10 | 2022-06-07 | 慧医谷中医药科技(天津)股份有限公司 | 一种基于机器视觉的舌象数据处理方法及系统 |
| CN114596621B (zh) * | 2022-05-10 | 2022-07-29 | 慧医谷中医药科技(天津)股份有限公司 | 一种基于机器视觉的舌象数据处理方法及系统 |
| CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
| CN115691793A (zh) * | 2022-12-28 | 2023-02-03 | 智慧眼科技股份有限公司 | 一种舌象数据处理方法、装置及相关设备 |
| CN116824252A (zh) * | 2023-06-28 | 2023-09-29 | 广东省新黄埔中医药联合创新研究院 | 高光谱舌象图像的中医舌色分类量化方法 |
| CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
| CN117094966B (zh) * | 2023-08-21 | 2024-04-05 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
| CN117197139A (zh) * | 2023-11-07 | 2023-12-08 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于ai的舌诊图像多标签分类方法 |
| CN117197139B (zh) * | 2023-11-07 | 2024-02-02 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于ai的舌诊图像多标签分类方法 |
| CN117611581A (zh) * | 2024-01-18 | 2024-02-27 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
| CN117611581B (zh) * | 2024-01-18 | 2024-05-14 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724228B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113724228B (zh) | 舌色苔色识别方法、装置、计算机设备及存储介质 | |
| CN107977671B (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| Chen et al. | Automatic feature extraction in X-ray image based on deep learning approach for determination of bone age | |
| CN108806792B (zh) | 深度学习面诊系统 | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| JP2023520846A (ja) | 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器 | |
| WO2021051875A1 (zh) | 细胞分类方法、装置、介质及电子设备 | |
| CN110175998A (zh) | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| EP4181059A1 (en) | Medical image processing method, apparatus, device, storage medium, and product | |
| CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
| Li et al. | Natural tongue physique identification using hybrid deep learning methods | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN112966792B (zh) | 血管图像分类处理方法、装置、设备及存储介质 | |
| CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| CN107590806B (zh) | 一种基于大脑医学成像的检测方法和系统 | |
| CN113781462A (zh) | 一种人体伤残检测方法、装置、设备及存储介质 | |
| CN111898528B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN113705301A (zh) | 图像处理方法及装置 | |
| CN113610746A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN116130088A (zh) | 多模态面诊问诊方法、装置及相关设备 | |
| Li et al. | Development of a single-leaf disease severity automatic grading system based on image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |