CN112200091A - 舌头区域识别的方法、装置及计算机存储介质 - Google Patents
舌头区域识别的方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN112200091A CN112200091A CN202011088230.XA CN202011088230A CN112200091A CN 112200091 A CN112200091 A CN 112200091A CN 202011088230 A CN202011088230 A CN 202011088230A CN 112200091 A CN112200091 A CN 112200091A
- Authority
- CN
- China
- Prior art keywords
- tongue
- information
- network
- target
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 65
- 238000013135 deep learning Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 11
- 230000003750 conditioning effect Effects 0.000 claims description 8
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 claims description 3
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 claims description 3
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 claims description 3
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000005181 root of the tongue Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000005182 tip of the tongue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种舌头区域识别的方法、装置及计算机存储介质，涉及人工智能领域。所述舌头区域识别的方法包括如下步骤：采集舌头图像；通过目标检测算法对舌头图像进行图像识别，获取目标舌头信息；将目标舌头信息输入已训练好的Unet分割网络进行区域分割，得到舌根信息、舌中信息、舌尖信息、舌边信息，其中，Unet分割网络采用全尺度跳跃连接，且在Unet分割网络的每一层设置有1*1卷积核；将舌根信息、舌中信息、舌尖信息、舌边信息以及目标舌头信息输入到已训练好的深度学习网络进行分类处理，得到舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性；从而可以通过上述方式，提升舌头区域的识别的准确性以辅助舌诊判断。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种舌头区域识别的方法、装置及计算机存储介质。
背景技术
舌诊是中医望诊中的一个重点观测指标，舌头也被中医称为心之苗，脾之外候，苔由肺气所生。在中医中又有舌尖属心肺，舌边属肝胆，舌中属脾胃，舌根属肾。因此通过观察舌面苔迹、舌质相关属性，包括颜色、形态等可以了解人的身体状况。在舌诊检测过程中也有通过计算机识别进行辅助判断，但是现有的识别方式通常仅能识别整个舌体部分，对于摄图各区域的识别正确率不高，无法用于辅助舌诊。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供了一种舌头区域识别的方法、装置以及计算机存储介质，可以提升舌头区域的识别的准确性。
根据本发明第一方面实施例的一种舌头区域识别的方法，包括如下步骤：
采集舌头图像；
通过目标检测算法对所述舌头图像进行图像识别，获取目标舌头信息；
将所述目标舌头信息输入已训练好的Unet分割网络进行区域分割，得到舌根信息、舌中信息、舌尖信息、舌边信息，其中，所述Unet分割网络采用全尺度跳跃连接，且在所述Unet分割网络的每一层设置有1*1卷积核；
将所述舌根信息、所述舌中信息、所述舌尖信息、所述舌边信息以及所述目标舌头信息输入到已训练好的深度学习网络进行分类处理，得到舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性。
根据本发明的上述实施例，至少具有如下有益效果：通过建立有深度监督机制以及全尺度跳跃连接的Unet分割网络，提升舌头不同区域的识别的准确性。同时，通过深度学习网络对分割后的目标舌头信息进行学习以获得舌头不同区域的信息，从而提供进行舌诊的数据。因此，通过上述实施例，可以提升舌头区域的识别的准确性。
根据本发明第一方面的一些实施例，所述舌头区域识别的方法还包括如下的步骤：
获取所述目标舌头信息的置信度；
将所述置信度与预设的置信度值进行比较，并根据比较结果选择是否进行舌头图像重采集以得到满足条件的所述目标舌头信息。
因此，通过获取置信度大于等于预设的置信度值的目标舌头信息，从而可以保证输入Unet分割网络、以及深度学习网络的图像质量符合要求，提升后续特征识别的准确率。
根据本发明第一方面的一些实施例，所述Unet分割网络包括像素级特征图、块级特征图以及图像级特征图；所述Unet分割网络通过指数损失函数对所述像素级特征图进行评估，以确定Unet分割网络的优化方向；所述Unet分割网络通过focal loss损失函数对所述块级特征图进行评估，以确定Unet分割网络的优化方向；所述Unet分割网络通过交并比损失函数对所述图像级特征图进行评估，以确定Unet分割网络的优化方向。通过在Unet的不同的层次特征图选用不同的损失函数，可以对图像的特征提取在不同层次进行优化，以使分割的图像与的所需的图像更加接近，从而可以提升舌头区域的识别的准确率。
根据本发明第一方面的一些实施例，所述深度学习网络通过深度学习骨干网络与ASSP(Atrous Spatial Pyramid Pooling)结构相结合得到。通过ASSP可以将具有多尺度的图像进行更好的融合，从而提升舌头区域的识别的准确率。
根据本发明第一方面的一些实施例，所述深度学习网络通过VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZF_Net、ResNet18、ResNet34、ResNet50、ResNet_152或EfficientNet中的至少一种算法建立所述深度学习骨干网络。
在本发明第一方面的一些实施例中，所述深度学习网络通过Xception建立所述深度学习骨干网络，其中，所述Xception采用深度可分离卷积以及空洞分离卷积对任意分辨率的图像进行特征图提取，以得到所述深度学习骨干网络。通过采用Xception可以更加充分的提取目标舌头信息的特征。
根据本发明第一方面的一些实施例，所述深度学习网络以及所述Unet分割网络中进行训练的图像为经过属性标注的图像。
根据本发明第一方面的一些实施例，所述舌头区域识别的方法还包括：
根据所述舌头属性、所述舌根属性、所述舌中属性、所述舌尖属性以及所述舌边属性获取用户参数；
将所述用户参数与预设的建议调理方案进行匹配，并将所述用户参数以及所述建议调理方案进行展示。
根据本发明第二方面提供的一种舌头区域识别的装置，所述舌头区域识别的装置包括：
数据采集模块，用于采集舌头图像数据；
目标识别模块，用于通过定目标检测算法获取目标舌头信息；
区域分割模块，用于通过Unet分割网络，得到舌根信息、舌中信息、舌尖信息、舌边信息；
属性确定模块，用于通过深度学习网络，得到舌根属性、舌中属性、舌边属性、舌尖属性。
由于第二方面的舌头区域识别的装置应用第一方面任一项的舌头区域识别的方法，因此具有本发明第一方面的所有有益效果。
根据本发明第三方面提供的一种计算机存储介质，包括存储有计算机可执行指令，所述计算机可执行指令用于执行第一方面任一项所述舌头区域识别的方法。
由于第三方面的计算机存储介质执行的指令可以执行第一方面任一项的舌头区域识别的方法，因此具有本发明第一方面的所有有益效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的舌头区域识别的方法的主要步骤图；
图2是本发明实施例的Unet分割网络示意图；
图3是本发明实施例的舌头区域识别的装置的结构示意图。
附图标记：
数据采集模块100、目标识别模块200、区域分割模块300、属性确定模块400、展示模块500。
具体实施方式
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面参照图1至图3描述本发明的舌头区域识别的方法、装置及计算机存储介质。
根据本发明第一方面实施例的一种舌头区域识别的方法，如图1所示，包括如下步骤：
步骤S100、采集舌头图像。
应理解的是，舌头图像可以来源于用户用手机实时拍摄或者从历史相册中上传的包含舌头的图片。
步骤S200、通过目标检测算法对舌头图像进行图像识别，获取目标舌头信息。
应理解的是，目标检测算法可以采用如下之一：yolov4目标检测算法、R-CNN、FastR-CNN、Faster R-CNN、SSD、yolov1、yolov2、yolov3、yolov4、yolov5或EfficientDet。
步骤S300、将目标舌头信息输入到已训练好的Unet分割网络进行区域分割，得到舌根信息、舌中信息、舌尖信息、舌边信息，其中，Unet分割网络采用全尺度跳跃连接，且在Unet分割网络的每一层设置有1*1卷积核。
应理解的是，在Unet中进入全尺度跳跃连接后，每个Unet的解码层都融合了来字编码器的小尺度(较底层)、同尺度以及大尺度(较上层)的特征图，可以获得细粒度语义和粗粒度语义。同时，通过1*1卷积核监督每个层次的网络输出，以得到更好的训练效果。此时，Unet分割网络如图2所示。
步骤S400、将舌根信息、舌中信息、舌尖信息、舌边信息以及目标舌头信息输入到已训练好的深度学习网络进行分类处理，得到舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性。
因此，通过建立有深度监督机制以及全尺度跳跃连接的Unet分割网络，提升舌头不同区域的识别的准确性。同时，通过深度学习网络对分割后的目标舌头信息进行学习以获得舌头不同区域的信息，从而提供进行舌诊的数据。因此，通过上述实施例，可以提升舌头区域的识别的准确性。
在本发明第一方面的一些实施例中，步骤S200后，步骤S300前，还包括如下的步骤：
获取目标舌头信息的置信度。
应理解的是，在实际的应用过程中，采集到的原始舌头图像数据可能存在不能完全覆盖舌头等问题，因此，需要进行置信度判断。
将置信度与预设的置信度值进行比较，并根据比较结果选择是否进行舌头图像重采集以得到满足条件的目标舌头信息。
应理解的是，预设的置信度值可以根据经验值进行设置，在一些实施例中，预设的置信度值为0.8。
应理解的是，当置信度值大于预设的置信度值时，将获取的目标舌头信息输入Unet分割网络进行分割。
应理解的是，在一些实施例中，还会对原始舌头图像进行图像质量检测，如像素点，以保证上传的图像质量足够好，从而使得后续的获取的舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性更加准确。
因此，通过获取置信度大于等于预设的置信度值的目标舌头信息，从而可以保证输入Unet分割网络、以及深度学习网络的图像质量符合要求，提升后续特征识别的准确率。
在本发明第一方面的一些实施例中，Unet分割网络包括像素级特征图、块级特征图以及图像级特征图；Unet分割网络通过指数损失函数对像素级特征图进行评估，以确定Unet分割网络的优化方向；Unet分割网络通过focal loss损失函数对块级特征图进行评估，以确定Unet分割网络的优化方向；Unet分割网络通过交并比损失函数对图像级特征图进行评估，以确定Unet分割网络的优化方向。通过在Unet的不同的层次特征图选用不同的损失函数，可以对图像的特征提取在不同层次进行优化，以使分割的图像与的所需的图像更加接近，从而可以提升舌头区域的识别的准确率。
在本发明第一方面的一些实施例中，深度学习网络通过深度学习骨干网络与ASSP(Atrous Spatial Pyramid Pooling)结构相结合得到。通过ASSP可以将具有多尺度的图像进行更好的融合，从而提升舌头区域的识别的准确率。
在本发明第一方面的一些实施例中，深度学习网络通过VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZF_Net、ResNet18、ResNet34、ResNet50、ResNet_152或EfficientNet中的至少一种算法建立深度学习骨干网络。
在本发明第一方面的一些实施例中，深度学习网络通过Xception建立深度学习骨干网络，其中Xception采用深度可分离卷积以及空洞分离卷积对任意分辨率图像进行特征图提取，以得到深度学习骨干网络。通过采用Xception可以更加充分的提取目标舌头信息的特征。
在本发明第一方面的一些实施例中，深度学习网络以及Unet分割网络中进行训练的图像为经过属性标注的图像。
应理解的是，在实际训练中，是将整张舌头图像输入进行训练，将舌头图像的各区域进行属性标注，可以使得深度学习网络以及Unet分割网络在训练时能够知道进行训练时，知道舌头图像各部分的属性。
在本发明第一方面的一些实施例中，舌头区域识别的方法还包括：
根据舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性获取用户参数。
应理解的是，以舌根属性为例，舌根的属性包括颜色，不同的颜色对应不同的心肺的情况，因此通过舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性得到对应的身体器官的情况。
将用户参数与预设的建议调理方案进行匹配，并将用户参数以及建议调理方案进行展示。
根据本发明第二方面提供的一种舌头区域识别的装置，如图3所示，舌头区域识别的装置包括：
数据采集模块100，用于采集舌头图像。
目标识别模块200，用于通过目标检测算法获取目标舌头信息。
区域分割模块300，用于通过Unet分割网络，得到舌根信息、舌中信息、舌尖信息、舌边信息。
属性确定模块400，用于通过深度学习网络，得到舌根属性、舌中属性、舌边属性、舌尖属性。
由于第二方面的舌头区域识别的装置应用第一方面任一项的舌头区域识别的方法，因此具有本发明第一方面的所有有益效果。
应理解的是，上文中装置可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
根据本发明第三方面提供的一种计算机存储介质，包括存储有计算机可执行指令，计算机可执行指令用于执行第一方面任一项舌头区域识别的方法。
由于第三方面的计算机存储介质执行的指令可以执行第一方面任一项的舌头区域识别的方法，因此具有本发明第一方面的所有有益效果。
应理解的是，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
下面参考图1至图3以一个具体的实施例详细描述根据本发明实施例应用舌头区域识别的方法的装置。值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
如图3所示，数据采集模块100，用于采集舌头图像数据。
如图3所示，目标识别模块200，用于通过定目标检测算法获取目标舌头信息。
如图3所示，区域分割模块300，用于通过Unet分割网络，得到舌根信息、舌中信息、舌尖信息、舌边信息。
如图3所示，属性确定模块400，用于通过深度学习网络，得到舌根属性、舌中属性、舌边属性、舌尖属性。
具体的，如图1步骤S100，数据采集模块100获取用户用手机实时拍摄的舌头图像。
进一步，如步骤S200，目标识别模块200通过目标检测算法对舌头图像进行图像识别，获取目标舌头信息。
进一步，目标识别模块200获取目标舌头信息的置信度。
进一步，目标识别模块200将置信度与预设的置信度值进行比较，当置信度大于或者等于预设的置信度值时，继续执行下面的步骤；否则重复步骤S100～步骤S230直至置信度值满足条件。具体的，预设的置信度值为0.8。
进一步，如图1中步骤S300，区域分割模块300将目标舌头信息输入到已训练好的Unet分割网络进行区域分割，得到舌根信息、舌中信息、舌尖信息、舌边信息。
进一步，如步骤S400，属性确定模块400将舌根信息、舌中信息、舌尖信息、舌边信息以及目标舌头信息输入到已训练好的深度学习网络进行分类处理，得到舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性。
进一步，舌头区域识别的装置还包括展示模块500。
进一步，展示模块500根据舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性获取用户参数。
进一步，展示模块500将用户参数与预设的建议调理方案进行匹配，并将用户参数以及建议调理方案进行展示。
具体的，区域分割模块300中通过如下步骤建立如图2所示的Unet分割网络以及训练Unet分割网络。
首先，Unet分割网络采用全尺度跳跃连接，且在Unet分割网络的每一层设置有1*1卷积核。具体的，如图2所示，X0,1、X0,2、X0,3、X0,4的特征图接入一个1×1的卷积核(即图示Conv 1×1)。
进一步，Unet分割网络建立包括像素级特征图、块级特征图以及图像级特征图的网络结构。
进一步，Unet分割网络通过指数损失函数对像素级特征图进行评估，以Unet分割网络的优化方向。
进一步，Unet分割网络通过focal loss损失函数对块级特征图进行评估，以确定Unet分割网络的优化方向。
进一步，Unet分割网络通过交并比损失函数对所述图像级特征图进行评估，以确定Unet分割网络的优化方向。
进一步，在Unet分割网络训练时，将舌头图像数据进行区域属性的标注后输入Unet分割网络进行训练；此时，通过上述方式完成Unet分割网络的训练。
进一步，深度学习网络通过深度学习骨干网络与ASSP(Atrous Spatial PyramidPool ing)结构相结合得到。具体的，深度学习骨干网络通过Xception建立，具体的，Xception采用深度可分离卷积以及空洞分离卷积对任意分辨率的图像进行特征图提取，以得到深度学习骨干网络。
进一步，将标注了属性的舌头图像数据输入深度学习网络进行训练，最终得到训练好的深度学习网络。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种舌头区域识别的方法，其特征在于，包括如下步骤：
采集舌头图像；
通过目标检测算法对所述舌头图像进行图像识别，获取目标舌头信息；
将所述目标舌头信息输入已训练好的Unet分割网络进行区域分割，得到舌根信息、舌中信息、舌尖信息、舌边信息，其中，所述Unet分割网络采用全尺度跳跃连接，且在所述Unet分割网络的每一层设置有1*1卷积核；
将所述舌根信息、所述舌中信息、所述舌尖信息、所述舌边信息以及所述目标舌头信息输入到已训练好的深度学习网络进行分类处理，得到舌头属性、舌根属性、舌中属性、舌尖属性以及舌边属性。
2.根据权利要求1所述的舌头区域识别的方法，其特征在于，还包括如下步骤：
获取所述目标舌头信息的置信度；
将所述置信度与预设的置信度值进行比较，并根据比较结果选择是否进行舌头图像重采集以得到满足条件的所述目标舌头信息。
3.根据权利要求1所述的舌头区域识别的方法，其特征在于，
所述Unet分割网络包括像素级特征图、块级特征图以及图像级特征图；
所述Unet分割网络通过指数损失函数对所述像素级特征图进行评估，以确定Unet分割网络的优化方向；
所述Unet分割网络通过focal loss损失函数对所述块级特征图进行评估，以确定Unet分割网络的优化方向；
所述Unet分割网络通过交并比损失函数对所述图像级特征图进行评估，以确定Unet分割网络的优化方向。
4.根据权利要求1所述的舌头区域识别的方法，其特征在于，
所述深度学习网络通过深度学习骨干网络与ASSP结构相结合得到。
5.根据权利要求4所述的舌头区域识别的方法，其特征在于，
所述深度学习网络通过VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZF_Net、ResNet18、ResNet34、ResNet50、ResNet_152或EfficientNet中的至少一种算法建立所述深度学习骨干网络。
6.根据权利要求5所述的舌头区域识别的方法，其特征在于，
所述深度学习网络通过Xception建立所述深度学习骨干网络，其中，所述Xception采用深度可分离卷积以及空洞分离卷积对任意分辨率的图像进行特征图提取，以得到所述深度学习骨干网络。
7.根据权利要求1至6任一所述的舌头区域识别的方法，其特征在于，
所述深度学习网络以及所述Unet分割网络中进行训练的图像为经过属性标注的图像。
8.根据权利要求1至6任一所述的舌头区域识别的方法，其特征在于，还包括：
根据所述舌头属性、所述舌根属性、所述舌中属性、所述舌尖属性以及所述舌边属性获取用户参数；
将所述用户参数与预设的建议调理方案进行匹配，并将所述用户参数以及所述建议调理方案进行展示。
9.一种舌头区域识别的装置，其特征在于，包括：
数据采集模块，用于采集舌头图像；
目标识别模块，用于通过定目标检测算法获取目标舌头信息；
区域分割模块，用于通过Unet分割网络，得到舌根信息、舌中信息、舌尖信息、舌边信息；
属性确定模块，用于通过深度学习网络，得到舌根属性、舌中属性、舌边属性、舌尖属性。
10.一种计算机存储介质，其特征在于，包括存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至8中任一项所述的舌头区域识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011088230.XA CN112200091A (zh) | 2020-10-13 | 2020-10-13 | 舌头区域识别的方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011088230.XA CN112200091A (zh) | 2020-10-13 | 2020-10-13 | 舌头区域识别的方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112200091A true CN112200091A (zh) | 2021-01-08 |
Family
ID=74008561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011088230.XA Pending CN112200091A (zh) | 2020-10-13 | 2020-10-13 | 舌头区域识别的方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200091A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837283A (zh) * | 2021-01-27 | 2021-05-25 | 山东众阳健康科技集团有限公司 | 一种肺栓塞检测系统、介质及电子设备 |
| CN113312978A (zh) * | 2021-04-30 | 2021-08-27 | 中国科学院计算技术研究所 | 一种显微影像下目标精确识别和分割的方法及其系统 |
| CN113378984A (zh) * | 2021-07-05 | 2021-09-10 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN113687227A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法 |
| CN114581432A (zh) * | 2022-03-18 | 2022-06-03 | 河海大学 | 一种基于深度学习的舌象仪舌象分割方法 |
| CN114820603A (zh) * | 2022-06-27 | 2022-07-29 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745217A (zh) * | 2013-12-31 | 2014-04-23 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
| CN109087702A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 用于中医健康状态分析的四诊表征信息融合方法 |
| CN109740654A (zh) * | 2018-12-26 | 2019-05-10 | 华东师范大学 | 一种基于深度学习的舌体自动检测方法 |
| CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
| CN110299193A (zh) * | 2019-06-27 | 2019-10-01 | 合肥云诊信息科技有限公司 | 基于人工智能舌诊的中医健康云服务方法 |
| US20200160512A1 (en) * | 2018-11-16 | 2020-05-21 | Boe Technology Group Co., Ltd. | Method, client, server and system for detecting tongue image, and tongue imager |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
| CN111260619A (zh) * | 2020-01-14 | 2020-06-09 | 浙江中医药大学 | 基于U-net模型的舌体自动分割方法 |
| CN111599444A (zh) * | 2020-05-18 | 2020-08-28 | 深圳市悦动天下科技有限公司 | 智能舌诊检测方法、装置、智能终端和存储介质 |
-
2020
- 2020-10-13 CN CN202011088230.XA patent/CN112200091A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745217A (zh) * | 2013-12-31 | 2014-04-23 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
| CN109087702A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 用于中医健康状态分析的四诊表征信息融合方法 |
| US20200160512A1 (en) * | 2018-11-16 | 2020-05-21 | Boe Technology Group Co., Ltd. | Method, client, server and system for detecting tongue image, and tongue imager |
| CN109740654A (zh) * | 2018-12-26 | 2019-05-10 | 华东师范大学 | 一种基于深度学习的舌体自动检测方法 |
| CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
| CN110299193A (zh) * | 2019-06-27 | 2019-10-01 | 合肥云诊信息科技有限公司 | 基于人工智能舌诊的中医健康云服务方法 |
| CN111260619A (zh) * | 2020-01-14 | 2020-06-09 | 浙江中医药大学 | 基于U-net模型的舌体自动分割方法 |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
| CN111599444A (zh) * | 2020-05-18 | 2020-08-28 | 深圳市悦动天下科技有限公司 | 智能舌诊检测方法、装置、智能终端和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 玖零猴: "UNet3+(UNet+++)论文翻译与详细解读", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_40519315/article/details/105765859> * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837283A (zh) * | 2021-01-27 | 2021-05-25 | 山东众阳健康科技集团有限公司 | 一种肺栓塞检测系统、介质及电子设备 |
| CN113312978A (zh) * | 2021-04-30 | 2021-08-27 | 中国科学院计算技术研究所 | 一种显微影像下目标精确识别和分割的方法及其系统 |
| CN113378984A (zh) * | 2021-07-05 | 2021-09-10 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN113687227A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法 |
| CN114581432A (zh) * | 2022-03-18 | 2022-06-03 | 河海大学 | 一种基于深度学习的舌象仪舌象分割方法 |
| CN114581432B (zh) * | 2022-03-18 | 2024-02-20 | 河海大学 | 一种基于深度学习的舌象仪舌象分割方法 |
| CN114820603A (zh) * | 2022-06-27 | 2022-07-29 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
| CN114820603B (zh) * | 2022-06-27 | 2022-09-16 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200091A (zh) | 舌头区域识别的方法、装置及计算机存储介质 | |
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN111476284B (zh) | 图像识别模型训练及图像识别方法、装置、电子设备 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| TWI713054B (zh) | 圖像分割方法及裝置、電子設備和儲存媒體 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN110852316A (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| EP4375857A1 (en) | Supervised learning method and apparatus for image features, device, and storage medium | |
| CN114820584B (zh) | 肺部病灶定位装置 | |
| Huang et al. | Scribble-based boundary-aware network for weakly supervised salient object detection in remote sensing images | |
| CN113052228A (zh) | 一种基于SE-Inception的肝癌病理切片分类方法 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN112149689A (zh) | 基于目标领域自监督学习的无监督领域适应方法和系统 | |
| CN116664840A (zh) | 一种基于互关系知识蒸馏的语义分割方法、装置及设备 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN114565035A (zh) | 一种舌象分析方法、终端设备及存储介质 | |
| CN114548213A (zh) | 模型训练方法、图像识别方法、终端设备及计算机介质 | |
| CN111599444A (zh) | 智能舌诊检测方法、装置、智能终端和存储介质 | |
| CN116778347A (zh) | 数据更新方法、装置、电子设备和存储介质 | |
| CN111598144A (zh) | 图像识别模型的训练方法和装置 | |
| CN112651400B (zh) | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 | |
| CN112734707B (zh) | 一种3d内窥镜辅助检测方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |