CN110251084A - 一种基于人工智能的舌像检测与识别方法 - Google Patents
一种基于人工智能的舌像检测与识别方法 Download PDFInfo
- Publication number
- CN110251084A CN110251084A CN201910541322.XA CN201910541322A CN110251084A CN 110251084 A CN110251084 A CN 110251084A CN 201910541322 A CN201910541322 A CN 201910541322A CN 110251084 A CN110251084 A CN 110251084A
- Authority
- CN
- China
- Prior art keywords
- tongue
- picture
- detection
- real
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Geometry (AREA)
- Physical Education & Sports Medicine (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种基于人工智能的舌像检测与识别方法,舌像采集方式采用手机、平板摄像头或专门的舌像采集装置,解决了采集方式单一、不能大规模采集舌像的限制,为采集舌像图像提供便利;实时自动检测舌像舌体位置,并可实现手动或自动拍摄、保存、上传,解决传统采集的舌像图像中人脸其他部分占据绝大部分,舌体位置占据位置较小,正确检测出舌体相对困难的问题。自动识别舌像舌色、舌形、苔质、苔质的各个属性,有助于中医医生进行舌诊诊断。本发明的检测与识别过程无需复杂的人机交互过程,对舌像数据的分析与计算快速,结果精准。
Description
技术领域
本发明尤其涉及一种基于人工智能的舌像检测与识别方法。
背景技术
中医诊断步骤包括望、闻、问、切四个方面,其中望诊的主要方式是通过舌诊来诊断患者的疾病。舌诊就是中医医生通过观察舌像相关信息并结合自身经验做出的诊断,这样容易受到医生的主观意识的影响。而本发明则是通过对采集舌像图像数据相关信息进行标准化,借助人工智能技术进行检测与识别,有助于中医医生快速进行舌诊并作出准确诊断。
舌像检测与识别是舌诊步骤的一个重要环节,采用计算机辅助检测舌诊舌像具有实际应用价值。深圳市易特科信息技术有限公司专利CN106510636A提出了一种中医舌像自动检测系统及方法,通过自动控制舌像采集设备获取舌像检测结果并实现对舌体的各种属性进行分析与识别。福建北极光虚拟视觉展示科技有限公司专利CN106557746A提出一种基于图像识别技术的舌像检测方法及系统,通过采集舌像数据、处理、与舌像图像数据库对比分析获取舌像检测结果。综上所述,现有的舌像检测方法较为复杂、流程繁琐,存在如下缺点1:舌像采集需要在专门的舌像采集设备进行,采集方式单一,不具备大规模于采集舌像,应用范围狭小。缺点2:上述舌像检测方法较为复杂、流程繁琐,检测过程的耗费时间过长。缺点3:采集的舌像图像中人脸其他部分占据绝大部分,舌体位置占据位置较小,正确检测出舌体相对困难。
发明内容
本发明的目的在于提供一种基于人工智能的舌像检测与识别方法,用于解决舌像采集过程中舌像舌体的实时检测拍摄、保存、上传,同时识别舌像舌色、舌形、苔质、苔色,便于中医医生进行舌诊并综合其他三诊(问诊、闻诊、切诊)快速做出诊断。
本发明采用的技术方案是:
一种基于人工智能的舌像检测与识别方法,包括两个部分,一部分是舌像舌体实时检测部分,另一部分是舌像舌色、舌形、苔质、苔色识别部分;
舌像舌体实时检测部分:
步骤1-1:准备前期舌像数据并处理,用于实时检测网络的训练;
步骤1-2:将舌像数据输入到实时检测网络中进行微调训练,得到舌像舌体实时检测网络模型;
步骤1-3:打开舌像采集装置调用舌像舌体实时检测模型进行实时检测用户的舌像舌体位置并框出;
步骤1-4:通过手动或自动拍摄舌像,得到只含舌体部分的舌像并进行保存、上传至后台数据库;
另一部分是舌像识别部分,具体步骤如下:
步骤2-1:前期准备只含舌体舌像数据集并进行处理,用于InceptionV3网络的分类任务训练;
步骤2-2:将处理完的舌像数据集输入到InceptionV3网络进行多标签分类模型的训练,得到具有多个分类的舌像识别模型;
步骤2-3:将只含舌体舌像输入到舌像识别模块中,调用各个分类的识别模型进行预测,得到该舌像的各项结果;
步骤2-4:将预测得到识别结果输出并展示。
进一步的,步骤1-2中舌像采集装置包括手机、平板摄像头或专业的舌像采集装置。
进一步的,步骤2-2中多标签分类包括舌色、舌形、苔质、苔色标签。
进一步的,其中舌色包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点,舌形包括胖、瘦、齿痕、点刺、裂纹,苔质包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱,苔色包括苔白、苔黄、苔灰、苔黑。
本发明采用以上技术方案,舌像采集方式采用手机、平板摄像头或专门的舌像采集装置,解决了采集方式单一、不能大规模采集舌像的限制,为采集舌像图像提供便利;实时自动检测舌像舌体位置,并可实现手动或自动拍摄、保存、上传,解决传统采集的舌像图像中人脸其他部分占据绝大部分,舌体位置占据位置较小,正确检测出舌体相对困难的问题。自动识别舌像舌色、舌形、苔质、苔质的各个属性,有助于中医医生进行舌诊诊断。本发明的检测与识别过程无需复杂的人机交互过程,对舌像数据的分析与计算快速,结果精准。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明一种基于人工智能的舌像检测与识别方法的流程示意图;
图2为本发明的舌像舌体实时检测流程示意图;
图3为本发明的舌像舌色、舌形、苔质、苔色识别流程示意图。
具体实施方式
本发明公开了一种基于人工智能的舌像检测与识别方法,用于解决舌像采集过程中舌像舌体的实时检测拍摄、保存、上传,同时识别舌像舌色、舌形、苔质、苔色,便于中医医生进行舌诊并综合其他三诊(问诊、闻诊、切诊)快速做出诊断。
本发明的主要关键技术包括两部分,一部分是舌像舌体实时检测模块,另一部分是舌像舌色、舌形、苔质、苔色识别模块。以下,介绍基于人工智能的舌像检测与识别技术详细实现过程。
如图1-3之一所示,本发明提出了基于人工智能的舌像检测技术。首先是打开手机、平板摄像头或专门的舌像采集设备,然后启动自动舌像检测与识别系统,进行自动检测与识别,最后输出检测与识别结果。自动舌像检测与识别系统主要由舌像舌体实时检测模块和舌像舌色、舌形、苔质、苔色识别模块构成。用户通过摄像头或采集装置进行舌像采集时,首先进行进入舌像舌体实时检测模块,舌像舌体位置进行实时检测框出,然后进行手动或自动拍摄得到仅含舌体部分的舌像、保存、上传。然后,将保存、上传的舌像数据输入到舌像识别模块中,对该舌像数据进行舌色、舌形、苔质、苔色的自动识别,最后输出检测与识别结果。
图2为舌像舌体实时检测的流程,具体步骤如下。
步骤1:准备前期舌像数据并处理,用于实时检测网络的训练。
步骤2:将舌像数据输入到实时检测网络中进行微调训练,得到舌像舌体实时检测网络模型。
步骤3:打开手机、平板摄像头或专业的舌像采集装置进入舌像舌体实时检测模块,调用舌像舌体实时检测模型进行实时检测用户的舌像舌体位置并框出。
步骤4:通过手动或自动拍摄舌像,得到只含舌体部分的舌像并进行保存、上传。
步骤5:将保存、上传只含舌体的舌像输入到舌像识别模块进行舌色、舌形、苔质、苔色的识别。同时,输出只含舌体舌像结果。
具体地,本发明能够实时检测采集用户舌像舌体位置,舌像采集方式简便多样,能够实现手动或自动拍摄舌像,克服了现有技术中针对舌像检测实时性问题,从采集舌像开始便能够实时检测出舌像舌体位置。同时,目前采集舌像方式一般都是采用专业的舌像采集装置,具有局限性。本发明提出的检测与识别技术可使用手机、平板摄像头或专业舌像采集装置进行采集舌像,使得采集方式更为多样简便。此外,舌像检测模块还能实现自动或者手动进行拍摄,这样采集用户即可自行采集无需多人协作采集。
如图3所示,舌像舌色、舌形、苔质、苔色识别的具体步骤如下。
步骤1:前期准备只含舌体舌像数据集并进行处理,用于InceptionV3网络的分类任务训练。
步骤2:将处理完的舌像数据集输入到InceptionV3网络分别进行舌色、舌形、苔质、苔色多标签分类模型的训练,得到舌像舌色、舌形、苔质、苔色识别模型。其中舌色包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点,舌形包括胖、瘦、齿痕、点刺、裂纹,苔质包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱,苔色包括苔白、苔黄、苔灰、苔黑。
步骤3:将舌像舌体实时检测模块得到的只含舌体舌像输入到舌像识别模块中,调用舌像舌色、舌形、苔质、苔色的识别模型进行预测,得到该舌像的舌色、舌形、苔质、苔色的各项结果。
步骤4:将预测得到识别结果输出并展示。
具体的,利用只含舌体的舌像直接进行训练识别模型并预测识别的,无需另外进行舌像颜色校正等预处理步骤。同时针对舌形、舌色、苔质、苔色四个属性分别进行了4个多标签的识别模型训练,这样可以针对每个舌像属性都有一个准确的判断,识别精度更高。同时,本发明的舌像识别模块针对舌像舌形(包括胖、瘦、齿痕、点刺、裂纹)、舌色(包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点)、苔质(包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱)、苔色(包括苔白、苔黄、苔灰、苔黑)这4个属性识别的范围更广,克服现有技术只能针对部分舌像属性或者单一舌像属性的识别问题,得到一个更为优异的检测与识别结果。
本发明采用以上技术方案,舌像采集方式采用手机、平板摄像头或专门的舌像采集装置,解决了采集方式单一、不能大规模采集舌像的限制,为采集舌像图像提供便利;实时自动检测舌像舌体位置,并可实现手动或自动拍摄、保存、上传,解决传统采集的舌像图像中人脸其他部分占据绝大部分,舌体位置占据位置较小,正确检测出舌体相对困难的问题。自动识别舌像舌色、舌形、苔质、苔质的各个属性,有助于中医医生进行舌诊诊断。本发明的检测与识别过程无需复杂的人机交互过程,对舌像数据的分析与计算快速,结果精准。
Claims (4)
1.一种基于人工智能的舌像检测与识别方法,其特征在于:其包括舌像舌体实时检测部分,和舌像识别部分,具体步骤为;
步骤1,训练生成舌像舌体实时检测网络模型,并利用舌像舌体实时检测网络模型实时框选并采集获取只含舌体部分的舌像,具体步骤为:
步骤1-1:准备前期舌像数据并处理,用于实时检测网络的训练;
步骤1-2:将舌像数据输入到实时检测网络中进行微调训练,得到舌像舌体实时检测网络模型;
步骤1-3:打开舌像采集装置调用舌像舌体实时检测模型进行实时检测用户的舌像舌体位置并框出;
步骤1-4:通过手动或自动拍摄舌像,得到只含舌体部分的舌像并进行保存、上传至后台数据库;
步骤2,训练生成舌像识别模型,并将只含舌体部分的舌像输入舌像识别模型进行舌像识别输出舌像识别结果,具体步骤如下:
步骤2-1:前期准备只含舌体舌像数据集并进行处理,用于InceptionV3网络的分类任务训练;
步骤2-2:将处理完的舌像数据集输入到InceptionV3网络进行多标签分类模型的训练,得到具有多个分类的舌像识别模型;
步骤2-3:将只含舌体舌像输入到舌像识别模块中,调用各个分类的识别模型进行预测,得到该舌像的各项结果;
步骤2-4:将预测得到识别结果输出并展示。
2.根据权利要求1所述的一种基于人工智能的舌像检测与识别方法,其特征在于:步骤1-2中舌像采集装置包括手机、平板摄像头或专业的舌像采集装置。
3.根据权利要求1所述的一种基于人工智能的舌像检测与识别方法,其特征在于:步骤2-2中多标签分类包括舌色、舌形、苔质、苔色标签。
4.根据权利要求3所述的一种基于人工智能的舌像检测与识别方法,其特征在于:其中舌色包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点,舌形包括胖、瘦、齿痕、点刺、裂纹,苔质包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱,苔色包括苔白、苔黄、苔灰、苔黑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910541322.XA CN110251084A (zh) | 2019-06-21 | 2019-06-21 | 一种基于人工智能的舌像检测与识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910541322.XA CN110251084A (zh) | 2019-06-21 | 2019-06-21 | 一种基于人工智能的舌像检测与识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110251084A true CN110251084A (zh) | 2019-09-20 |
Family
ID=67920273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910541322.XA Pending CN110251084A (zh) | 2019-06-21 | 2019-06-21 | 一种基于人工智能的舌像检测与识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110251084A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242038A (zh) * | 2020-01-15 | 2020-06-05 | 北京工业大学 | 一种基于帧预测网络的动态舌颤检测方法 |
CN111899846A (zh) * | 2020-07-14 | 2020-11-06 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109637660A (zh) * | 2018-12-19 | 2019-04-16 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络的舌诊分析方法及系统 |
CN109712706A (zh) * | 2018-12-19 | 2019-05-03 | 新绎健康科技有限公司 | 一种基于深度学习的望诊方法及装置 |
CN109766916A (zh) * | 2018-12-17 | 2019-05-17 | 新绎健康科技有限公司 | 一种基于深度学习模型确定舌象样本库的方法和系统 |
-
2019
- 2019-06-21 CN CN201910541322.XA patent/CN110251084A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109766916A (zh) * | 2018-12-17 | 2019-05-17 | 新绎健康科技有限公司 | 一种基于深度学习模型确定舌象样本库的方法和系统 |
CN109637660A (zh) * | 2018-12-19 | 2019-04-16 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络的舌诊分析方法及系统 |
CN109712706A (zh) * | 2018-12-19 | 2019-05-03 | 新绎健康科技有限公司 | 一种基于深度学习的望诊方法及装置 |
Non-Patent Citations (2)
Title |
---|
杨晶东 等: ""基于迁移学习的全连接神经网络舌象分类方法"", 《第二军医大学学报》 * |
胡继礼 等: ""基于机器学习的舌象体质分类"", 《佳木斯大学学报(自然科学版)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242038A (zh) * | 2020-01-15 | 2020-06-05 | 北京工业大学 | 一种基于帧预测网络的动态舌颤检测方法 |
CN111899846A (zh) * | 2020-07-14 | 2020-11-06 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
CN111899846B (zh) * | 2020-07-14 | 2023-07-25 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102323221B (zh) | 烟叶成熟度检测方法及检测装置 | |
CN103076288B (zh) | 一种基于计算机视觉的鱼肉自动分级装置和方法 | |
CN110495888B (zh) | 一种基于中医舌、面图像的标准色卡及其应用 | |
CN103400146B (zh) | 基于颜色建模的中医面色识别方法 | |
CN106650215A (zh) | 一种基于云平台的肤质检测及个性化评价系统及方法 | |
CN102426652A (zh) | 基于图像分析的中医面色识别和检索方法 | |
CN109543679A (zh) | 一种基于深度卷积神经网络的死鱼识别方法及预警系统 | |
CN112967285B (zh) | 一种基于深度学习的黄褐斑图像识别方法、系统和装置 | |
CN109637660B (zh) | 一种基于深度卷积神经网络的舌诊分析方法及系统 | |
CN110169754A (zh) | 投放在公共场所的自助皮肤检测系统 | |
CN106821324A (zh) | 一种基于舌面和舌下综合分析的舌诊辅助医疗系统 | |
CN110251084A (zh) | 一种基于人工智能的舌像检测与识别方法 | |
CN110299193A (zh) | 基于人工智能舌诊的中医健康云服务方法 | |
CN105662348A (zh) | 基于智能手机的新型皮肤检测系统及产品辅助选择系统 | |
CN105466921A (zh) | 一种多样品同时检测的方法 | |
CN112415050B (zh) | 一种基于温度分布差异的羊肉掺假定性判别方法 | |
CN110675400A (zh) | 一种基于手机app的羊肉品质指标快速智能检测方法 | |
CN111914685A (zh) | 母猪发情检测方法、装置、电子设备及存储介质 | |
CN109540894A (zh) | 一种烤烟烟叶成熟度无损快速检测方法 | |
CN108960413A (zh) | 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法 | |
CN109827957A (zh) | 一种基于计算机视觉的水稻叶片spad值估测方法及系统 | |
Shao et al. | Research on automatic identification system of tobacco diseases | |
CN109284666A (zh) | 一种基于图像识别和大数据的服饰推荐方案 | |
CN109711306B (zh) | 一种基于深度卷积神经网络获取面部特征的方法及设备 | |
CN110414369B (zh) | 一种牛脸的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |
|
RJ01 | Rejection of invention patent application after publication |