CN112820370A - 基于舌象信息的健康管理系统 - Google Patents

基于舌象信息的健康管理系统 Download PDF

Info

Publication number
CN112820370A
CN112820370A CN202110181525.XA CN202110181525A CN112820370A CN 112820370 A CN112820370 A CN 112820370A CN 202110181525 A CN202110181525 A CN 202110181525A CN 112820370 A CN112820370 A CN 112820370A
Authority
CN
China
Prior art keywords
health
tongue picture
preset
tongue
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110181525.XA
Other languages
English (en)
Inventor
刘长松
王丽婷
申文涛
刘雪维
袁飞
杨睿昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110181525.XA priority Critical patent/CN112820370A/zh
Publication of CN112820370A publication Critical patent/CN112820370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种基于舌象信息的健康管理系统，该系统包括：舌象图片获取模块，用于：获取待识别的舌象图片；健康状态确定模块，用于：根据所述舌象图片得到所述舌象图片所体现的综合健康状态，所述综合健康状态包括健康评分。本发明提供的基于舌象信息的健康管理系统，通过根据舌象图片得到包括健康评分的综合健康状态，实现了自动化舌诊，有利于从整体上把握健康程度。

Description

基于舌象信息的健康管理系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于舌象信息的健康管理系统。
背景技术
在我国的传统医学里边，望、闻、问、切合称四诊。其中“望诊”指的是观气色。通过几千年的实践，中医开始认识到身体表现，特别是舌部与五脏六腑之间存在着紧密联系。诸多临床研究也证实了舌象能反映机体的整体状态，对临床诊病、辨症、判断病情轻重以及指导用药、观察治疗效果均有重要指导作用。舌诊在临床上已经得到了相当广泛的应用，在中医临床上占据重要的地位，是不可缺少的检查常规。它不需要额外的仪器辅助，医生仅通过观察舌体就能了解人内部健康状况并对症治疗。
然而，当前的舌诊主要依据中医的主观观察，缺乏客观评判依据。舌诊结果与医生的医术水平和治疗思路有很大关系。对于同一个病人，两位中医也许会得到不同的结果并采取不同的手段。因此，如何利用现代的计算机技术实现客观、准确的自动化舌诊成为亟待解决的重要问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于舌象信息的健康管理系统。
本发明提供一种基于舌象信息的健康管理系统，包括：舌象图片获取模块，用于：获取待识别的舌象图片；健康状态确定模块，用于：根据所述舌象图片得到所述舌象图片所体现的综合健康状态，所述综合健康状态包括健康评分。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括智能推荐模块，所述智能推荐模块用于：根据所述综合健康状态进行健康管理策略的自动推荐。
根据本发明提供的一种基于舌象信息的健康管理系统，所述健康管理策略包括食疗策略、药物治疗策略、物理治疗策略、音乐治疗策略及运动处方中的至少一种。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括病案管理模块，所述病案管理模块用于：为病人建立跟踪档案；其中，所述跟踪档案包括所述舌象图片、根据所述舌象图片得到的所述综合健康状态、所述健康管理策略及数据获取时间中的至少一种。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括搜索模块，所述搜索模块用于：通过比对所述舌象图片的相似性查找相似病例。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括特征药识别模块，所述特征药识别模块用于：将所述舌象图片输入到至少一个分别与预设健康指标对应的特征药识别模型，根据所述特征药识别模型输出特征药识别结果；其中，所述特征药识别结果包括所述舌象图片的治疗药方中预设特征药的出现概率，所述预设特征药为用于改善所述预设健康指标的问题的药物，所述预设特征药为一个或多个；所述健康状态确定模块在用于根据所述舌象图片得到所述舌象图片所体现的综合健康状态时，具体用于：根据所述特征药识别结果确定相应所述预设健康指标的状态，综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态。
根据本发明提供的一种基于舌象信息的健康管理系统，所述预设健康指标的状态包括所述预设健康指标出现问题的概率；所述健康状态确定模块在用于综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态时，具体用于：综合分别得到的所述预设健康指标出现问题的概率得到所述健康评分。
根据本发明提供的一种基于舌象信息的健康管理系统，所述综合健康状态还包括维数与所述预设健康指标的个数对应的特征向量，其中所述特征向量中的特征为所述预设健康指标出现问题的概率。
根据本发明提供的一种基于舌象信息的健康管理系统，所述智能推荐模块具体用于：根据预设的映射关系表获取与所述预设健康指标的状态对应的所述健康管理策略，将至少一个所述健康管理策略进行输出展示；所述系统还包括健康状态展示模块，所述健康状态展示模块用于：根据所述预设健康指标出现问题的概率由高到低的顺序将所述预设健康指标进行排序，获取排序靠前的预设个数的所述预设健康指标，并将所述预设个数的所述预设健康指标出现问题时的症状描述、所述预设健康指标出现问题的概率及所述健康评分输出展示。
根据本发明提供的一种基于舌象信息的健康管理系统，所述舌象图片获取模块，具体用于：拍摄舌象图片视频，并从所述舌象图片视频中选取图像质量最佳的一帧照片作为所述待识别的舌象图片。
本发明提供的基于舌象信息的健康管理系统，通过根据舌象图片得到包括健康评分的综合健康状态，实现了自动化舌诊，有利于从整体上把握健康程度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于舌象信息的健康管理系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的基于舌象信息的健康管理系统。
图1是本发明提供的基于舌象信息的健康管理系统的结构示意图。如图1所示，所述系统包括舌象图片获取模块10及健康状态确定模块20，其中：舌象图片获取模块10用于：获取待识别的舌象图片；健康状态确定模块20用于：根据所述舌象图片得到所述舌象图片所体现的综合健康状态，所述综合健康状态包括健康评分。
舌象图片获取模块10用于获取待识别的舌象图片。本发明提供的基于舌象信息的健康管理系统，舌象图片获取模块10在获取待识别的舌象图片时，拍照方式自由，比如支持手机拍摄、普通相机拍摄、专业舌诊设备拍摄等，质量合格的照片均可使用。可以取消一般舌诊仪上用于隔离外界光照的盒子，直接用摄像机来对着面部和舌进行拍照，并可以用补光灯的优化设计和图像处理算法减少环境光照变化对舌色的影响，从而让病人更舒适、自由、体验更好的进行舌象采集。
健康状态确定模块20用于根据所述舌象图片得到所述舌象图片所体现的综合健康状态，所述综合健康状态包括健康评分。健康状态确定模块20可以通过机器学习的方法根据舌象图片获取综合健康状态。以获取健康评分为例，可以预先训练一个健康评分模型，设置好舌象图片的评分标准及评分级别，然后根据大量的舌象图片样本进行评分标注，得到评分标注样本。以舌象图片样本作为输入、以评分标注结果作为输出进行训练得到健康评分模型。在实际使用时，将待识别的舌象图片输入到健康评分模型，则根据健康评分模型输出健康评分。
本发明提供的基于舌象信息的健康管理系统，通过根据舌象图片得到包括健康评分的综合健康状态，实现了自动化舌诊，有利于从整体上把握健康程度。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括智能推荐模块，所述智能推荐模块用于：根据所述综合健康状态进行健康管理策略的自动推荐。
智能推荐模块可以根据所述综合健康状态进行健康管理策略的自动推荐。比如根据健康评分所处的分值区间，进行食疗策略的推荐。在进行食疗策略推荐时，比如健康评分越低，表示身体状况越差，可以在食疗策略上进行加强，如增强营养成分的摄入等。可以设置后台医疗大数据，根据综合健康状态对后台医疗大数据进行查询，从而获取相应的健康管理策略并进行自动推荐。
本发明提供的基于舌象信息的健康管理系统，通过设置智能推荐模块来根据所述综合健康状态进行健康管理策略的自动推荐，实现了健康管理策略的自动化获取。
根据本发明提供的一种基于舌象信息的健康管理系统，所述健康管理策略包括食疗策略、药物治疗策略、物理治疗策略、音乐治疗策略及运动处方中的至少一种。
健康管理策略可以包括多种类型，如可以包括食疗策略、药物治疗策略、物理治疗策略、音乐治疗策略及运动处方等。食疗策略如包括茶、保健品、普通食物等。药物治疗策略如包括处方药、OTC非处方药等。物理治疗策略如按摩等。运动处方比如运动治疗方案等，另外音乐也可以起到健康疗养的作用。对于各种健康管理策略，可以展示详情链接，如对应药物名称，展示药物详情链接；对于歌曲名称，展示歌曲链接等。
本发明提供的基于舌象信息的健康管理系统，通过设置健康管理策略包括食疗策略、药物治疗策略、物理治疗策略、音乐治疗策略及运动处方中的至少一种，丰富了健康管理策略的类型。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括病案管理模块，所述病案管理模块用于：为病人建立跟踪档案；其中，所述跟踪档案包括所述舌象图片、根据所述舌象图片得到的所述综合健康状态、所述健康管理策略及数据获取时间中的至少一种。
可以通过病案管理模块为病人建立跟踪档案，跟踪档案中包括历次的测量结果。可以定期将测量数据上传。比如，跟踪档案可以包括舌象图片、根据舌象图片得到的综合健康状态、健康管理策略及数据获取时间中的至少一种，从而便于观察健康变化趋势。本发明提供的基于舌象信息的健康管理系统，不仅可以实现治未病，即预测疾病，提前干预；还可以实现预后管理。
本发明提供的基于舌象信息的健康管理系统，通过建立跟踪档案，提高了健康管理的合理性。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括搜索模块，所述搜索模块用于：通过比对所述舌象图片的相似性查找相似病例。
可以通过比对舌象图片的相似性来查找相似病例，如通过对舌象图片进行特征提取，通过比较神经网络提取的特征之间的相似性或比较神经网络输出的特征向量之间的相似性来比较舌象图片间的相似性。在找到相似病例后，可以通过查阅相似病例的跟踪档案，以进行健康管理的借鉴。
本系统还可以提供开放的网络平台接口，支持科研与应用。
本发明提供的基于舌象信息的健康管理系统，通过提供查找相似病例的搜索功能，进一步提高了健康管理的可靠性。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括特征药识别模块，所述特征药识别模块用于：将所述舌象图片输入到至少一个分别与预设健康指标对应的特征药识别模型，根据所述特征药识别模型输出特征药识别结果；其中，所述特征药识别结果包括所述舌象图片的治疗药方中预设特征药的出现概率，所述预设特征药为用于改善所述预设健康指标的问题的药物，所述预设特征药为一个或多个；所述健康状态确定模块20在用于根据所述舌象图片得到所述舌象图片所体现的综合健康状态时，具体用于：根据所述特征药识别结果确定相应所述预设健康指标的状态，综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态。
特征药识别模块用于将舌象图片输入到至少一个分别与预设健康指标对应的特征药识别模型，根据特征药识别模型输出对应于舌象图片的特征药识别结果。可以预先设定临床上和保健上真正有用的多个健康指标作为预设健康指标，分别训练针对各个预设健康指标的特征药识别模型。研究用端到端的深度学习算法解决舌诊问题。通过采集中医大夫治病时的舌象和对应的治疗药方大数据，直接学习舌象与药方的映射关系。把舌象识别问题转化为舌象样本标注问题。在训练某个预设健康指标对应的特征药识别模型时，可以以舌象图片样本作为输入、以药方中这个预设健康指标的用药情况作为输出标签进行机器学习训练。比如，对应某个舌象图片样本，若药方中出现了治疗这个健康指标问题的药物，则将相应的药物标注为1。否则，标注为0。端到端的学习方法能够全面利用图像上反应出来的特征，能够有效避免人工选择特征不全面、不易定量、不专业、不易与治疗方案结合的弊端。
特征药识别模块将舌象图片输入到至少一个分别与预设健康指标对应的特征药识别模型，根据特征药识别模型输出特征药识别结果。特征药识别模块可以同时将舌象图片输入到多个预设健康指标对应的特征药识别模型，每个特征药识别模型输出基于舌象图片、且对应于各个预设健康指标的特征药识别结果。其中，对应于舌象图片的特征药识别结果包括所述舌象图片的治疗药方中预设特征药的出现概率，所述预设特征药为用于改善所述预设健康指标的问题的药物，所述预设特征药为一个或多个。
健康状态确定模块20用于：根据特征药识别结果确定相应预设健康指标的状态，综合分别得到的预设健康指标的状态得到舌象图片所体现的综合健康状态。由于每个特征药识别模型输出基于舌象图片、且对应于各个预设健康指标的特征药识别结果，输出的特征药识别结果可以表明相应的预设健康指标是否出现问题，也可以表明相应的预设健康指标出现问题的程度或概率。比如，若输出的特征药识别结果中没有治疗相应健康指标问题的药物，则表示相应健康指标没有出现问题；若输出的特征药识别结果中出现治疗相应健康指标问题的药物，则表示相应健康指标出现问题；治疗相应健康指标问题的药物出现的种类越多、剂量越大，则表示相应健康指标问题越严重或问题出现的概率越高。
因此，每个特征药识别模型输出基于舌象图片的、对应于相应预设健康指标的特征药识别结果，根据各个特征药识别模型输出的特征药识别结果可以得到各个预设健康指标的状态，综合各个预设健康指标的状态得到舌象图片所体现的综合健康状态。综合健康状态可以包括各个预设健康指标的状态的集合。根据综合健康状态可以获知哪些预设健康指标出现问题。
本发明提供的基于舌象信息的健康管理系统，通过利用特征药识别模型获取舌象图片对应的特征药识别结果，根据特征药识别结果获取综合健康状态，实现了细化到健康指标的健康状态获取。
根据本发明提供的基于舌象信息的健康管理系统，所述预设健康指标的状态包括所述预设健康指标出现问题的概率；所述健康状态确定模块20在用于综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态时，具体用于：综合分别得到的所述预设健康指标出现问题的概率得到所述健康评分。
预设健康指标的状态包括预设健康指标出现问题的概率，并且，可以设置一个概率阈值，在预设健康指标出现问题的概率大于这个概率阈值时认为相应的预设健康指标出现问题。
所述健康状态确定模块20在用于综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态时，综合分别得到的所述预设健康指标出现问题的概率得到所述健康评分。比如通过对各个预设健康指标出现问题的概率进行加权求和得到一个反应总体健康状况的概率值，再将这个概率值乘以100，得到反应综合健康状态的健康评分。
本发明提供的基于舌象信息的健康管理系统，通过综合分别得到的所述预设健康指标出现问题的概率得到所述健康评分，提高了健康评分的准确性。
根据本发明提供的一种基于舌象信息的健康管理系统，所述综合健康状态还包括维数与所述预设健康指标的个数对应的特征向量，其中所述特征向量中的特征为所述预设健康指标出现问题的概率。
如前介绍，综合健康状态可以包括各个预设健康指标的状态的集合。各个预设健康指标的状态的集合可以利用一个维数与所述预设健康指标的个数对应的特征向量表示，其中，所述特征向量中的特征为所述预设健康指标出现问题的概率。
本发明提供的基于舌象信息的健康管理系统，通过输出特征为预设健康指标出现问题的概率的特征向量，丰富和规范了综合健康状态的输出。
根据本发明提供的一种基于舌象信息的健康管理系统，所述智能推荐模块具体用于：根据预设的映射关系表获取与所述预设健康指标的状态对应的所述健康管理策略，将至少一个所述健康管理策略进行输出展示；所述系统还包括健康状态展示模块，所述健康状态展示模块用于：根据所述预设健康指标出现问题的概率由高到低的顺序将所述预设健康指标进行排序，获取排序靠前的预设个数的所述预设健康指标，并将所述预设个数的所述预设健康指标出现问题时的症状描述、所述预设健康指标出现问题的概率及所述健康评分输出展示。
可以预先设置每个预设健康指标的状态和健康管理策略的映射关系表，并且，一个预设健康指标可以对应于多类、多种健康管理策略。在得到综合健康状态后，根据综合健康状态中每个预设健康指标的状态和健康管理策略的映射关系表，获取每个预设健康指标的状态对应的健康管理策略，将各个预设健康指标对应的健康管理策略进行综合得到总的健康管理策略。可以根据总的健康管理策略将至少一个健康管理策略进行输出展示。展示健康管理策略时，可以和相应的预设健康指标的状态对应展示。
基于舌象信息的健康管理系统还包括健康状态展示模块，健康状态展示模块用于根据预设健康指标出现问题的概率由高到低的顺序将预设健康指标进行排序，获取排序靠前的预设个数的预设健康指标，并将预设个数的预设健康指标出现问题时的症状描述、预设健康指标出现问题的概率及所述健康评分输出展示。
比如，健康状态展示模块的展示内容可以如表1所示：
表1
Figure BDA0002941578350000101
Figure BDA0002941578350000111
本发明提供的基于舌象信息的健康管理系统，通过根据预设的映射关系表获取与预设健康指标的状态对应的健康管理策略，将至少一个健康管理策略进行输出展示，实现了健康管理策略的快速获取；通过根据预设健康指标出现问题的概率由高到低的顺序将预设健康指标进行排序，获取排序靠前的预设个数的预设健康指标，并将预设个数的预设健康指标出现问题时的症状描述、所述预设健康指标出现问题的概率及所述健康评分输出展示，实现了健康状态的合理展示。
根据本发明提供的一种基于舌象信息的健康管理系统，所述舌象图片获取模块10，具体用于：拍摄舌象图片视频，并从所述舌象图片视频中选取图像质量最佳的一帧照片作为所述待识别的舌象图片。
舌象图片的图像质量越好，则越容易进行特征识别。由于在拍摄舌象图片时手抖动等原因，很容易影响舌象图片的拍摄质量。因此，可以通过拍摄舌象图片视频，并从舌象图片视频中选取图像质量最佳的一帧照片作为待识别的舌象图片，由此提高舌象图片的图像质量。即通过用摄像机取代照相机，动态采集一段连续的视频图像，从中自动取出最佳的静态照片，并可对伸舌的动态过程录像保存。
在进行舌象图片采集时，可以利用舌体检测与分割算法，智能检测伸舌的程度和图像质量。在此检测结果的基础上，控制仪器适时开始和完成采集工作。
另外，在得到舌象图片后，可以进行进一步的图像预处理。图像预处理比如可以包括：对颜色进行自适应矫正，让处理后的舌色尽可能接近标准光源的颜色。由此，减少学习算法对颜色的依赖性，提高每次测量的稳定性、一致性，放宽对环境的限制。
本发明提供的基于舌象信息的健康管理系统，通过拍摄舌象图片视频，并从舌象图片视频中选取图像质量最佳的一帧照片作为待识别的舌象图片，有效提高了舌象图片的质量。
根据本发明提供的一种基于舌象信息的健康管理系统，所述系统还包括训练模块，所述训练模块用于：基于某个大夫或流派的案例构建训练样本，并基于所述训练样本进行机器学习训练得到所述至少一个分别与预设健康指标对应的特征药识别模型。
大夫不同或流派不同，对于同一舌象图片可能给出不同的药方。本发明提供的基于舌象信息的健康管理系统可以针对特定大夫或流派的药方分别进行学习，从而得到不同的特征药识别模型。每个流派、大师对应一套AI神经网络，可以模拟相应的大夫、流派给出药方。并且，还可以形成多AI会诊的局面，以增加治疗思路。
因此，训练模块在训练特征药识别模型时，可以基于某个大夫或流派的案例构建训练样本，并基于训练样本进行机器学习训练得到至少一个分别与预设健康指标对应的特征药识别模型。
根据本发明提供的基于舌象信息的健康管理系统，通过基于某个大夫或流派的案例构建训练样本，并基于训练样本进行机器学习训练得到至少一个分别与预设健康指标对应的特征药识别模型，实现了特定大夫或流派的诊疗模拟。
根据本发明提供的一种基于舌象信息的健康管理系统，所述训练样本包括舌象图片样本及对应的治疗药方；所述训练模块在用于基于所述训练样本进行机器学习训练得到所述至少一个分别与预设健康指标对应的特征药识别模型时，具体用于：以所述舌象图片样本作为输入、以所述舌象图片样本对应的治疗药方中至少一个与所述预设健康指标对应的所述预设特征药是否出现的标注结果或所述预设特征药是否出现及所述预设特征药出现时的剂量的标注结果作为输出，进行机器学习训练，得到所述至少一个分别与预设健康指标对应的特征药识别模型。
具体地，训练模块在训练与预设健康指标对应的特征药识别模型时，可以以舌象图片样本作为输入、以舌象图片样本对应的治疗药方中至少一个预设特征药是否出现的标注结果作为输出，进行机器学习训练，得到特征药识别模型。比如，以气血运行指标为例，首先确定气血运行的药物(出现此药即表明气血运行有障碍，需要疏通，比如共有m个)。训练时，以舌象图片样本作为输入，输出端对上述m个药物打标签，比如，若出现药物1，则对药物1打标签为1；若出现药物2，则对药物2打标签为2；……若出现药物m，则对药物m打标签为m；若不出现相应药物，则打标签为0。然后以舌象图片样本作为输入、以药方标注结果作为输出标签，进行机器学习训练，得到特征药识别模型。在使用上述训练方法得到的特征药识别模型时，输入为舌象图片，输出为m个药物的出现概率。可以设置一个概率阈值，当药物的出现概率大于这个概率阈值时，表示相应的药物在药方中出现。
训练模块还可以以舌象图片样本作为输入、以预设特征药是否出现及预设特征药出现时的剂量的标注结果作为输出，进行机器学习训练，得到至少一个分别与预设健康指标对应的特征药识别模型。同样，以气血运行指标为例，首先确定气血运行的药物(出现此药即表明气血运行有障碍，需要疏通，比如共有m个)。训练时，以舌象图片样本作为输入，输出端对上述m个药物打标签。可以预先设置好各种药物的剂量范围对应的标签。比如药物1、剂量<10g，标签为11；药物1、10g<剂量<20g，标签为12；……药物m，剂量<5g，标签为m1；药物m，5g<剂量<10g，标签为m2等等。若相应药物未出现，则标签为0。然后以舌象图片样本作为输入、以药方标注结果作为输出标签，进行机器学习训练，得到特征药识别模型。在使用上述训练方法得到的特征药识别模型时，输入为舌象图片，输出为m个药物的未出现的概率及出现时在各个剂量范围的概率。可以设置概率阈值以判断药物是否出现以及在哪个剂量范围内出现。
端到端的学习仅用一般的深度学习基本流程，能够达到一定的准确率，但是远远不够。最主要的原因是深度学习需要海量的样本，这些样本必须对每种可能的情况都能覆盖，且每种情况都保证有相当多的数量，才能达到比较理想的效果。在舌诊问题上，不可能得到那么多的样本，除了生成虚拟的样本(比如加噪声的方法)克服样本不足的问题外，训练模型及应用模型时可以通过技术手段结合舌诊专业知识提高模型识别准确率。比如，通过与专家的沟通交流和自我学习，搞清楚舌图上究竟什么因素决定了某种用药。再对模型识别不准确的舌象进行分析统计，找到模型提高的方法。还可以利用药与药之间的相容性和相斥性约束关系(利用这个约束关系进行结果修正)来提高正确率等等。另外，从技术上进一步提高模型识别准确率，可以包括：设置适合识别的合适的图像分辨率；设置舌图上合理的特征提取区域，特征提取区域可以为单个区域或多个区域；设置每个区域的图像的颜色、位置、尺寸、长宽比例(因为不同人的形状不同，可以进行归一化处理)。
本发明提供的基于舌象信息的健康管理系统，通过以舌象图片样本作为输入、以舌象图片样本对应的治疗药方中至少一个预设特征药是否出现的标注结果或预设特征药是否出现及预设特征药出现时的剂量的标注结果作为输出，进行机器学习训练，得到至少一个分别与预设健康指标对应的特征药识别模型，丰富了特征药识别模型的功能。
根据本发明提供的一种基于舌象信息的健康管理系统，所述健康状态确定模块20在用于根据所述特征药识别结果确定相应所述预设健康指标的状态时，具体用于：根据所述治疗药方中所述预设特征药出现的个数确定所述预设健康指标出现问题的概率；或，根据所述治疗药方中所述预设特征药出现的个数及所述预设特征药的剂量确定所述预设健康指标出现问题的概率。
特征药识别模型的训练过程可以是：以舌象图片样本作为输入、以舌象图片样本对应的药方中至少一个预设特征药是否出现的标注结果作为输出，进行机器学习训练，得到至少一个分别与预设健康指标对应的特征药识别模型。这种情况下，在应用特征药识别模型对舌象图片进行识别时，仍以上述标签设置为例，对应药物1的神经网络输出端输出为1的概率，若大于预设的概率阈值，则表示药方中包括药物1；若对应药物2的神经网络输出端输出为2的概率，若大于预设的概率阈值，则表示药方中包括药物2；若对应药物3的神经网络输出端输出为3的概率，若小于预设的概率阈值，则表示药方中不包括药物3……。以此类推，可以得到对应输入的舌象图片的输出药方中包括哪几味药，或出现了哪几味药。若出现的药的味数越多，则表示相应预设健康指标出现问题的概率越大，或病情越严重。因此，可以根据治疗药方中预设特征药出现的个数确定预设健康指标出现问题的概率。
特征药识别模型的训练过程还可以是：以舌象图片样本作为输入、以舌象图片样本对应的药方中至少一个预设特征药是否出现及预设特征药出现时的剂量的标注结果作为输出，进行机器学习训练，得到至少一个分别与预设健康指标对应的特征药识别模型。这种情况下，在应用特征药识别模型对舌象图片进行识别时，仍以上述标签设置为例，对应药物1的其中一个神经网络输出端输出为11的概率，若大于预设的概率阈值，则表示药方中包括药物1，且剂量为<10g；对应药物m的其中一个神经网络输出端输出为m2的概率，若大于预设的概率阈值，则表示药方中包括药物m，且5g<剂量<10g，若输出的概率小于预设的概率阈值，则表示药方中不包括药物m……。以此类推，可以得到基于输入的舌象图片的输出药方中包括哪几味药以及药的剂量预测值。若出现的药的味数越多、剂量越大，则表示相应预设健康指标的出现问题的概率越大，或病情越严重。因此，可以根据治疗药方中预设特征药出现的个数及预设特征药的剂量确定预设健康指标出现问题的概率。
本发明提供的基于舌象信息的健康管理系统，通过根据治疗药方中预设特征药出现的个数确定预设健康指标出现问题的概率，或，根据治疗药方中预设特征药出现的个数及预设特征药的剂量确定预设健康指标出现问题的概率，提高了预设健康指标的状态确定的准确性。
表2示出了本发明提供的基于舌象信息的健康管理系统(TH-Health舌诊系统)与一般舌诊系统的区别。
表2
Figure BDA0002941578350000161
Figure BDA0002941578350000171
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于舌象信息的健康管理系统，其特征在于，包括：
舌象图片获取模块，用于：获取待识别的舌象图片；
健康状态确定模块，用于：根据所述舌象图片得到所述舌象图片所体现的综合健康状态，所述综合健康状态包括健康评分。
2.根据权利要求1所述的基于舌象信息的健康管理系统，其特征在于，所述系统还包括智能推荐模块，所述智能推荐模块用于：
根据所述综合健康状态进行健康管理策略的自动推荐。
3.根据权利要求2所述的基于舌象信息的健康管理系统，其特征在于，所述健康管理策略包括食疗策略、药物治疗策略、物理治疗策略、音乐治疗策略及运动处方中的至少一种。
4.根据权利要求2所述的基于舌象信息的健康管理系统，其特征在于，所述系统还包括病案管理模块，所述病案管理模块用于：
为病人建立跟踪档案；其中，所述跟踪档案包括所述舌象图片、根据所述舌象图片得到的所述综合健康状态、所述健康管理策略及数据获取时间中的至少一种。
5.根据权利要求4所述的基于舌象信息的健康管理系统，其特征在于，所述系统还包括搜索模块，所述搜索模块用于：
通过比对所述舌象图片的相似性查找相似病例。
6.根据权利要求2所述的基于舌象信息的健康管理系统，其特征在于，所述系统还包括特征药识别模块，所述特征药识别模块用于：
将所述舌象图片输入到至少一个分别与预设健康指标对应的特征药识别模型，根据所述特征药识别模型输出特征药识别结果；其中，所述特征药识别结果包括所述舌象图片的治疗药方中预设特征药的出现概率，所述预设特征药为用于改善所述预设健康指标的问题的药物，所述预设特征药为一个或多个；
所述健康状态确定模块在用于根据所述舌象图片得到所述舌象图片所体现的综合健康状态时，具体用于：
根据所述特征药识别结果确定相应所述预设健康指标的状态，综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态。
7.根据权利要求6所述的基于舌象信息的健康管理系统，其特征在于，所述预设健康指标的状态包括所述预设健康指标出现问题的概率；所述健康状态确定模块在用于综合分别得到的所述预设健康指标的状态得到所述舌象图片所体现的综合健康状态时，具体用于：
综合分别得到的所述预设健康指标出现问题的概率得到所述健康评分。
8.根据权利要求6所述的基于舌象信息的健康管理系统，其特征在于，所述综合健康状态还包括维数与所述预设健康指标的个数对应的特征向量，其中所述特征向量中的特征为所述预设健康指标出现问题的概率。
9.根据权利要求6所述的基于舌象信息的健康管理系统，其特征在于，所述智能推荐模块具体用于：根据预设的映射关系表获取与所述预设健康指标的状态对应的所述健康管理策略，将至少一个所述健康管理策略进行输出展示；
所述系统还包括健康状态展示模块，所述健康状态展示模块用于：根据所述预设健康指标出现问题的概率由高到低的顺序将所述预设健康指标进行排序，获取排序靠前的预设个数的所述预设健康指标，并将所述预设个数的所述预设健康指标出现问题时的症状描述、所述预设健康指标出现问题的概率及所述健康评分输出展示。
10.根据权利要求1所述的基于舌象信息的健康管理系统，其特征在于，所述舌象图片获取模块，具体用于：
拍摄舌象图片视频，并从所述舌象图片视频中选取图像质量最佳的一帧照片作为所述待识别的舌象图片。
CN202110181525.XA 2021-02-09 2021-02-09 基于舌象信息的健康管理系统 Pending CN112820370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110181525.XA CN112820370A (zh) 2021-02-09 2021-02-09 基于舌象信息的健康管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181525.XA CN112820370A (zh) 2021-02-09 2021-02-09 基于舌象信息的健康管理系统

Publications (1)

Publication Number Publication Date
CN112820370A true CN112820370A (zh) 2021-05-18

Family

ID=75865151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110181525.XA Pending CN112820370A (zh) 2021-02-09 2021-02-09 基于舌象信息的健康管理系统

Country Status (1)

Country Link
CN (1) CN112820370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707305A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110970114A (zh) * 2019-11-13 2020-04-07 清华大学 中医健康导引系统
CN110960193A (zh) * 2019-12-12 2020-04-07 苏州杰胜通信息技术有限公司 基于面部和舌部图像采集的中医诊断分析系统及其方法
CN111084609A (zh) * 2019-12-19 2020-05-01 东莞宇龙通信科技有限公司 基于舌象的健康诊断方法、装置、存储介质和电子设备
CN111105874A (zh) * 2020-01-16 2020-05-05 上海国民集团健康科技有限公司 一种舌象特征标注方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110970114A (zh) * 2019-11-13 2020-04-07 清华大学 中医健康导引系统
CN110960193A (zh) * 2019-12-12 2020-04-07 苏州杰胜通信息技术有限公司 基于面部和舌部图像采集的中医诊断分析系统及其方法
CN111084609A (zh) * 2019-12-19 2020-05-01 东莞宇龙通信科技有限公司 基于舌象的健康诊断方法、装置、存储介质和电子设备
CN111105874A (zh) * 2020-01-16 2020-05-05 上海国民集团健康科技有限公司 一种舌象特征标注方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SMART THOCR: "清华TH-Health中医人工智能舌象识别云服务平台上线发布", HTTPS://ZHUANLAN.ZHIHU.COM/ *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707305A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质
WO2023029500A1 (zh) * 2021-08-30 2023-03-09 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Zhang et al. Development of an automated screening system for retinopathy of prematurity using a deep neural network for wide-angle retinal images
US10165983B2 (en) Systems, methods, and computer-readable media for determining a likely presence of a genetic disorder
Cirillo et al. Time-independent prediction of burn depth using deep convolutional neural networks
CN101596098B (zh) 现代中医“未病”信息综合分析系统
Lei et al. A novel data-driven robust framework based on machine learning and knowledge graph for disease classification
Dimauro et al. Detecting clinical signs of anaemia from digital images of the palpebral conjunctiva
CN109166608A (zh) 电子病历信息提取方法、装置和设备
Huan et al. Deep convolutional neural networks for classifying body constitution based on face image
CN113222064A (zh) 一种图像目标对象实时检测方法、系统、终端及存储介质
CN110427994A (zh) 消化道内镜图像处理方法、装置、存储介质、设备及系统
Wan et al. An artificial intelligent risk classification method of high myopia based on fundus images
CN114416967A (zh) 智能推荐医生的方法、装置、设备及存储介质
Li et al. A face image classification method of autistic children based on the two-phase transfer learning
CN112820370A (zh) 基于舌象信息的健康管理系统
Cha et al. Differential biases and variabilities of deep learning–based artificial intelligence and human experts in clinical diagnosis: Retrospective cohort and survey study
Suedumrong et al. Application of deep convolutional neural networks vgg-16 and googlenet for level diabetic retinopathy detection
CN115910300A (zh) 一种基于人工智能医学虚拟平台系统及信息处理方法
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
CN115719329A (zh) 基于深度学习对ra超声模态滑膜评分融合的方法及系统
CN112309519B (zh) 基于多模型的电子病历用药结构化处理系统
Guo et al. The gap in the thickness: estimating effectiveness of pulmonary nodule detection in thick-and thin-section CT images with 3D deep neural networks
Liu et al. Large-scale left and right eye classification in retinal images
Jin et al. Semantic segmentation-based mechanized harvesting soybean quality detection
Torres et al. Bone age detection via carpogram analysis using convolutional neural networks
KR102550465B1 (ko) 인공지능 기반의 가상 환자 관리 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination