CN116849612A - 一种多光谱舌象图像采集分析系统 - Google Patents

一种多光谱舌象图像采集分析系统 Download PDF

Info

Publication number
CN116849612A
CN116849612A CN202310834706.7A CN202310834706A CN116849612A CN 116849612 A CN116849612 A CN 116849612A CN 202310834706 A CN202310834706 A CN 202310834706A CN 116849612 A CN116849612 A CN 116849612A
Authority
CN
China
Prior art keywords
tongue
multispectral
hyperspectral
color
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310834706.7A
Other languages
English (en)
Other versions
CN116849612B (zh
Inventor
张冬
张俊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xinhuangpu Joint Innovation Institute Of Traditional Chinese Medicine
Original Assignee
Guangdong Xinhuangpu Joint Innovation Institute Of Traditional Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xinhuangpu Joint Innovation Institute Of Traditional Chinese Medicine filed Critical Guangdong Xinhuangpu Joint Innovation Institute Of Traditional Chinese Medicine
Priority to CN202310834706.7A priority Critical patent/CN116849612B/zh
Publication of CN116849612A publication Critical patent/CN116849612A/zh
Application granted granted Critical
Publication of CN116849612B publication Critical patent/CN116849612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多光谱舌象图像采集分析系统，本发明以中医舌诊参数量化为切入点，使用有针对性的多维度光谱技术扩展中医舌象的光谱分辨率与信息表达，挖掘其在光谱特征下的隐藏信息；借助人工智能算法构建中医舌象关键参数量化模型，实现中医舌诊参数由定性分类向定量量化的转变，使其能够适用于临床疾病诊断以及临床评价指标的形成。

Description

一种多光谱舌象图像采集分析系统
技术领域
本发明涉及计算机视觉领域；具体而言，涉及计算机图像分类技术、机器学习与人工智能算法在中医领域的应用；更具体的，涉及一种多光谱舌象图像采集分析系统。
背景技术
舌诊是中医疾病诊断、证候辨识、治疗用药的重要依据，具有重要的临床意义和应用价值。传统的中医舌诊依靠医生主观判断，其诊查结果受医生经验以及外部环境影响，同时在界定同一舌色的轻重程度差异时，不同医生的结果存在较大差异，难以形成客观统一的舌色标准，给中医传承和推广带来诸多不便。
随着计算机科学与图像处理等技术的不断发展，借助于数字图像进行中医舌诊的客观化研究也在较多开展。例如公开号为CN 115083585 A的中国发明申请：一种中医舌诊仪及其诊断系统中，试图通过舌诊仪本体可以获取舌头的高清图片，并自动上传至云端的人工智能模块，人工智能模块通过图像识别技术，按照中医舌诊逻辑，得出初步诊断结果。但该方案无论是从舌象图像的采集还是到图像的识别分析等环节都会遗失维数和光谱信息，无法深入挖掘中医舌象在连续光谱范围内的特征变化，所形成的分析结果参考价值并不高；另外，现有的舌象图像分析识别分类的方案很难让使用者进一步直观地判断或者理解最终分类结果的意义、得到有临床价值的量化数值，适用性比较低。
对于无法深入挖掘中医舌象在连续光谱范围内的特征变化的缺陷，现有技术已经运用到高光谱成像仪来对舌象进行采集，以采集到的高光谱舌象图像进行分析，从而展开进一步的识别与分类。然而，尽管高光谱图像能够同时获取舌体在数百个连续波段下的成像信息，却又会因此带来数据存储占用空间大、采集成本大的问题；另外，信息量大的高光谱舌象图像还会给后续的图像处理带来不小的挑战，例如深度学习在面对高光谱舌象图像时就容易因此出现精度下降和训练时间长等问题。在公开号为CN 111259954A的中国发明申请：一种基于D-Resnet的高光谱中医舌苔舌质分类方法中，试图通过改进深度学习的网络结构来更好地提取高光谱舌象图像中的光谱信息与空间信息。但是，即便该方案在信息提取方面可能有所提升，这种方案并未能从实质上解决高光谱舌象图像数据存储占用空间大、采集成本大或计算成本与开销大的困难。总的来说，现有的舌象图像采集分析方案仍有一定的局限性。
发明内容
针对现有技术的局限性，本发明提出了一种结合了计算机图像分类技术、机器学习与人工智能算法的方案，采用的技术方案如下：
一种多光谱舌象图像采集分析系统，包括多光谱舌象图像采集设备以及数据量化分析模块；其中：
所述多光谱舌象图像采集设备用于根据经过基于机器学习的波段选择分析后选择的若干波段，采集使用者的多光谱舌象图像；
所述数据量化分析模块用于通过以深度卷积神经网络结构训练得到的分类预测模型，预测所述多光谱舌象图像的颜色分类、量化数值与颜色等级。
相较于现有技术，本发明以中医舌诊参数量化为切入点，使用有针对性的多维度光谱技术扩展中医舌象的光谱分辨率与信息表达，挖掘其在光谱特征下的隐藏信息；借助人工智能算法构建中医舌象关键参数量化模型，实现中医舌诊参数由定性分类向定量量化的转变，使其能够适用于临床疾病诊断以及临床评价指标的形成。
作为一种优选方案，所述多光谱舌象图像采集设备采集的波段通过以下方式进行选择：
从预设的高光谱舌象图像样例中提取光谱特征；以所述光谱特征以及所述高光谱舌象图像样例标定的舌色作为输入，对预设的随机森林模型进行分类任务的训练；
获取训练后所述随机森林模型输出的特征权重系数，所述特征权重系数表示波段空间中各波段在训练分类任务中的权重值；
根据所述特征权重系数的数值大小，对所述特征权重系数进行排序；从排序结果中挑选出若干个数值最大的特征权重系数，以挑选出的特征权重系数所对应的波段作为波段选择结果。
进一步的，所述高光谱舌象图像样例中标定的舌色包括舌质颜色以及舌苔颜色；在训练之前，先对所述高光谱舌象图像样例进行苔质分离操作，识别出所述高光谱舌象图像样例的舌苔区域以及舌质区域；分别提取所述舌苔区域以及舌质区域的光谱特征。
更进一步的，通过计算所述舌质区域或舌苔区域中所有像素点的平均光谱反射率，作为对应区域的光谱特征。
进一步的，对所述随机森林模型进行训练的过程中，以准确率、精准率、召回率、AUC对所述随机森林模型的拟合准确度进行参数调整与性能评价。
作为一种优选方案，所述分类预测模型包括用于预测所述多光谱舌象图像的颜色分类的舌色分类预测模型以及用于预测所述多光谱舌象图像的量化数值与颜色等级的舌色量化预测模型；其中：
所述舌色分类预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的舌色作为训练数据，对预设的深度卷积神经网络结构进行训练获得；
所述舌色量化预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的量化数值与颜色等级为训练数据，对预设的深度卷积神经网络结构进行训练获得。
作为一种优选方案，所述高光谱舌象图像样例标定的颜色等级包括偏淡二度、偏淡一度、正常、偏深一度以及偏深二度；其中：
标定为偏淡二度的高光谱舌象图像样例所对应的量化数值为-100；
标定为偏淡一度的高光谱舌象图像样例所对应的量化数值为-50；
标定为正常的高光谱舌象图像样例所对应的量化数值为0；
标定为偏深一度的高光谱舌象图像样例所对应的量化数值为+50；
标定为偏深二度的高光谱舌象图像样例所对应的量化数值为+100。
作为一种优选方案，预测得到的量化数值的范围与颜色等级的对应关系如下：
量化数值在-125至-75之间为偏淡二度；
量化数值在-75至-25之间为偏淡一度；
量化数值在-25至+25之间为正常；
量化数值在+25至+75之间为偏深一度；
量化数值在+75至+125之间为偏深二度。
作为一种优选方案，所述多光谱舌象图像采集设备包括设有开口的暗箱、设于所述暗箱开口一侧的下颌承托机构以及设于所述暗箱内部的多光谱相机与光源；所述多光谱相机与所述数据量化分析模块连接。
作为一种优选方案，还包括结果可视化模块；所述结果可视化模块与所述数据量化分析模块连接，用于呈现所述数据量化分析模块的预测结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的多光谱舌象图像采集分析系统的组成示意图；
图2为高光谱图像与多光谱图像的波段差异示意图；
图3为本发明实施例提供的多光谱舌象图像采集分析系统的多光谱舌象图像采集设备的结构示意图；
图4为本发明实施例提供的多光谱舌象图像采集分析系统的多光谱舌象图像采集设备的暗箱内部示意图；
附图标记说明：1、多光谱舌象图像采集设备；11、暗箱；12、下颌承托机构；13、伸缩升降台；14、多光谱相机；15、光源；2、数据量化分析模块；3、结果可视化模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
一种多光谱舌象图像采集分析系统，请参阅图1，包括多光谱舌象图像采集设备1以及数据量化分析模块2；其中：
所述多光谱舌象图像采集设备1用于根据经过基于机器学习的波段选择分析后选择的若干波段，采集使用者的多光谱舌象图像；
所述数据量化分析模块2用于通过以深度卷积神经网络结构训练得到的分类预测模型，预测所述多光谱舌象图像的颜色分类、量化数值与颜色等级。
相较于现有技术，本发明以中医舌诊参数量化为切入点，使用有针对性的多维度光谱技术扩展中医舌象的光谱分辨率与信息表达，挖掘其在光谱特征下的隐藏信息；借助人工智能算法构建中医舌象关键参数量化模型，实现中医舌诊参数由定性分类向定量量化的转变，使其能够适用于临床疾病诊断以及临床评价指标的形成。
作为一种优选实施例，所述多光谱舌象图像采集设备1采集的波段通过以下方式进行选择：
从预设的高光谱舌象图像样例中提取光谱特征；以所述光谱特征以及所述高光谱舌象图像样例标定的舌色作为输入，对预设的随机森林模型进行分类任务的训练；
获取训练后所述随机森林模型输出的特征权重系数，所述特征权重系数表示波段空间中各波段在训练分类任务中的权重值；
根据所述特征权重系数的数值大小，对所述特征权重系数进行排序；从排序结果中挑选出若干个数值最大的特征权重系数，以挑选出的特征权重系数所对应的波段作为波段选择结果。
具体的，多光谱图像和高光谱图像是具有类似技术的光谱成像类型。请参阅图2，多光谱图像通常包含3到10个波段；高光谱图像可能有数百或数千个波段。两者的其它详细差别如下：
多光谱的光谱分辨率较差，由于波段较宽，能够捕获的数量也相对较少；而高光谱由相对更窄的波段(高光谱图像的光谱分辨率当前可达到1-10纳米，本实施例中采用的高光谱舌象图像样例分辨率大约为5纳米)组成，具有较高的光谱分辨率，可以检测物体的光谱特效，可提供更多无形的数据。由于波段数量的限制，多光谱复杂性较低，更容易理解和应用，而高光谱则需要较多工作来处理。高光谱可以呈现每个波段的数百个点，可以观察更多的细节。多光谱是离散的样本光谱，每个像素可能有4到20个数据点而已，而高光谱的每个像素都是一个连续或者完整的光谱。多光谱处理有限的图像，而高光谱处理的是光谱和图像，能够呈现更多维。多光谱只需要收集几个光谱带，技术并不复杂，购买和维护成本较低，而高光谱的技术特性就要求更好、更多的技术来支持，成本较高。另外，高光谱相机可以测各种不同波长，覆盖红外线、紫外线区域的部分；而多光谱相机只能分离特定波长，但根据使用场景与应用对象的差异，也可以与RGB相机结合从而采集到同时包含高清彩色图像与特定波段的结果。
而在研发过程中，本发明的研发人员通过提取不同舌色的平均光谱曲线特征形成相应特征集合，并选用Adaboost、KNN、Lasso、PLSR、SVM、随机森林6种常用的分类算法对不同舌色特征数据进行训练，再通过训练完成的分类器对未知样本进行分类识别，从而选取性能最好的分类算法。
具体的，按照4:1的比例，对不同舌色的样本数据中随机抽取4份作为训练集，1份作为测试集，训练集用来训练识别模型，测试集用来测试该识别模型的准确率。以查准率和查全率作为分类模型的评价标准，查准率和查全率数值越大说明模型的性能越好。而从选取的6种分类算法结果来看，随机森林在基于高光谱舌象图像数据的中医舌色分类判别任务中取得了最优的性能：
表1不同机器学习方法的高光谱舌色分类结果
表2不同机器学习方法的苔色分类结果
随机森林是以决策树为基础的机器学习器的集成算法，广泛应用于分类和回归分析中；本实施例利用随机森林进行变量筛选，目的在于通过判断每个特征在随机森林的每棵树中所做的贡献大小，然后取平均值，最后比较特征之间的贡献大小。由于作为训练数据的高光谱舌象数据中，特征变量较多，基于随机森林的特征选择算法，计算各变量的重要性(即特征权重系数)，通过特征重要性的大小选择出前n个重要性较高的特征，能够显著降低自变量的维度。
所述特征权重系数是随机森林完成训练之后的输出结果之一，代表了每一维输入特征的权重值。在模型训练的时候，不同的重要参数取值会得到不同的随机森林模型，特征权重系数是随机森林模型其中一种输出。在训练时动态遍历重要参数，选取评价指标最优的随机森林模型，会得到对应的特征权重系数。在本实施例中，随机森林模型的输入特征是光谱特征，所以特征权重系数可以描述每一维输入的光谱特征在随机森林里的权重值；而输入的光谱特征可以理解为是高光谱图像样例中各个波段的光谱反射率，因此，在本实施例中，训练后随机森林模型输出的特征权重系数实质上表示了波段空间中各波段在训练分类任务中的权重值。
通过以上方式选择波段，筛选并利用其中的有代表性的波段作为“特征波段”进行多光谱舌象图像的采集，能够避免采集到对分类预测任务无用的波段，从而可以实现在保证后续分类预测模型预测准确性与稳定性的前提下，减少数据存储占用空间的开支与降低采集成本，降低系统的计算成本与开销，简化预测模型本身。更具体的，所述多光谱舌象图像采集设备1采集的波段数量可以为7个或5个，采集波段的具体数量可以结合算力、存储成本以及精度等要求来进行确定。
进一步的，对所述随机森林模型进行训练的过程中，以准确率、精准率、召回率、AUC对所述随机森林模型的拟合准确度进行参数调整与性能评价。
具体的，在训练随机森林模型过程中，随机森林的性能很大程度上取决于其内部的参数设置。因此，对于随机森林参数的调优具有重要的意义。
例如，随机森林中重要的参数包括：
1.ntree：指定随机森林中树的数量。一般情况下，随机森林中树的数量越多，模型的性能越好。
2.mtry：指定每个决策树随机选择的特征数量。
3.maxnodes：指定每个决策树的最大节点数量。
准确率、精准率、召回率、AUC是机器学习中常用的性能评价指标，该四项指标数值越大、越接近于1说明所用模型对于舌色分类任务越适用、越准确。因此，依次遍历ntree、mtry、maxnodes等重要参数的不同取值，得到不同参数取值状态下的舌色分类任务准确率、精准率、召回率、AUC的评价结果。从中选取四项指标最优时对应的ntree、mtry、maxnodes等重要参数数值作为最终训练得到的随机森林模型参数取值，以确保模型在舌色分类上的性能。
更具体的，所述高光谱舌象图像样例的来源可以来自现有的数据库，也可以另外使用现有的高光谱成像设备对实验志愿者进行图像采集，由中医临床医生对所述高光谱舌象图像完成舌色的标定后获得。
进一步的，所述高光谱舌象图像样例中标定的舌色包括舌质颜色以及舌苔颜色；在训练之前，先对所述高光谱舌象图像样例进行苔质分离操作，识别出所述高光谱舌象图像样例的舌苔区域以及舌质区域；分别提取所述舌苔区域以及舌质区域的光谱特征。
作为一种可选实施例，所述苔质分离操作可以使用现有的基于3D U-net深度学习模型来进行舌质区域和舌苔区域的分割和识别。
相对应的，所述多光谱舌象图像采集设备1采集到使用者的多光谱舌象图像后，也可以对所述高光谱舌象图像进行苔质分离操作，识别出所述多光谱舌象图像的舌苔区域以及舌质区域后再进行后续的预测分类量化分析。
更进一步的，通过计算所述舌质区域或舌苔区域中所有像素点的平均光谱反射率，作为对应区域的光谱特征。
作为一种优选实施例，所述分类预测模型包括用于预测所述多光谱舌象图像的颜色分类的舌色分类预测模型以及用于预测所述多光谱舌象图像的量化数值与颜色等级的舌色量化预测模型；其中：
所述舌色分类预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的舌色作为训练数据，对预设的深度卷积神经网络结构进行训练获得；
所述舌色量化预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的量化数值与颜色等级为训练数据，对预设的深度卷积神经网络结构进行训练获得。
作为一种优选实施例，所述深度卷积神经网络结构可以是基于ResNet深度卷积神经网络结构。
具体的，对深度卷积神经网络结构训练使用的高光谱舌象图像样例可以是与对前述随机森林训练使用的高光谱舌象图像样例是同一套图例，区别在于在获取所述舌色量化预测模型的过程中还输入了量化数值与颜色等级。相对应的，对深度卷积神经网络结构训练之前也可以先对所述高光谱舌象图像样例进行苔质分离操作，识别出所述高光谱舌象图像的舌苔区域以及舌质区域再输入。
更具体的，由于成像系统本身因素和外界环境的影响，图像存在一定的噪声；作为一种优选实施例，训练过程中使用的高光谱舌象图像样例，若未经过数据清洗或去噪，可以先删除所述高光谱舌象图像的噪声波段，采用最小噪声分离变换方法对所述高光谱图像进行噪声分离和能量集中后再进行后续的操作。具体的，可以先删除其前10个波段与后10个波段，然后采用最小噪声分离变换方法对样例进行噪声分离和能量集中以达到去除波段内噪声的目的。
作为一种优选实施例，所述高光谱舌象图像样例标定的颜色等级包括偏淡二度、偏淡一度、正常、偏深一度以及偏深二度；其中：
标定为偏淡二度的高光谱舌象图像样例所对应的量化数值为-100；
标定为偏淡一度的高光谱舌象图像样例所对应的量化数值为-50；
标定为正常的高光谱舌象图像样例所对应的量化数值为0；
标定为偏深一度的高光谱舌象图像样例所对应的量化数值为+50；
标定为偏深二度的高光谱舌象图像样例所对应的量化数值为+100。
具体的，本实施例的研发人员在使用聚类分析来确定舌色各分类的边界，以中医舌诊中舌色类型的描述规律作为心理感知评价指导依据，使用感觉等距法对各个分类建立心理感知等距量表的基础上，用一维量值简单直观地描述舌色属性以及偏离某基准色的程度，并确定了不同舌色等级的基准值。
作为一种优选实施例，预测得到的量化数值的范围与颜色等级的对应关系如下：
量化数值在-125至-75之间为偏淡二度；
量化数值在-75至-25之间为偏淡一度；
量化数值在-25至+25之间为正常；
量化数值在+25至+75之间为偏深一度；
量化数值在+75至+125之间为偏深二度。
具体的，在对所述高光谱舌象图像样例标定的过程中，可以先对舌色和苔色进行标定，区分出淡白舌、淡红舌、红舌、紫舌等舌质颜色，与白苔、黄苔、灰黑苔等舌苔颜色；然后再在舌色分类的基础上，对其五个不同颜色程度(偏淡二度、偏淡一度、正常、偏深一度、偏深二度)进行标定，按照正常标定为0，偏淡一度标定为-50，偏淡二度标定为-100，偏深一度标定为50，偏深二度标定为100的特殊值进行标定。而后续深度卷积神经网络模型进行训练时，将自行学习出舌色程度为10、81、-43之类的数值结果。
由此，本实施例将能够得到类似于“舌色：红舌、中度、55；苔色：黄苔、重度、87”的量化预测结果，使用者基于该结果能够直观判断舌色的前后对比与变化程度，从而更加适用于临床的疗效评价中。
作为一种优选实施例，请参阅图3与图4，所述多光谱舌象图像采集设备1包括设有开口的暗箱11、设于所述暗箱11开口一侧的下颌承托机构12以及设于所述暗箱11内部的多光谱相机14与光源15；所述多光谱相机14与所述数据量化分析模块2连接。
具体的，所述暗箱11的开口用于供使用者向暗箱11中伸舌头。所述多光谱相机14能够同时获取拍摄目标的彩色图像和预设波段的多光谱图像。更具体的，与现有的手机多摄像头拍摄的方案类似，所述多光谱相机14可以至少包含一个RGB镜头与多光谱镜头。换言之，所述多光谱相机14对使用者采集到的多光谱舌象图像是整合了高清彩色图像与特定波段多光谱图像的结果。
作为一种优选实施例，所述光源15可以对称设于相对于所述暗箱11开口的侧面；所述光源15的数量可以为2个或者4个，并对称设置，减少阴影对拍摄效果的影响。
进一步的，还可以在所述下颌承托机构12下面设置伸缩升降台13，便于适应不同使用者的高度，提高拍摄过程中的舒适性.
作为一种优选实施例，还包括结果可视化模块3；所述结果可视化模块3与所述数据量化分析模块2连接，用于呈现所述数据量化分析模块2的预测结果。
需要说明的是，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。本申请提供的各项功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例记载方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
具体的，在一种实施例中，所述数据量化分析模块2可以由存储有所述分类预测模型的主机或服务器实现，所述结果可视化模块3可以由所述显示屏或触摸屏实现；在另一种实施例中，所述数据量化分析模块2与结果可视化模块3可以集成在一起，由手机、平板电脑或笔记本电脑实现；在另一种实施例中，所述多光谱舌象图像采集设备1、数据量化分析模块2以及结果可视化模块3还可以集成为同一个仪器设备，共同作为本实施例提供的多光谱舌象图像采集分析系统。在另一种实施例中，所述多光谱舌象图像采集设备1与所述数据量化分析模块2之间、所述数据量化分析模块2与结果可视化模块3之间，可以是通过实体的数据线连接实现数据传输，也可以通过无线连接的方式实现数据传输。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应当以权利要求的保护范围为准。

Claims (10)

1.一种多光谱舌象图像采集分析系统，其特征在于，包括多光谱舌象图像采集设备(1)以及数据量化分析模块(2)；其中：
所述多光谱舌象图像采集设备(1)用于根据预设的波段，采集使用者的多光谱舌象图像；所述多光谱舌象图像采集设备(1)采集的波段由基于机器学习的波段选择分析来确定；
所述数据量化分析模块(2)用于通过以深度卷积神经网络结构训练得到的分类预测模型，预测所述多光谱舌象图像的颜色分类、量化数值与颜色等级。
2.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，所述多光谱舌象图像采集设备(1)采集的波段通过以下方式进行确定：
从预设的高光谱舌象图像样例中提取光谱特征；以所述光谱特征以及所述高光谱舌象图像样例标定的舌色作为输入，对预设的随机森林模型进行分类任务的训练；
获取训练后所述随机森林模型输出的特征权重系数，所述特征权重系数表示波段空间中各波段在训练分类任务中的权重值；
根据所述特征权重系数的数值大小，对所述特征权重系数进行排序；从排序结果中挑选出若干个数值最大的特征权重系数，以挑选出的特征权重系数所对应的波段作为波段选择结果。
3.根据权利要求2所述的多光谱舌象图像采集分析系统，其特征在于，所述高光谱舌象图像样例中标定的舌色包括舌质颜色以及舌苔颜色；在训练之前，先对所述高光谱舌象图像样例进行苔质分离操作，识别出所述高光谱舌象图像样例的舌苔区域以及舌质区域；分别提取所述舌苔区域以及舌质区域的光谱特征。
4.根据权利要求3所述的多光谱舌象图像采集分析系统，其特征在于，通过计算所述舌质区域或舌苔区域中所有像素点的平均光谱反射率，作为对应区域的光谱特征。
5.根据权利要求2所述的多光谱舌象图像采集分析系统，其特征在于，对所述随机森林模型进行训练的过程中，以准确率、精准率、召回率、AUC对所述随机森林模型的拟合准确度进行参数调整与性能评价。
6.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，所述分类预测模型包括用于预测所述多光谱舌象图像的颜色分类的舌色分类预测模型以及用于预测所述多光谱舌象图像的量化数值与颜色等级的舌色量化预测模型；其中：
所述舌色分类预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的舌色作为训练数据，对预设的深度卷积神经网络结构进行训练获得；
所述舌色量化预测模型通过以预设的高光谱舌象图像样例以及所述高光谱舌象图像样例标定的量化数值与颜色等级为训练数据，对预设的深度卷积神经网络结构进行训练获得。
7.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，所述高光谱舌象图像样例标定的颜色等级包括偏淡二度、偏淡一度、正常、偏深一度以及偏深二度；其中：
标定为偏淡二度的高光谱舌象图像样例所对应的量化数值为-100；
标定为偏淡一度的高光谱舌象图像样例所对应的量化数值为-50；
标定为正常的高光谱舌象图像样例所对应的量化数值为0；
标定为偏深一度的高光谱舌象图像样例所对应的量化数值为+50；
标定为偏深二度的高光谱舌象图像样例所对应的量化数值为+100。
8.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，预测得到的量化数值的范围与颜色等级的对应关系如下：
量化数值在-125至-75之间为偏淡二度；
量化数值在-75至-25之间为偏淡一度；
量化数值在-25至+25之间为正常；
量化数值在+25至+75之间为偏深一度；
量化数值在+75至+125之间为偏深二度。
9.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，所述多光谱舌象图像采集设备(1)包括设有开口的暗箱(11)、设于所述暗箱(11)开口一侧的下颌承托机构(12)以及设于所述暗箱(11)内部的多光谱相机(14)与光源(15)；所述多光谱相机(14)与所述数据量化分析模块(2)连接。
10.根据权利要求1所述的多光谱舌象图像采集分析系统，其特征在于，还包括结果可视化模块(3)；所述结果可视化模块(3)与所述数据量化分析模块(2)连接，用于呈现所述数据量化分析模块(2)的预测结果。
CN202310834706.7A 2023-07-07 2023-07-07 一种多光谱舌象图像采集分析系统 Active CN116849612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310834706.7A CN116849612B (zh) 2023-07-07 2023-07-07 一种多光谱舌象图像采集分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310834706.7A CN116849612B (zh) 2023-07-07 2023-07-07 一种多光谱舌象图像采集分析系统

Publications (2)

Publication Number Publication Date
CN116849612A true CN116849612A (zh) 2023-10-10
CN116849612B CN116849612B (zh) 2024-01-09

Family

ID=88228120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310834706.7A Active CN116849612B (zh) 2023-07-07 2023-07-07 一种多光谱舌象图像采集分析系统

Country Status (1)

Country Link
CN (1) CN116849612B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593591A (zh) * 2024-01-16 2024-02-23 天津医科大学总医院 一种基于医学图像分割的舌象分类方法
CN117611828A (zh) * 2024-01-19 2024-02-27 云南烟叶复烤有限责任公司 一种基于高光谱图像分割技术的非烟杂物检测方法
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
CN104677853A (zh) * 2015-01-27 2015-06-03 天津大学 一种基于近红外高光谱的壁画起甲病害评估方法
US20150335248A1 (en) * 2012-07-02 2015-11-26 National University Of Singapore Methods related to real-time cancer diagnostics at endoscopy utilizing fiber-optic raman spectroscopy
US20160307073A1 (en) * 2015-04-20 2016-10-20 Los Alamos National Security, Llc Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery
CN109394182A (zh) * 2018-12-12 2019-03-01 北京工业大学 一种基于光谱信息的中医舌色量化分析方法
CN110811567A (zh) * 2019-12-11 2020-02-21 江苏集萃智能传感技术研究所有限公司 可插拔的多功能美容装置及工作方法
CN111587365A (zh) * 2018-01-11 2020-08-25 澳大利亚眼科研究中心有限公司 用于量化组织的生物标志物的方法和系统
CN111724894A (zh) * 2019-11-06 2020-09-29 中国科学院上海微系统与信息技术研究所 一种数据采集方法、装置、终端及存储介质
CN113284045A (zh) * 2021-05-20 2021-08-20 中国人民解放军火箭军工程大学 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备
CN113425259A (zh) * 2021-06-24 2021-09-24 中国科学院上海微系统与信息技术研究所 一种高空间分辨率的多光谱舌象采集系统
CN114154694A (zh) * 2021-11-23 2022-03-08 农业农村部南京农业机械化研究所 基于无人机多光谱遥感的棉花打顶期植物生长状态的预测方法
CN115290595A (zh) * 2022-04-12 2022-11-04 河南工业大学 一种基于太赫兹时域光谱的大米品种识别方法
WO2023278437A1 (en) * 2021-06-29 2023-01-05 Otonexus Medical Technologies, Inc. Methods and systems for cmut resonance determination
WO2023273411A1 (zh) * 2021-07-01 2023-01-05 奥比中光科技集团股份有限公司 一种多光谱数据的获取方法、装置及设备
CN116824171A (zh) * 2023-06-28 2023-09-29 广东省新黄埔中医药联合创新研究院 中医高光谱舌象图像波段的选择方法及相关装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
US20150335248A1 (en) * 2012-07-02 2015-11-26 National University Of Singapore Methods related to real-time cancer diagnostics at endoscopy utilizing fiber-optic raman spectroscopy
CN104677853A (zh) * 2015-01-27 2015-06-03 天津大学 一种基于近红外高光谱的壁画起甲病害评估方法
US20160307073A1 (en) * 2015-04-20 2016-10-20 Los Alamos National Security, Llc Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery
CN111587365A (zh) * 2018-01-11 2020-08-25 澳大利亚眼科研究中心有限公司 用于量化组织的生物标志物的方法和系统
US20200375521A1 (en) * 2018-01-11 2020-12-03 Centre For Eye Research Australia Limited Method and system for quantifying biomarker of a tissue
CN109394182A (zh) * 2018-12-12 2019-03-01 北京工业大学 一种基于光谱信息的中医舌色量化分析方法
CN111724894A (zh) * 2019-11-06 2020-09-29 中国科学院上海微系统与信息技术研究所 一种数据采集方法、装置、终端及存储介质
CN110811567A (zh) * 2019-12-11 2020-02-21 江苏集萃智能传感技术研究所有限公司 可插拔的多功能美容装置及工作方法
CN113284045A (zh) * 2021-05-20 2021-08-20 中国人民解放军火箭军工程大学 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备
CN113425259A (zh) * 2021-06-24 2021-09-24 中国科学院上海微系统与信息技术研究所 一种高空间分辨率的多光谱舌象采集系统
WO2023278437A1 (en) * 2021-06-29 2023-01-05 Otonexus Medical Technologies, Inc. Methods and systems for cmut resonance determination
WO2023273411A1 (zh) * 2021-07-01 2023-01-05 奥比中光科技集团股份有限公司 一种多光谱数据的获取方法、装置及设备
CN114154694A (zh) * 2021-11-23 2022-03-08 农业农村部南京农业机械化研究所 基于无人机多光谱遥感的棉花打顶期植物生长状态的预测方法
CN115290595A (zh) * 2022-04-12 2022-11-04 河南工业大学 一种基于太赫兹时域光谱的大米品种识别方法
CN116824171A (zh) * 2023-06-28 2023-09-29 广东省新黄埔中医药联合创新研究院 中医高光谱舌象图像波段的选择方法及相关装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAESELER, RASMUS L.; JOHANSSON, TW; 等: "Feature and classification analysis for detection and classification of tongue movements from single-trail pre-movement EEG", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》 *
焦文 等: "光谱法的中医舌诊研究与应用概况", 《中国中医药信息杂志》 *
赵静, 刘明, 陆小左, 李刚: "基于光谱技术的中医舌诊客观化研究", 《中华中医药杂志》 *
魏慧敏, 贾科利, 张旭, 张俊华: "基于机器学习和多光谱遥感的银川平原土壤盐分预测", 《干旱区地理》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593591A (zh) * 2024-01-16 2024-02-23 天津医科大学总医院 一种基于医学图像分割的舌象分类方法
CN117593591B (zh) * 2024-01-16 2024-05-31 天津医科大学总医院 一种基于医学图像分割的舌象分类方法
CN117611828A (zh) * 2024-01-19 2024-02-27 云南烟叶复烤有限责任公司 一种基于高光谱图像分割技术的非烟杂物检测方法
CN117611828B (zh) * 2024-01-19 2024-05-24 云南烟叶复烤有限责任公司 一种基于高光谱图像分割技术的非烟杂物检测方法
CN118247278A (zh) * 2024-05-28 2024-06-25 中国科学院合肥物质科学研究院 一种基于rgb图像和高光谱图像融合的舌像检测方法

Also Published As

Publication number Publication date
CN116849612B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN116849612B (zh) 一种多光谱舌象图像采集分析系统
US9317761B2 (en) Method and an apparatus for determining vein patterns from a colour image
KR102311654B1 (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
CN104102913B (zh) 腕部静脉认证系统
Liu et al. Automated tongue segmentation in hyperspectral images for medicine
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
WO2018054091A1 (zh) 化橘红成分鉴定方法
CN110637224A (zh) 信息搜索系统及程序
KR102448123B1 (ko) 농산물 신선도 예측 방법 및 장치
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
CN104809450B (zh) 基于在线极限学习机的腕部静脉认证系统
Wang et al. Facial image medical analysis system using quantitative chromatic feature
CN116824171A (zh) 中医高光谱舌象图像波段的选择方法及相关装置
EP3940370B1 (en) Method for extracting spectral information of object to be detected
CN110135357B (zh) 一种基于远程遥感的幸福感实时检测方法
Li et al. Tongue fissure extraction and classification using hyperspectral imaging technology
Burge et al. Multispectral iris fusion and cross-spectrum matching
US20230162354A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
Abdullah et al. A portable rice disease diagnosis tool basedon bi-level color image thresholding
CN111325241A (zh) 果蔬分类方法、装置、智能传感器及计算机存储介质
CN113807320B (zh) 一种基于多光谱成像技术的人体肤色识别方法及系统
CN116824252A (zh) 高光谱舌象图像的中医舌色分类量化方法
KR102165487B1 (ko) 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
CN115494009A (zh) 一种烟叶成熟度的智能判别方法及系统
Moreno et al. An Algorithm for the Estimation of Hemoglobin Level from Digital Images of Palpebral Conjunctiva Based in Digital Image Processing and Artificial Intelligence.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant