CN108553081B - 一种基于舌苔图像的诊断系统 - Google Patents

一种基于舌苔图像的诊断系统 Download PDF

Info

Publication number
CN108553081B
CN108553081B CN201810004287.3A CN201810004287A CN108553081B CN 108553081 B CN108553081 B CN 108553081B CN 201810004287 A CN201810004287 A CN 201810004287A CN 108553081 B CN108553081 B CN 108553081B
Authority
CN
China
Prior art keywords
image
information
module
model
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810004287.3A
Other languages
English (en)
Other versions
CN108553081A (zh
Inventor
柴栋
张锁
王洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810004287.3A priority Critical patent/CN108553081B/zh
Priority to US16/029,256 priority patent/US11471095B2/en
Publication of CN108553081A publication Critical patent/CN108553081A/zh
Application granted granted Critical
Publication of CN108553081B publication Critical patent/CN108553081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0252—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)

Abstract

本发明实施例提供了一种基于舌苔图像的诊断系统，其包括：分析模块，其配置为基于建立的第一模型对获取的第一图像进行分析，并生成对应于所述第一图像的分析结果；参数采集模块，其配置为至少获取环境参数信息；模型建立模块，其配置为对接收的图像训练数据和与图像训练数据对应的环境参数信息进行学习训练，以建立所述第一模型。本发明实施例具有预测精度高的特点。

Description

一种基于舌苔图像的诊断系统
技术领域
本发明实施例涉及图像处理技术领域，特别涉及一种基于舌苔图像的诊断系统。
背景技术
随着科技的发展，越来越多的用户开始自行执行疾病的预测或者预防。例如在舌诊技术领域，可以通过上传舌头的图像来进行健康情况的预测。但是，现有技术中，在获取舌头的图像或者其他图像时，通常或受到外界环境因素的影响，如受到光亮度的影响，而在对图像进行分析时，通常会忽略环境因素对图像的影响，造成检测精度或者预测精度低的问题。
发明内容
本发明实施例提供了一种能够较高精度的分析获取的图像反映的健康状况的基于舌苔图像的诊断系统。
为了解决上述技术问题，本发明实施例提供了如下的技术方案：
一种基于舌苔图像的诊断系统，其包括：
分析模块，其配置为基于建立的第一模型对获取的第一图像进行分析，并至少生成所述第一图像对应的用户患有食道癌概率的分析结果；
参数采集模块，其配置为至少获取环境参数信息；
模型建立模块，其配置为对接收的图像训练数据和与图像训练数据对应的环境参数信息进行学习训练，以建立所述第一模型；
其中，所述第一图像包括待诊断的舌苔图像，所述图像训练数据包括用于训练的舌苔图像。
其中，所述参数采集模块包括用于采集温度信息的温度采集单元和/或用于采集光亮度信息的亮度采集单元。
其中，所述参数采集模块还包括用于获取生理参数信息的生理参数采集单元，所述生理参数信息包括体温信息、呼吸频率信息以及心率信息中的一种或多种；
所述模型建立模块进一步配置为对接收的图像训练数据，以及与图像训练数据对应的环境参数信息和生理参数信息进行学习训练，以建立所述第一模型。
其中，所述参数采集模块还配置为获取关于用户的药物服用信息和/或用户的饮食信息；
所述模型建立模块进一步配置为至少对接收的图像训练数据、与图像训练数据对应的环境参数信息，以及用户的药物服用信息和/或用户的饮食信息进行学习训练，以建立所述第一模型。
其中，所述系统还包括生成所述图像训练数据的数据生成模块，
所述数据生成模块配置为对获取的第二图像信息执行图像转换操作，并基于第二图像信息和/或转换后的第二图像信息生成所述图像训练数据。
其中，所述数据生成模块进一步配置为通过对所述第二图像信息执行平移和/或翻转来执行所述图像转换操作。
其中，所述数据生成模块还进一步配置为对接收的图像信息执行图像分割和图像标注以生成所述第二图像信息。
其中所述模型建立模块还进一步配置为执行对所建立的第一模型的验证操作，
所述分析模块基于验证通过的第一模型对获取的第一图像进行分析，并生成对应于所述第一图像的分析结果。
其中，还包括图像采集器，其包括摄像模块和/或通信模块,用以获取图像信息，并至少将获取的图像传输至所述分析模块。
其中，所述图像采集器还进一步包括：
光源组件；
光亮度传感器，其配置为采集光亮度值；
亮度调节模块，其配置为在所述光亮度传感器采集的光亮度值与预设亮度值不同时，调节所述光源组件的光亮度值直至所述光亮度传感器所采集的光亮度值与预设亮度值相同，并在所述光亮度值与所述预设亮度值相同时控制图像采集单元采集图像信息。
基于上述公开的实施例，本发明实施例至少具备如下的有益效果：
本发明实施例中的基于舌苔图像的诊断系统可以对应疾病的预防和检测，并且由于在建立学习模型时，将环境参数、生理参数或者其他参数作为训练样本的一部分，可以大大提高第一模型的分析精度，有利于疾病的分析和预防。
附图说明
图1为本发明实施例中的一种基于舌苔图像的诊断系统的原理结构图；
图2为本发明实施例中的参数采集模块的原理结构图；
图3为本发明另一实施例中的基于舌苔图像的诊断系统的原理结构图；
图4为本发明实施例中的图像采集器的原理结构图。
具体实施方式
下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。
应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面，结合附图详细的说明本发明实施例，本发明实施例提供了一种基于舌苔图像的诊断系统，该系统可以通过建立的模型(第一模型)来执行对于输入的舌苔图像的分析，并对应的生成和输出关于该舌苔图像的健康评估结果，该评估结果中包括患有食道癌概率的信息，从而方便用户执行自诊断和自我健康的检测。本发明实施例中对第一模型的训练结合了环境参数，因此，可以大大提高预测精度。
如图1所示，为本发明实施例中的一种基于舌苔图像的诊断系统的原理结构图，其中，本发明实施例中的基于舌苔图像的诊断系统可以包括：分析模块1、参数采集模块2和模型建立模块3。
其中，分析模块1可以基于建立的第一模型对获取的第一图像进行分析，并至少生成对应于该第一图像的用户患有食道癌的概率的分析结果。其中，本发明实施例中的第一模型可以为经过深度学习训练和建立的学习模型，同时分析模块1可以基于该第一模型执行获取的第一图像的图像识别和诊断。其中例如在舌诊技术领域，分析模块1可以通过第一模型对获取的舌苔的第一图像来执行用户健康情况的分析判断，如可以基于建立的第一模型识别和诊断出该第一图像所对应的患有食道癌的概率，或者也可以分析出该第一图像中的舌体的健康情况，如舌苔颜色、厚度等信息，从而可以方便用户获知自身健康状况。另外，本发明实施例中的分析模块1也可以对其他类型的图像进行识别和诊断，具体可以基于建立的第一模型来实现，本发明实施例对此不作限定。
另外，本发明实施例中分析模块1中可以包括有线通信单元和/或无线通信单元，以通过利用无线通信或者有线通信的方式从其他通信设备或者电子设备获取第一图像，或者也可以直接从图像采集设备获取图像。
另外，本发明实施例中在建立第一模型时，考虑到其会受到外界环境因素或者其他因素的影响，因此在基于舌苔图像的诊断系统中设置了参数采集模块，来实时的采集与获取的第一图像对应的参数信息。其中，参数采集模块2即可以用于至少采集环境参数信息，该环境参数信息可以包括外界的光亮度信息、温度信息，以及还可以包括用户对象的生理参数等信息。或者在另一实施例中，参数采集模块2也可以通过接收用户输入的参数信息的方式来至少获取环境参数信息，即用户也可以为对应的图像信息输入相对应的参数信息，以用于建立第一模型。即在建立第一模型时可以结合上述采集的参数信息与第一图像的特征来执行学习训练，并提高第一模型的识别和分析的精度。
另外，模型建立模块3可以在执行学习训练的过程中，可以基于接收的图像训练数据和与图像训练数据对应的环境参数信息进行学习训练，以建立所述第一模型。其中图像训练数据可以包括用于训练的舌苔图像，以及与该舌苔图像对应的健康数据，该健康数据包括是否患有食道癌的信息，或者患有食道癌的概率信息等。
本发明实施例中，模型建立模块3同样也可以包括无线通信单元和/或有线通信单元，并利用该无线通信单元或者有线通信单元获取图像训练数据，或者也可以直接通过图像采集模块获取图像训练数据，对应的还可以通过参数采集模块2获取对应的参数信息。基于获取的图像训练数据和参数信息即可以执行第一模型的训练和学习过程，最终构建精确度高的第一模型。其中，本发明实施例中建立第一模型是采用神经网络算法实现对于训练数据的学习和训练。例如可以采用CNN或者RNN等算法来执行上述学习训练的过程。通过神经网络算法可以执行对第一图像的特征点提取，并经学习训练实现不同舌体的舌苔图像特征的自动识别，并以此实现用户的健康管理。其中，本发明实施例中的图像训练数据中可以包括图像信息以及与该图像信息对应的健康情况的标识信息，以此来执行学习和训练。优选地，图像采集模块在获取舌苔图像的第一图像时，还可以在该第一图像中进一步包括口腔图像，模型建立模块3还可以进一步基于该口腔图像进行训练分析，从而综合分析训练并进一步提高训练精度。
如上述实施例所述，本发明实施例中，模型建立模块3可以将对应关联的图像训练数据和参数信息作为样本数据进行训练学习，由于本发明实施例中将参数信息与图像训练数据一同作为样本数据进行训练，可以大大的提高第一模型的预测和分析精度，从而能够更加准确的为用户提供健康状况的分析结果。
具体的，在本发明的一个实施例中，如图2所示，参数采集模块2可以包括用于采集温度信息的温度采集单元21和/或用于采集光亮度信息的亮度采集单元22。其中温度采集单元可以包括温度传感器，亮度采集单元可以包括亮度传感器，或者参数采集模块2可以通过任意的输入设备接收用户输入的参数信息，如温度信息、光亮度信息或者其他的参数信息。本发明实施例中每个被获取的参数信息都可以对应于一个图像，其中，可以基于用户输入的操作指令将图像与参数信息对应关联，也可以基于获取图像的时刻所实时获取的参数信息来将图像与参数信息的对应关联。
模型建立模块3则可以利用关联的图像训练数据和参数信息(光亮度信息和/或温度信息)作为训练样本，并基于神经网络算法执行第一模型的构建。
在另一实施例中，参数采集模块2还可以包括用于获取生理参数信息的生理参数采集单元23，所述生理参数信息包括体温信息、呼吸频率信息以及心率信息中的一种或多种。也就是说，针对剧烈运动对图像采集时的影响，本发明实施例设置了上述生理参数采集单元23，其可以包括心率检测装置、体温检测装置以及呼吸频率检测装置中的至少一种。为了更利于检测，呼吸频率检测装置可以设置在用于采集图像信息的图像采集模块上，例如当在对舌头进行拍照时，可同时检测人体的呼吸频率。另外体温检测装置和心率检测装置可以分别设置在方便检测对应信息的位置上，并且本发明实施例中的生理参数采集单元23可以与模型建立模块3相分离设置，即能够实现获取的生理参数信息的传输即可作为本发明的实施例。进一步地，模型建立模块3可以对接收的图像训练数据，以及与图像训练数据对应的环境参数信息和生理参数信息进行学习训练，或者也可以对接收的图像训练数据和生理参数信息进行学习训练，并通过预设的神经网络算法建立第一模型。在本发明实施例中，所选取的作为训练样本的参数信息越多，建立的第一模型的精度也就越高，对于参数信息的选取，本领域技术人员可以根据不同的需求进行选择。
在本发明的另一实施例中，参数采集模块2还可以包括获取用户的药物服用信息的药物参数获取单元24，该药物参数获取单元24可以获取关于用户的药物服用信息；该药物服用信息可以包括用户在预设时间(例如1周或1个月或者其他时间范围)内的服用的药物名称及剂量。在对获取的图像进行训练或者进行图像矫正时可以参照这些信息对舌头图像的影响进行分析。另外，在另一实施例中参数采集模块2还可以包括获取用户饮食情况信息的饮食参数获取单元，该饮食参数获取单元可以获取关于用户预设时间(如一周、一个月或者其他时间范围)内的饮食信息，在对获取的图像进行训练或者进行图像矫正时可以参照这些信息对舌头图像的影响进行分析。
所述模型建立模块3进一步配置为至少对接收的图像训练数据，以及与图像训练数据对应的环境参数信息、生理参数信息以及用户的药物服用信息和/或饮食信息中的至少一种进行学习训练，以建立所述第一模型。同样的，在本发明实施例中，所选取的作为训练样本的参数信息越多，建立的第一模型的精度也就越高，对于参数信息的选取，本领域技术人员可以根据不同的需求进行选择。
在本发明的另一实施例中，模型建立模块3还进一步配置为执行对所建立的第一模型的验证操作，具体的，模型建立模块3可以基于建立的第一模型以及输入的验证数据组执行对第一模型的验证，其中验证数据组包括多组验证数据，每个验证数据包括图像信息以及与图像信息对应的健康评估结果。将该验证数据输入至建立的第一模型，并获得输出的分析结果，将该分析结果与上述健康评估结果相比较，如果在验证数据组的验证数据的验证结果一致性大于预设概率时，即可以判断为该第一模型被验证通过，否则可以将该验证数据添加至样本数据或者也可以获取其他的样本数据继续学习训练，直至第一模型被验证通过。
在第一模型被验证通过后，分析模块1可以基于验证通过的第一模型对获取的第一图像进行分析，并生成对应于所述第一图像的分析结果。从而可以进一步提高分析精度。
基于上述实施例的说明，本发明实施例中的基于舌苔图像的诊断系统可以实现第一模型的建立，并且由于其中将环境因素、生理参数以及药物等信息与图像数据一起作为训练样本，大大提高了第一模型的预测精度。
如图3所示，为本发明另一实施例中的基于舌苔图像的诊断系统的原理结构图。其中，该系统可以包括用于获取图像的图像采集器4和/或用于生成图像训练数据的数据生成模块5。
其中，图像采集器4可以包括用于获取图像信息的图像采集单元，该图像采集单元41可以包括摄像模块和/或通信模块，该摄像模块可以实时的采集用户对应部位的图像信息，如舌头的图像。通信模块则可以从其他设备接收图像信息，或者接收用户上传的图像信息。上述图像信息为可以用于用户健康检测的图像。在获取上述图像信息后，图像采集单元41可以将获取的图像信息传输至分析模块1，进行针对该图像信息的健康情况的分析和判断。
另外，在执行第一模型的构建时，图像采集器4也可以将获取的图像传输至数据生成模块5用以生成图像训练数据，并通过数据生成模块5将获取的图像训练数据传输至模型建立模块3，用以执行第一模型的构建，
在本发明实施例中，为了区分作为健康监测的图像和用于构建第一模型的图像，在下述实施例中，将用户上传的或者实时获取的用于健康评估的图像称作第一图像，而将用于建立第一模型的训练数据的图像称为第二图像。上述图像都可以通过图像采集器4获取。
数据生成模块5可以从图像采集器4获取第二图像信息，并将该第二图像信息直接传输给模型建立模块3用于学习训练。也可以对第二图像信息进行处理以实现训练数据的扩展。具体的，数据生成模块5可以对第二图像信息执行图像转换操作，并基于转换后的第二图像信息和第二图像信息生成所述图像训练数据。也就是说，通过图像转换操作可以扩充训练数据的样本容量，增加模型建立模块所建立的第一模型的精确度。在本发明实施例中的上述图像转换操作可以包括图像平移和图像翻转。
另外，在本发明实施例中，数据生成模块5还可以对获取的图像执行图像分割和图像标注操作，并对接收的图像信息执行图像分割和图像标注以生成作为上述用作图像训练数据的第二图像信息。其中，图像分割包括将获取的图像按照部位进行分割，图像标识是指对该分割出的图像分配对应的标识信息。同时还可以获取针对该图像的不同部位的数据标签(相关的描述信息)，与图像以及对应的标识一起构成图像训练数据。
如在舌诊的技术领域，获取的图像可以为舌头的图像。在图像分割时可以将获取的图像按照舌头的不同部位将舌体分割成舌根、舌尖、舌中和两个舌边，在进行标注时，可以将按照分割的名称进行标识，同时还可以对应的获取针对所获取的图像的用户信息(年龄、性别等信息)，以及该用户的舌体的描述情况，以及是否患有对应的疾病的信息。数据生成模块5基于上述信息生成图像训练数据。
另外，如图4所示，为本发明实施例中的图像采集器的原理结构图，其中该图像采集器4除了可以包括图像采集单元41之外还可以包括光源组件42、光亮度传感器43以及亮度调节模块44。
其中光源组件42可以包括LED灯，其用于为摄像模块拍摄图像时提供对应亮度的光源。光亮度传感器43可以采集当前的光亮度值，以及亮度调节模块44可以在光亮度传感器43采集的光亮度值与预设亮度值不同时，调节所述光源组件42的光亮度值直至所述光亮度传感器所采集的光亮度值与预设亮度值相同，并在所述光亮度值与所述预设亮度值相同时控制图像采集单元采集图像信息。也即，亮度调节模块44可以从光亮度传感器43接收其采集的光亮度值，并与预设亮度值进行比较，并对应的向光源组件42发送调节其光亮度的信号，直至光亮度传感器所采集的光亮度值与预设亮度相同。
本发明实施例中，光亮度传感器43可为参数采集模块中用于采集光亮度的光亮度采集单元，也可以是单独的光亮度传感器，通过该光亮度传感器所采集的光亮度信息来调节光源组件的光亮度，从而保证摄像模块获取图像时的光亮度相同。
另外，在本发明实施例中，图像采集单元41也可以构造为一终端设备，如手机、照相机等设备，通过图像采集单元41可以直接获取用户的检测部位的图像，如舌体图像，或者也可以接收用户上传的图像。图像采集单元41在获取图像信息后可以直接将该图像信息传输给分析模块1进行判断分析，分析模块1可以将分析结果回传至终端设备，方便用户查看和了解健康情况。
在另一实施例中，图像采集单元41也可以通过网络将该图像信息传输至一用户管理系统，该用户管理系统可以建立图像采集单元41和分析模块1之间的数据连接，即用户管理系统可以将图像采集单元41发送的图像信息与该用户的信息对应的存储，同时将该图像信息发送至分析模块1进行健康状况的分析，并从分析模块1接收对应的分析结果，将该分析结果发送给图像采集单元1时还将该分析结果与用户的信息对应的存储，以方便用户对自身健康情况进行查询和管理。也就是说，用户管理系统内可以存储用户上传的图像信息、用户的信息，以及分析模块返回的分析结果。用户在需要查看相关情况时，可以向用户管理系统发送请求信息，从而进行查看。上述用户管理系统可以构造为移动终端内的APP应用，或者也可以构造为单独的服务器。上述分析模块1、模型建立模块3等也可以形成在一单独的服务器内。
综上所述，本发明实施例中的基于舌苔图像的诊断系统可以对应疾病的预防和检测，并且由于在建立学习模型时，将环境参数、生理参数或者其他参数作为训练样本的一部分，可以大大提高第一模型的分析精度，有利于疾病的分析和预防。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理方法所应用于的电子设备，可以参考前述产品实施例中的对应描述，在此不再赘述。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种基于舌苔图像的诊断系统，其包括：
分析模块，其配置为基于建立的第一模型对获取的第一图像进行分析，并至少生成所述第一图像对应的用户患有食道癌的概率的分析结果；
参数采集模块，其配置为至少获取环境参数信息；其中，所述环境参数信息至少包括外界的光亮度信息、温度信息；
模型建立模块，其配置为对接收的图像训练数据和与图像训练数据对应的环境参数信息进行学习训练，以建立所述第一模型；
其中，所述第一图像包括待诊断的舌苔图像，所述图像训练数据包括用于训练的舌苔图像。
2.根据权利要求1所述的系统，其中，所述参数采集模块包括用于采集温度信息的温度采集单元和/或用于采集光亮度信息的亮度采集单元。
3.根据权利要求1所述的系统，其中，所述参数采集模块还包括用于获取生理参数信息的生理参数采集单元，所述生理参数信息包括体温信息、呼吸频率信息以及心率信息中的一种或多种；
所述模型建立模块进一步配置为对接收的图像训练数据，以及与图像训练数据对应的环境参数信息和生理参数信息进行学习训练，以建立所述第一模型。
4.根据权利要求1所述的系统，其中，所述参数采集模块还配置为获取关于用户的药物服用信息和/或用户的饮食信息；
所述模型建立模块进一步配置为至少对接收的图像训练数据、与图像训练数据对应的环境参数信息，以及用户的药物服用信息和/或用户的饮食信息进行学习训练，以建立所述第一模型。
5.根据权利要求1所述的系统，其中，所述系统还包括生成所述图像训练数据的数据生成模块，
所述数据生成模块配置为对获取的第二图像信息执行图像转换操作，并基于第二图像信息和/或转换后的第二图像信息生成所述图像训练数据。
6.根据权利要求5所述的系统，其中，所述数据生成模块进一步配置为通过对所述第二图像信息执行平移和/或翻转来执行所述图像转换操作。
7.根据权利要求5所述的系统，其中，所述数据生成模块还进一步配置为对接收的图像信息执行图像分割和图像标注以生成所述第二图像信息。
8.根据权利要求1所述的系统，其中所述模型建立模块还进一步配置为执行对所建立的第一模型的验证操作，
所述分析模块基于验证通过的第一模型对获取的第一图像进行分析，并生成对应于所述第一图像的分析结果。
9.根据权利要求1所述的系统，其中，还包括图像采集器，其包括摄像模块和/或通信模块,用以获取图像信息，并至少将获取的图像传输至所述分析模块。
10.根据权利要求9所述的系统，其中，所述图像采集器还进一步包括：
光源组件；
光亮度传感器，其配置为采集光亮度值；
亮度调节模块，其配置为在所述光亮度传感器采集的光亮度值与预设亮度值不同时，调节所述光源组件的光亮度值直至所述光亮度传感器所采集的光亮度值与预设亮度值相同，并在所述光亮度值与所述预设亮度值相同时控制图像采集单元采集图像信息。
CN201810004287.3A 2018-01-03 2018-01-03 一种基于舌苔图像的诊断系统 Active CN108553081B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810004287.3A CN108553081B (zh) 2018-01-03 2018-01-03 一种基于舌苔图像的诊断系统
US16/029,256 US11471095B2 (en) 2018-01-03 2018-07-06 Tongue-image-based diagnostic system and diagnostic method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810004287.3A CN108553081B (zh) 2018-01-03 2018-01-03 一种基于舌苔图像的诊断系统

Publications (2)

Publication Number Publication Date
CN108553081A CN108553081A (zh) 2018-09-21
CN108553081B true CN108553081B (zh) 2023-02-21

Family

ID=63529578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810004287.3A Active CN108553081B (zh) 2018-01-03 2018-01-03 一种基于舌苔图像的诊断系统

Country Status (2)

Country Link
US (1) US11471095B2 (zh)
CN (1) CN108553081B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109259730A (zh) * 2018-10-09 2019-01-25 广东数相智能科技有限公司 一种基于舌诊的预警分析方法和存储介质
CN109522791A (zh) * 2018-10-09 2019-03-26 广东数相智能科技有限公司 一种用于舌诊拍照的提醒方法、电子设备及存储介质
CN109259731A (zh) * 2018-10-09 2019-01-25 广东数相智能科技有限公司 一种基于舌诊的中风前兆预警方法、电子设备及存储介质
CN109783673B (zh) * 2019-01-11 2021-03-26 海东市平安正阳互联网中医医院有限公司 一种舌象图像的标注方法和装置
CN109785346A (zh) * 2019-01-25 2019-05-21 中电健康云科技有限公司 基于舌相分区技术的监测模型训练方法及装置
CN111084609A (zh) * 2019-12-19 2020-05-01 东莞宇龙通信科技有限公司 基于舌象的健康诊断方法、装置、存储介质和电子设备
CN112382391A (zh) * 2020-11-19 2021-02-19 上海中医药大学 一种基于个性化常态信息的中医健康评估方法及其应用
CN113837986A (zh) * 2020-12-15 2021-12-24 京东科技控股股份有限公司 用于识别舌象的方法、装置、电子设备和介质
US20230389863A1 (en) * 2021-01-11 2023-12-07 Resmed Sensor Technologies Limited Tongue fat screening assey
CN113781468B (zh) * 2021-09-23 2024-07-12 河南科技大学 一种基于轻量级卷积神经网络的舌图像分割方法
CN115147372B (zh) * 2022-07-04 2024-05-03 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及系统
CN117173083A (zh) * 2022-07-22 2023-12-05 浙江省肿瘤医院 基于舌象图像和肿瘤标志物的肿瘤预测系统、方法及应用
CN116977284A (zh) * 2022-07-22 2023-10-31 浙江省肿瘤医院 基于交互式深度学习模型的肿瘤预测系统、方法及其应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006149679A (ja) * 2004-11-29 2006-06-15 Konica Minolta Holdings Inc 健康度判定方法、装置、及びプログラム
CN203970354U (zh) * 2014-01-17 2014-12-03 厦门强本科技有限公司 一种基于移动终端的中医舌象分析系统
CN205625892U (zh) * 2016-02-26 2016-10-12 新绎健康科技有限公司 诊疗装置及诊疗系统
CN106725341A (zh) * 2017-01-09 2017-05-31 燕山大学 一种增强型舌诊系统
CN106999045A (zh) * 2014-11-12 2017-08-01 柯尼卡美能达株式会社 器官图像拍摄装置以及程序
CN107316307A (zh) * 2017-06-27 2017-11-03 北京工业大学 一种基于深度卷积神经网络的中医舌图像自动分割方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187790B2 (en) * 2002-12-18 2007-03-06 Ge Medical Systems Global Technology Company, Llc Data processing and feedback method and system
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
JP2009087072A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp トレーニング支援装置、トレーニング支援システム、及びプログラム
CN101673340A (zh) * 2009-08-13 2010-03-17 重庆大学 综合多方向多尺度与bp神经网络的人耳识别方法
FR2962834A1 (fr) * 2010-07-13 2012-01-20 Commissariat Energie Atomique Procede de detection d'une cible dans les images stereoscopiques par apprentissage et classification statistique a partir d'une loi de probabilite.
CN102208099A (zh) * 2011-05-30 2011-10-05 华中科技大学 一种抗光照变化的作物彩色图像分割方法
CN103971126B (zh) * 2014-05-12 2017-08-08 百度在线网络技术（北京）有限公司 一种交通标志识别方法和装置
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
CN105455781A (zh) * 2015-11-17 2016-04-06 努比亚技术有限公司 信息处理方法及电子设备
CN105748046B (zh) * 2016-02-05 2018-10-12 福建农林大学 基于红外热像图的温度信息监测方法及其系统
KR101809819B1 (ko) * 2016-02-23 2017-12-18 정종율 혀 이미지를 기반으로 한 설진 방법 및 시스템
CN106295139B (zh) 2016-07-29 2019-04-02 汤一平 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN206403755U (zh) * 2016-11-14 2017-08-15 福建北极光虚拟视觉展示科技有限公司 一种基于图像识别技术的舌像检测装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006149679A (ja) * 2004-11-29 2006-06-15 Konica Minolta Holdings Inc 健康度判定方法、装置、及びプログラム
CN203970354U (zh) * 2014-01-17 2014-12-03 厦门强本科技有限公司 一种基于移动终端的中医舌象分析系统
CN106999045A (zh) * 2014-11-12 2017-08-01 柯尼卡美能达株式会社 器官图像拍摄装置以及程序
CN205625892U (zh) * 2016-02-26 2016-10-12 新绎健康科技有限公司 诊疗装置及诊疗系统
CN106725341A (zh) * 2017-01-09 2017-05-31 燕山大学 一种增强型舌诊系统
CN107316307A (zh) * 2017-06-27 2017-11-03 北京工业大学 一种基于深度卷积神经网络的中医舌图像自动分割方法

Also Published As

Publication number Publication date
CN108553081A (zh) 2018-09-21
US20190200918A1 (en) 2019-07-04
US11471095B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
CN108553081B (zh) 一种基于舌苔图像的诊断系统
CN107967946B (zh) 基于深度学习的胃镜操作实时辅助系统及方法
KR102200526B1 (ko) 개방형 api 기반 의료 정보 제공 방법 및 시스템
CN109190540B (zh) 活检区域预测方法、图像识别方法、装置和存储介质
US11138726B2 (en) Method, client, server and system for detecting tongue image, and tongue imager
CN109272483B (zh) 胶囊内镜阅片及质量控制的系统及控制方法
CN111937082B (zh) 远程牙科成像的引导方法和系统
WO2018217652A1 (en) Systems and methods for markerless tracking of subjects
CN111325745B (zh) 骨折区域分析方法和装置、电子设备及可读存储介质
CN109615633A (zh) 一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法
US20140233788A1 (en) System, method, and software for optical device recognition association
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
JP2022137109A (ja) 画像表示システム、及び画像表示方法
CN108717872A (zh) 基于面部、手部识别和大数据的健康分析方法及系统
CN108968892B (zh) 一种肠镜下盲区监测的系统及方法
CN109330559B (zh) 皮质醇含量的测评方法、装置、计算机设备及计算机存储介质
CN111048202A (zh) 一种智能化中医诊断系统及其方法
CN110837748A (zh) 远程步态采集分析系统
CN112735565B (zh) 检测结果获取方法、电子设备及服务器
JP2022000623A (ja) カラーチャート
Albuquerque et al. Remote Pathological Gait Classification System
US11049242B2 (en) Portable and rapid screening in vitro detection system
US11423534B2 (en) System and method for diagnosing potential diseases from photo and video data and informing the user
CN111210438A (zh) 镜子
KR20190123141A (ko) 질병 진단 분석 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant