CN114446463A - 计算机可读取存储介质、基于深度学习的舌诊方法及装置 - Google Patents

计算机可读取存储介质、基于深度学习的舌诊方法及装置 Download PDF

Info

Publication number
CN114446463A
CN114446463A CN202011187504.0A CN202011187504A CN114446463A CN 114446463 A CN114446463 A CN 114446463A CN 202011187504 A CN202011187504 A CN 202011187504A CN 114446463 A CN114446463 A CN 114446463A
Authority
CN
China
Prior art keywords
convolutional neural
tongue
deep learning
neural network
tongue diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011187504.0A
Other languages
English (en)
Inventor
顏士净
陈文鋕
邱显栋
叶士诚
林钰锦
李宸绫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202011187504.0A priority Critical patent/CN114446463A/zh
Priority to US17/099,961 priority patent/US20220138456A1/en
Priority to TW110133841A priority patent/TWI806152B/zh
Priority to US17/510,541 priority patent/US20220138941A1/en
Publication of CN114446463A publication Critical patent/CN114446463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)

Abstract

本发明涉及一种计算机可读取存储介质、基于深度学习的舌诊方法及装置，其中该基于深度学习的舌诊方法由平板计算机的处理单元执行，包含：通过平板计算机上的摄像头获取拍摄照片；将拍摄照片输入卷积神经网络以获取关联于拍摄照片中的舌头的多个类型的分类结果；以及在平板计算机的显示屏上显示舌诊应用程序的画面，其中包含多个类型的分类结果。通过如上所述的卷积神经网络的分类可侦测出与颜色较低相关的舌头特征。

Description

计算机可读取存储介质、基于深度学习的舌诊方法及装置
技术领域
本发明涉及智能疾病诊断，尤指一种计算机可读取存储介质、基于深度学习的舌诊方法及装置。
背景技术
舌诊是一种通过目视检查舌头和其各种表现的疾病和病征的诊断方法，舌头提供反映体内器官状态的重要线索。就像中医的其他诊断方法，舌诊是以“外在反映内在”的原则为基础，外在的构造通常反映内在的构造，并且能够提供我们内部失和的重要信号。传统上，图像辨识方法常用于完成计算机化舌诊，然而，这只能辨识出与颜色相关的有限舌头特征。因此，本发明提出一种计算机可读取存储介质、基于深度学习的舌诊方法及装置，用于辨认出较图像辨识方法更多的舌头特征。
发明内容
有鉴于此，如何减轻或消除上述相关领域的缺陷，实为有待解决的问题。
本发明涉及一种基于深度学习的舌诊方法，由平板计算机的处理单元执行，包含：通过平板计算机上的摄像头获取拍摄照片；将拍摄照片输入卷积神经网络以获取关联于拍摄照片中的舌头的多个类型的分类结果；以及在平板计算机的显示屏上显示舌诊应用程序的画面，其中包含多个类型的分类结果。
本发明还涉及一种计算机可读取存储介质，用于存储能够被平板计算机的处理单元加载并执行的程序代码，并且所述程序代码被所述处理单元执行时实现如上所述的基于深度学习的舌诊方法。
本发明还涉及一种基于深度学习的舌诊装置，包含摄像头、显示屏和处理单元。处理单元耦接摄像头和显示屏，用于通过摄像头获取拍摄照片；将拍摄照片输入卷积神经网络以获取关联于拍摄照片中的舌头的多个类型的分类结果；以及在显示屏上显示舌诊应用程序的画面，其中包含所述多个类型的分类结果。
可靠命令指示闪存模块使用单层式单元模式来存取数据。
上述实施例的优点之一，通过以上所述动态地获取连接闪存模块所定义的可靠命令的操作码的机制，可让闪存控制器更有弹性的适配新生产厂商或新技术时代的闪存模块。
本发明的其他优点将配合以下的说明和附图进行更详细的解说。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为依据本发明实施例的电子装置的两阶段示意图。
图2为依据本发明实施例的舌诊示意图。
图3为依据本发明实施例的舌诊应用程序的画面示意图。
图4为依据本发明实施例的训练装置和平板计算机的硬件架构图。
图5和图6为依据本发明实施例的深度学习的方法流程图。
图7和图8为依据本发明实施例的基于深度学习的舌诊方法的流程图。
其中，附图中符号的简单说明如下：
110：训练装置；120：训练图像；130：舌诊模型；140：平板计算机；150：拍摄照片；30：舌诊应用程序的画面；310：预览窗口；320：存储按钮；330：离开按钮；340：结果窗口；350：类型名称提示；360：分类结果；410：处理单元；420：显示单元；430：输入设备；440：存储装置；450：存储器；460：通信接口；S510～S550：方法步骤；S610～S670：方法步骤；S710～S730：方法步骤；S810～S860：方法步骤。
具体实施方式
以下将配合相关附图来说明本发明的实施例。在这些附图中，相同的标号表示相同或类似的组件或方法流程。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，是用于表示存在特定的技术特征、数值、方法步骤、作业处理、组件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、组件，或以上的任意组合。
本发明中使用如“第一”、“第二”、“第三”等词是用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
必须了解的是，当组件描述为“连接”或“耦接”至另一组件时，可以是直接连结、或耦接至其他组件，可能出现中间组件。相反地，当组件描述为“直接连接”或“直接耦接”至另一组件时，其中不存在任何中间组件。用于描述组件之间关系的其他词语也可以类似方式解读，例如“介于”相对于“直接介于”，或者“邻接”相对于“直接邻接”等等。
为了克服图像辨识算法的缺点，本发明的实施例提出以深度学习为基础的舌诊方法，分为三个阶段：训练阶段、验证阶段和实时判断阶段。参考图1，在训练阶段，训练装置110接收多个包含舌头的图像120(又可称为训练图像)，以及每个图像在多个类型项目上的卷标。虽然图1的图像120是灰阶图片，但这只是作为示例说明，所属技术领域人员可输入高分辨率的全彩图像作为训练的来源。类型项目可包含“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齿痕舌”、“朱点”、“瘀点”及“裂纹舌”。的工程师可操作训练装置110的人机界面(ManMachine Interface，MMI)，针对每个图像120为每个类型加上标签(Tag)。例如，针对舌色类型，可标记为“淡红”、“红”、“淡白”或“紫暗”。针对舌型类型，可标记为“中等”、“胖大”、“歪斜”或“瘦薄”。针对苔色类型，可标记为“白”、“黄”或“灰”。针对舌苔类型，可标记为“薄苔”、“厚苔”、“腻苔”或“剥苔”。针对津液类型，可标记为“平”、“多”或“少”。针对齿痕舌类型，可标记为“是”或“否”。针对朱点类型，可标记为“是”或“否”。针对瘀点类型，可标记为“是”或“否”。针对裂纹舌类型，可标记为“是”或“否”。每个图像120及其在每个类型上的标签会以特定数据结构存储在训练装置110中的非易失性存储装置。接着，训练装置110中的处理单元加载并执行相关程序代码，用于依据图像120及其在每个类型上的标签进行深度学习(Deep Learning)，并且深度学习后产生的舌诊模型130会进一步接受验证。
在验证阶段，训练装置110接收多个包含舌头的图像125(又可称为验证图像)，每个图像在多个类型项目上的卷标，以及验证图像125的答案。接着，将验证图像125输入到已经训练好的舌诊模型130，用以将验证图像150经过适当的图像前处理后，在不同类型上分类。训练装置110可比较验证图像150的答案和舌诊模型130的分类结果，依据结果判断舌诊模型130的准确度是否通过验证。如果通过验证，则将舌诊模型130提供给平板计算机140；否则，调整深度学习的参数后重新训练。
参考图2，在实时判断阶段，医师可拿起平板计算机140对准就诊者拍照。平板计算机所执行的舌诊应用程序可将拍摄照片150输入到已经验证过的舌诊模型130，用以将拍摄照片150经过适当的图像前处理后，在不同类型上分类。平板计算机140上的屏幕会显示出每个类型的分类结果，接着，医师根据显示结果对就诊者做更深入的询问及诊断。
参考图3，舌诊应用程序的画面30包含预览窗口310、按钮320和330、结果窗口340、类型名称提示350和分类结果360。预览窗口310显示平板计算机上的相机所拍摄到的就诊者的照片。类型名称提示350，例如包含“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齿痕舌”、“朱点”、“瘀点”及“裂纹舌”，并且在类型名称提示250的下方显示其分类结果360。结果窗口340还显示分类结果360的综合分析的文字描述。当按下“存储”按钮320时，舌诊应用程序将拍摄照片150和分类结果360以指定数据结构存储到存储装置。当按下“离开”按钮330时，结束舌诊应用程序。
图4系依据本发明实施例的运算装置的系统架构图。此系统架构可实施于训练装置110和平板计算机140中之任一者，至少包含处理单元410。处理单元410可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单处理器、具并行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行程序码或软件时，提供之后所描述的功能。系统架构另包含存储器450及存储装置440，存储器450存储程序代码执行过程中需要的数据，例如，待分析的图像、变量、数据表(Data Tables)、舌诊模型130等，存储装置440可以是硬盘、固态硬盘、闪存记忆碟等，用于存储各式各样的电子文件，例如图像120及其在每个类型上的卷标、舌诊模型130、拍摄照片150和其分类结果360等。系统架构另包含通信接口460，让处理单元410可藉以跟其他电子装置进行通信。通信接口460可以是无线电信通信模块(Wireless Telecommunications Module)、局部网络(Local Area Network,LAN)通信模块或无线局部网络通信模块(WLAN)。无线电信通信模块(Wireless TelecommunicationsModule)可包含支持2G、3G、4G、5G或以上技术世代的任意组合的调变解调器(Modem)。输入设备430可包含键盘、鼠标、触控显示屏等。用户(例如，医师、就诊者或工程师)可按压键盘上的硬键来输入字符，通过操作鼠标来控制鼠标，或者是在触控显示屏制造手势来控制执行中的应用程序。手势可包含单击、双击、单指拖曳、多指拖曳等，但不限定于此。系统架构包含显示单元420，而显示单元420包含显示显示屏(例如，薄膜液晶显示屏、有机发光二极管显示屏或其他具显示能力的显示屏)，用以显示输入的字符、数字、符号、拖曳鼠目标移动轨迹或应用程序所提供的画面，提供给使用者观看。
在平板计算机140中，输入设备430还可包含摄像头，用于感测特定焦距上的R、G、B光线强度，并依据感测到的值产生就诊者的拍摄照片150。平板计算机140的一面上可设置显示显示屏，用于显示舌诊应用程序的画面30，并且在另一面上设置摄像头。
在训练阶段的一些实施例中，深度学习的结果(也就是舌诊模型130)可为卷积神经网络(Convolutional Neural Network，CNN)。卷积神经网络是一种简化人工神经网络(Artificial Neural Network，ANN)的架构，把一些在图像处理中实际上用不到的参数给过滤掉，使得相较于深度神经网络(Deep Neural Network，DNN)使用较少的参数来处理，提升训练的效率。卷积神经网络由多个卷积层(Convolution Layers)、池化层(PoolingLayers)和关联权重，以及顶端的全连接层(Fully Connected Layers)组成。
在一些建构舌诊模型130的实施例中，可将多个训练图像120及其所有类型的标签输入到深度学习算法，用于产生可以辨认拍摄照片150的全局侦测卷积神经网络(Full-detection CNN)。参考图5所示由训练装置110中的处理单元410于加载并执行相关程序代码时所执行的深度学习方法，详细说明如下：
步骤S510：搜集多个训练图像120，其中每个训练图像还具有多个分类的标签。例如，一训练图像携带9个类型的标签为{“淡白”，“中等”，“白”，“薄苔”，“平”，“否”，“是”，“否”，“是”}。
步骤S520：设定变量j＝1。
步骤S531：依据训练图像120的多个分类的标签对搜集到的训练图像进行第j次的卷积运算(Convolution)，用于产生卷积层(Convolution Layers)和关联权重。
步骤S533：对卷积运算的结果进行第j次的最大池化运算(Max Pooling)，用于产生池化层(Pooling Layers)和关联权重。
步骤S535：判断变量j是否等于MAX(j)。如果是，流程继续进行步骤S541的处理；否则，流程继续进行步骤S537的处理。MAX(j)是一个默认的常数，用于表示卷积运算和最大池化运算的执行次数。
步骤S537：设定变量j为j+1。
步骤S539：对最大池化的运算结果进行第j次的卷积运算，用于产生卷积层和关联权重。
换句话说，步骤S533至S539形成一个执行MAX(j)次的循环。
步骤S550：将之前的运算结果(例如，卷积层、池化层、关联权重等)平化展开(Flatten)以产生全局侦测卷积神经网络。举例来说，全局侦测卷积神经网络能够从一张拍摄照片辨认出上述9个类型中的每一个的分类结果。
在另一些建构舌诊模型130的实施例中，可产生多个具有辨认拍摄照片150的特定类型的局部侦测卷积神经网络(Partial-detection CNN)。参考图6所示由训练装置110中的处理单元410于加载并执行相关程序代码时所执行的深度学习方法，详细说明如下：
步骤S610：设定变量i＝1。
步骤S620：搜集多个训练图像120，其中每个训练图像还具有第i类的标签。
步骤S630：设定变量j＝1。
步骤S641：依据训练图像120的第i类的标签对搜集到的训练图像120进行第j次的卷积运算，用于产生卷积层和关联权重。
步骤S643：对卷积运算的结果进行第j次的最大池化运算，用于产生池化层和关联权重。
步骤S645：判断变量j是否等于MAX(j)。如果是，流程继续进行步骤S650的处理；否则，流程继续进行步骤S647的处理。MAX(j)是一个默认的常数，用于表示卷积运算和最大池化运算的执行次数。
步骤S647：设定变量为j+1。
步骤S649：对最大池化的运算结果进行第j次的卷积运算，用于产生卷积层和关联权重。
步骤S650：将之前的运算结果(例如，卷积层、池化层、关联权重等)平化展开以产生第i类的局部侦测卷积神经网络。第i类的局部侦测卷积神经网络只能够从拍摄照片辨认出第i类的分类结果。
步骤S660：判断变量i是否等于MAX(i)。如果是，结束整个流程；否则，流程继续进行步骤S670的处理。MAX(i)是一个默认的常数，用于表示所有类型的数目。
步骤S670：设定变量i为i+1。
换句话说，步骤S620至S670形成一个执行MAX(i)次的外循环，而步骤S533至S539形成一个执行MAX(j)次的内循环。
处理单元410可执行所属技术领域人员已知的卷积算法来完成步骤S531、S539、S641和S649，可执行已知的最大池化算法来完成步骤S533和S643，还可执行已知的平化展开算法来完成步骤S550和S650，为求简明，不再赘述。
在实时判断阶段中，如果平板计算机140的存储装置440存储的是使用图5的方法所产生的全局侦测卷积神经网络，则平板计算机140中的处理单元410于加载并执行相关程序代码时可执行如图7所示的基于深度学习的舌诊方法，详细说明如下：
步骤S710：获取拍摄照片150。
步骤S720：将拍摄照片150输入全局侦测卷积神经网络以获取所有类型的分类结果。例如9个类型的分类为{“淡红”，“中等”，“白”，“薄苔”，“平”，“否”，“否”，“否”，“否”}。
步骤S730：依据分类结果更新舌诊应用程序的画面30中的分类结果360。
在实时判断阶段中，如果平板计算机140的存储装置440存储的是使用图6的方法所产生的多个局部侦测卷积神经网络，则平板计算机140中的处理单元410于加载并执行相关程序代码时可执行如图8所示的基于深度学习的舌诊方法，详细说明如下：
步骤S810：获取拍摄照片150。
步骤S820：设定变量i＝1。
步骤S830：将拍摄照片150输入第i类的局部侦测卷积神经网络以获取第i类的分类结果。
步骤S840：判断变量i是否等于MAX(i)。如果是，流程继续进行步骤S860的处理；否则，流程继续进行步骤S850的处理。MAX(i)是一个默认的常数，用于表示所有类型的数目。
步骤S850：设定变量i为i+1。
步骤S860：依据分类结果更新舌诊应用程序的画面30中的分类结果360。
由于训练和验证的样本数目会影响深度学习的正确率和学习时间，在一些实施例中，针对每个局部侦测卷积神经网络中的每个分类结果，训练图像120、验证图像125和测试相片的数目比例可设为17:2:1。
本发明所述的方法中的全部或部分步骤可以由计算机程序实现，例如特定程序语言的程序代码等。此外，也可实现于如上所示的其他类型程序。所属技术领域中的技术人员可将本发明实施例的方法撰写成程序代码，为求简明不再加以描述。依据本发明实施例方法实施的计算机程序可存储于适当的计算机可读取存储介质，例如DVD、CD-ROM、U盘、硬盘，也可置于可通过网络(例如，互联网，或其他适当介质)存取的网络服务器。
虽然图4中包含了以上描述的组件，但不排除在不违反发明的精神下，使用更多其他的附加组件，以达成更佳的技术效果。此外，虽然图5至图8的流程图采用指定的顺序来执行，但是在不违反发明精神的情况下，所属技术领域的技术人员可以在达到相同效果的前提下，修改这些步骤之间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。此外，所属技术领域的技术人员也可以将若干步骤整合为一个步骤，或者是除了这些步骤外，循序或并行地执行更多步骤，本发明也不应因此而局限。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (10)

1.一种基于深度学习的舌诊方法，由平板计算机的处理单元执行，其特征在于，所述基于深度学习的舌诊方法包含：
通过所述平板计算机上的摄像头获取拍摄照片；
将所述拍摄照片输入卷积神经网络以获取关联于所述拍摄照片中的舌头的多个类型的分类结果；以及
在所述平板计算机的显示屏上显示舌诊应用程序的画面，其中，所述画面包含所述多个类型的分类结果。
2.如权利要求1所述的基于深度学习的舌诊方法，其特征在于，所述卷积神经网络包含多个局部侦测卷积神经网络，所述局部侦测卷积神经网络的数目等于所述类型的数目，所述基于深度学习的舌诊方法包含：
将所述拍摄照片输入每个所述局部侦测卷积神经网络以获取相应一个所述类型的分类结果。
3.如权利要求1所述的基于深度学习的舌诊方法，其特征在于，所述多个类型包含舌色、舌型、苔色、舌苔、津液、齿痕舌、朱点、瘀点及裂纹舌。
4.一种计算机可读取存储介质，用于存储能够被平板计算机的处理单元执行的程序代码，其特征在于，所述程序代码被所述处理单元执行时实现如权利要求1至3中任一项所述的基于深度学习的舌诊方法。
5.一种基于深度学习的舌诊装置，其特征在于，包含：
摄像头；
显示屏；以及
处理单元，耦接所述摄像头和所述显示屏，用于通过所述摄像头获取拍摄照片；将所述拍摄照片输入卷积神经网络以获取关联于所述拍摄照片中的舌头的多个类型的分类结果；以及在所述显示屏上显示舌诊应用程序的画面，其中，所述画面包含所述多个类型的分类结果。
6.如权利要求5所述的基于深度学习的舌诊装置，其特征在于，所述画面包含预览窗口，用于显示所述拍摄照片。
7.如权利要求5所述的基于深度学习的舌诊装置，其特征在于，所述卷积神经网络包含一个全局侦测卷积神经网络，所述处理单元将所述拍摄照片输入所述全局侦测卷积神经网络以获取所述多个类型的分类结果。
8.如权利要求5所述的基于深度学习的舌诊装置，其特征在于，所述卷积神经网络包含多个局部侦测卷积神经网络，所述局部侦测卷积神经网络的数目等于所述类型的数目，所述处理单元将所述拍摄照片输入每个所述局部侦测卷积神经网络以获取相应一个所述类型的分类结果。
9.如权利要求8所述的基于深度学习的舌诊装置，其特征在于，相应于第i类的所述局部侦测卷积神经网络的产生包含以下步骤：
依据多个训练图像的第i类的标签针对所述多个训练图像进行多次的卷积运算和池化运算以产生多个卷积层、多个池化层和多个关联权重；
将所述多个卷积层、所述多个池化层和所述多个关联权重平化展开以产生相应于所述第i类的待验证局部侦测卷积神经网络；
依据所述待验证局部侦测卷积神经网对多个验证图像的所述第i类的分类结果判断所述待验证局部侦测卷积神经网是否通过验证；以及
当所述待验证局部侦测卷积神经网通过验证时，产生相应于所述第i类的所述局部侦测卷积神经网络。
10.如权利要求9所述的基于深度学习的舌诊装置，其特征在于，所述训练图像的数目和所述验证图像的数目的比例为17:2。
CN202011187504.0A 2020-10-30 2020-10-30 计算机可读取存储介质、基于深度学习的舌诊方法及装置 Pending CN114446463A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011187504.0A CN114446463A (zh) 2020-10-30 2020-10-30 计算机可读取存储介质、基于深度学习的舌诊方法及装置
US17/099,961 US20220138456A1 (en) 2020-10-30 2020-11-17 Method and computer program product and apparatus for diagnosing tongues based on deep learning
TW110133841A TWI806152B (zh) 2020-10-30 2021-09-10 基於深度學習的遠端舌診方法及電腦程式產品以及裝置
US17/510,541 US20220138941A1 (en) 2020-10-30 2021-10-26 Method and computer program product and apparatus for remotely diagnosing tongues based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187504.0A CN114446463A (zh) 2020-10-30 2020-10-30 计算机可读取存储介质、基于深度学习的舌诊方法及装置

Publications (1)

Publication Number Publication Date
CN114446463A true CN114446463A (zh) 2022-05-06

Family

ID=81357024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187504.0A Pending CN114446463A (zh) 2020-10-30 2020-10-30 计算机可读取存储介质、基于深度学习的舌诊方法及装置

Country Status (3)

Country Link
US (1) US20220138456A1 (zh)
CN (1) CN114446463A (zh)
TW (1) TWI806152B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605692B1 (ko) * 2020-11-16 2023-11-27 한국전자통신연구원 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
CN115147372B (zh) * 2022-07-04 2024-05-03 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及系统
TWI811013B (zh) * 2022-07-12 2023-08-01 林義雄 醫療決策修正方法
CN116186271B (zh) * 2023-04-19 2023-07-25 北京亚信数据有限公司 一种医疗专业名词分类模型训练方法、分类方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139B (zh) * 2016-07-29 2019-04-02 汤一平 一种基于深度卷积神经网络的舌体自诊健康云服务系统
TW201905934A (zh) * 2017-06-20 2019-02-01 蘇志民 協助醫師問診的系統及方法
CN109461154A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 一种舌象检测方法、装置、客户端、服务器及系统
TW202107485A (zh) * 2019-08-12 2021-02-16 林柏諺 從舌頭分析身體狀況的方法

Also Published As

Publication number Publication date
TWI806152B (zh) 2023-06-21
TW202217843A (zh) 2022-05-01
US20220138456A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN114446463A (zh) 计算机可读取存储介质、基于深度学习的舌诊方法及装置
CN114502061B (zh) 使用深度学习的基于图像的自动皮肤诊断
US11033251B2 (en) Systems and methods for ultrasound imaging
US10991093B2 (en) Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN110210286B (zh) 基于眼底图像的异常识别方法、装置、设备及存储介质
US8923580B2 (en) Smart PACS workflow systems and methods driven by explicit learning from users
TWI754806B (zh) 利用深度學習定位虹膜之裝置與方法
US9953425B2 (en) Learning image categorization using related attributes
US9536293B2 (en) Image assessment using deep convolutional neural networks
US9152760B2 (en) Smart 3D PACS workflow by learning
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
Lin et al. AANet: Adaptive attention network for COVID-19 detection from chest X-ray images
JP2021502627A (ja) 深層ニューラルネットワークを用いた画像処理システム及び処理方法
JP2020008896A (ja) 画像識別装置、画像識別方法及びプログラム
US20220198214A1 (en) Image recognition method and device based on deep convolutional neural network
US11380138B2 (en) Device and method for touchless palm print acquisition
JPWO2020113326A5 (zh)
Zahra et al. Camera-based interactive wall display using hand gesture recognition
CN110705714B (zh) 深度学习模型检测方法、深度学习平台以及计算机设备
TWI744064B (zh) 基於深度學習的舌診方法及電腦程式產品以及裝置
Suman et al. Automated detection of Hypertensive Retinopathy using few-shot learning
CN117836870A (zh) 用于实时处理医学图像的系统和方法
CN113362334B (zh) 一种舌照处理方法及装置
US20220138941A1 (en) Method and computer program product and apparatus for remotely diagnosing tongues based on deep learning
Alvino Rock et al. Computer Aided Skin Disease (CASD) classification using machine learning techniques for iOS platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination