CN116324885A - 用于检测胃肠道疾病的系统和方法 - Google Patents

用于检测胃肠道疾病的系统和方法 Download PDF

Info

Publication number
CN116324885A
CN116324885A CN202180068342.5A CN202180068342A CN116324885A CN 116324885 A CN116324885 A CN 116324885A CN 202180068342 A CN202180068342 A CN 202180068342A CN 116324885 A CN116324885 A CN 116324885A
Authority
CN
China
Prior art keywords
images
subject
image
representations
tongue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180068342.5A
Other languages
English (en)
Inventor
阿萨夫·戈兰
大卫·雷尼斯
阿里尔·希夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jubang Co ltd
Original Assignee
Jubang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jubang Co ltd filed Critical Jubang Co ltd
Publication of CN116324885A publication Critical patent/CN116324885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

一种系统包括至少一个硬件处理器和其上存储有程序代码的非暂时性计算机可读存储介质，程序代码可由至少一个硬件处理器执行以：接收n个图像，每个图像描绘受试者的舌头；预处理该n个图像，从而获得n’个图像，其中，预处理包括图像选择和图像调整中的一种；使用至少一个特征增强算法来产生n’个图像中每个图像的m个表示；通过对n’*m个表示应用机器学习算法来将n’*m个表示分类到类别中，其中，类别至少包括胃肠道疾病阳性和胃肠道疾病阴性；以及当n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。

Description

用于检测胃肠道疾病的系统和方法
发明领域
本发明在其一些实施例中涉及舌诊，并且更具体地，但不排他地，涉及检测胃肠道疾病(gastrointestinal disorders)。
背景
舌诊是传统中医常用的诊断手段。对受试者舌头的观察使得医生能够诊断受试者的症状和/或病变。由医生观察舌头的一些特征是形状、颜色、纹理(texture)、几何结构和形态。通过观察这些特征，医生能够以非侵入性的方式检测受试者的病变。
当前，检测下胃肠道病变的常用方法包括粪便愈创木脂试验(stool guaiactest)；粪便隐血试验(FOBT)和粪便免疫化学试验(FIT)。
FIT使用特定的抗体来检测粪便中的人血，与诸如定性愈创木脂粪便隐血试验(FOBT)等其他类型的粪便试验相比，它对于胃肠道病变更具确定性。由于饮食(例如，红肉)或某些药物可能导致消化系统中其他类型的血液，愈创木脂试验经常会导致假阳性结果。FIT比FOBT更敏感、更特异。
FOBT或FIT的敏感度通常在40％和70％之间。然而，通常建议在连续三天的过程中使用FOBT或FIT对受试者进行三次试验，以提高结果的敏感度。每个试剂盒的成本通常在7美元和35美元之间，且每次试验的实验室分析结果需要大约两周才能接收到。
当前，检测上胃肠道病变的常见手术包括胃镜检查，胃镜检查涉及通过内窥镜将视觉辅助装置插入胃肠道。为了识别上胃肠道出血或上胃肠道的其他病变，受试者因此经历侵入性手术。这样的手术的准备工作包括在手术前六到八小时内避免食物和液体。
相关技术的前述示例和与其相关的限制旨在说明性的而非排他性的。通过阅读说明书和研究附图，相关技术的其他限制对于本领域技术人员来说将变得明显。
概述
描述和示出了关于系统、工具和方法的以下实施例及其各方面，这些实施例和方面是示例性和说明性的，而不是范围上的限制。
根据本发明的一些实施例，提供了一种系统，该系统包括至少一个硬件处理器和非暂时性计算机可读存储介质，在该非暂时性计算机可读存储介质上存储有程序代码，该程序代码可由该至少一个硬件处理执行以：接收n个图像，每个图像描绘受试者的舌头；预处理该n个图像，从而获得n’个图像，其中该预处理包括图像选择和图像调整中的一种；使用至少一个特征增强算法来产生该n’个图像中每个图像的m个表示(presentation)；通过对n’*m个表示(或换句话说，n’个图像的m个表示)应用机器学习算法来对该n’*m个表示进行分类，其中，类别至少包括胃肠道疾病阳性和胃肠道疾病阴性；以及当n’*m个表示中至少预定比例/百分比(predetermined fraction/percentage)的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。
根据本发明的一些实施例，提供了一种计算机程序产品，该计算机程序产品包括非暂时性计算机可读存储介质，在该非暂时性计算机可读存储介质上体现有程序代码，该程序代码可由该至少一个硬件处理执行以：接收n个图像，每个图像描绘受试者的舌头或舌头的一部分；预处理该n个图像，从而获得n’个图像，其中该预处理包括图像选择和图像调整中的一种；使用至少一个特征增强算法产生该n’个图像中每个图像的m个表示；通过对n’*m个表示应用机器学习算法来将该n’个图像分类到至少两个类别中，其中，该至少两个类别包括胃肠道疾病阳性和胃肠道疾病阴性；以及当n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。
根据一些实施例，图像选择包括移动检测，其中，在移动期间捕获的图像被分配一个或更多个运动向量，随后将其中向量超过预定阈值的所检测到的图像拣出。根据一些实施例，图像调整包括对该n’个图像的对比度、亮度、色阶(level)、色调、锐度和饱和度中的一个或更多个进行调整。
根据一些实施例，程序代码可执行以至少部分地基于被分类为胃肠道疾病阳性的n’*m个表示进一步将受试者细分到结肠相关病变和胃相关病变中的一个或更多个子分类中。根据一些实施例，子分类还包括结肠特异性病变的两个或更多个子类别。根据一些实施例，结肠特异性病变的两个或更多个子类别选自：结肠直肠癌(CRC)、息肉、不同类型的息肉和涉及下肠道的炎症性肠病(IBD)。
根据一些实施例，结肠特异性病变的子类别选自：腺瘤性息肉、增生性息肉、锯齿状息肉、炎症性息肉、绒毛状腺瘤息肉和复杂息肉。根据一些实施例，子分类还包括上胃肠道特异性病变的两个或更多个子类别。根据一些实施例，上胃肠道特异性病变的两个或更多个子类别选自：胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。
根据一些实施例，子分类包括与疾病的恶性水平相关联的分数。根据一些实施例，子分类包括与受试者因一种或更多种病变发展为恶性肿瘤的潜在机会相对应的分数。根据一些实施例，该m个表示还可以包括受试者的所描绘的舌头的三维表示。
根据一些实施例，程序被配置成从多个不同类型的图像捕获设备接收n个图像。根据一些实施例，该程序可执行以标准化接收到的图像。根据一些实施例，硬件处理器可以耦合到至少一个图像捕获设备，并且程序代码可执行以实时识别受试者的舌头。根据一些实施例，程序代码可执行以捕获n个图像。
根据一些实施例，提供了一种系统，该系统包括至少一个硬件处理器和非暂时性计算机可读存储介质，在该非暂时性计算机可读存储介质上存储有程序代码，该程序代码可由该至少一个硬件处理器执行以：接收n个图像，每个图像描绘受试者的舌头(或舌头的一部分)；预处理该n个图像，从而获得n’个图像，其中该预处理包括图像选择和图像调整中的至少一种；使用至少一个特征增强和/或提取算法产生该n’个图像中每个图像的m个表示；至少部分地基于该n’*m个表示，通过对该n’*m个表示和可选地对患者的附加数据应用机器学习算法，对受试者进行分类，其中类别至少包括胃肠道疾病阳性和胃肠道疾病阴性，以及当n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。根据一些实施例，患者的该附加数据可以包括例如受试者的血压、心率、呼吸频率、年龄、性别、饮食习惯、种族背景和吸烟习惯中的一项或更多项。
在一些实施例，图像选择包括运动检测，其中，在移动期间捕获的图像被分配一个或更多个运动向量，随后将其中向量超过预定阈值的所检测到的图像拣出。在一些实施例，图像调整包括对该n’个图像和/或n’*m个表示的对比度、亮度、纹理、色阶、色调和饱和度中的一个或更多个进行调整。在一些实施例中，图像调整包括根据n个图像中的部分或全部创建附加图像，例如高动态范围(HDR)成像。
在一些实施例中，程序代码可执行以至少部分地基于被分类为胃肠道疾病阳性的n’*m个表示进一步将受试者细分到结肠相关病变和胃相关病变中的一个或更多个子分类中。在一些实施例中，子分类还包括结肠特异性病变的两个或更多个子类别。在一些实施例中，结肠特异性病变的两个或更多个子类别选自：结肠直肠癌(CRC)、息肉和炎症性肠病(IBD)。在一些实施例中，子分类还包括胃特异性病变的两个或更多个子类别。在一些实施例中，胃特异性病变的两个或更多个子类别选自：胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。
在一些实施例中，该m个表示包括受试者的所描绘的舌头的三维表示。在一些实施例中，程序被配置成从多个不同类型的图像捕获设备接收n个图像。在一些实施例中，该程序可执行以标准化接收到的图像。在一些实施例中，该m个表示包括原始n个图像中的至少一个(或者换句话说，所捕获的n个图像中的至少一个)。在一些实施例中，该m个表示可以是图像。在一些实施例中，该m个表示可以包括一种或更多种图像格式的文件。
在一些实施例中，硬件处理器可耦合到至少一个图像捕获设备，并且程序代码可执行以实时识别受试者的舌头。在一些实施例中，程序代码可执行以捕获n个图像。
除了上述示例性方面和实施例之外，通过参考附图和通过研究以下详细描述，另外的方面和实施例将变得明显。
附图简述
示例性实施例在参考附图中被示出。附图中所示的部件和特征的尺寸是为了表示的方便和清楚而大致选择的，并且不一定按比例示出。下面列出了这些附图。
图1是根据本发明的一些实施例的用于检测胃肠道疾病的系统的示意性简图；
图2是根据本发明的一些实施例的用于检测胃肠道疾病的过程中的功能步骤的流程图；
图3是根据本发明的一些实施例的示例性分割图的正面示意图；以及
图4是根据本发明的一些实施例的用于检测胃肠道疾病的示例性图像捕获设备的透视图简图。
详细描述
根据本发明的一些实施例的方面，提供了一种用于基于受试者舌头的一个或更多个图像，使用图像处理、计算机视觉、色彩科学和/或深度学习来检测胃肠道疾病的系统和方法。
在一些实施例中，该系统包括至少一个硬件处理器和在其上存储有程序代码的存储模块。在一些实施例中，程序代码可由该至少一个硬件处理器执行以：接收n个图像，每个图像描绘受试者的舌头；以及预处理n个图像，从而获得n’个图像，其中预处理包括图像选择和图像调整中的至少一种。在一些实施例中，程序代码可执行以使用至少一个功能增强算法产生n’个图像中每个图像的m个表示，以及至少部分地基于n’*m个表示，通过对该n’*m个表示应用经训练的机器学习算法，对受试者进行分类。在一些实施例中，类别至少包括胃肠道疾病阳性和胃肠道疾病阴性。在一些实施例中，程序代码可执行以当n’*m个表示中至少预定百分比的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。
本文公开的系统和方法的潜在优点在于对胃肠道疾病的检测是基于受试者舌头的一个或更多个图像，且因此是非侵入性的。在一些实施例中，对胃肠道疾病的检测是自动的。在一些实施例中，实时分析该检测。在一些实施例中，用于检测胃肠道疾病的系统和方法以至少70％的敏感度和/或特异性检测病变。
在一些实施例中，用于检测胃肠道疾病的系统和方法包括使用通用或常用相机来获得舌头的图像，然后基于该图像来检测病变。在一些实施例中，该系统和方法可以由用户在家和/或在不拜访医生的情况下使用，例如，通过使用智能手机相机来捕获他们舌头的图像。在一些实施例中，用于检测胃肠道疾病的系统和方法在获得受试者舌头图像之前的一天或多天内不需要任何准备或特殊饮食。例外的是根据一些实施例，在获得图像之前应该防止食用具有色素/染料的食品和/或饮料，使得所食用产品的着色不会掩盖受试者舌头的自然颜色。
用于检测胃肠道疾病的系统和方法在获得受试者舌头图像之前的一天或多天内不需要任何准备或特殊饮食的潜在优点在于受试者不需要在检查之前的一天或多天内改变饮食习惯。例如，可以定期服用开给受试者的口服药物。
在一些实施例中，用于检测胃肠道疾病的系统和方法被配置成取代常用的检测试验，例如FOBT和FIT。在一些实施例中，用于检测胃肠道疾病的系统和方法识别与FOBT相关联的至少三种病变。
本公开提供了被训练来检测胃肠道疾病一个或更多个机器学习模型，该机器学习模型是通过使用具有被诊断的胃肠道疾病的受试者的舌头的标记图像来训练深度神经网络而开发的。在一些实施例中，与已知的分类技术相比，本机器学习模型提供了更高的预测准确度。在一些实施例中，本公开采用深度学习技术来生成用于早期预测胃肠道疾病的自动化的、准确的和标准化的机器学习模型。
在一些实施例中，本公开提供了至少部分基于训练数据来训练一个或更多个机器学习模型，该训练数据包括描绘受试者舌头的至少一部分的图像数据。在一些实施例中，图像数据包括以下中的至少一种：一个图像和一系列图像。在一些实施例中，图像数据包括以下中的至少一个：视频片段、运动向量片段(motion vector segment)和三维视频片段。在一些实施例中，图像数据包括受试者的舌头(或舌头的一部分)的(原始)捕获图像。在一些实施例中，图像数据包括受试者舌头的一个或更多个捕获图像的一个或更多个表示。在一些实施例中，表示可以是图像。在一些实施例中，表示可以包括一种或更多种图像格式的文件。
在一些实施例中，图像数据描绘了受试者的舌头和/或舌头的一部分。在一些实施例中，并且如本文其他地方更详细描述的，图像数据包括描绘以下中的至少一种的数据：图像数据被捕获的时间和相对于另一图像的捕获时间的、一个图像被捕获的相对时间。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，图像数据包括每个受试者和/或受试者舌头的n个图像。在一些实施例中，n个图像包括一个或更多个图像。在一些实施例中，n个图像包括多个图像。在一些实施例中，图像数据是使用诸如有源像素传感器或电荷耦合器件的图像传感器获得的。在一些实施例中，图像数据是使用RGB成像技术获得的。在一些实施例中，图像数据是使用数字拓扑技术获得的。在一些实施例中，图像数据可以使用不同的图像捕获装备来获取。在一些实施例中，图像数据是通过聚焦来自受试者的舌头的反射波长的全部或至少一部分获得的。在一些实施例中，波长范围在380nm到800nm之间。在一些实施例中，反射波长能够实现至少100mm的景深
根据一些实施例，并且如本文其他地方更详细描述的，图像数据是以对受试者舌头的指定光照(illumination)获得的。在一些实施例中，当以指定的光照来照射舌头时获得图像数据，使得以最佳的色彩保真度获得受试者的舌头。在一些实施例中，使用被配置成至少部分地生成指定光照的激光器和过滤器中的至少一个来照射舌头。在一些实施例中，该系统被配置成连续校准指定的光照。
根据一些实施例，指定的光照被配置成使得受试者舌头的颜色与所捕获的n个图像同色异谱地匹配(metamerically matched)。在一些实施例中，并且如本文其他地方更详细地描述的，该系统被配置成改变光照类型、光照光谱和/或光照元件的定位，以便维持受试者舌头的颜色与被捕获的n个图像之间的同色异谱匹配。
在一些实施例中，用于检测胃肠道疾病的系统被配置成接收、标准化和/或比较来自各种图像捕获设备的不同图像数据。在一些实施例中，图像数据由对应于n个图像的n’个图像的数据集表示。在一些实施例中，n’个图像的数据集是通过在预处理和图像处理分析中的至少一个中操纵n个图像而获得的。在一些实施例中，图像操纵包括以下中的至少一种：颜色还原、纹理增强、局部对比度增强、局部颜色对比度增强、几何特征增强、图像分割、图像颜色分割和运动检测。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，图像操纵包括以下中的至少一种：由图像描绘的舌头的三维表示、在图像捕获期间与舌头的移动相关联的运动或移动检测、以及使用n’个图像和/或n个图像中的一个或更多个生成视频。在一些实施例中，每种可能性都是单独的实施例。在一些实施例中，图像数据集包括被操纵的n’个图像。在一些实施例中，图像操纵包括考虑在图像捕获期间由舌头的运动引起的运动模糊、失真和/或数据复制。
在一些实施例中，用于检测胃肠道疾病的系统和方法被配置成使用经训练的机器学习模块基于图像数据集中的n’个图像的至少一部分来检测胃肠道疾病。在一些实施例中，机器学习模块是基于与患有一种或更多种被诊断的胃肠道疾病的一个或更多个受试者的舌头相关联的n’个图像的图像数据集训练的。
在一些实施例中，机器学习模块被配置成接收图像数据中的n个图像和/或图像数据集中的n’个图像。在一些实施例中，机器学习模块被训练成将接收到的图像数据分类到与胃肠道疾病相关联的分类和/或子分类中。在一些实施例中，用于检测胃肠道疾病的系统和/或方法被配置成产生n’个图像中每个图像的m个表示。在一些实施例中，系统和/或方法被配置成产生n’个图像中至少一部分图像的m个表示。在一些实施例中，机器学习模块被配置成接收该m个表示。在一些实施例中，机器学习模块被训练以将接收到的m个表示分类到与胃肠道疾病相关联的分类和/或子分类中。
在一些实施例中，分类包括以下中的至少一种：下胃肠道病变阴性、下胃肠道病变阳性、上胃肠道相关病变阴性、以及上胃肠道相关病变阳性。在一些实施例中，子分类包括以下中的至少一个：结肠直肠癌(CRC)、息肉、炎症性肠病(IBD)、胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。在一些实施例中，每种可能性都是单独的实施例。
根据一些实施例，子分类包括病变类型，例如息肉类型。根据一些实施例，子分类包括以下中的至少一种：无蒂息肉(sessile polyps)和悬垂息肉(pendunculatedpolyps)。根据一些实施例，子分类包括癌性和/或非癌性息肉。根据一些实施例，子分类包括良性和/或恶性息肉。根据一些实施例，子分类包括以下中的一种或更多种：腺瘤性息肉、增生性息肉、锯齿状息肉、炎症性息肉和绒毛状腺瘤息肉以及复杂息肉。
根据一些实施例，子分类包括用与疾病的风险水平相关联的值对所识别的疾病进行排序。根据一些实施例，风险水平可以是死亡水平和/或手术的紧急程度。根据一些实施例，子分类包括息肉的一个或更多个大小范围。
根据一些实施例，子分类包括与疾病的恶性水平相关联的分数。根据一些实施例，子分类包括与受试者因一种或更多种病变发展为恶性肿瘤的潜在机会相对应的分数。例如，根据一些实施例，子分类可以预测没有息肉的受试者发展成具有一种或更多种类型的息肉的机会。根据一些实施例，分数以百分比来评估，诸如，例如0％-10％、10％-30％、30％-50％、50％-70％和超过70％。在一些实施例中，分数指示受试者的已知疾病的特定恶性肿瘤发生的机会和/或受试者的疾病的恶性肿瘤的特定发展。根据一些实施例，分数与受试者因一种或更多种病变发展为恶性肿瘤的风险水平相关联。根据一些实施例，分数与受试者在未来发展病变的风险水平相关联。
在一些实施例中，该系统包括至少一个硬件处理器和其上存储有程序代码的非暂时性计算机可读存储介质。根据一些实施例，程序代码可由至少一个硬件处理器执行以：接收n个图像，每个图像描绘受试者的舌头的至少一部分；预处理该n个图像，从而获得n’个图像，其中预处理包括图像选择和图像调整中的至少一种；使用至少一个特征增强算法，产生n’个图像中每个图像的m个表示；使用机器学习算法将产生的n’*m个表示分类到类别中，其中类别至少包括胃肠道疾病阳性和胃肠道疾病阴性；当所产生的n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。
根据一些实施例，并且如本文其他地方更详细描述的，机器学习算法可以基于包括与一个或更多个受试者相关联的n’*m个表示的数据集进行训练。根据一些实施例，提供了一种计算机程序产品，该计算机程序产品包括非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质体现有程序代码，该程序代码可由至少一个硬件处理器执行以：接收n个图像，每个图像描绘受试者的舌头；预处理该n个图像，从而获得n’个图像，其中预处理包括图像选择和图像调整中的至少一种；使用至少一个特征增强算法，产生n’个图像中每个图像的m个表示；通过对m个表示应用经训练的机器学习算法将n’个图像分类到至少两个类别中，其中该至少两个类别包括胃肠道疾病阳性和胃肠道疾病阴性；以及当n’个图像中至少预定比例/百分比的图像被分类为胃肠道疾病阳性时将受试者识别为患有胃肠道疾病。
用于检测胃肠道疾病的系统
参考图1，图1是根据本发明的一些实施例的用于检测胃肠道疾病的示意性简图。在一些实施例中，系统100包括以下中的至少一项：硬件处理器102、存储模块104、图像捕获模块106、图像处理模块108、机器学习模块110、以及用户接口模块112。在一些实施例中，每种可能性都是单独的实施例。在一些实施例中，系统100被配置成基于受试者舌头的图像来检测受试者的胃肠道疾病。
在一些实施例中，处理器102与以下中的至少一个通信：存储模块104、图像捕获模块106、图像处理模块108、机器学习模型110和用户接口模块112。在一些实施例中，处理器102被配置成控制以下中的任何一个或更多个的操作：存储模块104、图像捕获模块106、图像处理模块108、机器学习模型110和用户接口模块112。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，存储模块104包括非暂时性计算机可读存储介质。在一些实施例中，存储模块104包括用于检测胃肠道疾病的一个或更多个程序代码和/或指令集，其中，程序代码指示对以下中的至少一个的使用：处理器102、图像捕获模块106、图像处理模块108、机器学习模块110和用户接口模块112。在一些实施例中，每种可能性都是单独的实施例。在一些实施例中，存储模块104包括被配置成使用方法200至少部分地基于受试者舌头的一个或更多个图像来检测受试者的胃肠道疾病的一种或更多种算法。
在一些实施例中，图像捕获模块106被配置成获得受试者舌头的n个图像。在一些实施例中，处理器102命令图像捕获模块106获得n个图像中的一个或更多个图像。在一些实施例中，图像捕获模块106包括图像捕获设备和/或耦合器，该耦合器被配置成在系统100和图像捕获设备之间通信。例如，在一些实施例中，图像捕获模块106包括CMOS传感器。在一些实施例中，耦合器包括有线连接或无线连接，处理器102通过该有线连接或无线连接获得来自图像捕获设备的n个图像。
在一些实施例中，图像捕获模块106被配置成在n个图像的捕获期间照射受试者的舌头。在一些实施例中，处理器102被配置成控制图像捕获模块106的照射。
在一些实施例中，图像捕获模块106包括一个或更多个传感器和/或与一个或更多个传感器通信，该一个或更多个传感器被配置成检测受试者舌头的移动。在一些实施例中，一个或更多个传感器是运动传感器，诸如，例如热传感器。
在一些实施例中，存储在存储模块104上的一个或更多个程序104可执行以捕获n个图像。在一些实施例中，处理器102被配置成在从图像捕获模块106接收图像数据的同时实时地命令对图像的捕获。在一些实施例中，图像捕获模块106和/或系统100被配置成从多个不同类型的图像捕获设备接收图像。在一些实施例中，并且如本文其他地方更详细描述的，该系统100被配置成使用所述图像处理模块108标准化可能由多于一个图像捕获设备捕获的不同图像。
在一些实施例中，处理器102与云存储单元通信。在一些实施例中，存储模块104包括云存储单元。在一些实施例中，图像处理模块108被存储在云存储单元和/或存储模块104中。在一些实施例中，存储模块104被配置成通过将n个图像上传到存储模块104的耦合存储单元上来接收n个图像。
在一些实施例中，图像处理模块108被配置成预处理使用图像捕获模块106接收的n个图像。在一些实施例中，图像处理模块108被配置成至少部分地基于n个图像来生成n’个图像的图像数据集。在一些实施例中，图像处理模块被配置成将图像处理算法应用于n个图像和/或n’个图像的至少一部分。在一些实施例中，并且如本文其他地方更详细描述的，图像处理模块108被配置成使用图像处理算法生成n’个图像的数据集的至少一部分。
在一些实施例中，机器学习模块110接收n’*m个表示的图像数据集。在一些实施例中，并且如本文其他地方更详细描述的，机器学习模块110被训练来检测与n’*m个表示的图像数据集相关联的一个或更多个胃肠道疾病。
在一些实施例中，系统100包括用户接口模块112。在一些实施例中，用户接口模块112被配置成从用户接收元数据，诸如，例如年龄、性别、血压、饮食习惯、与特定疾病相关联的风险因素、遗传数据、受试者家族病史和受试者病史。在一些实施例中，用户接口模块112与处理器通信，使得用户输入的数据被馈送到机器学习模块110。
在一些实施例中，用户接口模块112包括显示屏和按钮中的至少一种。在一些实施例中，用户接口模块112包括被配置成将来自用户的输入信息传送到处理器102的软件。在一些实施例中，用户接口模块112包括计算机程序和/或智能手机应用。
在一些实施例中，用户接口模块112包括键盘。在一些实施例中，用户接口模块被配置成从处理器102接收数据和/或显示从处理器102接收的数据。在一些实施例中，用户接口模块112被配置成显示对胃肠道疾病的检测结果。
用于检测胃肠道疾病的方法
参考图2，图2是根据本发明的一些实施例的用于检测胃肠道疾病的过程中的功能步骤的流程图。
在一些实施例中，该方法200包括获得受试者口腔的一个或更多个图像。在一些实施例中，该方法200包括获得受试者舌头的n个图像。在一些实施例中，该n个图像包括至少一个图像。在一些实施例中，该n个图像包括数量在1和10之间的多个图像。在一些实施例中，n个图像包括数量在6和45之间的多个图像。在一些实施例中，该方法200包括捕获受试者舌头的n个图像。在一些实施例中，该方法200包括直接和/或间接地从图像捕获设备接收n个图像。在一些实施例中，该方法200包括与图像捕获设备和/或与图像捕获模块106通信。
在一些实施例中，该方法200包括利用指定的光照频带获得受试者舌头的一个或更多个图像。在一些实施例中，光照频带包括多个波长。在一些实施例中，光照频带包括范围在约380nm-730nm之间的波长，例如在约400nm-700nm之间的波长。
在一些实施例中，在步骤202，方法200包括接收n个图像，每个图像描绘受试者的舌头。在一些实施例中，该方法包括经由耦合到成像设备的连接器获得n个图像。在一些实施例中，该方法200包括接收来自图像捕获模块106和/或来自存储模块104的n个图像。在一些实施例中，n个图像从图像捕获模块106被传送到以下中的一个或更多个：处理器102，存储模块104、图像处理模块108、机器学习模型110和用户接口模块112。
在一些实施例中，该方法200包括在n个图像中的至少一个图像中识别受试者的舌头和/或受试者舌头的定位。在一些实施例中，该方法200包括实时识别受试者的舌头和/或受试者舌头的定位。在一些实施例中，该方法200包括使用一个或更多个运动传感器识别舌的定位。
在一些实施例中，该方法200包括捕获受试者的处于预定定位的舌头的图像。在一些实施例中，该方法200包括用指定的光照设置捕获受试者舌头的图像。在一些实施例中，该方法包括命令所述图像捕获模块106在指定时间和/或实时地捕获与受试者舌头的一个或更多个被识别的定位相对应的图像。
在一些实施例中，处理器102被配置成识别舌头的预定定位。在一些实施例中，处理器102被配置成识别指定的光照设置。在一些实施例中，处理器102被配置成识别其中暴露舌头背面(dorsal surface)的舌头的定位。在一些实施例中，预定定位包括其中暴露以下中的一个或更多个的舌头的定位：舌尖、舌体、舌中沟、舌瓣乳头和舌叶乳头。在一些实施例中，舌头的预定定位包括其中受试者的舌头向外延伸的定位。在一些实施例中，舌头的预定定位包括其中舌头背面的至少一部分平行于图像捕获设备的定位。
根据一些实施例，舌头的预定定位与根据舌头的指定舌反射学部位视觉地暴露舌头的部位相关联。在一些实施例中，该方法200包括识别受试者舌头的一个或更多个舌反射学部位。
在一些实施例中，该方法200包括应用被配置成捕获舌头的图像的校准过程。在一些实施例中，校准过程中的一个或更多个过程包括以下中的至少一个：图像分割、实时图像校准、避免光照限幅(illumination clipping)、实时避免光照限幅、避免运动模糊和实时避免运动模糊。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，该方法200包括在一个或更多个的n个图像的捕获期间和/或之后验证图像的光照均匀性。在一些实施例中，该方法200包括在一个或更多个的n个图像的捕获期间和/或之后验证图像的聚焦水平。在一些实施例中，该方法200包括控制图像捕获设备的透镜的遮光(shading)。在一些实施例中，该方法200包括校准由图像捕获设备捕获的图像。在一些实施例中，该方法200包括校准n个图像。
在一些实施例中，方法200包括用指定的光照来照射受试者的舌头。在一些实施例中，该方法200包括照射受试者的舌头，使得以最佳色彩保真度获得受试者的舌头。在一些实施例中，该方法200包括在获得图像数据之前校准指定的光照。在一些实施例中，该方法200包括连续地校准指定的光照。在一些实施例中，该方法200包括调整光照类型、光照光谱和/或图像捕获设备的光照元件的定位，以便保持受试者舌头的颜色与所捕获的n个图像之间的同色异谱匹配。
在一些实施例中，该方法200包括捕获视频和/或多个图像。在一些实施例中，该方法200包括将所捕获的图像、多个图像和/或视频上传到云存储单元。在一些实施例中，该方法200包括分析由视频和/或多个图像描绘的舌头的运动向量。在一些实施例中，该方法200包括跟踪舌头。在一些实施例中，该方法200包括实时和/或在捕获的视频片段中跟踪舌头。在一些实施例中，该方法200包括分析舌头的振动。在一些实施例中，该方法200包括分析舌头的运动向量。在一些实施例中，该方法200包括分析与图像捕获设备的移动相关联的移动。在一些实施例中，该方法包括区分与舌振动相关联的移动和与图像捕获设备的移动相关联的移动。
分析舌头的移动的潜在优势在于该分析允许去除由舌头的振动引起的模糊，并且能够生成更清晰的图像。
在一些实施例中，该方法200包括运动检测，其中在移动期间捕获的图像被分配一个或更多个运动向量。在一些实施例中，该方法包括将其中向量超过预定阈值的所检测到的图像拣出。在一些实施例中，预定阈值对应于经处理的图像的预定分辨率。
在一些实施例中，在步骤204，方法200包括预处理n个图像，从而获得n’个图像。在一些实施例中，预处理包括图像选择和图像调整中的至少一种。在一些实施例中，预处理包括对n个图像的标准化。在一些实施例中，图像调整包括对n个图像的对比度、亮度、色阶、色调和饱和度中的一种或更多种进行调整。在一些实施例中，每种可能性都是单独的实施例。在一些实施例中，该方法包括预处理n个图像的至少一部分。
根据一些实施例，预处理包括在n个图像内生成表示舌头的指定区域的片段。根据一些实施例，舌头的一个或更多个指定区域可以与胃肠道的一个或更多个重新连接(rejoin)相关联。根据一些实施例，舌头的一个或更多个指定区域可以对应于胃肠道的一种或更多种病变。根据一些实施例，舌头的指定区域各自对应于胃肠道的各个病变。
参考图3，图3是根据本发明的一些实施例的示例性分割图的正面示意图。根据一些实施例，片段302a/302b/302c/302d/302e/302f/302g/302h/302i/302j/302k/302l/302m(以下统称为片段302)定义受试者的舌头表面的至少一部分的图300。根据一些实施例，片段302定义至少2、3、5、8或10个指定区域。根据一些实施例，两个或更多个片段302是相邻的。根据一些实施例，两个或更多个片段302是全等的(congruent)。根据一些实施例，两个或更多个片段302相符(coincide)。
根据一些实施例，预处理包括向片段302中的每个片段分配键(key)，诸如，例如数值和/或颜色。根据一些实施例，键指示舌头的特定区域，例如，舌尖、舌根。根据一些实施例，片段302的图300可以由与片段302相关联的键来表示。根据一些实施例，预处理包括至少部分地基于片段302和每个片段的相关联的键来映射受试者的舌头。
根据一些实施例，方法200包括在机器学习模块中输入片段302以及与片段302相关联的键。根据一些实施例，方法200包括将指示值分配给所输入的键，其中，指示值与特定病变相关联。根据一些实施例，方法200包括将指示值输入到机器学习模块。根据一些实施例，键的指示值与特定病变和舌头的与键相关联的指定区域的相关性相关联。根据一些实施例，指示值是二进制的。根据一些实施例，指示值包括对应于指定区域与特定病变的相关性水平的范围。
例如，对于特定病变或其恶性肿瘤风险的检测，可以仅存在一个或两个相关片段302，例如片段302a以及302j。在这样的示例中，被分配给其他片段(例如302d以及302k)的指示值可以是“0”，而被分配给302a以及302j的指示值可以是“1”。
根据一些实施例，机器学习模块被配置成根据被分配给键和/或片段302的指示值来分析n个图像。根据一些实施例，机器学习模块被配置成忽略与键相关联的指示值对应于特定病变的低相关性水平的片段。例如，在一些实施例中，机器学习模块被配置成忽略与键相关联的指示值是“0”的片段。
在一些实施例中，该方法200包括评估n个图像的质量。在一些实施例中，处理器102接收n个图像的质量数据。在一些实施例中，该方法200包括命令基于评估改变图像捕获模块106。在一些实施例中，对于在图像的捕获期间，环境条件的改变可能增强图像结果的质量的图像，处理器102可以命令改变图像捕获模块106，从而改变环境条件。例如，处理器可以在捕获图像时命令改变受试者周围的亮度。在一些实施例中，该方法200包括命令用户使用用户接口模块112进行定位和/或照明的改变。在一些实施例中，并且如本文其他地方更详细描述的，处理器102被配置成在n个图像的捕获期间直接命令改变图像捕获设备。
在一些实施例中，该方法200包括调整以下中的任何一个或更多个：图像捕获设备的角度、从图像捕获设备的光照元件发射的光、在图像捕获期间对受试者的照射的亮度、图像捕获设备相对于受试者舌头的角度、以及图像捕获期间使用的曝光时间。在一些实施例中，该方法包括调整以下中的任何一个或更多个：图像捕获模块和/或相机的设置、背景、背景、放大倍数以及受试者的舌头和/或口腔的指定区域的放大倍数。
在一些实施例中，该方法200包括组合n个图像中的两个或更多个图像以形成n’个图像中的单个图像。在一些实施例中，该方法包括组合n个图像中的多个图像以形成n’个图像中的多个图像。在一些实施例中，该方法包括图像拼接。在一些实施例中，该方法包括拼接n个图像以获得n’个图像。在一些实施例中，该方法包括拼接n个图像。在一些实施例中，该方法包括拼接n个图像使得单个拼接图像包括舌头的不同角度的数据，舌头的这些不同角度各自由n个图像中的单独的图像描绘。在一些实施例中，该方法包括从n个图像生成n’个图像，使得n’个图像包括超分辨率图像。在一些实施例中，对应于n个图像的n’个图像的数量小于所获得的n个图像的数量。在一些实施例中，对应于n个图像的n’个图像的数量等于所获得的n个图像的数量。
在一些实施例中，对应于n个图像的n’个图像的数量大于所获得的n个图像的数量。在一些实施例中，n’个图像包括来自n个图像中的一个或更多个图像的数据，例如，描绘n个图像的特定特征的数据。在一些实施例中，n’个图像包括来自n个图像中的一个或更多个图像的部分数据。在一些实施例中，n’个图像中的一个或更多个图像包括来自n个图像中的多个图像的部分数据。
在一些实施例中，该方法200包括使用n个图像获得高动态范围(HDR)成像。在一些实施例中，该方法200包括图像调整，该图像调整包括根据n个图像的至少一部分创建一个或更多个图像。根据一些实施例，n个图像是使用一个或更多个不同的聚焦或曝光水平获得的。根据一些实施例，n个图像的至少一部分被组合成一个或更多个图像，从而在一个或更多个图像中获得受试者舌头的每个部分的最佳曝光。
在一些实施例中，由于对n个图像的分拣，对应于n个图像的n’个图像的数量小于所获得的n个图像的数量。在一些实施例中，由于以下中的任何一项或更多项，n个图像中的一个或更多个图像不与n’个图像相关联：分辨率低于预定阈值、对比度低于预定阈值、以及对比度高于预定阈值。在一些实施例中，处理器102确定预定阈值。在一些实施例中，用户可以经由用户接口模块112确定预定阈值。
在一些实施例中，该方法200包括将图像处理算法应用于n’个图像。在一些实施例中，在步骤206，方法200包括产声n’个图像中每个图像的m个表示。在一些实施例中，该方法200包括基于n’个图像产生m个表示。在一些实施例中，该方法200包括使用至少一个特征增强和/或提取算法产生n’个图像中每个图像的m个表示。
在一些实施例中，m个表示中的一个或更多个表示包括从n’个图像中提取的一个或更多个特征。在一些实施例中，m个表示中的一个或更多个表示包括n个图像中的一个或更多个。在一些实施例中，m个表示可以是图像。在一些实施例中，m个表示可以包括一种或更多种图像格式的文件。
在一些实施例中，m个表示中的一个或更多个表示包括舌头分割彩色图、与n个图像相关联的运动向量、受试者舌头的二维表示、受试者舌头的三维表示、舌头的不同平面的表示、舌头的多个定位、舌头的拓扑图、以及一个或多个数字生成的视频片段。在一些实施例中，m个表示包括数字生成的受试者舌头的定位和/或配置，而在这些表示中没有以特定定位表示的舌头的图像。在一些实施例中，m个表示包括时间的函数。
在一些实施例中，m个表示中的一个或更多个表示包括从n’个图像提取的一个或更多个特征。在一些实施例中，提取的特征包括色彩、一个或更多个舌头表面的形态、舌头的拓扑、舌头的尺寸、以及舌头的振动分析。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，在步骤208，方法200包括将n’*m表示分类到类别中，其中该类别至少包括下胃肠道病变阳性和下胃肠道病变阴性。根据一些实施例，将n’*m个表示进行分类包括对n’*m个表示应用经训练的机器学习模块110。在一些实施例中，该多个类别至少包括胃肠道疾病阳性和胃肠道疾病阴性。在一些实施例中，该方法包括单独地基于n’个图像中的每一个图像对受试者进行分类。在一些实施例中，该方法包括单独地基于m个表示中的每一个表示对受试者进行分类。
在一些实施例中，该方法200还包括将被归类为胃肠道疾病阳性的受试者细分到结肠相关病变和胃相关病变中的一个或更多个子分类中。在一些实施例中，该方法200包括将结肠相关病变细分类到以下一个或更多个中：结肠直肠癌(CRC)、息肉、涉及下肠道(结肠)的炎症性肠病(IBD)。在一些实施例中，该方法200包括将上胃肠道病变细分到以下一个或更多个中：胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。
在一些实施例中，在步骤210，方法200包括将受试者识别为患有胃肠道疾病。在一些实施例中，该方法包括至少部分地基于n’*m个表示的与受试者对于一种或更多种胃肠道疾病是阳性相关联的百分比将受试者识别为患有胃肠道疾病。在一些实施例中，该方法包括至少部分地基于n’*m个表示的与受试者对于特定子分类是阳性相关联的百分比将受试者识别为患有胃肠道疾病的子分类。在一些实施例中，该方法包括至少部分地基于n’*m个表示的与子分类中的每一个相关联的比例将受试者识别为患有胃肠道疾病。
在一些实施例中，该方法200包括使用用户接口模块112向用户呈现所检测到的病变。
机器学习模块和训练
在一些实施例中，机器学习模块110包括已经基于被识别为患有一种或更多种胃肠道疾病的受试者的舌头的一个或更多个图像被训练来检测一种或更多种胃肠道疾病的机器学习模块。在一些实施例中，机器学习模型被训练以至少部分地基于与受试者相关联的元数据，诸如，例如受试者的年龄、性别、血压、饮食习惯和病史中的一个或更多个，来检测一种或更多种胃肠道疾病。在一些实施例中，检测的敏感度高于70％、80％、90％、95％和98％中的至少一个。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，机器学习模型使用全部的n个图像和/或m个表示来检测胃肠道疾病。在一些实施例中，机器学习模块使用所有元数据来检测胃肠道疾病。在一些实施例中，机器学习模块包括至少一个神经网络，该至少一个神经网络被配置成使用所有接收到的数据以便检测一种或更多种胃肠道疾病和/或识别与受试者相关联的病变。
在一些实施例中，基于训练集来训练机器学习模型，该训练集包括与具有被识别的胃肠道疾病的受试者的n个图像相关联的m个表示。在一些实施例中，基于训练集来训练机器学习模型，该训练集包括与被识别为未患有胃肠道疾病的受试者的n个图像相关联的m个表示。在一些实施例中，基于训练集来训练机器学习模型，该训练集包括与具有被识别的胃肠道疾病的受试者的n’个图像相关联的m个表示。在一些实施例中，基于训练集来训练机器学习模型，该训练集包括与被识别为未患有胃肠道疾病的受试者的n’个图像相关联的m个表示。在一些实施例中，基于训练集来训练机器学习模型，该训练集包括具有被识别的胃肠道疾病的受试者的n’*m个表示。在一些实施例中，训练集的m个表示包括标记，该标记至少指示胃肠道疾病阳性和胃肠道疾病阴性。在一些实施例中，标记指示以下中任何一个或更多个：结肠相关病变、下胃肠道相关病变、上胃肠道相关病变、上胃肠道相关病变结肠直肠癌(CRC)、息肉、炎症性肠病(IBD)、胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。
在一些实施例中，针对多种胃肠道疾病训练相同的机器学习模型。在一些实施例中，使用与多种胃肠道疾病相关联的标记来训练相同的机器学习模型。
在一些实施例中，标记与由n’*m个表示描绘的舌头的不同部位相关联。在一些实施例中，单个图像与多个标记相关联，其中每个标记与由图像描绘的舌头的不同部位相关联。在一些实施例中，标记与由n’*m个表示描绘的舌头的部位相关联。在一些实施例中，单个图像与多个标记相关联，其中每个标记与受试者的被描绘的舌头的舌反射学部位相关联。
成像捕获设备
参考图4，图4示出了根据本发明的一些实施例的用于检测胃肠道疾病的示例性图像捕获设备的透视简图。在一些实施例中，图像捕获设备400被配置成使得受试者的舌头相对于相机和/或图像捕获设备400的透镜的定位均匀。在一些实施例中，图像捕获设备400与图像捕获模块106和处理器102中的至少一个可操作地通信。在一些实施例中，每种可能性都是单独的实施例。在一些实施例中，图像捕获设备400被配置成使用户能够捕获受试者的舌头的图像。
在一些实施例中，图像捕获设备400包括框架402。在一些实施例中，框架402包括基座404和至少有一条支腿406。在一些实施例中，框架402是刚性的。在一些实施例中，基座406和/或支腿406被配置为当被定位在表面上时使框架402稳定。在一些实施例中，框架402包括从基座404和支腿406中的一个或更多个延伸的两根或更多根支柱416。在一些实施例中，两根或更多根支柱416被配置成支撑托架(rest)410和保持器(holder)408中的至少一个。在一些实施例中，每种可能性都是单独的实施例。
在一些实施例中，托架410包括前额托架，并且被配置成保持受试者头部的定位相对于框架402静止。在一些实施例中，托架410被配置成邻接受试者面部的一部分。在一些实施例中，托架410在其一端与一根支柱416耦合而在其第二端与第二支柱406耦合。在一些实施例中，托架410是刚性的、半刚性的或柔性的。在一些实施例中，托架410具有延展性，使得在使用过程中可以适应受试者的特定面部特征。在一些实施例中，托架410的定位相对于框架402和/或至少一根支柱416是可调节的。
在一些实施例中，图像捕获设备400包括保持器408，该保持器408被配置成固定相机和/或传感器的定位。在一些实施例中，图像捕获设备400包括相机和/或传感器。在一些实施例中，保持器408包括底座(dock)，相机和/或传感器耦合到该底座上。在一些实施例中，底座被配置成接收通用相机，诸如，例如智能手机。在一些实施例中，底座可滑动地耦合到框架402。在一些实施例中，保持器408和/或底座可绕至少两个移动轴滑动。在一些实施例中，保持器408和/或底座可绕至少三个移动轴滑动。在一些实施例中，底座是可倾斜的，使得耦合到保持器408的相机和/或传感器的空间取向被改变。在一些实施例中，底座是可调节的，使得耦合到保持器408的相机和/或传感器倾斜、摇动和/或滚动。在一些实施例中，相机被配置成相对于框架402、托架410和保持器408中的任何一个或更多个摇动、倾斜和/或滚动。在一些实施例中，底座相对于框架402和/或托架410的角度是可调节的。在一些实施例中，保持器408包括被配置成驱动保持器408进入相对于框架402的预定定位和/或角度的马达。
在一些实施例中，图像捕获设备400包括处理器418。在一些实施例中，图像捕获设备400与处理器102/418在操作中通信。在一些实施例中，图像捕获设备400包括与处理器通信102/418的动力单元414。在一些实施例中，动力单元414耦合到保持器408的马达。
在一些实施例中，处理器102/400被配置成在n个图像的捕获期间直接命令改变图像捕获设备400的结构。在一些实施例中，处理器102/400被配置成直接命令改变保持器408相对于框架402的定位/或角度。
除非另有定义，本发明的各种实施例可以以多种格式、平台提供给最终用户，并且可以输出到计算机可读存储器、计算机显示设备、打印输出装置、网络上的计算机、平板电脑或智能手机应用或用户中的至少一个。除非特别声明，本文使用的所有技术和科学术语具有本发明所属领域的普通技术人员通常理解的相同意思。本文提供的材料、方法和示例仅是示例性的，并不是为了限制。
本发明的方法和系统的实现涉及手动地、自动地或手动自动组合地执行或完成某些选定的任务或步骤。此外，根据本发明的方法和系统的优选实施例的实际仪器和装备，可以通过硬件或通过在任何固件的任何操作系统上的软件或它们的组合来实现多个选定的步骤。例如，作为硬件，本发明的选定步骤可以被实现为芯片或电路。作为软件，本发明的选定步骤可以被实现为由计算机使用任何合适的操作系统执行的多个软件指令。在任何情况下，本发明的方法的选定步骤和系统可以被描述为由数据处理器执行，诸如由用于执行多个指令的计算平台执行。
尽管本发明是关于“计算机网络”上的“处理器”或“计算机”来描述的，但是应该注意，可选地，任何以具有数据处理器和/或执行一个或更多个指令的能力为特征的设备都可以被描述为计算机，包括但不限于PC(个人计算机)、服务器、小型机、蜂窝电话、智能电话、PDA(个人数据助理)、寻呼机。相互通信的任何两个或更多这样的设备、和/或与任何其他计算机通信的任何计算机可以可选地包括“计算机网络”。
本发明的实施例可以包括用于执行本文中的操作的装置。该装置可特别地构造成用于期望目的，或它可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可存储在计算机可读存储介质中，计算机可读存储介质例如但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦除和可编程只读存储器(EEPROM)、磁卡或光卡或适合用于存储电子指令并能够耦合到计算机系统总线的任何其它类型的介质。
本文呈现的过程和显示不是固有地与任何特定计算机或其他装置相关。各种通用系统可以与根据本文教导的程序一起被使用，或其可以证明能方便构建执行期望方法的更专用的装置。各种这些系统所期望的结构将从以下描述中呈现。另外，本发明的实施例未参考任何特定编程语言来描述。将认识到的是，各种编程语言可用于实现如本文中所描述的发明的教导。
本发明可在由计算机执行的诸如程序模块等的计算机可执行指令的一般上下文中描述。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。本发明也可以在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
尽管上面已经讨论了多个示例性的方面和实施例，但是本领域的技术人员将认识到其特定修改、添加和子组合。因此，意图是随附的所附权利要求和此后提出的权利要求被解释为包括在其真实精神和范围内的所有这样的修改、添加和子组合。
在本申请中，本发明的各种实施例可以以范围格式陈述。应理解，范围格式的描述仅仅是为了方便和简洁，并且不应解释为对本发明的范围的僵化限制。因此，对范围的描述应该被考虑为具有具体公开的所有可能的子范围以及该范围内的各个数值。例如，从1到6的范围的描述应被认为具有具体公开的诸如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等的子范围，以及在该范围内的各个数字，例如1、2、3、4、5和6。无论范围的广度如何，这都适用。
无论何时在本文中指出数值范围，都意味着包括在指定范围内的任何引用的数字(分数或整数)。短语在第一指示数和第二指示数“之间的范围”以及“从”第一指示数“到”第二指示数的范围在本文中可互换使用，并且意在包括第一指示数和第二指示数以及它们之间的所有分数和整数。
在本申请的说明书和权利要求中，“包括(comprise)”、“包含(include)”和“具有”的词语中的每一个及其形式不一定局限于与该词可以关联的列表中的成员。此外，在本申请与通过引用并入的任何文献之间存在不一致的地方，由此意在以本申请为准。
为了说明的目的，已经呈现了本发明的多种实施例的描述，但是不旨在穷举或限于所公开的实施例。在不偏离所马上的实施例的范围和精神的情况下，许多修改和变化对本领域中的普通技术人员将是明显的。选择本文使用的术语是为了最好地解释实施例的原理，对市场上发现的技术的实际应用或技术改进，或者使本领域普通技术人员能够理解本文公开的实施例。

Claims (17)

1.一种系统，包括：
至少一个硬件处理器；和
非暂时性计算机可读存储介质，其具有存储在所述非暂时性计算机可读存储介质上的程序代码，所述程序代码能够由所述至少一个硬件处理器执行以：
接收n个图像，每个图像描绘受试者的舌头的至少一部分；
预处理所述n个图像，从而获得n’个图像，其中，所述预处理包括图像选择和图像调整中的至少一种；
使用至少一个特征增强算法来产生所述n’个图像中每个图像的m个表示；
通过对所产生的n’*m个表示应用机器学习算法来将所述n’*m个表示分类到类别中，其中，所述类别至少包括胃肠道疾病阳性和胃肠道疾病阴性；以及
当所产生的n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将所述受试者识别为患有胃肠道疾病。
2.根据权利要求1所述的系统，其中，所述图像选择包括移动检测，其中，在移动期间捕获的图像被分配一个或更多个运动向量，随后将其中所述向量超过预定阈值的所检测到的图像拣出。
3.根据权利要求1-2中任一项所述的系统，其中，所述图像调整包括对所述n’个图像的对比度、亮度、色阶、色调、锐度和饱和度中的一个或更多个进行调整。
4.根据权利要求1-3中任一项所述的系统，其中，所述程序代码能够执行以至少部分地基于被分类为胃肠道疾病阳性的所述n’*m个表示来进一步将所述受试者细分到结肠相关病变和胃相关病变中的一个或更多个子分类中。
5.根据权利要求4所述的系统，其中，所述子分类还包括结肠特异性病变的两个或更多个子类别。
6.根据权利要求5所述的系统，其中，结肠特异性病变的两个或更多个子类别选自：结肠直肠癌(CRC)、息肉、不同类型的息肉和涉及下肠道的炎症性肠病(IBD)。
7.根据权利要求6所述的系统，其中，所述结肠特异性病变的子类别选自：腺瘤性息肉、增生性息肉、锯齿状息肉、炎症性息肉、和绒毛状腺瘤息肉、以及复杂息肉。
8.根据权利要求5至7中任一项所述的系统，其中，所述子分类还包括上胃肠道特异性病变的两个或更多个子类别。
9.根据权利要求8所述的系统，其中，上胃肠道特异性病变的两个或更多个子类别选自：胃恶性肿瘤、胃炎、食管恶性肿瘤、食管炎和十二指肠炎。
10.根据权利要求5至9中任一项所述的系统，其中，所述子分类包括与疾病的恶性水平相关联的分数。
11.根据权利要求5至10中任一项所述的系统，其中，所述子分类包括与所述受试者因一种或更多种病变发展恶性肿瘤的潜在机会相对应的分数。
12.根据权利要求1-11中任一项所述的系统，其中，所述m个表示还能够包括所述受试者的所描绘的舌头的三维表示。
13.根据权利要求1-12中任一项所述的系统，其中，所述程序被配置成从多个不同类型的图像捕获设备接收所述n个图像。
14.根据权利要求13所述的系统，其中，所述程序能够执行以标准化所述接收的图像。
15.根据权利要求1-14中任一项所述的系统，其中，所述硬件处理器能够耦合到至少一个图像捕获设备，并且所述程序代码能够执行以实时识别受试者的舌头。
16.根据权利要求15所述的系统，其中，所述程序代码能够执行以捕获所述n个图像。
17.一种计算机程序产品，其包括非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质体现有程序代码，所述程序代码能够由至少一个硬件处理器执行以：
接收n个图像，每个图像描绘受试者的舌头的至少一部分；
预处理所述n个图像，从而获得n’个图像，其中，所述预处理包括图像选择和图像调整中的至少一种；
使用至少一个特征增强算法来产生所述n’个图像中每个图像的m个表示；
通过对所产生的n’*m个表示应用机器学习算法来将所述n’*m个表示分类到至少两个类别中，其中，所述至少两个类别包括胃肠道疾病阳性和胃肠道疾病阴性；以及
当所产生的n’*m个表示中至少预定比例/百分比的表示被分类为胃肠道疾病阳性时将所述受试者识别为患有胃肠道疾病。
CN202180068342.5A 2020-10-05 2021-10-04 用于检测胃肠道疾病的系统和方法 Pending CN116324885A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063087401P 2020-10-05 2020-10-05
US63/087,401 2020-10-05
PCT/IL2021/051189 WO2022074644A1 (en) 2020-10-05 2021-10-04 System and method for detecting gastrointestinal disorders

Publications (1)

Publication Number Publication Date
CN116324885A true CN116324885A (zh) 2023-06-23

Family

ID=81125721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180068342.5A Pending CN116324885A (zh) 2020-10-05 2021-10-04 用于检测胃肠道疾病的系统和方法

Country Status (7)

Country Link
US (1) US20230386660A1 (zh)
EP (1) EP4226391A4 (zh)
JP (1) JP2023543255A (zh)
CN (1) CN116324885A (zh)
CA (1) CA3196415A1 (zh)
IL (1) IL301672A (zh)
WO (1) WO2022074644A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139B (zh) * 2016-07-29 2019-04-02 汤一平 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN106683087B (zh) * 2016-12-26 2021-03-30 华南理工大学 一种基于深度神经网络的舌苔体质辨别方法
CN109147935A (zh) * 2018-07-19 2019-01-04 山东和合信息科技有限公司 基于人体特征采集识别技术的健康数据平台

Also Published As

Publication number Publication date
WO2022074644A1 (en) 2022-04-14
US20230386660A1 (en) 2023-11-30
IL301672A (en) 2023-05-01
EP4226391A4 (en) 2024-04-03
JP2023543255A (ja) 2023-10-13
EP4226391A1 (en) 2023-08-16
CA3196415A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
Herrera et al. Development of a Multispectral Gastroendoscope to Improve the Detection of Precancerous Lesions in Digestive Gastroendoscopy
Yuan et al. Bleeding frame and region detection in the wireless capsule endoscopy video
US10285624B2 (en) Systems, devices, and methods for estimating bilirubin levels
US8503747B2 (en) Image analysis for cervical neoplasia detection and diagnosis
JP6545658B2 (ja) ビリルビンレベルを推定すること
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN109523535B (zh) 一种病变图像的预处理方法
US20140316235A1 (en) Skin imaging and applications
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
Riegler et al. Eir—efficient computer aided diagnosis framework for gastrointestinal endoscopies
US20070188705A1 (en) Ocular fundus portion analyzer and ocular fundus portion analyzing method
EP3478164B1 (en) Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images
WO2019064704A1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
EP3219251A1 (en) Organ image capture device and program
JP4649965B2 (ja) 健康度判定装置、及びプログラム
Chen et al. Ulcer detection in wireless capsule endoscopy video
Xie et al. Digital tongue image analyses for health assessment
JP2006325640A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2006320585A (ja) 画像表示装置
JP6425868B1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
CN114998644B (zh) 肿瘤诊断系统及其构建方法、终端设备及存储介质
CN116324885A (zh) 用于检测胃肠道疾病的系统和方法
JP2006334140A (ja) 異常陰影候補の表示方法及び医用画像処理システム
Rimskaya et al. Development Of A Mobile Application For An Independent Express Assessment Of Pigmented Skin Lesions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination