CN116964435A - 有问题的细胞实体的基于荧光的检测 - Google Patents

有问题的细胞实体的基于荧光的检测 Download PDF

Info

Publication number
CN116964435A
CN116964435A CN202280019876.3A CN202280019876A CN116964435A CN 116964435 A CN116964435 A CN 116964435A CN 202280019876 A CN202280019876 A CN 202280019876A CN 116964435 A CN116964435 A CN 116964435A
Authority
CN
China
Prior art keywords
target
fluorescence
image
problematic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280019876.3A
Other languages
English (en)
Inventor
巴拉·佩塞莱
吉坦贾利·拉达克里希南
比基·库玛纱
约翰·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adiovo Diagnostics Private Ltd
Original Assignee
Adiovo Diagnostics Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adiovo Diagnostics Private Ltd filed Critical Adiovo Diagnostics Private Ltd
Publication of CN116964435A publication Critical patent/CN116964435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
    • G01N2021/174—Optionally different kinds of measurements; Method being valid for different kinds of measurement either absorption-reflection or emission-fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

公开了用于检测目标中有问题的细胞实体的存在的技术。在示例中，使用分析模型，分析基于荧光的图像。使用多个参考的基于荧光的图像来训练分析模型，以用于检测目标中有问题的细胞实体的存在。基于该分析，检测目标中存在有问题的细胞实体。为了执行检测，分析模型被训练成对基于荧光的图像中的从有问题的细胞实体出射的荧光和基于荧光的图像中的从除了有问题的细胞实体之外的区域出射的荧光进行区分。

Description

有问题的细胞实体的基于荧光的检测
技术领域
本主题总体上涉及检测目标中的有问题的细胞实体例如病原体，并且具体地涉及基于由有问题的细胞实体发射的荧光来检测有问题的细胞实体。
背景技术
细胞实体可以是由一种或更多种生物细胞构成的实体，例如单细胞生物体、多细胞生物体、组织等。有问题的细胞实体可以是对植物、动物或人类健康造成危害的细胞实体。有问题的细胞实体的示例是导致人类疾病的病原体和延迟伤口愈合的病原体。有问题的细胞实体可以是指示植物、动物或人类的疾病的细胞实体。例如，癌组织可能是有问题的细胞实体，这指示肿瘤的存在。目标(诸如人体或可食用产品)上有问题的细胞实体的存在要被检测，例如，以防止疾病的发生，以使人免于疾病等。
附图说明
根据以下描述和附图，将更好地理解本主题的特征、方面和优点。在不同的附图中使用相同的附图标记指示类似或相同的特征和部件。
图1示出了根据本主题的实现方式的用于检查目标的设备；
图2(a)至图2(i)示出了根据本主题的实现方式的可以用于训练分析模型的人工神经网络(ANN)模型的参考图像集；
图3示出了根据本主题的实现方式的基于参考的基于荧光的图像的空间图和光谱图的机器学习(ML)模型的训练；
图4(a)至图4(b)示出了根据本主题的实现方式的如由ANN模型检测的伤口中的病原体的分类结果；
图5(a)至图5(d)示出了根据本主题的实现方式的如由ANN模型检测的伤口中的病原体的革兰氏类型的分类结果；
图6(a)至图6(d)分别示出了根据本主题的实现方式的生物膜信息、病原体生长状态数据、伤口尺寸和病原体载量以及组织氧合作用的结果；
图7(a)示出了根据本主题的实现方式的具有伤口的人腿的白光图像和对应的3D深度图像；
图7(b)示出了根据本主题的实现方式的人腿的叠加在伤口的3D图像上的荧光图像；
图8(a)示出了根据本主题的实现方式的用于检测3D图像中示出的部分是伤口还是皮肤的方法；
图8(b)示出了根据本主题的实现方式的对3D图像中示出的部分是伤口还是皮肤的检测；
图9示出了根据本主题的实现方式的对钢表面上病原体的存在的检测；
图10示出了根据本主题的实现方式的对面罩上病原体的存在的检测；
图11示出了根据本主题的实现方式的对头帽上病原体的存在的检测；
图12示出了根据本主题的实现方式的对手术刀片上病原体的存在的检测；
图13示出了根据本主题的实现方式的伤口的热成像的结果；
图14示出了根据本主题的实现方式的连接至处理设备的设备；以及
图15示出了根据本主题的实现方式的用于检查目标的方法。
具体实施方式
目标上有问题的细胞实体的存在要被准确地检测。该目标可以是例如人体中的伤口区域、可食用的产品、从人体中提取的组织样本或者要被消毒的表面。通常，使用培养方法来检测有问题的细胞实体，例如病原体。在这种方法中，使用拭子/深层组织活检从预期具有病原体感染的部位获取样本。随后，使样本处于合适的培养基中，在该培养基中，预期处于该部位的病原体随时间生长。如果有的话，然后，使用生物化学方法分离和标识该部位中的病原体。对于有问题的细胞实体例如癌组织，采取组织活检。此外，在显微镜下用染色方法(例如苏木精和伊红染色、粘蛋白胭脂红染色、巴氏染色等)检查组织活检，以标识该组织是否是癌组织。在一些示例中，检查可以在没有染色方法的情况下执行。将理解的是，前面提及的方法是复杂的，需要专门的微生物设施，并且需要1至2天来准确地标识感染并对病原体或癌组织进行分类。
在一些情况下，基于由有问题的细胞实体中的天然生物标志物产生的自体荧光来执行对有问题的细胞实体的检测和分类。天然生物标志物可以是例如烟酰胺腺嘌呤二核苷酸(NADH)、黄素、卟啉、铜绿假单胞菌铁载体(Pyoverdine)、酪氨酸和色氨酸。由生物标志物产生的自体荧光对它们来说可能是独特的，并且可以用于有问题的细胞实体的检测和分类。
尽管自体荧光可以用于检测和分类，但是由天然生物标志物产生的自体荧光是微弱的，并且可能不容易被检测到。此外，除了自体荧光之外，从目标出射的光可以包括背景光和激发光，这可能干扰发射的自体荧光。因此，为了使得能够使用发射的自体荧光进行检测和分类，将使用抑制由目标发射的非荧光的光的滤光器。滤光器也可以称为发射过滤器。发射过滤器的使用使基于自体荧光的检测变得昂贵。
此外，在采用基于自体荧光的检测的设备中使用多个发射过滤器，因为不同波长的自体荧光的光将被捕获以用于检测和分类。使用不同的发射过滤器捕获图像增加了检测和分类的时间。此外，诸如滤光轮的附加部件将被用于使用不同的发射过滤器来捕获图像，这进一步增加了设备的成本。
本主题涉及对有问题的细胞实体的基于荧光的检测。使用本主题，可以使用于检测有问题的细胞实体的设备简单且有成本效益。该设备可以没有滤光轮。此外，可以使用机器和深度学习技术来实现对有问题的细胞实体的快速且准确的检测。
根据本主题的设备可以包括用于发射用于照射目标的光的光源。目标可能被怀疑具有有问题的细胞实体，例如病原体或癌组织。在示例中，目标可以由一个或更多个细胞组成，并且目标可以是例如身体部分中的伤口或组织样本。在其他示例中，目标可以是没有病原体的物品，例如可食用产品、实验室装备或卫生装备。发射的光可以处于当被照射时导致目标中的标志物发荧光的波长带中。特别地，发射的光可以是单一波长的，该单一波长使目标中的标志物在被照射时发荧光。该标志物可能是有问题的细胞实体的一部分。由作为有问题的细胞实体的一部分的标志物发射的荧光可以被称为自体荧光。在示例中，可以将诸如合成标志物的外源标志物喷洒在目标上，以使得检测目标中的有问题的细胞实体。诸如脱氧核糖核酸(DNA)、核糖核酸(RNA)、蛋白质、生化标志物等的外源标志物可以与细胞实体结合，这可以使目标发荧光。由添加的合成标志物发射的荧光也可以被称为外源荧光。
该设备包括图像传感器，该图像传感器用于直接地接收由目标响应于光源对其的照射而发射的光并且用于捕获基于发射的光形成的图像。如果目标包括发荧光的标志物，则捕获的图像包括荧光并且可以被称为基于荧光的图像。因此，基于荧光的图像可以包括从目标出射的荧光。在此，光被认为是由图像传感器直接接收，因为在捕获图像之前，光没有被发射过滤器过滤。
该设备还包括用于分析基于荧光的图像的处理器。该分析可以使用分析模型来完成，使用用于检测目标中有问题的细胞实体的存在的多个参考的基于荧光的图像来训练该分析模型。在示例中，分析模型可以包括人工神经网络(ANN)模型。在另一示例中，分析模型可以包括除了ANN模型之外的机器学习(ML)模型，例如支持向量机(SVM)模型、逻辑回归模型、随机森林模型等或者它们的组合。在另一示例中，分析模型可以包括ANN模型和ML模型二者。
由分析模型进行的分析可以包括分析基于荧光的图像中的荧光，例如荧光的波长。分析模型可以被训练成：对基于荧光的图像中的从有问题的细胞实体出射的荧光和基于荧光的图像中的从除了有问题的细胞实体之外的区域出射的荧光进行区分。例如，分析模型可以对从具有病原体的伤口区域出射的荧光和从伤口区域中的骨骼或与伤口区域相邻的皮肤出射的荧光进行区分。因此，分析模型可以对来自预期具有有问题的细胞实体的区域的荧光而不是背景荧光进行分析。基于该分析，可以检测到目标中存在有问题的细胞实体。
除了检测目标中有问题的细胞实体的存在，分析模型还可以对有问题的细胞实体进行分类。例如，如果有问题的细胞实体是病原体，则分析模型可以标识有问题的细胞实体的革兰氏类型或种类。
本主题利用在若干参考的基于荧光的图像上训练的分析模型来检测目标中有问题的细胞实体的存在。另外，在示例中，可以在若干参考的白光图像上训练分析模型，所述若干参考的白光图像可以用于最初区分区域，例如伤口区域、骨骼区域等。随后，可以在若干参考的基于荧光的图像上训练分析模型以用于检测目标中有问题的细胞实体的存在，从而增加检测的准确性。分析模型可以忽略基于荧光的图像中的背景光和激发光，并且可以拾取基于荧光的图像中的弱荧光信息。因此，本主题消除了用于过滤背景光和激发光的发射过滤器的使用。这样，可以避免作为本公开内容的设备的一部分的滤光轮的使用。因此，本主题的设备是简单且有成本效益的。
因此，本主题使用“光计算活检”技术来提供病原体的快速、无过滤器、非侵入性、自动和原位检测和分类。光计算活检技术是其中多光谱成像与诸如机器学习模型、人工神经网络(ANN)模型、深度学习模型等的计算模型一起用于非侵入性活检以检测有问题的细胞实体并对有问题的细胞实体进行分类的技术。
本主题可以用于检测糖尿病足溃疡、手术部位感染、烧伤、皮肤和身体内部(诸如食道、胃和结肠)中有问题的细胞实体的存在。在皮肤病学、美容学、整形外科、感染管理、光动力疗法监测和抗菌敏感性测试的领域中可以使用本主题的设备。
根据以下描述、所附权利要求和附图，将更好地说明本主题的上述和其他特征、方面和优点。应当注意，说明书和附图仅仅示出了本主题的原理以及本文中描述的示例，并且不应被解释为对本主题的限制。因此，应当理解，可以设计尽管在本文中未明确描述或示出但是体现本公开内容的原理的各种布置。此外，本文中详述其原理、方面和示例的所有陈述旨在涵盖其等同物。此外，为了简单起见而非限制，在所有附图中使用相同的附图标记来指代相似的特征和部件。
在下面的说明中，已经主要参考伤口上病原体的检测和分类说明了本主题。然而，应当理解，本主题的设备可以用于检测其他样本中的病原体，其他样本例如为脓液、血液、尿液、唾液、汗液、精液、粘液、血浆。此外，设备可以用于检测荧光的时间依赖性变化，以了解病原体和坏死组织的定植(colonization)。
该设备还可以用于例如在没有病原体的医院和其他地方中检测手中和表面上的病原体的存在。该设备可以用于检测诸如食物、水果和蔬菜的可食用产品中的病原体污染。
图1示出了根据本主题的实现方式的用于检查目标102的设备100。目标102可以是被怀疑具有有问题的细胞实体例如病原体、癌组织或坏死组织的目标。目标102可以由一个或更多个细胞组成。例如，目标102可以是人体部分例如脚或手上的伤口。伤口可以被怀疑其中具有病原体，这可能导致伤口愈合延迟或可能导致伤口的感染。在另一示例中，目标102可以是被怀疑其中具有肿瘤或坏死的组织样本。在另一示例中，目标102可以是可食用产品，在将其供应以供人类消费之前，必须对其测试病原体的存在。在其他示例中，目标102可以是实验室装备、面罩、头罩、手术刀片、卫生设备、卫生装备、环境空气、生化检测芯片和微流体芯片。在下面的示例中，参考病原体来说明有问题的细胞实体，并且参考人体部分上的伤口来说明目标102。
设备100包括用于如由箭头106所指示的光照射目标102的第一光源104。光可以在合适的波长带中，特别是处于合适的波长，这可以导致目标102中的一个或更多个标志物当被照射时发荧光。在实现方式中，可以在设备100中设置激发过滤器(图1中未示出)，该激发过滤器可以从由第一光源104发射的光中过滤特定频率或特定频带。应当注意，激发过滤器不同于发射过滤器，发射过滤器用在常规设备中以用于滤除由目标响应于目标的照射而发射的频带。在示例中，光可以是紫外(UV)光、可见光或近红外(NIR)光。在示例中，用于从目标102诱发荧光的光的波长可以包括280nm、310nm、330nm、365nm、395nm、405nm、415nm、430nm、480nm和520nm。另外，在示例中，也可以使用除这些波长之外的一些其他波长。例如，在设备100可以用于了解组织氧合作用的情况下，如将关于图6(d)描述的，波长可以包括430nm、680nm、740nm和940nm。标志物可以是目标102中存在的有问题的细胞实体的一部分。
如由箭头110所指示的，由目标102响应于其照射而发射的光被图像传感器108收集。图像传感器108可以是设备100的摄像装置(图1中未示出)的一部分，并且图像传感器108可以是数字图像传感器，例如电荷耦合器件(CCD)传感器(或)数字摄像装置、互补金属氧化物半导体(CMOS)传感器(或)数字摄像装置、单光子雪崩二极管(SPAD)/雪崩光电探测器(APD)阵列、光电倍增管(PMT)阵列、近红外(NIR)传感器、红绿蓝(RGB)传感器、三维(3D)摄像装置或其组合。图像传感器108捕获由从目标102接收的光形成的图像。如果目标包括发荧光的标志物，则捕获的图像包括荧光。因此，该图像可以被称为基于荧光的图像。
设备100可以包括处理器112。处理器112可以被实现为微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路系统和/或可以基于操作指令操纵信号的任何设备。除了其他能力以外，处理器112还可以获取并执行包括在设备100的存储器(图1中未示出)中的计算机可读指令。当图像传感器108要捕获由目标102发射的光时，处理器112可以激活图像传感器108。为此，当处理器112激活用于发射光的第一光源104时，处理器112可以激活图像传感器108。
此外，在示例中，基于荧光的图像可以由设备100的处理器112来分析。为了分析基于荧光的图像，处理器112可以利用分析模型114。可以在目标的多个基于荧光的图像上训练分析模型114以用于检测目标中有问题的细胞实体的存在。用于训练分析模型114的基于荧光的图像可以被称为参考的基于荧光的图像。分析模型114还可以包括多个白光图像。分析模型114可以包括例如人工神经网络(ANN)模型，ANN模型可以是人类神经系统运行方式的简化模型，并且ANN模型可以包括布置在多个层中的若干互连节点。例如，ANN可以是诸如卷积神经网络(CNN)、生成对抗网络(GAN)、自动编码器解码器网络的深度学习模型。在另一示例中，分析模型114可以包括除了ANN模型之外的机器学习(ML)模型。在下文中，除了ANN模型之外的ML模型可以被称为ML模型。ML模型可以是例如支持向量机(SVM)模型或随机森林模型或其组合。在另一示例中，分析模型114可以包括ANN模型和ML模型二者。在其他示例中，分析模型114可以包括一个或更多个ANN模型和/或一个或更多个ML模型。
分析模型114可以分析基于荧光的图像。例如，分析模型114可以分析基于荧光的图像中荧光的波长。由于基于荧光的图像中的荧光是由于目标102中的标志物引起的，所以荧光可以指示目标102中存在的标志物。此外，由于目标102中的标志物可能是病原体的一部分，因此对基于荧光的图像的分析可以用于检测目标102中病原体的存在。该分析还可以用于确定病原体的类型，例如病原体的革兰氏类型、病原体的种类、病原体的科、病原体的属或病原体的菌株水平。
设备100还可以包括第二光源116。第二光源116可以发射不会导致目标102中的标志物发荧光的这样的波长的光(如由箭头118所指示的)。例如，第二光源116可以是可以发射白光的白光源。由第二光源116发射的光可以被目标102反射，如由箭头120所指示的。反射的光可以被图像传感器108捕获，以形成目标102的第二图像。如果第二光源116是白光源，则第二图像可以被称为白光图像。
在示例中，设备100可以包括多个偏振器(图1中未示出)。偏振器可以是允许特定偏振的光波穿过同时阻挡其他偏振的光波的光学元件。偏振器可以将未定义或混合偏振的光束调节成定义明确的偏振的光束。在示例中，偏振器可以与第一光源104集成，另一偏振器可以与第二光源116集成，并且又一偏振器可以与图像传感器108集成。偏振器的使用可以帮助减少目标102(例如伤口)的镜面反射，同时捕获白光图像。此外，在捕获基于荧光的图像时，偏振器可以实现荧光的选择性检测，并且减少来自光源104的发射的光与由目标102发射的荧光的干扰。例如，诸如与光源104集成的偏振器和与图像传感器108集成的另一光偏振器的两个偏振器可以被布置成交叉偏振器几何形状，以使来自光源104的发射的光与由目标102发射的荧光的干扰最小化。
在一些实现方式中，设备100可以包括可以发射不同波长的光的附加光源(图1中未示出)。处理器112可以控制各种光源的操作顺序以及每个光源的照射时段。设备100中的光源可以是发光二极管(LED)、激光器等。此外，设备100中的光源可以发射具有200nm至2500nm之间的波长的光。设备100可以包括发射不同波长的光的光源，因为可以导致目标中的标志物发荧光的波长可以随着标志物的不同而变化。因此，提供发射不同波长的光的光源确保了可以使多种多样的标志物发荧光，从而允许检测若干类型的病原体。
此外，除了图像传感器108之外，设备100可以包括可以是数字图像传感器的附加的图像传感器(图1中未示出)。例如，图像传感器108可以用于捕获基于荧光的图像，而另一图像传感器可以用于捕获白光图像。另一图像传感器(图1中未示出)可以用于捕获目标的三维(3D)图像。
分析模型114可以被训练成标识第二图像中的目标102。例如，如果第二图像是具有伤口的人脚的图像，则分析模型114可以标识第二图像中的伤口区域。图像中的伤口区域的标识也被称为伤口分割。
在示例中，分析模型114可以通过首先识别第二图像中的目标的类型(例如骨骼、组织、肌腱等)来校正背景荧光，并且甚至在具有显著背景荧光的目标上评估细胞异常的存在。
在实现方式中，分析模型114可以通过将第二图像与基于荧光的图像进行比较来标识基于荧光的图像中的目标102。在标识基于荧光的图像中的目标102之后，分析模型114可以分析从目标102出射的荧光以检测病原体的存在，并且可以忽略从基于荧光的图像中除了目标之外的区域出射的荧光。例如，分析模型114可以分析从伤口出射的荧光，并且可以忽略基于荧光的图像中的从邻近区域(例如骨骼、肌腱和皮肤)出射的荧光。此外，在实现方式中，分析模型114可以分析基于荧光的图像中的来自除了目标102之外的区域的荧光，并且可以基于该分析来检测其他区域中异常的存在。例如，分析模型114可以分析基于荧光的图像中的从骨骼出射的荧光，并且可以基于该分析来确定骨骼中是否存在异常。例如，如果荧光高于由骨骼通常发射的荧光，则可以确定骨骼中存在异常。
设备100可以包括用于显示检测目标中的有问题的细胞实体的存在以及有问题的细胞实体的类型的分析结果的显示器122。显示器122可以是经由一个或多个手指或触控笔接收来自用户的输入的触敏显示器。例如，设备100可以显示病原体存在于目标102中，并且可以在显示器122上显示病原体的类型。在实现方式中，分析结果可以叠加在目标102的如由图像传感器108捕获的图像上。例如，目标102的具有病原体的区域可以在基于荧光的图像上被突出显示。
在实现方式中，设备100可以被实现为便携式手持型设备。设备100可以包括计算设备，该计算设备可以包括处理器112。计算设备可以是例如智能电话或芯片上系统(SoC)或模块上系统(SoM)。如果计算设备是智能电话，则图像传感器108可以是计算设备的一部分。设备100提供病原体和组织的非侵入性、自动和原位检测和分类。如本文中所使用的，将理解的是，原位指的是在不对样本进行任何预处理的情况下对源的样本中的病原体的检测。例如，样本可以是身体部位上的伤口。在示例中，设备100可以由电源(图1中未示出)供电。
图2(a)至图2(i)示出了根据本主题的实现方式的可以用于训练分析模型114的ANN模型的参考图像集。在此，参考人脚上的伤口来说明目标102。如上所述，根据基于荧光的图像中由目标102发射的荧光，ANN模型可以用于检测基于荧光的图像中病原体的存在。为了便于检测，可以使用多个参考的白光图像和多个对应的参考的基于荧光的图像来训练ANN模型。对应于白光图像的基于荧光的图像是指如由白光图像捕获的相同区域的基于荧光的图像。因此，每个图像集包括参考的白光图像和对应的参考的基于荧光的图像。例如，图像202和图像204分别是参考的白光图像和对应的参考的基于荧光的图像。
参考的白光图像可以用该图像中的伤口的指示和/或该图像中的另一区域(诸如骨骼或皮肤)的指示来标记。例如，白光图像202的区域206被标记以指示其代表伤口区域。因此，通过在多个参考的白光图像上进行训练，ANN模型变得能够标识给定图像上的伤口、骨骼、皮肤等。
此外，通过在对应于白光图像的多个参考的基于荧光的图像上进行训练，ANN模型还能够标识基于荧光的图像上的各种区域，例如骨骼、皮肤、肉芽等，并且相应地确定伤口区域中革兰氏阴性或革兰氏阳性或病原体的类型。例如，通过在多个基于荧光的图像上进行训练并且使用与病原体的类型或革兰氏阳性病原体或革兰氏阴性病原体对应的参考标记，可以对任何新的目标图像进行分类。目标图像可以是在训练中用于理解和评估全新的目标图像或训练的准确性的图像。然后，生成第三图像，例如图像208，即ANN模型的输出。在图像208中，伤口中被检测到具有病原体的部分被突出显示。在一些示例中，伤口中不同类型的病原体以不同的阴影被突出显示。例如，在图2(d)和图2(e)中描绘的图像208中，伤口中的两种不同病原体以不同的阴影被突出显示。在示例中，可以使用不同的颜色突出显示伤口中不同类型的病原体。
在实现方式中，第三图像208中具有特定病原体的区域可以用该病原体的指示来标记。例如，图像208中具有第一病原体的区域用第一病原体的指示来标记，并且图像208中具有第二病原体的区域用第二病原体的指示来标记。因此，通过在多个图像集上进行训练，ANN模型变得能够标识在给定的基于荧光的图像中病原体的存在。
如上面提及的，分析模型114可以包括用于伤口中病原体的检测和分类的ML模型。为了训练ML模型，可以创建每个参考的基于荧光的图像的光谱图和空间图，并将其作为特征馈送至ML模型。每个空间图可以提供伤口和伤口的邻近区域的纹理、孔隙度、光泽等的信息。此外，光谱图可以提供参考的基于荧光的图像中的每个像素的或区域中的光谱强度的信息。
图3示出了根据本主题的实现方式的根据参考的基于荧光的图像的空间图和光谱图的ML模型的训练。在框302处，用诸如目标的类型(即，皮肤或伤口)、伤口区域的类型(即，蜕皮、骨骼等)、感染的病原体种类、革兰氏类型等的各种参考标记来标记参考的基于荧光的图像和参考的白光图像。在示例中，提取各种空间特征，例如伤口和邻近区域的纹理、孔隙度、诸如荧光的色调的各种光谱特征或者它们的组合。在示例中，可以单独在白光图像中执行标记。
在框304处，标记的图像被预处理。例如，图像被转换成灰度、调整大小和扩充。扩充图像可以包括旋转图像、翻转图像等。在框306处，从图像中提取各种特征，诸如空间特征、光谱特征或其组合。在一些示例中，可以从图像中提取空间特征，诸如定向梯度直方图(HOG)特征、熵特征、局部二值模式(LBP)、尺度不变特征变换(SIFT)等。类似地，在一些示例中，可以从RGB波长下的白光图像和各种激发波长下的荧光图像中提取光谱特征。对于白光图像和荧光图像，使用每个像素/区域处的红绿蓝(RGB)、色调饱和度值(HSV)值或任何其他颜色图值来提取光谱特征。在框308处，提取的空间特征和光谱特征以及标签可以被存储在数据库中。如将在下面描述的，提取的特征然后被传递到ML模型上，以用于病原体的检测和空间映射。例如，对于诸如绿脓杆菌的一些病原体，利用空间特征和激发波长，可以检测病原体。对于诸如大肠杆菌(E-coli)、克雷伯氏菌、葡萄球菌等的一些病原体，可以通过提取空间特征和光谱特征二者的组合来进行检测。
可以针对若干参考的基于荧光的图像和若干白光图像重复步骤302至308，直到达到作为目标的预定目标训练准确性。在框310处，数据库中的信息可以用于训练ML模型，该ML模型可以是SVM模型。借助于训练，SVM变得能够基于图像的提取的空间特征、光谱特征或其组合来标识给定图像中的伤口。也就是说，SVM能够执行伤口分割。在示例中，在框310之后，方法300可以包括可以用于使伤口分割的结果平滑的后处理步骤，例如连通分量标记、隐马尔可夫模型等，从而提高伤口分割的准确性。
在训练SVM模型时，可以测试SVM模型以验证它是否能够正确地标识图像中的伤口。因此，在框312处，测试图像中的感兴趣区域被选择，在框314处，测试图像被预处理，并且在框316处，测试图像的空间特征被提取。在框318处，提取的特征被馈送至SVM模型，以执行伤口分割以及有问题的细胞实体的检测和分类。随后，可以接收由SVM模型执行的伤口分割、有问题的细胞实体的检测和分类的结果。
在实现方式中，用于伤口分割的ML模型可以不同于用于病原体检测和分类的ML模型。因此，伤口分割的输出可以由第一ML模型提供给第二ML模型。第二ML模型然后可以分析由第一ML模型标识的来自伤口区域的荧光，并且然后检测伤口区域中的病原体并对其进行分类。替选地，在示例中，第二ML模型也可以使用空间特征、来自第一ML模型的关于伤口、骨骼、组织区域等的信息结合光谱特征，以用于病原体的检测和分类。
在实现方式中，分析模型114可以包括ANN模型和ML模型二者，每个模型执行不同的功能。例如，ML模型可以被训练成执行伤口分割，而ANN模型可以被训练成检测病原体并对病原体进行分类。在另一示例中，ANN模型可以根据基于荧光的图像生成光谱图像，并且如图3中描绘的ML模型可以基于生成的光谱图像检测病原体并对其进行分类。在示例中，除了基于荧光的图像之外，ANN模型还可以另外地根据白光图像和ML模型生成光谱图像。
在实现方式中，ML模型可以将伤口中的病原体分类为革兰氏阳性(GP)和革兰氏阴性(GN)病原体。此外，ANN模型可以标识伤口中病原体的种类。
图4(a)至图4(b)示出了根据本主题的实现方式的如由ANN模型检测的伤口中的病原体的分类结果。如所示出的，在基于荧光的图像中，伤口的特定区域中的病原体的指示叠加在该区域上。另外，病原体概率也可以叠加在基于荧光的图像上。
图5(a)至图5(d)示出了根据本主题的实现方式的如由ANN模型检测的伤口中的革兰氏类型病原体的分类结果。如所示出的，在基于荧光的图像中，伤口的特定区域中的病原体的革兰氏类型的指示叠加在该区域上。另外，病原体革兰氏类型概率也可以叠加在基于荧光的图像上。
在一些实现方式中，如在图6(a)至图6(c)中描绘的，显示的结果还可以包括伤口中的病原体空间分布、病原体生长状态数据、共定植数据(co-colonization data)、生物膜信息、生物标志物信息、病原体量化数据、在表面或伤口的情况下的感染的空间映射、要遵循的治疗方案或其组合。病原体生长状态数据可以从两个连续的报告数据中获得。例如，病原体状态生长数据可以从通过伤口的连续就诊(诸如第一次就诊、第二次就诊等)获得的图像中获得。可以基于在伤口的基于荧光的图像中捕获的强度来执行病原体量化数据。根据伤口的ANN模型的结果，可以从伤口的每个区域处的每种病原体的概率获得共定植数据。例如，如果两种病原体的概率在结果中相似，则确定病原体是共定植的。也就是说，如果每种病原体的概率的差异在阈值内，即病原体的概率的差异小于10％，则确定那些病原体是共定植的。显示在屏幕上的结果也可以由用户操纵、共享和存储以供将来使用，例如在云服务器上使用。
图6(a)至图6(d)示出了根据本主题的实现方式的生物膜信息、病原体生长状态数据、伤口尺寸和病原体载量以及组织氧合作用的结果。如图6(a)中所示，图像602是具有病原体铜绿假单胞菌的生物膜的截肢腿上的伤口的白光图像。当用395nm波长的光照射时，图像604是基于荧光的图像。图像606是在实现ML模型以检测存在病原体的生物膜区域608之后获得的空间叠加的彩色图像。另外，还标识了病原体的革兰氏类型。
如图6(b)中所示，病原体生长状态数据从两个(或)多个连续的报告数据中获得。例如，图像610、612、614是从伤口的连续就诊(诸如第一次就诊、第二次就诊和第三次就诊)中获得的患者脚趾上伤口的白光图像。图像616、618、620是用于检测病原体生长状态数据的由分别对应于图像610、612、614的ML模型生成的图像。从图像610至614，可以清楚地理解在随后的就诊期间伤口的感染水平的变化和不同类型的病原体的空间分布的变化。
如图6(c)中所示，图像622是具有病原体的伤口的白光图像。图像624是当用395nm波长的光照射时捕获的伤口的基于荧光的图像。图像626是在实现ML模型之后获得的空间叠加的彩色图像。如图像628中所描绘的，从ML模型，可以获得并显示伤口的长度、宽度、面积、病原体的革兰氏类型。伤口可能感染革兰氏阳性细菌(耐甲氧西林金黄色葡萄球菌(MRSA))和革兰氏阴性细菌(E-Coli)二者。获得的图像622至628对应于在伤口的第1天获得的图像。
此外，如由图像630、632、634、636所描绘的，为了跟踪伤口的变化，可以在伤口的第7天获得类似于622、624、626和628的图像。通过比较图像626与图像634以及图像628与图像636，可以跟踪伤口愈合和病原体载量变化。
此外，设备100可以提供能够用于了解伤口愈合的输出。为了确定伤口愈合，设备100可以比较在一段时间内拍摄的伤口的图像。例如，设备100可以基于白光图像和从第一次就诊(例如，在第1天)获得的对应的基于荧光的图像来检测伤口区域中存在的有问题的细胞实体并对其进行分类。类似地，设备100可以基于白光图像和从第二次就诊(例如，在第2天)获得的对应的基于荧光的图像来检测伤口区域中存在的有问题的细胞实体并对其进行分类。此外，设备100可以比较来自第一次就诊的图像和来自第二次就诊的图像，并且可以确定伤口是否已经愈合。此外，设备100还可以基于图像确定疾病预后。例如，基于从第一次就诊获得的图像和从第二次就诊获得的图像，设备100可以使用诸如ML模型、深度学习模型(例如，递归神经网络(RNN)模型、长短期记忆(LSTM))的人工智能模型来确定在未来时间段(即，第3天、第4天等)的伤口状况，并且可以由此确定要治愈感染/疾病所需的时间。
此外，设备100可以提供能够用于理解组织氧合作用的输出。对于组织氧合作用，可以使用NIR或可见波长来激发目标102，并且从目标102获得的图像作为其结果可以被处理以了解目标102中各个区域处的氧合作用。例如，处理器112可以使用分析模型114，并且可以分析由目标响应于第一光源104对目标102的照射而发射的图像。此外，处理器112可以基于该分析来检测组织中多个区域处的组织氧合作用。组织氧合作用可以包括总血红蛋白含量、氧合血红蛋白含量、脱氧血红蛋白含量、氧饱和度、血液充盈(blood profusion)等或其组合。
在示例中，如图6(d)中所描绘的，图像640表示具有伤口的第一患者的白光图像，并且图像642表示具有伤口的第二患者的白光图像。此外，图像644和图像646可以分别表示第一患者和第二患者的伤口的每个像素处的氧饱和度水平的结果。如将理解的，可以使用分析模型114来获得图像644和图像646。
设备100还可以提供能够用于理解伤口硬度的输出。可以通过分析目标102的白光图像来获得伤口硬度。
在实现方式中，设备100可以用于检测人体部分(诸如手或脚)上的胼胝。为此，分析模型114可以用人体部分的若干参考的白光图像来训练，其中身体部分中的一些具有胼胝，而身体部分中的一些没有胼胝。
在实现方式中，设备100可以包括三维(3D)深度传感器，该3D深度传感器可以捕获目标102的图像，并且还可以提供关于图像中捕获的各种实体的深度的信息。深度信息可以用于确定目标中伤口的深度。3D深度传感器可以通过使用结构光照射、飞行时间感测技术、立体视觉技术等来确定各种实体的深度。
图7(a)示出了根据本主题的实现方式的具有伤口的人腿的白光图像702和对应的3D深度图像704。如所示出的，3D深度图像704提供图像704中捕获的各种实体的深度的信息。例如，以相同的颜色显示类似深度处的实体，而以不同的颜色显示不同深度处的实体。
图7(b)示出了根据本主题的实现方式的人腿的叠加在伤口的3D图像上的荧光图像706。图像606可以实现不同深度处的荧光分布的精确可视化。
图8(a)示出了根据本主题的实现方式的用于检测3D图像中示出的部分是伤口还是皮肤的方法800。描述方法框的顺序不包括被解释为限制，并且所描述的方法框中的一些可以以任何顺序组合以实现方法800或替选方法。另外，在不脱离本文中描述的主题的范围的情况下，可以从方法800中删除一些单独的框。
在框802处，可以从图像传感器获得红绿蓝-深度(RGB-D)图像。该图像可以是将要确定所示部分是伤口还是皮肤的部分的图像。例如，3D深度摄像装置可以用于获得RGB-D图像。随后，在框804处，可以执行RGB-D图像上的点云配准。点云配准是寻找诸如缩放、旋转和平移的空间变换的过程，寻找空间变换的过程使两个点云即与RGB-D图像对应的两组数据点对准。
在框806处，可以基于点云配准来执行三角测量投影以确定3D空间中的点。此外，在框808处，可以基于三角测量投影来执行3-D深度投影。随后，在框810处，可以确定区域的3-D深度的阈值是否大于伤口的3-D深度的阈值，以确定该区域是皮肤还是伤口。例如，如果区域的3-D深度的阈值大于伤口的3-D深度的阈值，则该区域可以被确定为伤口。类似地，如果区域的3-D深度的阈值小于伤口的3-D深度的阈值，则该区域可以被确定为皮肤。3-D深度可以从在框808中执行的3-D深度投影中获得。在示例中，可以使用各种机器学习技术和深度学习技术来将伤口区域分类和分割成不同类型，例如蜕皮、骨骼、肌腱、肉芽等。在图8(b)中描绘了伤口和皮肤区域的确定。
图8(b)示出了根据本主题的实现方式的对3D图像中示出的部分是伤口还是皮肤的检测。区域820是3-D深度的阈值被确定为大于伤口的阈值的部分。因此，区域820被检测为伤口。区域822是3-D深度的阈值被确定为小于伤口的阈值的部分。因此，区域822被确定为皮肤。
如将在下面说明的，设备100可以用于检测存在于钢表面上的病原体并对其进行分类。
图9示出了根据本主题的实现方式的对钢表面上病原体的存在的检测。图像902是具有病原体的钢表面的白光图像。图像904是当用395nm波长的光照射时捕获的钢表面的基于荧光的图像。图像906是在实现ML模型之后获得的空间叠加的彩色图像。区域908被标识为存在病原体的区域。另外，还标识了病原体的革兰氏类型。
图10示出了根据本主题的实现方式的对面罩上病原体的存在的检测。图像1002是具有病原体的面罩(诸如N95面罩)的白光图像。图像1004是当用395nm波长的光照射时捕获的N95面罩的基于荧光的图像。图像1006是在实现ML模型之后获得的空间叠加的彩色图像。区域1008被标识为存在病原体的区域。另外，还标识了病原体的革兰氏类型。
图11和图12示出了根据本主题的实现方式的对头帽和手术刀片上病原体的存在的检测。图像1102、1202是分别具有病原体的头帽和手术刀片的白光图像。图像1104、1204是当用395nm波长的光照射时分别捕获的头帽和手术刀片的基于荧光的图像。图像1106、1206是在实现ML模型之后获得的空间叠加的彩色图像。区域1108、1208被标识为分别在头帽和手术刀片中存在病原体的区域。另外，还标识了病原体的革兰氏类型。
在实现方式中，设备100可以包括热传感器，热传感器用于伤口的热成像并且用于确定伤口的温度分布，如下面将描述的。
图13示出了根据本主题的实现方式的伤口的热成像的结果。图像1302是具有伤口的脚的白光图像。图像1304是伤口的从热传感器获得的热成像。图像1304中的每种颜色或每种阴影代表特定的温度。从图像1304，可以检测特定区域处的血流量。例如，从图像1304，如果检测到特定区域处的温度较高，则该区域处的血流量较高，并且如果特定区域处的温度较低，则该区域处的血流量较低。此外，在示例中，热成像可以与其他图像诸如白光图像、基于荧光的图像结合使用，以更好地理解伤口生物负荷(即，伤口上的病原体的数目)。尽管在上面的说明中，涉及病原体的检测和分类的所有步骤都被解释为在设备100中执行，但是在一些示例中，步骤中的一些可以在不同的设备中执行，所述不同的设备也被称为处理设备。
图14示出了根据本主题的实现方式的连接至处理设备1400的设备100。处理设备1400可以是在远程位置(例如在云上)设置的计算设备，例如服务器。处理设备1400可以包括计算机、服务器、云设备或其任意组合。设备100可以通过通信网络1401连接至处理设备1400。根据该实现方式，用于根据基于荧光的图像和白光图像的处理来检测病原体的存在的分析模型1414可以在处理设备1400上实现。分析模型1414可以对应于分析模型114。处理设备1400可以包括实现分析模型1414的处理器1402。因此，设备100可以捕获目标的基于荧光的图像和白光图像，并且可以将它们传输至处理设备1400。在检测病原体并对其进行分类之后，处理设备1400可以将分析的结果传输至设备100，然后设备100可以在显示器122(图14中未示出)上显示结果。
在实现方式中，设备100可以对正被发送的白光图像执行伤口分割，然后处理设备900可以对伤口执行病原体检测和分类。为了执行伤口分割，设备100可以实现分割模型1404。分割模型1404可以是被训练成执行伤口分割的ANN模型或ML模型。
图15示出了根据本主题的实现方式的用于检查目标的方法。描述方法框的顺序不包括被解释为限制，并且所描述的方法框中的一些可以以任何顺序组合以实现方法1500或替选方法。另外，在不脱离本文中描述的主题的范围的情况下，可以从方法1500中删除一些单独的框。目标可以对应于目标102。
在框1502处，可以使用设备的光源来照射目标。由目标上的光源发射的光可以处于使目标中的标志物在被照射时发荧光的波长带中。该设备包括光源、图像传感器和处理器。图像传感器可以直接接收由目标响应于光源对其的照射而发射的光。图像传感器可以捕获基于发射的光形成的基于荧光的图像。基于荧光的图像可以包括从目标出射的荧光。该设备可以对应于设备100。光源可以对应于第一光源104。图像传感器可以对应于图像传感器108，并且处理器可以对应于处理器112。
在框1504处，基于荧光的图像可以由处理器使用分析模型进行分析。可以使用多个参考的基于荧光的图像来训练分析模型，以用于检测目标中有问题的细胞实体的存在。在示例中，除了参考的基于荧光的图像之外，可以使用多个参考的白光图像来训练分析模型。分析模型可以对应于分析模型114。
在框1506处，目标中有问题的细胞实体的存在可以由处理器基于该分析来检测。为了执行该检测，分析模型可以被训练成对基于荧光的图像中的从有问题的细胞实体出射的荧光和基于荧光的图像中的从除了有问题的细胞实体之外的区域出射的荧光进行区分。
在示例中，目标可以是可食用的产品、实验室装备、卫生设备、卫生装备、生化检测芯片或微流体芯片。有问题的细胞实体可以是病原体。此外，方法1500可以包括由处理器使用分析模型在基于荧光的图像中标识目标的位置。目标中病原体的存在可以由处理器使用分析模型来检测。目标中存在的病原体可以由处理器使用分析模型进行分类。
本主题利用在若干参考的基于荧光的图像上训练的分析模型来检测目标中有问题的细胞实体的存在。另外，在示例中，可以在若干参考的白光图像上训练分析模型，所述若干参考的白光图像可以用于最初地区分区域，诸如伤口区域、骨骼区域等。随后，可以在若干参考的基于荧光的图像上训练分析模型，以用于检测目标中有问题的细胞实体的存在，从而增加检测的准确性。在示例中，分析模型也可以部署在一个或更多个计算机或服务器或云系统或其组合上，以用于使用诸如联合学习的技术进行训练，以提高准确性。分析模型可以忽略基于荧光的图像中的背景光和激发光，并且可以拾取基于荧光的图像中的弱荧光信息。因此，本主题消除了用于过滤背景光和激发光的发射过滤器的使用。因此，本主题的设备是简单且有成本效益的。
因此，本主题使用“光计算活检”技术提供了病原体的快速、无过滤器、非侵入性、自动、原位检测和分类。
本主题可以用于检测糖尿病足溃疡、手术部位感染、烧伤、皮肤和身体内部(诸如食道、胃和结肠)中有问题的细胞实体的存在。本主题的设备可以用于皮肤病学、美容学、整形外科、感染管理、光动力疗法监测和抗菌敏感性测试的领域中。
本主题可以用于使用来自外源荧光标志物的荧光来检测有问题的细胞实体。例如，外源标志物可以与诸如脱氧核糖核酸(DNA)、核糖核酸(RNA)、蛋白质、生化标志物等的细胞实体结合，这可以使目标发荧光。
尽管已经参考特定实施方式描述了本主题，但是该描述并不意味着被解释为限制意义。在参考本主题的描述之后，所公开的实施方式的各种修改以及本主题的替选实施方式对于本领域技术人员来说将变得明显。

Claims (24)

1.一种用于检查目标的设备，所述设备包括：
第一光源，所述第一光源用于发射用于照射所述目标的光，其中，所发射的光处于使所述目标中的标志物在被照射时发荧光的波长带中；
图像传感器，所述图像传感器用于直接接收由所述目标响应于所述第一光源对所述目标的照射而发射的光以及用于捕获基于所述发射的光形成的基于荧光的图像，其中，所述基于荧光的图像包括从所述目标出射的荧光；以及
处理器，所述处理器用于：
使用分析模型分析所述基于荧光的图像，其中，使用多个参考的基于荧光的图像来训练所述分析模型，以用于检测目标中有问题的细胞实体的存在；以及
基于所述分析来检测所述目标中有问题的细胞实体的存在，其中，为了执行所述检测，所述分析模型被训练成对所述基于荧光的图像中的从所述有问题的细胞实体出射的荧光和所述基于荧光的图像中的从除了所述有问题的细胞实体之外的区域出射的荧光进行区分。
2.根据权利要求1所述的设备，其中，所述设备是便携式的并且被设计成手持型的。
3.根据权利要求2所述的设备，其中，所述设备是智能电话。
4.根据权利要求1至3中任一项所述的设备，其中，所述目标是伤口区域，其中，所述有问题的细胞实体是病原体，并且其中，使用所述分析模型，所述处理器用于：
根据所述基于荧光的图像来标识所述伤口区域的位置；
检测所述伤口区域中所述病原体的存在；以及
对所述伤口区域中存在的所述病原体进行分类。
5.根据权利要求4所述的设备，其中，所述分析模型包括机器学习(ML)模型，其中，使用所述ML模型，所述处理器用于：
接收指示所述基于荧光的图像的像素的光谱强度的特征；
基于所述特征来标识所述伤口区域的位置；以及
基于所述特征将所述伤口区域中的病原体分类为革兰氏阳性病原体和革兰氏阴性病原体。
6.根据权利要求4所述的设备，其中，所述分析模型包括人工神经网络(ANN)模型，其中，使用所述ANN模型，所述处理器用于：
接收所述基于荧光的图像；以及
确定所述伤口区域中所述病原体的科、属、种类和菌株中的至少一种。
7.根据权利要求1至3中任一项所述的设备，其中，所述目标是组织样本，并且其中，所述处理器用于检测所述组织样本中的癌组织和坏死组织中的至少一种的存在。
8.根据权利要求1至3中任一项所述的设备，包括用于用白光照射所述目标的第二光源，其中，所述图像传感器用于：
直接接收由所述目标响应于所述第二光源对所述目标的照射而发射的光；以及
基于所接收的光来捕获白光图像，以及
其中，所述处理器用于基于对所述白光图像的分析来检测所述目标中异常的存在。
9.根据权利要求1至3中任一项所述的设备，其中，所述目标是伤口区域，并且其中，所述处理器用于确定以下中的至少一种：所述伤口区域的感染程度、所述有问题的细胞实体的空间分布和伤口愈合速率。
10.根据权利要求1至3中任一项所述的设备，包括用于所述有问题的细胞实体的热成像的热传感器。
11.根据权利要求1至3中任一项所述的设备，其中，所述目标是伤口区域，所述设备包括用于确定所述目标中伤口的深度的三维(3D)深度传感器。
12.根据权利要求1至3中任一项所述的设备，包括用于显示检测所述目标中有问题的细胞实体的存在的结果的显示单元。
13.根据权利要求1至3中任一项所述的设备，其中，所述目标是组织，并且其中，所述第一光源用于发射用于照射所述目标的可见光波长范围和近红外波长范围中的一种波长范围中的光，并且其中，使用所述分析模型，所述处理器用于：
分析由所述目标响应于所述第一光源对所述目标的照射而发射的图像；
基于所述分析来检测组织中多个区域处的氧合作用。
14.一种用于检查目标的系统，所述系统包括：
处理器，所述处理器用于：
接收所述目标的基于荧光的图像，其中，设备耦接至所述系统，并且其中，所述设备包括：
第一光源，所述第一光源用于发射用于照射所述目标的光，其中，所发射的光处于使所述目标中的标志物在被照射时发荧光的波长带中；
图像传感器，所述图像传感器用于直接接收由所述目标响应于所述第一光源对所述目标的照射而发射的光以及用于捕获基于所述发射的光形成的基于荧光的图像，其中，所述基于荧光的图像包括从所述目标出射的荧光；
使用分析模型来分析所述基于荧光的图像，其中，使用多个参考的基于荧光的图像来训练所述分析模型，以用于检测目标的有问题的细胞实体的存在；
基于所述分析来检测所述目标中有问题的细胞实体的存在，
其中，为了执行所述检测，所述分析模型被训练成对所述基于荧光的图像中的从所述有问题的细胞实体出射的荧光和所述基于荧光的图像中的从除了所述有问题的细胞实体之外的区域出射的荧光进行区分；以及
向所述设备传输所述分析的结果，所述结果指示所述目标中是否存在所述有问题的细胞实体。
15.根据权利要求14所述的系统，包括所述设备。
16.根据权利要求14所述的系统，其中，所述目标是伤口区域，并且其中，在传输所述基于荧光的图像之前，所述设备用于：
基于分割模型，在所述基于荧光的图像中标识所述伤口区域的位置，其中，使用用于定位伤口区域的多个参考的基于荧光的图像来训练所述分割模型，并且其中，所述分析模型用于对所定位的伤口区域中的病原体进行分类。
17.根据权利要求14至16中任一项所述的系统，其中，所述设备包括用于用白光照射所述目标的第二光源，其中，所述图像传感器用于：
直接接收由所述目标响应于所述第二光源对所述目标的照射而发射的光；以及
基于所接收的光来捕获白光图像，以及
其中，所述处理器用于基于对所述白光图像的分析来检测所述目标中异常的存在。
18.根据权利要求14所述的系统，其中，所述目标是组织，并且其中，所述第一光源用于发射用于照射所述目标的可见光波长范围和近红外波长范围中的一种波长范围中的光，并且其中，使用所述分析模型，所述处理器用于：
分析由所述目标响应于所述第一光源对所述目标的照射而发射的图像；
基于所述分析来检测组织中多个区域处的氧合作用。
19.根据权利要求14至16中任一项所述的系统，其中，所述设备包括用于所述有问题的细胞实体的热成像的热传感器。
20.一种用于训练用于分析目标的基于荧光的图像的分析模型的设备，所述设备包括：
处理器；以及
存储器，所述存储器耦接至所述处理器并且包括能够由所述处理器执行以进行以下操作的指令：
接收目标的多个参考的基于荧光的图像，其中，所述目标中的至少一些具有有问题的细胞实体；
接收与每个参考的基于荧光的图像对应的异常结果，所述异常结果指示在所述参考的基于荧光的图像中显示的目标是否具有有问题的细胞实体；以及
基于所述多个参考的基于荧光的图像和所述多个参考的基于荧光的图像的对应的异常结果来训练所述分析模型，其中，所述训练允许所述分析模型检测在第一基于荧光的图像中捕获的目标中有问题的细胞实体的存在。
21.根据权利要求20所述的设备，其中，响应于接收到参考的基于荧光的图像，所述指令能够执行以：
生成与所述参考的基于荧光的图像对应的空间图和光谱图；以及
使用所述空间图和所述光谱图来训练所述分析模型。
22.一种用于检查目标的方法，所述方法包括：
使用设备的光源照射所述目标，其中，由所述光源在所述目标上发射的光处于使所述目标中的标志物在被照射时发荧光的波长带中，并且其中，所述设备包括：
所述光源；
图像传感器，所述图像传感器用于直接接收由所述目标响应由所述光源对所述目标的照射而发射的光以及用于捕获基于所述发射的光形成的基于荧光的图像，其中，所述基于荧光的图像包括从所述目标出射的荧光；以及
处理器；
由所述处理器使用分析模型来分析所述基于荧光的图像，其中，使用多个参考的基于荧光的图像来训练所述分析模型，以用于检测目标中有问题的细胞实体的存在；以及
由所述处理器基于所述分析来检测所述目标中有问题的细胞实体的存在，其中，为了执行所述检测，所述分析模型被训练成对所述基于荧光的图像中的从所述有问题的细胞实体出射的荧光和所述基于荧光的图像中的从除了所述有问题的细胞实体之外的区域出射的荧光进行区分。
23.根据权利要求22所述的方法，其中，所述目标是可食用的产品、实验室装备、卫生设备、卫生装备、生化检测芯片和微流体芯片中的一种，其中，所述有问题的细胞实体是病原体，并且其中，所述方法包括：
由所述处理器使用所述分析模型在所述基于荧光的图像中标识所述目标的位置；
由所述处理器使用所述分析模型来检测所述目标中所述病原体的存在；以及
由所述处理器使用所述分析模型对所述目标中存在的所述病原体进行分类。
24.一种用于对用于分析目标的基于荧光的图像的分析模型进行训练的方法，每个目标具有细胞实体，所述方法包括：
接收目标的多个参考的基于荧光的图像，其中，所述目标中的至少一些具有有问题的细胞实体；
接收与每个参考的基于荧光的图像对应的异常结果，所述异常结果指示在所述参考的基于荧光的图像中显示的目标是否具有有问题的细胞实体；以及
基于所述多个参考的基于荧光的图像和所述多个参考的基于荧光的图像的对应的异常结果来训练所述分析模型，其中，所述训练允许所述分析模型检测在第一基于荧光的图像中捕获的目标中有问题的细胞实体的存在。
CN202280019876.3A 2021-02-09 2022-02-08 有问题的细胞实体的基于荧光的检测 Pending CN116964435A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN202141005558 2021-02-09
IN202141005558 2021-02-09
PCT/IN2022/050107 WO2022172290A1 (en) 2021-02-09 2022-02-08 Fluorescence-based detection of problematic cellular entities

Publications (1)

Publication Number Publication Date
CN116964435A true CN116964435A (zh) 2023-10-27

Family

ID=82838411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280019876.3A Pending CN116964435A (zh) 2021-02-09 2022-02-08 有问题的细胞实体的基于荧光的检测

Country Status (9)

Country Link
US (2) US11830190B2 (zh)
EP (1) EP4291875A1 (zh)
JP (1) JP2024508046A (zh)
CN (1) CN116964435A (zh)
AU (1) AU2022219444A1 (zh)
BR (1) BR112023015956A2 (zh)
CA (1) CA3207696A1 (zh)
IL (1) IL305007A (zh)
WO (1) WO2022172290A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3207696A1 (en) * 2021-02-09 2022-08-18 Bala PESALA Fluorescence-based detection of problematic cellular entities
CN115393348B (zh) * 2022-10-25 2023-03-24 绵阳富临医院有限公司 一种基于图像识别的烧伤检测方法、系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008866A1 (en) 2004-07-09 2006-01-12 Emerge Interactive, Inc. Apparatus and method for detecting human fecal contamination on hands and other objects using an illumination imaging device
US20090245603A1 (en) 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
PT2291640T (pt) * 2008-05-20 2019-02-26 Univ Health Network Dispositivo e método para imagiologia e monitorização baseados em fluorescência
EP3500679A4 (en) * 2016-08-19 2020-03-18 Monash University SPECTROSCOPIC SYSTEMS AND METHODS FOR IDENTIFYING AND QUANTIFYING PATHOGENS
WO2018173073A1 (en) 2017-03-22 2018-09-27 Adiuvo Diagnostics Pvt Ltd Device and method for detection and classification of pathogens
AU2017415626B2 (en) * 2017-10-17 2020-08-06 Kronikare Pte Ltd System and method for facilitating analysis of a wound in a target subject
US11727560B2 (en) 2018-02-02 2023-08-15 Moleculight Inc. Wound imaging and analysis
WO2020159913A1 (en) * 2019-01-29 2020-08-06 Rensselaer Polytechnic Institute System for early detection of plant disease
WO2020210746A1 (en) * 2019-04-12 2020-10-15 Invenio Imaging, Inc. Imaging system for detection of intraoperative contrast agents in tissue
CN116829057A (zh) * 2021-02-02 2023-09-29 高露洁-棕榄公司 用于组织的多光谱3d成像和诊断的系统和装置及其方法
CA3207696A1 (en) * 2021-02-09 2022-08-18 Bala PESALA Fluorescence-based detection of problematic cellular entities

Also Published As

Publication number Publication date
WO2022172290A1 (en) 2022-08-18
US20240046474A1 (en) 2024-02-08
US20220292677A1 (en) 2022-09-15
BR112023015956A2 (pt) 2023-10-24
JP2024508046A (ja) 2024-02-21
IL305007A (en) 2023-10-01
EP4291875A1 (en) 2023-12-20
US11830190B2 (en) 2023-11-28
AU2022219444A1 (en) 2023-09-21
CA3207696A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US20230394660A1 (en) Wound imaging and analysis
US20240046474A1 (en) Fluorescence-based detection of problematic cellular entities
EP3171765B1 (en) Collection and analysis of data for diagnostic purposes
Kim et al. Detection of skin tumors on chicken carcasses using hyperspectral fluorescence imaging
CN113518910A (zh) 用于多模态成像和分析的模块化系统
CN102099671A (zh) 用于基于荧光的成像和监测的装置和方法
JP2005524072A (ja) 生体スペクトル画像化システムおよび細胞の病態の診断方法
JP2012135240A (ja) 細菌コロニー同定装置およびその方法
TWI631532B (zh) 檢測系統及其檢測方法
US20200121243A1 (en) System and method for diagnosing soft tissue conditions
CN113631076B (zh) 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质
Radhakrishnan et al. Rapid handheld screening device to detect skin and soft tissue infections
US20240027417A1 (en) System and method for assessing biological tissue
WO2024095284A1 (en) Systems and methods for detection of cellular entities
US20220120676A1 (en) Multispectral sample analysis using absorption signatures
WO2023064627A1 (en) System and method for assessing biological tissue
Propp et al. Dual-excitation fluorescence imaging system for contamination detection in food facilities
JP7482732B2 (ja) 診断目的のためのデータの収集および解析
US20240008807A1 (en) Wound care image analysis using light signatures
WO2022147064A1 (en) Multispectral sample analysis using fluorescence signatures
Black Application of Multispectral Imaging Combined with Data Analytics to Detect Carcass Condemnations during Poultry Processing
WO2022162702A1 (en) Pathogenic susceptibility assessment based on autofluorescence
Niphadkar et al. Estimation of detection limit for size of citrus canker lesions based on hyperspectral reflectance imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination