CN117615701A - 用于组织特性的三维光谱成像的技术 - Google Patents

用于组织特性的三维光谱成像的技术 Download PDF

Info

Publication number
CN117615701A
CN117615701A CN202280048088.7A CN202280048088A CN117615701A CN 117615701 A CN117615701 A CN 117615701A CN 202280048088 A CN202280048088 A CN 202280048088A CN 117615701 A CN117615701 A CN 117615701A
Authority
CN
China
Prior art keywords
tissue sample
image data
sfdi
location
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048088.7A
Other languages
English (en)
Inventor
赫雷贝什·莫利·苏布哈什
小本尼·E·乌尔班
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colgate Palmolive Co
Original Assignee
Colgate Palmolive Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colgate Palmolive Co filed Critical Colgate Palmolive Co
Publication of CN117615701A publication Critical patent/CN117615701A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4547Evaluating teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

公开了用于可以指示组织样品的至少一种特性的成像设备的技术。所述设备可以将光投射在组织样品上。所述设备可以控制组织样品的高光谱荧光图像数据的捕获。所述设备可以控制组织样品的空间频率域成像(SFDI)图像数据的捕获。所述设备可以处理高光谱荧光图像数据和SFDI图像数据的第一计算重叠。所述设备可以基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来确定组织样品的第一位置的一种或更多种特性。所述设备可以基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来生成组织样品的第一位置的2D或3D空间视觉表示。

Description

用于组织特性的三维光谱成像的技术
相关申请的交叉引用
本申请要求于2021年7月14日提交的美国临时专利申请第63/221,634号的权益,其全部内容出于所有目的在此通过引用并入本文。
背景技术
牙组织问题例如牙周病和龋齿通常由口中的某些细菌物种引起,所述细菌物种与唾液中存在的蛋白质相互作用以形成覆盖牙齿的被称为牙菌斑的膜。如果这种生物膜累积发展,则由细菌产生的酸可能侵袭牙齿,从而导致蛀牙。牙菌斑还可能侵袭口的软齿龈组织,从而导致影响齿龈的牙龈炎或者可能影响所有软组织和支撑牙齿的骨的牙周炎。
脱水皮肤是另一种不期望的组织病症,当不治疗时,其可能由于缺少弹性而导致皮肤的瘙痒、龟裂和出血。龟裂皮肤和出血皮肤可能潜在地导致组织的感染和炎症。在一些情况下,干燥皮肤是可能触发湿疹的特应性皮炎的指标。从长远来看,干燥皮肤可能导致永久性龟裂和不美观的外观以及其他健康问题。
发明内容
公开了用于可以被配置成指示组织样品的至少一种特性的成像设备的技术。成像设备可以包括存储器和/或发光投射仪。成像设备可以包括相机和/或处理器。处理器可以被配置成将至少一些光投射在组织样品上。处理器可以被配置成控制组织样品的高光谱荧光图像数据的捕获,所述高光谱荧光图像数据至少对应于组织样品中的第一位置。
处理器可以被配置成控制组织样品的空间频率域成像(spatial frequencydomain imaging,SFDI)图像数据的捕获。SFDI图像数据可以至少对应于组织样品中的第一位置。处理器可以被配置成处理高光谱荧光图像数据和SFDI图像数据的第一计算重叠。第一计算重叠可以包括组织样品中的至少第一位置。
处理器可以被配置成至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来确定组织样品的至少第一位置的一种或更多种特性。处理器可以被配置成至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来生成包括组织样品的至少第一位置的二维(2D)空间视觉表示或三维(3D)空间视觉表示。
公开了用于指示组织样品的至少一种特性的一种或更多种技术/方法的技术。一种或更多种技术可以通过成像设备执行,其中成像设备可以包括存储器、发光投射仪、相机和/或处理器。一种或更多种技术可以包括将至少一些光投射在组织样品上。
一种或更多种技术可以包括控制组织样品的高光谱荧光图像数据的捕获。高光谱荧光图像数据可以至少对应于组织样品中的第一位置。一种或更多种技术可以包括控制组织样品的空间频率域成像(SFDI)图像数据的捕获。SFDI图像数据可以至少对应于组织样品中的第一位置。
一种或更多种技术可以包括处理高光谱荧光图像数据和SFDI图像数据的第一计算重叠。第一计算重叠可以包括组织样品中的至少第一位置。一种或更多种技术可以包括至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来确定组织样品的至少第一位置的一种或更多种特性。
一种或更多种技术可以包括至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来生成可以包括组织样品的至少第一位置的二维(2D)空间视觉表示或三维(3D)空间视觉表示。
附图说明
通过参照以下结合附图进行的本公开内容的各种实例的描述,本文包含的要素和其他特征、优点和公开内容以及获得它们的方式将变得明显,并且将更好地理解本公开内容,其中:
图1为正弦光栅结构的示例性照明图案的图示。
图2A、图2B和图2C示出了原始高光谱图像、RGB图像和光谱通道的示例性图像。
图3A为用于指示组织样品的至少一种特性的示例性技术的流程图。
图3B为用于指示组织样品的至少一种特性的示例性技术的流程图。
图4为可以控制成像/扫描设备的一个或更多个部分和/或由成像/扫描设备执行的技术的示例性设备的硬件配置的框图。
图5示出了明场成像、背景成像、图案照明成像和SFD吸收图成像的实例。
图6A、图6B和图6C示出了大视场(field-of-view,FOV)3D高光谱成像设备和配置的实例。
图7A和图7B示出了紧凑型2D或3D快照高光谱成像探针设备的实例。
图8示出了具有另外的分析组件的图7A和图7B的紧凑型2D或3D快照高光谱成像探针设备的实例。
图9示出了示例性Hy-F-SFDI系统/设备的示例性示意图。
图10为Hy-F-SFDI系统从模型样品散射的示例性强度分布和照明图案。
图11为Hy-F-SFDI系统/设备数据处理的示例性技术流程图。
图12A和图12B示出了原始高光谱荧光图像和明场图像以及光谱成像的超立方体的实例。
图13A、图13B和图13C示出了数周内在502nm光谱通道下的映射组织吸收系数的Hy-F-SFDI分析结果。
图14A、图14B、图14C和图14C示出了在牙龈的不同部分处计算的总的Hb、HbR、HbO和黑色素的体积分数变化的实例。
图15A、图15B、图15C和图15D示出了来自受试者/志愿者的Hy-F-SFDI分析的示例性实验CIE-LAB和荧光结果。
具体实施方式
为了促进对本公开内容的原理的理解,现在将参照附图中示出的实例,并且将使用特定语言来对其进行描述。然而,将理解,不旨在由此限制本公开内容的范围。
组织健康问题可以采取许多形式,例如蛀牙、口腔癌、牙周病、黑素瘤、痤疮、感染、黑素瘤和干燥皮肤。目前对于开发可以为组织病症的早期检测和诊断提供三维(3D)结构、功能和光谱信息的灵敏且准确的定量诊断工具存在未满足的需求。
牙龈炎为齿龈的炎症,其特征在于发红、肿胀、出血和敏感性。这些变化由生物膜沿牙龈边缘的累积和免疫系统对破坏性细菌副产物释放的炎症响应引起。牙龈炎导致增多的血管分布以及血管结构、血液动力学、组织氧合以及周围组织颜色和形状的形态学变化。在疾病进展和对治疗的响应期间,监测和评估牙龈的局部炎症血液动力学特征例如组织氧饱和度(StO2)、总组织血红蛋白(tHb)、脱氧血红蛋白(Hb)、氧合血红蛋白(HbO2)、牙龈形状和尺寸,对于理解病理生理学是至关重要的。牙龈炎的早期阶段用非处方产品进行彻底的适当治疗而是可逆转的。然而,在没有充分的口腔卫生的情况下,可能发展成慢性感染和牙周炎。
监测和评估组织水合和炎症可用于确定组织健康并预防脱水皮肤。用非处方皮肤水合产品治疗脱水皮肤可以预防不期望的皮肤组织效应。然而,不同的干燥皮肤阶段、不同的身体区域和不同的组织类型从各种可以改善组织健康的专用产品中受益更多。
目前不存在可用于以及时的3D定量方式监测组织健康的指标例如形态变化、体内功能信息和丰富的光谱信息的动力学的当前可靠的临床成像系统。不存在可以基于定量诊断结果做出特定推荐的与这样的设备/系统结合使用的自动化方法。
光学扫描仪成像技术显示出具有用于组织形态的高分辨率3D建模能力的宽范围诊断应用的前景。然而,目前用于临床应用的3D扫描仪技术应用传统的红绿蓝(red-green-blue,RGB)传感器或单色传感器来进行3D成像。RGB传感器可能无法测量对于诊断许多类型的组织状况所必需的较高水平的光谱信息。最近已采用3D手持扫描仪探针技术用于口腔和颌面区域中硬组织和软组织的临床诊断。这些扫描仪可以采用颜色传感器和图像拼接算法来重建彩色的大视场图像。
在一种或更多种情况下,可以使用3D扫描仪以纵向监测与其中颜色和形态受到影响的牙龈和牙齿中的腔相关的疾病。然而,目前的3D扫描仪技术仅可以提供组织的结构和RGB纹理信息,以及/或者可能无法提供关于生理参数的关键信息,例如血红蛋白的氧饱和度、氧代谢率、水合、胶原密度或表面下血管造影术。组织氧合、血管造影术、水合和胶原密度是诊断异常状况中的重要参数。
高光谱成像是已在生物学诊断中得到应用的成像模态。高光谱成像可以检测较深地穿透到组织中的波长,从而允许表面下组织成像。可能由于高水平光谱数据以及其他原因,使用高光谱成像,功能成像是可能的。高光谱成像是指通常使用1D或2D阵列检测器进行光谱成像的光谱成像技术(例如点扫描、线扫描和快照高光谱成像)的集合。高光谱成像已经广泛地应用于用于确定作物健康的农业、用于矿物确定的地质学、用于原子组成确定的天文学、用于化学成像的环境和化学科学以及用于数字分类的工业机器视觉。高光谱成像还在用于眼睛诊断的生物医学成像(眼底成像)和皮肤健康评估中得到应用。然而,高光谱宽场成像不能区分样品的吸收/散射特性,并且还缺少3D空间成像能力。
空间频率域成像(SFDI)是用于在混浊介质中将吸收与散射定量分离的技术。SFDI采用空间频率域用于光学特性的空间映射。如图1所示,在SFDI中,将周期性结构光投射到样品上。可以使用2D阵列检测器(未示出)来捕获背散射/反射的光。2D阵列的每个像素起到点测量的作用以确定样品对应点的光学特性。这种技术消除了对光栅扫描的需要。在对检测器上的光进行数字记录之后,使用玻尔兹曼输运方程的波长相关扩散近似法对不同组织层的光学特性进行数学确定。这使得SFDI能够体内映射黑色素浓度并监测血液动力学,并进一步允许表面下成像到组织中。
SFDI设备/系统可以使用宽带照明源结合可调滤波器和/或可调照明源以及单色检测器来确定组织光学特性。然而,这些方法增加了图像采集时间并限制了其中快照成像至关重要的临床应用的应用。另外,通过应用三角测量算法/计算重叠算法,使用来自SFDI的相同频率模式,3D图像重建是可能的。
可以克服前述限制和/或问题的系统、设备和/或技术可以是有用的。本文描述的设备/系统/技术可以将快照高光谱成像与SFDI和三角测量/计算重叠相结合,可能例如以允许组织的3D非侵入性体内光谱成像。本文描述的一种或更多种技术可以用于组织健康诊断、纵向疾病监测、产品/药物功效研究和/或产品推荐。
本文的主题描述了组织成像和/或诊断系统/设备/技术和/或用于自动化产品选择的方法/技术/设备。例如,本文描述的一些设备/技术适合于对用于诊断和/或监测组织状况的组织形态、色谱和功能信息进行成像。一种或更多种设备/技术可以评估组织状况并返回不同组织区的得分,并基于评分和区位置向用户推荐护理产品。一种或更多种设备/技术可以将诊断信息馈送至消费者产品的云数据库。数据库可以包含关于对于诊断个体/状况而言最佳的消费者产品的信息。数据库可以为诊断个体提供关于推荐产品的信息,例如成分、使用频率和/或剂量。诊断数据、产品推荐和信息可以被直接发送至诊断个体的移动设备或者直接从计算机显示器读取。可以由用户输入和反馈做出另外的/替代的产品建议,例如过敏和/或产品不适。
本文描述了用于同时对多维结构进行光谱成像,量化计时和功能信息(包括血管血液动力学、组织氧浓度)的一种或更多种设备/方法/技术以及基于组织区评分用于自动化产品选择的方法。所述设备/技术可以利用空间频率域成像、高光谱成像和位置三角测量/计算重叠的组合原理来确定组织特性。所述设备/技术可以利用一个或更多个高光谱相机,其具有集成的多波长激光二极管(LD)和/或LED阵列和/或连续或脉冲的宽带照明源,以及集成的光整形/图案化/调制设备例如数字微镜器件(digital micromirror device,DMD)阵列、数字光处理(digital light processing,DLP)阵列、光栅、投射仪、光学部件或掩模,以将集成光源图案化。
计算机视觉算法可以使用由所述设备/技术产生的数据以将组织分割成不同的区。所述设备/技术可以使用机器学习算法以基于组织特性为每个区分配得分。可以使用所述区和/或得分以从产品数据库中选择最佳产品。选择过程可以是自动的。可能例如在产品选择之后以及其他情况下,经由计算机屏幕或用户移动设备将组织参数、产品推荐、产品信息和产品使用信息显示给用户。一种或更多种设备/技术可以允许对组织形态、组织解剖、组织水合、组织胶原、组织功能、组织氧合-脱氧和总血红蛋白进行常规测量,从而允许更明智的产品决策和应用。作为诊断工具,一种或更多种设备/技术还可以有助于组织状况的纵向监测。
本文描述的一种或更多种设备/技术可以提供定量组织诊断和/或产品推荐。例如,所述设备/技术可以诊断组织状况。
所述设备构成用于同时图像采集和2D光谱映射的快照高光谱相机。图像和光谱信息可以经由线缆或无线信号传输至计算机。所述设备可以包括用于照明组织的宽带或单色图案化照明源。照明源可以是单一的或者激光器、LED、LD、SLED、弧光灯或白炽灯的阵列。照明波长可以在紫外线至远红外,包括短波长红外的范围内。照明源可以是连续的或脉冲的。可以使用DMD阵列、DLP阵列、光栅、投射仪、光学部件或掩模来将照明源图案化。入射的图案化光可以被图案化为光栅、网格、直线、对角线、曲线、条、方格或圆形结构。如图1所示,照明图案的实例可以为正弦光栅结构。
在一种或更多种情况下,可能例如对于正弦光栅结构照明,可以通过I(x,y,z)=Io(z)cos(ωxx+Φx)cos(ωyy+Φy)对照明强度进行建模,其中I为测量的强度,Io为样品处的强度,ω为调制频率,ω=2πf,以及Φ为相位。对于仅在x维度上调制照明强度的情况,该方程简化为:I=Io(z)cos(ωxx+Φx)。可以使光相位偏移多次以覆盖全部k空间。在实例中,相位可以以的步长偏移。可以在照明源和高光谱相机的前面放置偏振器或类似光学部件以抑制可能导致测量误差的镜面反射。可以在照明源的前面放置另外的光学部件以准直、聚焦、散焦、放大或缩小照明。可以在照明图案的每次相位偏移期间获取新的图像。在一些实例中,可以使图案的频率改变和/或相位偏移多次以更好地与组织的光学吸光度、反射率和/或传输长度接近。
在从不同的相位和频率模式获取一个或更多个(例如,全部)高光谱图像之后,可以将数据传输至计算机用于处理。对于处理,可以在高光谱数据立方体中获取(例如,首先获取)高光谱图像,然后将其分割,其中如图2A、图2B和图2C所示,可以通过图像各自的波长通道将图像(例如,所有图像)分离。图2A示出了原始高光谱图像的实例。图2B示出了RGB图像的黑白表示的实例。图2C示出了光谱通道的实例。为了改善测量,可以从所有图像中减去光学背景。可以通过对以单一频率获取的图像的三个相位求和来恢复DC强度图像IDC可以使用方程/>来恢复AC强度分量。在处理中,还可以使用因非平面表面引起的沿非调制维度的相位偏移通过利用三角测量/计算重叠的原理来进行体积确定。可以针对高光谱数据立方体中可用的每个波长重复该过程。针对每个波长的测量调制强度可以用于确定利用空间频率域(SFD)成像的原理得到了组织的有效散射系数μ′s、吸收系数μa和光学相关长度lc。图5中示出了关于明场成像、背景成像、图案照明成像和SFD吸收图成像的实例。
然后,可以使用每个测量波长处的吸收和散射使用例如计算机算法来三维定量地映射组织特性。这些波长可以包括在可见光、近红外、短波红外范围、远红外和/或毫米波长处的氧-脱氧血红蛋白吸收峰、等吸收点、水、脂质和胶原吸收峰。
图6A示出了例如基于SFDI和位置三角测量/计算重叠的大FOV 3D快照高光谱成像设备的一个实例。该设备/系统可以具有一个或更多个高光谱相机604和一个或更多个用于照明样品608的结构化照明器606。在一种或更多种情况下,可以将镜子610定位在样品608的周围以得到快照3D高光谱图像(未示出)。相机604可以经由有线或无线连接而连接至计算机(未示出)。计算机可以计算组织样品在可从相机604获得的一个或更多个或每个光谱波长下的吸收/反射特性,以及/或者可以使用数学三角测量/计算重叠将光学特性映射至其3D空间位置。当采用镜子610用于360度成像时,在一个或更多个或每个相位和/或频率下,快照(例如,仅单个快照)可能是有用的/需要的。在一种或更多种情况下,例如,如果扫描,则拼接可能是有用的/必需的。图6B示出了用于面部组织数据采集的设备的另一个实例。在图6B中,可以使用颌托612以使患者/样品608稳定,从而减少图像伪影,如经由图6C中的视图所示。
图7A和图7B示出了紧凑型3D快照高光谱成像探针设备的实例。探针可以具有集成的结构化照明设备和/或高光谱相机。模块700可以旨在用于手持实施。微控制器单元(microcontroller unit,MCU)和/或微处理器单元(microprocessor unit,MPU)(未示出)可以容纳在设备700的基座701中并且可以通过模块700的柄部703上的输入端口702来编程。探针头部704可以包括设备的光学部件、电光学部件、光机械部件和/或机械组件(未示出)。探针头部704可以围绕接近模块700中心的轴点705在0度至90度之间旋转。在探针的端部可以定位有照明和收集端口706。
在柄部703上可以定位有图像采集按钮707。可以用窗口708保护照明和收集端口706。窗口708可以由可对照明波长透明或接近透明的材料制成。如图8所示,模块700可以经由有线803或无线连接而连接至具有显示器802的计算机801。
可以使用外部电线803或内部电池(未示出)向探针供应电力。MCU和/或MPU可以将数据流注至计算机801。可以通过板载(onboard)MCU和/或MPU对数据进行预分析。在一些实例中,可以首先将数据传输至计算机801,然后对其进行分析。可以在可从相机(未示出)获得的每个光谱波长下分析组织样品806的光学特性和/或使用数学三角测量/计算重叠将其映射至其3D空间位置。一种或更多种算法可以将快照图像自动拼接在一起以生成较大的视场。该探针可以很好地适用于体内临床诊断或研究,并且可以用于例如口腔应用以及其他应用。
如图3B所总结,一种或更多种设备/系统可以包括采用用于组织评分和产品推荐的一种或更多种技术。在一种或更多种技术中,可以使用机器学习算法来为映射的组织特性分配得分。例如,组织特性得分可以包括诸如以下的特性:身体油浓度、血液氧合、组织氧合、组织水合、脱皮、胶原密度、脂质浓度、痤疮、烧伤严重性、日光损伤、皱纹、酒渣鼻、细菌浓度、致癌作用、胶原结构、表面下血管造影术、皮疹严重性和/或皮肤色素沉着。在一些实例中,可以使用例如面部和全身扫描、计算机视觉和机器学习来检测面部或身体的特定部分,例如眼睛、眶周区域、脸颊、鼻子、嘴唇、前额、耳朵、颌和其他区域。在一个实例中,机器学习算法可以将区域分类成不同的区。可以根据从诊断设备获取的组织特性对每个区进行评分。在该方法中,自动化算法可以访问存储在计算机或云上的产品数据库。
在一种或更多种情况下,访问的数据库可以包含用于组织治疗的多种产品。从诊断、评分和区得到的光学特性可以用于进行自动化的特定产品推荐和/或改善用户信息。可以将所选择的产品信息例如名称、成分、使用区域、使用频率、剂量、目的、价格和/或预期结果显示(例如,立即显示)在计算机屏幕上以及/或者发送至用户的无线设备和/或电子邮件。为了用户的利益,可以用新产品和/或关于功效的统计信息来更新(例如,不断更新)数据库。例如,所述方法可以允许用户反馈以改善产品选择。用户反馈可以来自用户给出的对产品或成分的特异性过敏、皮肤敏感性和/或以前用不同其他产品的经验。设备用户/患者可以将这样的信息输入到计算机程序或移动设备应用中。例如,当进行产品推荐时,机器学习算法可以并入反馈。
参照图3A,图表300示出了用于指示组织样品的至少一种特性的示例性技术。该技术/方法/过程可以通过成像设备以及其他设备来执行。成像设备可以包括存储器、发光投射仪、相机和/或处理器。在302,该过程可以开始或重启。
在304,成像设备可以将至少一些光投射在组织样品上。在306,成像设备可以控制组织样品的高光谱荧光图像数据的捕获。高光谱荧光图像数据可以至少对应于组织样品中的第一位置。
在308,成像设备可以控制组织样品的空间频率域成像(SFDI)图像数据的捕获。SFDI图像数据可以至少对应于组织样品中的第一位置。在310,成像设备可以处理高光谱荧光图像数据和SFDI图像数据的第一计算重叠。第一计算重叠可以包括组织样品中的至少第一位置。
在312,成像设备可以至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来确定组织样品的至少第一位置的一种或更多种特性。在314,成像设备可以至少部分地基于高光谱荧光图像数据和SFDI图像数据的第一计算重叠来生成可以包括组织样品的至少第一位置的二维(2D)空间视觉表示或三维(3D)空间视觉表示。在316,该过程可以停止或重启。
参照图3B,图表350示出了可能基于施加至一个或更多个区的得分来指示针对组织样品的一个或更多个不同区的产品和/或产品推荐的示例性技术。该技术/方法/过程可以通过成像设备以及其他设备来执行。成像设备可以包括存储器、发光投射仪、相机和/或处理器。成像设备可以与本地通信网络和/或互联网通信。在352,该过程可以开始或重启。
在354,成像设备可以使用高光谱相机获取光谱和/或成像数据。在356,成像设备可以处理数据和/或可以计算一种或更多种样品组织特性。在358,成像设备可以将样品组织分割成一个或更多个区。一个或更多个区可以与特定产品相关。
在360,成像设备可以为一个或更多个或每个区分配至少一个得分。在362,成像设备可以访问针对一个或更多个或每个区的在线产品数据库。在364,成像设备可以例如基于区和/或得分来生成一种或更多种推荐产品/产品信息的一个或更多个列表。
在366,成像设备可以将一种或更多种推荐和/或一个或更多个产品信息发送至对应于组织样品的受试者的移动电子设备和/或可能例如与成像设备相关联的显示设备。在368,该过程可以停止和/或重启。
图4为例如可以起到本文描述的成像设备中的一者或更多者的过程控制设备/逻辑控制器的作用的示例性设备的硬件配置的框图。硬件配置400可以可操作以促进从设备的内部服务器传递信息。硬件配置400可以包括处理器410、存储器420、存储设备430和/或输入/输出设备440。组件410、420、430和440中的一者或更多者可以例如使用系统总线450来互连。处理器410可以处理用于在硬件配置400内执行的指令。处理器410可以为单线程处理器或者处理器410可以为多线程处理器。处理器410可以能够处理存储在存储器420和/或存储设备430中的指令。
存储器420可以在硬件配置400内存储信息。存储器420可以为计算机可读介质(computer-readable medium,CRM),例如非暂时性CRM。存储器420可以是易失性存储单元和/或可以是非易失性存储单元。
存储设备430可以能够为硬件配置400提供大容量存储。存储设备430可以为计算机可读介质(CRM),例如非暂时性CRM。存储设备430可以例如包括硬盘设备、光盘设备、闪存和/或一些其他大容量存储设备。存储设备430可以为硬件配置400外部的设备。
输入/输出设备440可以为硬件配置400提供输入/输出操作。输入/输出设备440(例如,收发器设备)可以包括以下中的一者或更多者:网络接口设备(例如,以太网卡)、串行通信设备(例如,RS-232端口)、一个或更多个通用串行总线(USB)接口(例如,USB 2.0端口)和/或无线接口设备(例如,802.11卡)。输入/输出设备可以包括被配置成向一个或更多个网络(例如,本地网络、互联网等)发送通信和/或从所述一个或更多个网络(例如,本地网络、互联网等)接收通信的驱动器设备。输入/输出设备400可以与可以靠近硬件配置400和/或可以远离硬件配置400的一个或更多个输入/输出模块(未示出)通信。一个或更多个输出模块可以以数字信号形式、离散信号形式、TTL形式、模拟信号形式、串行通信协议、现场总线协议通信和/或其他开放或专有通信协议等提供输入/输出功能。
相机设备460可以为硬件配置400提供数字视频输入/输出能力。相机设备460可能例如经由系统总线450可以与硬件配置400的元件中的任一者通信。相机设备460可以捕获数字图像和/或可以扫描各种类型的图像,例如通用产品代码(Universal Product Code,UPC)代码和/或快速响应(Quick Response,QR)代码,以及如本文描述的其他图像。在一种或更多种情况下,相机设备460可以与本文描述的其他相机设备中的任一者相同和/或基本上相似。
相机设备460可以包括至少一个麦克风设备和/或至少一个扬声器设备。相机设备460的输入/输出可以包括音频信号/数据包/组件,其可能例如与相机设备460的视频信号/数据包/组件分离/可分离,或者其中一些(例如可分离的)与相机设备460的视频信号/数据包/组件结合。相机设备460可以起到用于本文描述的成像设备中的一者或更多者的成像相机(例如,高光谱相机以及其他种类的成像相机)的作用。
相机设备460还可以检测可能靠近相机设备460和/或可能与相机设备460处于相同的一般空间(例如,同一房间)中的一个或更多个人的存在。相机设备460可以测量可被相机设备460检测到的一个或更多个人的一般活动水平(例如,高活动、中等活动和/或低活动)。相机设备460可以检测被相机设备460检测到的一个或更多个人的一个或更多个一般特征(例如,身高、体形、肤色、脉搏、心率、呼吸计数等)。例如,相机设备460可以被配置成识别一个或更多个特定的人。
相机设备460可以与硬件配置400有线和/或无线通信。在一种或更多种情况下,相机设备460可以在硬件配置400的外部。在一种或更多种情况下,相机设备460可以在硬件配置400的内部。
在一种或更多种情况下,本文描述的设备和/或技术中的任一者可以在2D诊断和/或3D诊断中实施。
本文描述了用于组织(例如,皮肤组织、口腔组织等)的及时诊断的高光谱成像系统。被称为例如高光谱-荧光-空间频率域成像(Hyperspectral-Fluorescence-SpatialFrequency Domain Imaging,Hy-F-SFDI)的系统/设备可以结合空间频率域成像、定量光荧光和/或CIELAB颜色测量中的一种或更多种原理/技术。Hy-F-SFDI可以通过将牙龈组织血红蛋白体积分数、硬组织龋齿、细菌活性和/或白度量化来证明。Hy-F-SFDI可以采用安装在定制平台上的紧凑型LED投射仪、激发LED和16通道高光谱相机用于组织成像。可以使用双层蒙特卡罗(Monte Carlo)方法来生成用于快速组织分析的查找表。对于临床应用说明/实例以及其他应用,所述系统/设备可以用于在不同时间点对受试者/志愿者的口腔卫生进行体内诊断。
能够对生物发色团浓度进行及时、定量的体内映射的光谱成像系统的开发可以积极影响健康诊断和/或药物开发。生物发色团例如血液的变化是疾病和/或发病率的指标。因此,发色团的时间映射可以在临床上用于监测和/或诊断疾病和/或病理以及测量药物功效。临床上可应用的光谱成像系统/设备的开发可能有益于组织健康诊断和/或药物开发。这样的设备/系统在临床应用中应用光谱成像的至少一个技术挑战在于长的图像采集时间和/或有限的视场(FOV)。
用于(例如,大)FOV光谱成像的一种或更多种技术可以为快照高光谱成像。快速图像采集可以通过使运动伪影最小化来改善光谱分析。运动伪影可能导致可以用于发色团映射的后续图像中的空间失配。快照高光谱成像可以利用宽带照明,将光谱术的负担置于相机上,而常规光谱成像可能需要光源或调谐滤波器的耗时复用。
光谱成像可以为体积组织中的光学吸收和散射提供二维卷积测量。至少一种用于组织光学特性的定量确定的方法可以是将发色团和组织的吸收分量和散射分量分离。
空间频率域成像(SFDI)可以为可将样品的吸收分量和散射分量分离的基于反射的成像技术。SFDI可以用于吸收和/或散射特性的定量确定。例如,尽管改变存在,但是SFDI可以依赖于测量不同相位和频率下投射条纹图案的吸收的光的百分比和/或调制深度的变化。通过描述照明场,其中r为照明场在照明平面上的中心位置以及ωr为照明场的以每单位长度的弧度计的空间频率。当与组织模型结合时,SFDI对于组织发色团(黑色素和血红蛋白)的体内定量测量可以是高度精确的。然而,SFDI限于在检测器光谱范围内具有高光学吸收的发色团(例如针对可见光的黑色素和血红蛋白)。
相比之下,定量光荧光(quantitative light fluorescence,QLF)可以为可针对使用基于反射的技术难以检测的发色团的基于荧光的成像技术。QLF可以在临床上用于定性地评估口腔组织健康指标,例如特定组织病变区域、由细菌活性产生的卟啉和硬组织矿化的变化。将高光谱成像和QLF相结合可以允许识别荧光发色团光谱特征。在硬组织荧光的情况下,可以利用荧光光谱的形状以将组织健康分类。在一种或更多种情况下,口腔中硬组织健康的光谱分类可以使用光谱探针来进行和/或使用RGB相机利用荧光强度来定性地检测。
定量发色团映射技术高光谱-荧光-SFDI(Hy-F-SFDI)可以通过利用光学吸收、散射和/或荧光光谱映射来增加可测量的发色团的数量。所述系统/设备可以利用快照高光谱成像进行及时(0.6Hz)多模态SFDI和荧光成像以研究口腔中的组织健康和卫生。可以将SFDI结果与蒙特卡罗方法相结合用于黑色素浓度和血红蛋白体积分数的体内定量确定。可以利用光谱反射和吸收进行硬组织的CIELAB测量。可以使用荧光信息来检测细菌活性(卟啉)和硬组织健康。如本文所述,系统/设备可以提供将SFDI和荧光组合到单个平台中用于映射口腔硬组织参数和/或软组织参数的多模态快照高光谱成像系统。
图9示出了示例性Hy-F-SFDI系统/设备902的示意图。对于SFDI和明场照明,可以使用紧凑型LED投射仪(例如,P2-A,AAXA Technologies)。来自LED投射仪的光在入射到样品上之前可以被引导穿过偏振器。对于低频分量和高频分量,可以将样品上的图案化光分别以0mm-1和0.2mm-1的空间频率投射。可以将每个投射图案入射到样品上持续100毫秒。可以获取80毫秒积分时间的一个或更多个图像,这可以在每个投射图案之后10毫秒开始。
图10示出了从用于SFDI的示例性有机硅模型样品获取的图像。除了两个背景图像(未示出)之外,针对SFDI还可以获取总计五个图像(2个明场,3个结构光)。可以将两个明场图像平均化并将其用于与解调的AC图像进行比较。对于荧光成像,可以使用1200mW 405nmLED(例如,M405LP1,Thorlabs)来激发样品。激发光可以穿过(例如,首先穿过)漫射器用于均质化。光在穿过线性偏振器(例如,25.5AUF,Schneider Kreuznach)并且入射到样品上之前,可以使用聚光器透镜对其进行整形。可以在80毫秒积分时间时获取两个或更多个(例如,两个)荧光图像。
可以使来自样品的背散射光和/或荧光在通过透镜(例如,C1614-M,Pentax)收集并用16通道高光谱相机(例如,MQ022HG-IM-SM4X4-VIS,Ximea)检测之前穿过交叉偏振器。包括电子延迟的九个图像采集时间可以为约1.7秒。所测量的高光谱相机通道的中心峰值的范围可以为464nm至636nm(中心峰值:464nm、468nm、477nm、487nm、502nm、512nm、524nm、538nm、562nm、573nm、586nm、598nm、611nm、620nm、632nm、636nm),并且半峰全宽的光谱带宽的范围可以为12nm至22nm。
可以使用一种或更多种算法(例如,在LabVIEW、LabVIEW 2019、NationalInstruments中编写)以将光学照射和相机采集同步。可以使用DAQ设备(例如,USB-6211,National Instruments)来触发相机采集并激发LED照明,同时可以使用来自主机的串行命令来处理投射仪控制。可以收集一个或更多个图像(例如,九个图像)进行分析(2个明场图像、3个结构光、2个荧光、2个背景)。可以使用80毫秒的积分时间来收集各个图像。可以选择照明强度和/或积分时间以避免相机饱和,同时允许足够的信号。图像采集可以开始和结束于照明之后和之前10毫秒以允许光源稳定化。由于软件延迟和硬件响应,包括背景图像的总样品图像采集时间可以为约1.7秒。
一种或更多种情况,可以进行高光谱图像校准和/或预处理。可以使用在Matlab中编写的例程来执行图像校准和处理。图11示出了至少三种分析/测量技术的示例性流程1102。可以对高光谱相机进行校准以分析高光谱图像。相机制造商使用Matlab程序向原始图像(例如,图12A)供应校正矩阵。可以使用连接至声光调制器(acousto-opticmodulator,AOM)的超连续光谱激光器(例如,SuperK Extreme,NKT)来测量各个通道的光谱响应。可以使激光传输穿过Hy-F-SFDI系统并从反射标准物(例如SG3151,SphereOptics)反射。可以使用AOM在相机的光谱范围内以1nm步长控制波长。可以在一个或更多个或每个波长水平下获取一个或更多个图像。
可以将激光器的平均输出功率和照明区域在波长内保持恒定以测量系统响应。可以将背景图像平均化并将其从样品图像(例如,所有样品图像)中减去以除去系统噪声。可以将每个高光谱快照图像(2048×1088像素)转换成512×272×16的超立方体(例如,图12B)。可以对公司提供的校正矩阵进行调节以解决选择通道中的显著光谱串扰。对于血红蛋白和黑色素拟合,由于可能未在后处理中充分校正的光谱串扰而可能丢弃蓝色通道(464nm、468nm、477nm、487nm)。
图11示出了Hy-F-SFDI系统/设备的处理流程。可以首先获取原始数据。在处理中,可以应用校正矩阵和/或可以将数据转换成超立方体。可以创建SFDI散射和/或吸收、CIELAB和/或荧光图。可以应用一个或更多个参数计算算法来生成结果。
可以通过使用高光谱相机测量MacBeth颜色检查器(例如,ColorCheckerClassic,X-Rite)的吸收光谱并将该光谱与从亚纳米分辨率光谱仪(例如,USB2000+VIS-NIR-ES,Ocean Optics)获取的光谱进行比较来检查光谱校准。
可能例如为了校正来自光源和系统设置以及其他原因的不均匀照明,可以在样品平面处测量投射仪和/或激发LED的强度分布。对于投射仪照明,可以使投影光从反射标准物反射。对于激发LED,可以从均质的有机硅样品中照射和/或测量荧光。使用反射率校准标准物,可以将投射仪光分布谱在视场(FOV)内归一化并针对仪器响应进行校正:
其中I为图像,I暗色为背景图像,以及I白色为白色反射率标准物图像。可以通过用原始图像除以归一化的强度场来对荧光强度分布进行后校正。在最终结果中可以不考虑样品表面的曲率,并且如果存在显著的曲率,则可能导致误差。在一种或更多种情况下,可以使用成像平面中可能(例如,仅)相对平坦的区域用于分析。
图12A示出了从受试者/志愿者获取的原始高光谱荧光(上)图像和明场(下)图像的一个实例。显示了原始数据中由图像中的虚线方块指示的放大图像以示出像素上的4×4滤波器矩阵。可以视觉上将卟啉发射与硬组织和软组织周围的原始荧光图像区分开(例如,在明场中可能不明显)。图12B示出了显示检测器的光谱成像能力的重建超立方体的一个实例。
对于SFDI分析,可以使用单频三相SFDI来测量样品的吸收系数和减小的散射系数。可以修改开源SFDI Matlab代码(开放的SFDI)以用于与高光谱相机和定制的蒙特卡罗(MC)查找表(lookup table,LUT)一起使用。本文已经描述了SFDI的原理。为了提取表面下光学特性,使用以下解调方程恢复高频数据的AC分量(MAC):
其中I1,A、I2,A和I3,A为高频结构化图像。可以将图像的DC分量计算为:
其中MAC,反射为由反射标准物测量的调制的AC分量,以及Rd,反射为同一标准物的测量的漫反射率。
可以使用反向正向MC模拟以创建LUT,从而由SFDI吸收系数(μa)和减小的散射系数(μ′s)确定发色团浓度。MC模拟可以使用双层模型。MC模型可以使用绝对漫反射率值以求解唯一的μa值和μ′s值。MC模型可以具有五个变量以对测量的数据进行拟合。可以认为第一层包含所有的黑色素而没有血液,而可以认为第二层包含血液而没有黑色素。可以在模拟中改变黑色素分数(C黑色素)、血液分数(C血液)、血氧饱和度(Sb)和/或口腔粘膜上皮厚度(T)以创建预期的μa和μ′s。针对μa和μ′s,可以将模拟值放置在高光谱相机的每个光谱通道的MCLUT中。该模拟可以使用来自LUT的最佳光谱拟合以与使用发色团和组织的已知吸收系数和散射系数的高光谱图像中的每个像素处的黑色素分数、血液分数和氧饱和度接近:
μa(λ)=M*μ黑色素(λ)+B*SO2(λ)+B*(1-SO2)*μ(λ)
其中散射通过两层的Henyey-Greenstein相函数描述:
在此,如本领域中理解的,a为波长定标因数,以及β为散射功率。在一种或更多种情况下,可能例如由于来自红色光的显著串扰以及其他原因而导致在MC分析中可能无法使用蓝色通道(464nm、468nm、477nm、487nm)。
高光谱相机可以使用明场图像对CIE-LAB 1976测量结果进行校准。可以将每个4×4高光谱像素转换成CIE-LAB 1976颜色体系的XYZ值。可以将XYZ值转化成LAB值。可以使用Matlab中编写的例程来进行处理。可以通过测量MacBeth颜色检查器的CIE-LAB值来验证校准。可以使用Macbeth颜色检查器的方块1至10对值进行校准。可以使用方块11至18来确定校准并避免过度拟合。对于均质测量,可以在MacBeth颜色检查器的选定部分上的10×10方块中对100个像素进行平均化。可以使用中性色(方块19至24)对L进行校准并将其缩放至相机动态范围。
如本文所述,对于荧光分析,可以获取荧光光谱。可以将光谱校正矩阵应用于荧光图像以用于校准。可以使用获取的光谱以区分可以具有光谱(例如,良好记录的光谱)的龋齿、卟啉、牙本质和牙釉质。荧光可以检测口腔中的植入物。由于可以对来自卟啉和龋齿的低红色荧光进行后校正,因此可以将蓝色通道并入荧光分析中。
可以使用均质模型来验证Hy-F-SFDI系统测量μa和μ′s的能力。可以使用反向倍增法(IAD)测量有机硅模型的μa和μ′s。在一种或更多种情况下,可以使用单个积分球(例如,819C-SL-5.3-CAL2,Newport)用于样品和参照目标的透射和吸收测量。可以使用超连续光谱激光器结合AOM,以MC模拟中使用的光谱通道的中心波长照射样品。为了测量吸收和透射的光,可以将光谱仪联接至具有多模光纤的积分球(79-100272-00,C Technologies Inc.)的检测器端口。可以将样品均匀地切割成1mm厚度并且准直的激光束直径可以为2mm。
可以例如从志愿者获取口腔组织的体内Hy-F-SFDI测量结果。可以在不同的时间点和不同的口腔卫生条件下取两次测量结果。可以在志愿者的正常卫生方案期间从志愿者获取基线测量结果。可以从同一志愿者在为了诱发轻度组织炎症而不刷牙三周之后获取第二测量结果。可以在这两个时间点由牙科专家对受试者/志愿者进行口腔检查以测量前牙周围齿龈的牙龈指数(gingival index,GI)。为了使受试者/志愿者的口腔保持固定在成像平面中的校正距离处,可以使用具有头带的颌托。为了使牙龈和硬组织暴露,受试者/志愿者可以在成像时段期间佩戴面颊牵开器。受试者/志愿者可以佩戴安全护目镜以防止眼睛暴露于激发LED。受试者/志愿者可以在图像采集期间保持静止以减少运动伪影。图像采集可以持续1.7秒,包括在SFDI和荧光图像之后获取的背景图像的200毫秒。Hy-F-SFDI组织分析可能限于成像平面的相对平坦的区域,该区域可以容易地被照明以减少距离变化引起的误差。
表1示出了用于相关光谱通道的皮肤模拟模型的IAD和Hy-F-SFDI测量的示例性结果。IAD和Hy-F-SFDIμa和μ′s测量结果在整个光谱上可能是相似的。除了636nm通道之外,减小的散射系数测量结果通常可能在5%误差内。在两种技术中,吸收系数测量结果可能相对一致。586nm通道和较低的μa值可能具有(例如,显著的)误差。该误差可能是由于对于IAD实验使用了窄带激光器以及对于Hy-F-SFDI实验使用了宽LED。通道的较大带宽可能导致显著不同的μa和μ′s值。在一种或更多种情况下,在经后校正的Hy-F-SFDI中可能存在一些光谱串扰,这可能引起最终测量结果的误差。虽然已知IAD具有实验误差,但是可以将其用作研究中的标准。
表1.平均的Hy-F-SFDI测量的光学系数与IAD测量的光学系数
图13A、图13B和图13C示出了来自不刷牙三周之前和之后受试者/志愿者口腔的Hy-F-SFDI的单个通道分析。可以对口腔的μa和μ′s进行映射。可以将由图13A和图13B中的白色虚线框指示的上牙龈中的区域的μa和μ′s平均化并在图13C中绘制出其在光谱范围内的基础数据和三周数据。在曲线图中,在这两个时间点可以区分出吸收的显著变化和散射的不太显著的变化。
图13A示出了针对基础(上图)时间点和3周(下图)时间点的在502nm光谱通道下的映射组织吸收系数。图13B示出除减小的散射系数之外与图13A中相同。图13C示出了各光谱通道的平均的吸收系数和减小的散射系数的曲线图。数据由图13A和图13B中白色虚线框中指示的区域平均化。
样品运动可能不是体内Hy-F-SFDI的重要因素。快速采集时间和具有头部限制器的稳定颌托可以使成像期间志愿者的移动最小化。虽然系统/设备可能需要总计九个图像来完成诊断,但是对于SFDI模态而言,仅五个图像可能是有用的/必需的。在五个有用的/必需的图像中,至少两个图像可以是背景并且可能对目标的运动不敏感。SFDI采集的总时间可以为0.9秒(1.1Hz)。该时间可以通过使用DC图像的求和高频分量、增加照明强度、减少检测器积分时间以及减少软件和硬件延迟来改善。
SFDI模态成像速率可能基本上被投射仪DMD阵列限制为每个图像30Hz(对于所有五个SFDI图像为6Hz)。添加较快的DMD阵列和/或降低位分辨率可以使采集速率加倍(对于所有SFDI,>12Hz)。较高的帧速率可以使实时监控血红蛋白成为可能。高光谱快照相机可能为了光谱信息而牺牲分辨率。较低的分辨率可以有助于减少重建图像中的明显运动伪影和/或可能阻止较小脉管系统的结构评估。较高像素数相机可以克服分辨率限制和/或可能产生较大的例如来自运动的误差。
如图14A、图14B、图14C和图14C所示,可以计算牙龈的不同部分处的总Hb、HbR、HbO和黑色素的体积分数变化。可以在每个高光谱像素处使用对氧合血液、脱氧血液和黑色素发色团的MC拟合以确定发色团浓度。如图14A、图14B和图14C所示,使用MC结果,可以在每个时间点生成发色团图。为了理解组织的局部区域中的发色团浓度可以如何变化,可以在两个时间点在口腔中的14个位置处确定发色团的平均值。可以在由图14A中的点指示的位置处对4×4像素区域进行平均化。
图14A示出了基础(上)时间点和三周(下)时间点的氧合血液图。图14B示出了除脱氧血液之外与图14A相同的情况。图14C示出了除黑色素之外与图14A相同。图14D示出了氧合血液体积分数(左)、脱氧血液体积分数(中间)和黑色素摩尔浓度(右)的测量结果。由图14A中的白点指示测量的位置。误差棒表示平均值的标准误差(standard error of themean,SEM)。
可以通过匹配相应白光图像中的特征来估计在两个图像(例如,图14A)中的位置。虽然可能没有彻底研究口腔的大视场血液体积图,但是测量值(图14C中示出)可能在预期的生物学范围内。比较可以显示牙龈边缘附近的氧合血液体积分数的显著变化(ΔHbO=+0.210),而脱氧血液(ΔHbR=+0.033)和黑色素浓度(Δ黑色素=+0.0023mM)可能没有显著变化。定量结果可以与前牙的平均测量GI得分(基础=1.25,最终=2.08)一致,其定性地显示出增加的炎症。由于由肿胀引起的组织构象变化和系统的微小排列变化,可以预期黑色素的小变化。可以将分析限于组织的相对平坦的区域以限制曲率引起的误差。
图15A、图15B、图15C和图15D示出了来自受试者/志愿者的Hy-F-SFDI分析的示例性CIE-LAB和荧光结果。如图15A所示,可以使用CIE-LAB校准程序生成颜色校正的白光图像(如针对黑色和白色视图而调节)。可以测量17颗充分暴露的牙齿的CIE-LAB值。使用国际标准组织命名系统(ISO系统),可以为测量的牙齿分配数字11至14、21至23、31至35和41至45。可以如图15B所示共同绘制CIE-LAB值。对于“a*”和“b*”值,测量结果可以分别在-0.3至2.1的范围和1.9至14.4的范围内。每颗牙齿的强度测量结果L可以在42至91的范围内。与真实牙齿相比,位置14、35和45的牙齿植入物可以具有最高的L值(真实牙齿可以具有74.3的平均L值)。
图15C中示出的荧光成像可以识别植入物,因为植入物没有荧光。如图15D所示,高光谱荧光成像可以捕获牙本质、牙菌斑和龋齿的光谱特征。当与健康牙本质荧光(图15C,从右边第二个白色虚线框)相比时,根据严重性,表面龋齿的光谱(图15C,从右边第四个白色虚线框)可以通过具有轻微牙菌斑峰(例如,以630nm为中心,未示出)的龋齿位移峰来表征,而牙菌斑(图15C,从右边第一个白色虚线框)可以通过卟啉发射峰(未示出)来区分。
基于荧光的龋齿严重性测量可能未在文献中标准化,而是通常可以利用红色和绿色通道的强度差或比率来进行。可以使用ICDAS II标准将龋齿严重性分为不同水平(0-健康,6-严重蛀牙)。在分类测量中,可以对其中可能存在龋齿发射的红色光谱通道(620nm、632nm和636nm通道)进行求和,以及可以对指示健康组织的数个绿色光谱通道(487nm、502nm和512nm)进行求和,以创建红色和绿色得分。可以将红色和绿色得分相除以得到一个比率,该比率可以诊断关于ICDAS II等级的水平。可以利用一种或更多种技术来匹配现有的分类方法。光谱映射可以实现可用于测量龋齿严重性的龋齿评估的额外维度。
图15A、图15B、图15C和图15D示出了组织卫生的白光和自动荧光分析。图15A示出了口腔的重建白光图像(针对黑白视图而调节)。图15B示出了17颗可见牙齿的CIELAB测量结果。磨牙植入物在重建图像中具有较高的L值。图17C示出了显示硬组织、龋齿和卟啉荧光的伪彩色(针对黑白视图而调节)荧光图像。图15D示出了口腔的不同部分的测量光谱。在由图15A中的框指示的区域中对光谱进行平均化。
如本文所述,Hy-F-SFDI可以有益于口腔健康的纵向临床研究和口腔产品功效研究,这些研究需要定量功能信息和细菌活性用于作用模式分析。已证明了Hy-F-SFDI的优势可以为大视场、及时成像和同时检测比单独的可见SFDI更多发色团的能力。呈现了Hy-F-SFDI的无接触、体内多模态成像的能力。Hy-F-SFDI可以用于生成发色团组织浓度、细菌活性、硬组织的定量纵向图,并且可以在口腔中测量CIE-LAB颜色值。本文描述的一种或更多种配置可以为体内口腔组织诊断提供(例如,相对简化的)非侵入性方法。在一种或更多种情况下,考虑到表面曲率,通过实施三维SFDI可以改善系统精确性和/或适用性。
本公开内容的主题及其组成部分可以通过指令来实现,所述指令在执行时使一个或更多个处理设备执行本文描述的过程和/或功能。这样的指令可以例如包括解释指令(例如脚本指令例如JavaScript或ECMAScript指令)或者可执行代码,和/或存储在计算机可读介质中的其他指令。
本说明书和/或附图中描述的主题和/或功能操作的实施可以在数字电子电路,在计算机软件、固件和/或硬件(包括本说明书中公开的结构及其结构等同物)中和/或它们中的一者或更多者的组合中提供。本说明书中描述的主题可以被实现为用于通过数据处理设备执行和/或控制数据处理设备的操作的一个或更多个计算机程序产品,例如在有形程序载体上编码的计算机程序指令的一个或更多个模块。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言和/或说明性语言或程序语言)来编写。其可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程和/或适合在计算环境中使用的其他单元。计算机程序可能与文件系统中的文件对应或者可能不与文件系统中的文件对应。程序可以存储在保存其他程序和/或数据(例如,存储在标记语言文档中的一个或更多个脚本)的文件的一部分中,专用于所讨论的程序的单个文件中和/或多个协调文件(例如,存储一个或更多个模块、子程序或代码的部分的文件)中。计算机程序可以被部署为在一个计算机或多个计算机上执行,所述一个计算机或多个计算机可以位于一个站点处或分布在多个站点和/或通过通信网络互连。
本说明书和/或附图中描述的过程和/或逻辑流可以由执行一个或更多个计算机程序的一个或更多个可编程处理器来执行,以通过对输入数据进行操作和/或生成输出来执行功能,从而将该过程与特定机器(例如,编程为执行本文描述的过程的机器)连接起来。过程和/或逻辑流也可以由专用逻辑电路(例如FPGA(field programmable gate array,现场可编程门阵列)和/或ASIC(application specific integrated circuit,专用集成电路))来执行,并且设备也可以被实现为专用逻辑电路(例如FPGA(现场可编程门阵列)和/或ASIC(专用集成电路))。
适合于存储计算机程序指令和/或数据的计算机可读介质可以包括所有形式的非易失性存储器、介质和存储设备,举例来说包括半导体存储设备(例如,EPROM、EEPROM和/或闪存设备);磁盘(例如,内部硬盘或可移动磁盘);磁光盘;和/或CD ROM和DVD ROM盘。处理器和/或存储器可以由专用逻辑电路补充,或并入专用逻辑电路中。
虽然本说明书和附图包含许多具体实施细节,但这些不应被解释为对任何发明的范围和/或可以要求保护的范围的限制,而是作为对可以特定于所描述的示例性实施方案的特征的描述。本说明书中在不同的实施方案的情境下描述的某些特征也可以在可能一个实施方案中以组合实现。在可能一个实施方案的情境下描述的各个特征也可以以多个组合单独地或以任何合适的子组合实现。尽管特征可以如上描述为以某种组合起作用和/或可能甚至(例如,最初地)要求保护如此,但是在一些情况下所要求保护的组合中的一个或更多个特征可以从该组合中删除。所要求保护的组合可以涉及子组合和/或子组合的变体。
虽然在附图中操作可以以一定顺序描绘,但是这不应当被理解为要求这样的操作以所示的特定顺序或以连续顺序执行,和/或执行所有示出的操作以实现有用的结果。所描述的程序组件和/或系统通常可以一起集成在单个软件产品中和/或打包到多个软件产品中。
已经描述了本说明书中描述的主题的实例。除非另外明确指出,否则可以以不同的顺序执行权利要求中记载的动作并且仍然实现有用的结果。例如,附图中描述的过程不需要所示出的特定顺序和/或连续顺序来实现有用的结果。在一种或更多种情况下,多任务和并行处理可能是有利的。
虽然已经在附图和上述描述中详细举例说明和描述了本公开内容,但其应被认为在特征方面是说明性的而不是限制性的,应理解,仅示出和描述了某些实例,并且期望保护落入本公开内容的精神内的所有改变和修改。

Claims (20)

1.一种成像设备,被配置成指示组织样品的至少一种特性,所述成像设备包括:
存储器;
发光投射仪;
相机;和
处理器,所述处理器被配置成至少:
将光投射在所述组织样品上;
控制所述组织样品的高光谱荧光图像数据的捕获,所述高光谱荧光图像数据至少对应于所述组织样品中的第一位置;
控制所述组织样品的空间频率域成像(SFDI)图像数据的捕获,所述SFDI图像数据至少对应于所述组织样品中的所述第一位置;
处理所述高光谱荧光图像数据和所述SFDI图像数据的第一计算重叠,所述第一计算重叠包括所述组织样品中的至少所述第一位置;
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠来确定所述组织样品的至少所述第一位置的一种或更多种特性;以及
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠来生成以下中的至少一者:包括所述组织样品的至少所述第一位置的二维(2D)空间视觉表示或三维(3D)空间视觉表示。
2.根据权利要求1所述的设备,其中所述高光谱荧光图像数据还至少对应于所述组织样品中的第二位置,以及所述SFDI图像数据还至少对应于所述组织样品中的所述第二位置,所述处理器还被配置成:
处理所述高光谱荧光图像数据和所述SFDI图像数据的第二计算重叠,所述第二计算重叠还包括所述组织样品中的至少所述第二位置;以及
至少部分地基于所述第二计算重叠来确定所述组织样品的至少所述第二位置的一种或更多种特性,所述二维(2D)空间视觉表示或所述三维(3D)空间视觉表示中的所述至少一者还包括所述组织样品的至少所述第二位置,所述空间视觉表示还至少部分地基于所述第二计算重叠。
3.根据前述权利要求中任一项所述的设备,其中所述处理器还被配置成:
基于所述高光谱荧光图像数据来生成所述组织样品的至少第一可视觉解读的图像,所述组织样品的所述第一可视觉解读的图像描绘所述组织样品中的至少所述第一位置;以及
基于所述(SFDI)图像数据来生成所述组织样品的至少第二可视觉解读的图像,所述组织样品的所述第二可视觉解读的图像描绘所述组织样品中的至少所述第一位置。
4.根据前述权利要求中任一项所述的设备,其中所述处理器还被配置成使得所述二维(2D)空间视觉表示或所述三维(3D)空间视觉表示中的至少一者还包括所述组织样品中的至少所述第一位置的指示。
5.根据前述权利要求中任一项所述的设备,其中所述处理器还被配置成:
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠来识别对应于所述组织样品中的至少所述第一位置的至少一种状况。
6.根据权利要求15所述的设备,其中所述处理器还被配置成使得所述二维(2D)空间视觉表示或所述三维(3D)空间视觉表示中的至少一者还包括对应于所述组织样品中的所述第一位置的所述至少一种状况的指示。
7.根据权利要求5或6所述的设备,其中所述处理器还被配置成使得所述至少一种状况为以下中的一者或更多者:牙菌斑、蛀牙、牙龈炎、牙周炎、脱水皮肤、特应性皮炎、湿疹、适当的组织状况、良好的组织状况、或优异的组织状况。
8.根据前述权利要求中任一项所述的设备,其中所述组织样品的至少所述第一位置的所述一种或更多种特性为以下中的至少一者:光学吸收、光学散射、身体油浓度、血液氧合、组织氧合、组织水合、脱皮、胶原密度、脂质浓度、痤疮、烧伤严重性、日光损伤、皱纹、酒渣鼻、细菌浓度、致癌作用、胶原结构、表面下血管造影术、皮疹严重性、或皮肤色素沉着。
9.根据前述权利要求中任一项所述的设备,其中所述组织样品为以下中的至少一者:皮肤组织或口腔组织。
10.根据权利要求9中任一项所述的设备,其中所述至少一种状况对应于所述口腔组织的牙科疾病。
11.根据前述权利要求中任一项所述的设备,其中所述相机为高光谱相机。
12.根据前述权利要求中任一项所述的设备,其中所述光投射仪包括以下中的至少一者:发光二极管(LED)投射仪、宽带照明源、数字微镜器件(DMD)阵列、或数字光处理(DLP)阵列。
13.根据前述权利要求中任一项所述的设备,其中所述高光谱荧光图像数据和所述SFDI图像数据还对应于所述组织样品的基本全部,所述处理器还被配置成:
将所述组织样品分割成一个或更多个区;
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据来确定以下中的至少一者:所述一个或更多个区中的每一者的一种或更多种特性、或者所述一个或更多个区中的每一者的一种或更多种状况;以及
基于以下中的至少一者来为所述一个或更多个区中的每一者分配得分:所述一个或更多个区中的每一者的所述一种或更多种特性、或者所述一个或更多个区中的每一者的所述一种或更多种状况。
14.根据权利要求13所述的设备,其中所述设备与互联网通信,以及所述处理器还被配置成:
至少部分地基于所述一个或更多个区中的至少一些的所述得分来对与所述一个或更多个区中的所述至少一些对应的一种或更多种治疗产品发起基于互联网的搜索。
15.根据前述权利要求中任一项所述的设备,其中所述处理器被配置成使得所述组织样品的所述高光谱荧光图像数据或所述组织样品的所述SFDI图像数据中的至少一者的捕获为体内捕获。
16.一种通过成像设备执行的指示组织样品的至少一种特性的方法,所述成像设备包括存储器、发光投射仪、相机和处理器,所述方法包括:
经由所述投射仪将光投射在所述组织样品上;
经由所述处理器控制所述组织样品的高光谱荧光图像数据的捕获,所述高光谱荧光图像数据至少对应于所述组织样品中的第一位置;
经由所述处理器控制所述组织样品的空间频率域成像(SFDI)图像数据的捕获,所述SFDI图像数据至少对应于所述组织样品中的所述第一位置;
经由所述处理器处理所述高光谱荧光图像数据和所述SFDI图像数据的第一计算重叠,所述第一计算重叠包括所述组织样品中的至少所述第一位置;
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠,经由所述处理器确定所述组织样品的至少所述第一位置的一种或更多种特性;以及
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠,经由所述处理器生成以下中的至少一者:包括所述组织样品的至少所述第一位置的二维(2D)空间视觉表示或三维(3D)空间视觉表示。
17.根据权利要求16所述的方法,其中所述高光谱荧光图像数据还至少对应于所述组织样品中的第二位置,以及所述SFDI图像数据还至少对应于所述组织样品中的所述第二位置,所述方法还包括:
经由所述处理器处理所述高光谱荧光图像数据和所述SFDI图像数据的第二计算重叠,所述第二计算重叠还包括所述组织样品中的至少所述第二位置;以及
至少部分地基于所述第二计算重叠,经由所述处理器确定所述组织样品的至少所述第二位置的一种或更多种特性,所述二维(2D)空间视觉表示或所述三维(3D)空间视觉表示中的所述至少一者还包括所述组织样品的至少所述第二位置,所述空间视觉表示还至少部分地基于所述第二计算重叠。
18.根据权利要求16或17所述的方法,还包括:
基于所述高光谱荧光图像数据,经由所述处理器生成所述组织样品的至少第一可视觉解读的图像,所述组织样品的所述第一可视觉解读的图像描绘所述组织样品中的至少所述第一位置;以及
基于所述(SFDI)图像数据,经由所述处理器生成所述组织样品的至少第二可视觉解读的图像,所述组织样品的所述第二可视觉解读的图像描绘所述组织样品中的至少所述第一位置。
19.根据权利要求16至18中任一项所述的方法,还包括:
经由所述处理器在所述二维(2D)空间视觉表示或所述三维(3D)空间视觉表示中的至少一者上生成所述组织样品中的至少所述第一位置的指示。
20.根据权利要求16至19中任一项所述的方法,还包括:
至少部分地基于所述高光谱荧光图像数据和所述SFDI图像数据的所述第一计算重叠,经由所述处理器识别对应于所述组织样品中的至少所述第一位置的至少一种状况。
CN202280048088.7A 2021-07-14 2022-07-01 用于组织特性的三维光谱成像的技术 Pending CN117615701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163221634P 2021-07-14 2021-07-14
US63/221,634 2021-07-14
PCT/US2022/035982 WO2023287599A1 (en) 2021-07-14 2022-07-01 Technologies for three-dimensional spectroscopic imaging of tissue properties

Publications (1)

Publication Number Publication Date
CN117615701A true CN117615701A (zh) 2024-02-27

Family

ID=82839471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048088.7A Pending CN117615701A (zh) 2021-07-14 2022-07-01 用于组织特性的三维光谱成像的技术

Country Status (3)

Country Link
EP (1) EP4370019A1 (zh)
CN (1) CN117615701A (zh)
WO (1) WO2023287599A1 (zh)

Also Published As

Publication number Publication date
WO2023287599A1 (en) 2023-01-19
EP4370019A1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
US9706929B2 (en) Method and apparatus for imaging tissue topography
KR102251749B1 (ko) 효율적인 변조 이미지 진단
JP2016535654A (ja) 歯周病検出システムおよび方法
JP6317919B2 (ja) カラーホイールを用いたスペクトルイメージング
US9480424B2 (en) Systems and methods for measuring tissue oxygenation
JP6755831B2 (ja) 肌状態の評価方法
US10470694B2 (en) Systems and methods for measuring tissue oxygenation
CN116829057A (zh) 用于组织的多光谱3d成像和诊断的系统和装置及其方法
CN106725263B (zh) 应用于内窥镜系统的成像方法
JP2013212247A (ja) 皮膚測定システム
Usenik et al. Evaluation of cross-polarized near infrared hyperspectral imaging for early detection of dental caries
Urban et al. Multimodal hyperspectral fluorescence and spatial frequency domain imaging for tissue health diagnostics of the oral cavity
Jolivot Development of an imaging system dedicated to the acquisition analysis and multispectral characterisation of skin lesion
Jakovels et al. RGB mapping of hemoglobin distribution in skin
CN117615701A (zh) 用于组织特性的三维光谱成像的技术
Holmer et al. The ability of hyperspectral imaging to detect perfusion disorders
CA3210287A1 (en) Dental imaging system and image analysis
US20240090772A1 (en) Intraoral Diagnostic Device and Method of Using Same
JP2019025292A (ja) 肌状態の評価方法
JP2024521948A (ja) 組織を照射するシステム及び方法
TWM455474U (zh) 複數波長之斷層成像系統
Dolotov et al. Digital imaging of human skin
Weissman et al. Measurement of skin pigmentation in-vivo with multispectral dermoscopy
Bürmen et al. Hyperspectral laser-induced autofluorescence imaging of dental caries
IES85695Y1 (en) Method and apparatus for imaging tissue topography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination