CN113260303B - 用于评估、愈合预测和治疗创伤的机器学习系统和方法 - Google Patents

用于评估、愈合预测和治疗创伤的机器学习系统和方法 Download PDF

Info

Publication number
CN113260303B
CN113260303B CN201980087443.XA CN201980087443A CN113260303B CN 113260303 B CN113260303 B CN 113260303B CN 201980087443 A CN201980087443 A CN 201980087443A CN 113260303 B CN113260303 B CN 113260303B
Authority
CN
China
Prior art keywords
pixels
image
wound
subset
healing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980087443.XA
Other languages
English (en)
Other versions
CN113260303A (zh
Inventor
范文胜
约翰·迈克尔·迪迈欧
杰弗里·E·撒切尔
全霈然
易发柳
凯文·普兰特
罗纳德·巴克斯特
布莱恩·麦考尔
高志存
杰森·德怀特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectral MD Inc
Original Assignee
Spectral MD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spectral MD Inc filed Critical Spectral MD Inc
Publication of CN113260303A publication Critical patent/CN113260303A/zh
Application granted granted Critical
Publication of CN113260303B publication Critical patent/CN113260303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Physiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明公开了用于预测创伤愈合(如用于糖尿病足溃疡或其他创伤)以及用于评估实施(如将图像分割为创伤区域和非创伤区域)的机器学习系统和方法。用于评估或预测创伤愈合的系统可以包括光检测元件，其被构造成收集从包括创伤的组织区域反射的至少第一波长的光；和一个或多个处理器，其被构造成基于来自所述光检测元件的信号生成具有示出所述组织区域的多个像素的图像，确定所述多个像素的至少子集的反射强度值，基于所述反射强度值确定所述多个像素的该子集的一个或多个定量特征，并且生成在预定时间间隔内的与所述创伤相关的预测或评估的愈合参数。

Description

用于评估、愈合预测和治疗创伤的机器学习系统和方法
相关申请的交叉引用
本申请要求于2018年12月17日提交的标题为“使用人工智能在初次访问时对糖尿病足溃疡的预测”的美国临时申请序列号No.62/780,854、于2018年12月14日提交的标题为“用于高精度多孔径光谱成像的系统和方法”的美国临时申请序列号No.62/780,121以及于2019年3月14日提交的标题为“用于高精度多孔径光谱成像的系统和方法”的美国临时申请序列号No.62/818,375的权益，这里明确地出于所有目的通过引用并入其全部内容。
关于联邦赞助研发的声明
本公开中记载的某些工作是根据由美国卫生与公共服务部的防备和响应助理部长办公室内的生物医学高级研究与发展局(BARDA)授予的合同No.HHSO100201300022C在美国政府的支持下完成的。本公开中记载的某些工作是根据美国国防卫生局(DHA)授予的合同No.W81XWH-17-C-0170和/或W81XWH-18-C-0114在美国政府的支持下完成的。美国政府可能拥有本发明的某些权利。
技术领域
本文公开的系统和方法涉及医学成像，更具体地涉及使用机器学习技术的创伤评估、愈合预测和治疗。
背景技术
光学成像是一种新兴技术，具有在紧急情况下、在医疗办公室、在床边或在手术室中改善疾病预防、诊断和治疗的潜力。光学成像技术可以在各组织之间以及在天然组织和被内源性或外源性造影剂标记的组织之间无创地进行区分，从而测量它们在不同波长下的不同光子吸收或散射分布。这种光子吸收和散射差异为提供特异性的组织对比提供了潜力，并且使得能够研究作为健康和疾病基础的功能和分子水平的活动。
电磁光谱是电磁辐射(例如，光)在其上延伸的波长或频率的范围。从更长的波长到更短的波长，电磁光谱依序包括无线电波、微波、红外(IR)线、可见光(即，人眼的结构可以检测到的光)、紫外(UV)线、x射线和γ射线。光谱成像是指光谱学和拍摄术的一个分支，其中一些光谱信息或完整光谱被收集在图像面中的位置。一些光谱成像系统可以捕获一个或多个光谱带。多光谱成像系统可以捕获多个光谱带(十几个以下的量级，并且通常在离散的光谱区域)，为此在每个像素处收集光谱带测量值，并且可以参考每个光谱通道的约数十纳米的带宽。高光谱成像系统测量更大数量的光谱带，例如多达200个以上，其中一些沿着电磁光谱的一部分提供连续的窄带采样(例如，纳米级以下的光谱带宽)。
发明内容
本文所述的技术的各方面涉及可以用于使用非接触、非侵入和非辐射的光学成像来评估和/或分类创伤处或附近的组织区域的装置和方法。这样的装置和方法可以例如识别与创伤有关的不同组织健康分类相对应的组织区域和/或确定创伤或其一部分的预测的愈合参数，并且可以输出所识别的区域和/或参数的视觉表示，用于临床医生确定创伤愈合的预后或选择适合的创伤护理疗法或这两者。在一些实施方案中，本技术的装置和方法可以基于在单个波长处或在多个波长处的成像来提供这样的分类和/或预测。长期需要非侵入性成像技术，其可以为医生提供定量地预测创伤或其部分愈合的信息。
在一个方面，用于评估或预测创伤愈合的系统包括：至少一个光检测元件，其被构造成收集在从包括创伤的组织区域反射后的至少第一波长的光；和一个或多个处理器，其与所述至少一个光检测元件通信。所述一个或多个处理器被构造成从所述至少一个光检测元件接收信号，所述信号代表从所述组织区域反射的第一波长的光；基于所述信号，生成具有示出所述组织区域的多个像素的图像；基于所述信号，确定对于所述多个像素的至少子集中的每个像素在第一波长下的反射强度值；基于该子集的每个像素的反射强度值，确定所述多个像素的该子集的一个或多个定量特征；和使用一种或多种机器学习算法，基于所述多个像素的该子集的一个或多个定量特征，生成至少一个标量值，所述至少一个标量值对应于在预定时间间隔内的预测或评估的愈合参数。
在一些实施方案中，所述创伤是糖尿病足溃疡。在一些实施方案中，所述预测的愈合参数是所述创伤的预测的愈合量。在一些实施方案中，所述预测的愈合参数是所述创伤的预测的面积减少百分比。在一些实施方案中，所述至少一个标量值包括多个标量值，所述多个标量值中的每个标量值对应于该子集的各个像素或该子集的各个像素的子组的愈合概率。在一些实施方案中，所述一个或多个处理器还被构造成输出所述多个标量值的视觉表示以显示给使用者。在一些实施方案中，所述视觉表示包括以基于对应于该子集的每个像素的愈合概率而选择的特定视觉表示来显示该像素的图像，其中以不同的视觉表示来显示与不同愈合概率相关的像素。在一些实施方案中，所述一种或多种机器学习算法包括使用创伤、烧伤或溃疡图像数据库预训练的SegNet。在一些实施方案中，所述创伤图像数据库包括糖尿病足溃疡图像数据库。在一些实施方案中，所述创伤图像数据库包括烧伤图像数据库。在一些实施方案中，所述预定时间间隔是30天。在一些实施方案中，所述一个或多个处理器还被构造成识别对应于具有所述组织区域的患者的至少一个患者健康指标值，并且其中所述至少一个标量值是基于所述多个像素的该子集的一个或多个定量特征以及所述至少一个患者健康指标值而生成的。在一些实施方案中，所述至少一个患者健康指标值包括选自以下的至少一个变量：人口统计学变量、糖尿病足溃疡史变量、合规性变量、内分泌变量、心血管变量、肌肉骨骼变量、营养变量、感染病变量、肾脏变量、妇产科变量、药物使用变量、其他疾病变量或实验室值。在一些实施方案中，所述至少一个患者健康指标值包括一个或多个临床特征。在一些实施方案中，所述一个或多个临床特征包括选自以下的至少一个特征：患者的年龄、患者的慢性肾脏疾病的水平、生成图像那天所述创伤的长度和生成图像那天所述创伤的宽度。在一些实施方案中，第一波长在420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nm或855nm±30nm的范围内。在一些实施方案中，第一波长在620nm±20nm、660nm±20nm或420nm±20nm的范围内。在一些实施方案中，所述一种或多种机器学习算法包括随机森林的集合。在一些实施方案中，第一波长在726nm±41nm、855nm±30nm、525nm±35nm、581nm±20nm或820nm±20nm的范围内。在一些实施方案中，所述一种或多种机器学习算法包括分类器的集合。
在一些实施方案中，所述系统还包括被构造成使至少第一波长的光通过的光学带通滤波器。在一些实施方案中，所述一个或多个处理器还被构造成：将所述图像的多个像素自动地分割为创伤像素和非创伤像素；和选择所述多个像素的该子集以包括所述创伤像素。在一些实施方案中，所述一个或多个处理器还被构造成将所述非创伤像素自动地分割为愈伤组织像素和背景像素。在一些实施方案中，所述一个或多个处理器还被构造成将所述非创伤像素自动地分割为愈伤组织像素、正常皮肤像素和背景像素。在一些实施方案中，所述一个或多个处理器使用包括卷积神经网络的分割算法来自动地分割所述多个像素。在一些实施方案中，所述分割算法是包括多个卷积层的U-Net和包括多个卷积层的SegNet中的至少一者。在一些实施方案中，所述多个像素的该子集的一个或多个定量特征包括所述多个像素的一个或多个聚集定量特征。在一些实施方案中，所述多个像素的该子集的一个或多个聚集定量特征选自该子集的像素的反射强度值的平均值、该子集的像素的反射强度值的标准偏差和该子集的像素的中位数反射强度值。在一些实施方案中，所述一个或多个处理器还被构造成：通过卷积分别将多个滤波器内核应用到所述图像以生成多个图像变换；从所述多个图像变换构造3D矩阵；和确定所述3D矩阵的一个或多个定量特征，其中所述至少一个标量值是基于所述多个像素的该子集的一个或多个定量特征以及所述3D矩阵的一个或多个定量特征而生成的。在一些实施方案中，所述3D矩阵的一个或多个定量特征选自所述3D矩阵的平均值、所述3D矩阵的值的标准偏差、所述3D矩阵的中位值以及所述3D矩阵的平均值和中位值的乘积。在一些实施方案中，所述至少一个标量值是基于该子集的像素的反射强度值的平均值、该子集的像素的反射强度值的标准偏差、该子集的像素的中位数反射强度值、所述3D矩阵的平均值、所述3D矩阵的值的标准偏差和所述3D矩阵的中位值而生成的。在一些实施方案中，所述至少一个光检测元件还被构造成收集在从所述组织区域反射后的至少第二波长的光，并且所述一个或多个处理器还被构造成：从所述至少一个光检测元件接收第二信号，第二信号代表从所述组织区域反射的第二波长的光；基于第二信号，确定对于所述多个像素的至少该子集中的每个像素在第二波长下的反射强度值；和基于所述的每个像素在第二波长下的反射强度值，确定所述多个像素的该子集的一个或多个额外的定量特征；其中所述至少一个标量值是至少部分地基于所述多个像素的该子集的一个或多个额外的定量特征而生成的。
在第二个方面，用于创伤评估的系统包括：至少一个光检测元件，其被构造成收集在从包括创伤的组织区域反射后的至少第一波长的光；和一个或多个处理器，其与所述至少一个光检测元件通信。所述一个或多个处理器被构造成：从所述至少一个光检测元件接收信号，所述信号代表从所述组织区域反射的第一波长的光；基于所述信号，生成具有示出所述组织区域的多个像素的图像；基于所述信号，确定对于所述多个像素的每个像素在第一波长下的反射强度值；和使用机器学习算法，基于所述多个像素的各个反射强度值，将所述多个像素的各个像素自动地分割为所述多个像素的包括创伤像素的至少第一子集和所述多个像素的包括非创伤像素的第二子集。
在一些实施方案中，所述一个或多个处理器还被构造成将所述多个像素的第二子集自动地分割为非创伤像素的至少两个类别，所述至少两个类别选自愈伤组织像素、正常皮肤像素和背景像素。在一些实施方案中，所述机器学习算法包括卷积神经网络。在一些实施方案中，所述机器学习算法是包括多个卷积层的U-Net和包括多个卷积层的SegNet中的至少一者。在一些实施方案中，所述机器学习算法是基于包括创伤、溃疡或烧伤的多个分割图像的数据集来训练的。在一些实施方案中，所述创伤是糖尿病足溃疡。在一些实施方案中，所述一个或多个处理器还被构造成输出所分割的多个像素的视觉表示以显示给使用者。在一些实施方案中，所述视觉表示包括以基于所述像素的分割而选择的特定视觉表示来显示每个像素的图像，其中以不同的视觉表示来显示创伤像素和非创伤像素。
在另一个方面，使用上述的用于评估或预测创伤愈合的系统来预测创伤愈合的方法包括：用至少第一波长的光照射所述组织区域，使得所述组织区域将所述光的至少一部分反射到所述至少一个光检测元件；使用所述系统生成所述至少一个标量值；和确定在所述预定时间间隔内的预测的愈合参数。
在一些实施方案中，照射所述组织区域包括激活被构造成发射至少第一波长的光的一个或多个光发射器。在一些实施方案中，照射所述组织区域包括使所述组织区域暴露于环境光。在一些实施方案中，确定预测的愈合参数包括确定在所述预定时间间隔内的所述创伤的预期面积减少百分比。在一些实施方案中，所述方法还包括：在确定所述创伤的预测的愈合量后的所述预定时间间隔过去之后，测量所述创伤的一个或多个维度；确定在所述预定时间间隔内的所述创伤的实际愈合量；和通过提供至少所述创伤的图像和实际愈合量作为训练数据来更新所述一种或多种机器学习算法中的至少一种机器学习算法。在一些实施方案中，所述方法还包括至少部分地基于所预测的愈合参数，在标准创伤护理疗法和高级创伤护理疗法之间进行选择。在一些实施方案中，所述的在标准创伤护理疗法和高级创伤护理疗法之间进行选择包括：当所预测的愈合参数表明所述创伤、优选DFU在30天内将愈合或闭合大于50％时，指示或采用选自以下的一种或多种标准疗法：优化营养状况、通过任何方式清除失活的组织的清创、用适当的湿敷料维持肉芽组织的清洁湿润床、解决可能存在的任何感染的必要疗法、解决DFU肢体的血管灌注不足、从DFU卸载压力和适宜的葡萄糖控制；和当所预测的愈合参数表明所述创伤、优选DFU在30天内将不会愈合或闭合大于50％时，指示或采用选自以下的一种或多种高级护理疗法：高压氧疗法、负压创伤疗法、生物工程化的皮肤替代品、合成的生长因子、细胞外基质蛋白、基质金属蛋白酶调节剂和电刺激疗法。
附图说明
图1A示出了以不同的主射线角度入射在滤波器上的光的示例。
图1B是示出针对各种主射线角度由图1A的滤波器提供的示例性透射效率的图形。
图2A示出了多光谱图像数据立方体的示例。
图2B示出了某些多光谱成像技术如何生成图2A的数据立方体的示例。
图2C示出了可以生成图2A的数据立方体的示例性快照成像系统。
图3A示出了根据本公开的具有弯曲的多带通滤波器的示例性多孔径成像系统的光学设计的示意性断面图。
图3B-3D示出了用于图3A的多孔径成像系统的一个光路的光学部件的示例性光学设计。
图4A-4E示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的实施方案。
图5示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图6A-6C示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图7A-7B示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图8A-8B示出了具有如参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图9A-9C示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图10A-10B示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。
图11A-11B示出了可以被图3A-10B的多光谱多孔径成像系统的滤波器通过的一组示例性波段。
图12示出了可以用于图3A-10B的多光谱多孔径成像系统的成像系统的示意性框图。
图13是用于使用图3A-10B的多光谱多孔径成像系统来捕获图像数据的示例性过程的流程图。
图14示出了用于处理图像数据的工作流程的示意性框图，例如使用图13的过程和/或使用图3A-10B的多光谱多孔径成像系统捕获的图像数据。
图15以图形方式示出了用于处理图像数据的视差和视差校正，例如使用图13的过程和/或使用图3A-10B的多光谱多孔径成像系统捕获的图像数据。
图16以图形方式示出了用于对多光谱图像数据执行逐像素分类的工作流程，例如使用图13的过程、根据图14和图15处理的和/或使用图3A-10B的多光谱多孔径成像系统捕获的图像数据。
图17示出了包括图3A-10B的多光谱多孔径成像系统的示例性分布式计算系统的示意性框图。
图18A-18C示出了多光谱多孔径成像系统的示例性手持式实施方案。
图19A和图19B示出了多光谱多孔径成像系统的示例性手持式实施方案。
图20A和图20B示出了对于封闭在普通相机壳体中的小型USB 3.0的示例性多光谱多孔径成像系统。
图21示出了包括用于改善图像配准的额外光源的示例性多光谱多孔径成像系统。
图22示出了具有相应的面积、体积和清创测量的愈合糖尿病足溃疡(DFU)的示例性时间进程。
图23显示了具有相应的面积、体积和清创测量的未愈合DFU的示例性时间进程。
图24示意性地示出了用于基于DFU的一个或多个图像来生成愈合预测的示例性机器学习系统。
图25示意性地示出了用于基于DFU的一个或多个图像以及一个或多个患者健康指标来生成愈合预测的示例性机器学习系统。
图26示出了根据本技术的用于光谱和/或多光谱成像以用于图像分割和/或预测的愈合参数的生成的一组示例性波段。
图27是示出在本技术的示例性创伤评估方法中包括临床变量的影响的直方图。
图28示意性地示出了根据本技术的机器学习系统和方法的示例性自动编码器。
图29示意性地示出了根据本技术的机器学习系统和方法的示例性受监督机器学习算法。
图30示意性地示出了根据本技术的机器学习系统和方法的示例性端到端机器学习算法。
图31是示出根据本技术的若干示例性机器学习算法的已证实的准确度的条形图。
图32是示出根据本技术的若干示例性机器学习算法的已证实的准确度的条形图。
图33示意性地示出了根据本技术的机器学习系统和方法的愈合预测和条件概率映射的视觉表示的生成的示例性过程。
图34示意性地示出了包括一个或多个逐特征线性变换(FiLM)层的示例性条件概率映射算法。
图35示出了根据本技术的用于生成条件愈合概率图的几种图像分割方法的已证实的准确度。
图36示出了在根据本技术的机器学习系统和方法的用于愈合预测的示例性各个波长分析方法中使用的一组示例性卷积滤波器内核。
图37示出了根据本技术的机器学习系统和方法的基于用于图像分割的DFU图像生成的示例性地面真值掩膜。
图38示出了根据本技术的机器学习系统和方法的示例性创伤图像分割算法的已证实的准确度。
具体实施方式
在2600万患有糖尿病的美国人中，约有15-25％会发展为糖尿病足溃疡(DFU)。这些创伤会导致行动不便并降低生活质量。发展为DFU的患者中多达40％会发展为创伤感染，这增加了截肢和死亡的风险。仅仅与DFU相关的死亡率在第一年高达5％，五年内高达42％。每年大面积截肢(4.7％)和小面积截肢(39.8％)的高风险使这一情况更加严重。此外，每年治疗一种DFU的费用约为22,000美元至44,000美元，并且由于DFU而给美国医疗系统造成的总体负担在每年90亿美元至130亿美元的范围内。
通常接受的标准护理疗法是，30天后面积减少(PAR)大于50％的DFU到12周可以愈合。然而，使用此指标需要四周的创伤护理，然后才能确定是否应使用更有效的疗法(例如，高级护理疗法)。在针对非紧急初始显现(例如，DFU)的典型创伤护理临床方法中，在创伤显现和初步评估后，患者会接受大约30天的标准创伤护理疗法(例如，纠正血管问题、优化营养、葡萄糖控制、清创、敷料和/或卸载)。在大约第30天，评估创伤以确定其是否愈合(例如，面积减少的百分比大于50％)。如果创伤不能充分愈合，则可以在治疗中补充一种或多种高级创伤管理疗法，包括生长因子、生物工程化的组织、高压氧、负压、截肢、重组人血小板衍生生长因子(例如，RegranexTM Gel)、生物工程化的人类皮肤替代品(例如，DermagraftTM)和/或活着的双层皮肤替代品(例如，ApligrafTM)。然而，大约30％的DFU在标准创伤护理疗法的30天后仍未显示出足够的愈合能力。此外，大约40％的具有早期愈合能力的DFU仍无法到12周愈合，并且据估计，足趾、中足和足跟溃疡的DFU中位愈合时间分别为147天、188天和237天。
在常规或标准创伤护理疗法30天后未能达到理想愈合效果的DFU将受益于尽早提供高级创伤护理疗法，例如在创伤疗法的最初30天内。然而，使用常规评估方法，医生通常无法准确识别对标准创伤护理疗法30天无反应的DFU。可以使用许多成功的改善DFU疗法的策略，但是这些策略直到在经验上排除标准创伤护理疗法时才能制定。生理测量装置已被用于尝试诊断DFU的愈合潜力，如经皮氧气测量、激光多普勒成像和吲哚菁绿视频血管造影。然而，这些装置存在不准确、缺乏有用数据、缺乏灵敏度以及过高成本的问题，因此不适合广泛地用于DFU和其他创伤的评估中。显然，更早更准确的预测DFU或其他创伤愈合的手段对于快速确定最佳疗法并减少创伤闭合时间很重要。
总体而言，本技术提供了能够诊断DFU、烧伤和其他创伤的愈合潜力的非侵入性和即时成像装置。在各种实施方案中，本技术的系统和方法可以使临床医生能够在显现或初始评估之时或之后不久确定创伤的愈合潜力。在一些实施方案中，本技术可以使得能够确定诸如DFU或烧伤等创伤的各个部分的愈合潜力。基于预测的愈合潜力，可以在疗法的第0天或接近第0天做出标准和高级创伤护理疗法之间的决定，而不是推迟到初始显现后的4周以上。因此，本技术可以导致减少的愈合时间和更少的截肢。
示例性光谱和多光谱成像系统
下面将说明各种光谱和多光谱成像系统，可以根据本文公开的DFU和其他创伤评估、预测和治疗方法来使用它们。在一些实施方案中，可以使用被构造成对单个波段内的光成像的光谱成像系统来捕获用于创伤评估的图像。在其他实施方案中，可以使用被构造成捕获两个以上波段的光谱成像系统来捕获图像。在一个特定示例中，可以使用单色、RGB、和/或红外成像装置(例如包含在市售移动装置中的那些)来捕获图像。进一步的实施方案涉及使用具有位于每个孔径(光圈)上方的弯曲的多带通滤波器的多孔径系统的光谱成像。然而，可以理解的是，本技术的创伤评估、预测和治疗方法不限于本文公开的特定图像获取装置，并且可以等同地使用能够在一个或多个已知的波段中获取图像数据的任何成像装置来实施。
本公开还涉及用于使用从这样的成像系统接收的图像信息来实现光谱解混和图像配准以生成光谱数据立方体的技术。所公开的技术解决了光谱成像中通常存在的下述的众多挑战，从而生成表示关于从被成像物体反射的波段的精确信息的图像数据。在一些实施方案中，本文所述的系统和方法在短时间内(例如，在6秒以下内)从宽的组织区域(例如，5.9×7.9英寸)获取图像，并且无需注射造影剂。在一些方面，例如，本文所述的多光谱图像系统被构造成在6秒以下内从宽的组织区域(例如，5.9×7.9英寸)获取图像，并且其中所述多光谱图像系统还被构造成在没有造影剂的情况下提供组织分析信息，例如识别多个烧伤状态、创伤状态、溃疡状态、愈合潜力、临床特征(包括被成像组织的癌变或非癌变状态)、创伤深度、创伤体积、清创边界或者糖尿病、非糖尿病或慢性溃疡的存在。类似地，在本文所述的一些方法中，所述多光谱图像系统在6秒以下内从宽的组织区域(例如，5.9×7.9英寸)获取图像并且所述多光谱图像系统在没有造影剂的情况下输出组织分析信息，例如识别多个烧伤状态、创伤状态、愈合潜力、临床特征(包括被成像组织的癌变或非癌变状态)、创伤深度、创伤体积、清创边界或者糖尿病、非糖尿病或慢性溃疡的存在。
现有解决方案中的此类挑战之一是捕获的图像可能遭受损害图像数据质量的颜色失真或视差。对于依赖于使用光学滤波器对光的某些波长的精确检测和分析的应用而言，这可能特别成问题。具体地，由于随着入射在滤波器上的光的角度增加而使滤色器的透射率偏移到较短的波长的事实，所以色差是在光的波长中在图像传感器的整个区域上与位置有关的变化。通常，在通过将折射率不同的薄层沉积到透明基板上而制成的基于干涉的滤波器中观察到这种效果。因此，由于较大的入射光线角度，更长的波长(例如，红光)可以在图像传感器的边缘被更多地阻挡，从而导致相同的入射波长的光在图像传感器上被检测为空间上不均匀的颜色。如果不加以校正，色差将表现为所捕获图像边缘附近的颜色偏移。
相对于市场上的其他多光谱成像系统，本公开的技术提供了更多的优势，因为其在透镜和/或图像传感器的构成以及它们各自的视野或孔径尺寸方面没有限制。可以理解的是，对本公开的成像系统的透镜、图像传感器、孔径尺寸或其他部件的改变可能涉及对成像系统的其他调整，如本领域普通技术人员所知的。本公开的技术还提供了对其他多光谱成像系统的改进，在于执行分辨波长或使系统整体上能够分辨波长的功能的部件(例如，光学滤波器等)可以与将光能转换成数字输出的部件(例如，图像传感器等)分离。这样减少了针对不同的多光谱波长重新构造成像系统的成本、复杂性和/或开发时间。本公开的技术可以比其他多光谱成像系统更健全，因为其可以以更小和更轻的形状因子实现与市场上的其他多光谱成像系统相同的成像特性。本公开的技术相对于其他多光谱成像系统也是有优势的，在于其可以获取快照、视频速率或高速视频速率的多光谱图像。本公开的技术还提供了基于多孔径技术的多光谱成像系统的更健全的实施，因为将多个光谱带复用到各个孔径中的能力减少了获取成像数据集中的任何特定数量的光谱带所需的孔径的数量，从而通过减少数量的孔径和改进的光收集来降低成本(例如，由于可以在市售的传感器阵列的固定大小和尺寸内使用更大的孔径)。最后，本公开的技术可以提供所有这些优势，而无需在分辨率或图像质量上进行折衷。
图1A示出了沿着朝向图像传感器110的光的路径设置的滤波器108的示例，并且还示出了以不同的射线角度入射在滤波器108上的光。射线102A，104A，106A被表示为线，其在通过滤波器108之后，被透镜112折射到传感器110上，该透镜也可以被任何其他成像光学器件所代替，包括但不限于反射镜和/或孔径。在图1A中假定用于各射线的光是例如由滤波器108选择性地滤波的具有在大波长范围上延伸的光谱成分的宽带。三个射线102A，104A，106A分别以不同的角度到达滤波器108。为了说明的目的，光线102A被示出为基本上垂直于滤波器108入射，光线104A具有比光线102A更大的入射角，并且光线106A具有比光线104A更大的入射角。由于如传感器110所观察到的滤波器108的透射特性的角度依赖性，所获得的经滤波的射线102B，104B，106B表现出独有光谱。这种依赖性的影响导致随着入射角的增加而滤波器108的带通向更短的波长偏移。另外，这种依赖性可能导致滤波器108的透射效率的降低和滤波器108的带通的光谱形状的改变。这些组合的效应被称为角度依赖性的光谱透射。图1B示出了如在传感器110的位置处的假设光谱仪所观察到的图1A中的各光线的光谱，以示出响应于入射角的增加，滤波器108的光谱带通的偏移。曲线102C，104C和106C表明带通的中心波长的缩短；因此，示例中光学系统通过的光的波长缩短。还示出的是，带通的形状和峰值透射也由于角度入射而改变。对于某些消费类应用，可以应用图像处理来消除这种角度依赖性的光谱透射的可见效果。然而，这些后处理技术不允许恢复关于哪个波长的光实际上入射到滤波器108上的精确信息。因此，所获得的图像数据对于某些高精度应用可能是不可用的。
某些现有光谱成像系统所面临的另一个挑战是捕获完整的光谱图像数据集所需的时间，如结合图2A和图2B所讨论的。光谱成像传感器对场景的光谱辐照度I(x，y，λ)进行采样，从而收集通常称为数据立方体的三维(3D)数据集。图2A示出了光谱图像数据立方体120的示例。如图所示，数据立方体120代表图像数据的三个维度：对应于图像传感器的二维(2D)表面的两个空间维度(x和y)以及对应于特定波段的光谱维度(λ)。数据立方体120的维度可以由NxNyNλ给出，其中Nx，Ny和Nλ分别是沿着(x，y)空间维度和谱轴λ的采样元素的数量。因为数据立方体比当前可用的2D检测器阵列(例如，图像传感器)具有更高的维度，所以典型的光谱成像系统捕获数据立方体120的按时间顺序排列的2D切片或平面(在本文中称为“扫描”成像系统)，或者通过将数据立方体的所有元素划分为可以在处理中重新组合为数据立方体120的多个2D元素来同时测量数据立方体的所有元素(在本文中称为“快照”成像系统)。
图2B示出了某些扫描光谱成像技术如何生成数据立方体120的示例。具体地，图2B示出了可以在单个检测器积分期间收集的数据立方体120的部分132、134和136。例如，点扫描光谱仪可以捕获在单个(x，y)空间位置在所有光谱面λ上延伸的部分132。通过在空间维度上执行对应于每个(x，y)位置的积分，点扫描光谱仪可以用于构建数据立方体120。例如，滤波器轮成像系统可以捕获在整个空间维度x和y上延伸但仅在单个光谱面λ上延伸的部分134。通过执行对应于光谱面λ的数量的积分，波长扫描成像系统(例如滤波器轮成像系统)可以用于构建数据立方体120。例如，线扫描光谱仪可以捕获在所有光谱维度λ和一个空间维度(x或y)的全部上延伸但仅沿着另一个空间维度(y或x)的单个点延伸的部分136。通过执行对应于该另一个空间维度(y或x)的每个位置的积分，线扫描光谱仪可以用于构建数据立方体120。
对于靶向物体和成像系统都不运动(或在曝光时间内保持相对静止)的应用，这类扫描成像系统提供生成高分辨率数据立方体120的益处。对于线扫描和波长扫描成像系统，这可以是因为每个光谱或空间图像都是使用图像传感器的整个区域捕获的原因。然而，成像系统和/或物体在曝光之间的运动会导致所获得的图像数据中的假象。例如，数据立方体120中的相同(x，y)位置实际上可以代表在整个光谱维度λ上的被成像物体上的不同物理位置。这可能会导致下游分析中的错误和/或对执行配准提出额外要求(例如，对齐光谱维度λ，使得特定(x，y)位置对应于物体上的相同物理位置)。
相比之下，快照成像系统140可以在单个积分周期或曝光中捕获整个数据立方体120，从而避免了这种运动引起的图像质量问题。图2C示出了可以用于创建快照成像系统的示例性图像传感器142和诸如滤波器阵列(CFA)144等光学滤波器阵列。在该示例中的CFA144是在图像传感器142的表面上的滤色器单元146的重复图案。这种获取光谱信息的方法也可以称为多光谱滤波器阵列(MSFA)或光谱分辨的检测器阵列(SRDA)。在所示的示例中，滤波器单元146包括不同滤波器的5×5排列，其将在所获得的图像数据中生成25个光谱通道。通过这些不同的滤色器，CFA可以将入射光分裂成滤波器的波段，并将分裂的光引导到图像传感器上的专用感光体。以这种方式，对于给定的颜色148，仅有感光体的1/25实际上检测到代表该波长的光的信号。因此，尽管利用该快照成像系统140可以在单次曝光中生成25个不同的颜色通道，但是每个颜色通道代表小于传感器142的总输出的测量数据的量。在一些实施方案中，CFA可以包括滤波器阵列(MSFA)、光谱分辨的检测器阵列(SRDA)中的一个或多个，和/或可以包括常规的拜耳(Bayer)滤波器、CMYK滤波器或者任何其他基于吸收或基于干涉的滤波器。一种类型的基于干涉的滤波器是以网格排列的薄膜滤波器的阵列，其中网格的每个要素对应一个或多个传感器元件。另一种基于干涉的滤波器是Fabry-Pérot滤波器。表现出20～50nm量级的典型的带通半峰全宽(FWHM)的纳米蚀刻的干涉Fabry-Pérot滤波器具有优点，因为由于在从其中心波长到其阻带的过渡中观察到的滤波器的通带的缓慢滚降，可以在一些实施方案中使用。这些滤波器在这些阻带中还表现出低的OD，从而进一步提高了对其通带外的光的灵敏度。这些综合效应使这些特定的滤波器对光谱区域敏感，该光谱区域将被具有在涂布沉积过程中(例如，在蒸发沉积中或在离子束溅射中)使用许多薄膜层制成的类似FWHM的高OD的干涉滤波器的快速滚降所阻止。在具有基于染料的CMYK或RGB(拜耳)滤波器构造的实施方案中，各个滤波器通带的慢的光谱滚降和大的FWHM是优选的，并且在整个观察的光谱中对各个波长提供独有光谱透射百分比。
因此，由快照成像系统生成的数据立方体120将具有对于精确成像应用可能成为问题的两个特性之一。作为第一选择，由快照成像系统获得的数据立方体120可以具有比检测器阵列的(x，y)尺寸小的Nx和Ny尺寸，并且因此具有比将要由具有相同图像传感器的扫描成像系统生成的数据立方体120更低的分辨率。作为第二选择，由于对某些(x，y)位置进行插值，因此从快照成像系统获得的数据立方体120可以具有与检测器阵列的(x，y)尺寸相同的Nx和Ny尺寸。然而，用于生成此类数据立方体的插值意味着该数据立方体中的某些值不是入射到传感器上的光的波长的实际测量值，相反实际测量值可以是基于周围值的估计值。
单曝光多光谱成像的另一个现有选择是多光谱分束器。在这种成像系统中，分束立方体将入射光分裂成不同的色带，每个色带均由独立的图像传感器观察。尽管可以更改分束器设计以调整测量的光谱带，但是在不影响系统性能的情况下将入射光分裂成多于四个的光束并不容易。因此，四个光谱通道似乎是该方法的实际限制。一种密切相关的方法是使用薄膜滤波器来代替笨重的分束立方体/棱镜来分裂光，但是由于空间限制和经过连续滤波器的累积透射损耗，该方法仍然限于大约六个光谱通道。
在一些实施方案中，通过所公开的多孔径光谱成像系统以及相关的图像数据处理技术解决了前述问题，该多孔径光谱成像系统具有多带通滤波器，优选地弯曲的多带通滤波器，以过滤通过每个孔径入射的光。这种特殊的构成能够实现快速成像速度、高分辨率图像以及检测波长的精确保真度的所有设计目标。因此，所公开的光学设计和相关的图像数据处理技术可以用于便携式光谱成像系统和/或图像移动目标，同时仍然生成适合于高精度应用(例如，临床组织分析、生物特征识别、瞬态临床事件)的数据立方体。这些更高精度的应用可以包括在转移之前的先前阶段(0～3)中诊断黑素瘤、对皮肤组织的创伤或烧伤严重度的分类或者对糖尿病足溃疡严重度的组织诊断。因此，在一些实施方案中所述的小形状因子和快照光谱获取使本发明能够用于具有瞬时事件的临床环境中，包括诊断几种不同的视网膜病(例如，非增生性糖尿病性视网膜病、增生性糖尿病性视网膜病和年龄相关性黄斑变性)和运动儿科患者的影像学检查。因此，本领域技术人员将认识到，如本文所公开的，具有平坦或弯曲的多带通滤波器的多孔径系统的使用代表了相对于现有光谱成像实施的重大技术进步。具体地，基于计算出的各孔径之间的视角差异的视差，多孔径系统可以实现物体曲率、深度、体积和/或面积或与之相关的3D空间图像的获取。然而，基于干涉或吸收性过滤，这里提出的多孔径策略不限于任何特定的滤波器，并且可以包括平坦和/或薄的滤波器。如本文所公开的，在使用小的或可接受的入射角范围的合适透镜或孔径的情况下，可以对本发明进行修改以在成像系统的图像空间中包括平坦滤波器。也可以将滤波器放置在成像透镜的孔径光阑处或者入射/出射光瞳处，如光学工程领域的技术人员可以看到的那样。
下面将参照某些示例和实施方案说明本公开的各个方面，这些示例和实施方案旨在说明而不是限制本公开。尽管出于说明的目的，本文所述的示例和实施方案将集中于特定的计算和算法，但是本领域技术人员应当理解的是，这些示例仅是示例性的，而不是限制性的。例如，尽管在多光谱成像的背景下给出了一些示例，但是在其他实施方式中，所公开的多孔径成像系统和相关的滤波器可以被构造成实现高光谱成像。进一步地，尽管提供了某些示例以实现手持式和/或移动式目标应用的益处，但是应当理解的是，所公开的成像系统设计和相关的处理技术可以生成适用于固定成像系统和/或用于分析相对不动目标的高精度数据立方体。
电磁范围和图像传感器的概述
电磁光谱的某些颜色或部分在本文中涉及，下面将参照由辐照度光谱类别的ISO21348定义所限定的波长来进行讨论。如以下进一步说明的，在某些成像应用中，可以将用于特定颜色的波长范围分组在一起以通过特定滤波器。
从大约760nm的波长到大约380nm的波长的范围的电磁辐射，通常被认为是“可见”光谱，即，人眼的颜色受体可识别的光谱部分。在可见光谱内，通常认为红光具有大约700纳米(nm)的波长，或者在大约760nm到610nm或大约610nm的范围内。通常认为橙光具有大约600nm的波长，或者在大约610nm到大约591nm或591nm的范围内。通常认为黄光具有大约580nm的波长，或者在大约591nm到大约570nm或570nm的范围内。通常认为绿光具有大约550nm的波长，或者在大约570nm到大约500nm或500nm的范围内。通常认为蓝光具有大约475nm的波长，或者在大约500nm到大约450nm或450nm的范围内。通常认为紫光具有大约400nm的波长，或者在大约450nm到大约360nm或360nm的范围内。
转向可见光谱之外的范围，红外(IR)线是指波长比可见光更长的电磁辐射，并且通常是人眼不可见的。IR波长从可见光谱的大约760nm或760nm的标称红色边缘延伸到大约1毫米(mm)或1mm。在此范围内，近红外(NIR)是指光谱中与红色范围相邻的部分，大约760nm或760nm到大约1400nm或1400nm之间的波长。
紫外(UV)线是指波长比可见光更短的某些电磁辐射，并且通常是人眼不可见的。UV波长从可见光谱的大约40nm或40nm的标称紫色边缘延伸到大约400nm。在此范围内，近紫外(NUV)是指光谱中与紫色范围相邻的部分，大约400nm或400nm到大约300nm或300nm之间的波长，中紫外(MUV)是大约300nm或300nm到大约200nm或200nm之间的波长，远紫外(FUV)是大约200nm或200nm到大约122nm或122nm之间的波长。
取决于适合于特定应用的特定波长范围，本文所述的图像传感器可以被构造成检测任何上述范围内的电磁辐射。典型的硅基电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的光谱灵敏度在可见光谱范围内延伸，并且在相当程度上延伸到近红外(IR)光谱，有时延伸到UV光谱。一些实施方式可以可选择地或另外地使用背照式或前照式CCD或CMOS阵列。对于需要高SNR和科学级测量的应用，某些实施方式可以可选择地或另外地使用科研级互补金属氧化物半导体(sCMOS)相机或电子倍增CCD相机(EMCCD)。基于预期的应用，其他实施方式可以可选择地或另外地使用已知在特定颜色范围内操作的传感器(例如，短波红外(SWIR)、中波红外(MWIR)或长波红外(LWIR))和相应的光学滤波器阵列。这些可选择地或另外地包括基于围绕检测器材料(包括砷化铟镓(InGaAs)或锑化铟(InSb))或者基于围绕微辐射热计阵列的相机。
在本公开的多光谱成像技术中使用的图像传感器可以与诸如滤色器阵列(CFA)等光学滤波器阵列结合使用。一些CFA可以将可见光范围内的入射光分裂成红色(R)、绿色(G)和蓝色(B)类别，以将分离的可见光引导到图像传感器上专用的红色、绿色或蓝色光电二极管接收器。CFA的常见示例是拜耳(Bayer)图案，其是用于在光传感器的矩形网格上排列RGB滤色器的特定图案。拜耳图案是50％的绿色、25％的红色和25％的蓝色，红色和绿色滤波器的重复行与蓝色和绿色滤波器的重复行交替。一些CFA(例如，对于RGB-NIR传感器)也可以分离出NIR光，并将分离的NIR光引导到图像传感器上的专用光电二极管接收器。
这样，CFA的滤波器部件的波长范围可以确定由捕获图像中的每个图像通道表示的波长范围。因此，图像的红色通道可以对应于滤波器的红色波长区域，并且可以包括一些黄光和橙光，在各种实施方案中，其范围从大约570nm或570nm到大约760nm或760nm。图像的绿色通道可以对应于滤波器的绿色波长区域，并且可以包括一些黄光，在各种实施方案中，其范围从大约570nm或570nm到大约480nm或480nm。图像的蓝色通道可以对应于滤波器的蓝色波长区域，并且可以包括一些紫光，在各种实施方案中，其范围从大约490nm或490nm到大约400nm或400nm。如本领域普通技术人员可以理解的，限定CFA的颜色(例如，红色、绿色和蓝色)的确切开始和结束波长(或电磁光谱的一部分)可以根据CFA的实施方式而变化。
此外，典型的可见光CFA对于可见光谱之外的光是透明的。因此，在许多图像传感器中，IR灵敏度受到位于传感器表面的薄膜反射性IR滤波器的限制，其在可见光通过的同时会阻挡红外波长。然而，在所公开的成像系统的一些中可以将其省略以允许IR光通过。因此，红色、绿色和/或蓝色通道也可以用于收集IR波段。在某些实施方式中，蓝色通道也可以用于收集某些NUV波段。红色、绿色和蓝色通道在光谱图像堆叠中的各波长处的独有透射效率方面的不同光谱响应可以提供将要使用已知的透射分布进行解混的光谱带的独有权重响应。例如，这可以包括针对红色、蓝色和绿色通道的IR和UV波长区域中的已知的透射响应，从而使其可以用于收集来自这些区域的波段。
如下面更详细说明的，可以将额外的滤波器沿着朝向图像传感器的光的路径放置在CFA之前，以便有选择性地优化入射到图像传感器上的特定光的波段。本公开的滤波器中的一些可以是二向色(薄膜)和/或吸收性滤波器的组合，也可以是单个二向色和/或吸收性滤波器。本公开的滤波器中的一些可以是带通滤波器，其使特定范围内的频率通过(在通带内)并且拒绝(衰减)该范围外的频率(在阻挡范围内)。本公开的滤波器中的一些可以是使多个不连续波长范围通过的多带通滤波器。与CFA滤波器的较大色域相比，这些“波段”可以具有较小的通带范围、较大的阻挡范围衰减和更陡峭的光谱滚降(其被定义为滤波器从通带过渡到阻挡范围时光谱响应的陡度)。例如，这些公开的滤波器可以覆盖大约20nm或20nm或大约40nm或40nm的通带。这样的滤波器的特定构成可以确定入射在传感器上的实际波段，从而可以提高所公开的成像技术的精度。本文所述的滤波器可以被构造成根据适合于特定应用的特定波段来选择性地阻挡或通过上述任意范围内的电磁辐射的特定波段。
如本文所述的，“像素”可以用于描述由2D检测器阵列的要素生成的输出。相比之下，光电二极管(该阵列中的单个光敏元件)的作用是能够经由光电效应将光子转换为电子的换能器，然后再将其转换为用于确定像素值的可用信号。数据立方体的单个元素可以称为“体素”(例如，体积元素)。“光谱向量”是指描述数据立方体中的特定(x，y)位置处的光谱数据(例如，从物体空间中的特定点接收的光谱)的向量。数据立方体的单个水平面(例如，表示单个光谱维度的图像)在本文中被称为“图像通道”。本文所述的某些实施方案可以捕获光谱视频信息，并且所获得的数据维度可以呈现“超立方体”形式NxNyNλNt，其中Nt是在视频序列期间捕获的帧数。
具有弯曲的多带通滤波器的示例性多孔径成像系统的概述
图3A示出了根据本公开的具有弯曲的多带通滤波器的示例性多孔径成像系统200的示意图。示出的视图包括第一图像传感器区域225A(光电二极管PD1-PD3)和第二图像传感器区域225B(光电二极管PD4-PD6)。例如在CMOS图像传感器中，光电二极管PD1-PD6可以是例如形成在半导体基板中的光电二极管。通常，各光电二极管PD1-PD6可以是将入射光转换成电流的任何材料、半导体、传感器元件或其他装置的单个单元。应当理解的是，出于说明其结构和操作的目的，示出了整个系统的一小部分，并且在实施中，图像传感器区域可以具有数百或数千个光电二极管(和相应的滤波器)。取决于实施方式，图像传感器区域225A和225B可以作为单独的传感器或者作为同一图像传感器的单独区域来实施。尽管图3A示出了两个孔径以及相应的光路和传感器区域，但是应当理解的是，取决于实施方式，图3A所示的光学设计原理可以扩展到三个以上的孔径以及相应的光路和传感器区域。
多孔径成像系统200包括提供朝向第一传感器区域225A的第一光路的第一开口210A和提供朝向第二传感器区域225B的第二光路的第二开口210B。这些孔径可以是可调节的，以增加或减少落在图像上的光的亮度，或者使得可以改变特定图像曝光的持续时间并且落在图像传感器区域上的光的亮度不改变。如光学设计领域的技术人员认为合理的，这些孔径还可以沿着该多孔径系统的光轴位于任何位置。沿着第一光路定位的光学部件的光轴由虚线230A示出，沿着第二光路定位的光学部件的光轴由虚线230B示出，并且应当理解的是，这些虚线不代表多孔径成像系统200的物理结构。光轴230A，230B分开距离D，这可能导致由第一传感器区域225A和第二传感器区域225B捕获的图像之间的视差。视差是指立体对的左右(或上下)图像中的两个对应点之间的距离，使得物体空间中的相同物理点可以出现在每个图像中的不同位置。下面进一步详细说明补偿和改变这种视差的处理技术。
各光轴230A，230B穿过相应孔径的中心C，并且光学部件也可以沿着这些光轴居中(例如，光学部件的旋转对称点可以沿着光轴定位)。例如，第一弯曲的多带通滤波器205A和第一成像透镜215A可以沿着第一光轴230A居中，并且第二弯曲的多带通滤波器205B和第二成像透镜215B可以沿着第二光轴230B居中。
如本文中关于光学元件的定位所使用的，“之上”和“上方”是指结构(例如，滤波器或透镜)的位置，使得从物体空间进入成像系统200的光传播通过该结构，然后到达(或入射到)另一个结构。为了说明，沿着第一光路，弯曲的多带通滤波器205A位于孔径210A的上方，孔径210A位于成像透镜215A的上方，成像透镜215A位于CFA 220A的上方，并且CFA 220A位于第一图像传感器区域225A的上方。因此，来自物体空间(例如，正在成像的物理空间)的光首先经过弯曲的多带通滤波器205A，然后孔径210A，然后成像透镜215A，然后CFA 220A，最后入射到第一图像传感器区域225A。第二光路(例如，弯曲的多带通滤波器205B、孔径210B、成像透镜215B、CF 220B、第二图像传感器区域225B)遵循类似的排列。在其他实施方式中，孔径210A，210B和/或成像透镜215A，215B可以位于弯曲的多带通滤波器205A，205B的上方。另外，其他实施方式可以不使用物理孔径，并且可以依赖于光学器件的透明孔径来控制被成像到传感器区域225A，225B上的光的亮度。因此，透镜215A，215B可以放置在孔径210A，210B和弯曲的多带通滤波器205A，205B的上方。在该实施方式中，如果光学设计领域的技术人员认为需要的，也可以将孔径210A，210B和透镜215A，215B放置在彼此之上或之下。
位于第一传感器区域225A之上的第一CFA 220A和位于第二传感器区域225B之上的第二CFA 220B可以充当波长选择性通过滤波器，并将可见范围内的入射光分裂成红色、绿色和蓝色范围(如由R，G和B标记所示)。通过仅允许某些选择的波长通过第一CFA 220A和第二CFA 220B中的各滤波器来“分裂”光。分裂的光由图像传感器上的专用红色、绿色或蓝色二极管接收。尽管通常使用红色、蓝色和绿色滤波器，但是在其他实施方案中，滤波器可以根据捕获的图像数据的颜色通道要求而变化，例如包括紫外、红外或近红外通过滤波器，例如RGB-IR CFA。
如图所示，CFA的各滤波器位于单个光电二极管PD1-PD6之上。图3A还示出了示例性微透镜(由ML表示)，其可以形成在各滤色器上或以其他方式定位在各滤色器之上，以便将入射光聚焦到有源检测器区域上。其他实施方式可以在单个滤波器下具有多个光电二极管(例如，2、4或更多个相邻光电二极管的簇)。在所示的示例中，光电二极管PD1和光电二极管PD4在红色滤色器之下，因此将输出红色通道像素信息；光电二极管PD2和光电二极管PD5在绿色滤色器之下，因此将输出绿色通道像素信息；光电二极管PD3和光电二极管PD6在蓝色滤色器下，因此将输出蓝色通道像素信息。此外，如下面更详细说明的，基于激活的发光体和/或多带通滤波器205A，205B通过的特定波段，由给定的光电二极管输出的特定颜色通道可以进一步限于较窄的波段，使得给定的光电二极管在不同的曝光期间可以输出不同的图像通道信息。
成像透镜215A，215B可以被成形为将物体场景的图像聚焦到传感器区域225A，225B上。各成像透镜215A，215B可以由图像形成所需的众多光学元件和表面组成，并且不限于如图3A所示的单个凸透镜，使得能够使用各种各样的成像透镜或透镜组件，可以通过商业途径获得或通过定制设计获得。每个元件或透镜组件可以堆叠地形成或粘合在一起或者使用带有固定环或条框的光机镜筒串联地保持。在一些实施方案中，元件或透镜组件可以包括一个或多个粘合的透镜组，例如胶合或以其他方式粘合在一起的两个或多个光学部件。在各种实施方案中，本文所述的任何多带通滤波器可以位于多光谱图像系统的透镜组件的前面、在多光谱图像系统的单透镜的前面、在多光谱图像系统的透镜组件的后面、在多光谱图像系统的单透镜的后面、在多光谱图像系统的透镜组件的内部、在多光谱图像系统的粘合透镜组的内部、直接在多光谱图像系统的单透镜的表面上或者直接在多光谱图像系统的透镜组件的元件表面上。此外，可以去除孔径210A和210B，并且透镜215A，215B可以是通常在用数字单镜反光(DSLR)或无反光镜相机进行拍摄中使用的各种透镜。另外，这些透镜可以是在使用C口或S口螺纹进行安装的机器视觉中使用的各种透镜。例如，基于手动聚焦、基于对比度的自动对焦或其他合适的自动对焦技术，可以通过成像透镜215A，215B相对于传感器区域225A，225B的运动或者传感器区域225A，225B相对于成像透镜215A，215B的运动来提供焦点调节。
多带通滤波器205A，205B可以各自被构造成选择性地使光的多个窄波段通过，例如在一些实施方案中为10-50nm的波段(或在其他实施方案中为更宽或更窄的波段)。如图3A所示，多带通滤波器205A，205B均可以使波段λc(“共有波段”)通过。在具有三个以上光路的实施方式中，各多带通滤波器都可以使该共有波段通过。以这种方式，各传感器区域在相同的波段(“共有通道”)捕获图像信息。如下面更详细说明的，该共有通道中的图像信息可以用于配准由各传感器区域捕获的图像集。一些实施方式可以具有一个共有波段和相应的共有通道，或者可以具有多个共有波段和相应的共有通道。
除了共有波段λc之外，各多带通滤波器205A，205B可以分别被构造成选择性地使一个或多个独有波段通过。以这种方式，成像系统200能够增加由传感器区域205A，205B共同捕获的不同光谱通道的数量，超过由单个传感器区域可以捕获的数量。这在图3A中由通过独有波段λu1的多带通滤波器205A和通过独有波段λu2的多带通滤波器205B示出，其中λu1和λu2代表彼此不同的波段。尽管示出为使两个波段通过，但是所公开的多带通可以各自使两个以上波段的集合通过。例如，如参照图11A和图11B说明的，一些实施方式可以各自使四个波段通过。在各种实施方案中，可以使更大数量的波段通过。例如，一些四相机实施方式可以包括被构造成使8个波段通过的多带通滤波器。在一些实施方案中，波段的数量可以为例如4、5、6、7、8、9、10、12、15、16或更多个波段。
多带通滤波器205A，205B具有被选择以减小在各传感器区域225A，225B上的角度依赖性的光谱透射的曲率。结果，当从物体空间接收窄带照明时，在传感器区域225A，225B的该波长敏感的区域(例如，上面的滤色器使该波长通过)上的各光电二极管应接收基本上相同波长的光，而不是传感器边缘附近的光电二极管经历以上参照图1A所述的波长偏移。与使用平坦滤波器相比，这可以生成更精确的光谱图像数据。
图3B示出了用于图3A的多孔径成像系统的一个光路的光学部件的示例性光学设计。具体地，图3B示出了可以用于提供多带通滤波器205A，205B的定制的消色差双合透镜240。定制的消色差双合透镜240使光通过壳体250传递到图像传感器225。壳体250可以包括上述开口210A，210B和成像透镜215A，215B。
消色差双合透镜240被构造成校正由引入多带通滤波器涂层205A，205B所需的表面而引入的光学像差。所示的消色差双合透镜240包括两个单独的透镜，它们可以由具有不同色散量和不同折射率的玻璃或其他光学材料制成。其他实施方式可以使用三个以上的透镜。这些消色差双合透镜可以设计为在弯曲的前表面242上引入多带通滤波器涂层205A，205B，同时消除引入的光学像差(通过在沉积的滤波器涂层205A，205B中引入弯曲的单透镜光学表面而存在)，而由于弯曲的前表面242和弯曲的后表面244的组合作用仍然限制由消色差双合透镜240提供的光学或聚焦能力，同时仍然将用于聚焦光的主要元件限制在收容于壳体250内的透镜上。因此，消色差双合透镜240可以有助于系统200捕获的图像数据的高精度。这些单个的透镜可以彼此挨着地安装，例如粘合或胶合在一起，并且成形为使得其中一个透镜的像差由另一个的像差抵消。消色差双合透镜240的弯曲的前表面242或弯曲的后表面244可以涂布有多带通滤波器涂层205A，205B。本文所述的系统可以使用其他双合透镜设计来实现。
可以实施本文所述的光学设计的进一步的变化。例如，在一些实施方案中，光路可以包括单透镜或其他光学单透镜，例如图3A所示的正或负弯月形的单透镜，代替图3B所示的双合透镜240。图3C示出了示例性实施方式，其中在透镜壳体250和传感器225之间包括平坦滤波器252。图3C中的消色差双合透镜240提供了由包含具有多带通透射分布的平坦滤波器252引入的光学像差校正，同时没有显著地贡献于由收容在壳体250中的透镜所提供的光学能力。图3D示出了另一实施方式的示例，其中多带通涂层通过涂布到收容在壳体250内的透镜组件的前表面上的多带通涂层254实现。如此，多带通涂层254可以涂布到位于壳体250内的任何光学元件的任何弯曲表面上。
图4A-4E示出了具有如参照图3A和图3B说明的光学设计的多光谱多孔径成像系统300的实施方案。具体地，图4A示出了成像系统300的立体图，其中壳体305被半透明地示出以露出内部部件。例如，基于期望数量的嵌入式计算资源，壳体305相对于所示的壳体305可以更大或更小。图4B示出了成像系统300的前视图。图4C示出了沿着图4B所示的线C-C切开的成像系统300的剖切的侧视图。图4D示出了成像系统300的仰视图，示出了处理板335。下面一起说明图4A-4D。
成像系统300的壳体305可以被封装在另一个壳体中。例如，手持式实施方式可以将系统封闭在壳体内，任选地具有一个或多个形状适合于稳定地保持成像系统300的手柄。在图18A-18C和图19A-19B中更详细地示出了示例性手持式实施方式。壳体305的上表面包括四个开口320A-320D。不同的多带通滤波器325A-325D位于各开口320A-320D之上，并且由滤波器盖330A-330B保持在适当位置。如本文所述的，多带通滤波器325A-325D可以是弯曲的或可以不是弯曲的，并且每个使共有波段和至少一个独有波段通过，从而在比由图像传感器的上方滤色器阵列捕获的数量更多的光谱通道上实现高精度的多光谱成像。上述的图像传感器、成像透镜和滤波器位于相机壳体345A-345D内。在一些实施方案中，例如，如图20A-20B所示，单个相机壳体可以包围上述图像传感器、成像透镜和滤波器。在所示出的实施方式中，因此使用分离的传感器(例如，在每个相机壳体345A-345D内的一个传感器)，但是可以理解的是，在其他实施方式中，可以使用跨越穿过开口320A-320D露出的所有区域的单个图像传感器。在该实施方案中，相机壳体345A-345D使用支撑件340固定到系统壳体305，并且在各种实施方式中可以使用其他支撑件固定。
壳体305的上表面支撑由光学漫射元件315覆盖的任选的照明板310。下面参照图4E更详细地说明照明板310。漫射元件315可以由玻璃、塑料或其他光学材料组成，用于漫射从照明板310发射的光，使得物体空间接收基本上在空间上均匀的照明。在某些成像应用中(例如，被成像组织的临床分析)，对靶向物体进行均匀照明也可能是有益的，因为其在各波长范围内在整个物体表面上提供了基本上均匀的照明量。在一些实施方案中，代替来自任选的照明板的光或者除了其之外，本文公开的成像系统还可以利用环境光。
由于照明板310在使用中生成的热量，成像系统300包括具有多个散热鳍片355的散热器350。散热鳍片355可以延伸到相机壳体345A-345D之间的空间中，并且散热器350的上部可以将热量从照明板310吸收到鳍片355。散热器350可以由合适的导热材料制成。散热器350可以进一步帮助散发来自其他部件的热量，使得成像系统的一些实施方式可以是无风扇的。
壳体305中的多个支撑件365固定与相机345A-345D连通的处理板335。处理板335可以控制成像系统300的操作。尽管未示出，但是成像系统300还可以配置有一个或多个存储器，例如，存储通过使用成像系统和/或计算机可执行指令的模块而生成的数据，进行系统控制。取决于系统设计目标，可以以多种方式构造处理板335。例如，可以将处理板构造为(例如，通过计算机可执行指令的模块)控制照明板310的特定LED的激活。某些实施方式可以使用高度稳定的同步降压LED驱动器，其可以实现对模拟LED电流的软件控制并检测LED故障。一些实施方式可以另外地向处理板(例如，通过计算机可执行指令的模块)335或向单独的处理板提供图像数据分析功能。尽管未示出，但是成像系统300可以包括传感器和处理板335之间的数据互连，使得处理板335可以接收和处理来自传感器的数据，并且照明板310和处理板335之间可以包括数据互连，使得处理板可以驱动照明板310的特定LED的激活。
图4E示出了示例性照明板310，其可以与其他部件隔离地被包括在成像系统300中。照明板310包括从中央区域延伸的四个臂，并且沿着每个臂以三列放置LED。相邻列中的LED之间的空间彼此横向偏移，以在相邻LED之间产生分隔。LED的每一列包括具有不同颜色LED的多行。四个绿色LED 371位于中心区域，一个绿色LED在中心区域的每个角落。从最里面的行(例如，最靠近中心)开始，每一列包括两个深红色LED 372的行(总共8个深红色LED)。径向向外连续地，每个臂在中心列具有一行琥珀色LED 374、在最外面的列的两个短蓝色LED 376的行(总共8个短蓝色LED)、在中央列的琥珀色LED 374的行(总共8个琥珀色LED)、在最外面的列中的具有一个非PPG NIR LED 373和一个红色LED 375的行(每个总共4个)和在中央列的一个PPG NIR LED 377(总共4个PPG NIR LED)。“PPG”LED是指在用于捕获代表活体组织中脉动性血流的光电容积描记(PPG)信息的多个顺序曝光期间激活的LED。可以理解的是，在其他实施方案的照明板中可以使用多种其他颜色和/或其排列。
图5示出了具有参照图3A和图3B说明的光学设计的多光谱多孔径成像系统的另一个实施方案。类似于成像系统300的设计，成像系统400包括四个光路，这里示出为具有多带通滤波器组425A-425D的开口420A-420D，其通过保持环430A-430D固定到壳体405。成像系统400还包括：照明板410，其固定在保持环430A-430D之间的壳体405的前面；以及漫射器415，其位于照明板410的上方以帮助将空间均匀的光发射到靶向物体上。
系统400的照明板410包括呈十字形状的LED的四个分支，每个分支包括两列紧密间隔的LED。因此，照明板410比上述照明板310更紧凑，并且可以适合与具有较小形状因子要求的成像系统一起使用。在此示例性构造中，每个分支包括一个绿色LED和一个蓝色LED的最外面的行，向内移动包括两行黄色LED、橙色LED的行、具有一个红色LED和一个深红色LED的行以及具有一个琥珀色LED和一个NIR LED的行。因此，在该实施方式中，LED被排列成使得发出较长波长的光的LED在照明板410的中心，而发出较短波长的光的LED在照明板410的边缘。
图6A-6C示出了具有如参照图3A和图3B说明的光学设计的多光谱多孔径成像系统500的另一个实施方案。具体地，图6A示出了成像系统500的立体图，图6B示出了成像系统500的前视图，图6C示出了沿着图6B所示的线C-C切开的成像系统500的剖切的侧视图。成像系统500包括与以上关于成像系统300所述的部件类似的部件(例如，壳体505、照明板510、漫射板515、经由保持环530A-530D固定在开口上的多带通滤波器525A-525D)，但是示出了较短的形状因子(例如，在具有更少和/或更小的嵌入式计算部件的实施方案中)。系统500还包括直接的相机到框架的安装座540，以增加相机对准的刚度和坚固性。
图7A-7B示出了多光谱多孔径成像系统600的另一个实施方案。图7A-7B示出了围绕多孔径成像系统600的光源610A-610C的另一种可能排列。如图所示，具有采用参照图3A-3D说明的光学设计的多带通滤波器625A-625D的四个透镜组件可以以矩形或正方形构造配置，以向四个相机630A-630D(包括图像传感器)提供光。三个矩形发光元件610A-610C可以在具有多带通滤波器625A-625D的透镜组件的外侧和之间彼此平行配置。这些可以是广谱发光面板或发出离散波段的光的LED排列。
图8A-8B示出了多光谱多孔径成像系统700的另一个实施方案。图8A-8B示出了围绕多孔径成像系统700的光源710A-710D的另一种可能排列。如图所示，具有采用参照图3A-3D说明的光学设计的多带通滤波器725A-725D的四个透镜组件可以以矩形或正方形构造配置，以向四个相机730A-730D(包括图像传感器)提供光。以更近的示例性构造示出了四个相机730A-730D，其可以最小化透镜之间的视角差异。四个矩形发光元件710A-710D可以被放置在围绕具有多带通滤波器725A-725D的透镜组件的正方形中。这些可以是广谱发光面板或发出离散波段的光的LED排列。
图9A-9C示出了多光谱多孔径成像系统800的另一个实施方案。成像系统800包括连接到透镜组框架前部830的框架805，该框架前部包括用于微视频透镜825的开口820和支撑结构，其可以设有使用参照图3A-3D说明的光学设计的多带通滤波器。微视频透镜825向安装在透镜组框架后部840上的四个相机845(包括成像透镜和图像传感器区域)提供光。四个线性排列的LED 811沿着透镜组框架前部830的四个侧面配置，每个都设有其自己的漫射元件815。图9B和图9C示出了以英寸为单位的示例性尺寸，以显示多孔径成像系统800的一种可能尺寸。
图10A示出了具有参照图3A-3D说明的光学设计的多光谱多孔径成像系统900的另一个实施方案。成像系统900可以被实现为可附接在移动装置910的多孔径相机915上的一组多带通滤波器905。例如，诸如智能电话等某些移动装置910可以配备有具有通往两个图像传感器区域的两个开口的立体成像系统。所公开的多孔径光谱成像技术可以通过设有一组适合的多带通滤波器905以将多个较窄波段的光传递到传感器区域而在这些装置中实现。任选地，该组多带通滤波器905可以配备有将这些波段的光提供给物体空间的发光体(如LED阵列和漫射器)。
系统900还可以包括构造成执行生成多光谱数据立方体的处理以及处理多光谱数据立方体(例如，用于临床组织类别、生物特征识别、材料分析或其他应用)的移动应用。可选择地，移动应用可以构造成使装置910通过网络将多光谱数据立方体传送到远程处理系统，然后接收并显示分析结果。在图10B中示出了用于这种应用的示例性使用者界面910。
图11A-11B示出了可以由图3A-10B的多光谱多孔径成像系统的四滤波器实施方式的滤波器传递到例如具有拜耳CFA(或其他RGB或RGB-IR CFA)的图像传感器的一组示例性波段。由多带通滤波器通过的波段的光谱透射响应由图11A的图形1000中的实线表示，并由来指代，其中n表示相机序号，范围1～4。虚线表示与在典型的拜耳CFA中存在的绿色像素红色像素或蓝色像素的光谱透射的组合光谱响应。这些透射曲线还包括由于此示例中使用的传感器而引起的量子效率的影响。如图所示，这组四个相机共同捕获了八个独有通道或波段。每个滤波器将两个共有波段(两个最左边的峰)以及两个额外波段传递给各自的相机，。在该实施方式中，第一和第三相机接收第一共享NIR波段(最右边的峰)中的光，第二和第四相机接收第二共享NIR波段(第二最右边的峰)中的光。每个相机还接收一个独有波段，范围从大约550nm或550nm到大约800nm或800nm。因此，相机可以使用紧凑型构造捕获八个独有光谱通道。图11B中的图形1010示出了如图4E中说明的LED板的光谱辐照度，其可以用作图11A中所示的四个相机的照明。
在该实施方式中，已经基于产生适合临床组织类别的光谱通道选择了八个波段，并且还可以在限制LED(将热量引入成像系统)数量的同时针对信噪比(SNR)和帧频进行优化。八个波段包括由所有四个滤波器都通过的蓝光的共有波段(图形1000中的最左边的峰)，因为组织(例如，包括人体组织在内的动物组织)在蓝色波长下显示比在绿色或红色波长下更高的对比度。具体地，如在图形1000中所示，当在以420nm为中心的波段处成像时，人体组织表现出其最高的对比度。由于对应于共有波段的通道被用于视差校正，因此该较高的对比度可以生成更准确的校正。例如，在视差校正中，图像处理器可以采用局部或全局方法来找到一组视差，从而使对应于局部图像色块或图像之间的相似性的品质因数最大化。可选择地，图像处理器可以采用最小化对应于不相似性的品质因数的类似方法。这些品质因数可以基于熵、相关性、绝对差或基于深度学习方法。视差计算的全局方法可以迭代运行，并在品质因数稳定时终止。可以使用局部方法逐点计算视差，将一个图像中的固定色块用作品质因数的输入并使用许多不同的色块，每个色块均从另一个图像由被测视差的不同值来确定。所有这些方法都可能对所考虑的视差范围施加约束。例如，这些约束可以基于物体深度和距离的知识。还可以基于物体中预期的梯度范围来施加约束。对计算出的视差的约束也可以通过射影几何来施加，例如对极约束。可以在多种分辨率下计算视差，而在较低分辨率下计算出的视差的输出将作为初始值或者对在下一分辨率级别上计算出的视差的约束。例如，在一次计算中以4个像素的分辨率水平计算出的视差可以用于在下一更高分辨率下视差的计算中设置±4个像素的约束。从视差计算的所有算法都将受益于更高的对比度，特别是如果该对比度的源对于所有视点都相关联的话。总体而言，可以基于对应于预期针对特定应用成像的材料的最高对比度成像来选择共有波段。
在捕获图像后，相邻通道之间的分色可能并不完美，因此该实施方式还具有被所有滤波器通过的额外的共有波段，在图形1000中示出为与蓝色波段相邻的绿色波段。这是因为蓝色滤波器像素由于其宽的光谱带通而对绿色光谱的区域敏感。这通常表现为相邻RGB像素之间的光谱重叠，也可能以故意串扰为特征。这种重叠使彩色相机的光谱灵敏度与人类视网膜的光谱灵敏度相似，从而使所获得的色彩空间在质量上与人类视觉相似。因此，通过分离出由于绿光引起的信号的部分，具有共有绿色通道可以使得能够分离由蓝色光电二极管生成的信号的部分，其真正地与接收到的蓝光相对应。这可以通过使用光谱解混算法来实现，其以多带通滤波器的透射率(以实心黑线在图例中由T表示)、相应的CFA滤色器的透射率(以红色、绿色和蓝色虚线在图例中由Q表示)为因子。可以理解的是，一些实施方式可以将红光用作共有波段，并且在这种情况下，第二共有通道可能不是必需的。
图12示出了具有高分辨率光谱成像功能的示例性紧凑型成像系统1100的高级框图，系统1100具有一组部件，包括与多孔径光谱相机1160和发光体1165链接的处理器1120。工作存储器1105、存储器1110、电子显示器1125和存储器1130也与处理器1120通信。如本文所述的，通过使用放置在多孔径光谱相机1160的不同开口上的不同多带通滤波器，与图像传感器的CFA中存在不同颜色的滤波器相比，系统1100可以捕获更多数量的图像通道。
系统1100可以是诸如蜂窝电话、数码相机、平板电脑、个人数字助理等装置。系统1100还可以是更固定的装置，如台式个人电脑、视频会议站等，其使用内部或外部相机来捕获图像。系统1100也可以是图像捕获装置和从图像捕获装置接收图像数据的单独的处理装置的组合。在系统1100上使用者可以使用多个应用。这些应用可以包括传统的照相应用、静态图像和视频的捕获、动态色彩校正应用和亮度阴影校正应用等。
图像捕获系统1100包括用于捕获图像的多孔径光谱相机1160。多孔径光谱相机1160可以是例如图3A-10B的任何装置。多孔径光谱相机1160可以连接到处理器1120，以将在不同光谱通道中并且从不同传感器区域捕获的图像传送到图像处理器1120。发光体1165也可以由处理器控制以在某些曝光期间发射某些波长的长，如下文更详细说明的。图像处理器1120可以被构造成对接收到的捕获图像执行各种操作，从而输出高质量、视差校正的多光谱数据立方体。
处理器1120可以是通用处理单元或专门为成像应用而设计的处理器。如图所示，处理器1120连接到存储器1130和工作存储器1105。在所示的实施方案中，存储器1130存储捕获控制模块1135、数据立方体生成模块1140、数据立方体分析模块1145和操作系统1150。这些模块包括配置处理器以执行各种图像处理和装置管理任务的指令。处理器1120可以使用工作存储器1105来存储包含在存储器1130的模块中的处理器指令的工作集。可选择地，处理器1120也可以使用工作存储器1105来存储在装置1100的操作期间创建的动态数据。
如上所述，处理器1120由存储在存储器1130中的几个模块构成。在一些实施方式中，捕获控制模块1135包括配置处理器1120以调节多孔径光谱相机1160的焦点位置的指令。捕获控制模块1135还包括配置处理器1120以利用多孔径光谱相机1160捕获图像(例如，在不同光谱通道处捕获的多光谱图像以及在相同光谱通道处捕获的PPG图像(例如，NIR))的指令。非接触式PPG成像通常使用近红外(NIR)波长作为照明，以利用在该波长下增加的光子渗透到组织中的优势。因此，处理器1120连同捕获控制模块1135、多孔径光谱相机1160和工作存储器1105一起代表用于捕获一组光谱图像和/或图像序列的一种手段。
数据立方体生成模块1140包括配置处理器1120以基于从不同传感器区域的光电二极管接收的强度信号来生成多光谱数据立方体的指令。例如，数据立方体生成模块1140可以基于对应于由所有多带通滤波器所通过的共有波段的光谱通道来估计被成像物体的相同区域之间的视差，并且可以使用该视差来将所有捕获通道上的所有光谱图像彼此配准(例如，使得物体上的相同点由所有光谱通道上的大致相同(x，y)像素位置来表示)。配准的图像共同形成多光谱数据立方体，并且视差信息可以用于确定不同被成像物体的深度，例如，健康组织与创伤部位内最深位置之间的深度差。在一些实施方案中，数据立方体生成模块1140还可以执行光谱解混以识别光电二极管强度信号的哪些部分对应于哪个通过的波段，例如，基于以滤波器的透射率和传感器量子效率为因子的光谱解混算法。
取决于应用，数据立方体分析模块1145可以实施各种技术来分析由数据立方体生成模块1140生成的多光谱数据立方体。例如，数据立方体分析模块1145的一些实施方式可以将多光谱数据立方体(以及任选的深度信息)提供给机器学习模型，该机器学习模型被训练成根据特定状态对每个像素进行分类。在组织成像的情况下，这些状态可以是临床状态，例如烧伤状态(例如，一度烧伤、二度烧伤、三度烧伤或健康组织类别)、创伤状态(例如，止血、炎症、增生、重塑或健康皮肤类别)、愈合潜力(例如，反映在有或没有特定疗法的情况下组织将从创伤状态愈合的可能性的评分)、灌注状态、癌性状态或其他与创伤相关的组织状态。数据立方体分析模块1145还可以分析多光谱数据立方体以进行生物特征识别和/或材料分析。
操作系统模块1150将处理器1120配置成管理系统1100的存储器和处理资源。例如，操作系统模块1150可以包括装置驱动器以管理诸如电子显示器1125、存储器1110、多孔径光谱相机1160或发光体1165等硬件资源。因此，在一些实施方案中，包含在上述图像处理模块中的指令可能不会直接与这些硬件资源进行交互，而是通过位于操作系统部件1150中的标准子程序或API进行交互。然后，操作系统1150内的指令可以直接与这些硬件部件交互。
处理器1120可以进一步被构造成控制显示器1125，以向使用者显示所捕获的图像和/或分析多光谱数据立方体(例如，分类的图像)的结果。显示器1125可以在包括多孔径光谱相机1160的成像装置的外部，或者可以是成像装置的一部分。显示器1125还可以被构造成在捕获图像之前为使用者提供取景器。显示器1125可以包括LCD或LED屏幕，并且可以实现触敏技术。
处理器1120可以将数据写入存储模块1110，例如表示捕获的图像、多光谱数据立方体和数据立方体分析结果的数据。尽管存储模块1110以图形方式表示为传统的磁盘装置，但是本领域技术人员将理解的是，存储模块1110可以被构造成任何存储介质装置。例如，存储模块1110可以包括诸如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器等的磁盘驱动器，或者诸如闪存、RAM、ROM和/或EEPROM等固态存储器。存储模块1110还可以包括多个存储单元，并且任何一个存储单元可以被构造成在图像捕获装置1100的内部，或者可以在图像捕获系统1100的外部。例如，存储模块1110可以包括ROM存储器，其包含存储在图像捕获系统1100内的系统程序指令。存储模块1110还可以包括可以从相机移除的被构造成存储捕获的图像的存储卡或高速存储器。
尽管图12示出了包括单独的部件以包括处理器、成像传感器和存储器的系统，但是本领域技术人员将认识到，可以以多种方式组合这些单独的部件以实现特定的设计目标。例如，在替代实施方案中，存储器部件可以与处理器部件结合以节省成本并提高性能。
另外，尽管图12示出了两个存储器部件(包括几个模块的存储器部件1130和包括工作存储器的单独的存储器1105)，但是本领域技术人员将认识到利用不同存储器架构的若干实施方案。例如，一种设计可以利用ROM或静态RAM存储器来存储实现包含在存储器1130中的模块的处理器指令。可选择地，可以在系统启动时从集成到系统1100或经由外部装置端口连接的磁盘存储装置读取处理器指令。然后，可以将处理器指令加载到RAM中，以便于处理器执行。例如，工作存储器1105可以是RAM存储器，其中指令在被处理器1120执行之前被加载到工作存储器1105中。
示例性图像处理技术的概述
图13是用于使用图3A-10B和图12的多光谱多孔径成像系统捕获图像数据的示例性过程1200的流程图。图13示出了可以用于生成本文所述的多光谱数据立方体的四种示例性曝光，可见光曝光1205、额外的可见光曝光1210、不可见光曝光1215和环境光曝光1220。可以理解的是，可以按照任何顺序捕获这些曝光，并且可以如下所述地从特定工作流程中任选地移除某些曝光或将其进行添加。此外，参照图11A和图11B的波段说明过程1200，然而可以使用基于其他波段集合生成的图像数据来实现类似的工作流程。另外，在各种实施方案中，还可以根据各种已知的平场校正技术来实施平场校正，以改善图像获取和/或视差校正。
对于可见光曝光1205，可以通过到照明板的控制信号来打开前五个峰(图11A的图形1000中的对应于可见光的左五个峰)的LED。在特定于具体LED的时间(例如10ms)下，可能需要稳定光的输出波。捕捉控制模块1135可以在该时间之后开始四个相机的曝光，并且可以例如持续大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并且将数据拉出传感器区域(例如，通过将原始光电二极管强度信号传送到工作存储器1105和/或数据存储器1110)。该数据可以包括用于本文所述的视差校正的共有光谱通道。
为了增加SNR，一些实施方式可以使用针对可见光曝光1205说明的相同过程来捕获额外的可见光曝光1210。具有两个相同或接近相同的曝光可以提高SNR以生成图像数据的更准确的分析。然而，在单个图像的SNR是可接受的实施方式中，可以将其省略。在一些实施方式中，利用共有光谱通道的重复曝光还可以实现更准确的视差校正。
一些实施方式还可以捕获对应于NIR或IR光的不可见光曝光1215。例如，捕获控制模块1135可以激活对应于图11A所示的两个NIR通道的两个不同的NIR LED。在特定于具体LED的时间(例如10ms)下，可能需要稳定光的输出波。捕捉控制模块1135可以在该时间之后开始四个相机的曝光，并且可以例如持续大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并且将数据拉出传感器区域(例如，通过将原始光电二极管强度信号传送到工作存储器1105和/或数据存储器1110)。在该曝光中，可能没有通向所有传感器区域的共有波段，因为可以安全地假设物体相对于曝光1205、1210的形状或位置没有变化，因此可以使用先前计算出的视差值来配准NIR通道。
在一些实施方式中，可以顺序地捕获多次曝光以生成表示由于脉动性血流而导致的组织部位的形状变化的PPG数据。在一些实施方式中，可以在不可见波长下捕获这些PPG曝光。尽管PPG数据与多光谱数据的组合可能会提高某些医学成像分析的准确度，但是PPG数据的捕获也会在图像捕获过程中引入额外的时间。在一些实施方式中，该额外的时间可能由于手持式成像仪和/或物体的移动而引入错误。因此，某些实施方式可以省略PPG数据的捕获。
一些实施方式可以另外地捕获环境光曝光1220。对于该曝光，可以关闭所有LED以使用环境照明(例如，日光、来自其他发光体源的光)来捕获图像。捕捉控制模块1135可以在该时间之后开始四个相机的曝光，并且可以在例如大约30ms的期望持续时间内保持曝光持续进行。此后，捕获控制模块1135可以停止曝光并且将数据拉出传感器区域(例如，通过将原始光电二极管强度信号传送到工作存储器1105和/或数据存储器1110)。可以从可见光曝光1205(或通过第二曝光1210针对SNR校正的可见光曝光1205)的值中和从不可见光曝光1215中减去环境光曝光1220的强度值，以移除来自多光谱数据立方体的环境光的影响。通过隔离代表生成信号的由发光体发出并从物体/组织部位反射的光的部分，可以提高下游分析的准确度。如果仅仅使用可见光1205、1210和不可见光1215的曝光的分析准确度足够，则一些实施方式可以省略此步骤。
应当理解的是，上面列出的特定曝光时间是一种实施方式的示例，并且在其他实施方式中，曝光时间可以根据图像传感器、发光体强度和被成像物体而变化。
图14示出了用于处理图像数据的工作流程1300的示意性框图，例如使用图13的过程1200和/或使用图3A-10B和图12的多光谱多孔径成像系统捕获的图像数据。工作流程1300示出了两个RGB传感器区域1301A，1301B的输出，但是工作流程1300可以扩展到更大数量的传感器区域和对应于不同CFA颜色通道的传感器区域。
来自两个传感器区域1301A，1301B的RGB传感器输出分别存储在2D传感器输出模块1305A，1305B。将两个传感器区域的值发送到非线性映射模块1310A，1310B，其可以通过识别使用共有通道捕获的图像之间的视差、然后在所有通道上应用此确定的视差以将所有光谱图像彼此配准来执行视差校正。
然后，将两个非线性映射模块1310A，1310B的输出供给到深度计算模块1335，其可以计算图像数据中的感兴趣的特定区域的深度。例如，深度可以代表物体与图像传感器之间的距离。在一些实施方式中，可以计算并比较多个深度值以确定物体相对于图像传感器之外的物体的深度。例如，可以确定创伤床的最大深度以及创伤床周围的健康组织的深度(最大、最小或平均)。通过从创伤床的深度中减去健康组织的深度，可以确定创伤的最深深度。可以在创伤床的其他点(例如，全部或一些预定采样)额外地执行这种深度比较，以便建立各点处的创伤深度的3D图(在图14中显示为z(x,y)，其中z是深度值)。在一些实施方案中，更大的视差可以改善深度计算，尽管更大的视差还可能会导致用于这种深度计算的更多的计算密集型算法。
还将两个非线性映射模块1310A，1310B的输出供给到线性方程模块1320，期可以将感测值视为用于光谱解混的线性方程组。一种实施方式可以使用Moore-Penrose伪逆方程作为至少传感器量子效率和滤波器透射率值的函数，以计算实际的光谱值(例如，入射在每个(x,y)图像点处的特定波长的光的强度)。这可以用在需要高准确度的实施方式中，例如临床诊断学和其他生物学应用。光谱解混的应用还可以提供光子通量和SNR的估计。
基于视差校正的光谱通道图像和光谱解混，工作流程1300可以生成光谱数据立方体1325，例如以所示的F(x,y,λ)格式，其中F表示在特定波长或波段λ处的特定(x,y)图像位置的光的强度。
图15以图形方式示出了用于处理图像数据的视差和视差校正，例如使用图13的过程和/或使用图3A-10B和图12的多光谱多孔径成像系统捕获的图像数据。第一组图像1410示出了由四个不同的传感器区域捕获的物体上相同物理位置的图像数据。如图所示，基于图像传感器区域的光电二极管网格的(x,y)坐标系，该物体位置不在原始图像上的同一位置。第二组图像1420示出了视差校正之后的相同物体位置，该物体位置当前位于配准图像的坐标系中的同一(x,y)位置。应当理解的是，这种配准可能涉及从彼此不完全重叠的图像的边缘区域裁剪某些数据。
图16以图形方式示出了用于对多光谱图像数据执行逐像素分类的工作流程1500，例如使用图13的过程、根据图14和图15处理的和/或使用图3A-10B和图12的多光谱多孔径成像系统捕获的图像数据。
在框1510，多光谱多孔径成像系统1513可以捕获表示物体1511上的物理点1512的图像数据。在该示例中，物体1511包括患者的具有创伤的组织。创伤可以包括烧伤、糖尿病性溃疡(例如，糖尿病足溃疡)、非糖尿病性溃疡(例如，压疮或缓慢愈合的创伤)、慢性溃疡、手术后切口，截肢部位(截肢手术前后)、癌性病变或受损的组织。在包括PPG信息的情况下，所公开的成像系统提供了一种用于评估涉及组织血流和脉搏率变化的病理的方法，包括：组织灌注；心血管健康；创伤，如溃疡；周围动脉疾病和呼吸系统健康。
在框1520，可以将由多光谱多孔径成像系统1513捕获的数据处理成具有多个不同波长1523以及任选地在相同波长下对应于不同时间的多个不同图像(PPG数据1522)的多光谱数据立方体1525。例如，图像处理器1120可以由数据立方体生成模块1140配置为根据工作流程1300生成多光谱数据立方体1525。如上所述，一些实施方式还可以将深度值与沿着空间维度的各个点相关联。
在框1530，可以将多光谱数据立方体1525作为机器学习模型1532的输入数据1525进行分析，以生成被成像组织的分类映射1535。分类的映射可以将图像数据中的各像素(在配准之后，其代表被成像物体1511上的特定点)分配给某个组织类别或某个愈合潜力评分。可以在输出的分类图像中使用视觉上不同的颜色或图案来表示不同的分类和评分。因此，即使捕获了物体1511的多个图像，但是输出也可以是物体的单个图像(例如，典型的RGB图像)，其被逐像素分类的视觉表示覆盖。
在一些实施方式中，机器学习模型1532可以是人工神经网络。人工神经网络在某种意义上是人工的，其是计算实体，受到生物神经网络的启发，但是由计算装置修改而进行实施。人工神经网络用于对输入和输出之间的复杂关系进行建模或查找数据中的模式，其中无法轻松确定输入和输出之间的依存关系。神经网络通常包括输入层、一个或多个中间(“隐藏”)层和输出层，其中每个层都包含多个节点。节点数可以在层之间变化。当神经网络包括两个以上的隐藏层时，它被视为“深的”。每一层中的节点都连接到下一层中的一些或所有节点，并且通常在训练过程中从数据学习这些连接的权重，例如通过反向传播，其中网络参数被调整为在带标签的训练数据中的给定相应输入的情况下生成预期输出。因此，人工神经网络是一种自适应系统，其被构造成基于在训练期间流经网络的信息来更改其结构(例如，连接构造和/或权重)，并且可以将隐藏层的权重视为数据中有意义图案的编码。
完全连接的神经网络是这样的网络，其中输入层中的每个节点连接到后续层(第一隐藏层)中的每个节点，然后，第一隐藏层中的每个节点连接到后续隐藏层中的每个节点，依此类推，直到最终隐藏层中的每个节点连接到输出层中的每个节点。
CNN是一种人工神经网络，与上述的人工神经网络类似，CNN由节点组成并且具有可学习的权重。然而，CNN的层可以具有按三个维度排列的节点：宽度、高度和深度，对应于每个视频帧中像素值的2×2阵列(例如，宽度和高度)以及序列中的视频帧的数量(例如，深度)。层的节点仅可以在其之前局部连接到宽度和高度层的小区域，称为感受野。隐藏层权重可以采用应用于感受野的卷积滤波器的形式。在一些实施方案中，卷积滤波器可以是二维的，因此，可以针对输入体积中的每个帧或针对帧的指定子集重复具有相同滤波器的卷积。在其他实施方案中，卷积滤波器可以是三维的，因此延伸通过输入体积的节点的整个深度。CNN的每个卷积层中的节点可以共享权重，从而可以在输入体积的整个宽度和高度上(例如，在整个帧上)复制给定层的卷积滤波器，从而减少可训练权重的总数并且增加CNN对训练数据以外的数据集的适用性。可以池化一层的值以减少后续层中的计算数量(例如，表示某些像素的值可以向前传递而其他的值则被丢弃)，并且进一步地沿着CNN池的深度，掩膜可以将任何丢弃的值重新引入，以将数据点的数量返回到先前大小。可以堆叠许多层(任选地其中一些层完全连接)以形成CNN架构。
在训练期间，人工神经网络可以暴露于训练数据中的对，并且可以修改其参数以在提供输入时预测对的输出。例如，训练数据可以包括例如已经由临床医生(其已经指定对应于某些临床状态的创伤区域)标记的多光谱数据立方体(输入)和分类映射(预期输出)，和/或当已知实际愈合时，在创伤最初成像之后的某个时间具有愈合(1)或不愈合(0)标签。机器学习模型1532的其他实施方式可以被训练以进行其他类型的预测，例如，在指定时间段内创伤愈合到特定百分比的面积减少的可能性(例如，在30天内至少50％的面积减少)或创伤状态(例如，止血、炎症、病原体定植、增生、重塑或健康皮肤类别)。一些实施方式还可以将患者指标合并到输入数据中以进一步提高分类准确度，或者可以基于患者指标来分割训练数据以训练机器学习模型1532的不同实例，从而与具有那些相同患者指标的其他患者一起使用。患者指标可以包括描述患者特征或患者健康状况的文本信息或病史或其各个方面，例如创伤、病变或溃疡的面积、患者的BMI、患者的糖尿病状况、患者周围血管疾病或慢性炎症的存在、患者具有或已经具有的其他创伤的数量、患者是否正在服用或最近服用过免疫抑制剂药物(例如，化学疗法)或者对创伤愈合率、HbA1c、IV期慢性肾衰竭、II型vs.I型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病、深静脉血栓形成、既往心肌梗塞、短暂性脑缺血发作或睡眠呼吸暂停或其任何组合具有正面或负面影响的其他药物。这些指标可以通过适当的处理(例如，通过词到向量的嵌入)转换为向量表示、具有表示患者是否有患者指标(例如，是否具有I型糖尿病)的二进制值的向量或者表示患者具有每个患者指标的程度的数值。
在框1540，可以将分类映射1535输出给使用者。在该示例中，分类映射1535使用第一颜色1541表示根据第一状态分类的像素，并且使用第二颜色1542表示根据第二状态分类的像素。分类和所获得的分类映射1535可以例如基于物体识别、背景颜色识别和/或深度值来排除背景像素。如图所示，多光谱多孔径成像系统1513的一些实施方式可以将分类映射1535投影回到组织部位上。当分类映射包括推荐的切除边界和/或深度的视觉表示时，这可能特别有益。
这些方法和系统可以在皮肤创伤管理的过程中为临床医生和外科医生提供帮助，如烧伤切除、截肢水平、病变清除和创伤分类诊断。本文所述的替代方案可以用于鉴定和/或分类褥疮性溃疡、充血、肢体恶化、雷诺现象、硬皮病、慢性创伤、擦伤、撕裂伤、出血、破裂性损伤、穿刺、穿透性创伤、皮肤癌(基底细胞癌、鳞状细胞癌、黑色素瘤、光化性角化病)或任何类型的组织改变的严重度和/或对其进行分类，其中组织的性质和质量不同于正常状态。本文所述的装置还可以用于监测健康组织、促进和改善创伤治疗程序，例如允许更快和更精巧的方法来确定清创边界，以及评估从创伤或疾病恢复的进展，特别是经过治疗后。在本文所述的一些替代方案中，提供了允许识别与受伤组织相邻的健康组织、确定切除边界和/或深度、植入假体(例如，左心室辅助装置)后的恢复过程的监视、组织移植物或再生细胞植入物的生存力的评估或者手术恢复的监视的装置，特别是在重建程序之后。此外，本文所述的替代方案可以用于评估创伤后的变化或创伤后健康组织的生成，特别是在引入治疗剂之后，如类固醇、肝细胞生长因子、成纤维细胞生长因子、抗生素或再生细胞(如分离的或浓缩的细胞群，其包括干细胞、内皮细胞和/或内皮前体细胞)。
示例性分布式计算环境的概述
图17示出了包括可以是图3A-10B和图12的任何多光谱多孔径成像系统的多光谱多孔径成像系统1605的示例分布式计算系统1600的示意性框图。数据立方体分析服务器1615可以包括一台或多台计算机，可能以服务器群或作为服务器场配置。组成这些计算机的存储器和处理器可以位于一台计算机内，也可以分布在许多计算机上(包括彼此远离的计算机)。
多光谱多孔径成像系统1605可以包括网络硬件(例如，无线互联网、卫星、蓝牙或其他收发器)，用于通过网络1610与使用者装置1620和数据立方体分析服务器1615进行通信。例如，在一些实施方式中，多光谱多孔径成像系统1605的处理器可以被构造成控制图像捕获，然后将原始数据发送到数据立方体分析服务器1615。多光谱多孔径成像系统1605的处理器的其他实施方式可以被构造成控制图像捕获并执行光谱解混和视差校正以生成多光谱数据立方体，然后将其发送到数据立方体分析服务器1615。一些实施方式可以在多光谱多孔径成像系统1605上本地执行完整的处理和分析，并且可以将多光谱数据立方体和所获得的分析发送到数据立方体分析服务器1615，以进行总体分析和/或用于训练或再训练机器学习模型。这样，数据立方体分析服务器1615可以将更新的机器学习模型提供给多光谱多孔径成像系统1605。生成分析多光谱数据立方体的最终结果的处理负荷可以在多孔径成像系统1605和数据立方体分析服务器1615之间以多种方式进行分配，取决于多孔径成像系统1605的处理能力。
网络1610可以包括任何适当的网络，包括内联网、因特网、蜂窝网络、局域网或任何其他这样的网络或其组合。使用者装置1620可以包括任何配备有网络的计算装置，例如台式电脑、膝上型电脑、智能电话、平板电脑、电子阅读器或游戏机等。例如，由多孔径成像系统1605和数据立方体分析服务器1615确定的结果(例如，分类图像)可以被发送到患者、医生、存储患者电子病历的医院信息系统和/或组织类别场景中的集中式的健康数据库(例如，疾病控制中心的数据库)所指定的使用者装置。
示例性实施结果
背景：烧伤导致的发病率和死亡率是受伤的战士及其护理人员的主要问题。战斗伤亡中的烧伤发生率历来为5-20％，其中约20％的伤亡需要在美国陆军外科医学研究所(ISR)烧伤中心或等效机构进行复杂的烧伤手术。烧伤手术需要专门的培训，因此由ISR人员提供，而不是由美国军事医院的人员提供。烧伤专家的数量有限，导致为烧伤士兵提供护理的后勤工作非常复杂。因此，在术前和术中检测烧伤深度的新的目标方法可以使更多的医务人员，包括非ISR人员，被征募来护理在战斗中遭受烧伤创伤的患者。然后，可以利用这种扩大的护理提供者来进一步提供更复杂的烧伤护理，以进一步解决烧伤创伤的战斗人员的护理角色。
为了开始解决这一需求，已经开发了一种新颖的基于推车的成像装置，其使用多光谱成像(MSI)和人工智能(AI)算法来辅助术前确定烧伤愈合潜力。该装置在短时间内(例如，在6、5、4、3、2或1秒内)从宽的组织区域(例如，5.9×7.9平方英寸)获取图像，并且不需要注射造影剂。这项基于平民人口的研究表明，该装置在确定烧伤愈合潜力方面的准确度超过了烧伤专家的临床判断(例如，70-80％)。
方法：对各种烧伤严重度的平民受试者在烧伤损伤后的72小时内进行成像，然后在烧伤后直至7天的随后几个时间点进行成像。使用3周的愈合评估或穿孔活检来确定每个图像的真实烧伤严重度。在每个图像像素的基础上分析该装置的准确度，从而按一度、二度和三度烧伤损伤来识别和区分愈合和未愈合的烧伤组织。
结果：收集来自38位平民受试者的数据，共58处烧伤，图像393张。AI算法在预测未愈合的烧伤组织中达到了87.5％的灵敏度和90.7％的特异性。
结论：该装置及其AI算法证实了确定烧伤愈合潜力的准确度超过了烧伤专家的临床判断的准确度。未来的工作重点是重新设计装置的便携性，并评估其在术中环境中的使用。便携性的设计更改包括减小装置到便携式系统的尺寸、增加视野、减少获取单个快照的时间以及使用猪模型评估该装置用于术中环境。这些进展已在台式MSI子系统中实现，该子系统在基本成像测试中显示出等效性。
用于图像配准的额外发光体
在各种实施方案中，可以结合本文公开的任何实施方案使用一个或多个额外的发光体，以提高图像配准的准确度。图21示出了包括投影仪2105的多孔径光谱成像仪2100的示例性实施方案。在一些实施方案中，投影仪2105或其他合适的发光体可以是例如以上参照图12说明的发光体1165之一。在包括额外发光体(例如，用于配准的投影仪2105)的实施方案中，该方法可以进一步包括额外曝光。诸如投影仪2105等额外的发光体可以将在成像仪2100的所有相机中单独或累积可见的一个光谱带、多个光谱带或宽频带中的一个或多个点、条纹、网格、随机斑点或任何其他合适的空间图案投射到成像仪2100的视野中。例如，投影仪2105可以投射共享或共有通道的光、宽带照明或累积可见的照明，它们可以用于确认基于上述共有波段方法计算出的图像的配准的准确度。如本文所使用的，“累积可见的照明”是指选择的多个波长，使得由多光谱成像系统中的每个图像传感器来转换图案。例如，累积可见的照明可以包括多个波长，使得即使多个波长中的任何一个都不是所有通道共有的，每个通道也可以转换多个波长中的至少一个。在一些实施方案中，可以基于使图案成像在其中的孔径的数量来选择由投影仪2105投射的图案的类型。例如，如果将仅仅通过一个孔径观察图案，则图案可以优选地是相对密集的(例如，可以具有相对窄的自相关，如1-10个像素、20个像素、小于50个像素或小于100个像素等的量级)，而在多个孔径使图案成像的情况下，不太密集或不太窄的自相关的图案可能是有用的。在一些实施方案中，与没有利用投影空间图案来捕获的曝光的实施方案相比，用投影空间图案捕获的额外曝光被包括在视差的计算中，以提高配准的准确度。在一些实施方案中，额外的发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽频带中(如在共享或共有通道中)的条纹或者可以用于根据条纹的相位来改善图像的配准的宽带照明投射到成像仪的视野中。在一些实施方案中，额外的发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽频带中(如在共享或共有通道中)的点、网格和/或斑点的多个独有空间排列或者可以用于改善图像的配准的宽带照明投射到成像仪的视野中。在一些实施方案中，该方法还包括具有单个孔径或多个孔径的额外传感器，其可以检测视野中的一个或多个物体的形状。例如，传感器可以使用LIDAR、光场或超声技术，以使用上述共有波段方法进一步提高图像的配准的准确度。这种额外传感器可以是对光场信息敏感的单孔径传感器或多孔径传感器，也可以对其他信号(例如，超声或脉冲激光)敏感。
用于创伤评估、愈合预测和治疗的机器学习实施方式
下面将说明用于创伤评估、愈合预测和治疗的机器学习系统和方法的示例性实施方案。本文所述的各种成像装置、系统、方法、技术和算法中的任何一种都可以应用于创伤成像和分析的领域。以下实施方式可以包括在一个或多个已知波段中获取创伤的一个或多个图像，并且可以包括基于所述一个或多个图像，进行以下中的任何一个或多个：将图像分割成图像的创伤部分和非创伤部分，预测预定时间段后的创伤的面积减少百分比，预测预定时间段后的创伤的各个部分的愈合潜力，显示与任何此类分割或预测相关的视觉表示，指示在标准创伤护理疗法和高级创伤护理疗法之间进行选择等。
在各种实施方案中，创伤评估系统或临床医生可以基于本文公开的机器学习算法的结果来确定创伤护理疗法的适宜水平。例如，如果创伤愈合预测系统的输出表明在30天内成像的创伤将闭合多于50％，则该系统可以应用或通知医护人员或患者采用标准护理疗法；如果输出表明创伤在30天内多于50％的未闭合，则系统可以应用或通知医护人员或患者使用一种或多种高级创伤护理疗法。
在现有的创伤治疗中，诸如糖尿病足溃疡(DFU)等创伤可能在治疗的最初30天最初接受一种或多种标准创伤护理疗法，例如由Medicare和Medicaid中心定义的标准护理(SOC)疗法。作为标准创伤护理方案的一个示例，SOC疗法可以包括以下中的一项或多项：优化营养状况；通过任何方式清除失活的组织的清创；用适当的湿敷料维持肉芽组织的清洁湿润床；解决可能存在的任何感染的必要疗法；解决DFU肢体的血管灌注不足；从DFU卸载压力；和适宜的葡萄糖控制。在SOC疗法的最初30天中，DFU愈合的可测量征兆定义为：DFU尺寸减小(创伤表面面积或创伤体积)、DFU渗出液的量减少以及DFU内的坏死组织的量减少。图22示出了愈合DFU的示例性进展。
如果在SOC疗法的最初30天内未观察到愈合，则通常指示高级创伤护理(AWC)疗法。Medicare和Medicaid中心没有AWC疗法的摘要或定义，但被认为是上述SOC疗法以外的任何疗法。AWC疗法是一个密集的研究和创新领域，几乎不断引入用于临床实践的新选择。因此，AWC疗法的覆盖范围是根据个人情况确定的，某些患者可能无法考虑AWC所涵盖的治疗费用。基于这种理解，AWC疗法包括但不限于以下中的任何一种或多种：高压氧疗法；负压创伤疗法；生物工程化的皮肤替代品；合成的生长因子；细胞外基质蛋白；基质金属蛋白酶调节剂；和电刺激疗法。图23示出了未愈合DFU的示例性进展。
在各种实施方案中，本文所述的创伤评估和/或愈合预测可以单独地基于一个或多个创伤图像或者基于患者健康数据(例如，一个或多个健康指标值、临床特征等)和创伤图像的组合来完成。所述的技术可以捕获包括溃疡或其他创伤的患者组织部位的单个图像或一组多光谱图像(MSI)、使用本文所述的机器学习系统处理图像并且输出一个或多个预测的愈合参数。可以通过本技术来预测各种愈合参数。作为非限制性示例，一些预测的愈合参数可以包括(1)关于溃疡在30天内(或根据临床标准所期望的，为另一个时间段)是否将愈合到大于50％的面积减少(或根据临床标准所期望的，为另一个阈值百分比)的二进制是/否；(2)溃疡在30天内(或根据临床标准所期望的，为另一个时间段)愈合到大于50％的面积减少(或根据临床标准所期望的，为另一个阈值百分比)的可能性百分比；或者(3)关于由于溃疡的愈合而在30天内(或根据临床标准所期望的，为另一个时间段)预期的实际面积减少的预测。在进一步的示例中，本技术的系统可以针对创伤的较小部分(例如针对创伤图像的单个像素或像素子集)提供二进制的是/否或愈合的可能性百分比，其中是/否或可能性百分比指示创伤的每个单独部分在预定时间段后可能是愈合组织还是未愈合组织。
图24示出了一种提供此类愈合预测的示例性方法。如图所示，创伤的图像(或者使用多光谱图像传感器在不同时间或同时以不同波长捕获的创伤的一组多光谱图像)可以被用来将输入值和输出值同时供给到诸如自动编码器神经网络等神经网络，其是一种人工神经网络，如下面更详细说明的。这种类型的神经网络能够生成输入的减少的特征表示，这里是表示输入图像中的像素值的减少数量的值(例如，数值)。继而可以将其提供给机器学习分类器，例如完全连接的前馈人工神经网络或图25所示的系统，以输出针对成像的溃疡或其他创伤的愈合预测。
图25示出了提供此类愈合预测的另一种方法。如图所示，图像(或者使用多光谱图像传感器在不同时间或同时以不同波长捕获的一组多光谱图像)作为输入被供给到诸如卷积神经网络(“CNN”)等神经网络中。CNN采用像素值(例如，用于捕获图像数据的沿着图像传感器的高度和宽度的值)的二维(“2D”)阵列，并且输出图像的一维(“1D”)表示。这些值可以表示输入图像中每个像素的分类，例如根据与溃疡或其他创伤有关的一种或多种生理状态。
如图25所示，患者指标数据存储库可以存储有关患者的其他类型的信息，在本文中称为患者指标、临床变量或健康指标值。患者指标可以包括描述患者特征的文本信息，例如溃疡的面积、患者的体重指数(BMI)、患者具有或已经具有的其他创伤的数量、糖尿病状况、患者是否正在服用或最近服用过免疫抑制剂药物(例如，化学疗法)或者对创伤愈合率、HbA1c、IV期慢性肾衰竭、II型vs.I型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病、深静脉血栓形成、既往心肌梗塞、短暂性脑缺血发作或睡眠呼吸暂停或其任何组合具有正面或负面影响的其他药物。然而，可以使用各种其他指标。下表1中提供了许多示例性指标。
表1.用于创伤图像分析的示例性临床变量
这些指标可以通过适当的处理(例如，通过词到向量的嵌入)转换为向量表示、具有表示患者是否有患者指标(例如，是否具有I型糖尿病)的二进制值的向量或者表示患者具有每个患者指标的程度的数值。各种实施方案可以使用这些患者指标中的任何一个或者一些或所有患者指标的组合，以提高由本技术的系统和方法生成的预测的愈合参数的准确度。在一个示例性试验中，可以确定，在不考虑临床变量的单独分析的情况下，DFU的初始临床就诊期间获取的图像数据可以准确地预测DFU的面积减少百分比，准确度约为67％。仅基于患者病史的预测准确度约为76％，最重要的特征是：创伤面积、BMI、既往创伤的数量、HbA1c、IV期慢性肾衰竭、II型vs.I型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病、深静脉血栓形成、既往心肌梗塞、短暂性脑缺血发作和睡眠呼吸暂停。当将这些医学变量与图像数据结合在一起时，观察到预测准确度提高到大约78％。
在如图25所示的一个示例性实施方案中，图像数据的1D表示可以与患者指标的向量表示级联。然后，可以将此级联值作为输入供给到完全连接的神经网络中，从而输出预测的愈合参数。
图25中所示的系统可以被认为是具有多个机器学习模型以及患者指标向量生成器的单个机器学习系统。在一些实施方案中，可以以端到端的方式训练整个系统，使得CNN和完全连接的网络通过反向传播来调整其参数，从而能够从输入图像生成预测的愈合参数，其中患者指标向量添加到在CNN和完全连接的网络之间传递的值上。
示例性机器学习模型
人工神经网络在某种意义上是人工的，其是计算实体，受到生物神经网络的启发，但是由计算装置修改而进行实施。人工神经网络用于对输入和输出之间的复杂关系进行建模或查找数据中的模式，其中无法轻松确定输入和输出之间的依存关系。神经网络通常包括输入层、一个或多个中间(“隐藏”)层和输出层，其中每个层都包含多个节点。节点数可以在层之间变化。当神经网络包括两个以上的隐藏层时，它被视为“深的”。每一层中的节点都连接到下一层中的一些或所有节点，并且通常在训练过程中基于训练数据来学习这些连接的权重，例如通过反向传播，其中网络参数被调整为在带标签的训练数据中的给定相应输入的情况下生成预期输出。因此，人工神经网络是一种自适应系统，其被构造成基于在训练期间流经网络的信息来更改其结构(例如，连接构造和/或权重)，并且可以将隐藏层的权重视为数据中有意义图案的编码。
完全连接的神经网络是这样的网络，其中输入层中的每个节点连接到后续层(第一隐藏层)中的每个节点，然后，第一隐藏层中的每个节点连接到后续隐藏层中的每个节点，依此类推，直到最终隐藏层中的每个节点连接到输出层中的每个节点。
自动编码器是包含编码器和解码器的神经网络。某些自动编码器的目标是使用编码器压缩输入数据，然后使用解码器对该编码的数据进行解压缩，以使输出是原始输入数据的良好/完美重构。本文所述的示例性自动编码器神经网络，如图24所示的自动编码器神经网络，可以将创伤图像(例如，以向量或矩阵形式构造)的图像像素值作为其输入层的输入。随后的一个或多个层或者“编码器层”通过降低其维度(例如，通过使用比其原始n维度更少的维度表示输入)对该信息进行编码，并且该编码器层之后的额外的一个或多个隐藏层(“解码器层”)对该信息进行解码，以在输出层生成输出特征向量。自动编码器神经网络的示例性训练过程可以不受监督，因为自动编码器会学习其隐藏层的参数，从而生成与提供的输入相同的输出。这样，输入层和输出层中的节点数量通常是相同的。降维使自动编码器神经网络可以学习输入图像的最显著特征，其中自动编码器的最内层(或另一个内层)代表输入的“特征减少”版本。在一些示例中，这可以用于将具有例如大约一百万个像素(其中每个像素值可以被视为图像的单独特征)的图像减少到大约50个值的特征集。图像的这种降维表示可以由另一个机器学习模型(例如，图25的分类器或合适的CNN或其他神经网络)使用，从而输出预测的愈合参数。
CNN是一种人工神经网络，与上述的人工神经网络类似，CNN由节点组成并且在节点之间具有可学习的权重。然而，CNN的层可以具有按三个维度排列的节点：宽度、高度和深度，对应于每个图像帧中像素值的2×2阵列(例如，宽度和高度)以及图像序列中的图像帧的数量(例如，深度)。在一些实施方案中，层的节点仅可以局部地连接到前一层的宽度和高度的小区域，称为感受野。隐藏层权重可以采用应用于感受野的卷积滤波器的形式。在一些实施方案中，卷积滤波器可以是二维的，因此，可以针对输入体积中的每个帧(或图像的卷积变换)或针对帧的指定子集重复具有相同滤波器的卷积。在其他实施方案中，卷积滤波器可以是三维的，因此延伸通过输入体积的节点的整个深度。CNN的每个卷积层中的节点可以共享权重，从而可以在输入体积的整个宽度和高度上(例如，在整个帧上)复制给定层的卷积滤波器，从而减少可训练权重的总数并且增加CNN对训练数据以外的数据集的适用性。可以池化一层的值以减少后续层中的计算数量(例如，表示某些像素的值可以向前传递而其他的值则被丢弃)，并且进一步地沿着CNN池的深度，掩膜可以将任何丢弃的值重新引入，以将数据点的数量返回到先前大小。可以堆叠许多层(任选地其中一些层完全连接)以形成CNN架构。在训练期间，人工神经网络可以暴露于训练数据中的对，并且可以修改其参数以在提供输入时预测对的输出。
人工智能描述了可以执行通常被认为需要人类智能的任务的计算机化系统。这里，所公开的人工智能系统可以执行图像(和其他数据)分析，在没有所公开的技术的情况下，可能需要人类医生的技能和智能。有利地，所公开的人工智能系统可以在初次患者就诊时做出这样的预测，而不需要等待30天的时间来评估创伤愈合。
学习能力是智能的重要方面，因为没有这种能力的系统通常无法从经验中变得更加智能。机器学习是计算机科学的一个领域，它使计算机无需进行显式编程即可具有学习能力，例如，使人工智能系统能够学习复杂的任务或适应不断变化的环境。所公开的机器学习系统可以通过暴露于大量标记的训练数据来学习以确定创伤愈合潜力。通过这种机器学习，所公开的人工智能系统可以学习在创伤的外观(如在诸如MSI等图像数据中捕获的)与创伤的愈合潜力之间的新关系。
所公开的人工智能机器学习系统包括计算机硬件，例如，一个或多个存储器和一个或多个处理器，如参照本文的各种成像系统所述的。本技术的任何机器学习系统和/或方法可以在本公开的各种成像系统和装置的处理器和/或存储器上实施或与之通信。
示例性多光谱DFU成像实施方式
在本文公开的机器学习系统和方法的示例性应用中，与上述一致的机器学习算法用于预测在第0天成像后的第30天成像创伤的面积减少百分比(PAR)。为完成预测，机器学习算法被训练成将MSI数据和临床变量作为输入并输出代表预测的PAR的标量值。30天后，评估每个创伤以测量其真实PAR。将预测的PAR与在创伤上进行的30天愈合评估期间测得的真实PAR进行比较。使用确定系数(R2)对算法的性能进行评分。
此示例性应用程序的机器学习算法是决策树分类器的打包集合，使用来自DFU图像的数据库的数据进行拟合。可以等效地实现其他合适的分类器集合，例如XGBoost算法等。DFU图像的数据库包含从15位受试者获得的糖尿病足溃疡的29个单独图像。对于每个图像，已知在第30天测得的真实PAR。使用留一法交叉验证(LOOCV)程序进行算法训练。在将来自LOOCV的每次折叠的预测结果组合在测试图像上之后，计算R2评分。
MSI数据由2D图像的8个通道组成，其中8个通道中的每个通道代表来自组织的光在特定波长滤波器处的漫反射率。每个通道的视野为15cm×20cm，分辨率为1044像素×1408像素。8个波段包括：420nm±20nm；525nm±35nm；581nm±20nm；620nm±20nm；660nm±20nm；726nm±41nm；820nm±20nm；和855nm±30nm、其中“±”代表每个光谱通道的半峰全宽。8个波段如图26所示。对于每个通道，计算以下的定量特征：所有像素值的平均值、所有像素值的中位值以及所有像素值的标准偏差。
此外，从每个受试者获得以下临床变量：年龄、慢性肾脏疾病的水平、第0天的DFU长度和第0天的DFU宽度。
从使用1通道至8通道的MSI数据立方体中8个通道(波段)的所有可能组合中提取的特征生成单独的算法，总计C1(8)+C2(8)+...+C8(8)＝255个不同的特征集。计算每种组合的R2值，并按从小到大的顺序排序。R2值的95％置信区间从在每个特征集上训练的算法的预测结果算出。为了确定特征集是否可以提供相对于随机机会的改进，识别出特征集，其中在该特征集上训练的算法的结果的95％CI内不包含0.0的值。此外，在每个特征集中包括所有临床变量的情况下，同一分析进行额外的255次。为了确定临床变量是否对算法的性能有影响，使用t检验将使用临床变量训练的255种算法的平均R2值与未经临床变量训练的255种算法进行比较。分析结果在下表2和表3中示出。
表2说明了仅包含图像数据但不包含临床变量的特征集的性能。
表2.在不包含临床数据的特征集上开发的性能最高的算法
如表2所示，在不包含临床特征的特征集中，性能最高的特征集仅包含MSI数据中8个可能通道中的3个。观察到726nm波段表现在所有最高的5个特征集中。在最低的五个特征集的每个中仅表现出一个波段。进一步观察到，尽管在最高的5个特征集的每个中都表现出726nm波段，但是当单独使用时，726nm波段表现最差。下表3说明了特征集的性能，包括图像数据以及年龄、慢性肾脏疾病水平、第0天的DFU长度和第0天的DFU宽度的临床变量。
表3.在包含临床数据的特征集上开发的性能最高的算法
在确实包含临床变量的特征集中，性能最高的特征集包含MSI数据中所有8个可能的通道。855nm波段表现在所有最高的5个特征集中。图27示出了包含和不包含临床变量的模型的直方图，以及代表每个分布的平均值的垂直线。
在比较临床特征的重要性时，确定了没有临床变量的所有特征集之间的平均R2是否等于包含临床变量的所有特征集的平均R2。从没有临床变量的特征集训练的模型确定的平均R2为0.31，从具有临床变量训练的模型确定的平均R2为0.32。在计算用于平均值之间的差异的t检验时，p值为0.0443。因此，确定的是，具有临床变量训练的模型比没有临床特征训练的模型显著更为准确。
从图像数据中提取特征
尽管上述示例性应用提取了平均值、标准偏差和中位像素值，但可以理解的是，可以从图像数据中提取各种其他特征，以用于生成预测的愈合参数。特征类别包括局部、半局部和全局特征。局部特征可以表示图像色块中的纹理，而全局特征可以包括轮廓表示、形状说明符和纹理特征。全局纹理特征和局部特征提供有关图像的不同信息，因为计算纹理的支持方式有所不同。在一些情况下，全局特征具有使用单个向量泛化整个物体的能力。另一方面，局部特征是在图像中的多个点处算出的，因此对闭塞和混乱更为稳健。然而，它们可能需要专门的分类算法来处理每个图像中特征向量的数量可变的情况。
局部特征可以包括例如尺度不变特征变换(SIFT)、加速稳健特征(SURF)、加速段测试的特征(FAST)、二进制稳健不变可扩展关键点(BRISK)、Harris角点检测算子、二进制稳健独立基本特征(BRIEF)、定向的FAST和旋转的BRIEF(ORB)以及KAZE特征。半局部特征可以包括例如小窗口中的边线、样条线、直线和力矩。全局特征可以包括例如颜色、Gabor特征、小波特征、傅立叶特征、纹理特征(例如，一阶、二阶和高阶矩)、来自1D、2D和3D卷积或隐藏层的神经网络特征以及主体成分分析(PCA)。
示例性RGB DFU成像应用
作为预测的愈合参数生成的另一示例，可以基于诸如来自摄影数字相机的RGB数据来使用类似的MSI方法。在这种情况下，该算法可以从RGB图像和任选的受试者的病史或其他临床变量获取数据，并且输出预测的愈合参数，如表明DFU是否会响应30天标准创伤护理疗法的条件概率。在一些实施方案中，条件概率是在给定由θ参数化的模型的输入数据x的情况下所讨论的DFU未愈合的概率(P)；写作：P模型(y＝”未愈合″|x；θ)。
RGB数据的评分方法可能与上述示例性MSI应用的类似。在一个示例中，可以将预测的未愈合区域与在诸如DFU等创伤上进行的30天愈合评估期间测量的真实的未愈合区域进行比较。该比较表示算法的性能。应用于执行该比较的方法可以基于这些输出图像的临床结果。
在此示例性应用中，由愈合预测算法生成的每个预测愈合参数可能有四个结果。在真阳性(TP)结果中，创伤表现出少于50％的面积减少(例如，DFU是未愈合的)，并且算法预测少于50％的面积减少(例如，装置输出未愈合预测))。在真阴性(TN)结果中，创伤表现出至少50％的面积减少(例如，DFU愈合)，并且算法预测至少50％的面积减少(例如，装置输出愈合预测)。在假阳性(FP)结果中，创伤表现出至少50％的面积减少，但是算法预测少于50％的面积减少。在假阴性(FN)结果中，创伤表现出少于50％的面积减少，但是算法预测至少50％的面积减少。在预测和评估实际的愈合之后，可以使用准确度、灵敏度和特异性的性能指标来汇总这些结果，如下表4所示。
表4.用于评估图像预测的标准性能指标。
回顾性地获得了DFU图像的数据库，包括来自82位受试者的糖尿病足溃疡的149个单独图像。在该数据集中的DFU中，有69％被认为是“愈合”的，因为其在第30天达到了50％PAR的目标。平均创伤面积为3.7cm2，中位数创伤面积为0.6cm2。
彩色拍摄图像(RGB图像)用作开发模型的输入数据。RGB图像由2D图像的3个通道组成，其中3个通道中的每个通道代表来自组织的光在传统彩色相机传感器中使用的波长下的漫反射率。临床医生使用便携式数码相机捕获图像。成像仪、工作距离和视野(FOV)的选择在图像之间有所不同。在算法训练之前，手动裁剪图像以确保溃疡位于FOV的中心。裁剪后，将图像插值为3通道×256像素×256像素的图像尺寸。在此插值步骤中，未控制保持原始图像的宽高比。然而，如果需要，可以在所有这些预处理步骤中维持宽高比。对于每个受试者，还获得一组临床数据(例如，临床变量或健康指标值)，包括其病史、既往创伤和血液检查。
为此分析开发了两种算法。每种算法的目标是最初为图像数据标识一种新的表示形式，该表示形式可以与传统的机器学习分类方法中的患者健康指标结合。有许多可用的方法来生成这种图像表示，例如主成分分析(PCA)或尺度不变特征变换(SIFT)。在该示例中，使用卷积神经网络(CNN)将图像从矩阵(尺寸为3通道×265像素×256像素)转换为中的向量。在一个示例中，使用一种单独训练的无监督方法来压缩图像，然后进行机器学习以预测DFU愈合。在第二个示例中，使用一种端到端受监督方法来预测DFU愈合。
在无监督特征提取方法中，例如，使用与图24的方法一致的自动编码器算法。图28示意性地示出了示例性自动编码器。自动编码器包括编码器模块和解码器模块。编码器模块是一个16层VGG卷积网络。第16层表示压缩的图像表示。解码器模块是一个16层VGG网络，其中添加有上采样功能，而取消了池化功能。对于解码器层的输出的每个预测像素值(在中)，都采用均方误差(MSE)计算损失，其中目标值为原始图像的像素值。
自动编码器使用PASCAL视觉物体类别(VOC)数据进行预训练，并使用当前数据集中的DFU图像进行微调。将包含3通道×265像素×256像素(共65,536个像素)的单个图像压缩为50个数据点的单个向量。训练后，将相同的编码器-解码器算法用于数据集中的所有图像。
在提取压缩的图像向量时，将压缩的图像向量用作第二受监督机器学习算法的输入。使用各种机器学习算法(包括逻辑回归、K近邻、支持向量机和各种决策树模型)对图像特征和患者特征的组合进行测试。在图29中示意性地示出了示例性受监督机器学习算法，其使用压缩的图像向量和患者临床变量作为输入来预测DFU愈合。机器学习算法可以是各种已知机器学习算法之一，例如，多层感知器、二次判别分析、朴素贝叶斯或此类算法的集合。
图30示意性地示出了作为上述无监督特征提取方法的替代方法而研究的端到端机器学习方法。在端到端方法中，在通过将患者健康指标数据级联到图像向量实现的最初完全连接的层处，对16层VGG CNN进行了修改。以这种方式，编码器模块和随后的机器学习算法可以被同时训练。已经提出了包括全局变量(例如，患者健康指标或临床变量)以改善CNN的性能或改变CNN的目的的其他方法。最广泛使用的方法是逐特征线性调制(FiLM)生成器。对于受监督的机器学习算法，使用k倍交叉验证程序进行训练。将每个图像的结果算出为真阳性、真阴性、假阳性或假阴性之一。使用上面表4中说明的性能指标汇总了这些结果。
使用七种不同的机器学习算法和三种不同的输入特征组合，从图28和图29的无监督特征提取(自动编码器)和机器学习方法获得预测的准确度，如图31所示。每种算法均使用3倍交叉验证进行训练，并且报告平均准确度(±95％置信区间)。只有两种使用这种方法训练的算法超出了基线准确度。当朴素分类器简单地将所有DFU预测为愈合时，发生基线准确度。超出基线的两种算法是逻辑回归和支持向量机，包括图像数据和患者数据的组合。可以预测DFU愈合并在这些模型中使用的重要患者健康指标包括：创伤面积；体重指数(BMI)；既往创伤的数量；血红蛋白A1c(HbA1c)；肾功能衰竭；II型vs.I型糖尿病；贫血；哮喘；药物使用；吸烟状况；糖尿病性神经病；深静脉血栓形成(DVT)；或既往心肌梗塞(MI)及其组合。
使用图30的端到端机器学习方法的结果表现出其性能显著优于基线，如图32所示。尽管该方法并不显著优于无监督方法，但是平均准确度却高于尝试的其他任何方法。
创伤区域子集的愈合的预测
在另外的示例性实施方案中，除了生成整个创伤的单一愈合概率之外，本技术的系统和方法还能够预测在标准创伤护理30天后不愈合的单个创伤内的组织区域。为了实现该输出，机器学习算法被训练成将MSI或RGB数据作为输入，并生成针对创伤的部分(例如，针对创伤图像中的单个像素或像素子集)的预测的愈合参数。本技术可以进一步训练成输出诸如图像等视觉表示，其突出显示未预计在30天内愈合的溃疡组织的区域。
图33示出了愈合预测和视觉表示的生成的示例性过程。如图33所示，获得光谱数据立方体，如本文其他地方所述的。该数据立方体被传递到机器学习软件进行处理。机器学习软件可以实施以下一些或所有的步骤：预处理、机器学习创伤评估模型和后处理。机器学习模块输出由后处理模块处理的条件概率图(例如，概率的阈值)以生成结果，然后将结果以分类图像的形式可视化地输出到使用者。如图33中输出给使用者的图像所示，系统可以使创伤的图像显示给使用者，从而以不同的视觉表示来显示愈合像素和未愈合像素。
将图33的过程应用于一组DFU图像，并将预测的未愈合区域与在DFU上进行的30天愈合评估期间测得的真实的未愈合区域进行比较。该比较表示算法的性能。用于执行该比较的方法基于这些输出图像的临床结果。DFU图像的数据库包含从19位受试者获得的糖尿病足溃疡的28个单独图像。对于每个图像，已知标准创伤护理30天后未愈合的创伤的真实区域。使用留一法交叉验证(LOOCV)程序进行算法训练。将每个图像的结果算出为真阳性、真阴性、假阳性或假阴性之一。使用上面表4中说明的性能指标汇总了这些结果。
卷积神经网络用于针对每个输入图像生成条件概率图。该算法包括输入层、卷积层、反卷积层和输出层。通常将MSI或RGB数据输入到卷积层。卷积层通常由卷积阶段(例如，仿射变换)组成，其输出又被用作检测器阶段(例如，非线性变换，如整流线性[ReLU])的输入，其结果可能会经历进一步的卷积和检测器阶段。这些结果可以通过池化函数进行下采样，或者直接用作卷积层的结果。卷积层的结果作为下一层的输入提供。反卷积层通常以反向池化层开始，然后是卷积和检测器阶段。通常，这些层按输入层、卷积层、然后反卷积层的顺序进行组织。通常将这种组织称为首先具有编码器层，然后具有解码器层。输出层通常由多个完全连接的神经网络组成，这些神经网络应用于从之前层输出的张量的一个维度上的各个向量。这些完全连接的神经网络的结果的集合是称为条件概率图的矩阵。
条件概率图中的每个条目代表原始DFU图像的区域。该区域可以是与输入MSI图像中的像素的1对1映射，也可以是n对1的映射，其中n是原始图像中像素的某种集合。该图中的条件概率值代表图像的该区域中的组织将不响应标准创伤护理的概率。结果是原始图像中像素的分割，其中预测的未愈合区域与预测的愈合区域被分割。
卷积神经网络内的层的结果可以通过其他来源的信息进行修改。在该示例中，例如，来自受试者病史或治疗计划的临床数据(例如，本文所述的患者健康指标或临床变量)可以用作该修改的来源。因此，卷积神经网络的结果可以以非成像变量的水平为条件。为此，可以将逐特征线性变换(FiLM)层合并到图34所示的网络架构中。FiLM层是一种机器学习算法，其被训练成学习应用于卷积神经网络中的一个层的仿射变换的参数。该机器学习算法的输入是值的向量，在这种情况下为患者健康指标值或临床变量形式的临床相关的患者病史。该机器学习算法的训练可以与卷积神经网络的训练同时完成。具有不同输入和机器学习算法的一个或多个FiLM层可以应用于卷积神经网络的各个层。
用于条件概率映射的输入数据包括多光谱成像(MSI)数据和彩色拍摄图像(RGB图像)。MSI数据由2D图像的8个通道组成，其中8个通道中的每个通道代表来自组织的光在特定波长滤波器处的漫反射率。每个通道的视野为15cm×20cm，分辨率为1044像素×1408像素。8个波长包括：420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nm和855nm±30nm，如图26所示。RGB图像包括2D图像的3个通道，其中3个通道中的每个通道代表来自组织的光在传统彩色相机传感器中使用的波长下的漫反射率。每个通道的视野为15cm×20cm，分辨率为1044像素×1408像素。
为了基于愈合概率执行图像分割，使用称为SegNet的CNN架构。如原始作者所述的，使用该模型来获取RGB图像作为输入并输出条件概率图。此外，还对其进行了修改，以在输入层中利用8通道MSI图像。最后，对SegNet架构进行了修改，以包括FiLM层。
为了证明可以将DFU图像分割成愈合区域和未愈合区域，开发了利用不同输入的各种深度学习模型。这些模型使用以下两个输入特征类别：单独的MSI数据和单独的RGB图像。除了改变输入特征之外，算法训练的许多方面也有所不同。其中一些变化包括使用PASCAL视觉物体类(VOC)数据集预训练模型、使用另一种组织创伤的图像数据库预训练模型、使用滤波器组预先指定输入层的内核、提早停止、算法训练期间的随机图像扩充以及在推理期间对随机图像扩充的结果求平均以生成单个汇总的条件概率图。
两个特征输入类别的每个中性能最高的两个模型被确定优于随机机会。用MSI数据替换RGB数据后，结果得到了改善。基于图像的错误的数量从9个减少到7个。然而，已确定MSI和RGB方法对于生成用于DFU愈合潜力的条件概率图都是可行的。
除了确定SegNet架构可以为创伤图像提供理想的分割准确度之外，还确定其他类型的创伤图像可以意外地适用于训练系统，从而基于条件概率映射将DFU图像或其他创伤图像分割以进行愈合。如上所述，当使用DFU图像数据作为训练数据进行预训练时，SegNetCNN架构可能适用于DFU图像分割。然而，在一些情况下，某些类型的创伤可能无法使用合适的大量训练图像。图35说明了示例性彩色DFU图像(A)以及通过不同的分割算法将DFU分割为预测的愈合和未愈合区域的四个示例。在初次评估当天捕获的图像(A)中，虚线表示在四周后的后续评估中被确定为未愈合的创伤部分。在图像(B)-(E)中，每个相应的分割算法都会生成阴影表示的预测的未愈合组织的部分。如图像(E)所示，使用烧伤图像数据库而不是DFU图像数据库预训练的SegNet算法仍然可以高度准确地预测与图像(A)中的虚线轮廓紧密匹配的未愈合组织区域，与根据经验确定的未愈合区域相对应。相比之下，使用DFU图像数据训练的朴素贝叶斯线性模型(图像(B))、使用DFU图像数据训练的逻辑回归模型(图像(C))和使用PACAL VOC数据预训练的SegNet(图像(D))均显示较差的结果，每个图像(B)-(D)均表示出更大的且形状不正确的未愈合组织区域。
DFU图像的示例性各个波长分析
在进一步的示例性实施方式中，已经发现，可以基于单个波段的图像数据进一步执行第30天创伤的面积减少百分比(PAR)和/或以条件概率图的形式进行分割，而不使用MSI或RGB图像数据。为了实现此方法，机器学习算法被训练成将从单个波段图像提取的特征作为输入并且输出代表预测的PAR的标量值。
所有图像均来自机构审查委员会(IRB)批准的临床研究方案下的受试者。该数据集包含从17位受试者获得的糖尿病足溃疡的28个单独图像。每个受试者在其创伤治疗初次就诊时均被成像。创伤的最长尺寸至少为1.0cm。该研究仅包括规定标准创伤护理疗法的受试者。为了确定治疗30天后的真实PAR，临床医生在常规随访期间进行DFU愈合评估。在该愈合评估中，收集创伤的图像并将其与第0天拍摄的图像进行比较，以准确地定量PAR。
可以使用诸如分类器集合等各种机器学习算法。在此分析中，使用了两种用于回归的机器学习算法。一种算法是决策树分类器的打包集合(袋装树)，第二种是随机森林的集合。用于训练机器学习回归模型的所有特征均来自包括该研究在内的DFU初次就诊治疗之前获得的DFU图像。
从可见光和近红外光谱中的独有波长获得每个DFU的八个灰度图像。每个图像的视野约为15cm×20cm，分辨率为1044像素×1408像素。使用一组具有以下波段的光学带通滤波器选择八个独有波长：420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nm和855nm±30nm，如图26所示。
每个原始的1044像素×1408像素的图像针对每个像素包含该像素的反射强度值。基于反射强度值计算定量特征，包括反射强度值的一阶矩和二阶矩(例如，平均值和标准偏差)。此外，还计算了中位值。
经过这些计算，可以任选地将一组滤波器分别应用于原始图像，以生成多个图像转换。在一个特定示例中，可以使用总共512个滤波器，每个滤波器的尺寸为7像素×7像素或另一种合适的内核尺寸。图36示出了可以在示例性实施方式中使用的一组示例性512 7×7滤波器内核。可以通过训练用于DFU分割的卷积神经网络(CNN)来获得此非限制示例性的一组滤波器。图36中所示的512个滤波器是从CNN的输入层中的第一组内核获得的。通过限制其权重更新来规范这些滤波器的“学习”，以防止与滤波器组中包含的Gabor滤波器产生较大偏差。
可以通过卷积将滤波器应用于原始图像。从这些滤波器卷积得到的512个图像，可以构造尺寸为512通道×1044像素×1408像素的单个3D矩阵。然后，可以从该3D矩阵计算额外的特征。例如，在一些实施方案中，可以算出3D矩阵的强度值的平均值、中位值和标准偏差作为用于输入到机器学习算法中的进一步特征。
除了上述六个特征(例如，通过将卷积滤波器应用于原始图像而构造的原始图像和3D矩阵的像素值的平均值、中位值和标准偏差)之外，额外的特征和/或这些特征的线性或非线性组合可以根据需要进一步包括。例如，两个特征的乘积或比例可以用作算法的新输入特征。在一个示例中，平均值和中位值的乘积可以用作额外的输入特征。
使用留一法交叉验证(LOOCV)程序进行算法训练。一个DFU被选择用于测试集，其余DFU图像用作训练集。训练之后，该模型用于预测保留的DFU图像的面积减少百分比。完成此操作后，将保留的图像返回到DFU图像的完整集，以便可以使用不同的保留图像重复此过程。重复LOOCV，直到每个DFU图像一次成为保留集的一部分。在交叉验证的每次折叠中累积测试集结果之后，可以算出模型的整体性能。
将每个DFU图像的预测的面积减少百分比与在DFU上进行的30天愈合评估期间测得的真实的面积减少百分比进行比较。使用确定系数(R2)对算法的性能进行评分。R2值用于确定各个波长的效用，其是DFU面积减少百分比的方差比例的量度，这由从DFU图像提取的特征来解释。R2值定义为：
其中yi是DFU i的真实PAR，是数据集中所有DFU的平均PAR，f(xt)是DFU i的预测PAR。R2值的95％置信区间从在每个特征集上训练的算法的预测结果算出。使用下式计算95％CI：
其中
在该式中，n是数据集中的DFU图像的总数，k是模型中预测值的总数。
目的是确定可以在回归模型中独立使用的八个波长中的每个波长，以实现显著优于随机机会的结果。为了确定特征集是否可以提供相对于随机机会的改进，对于在该特征集上训练的算法，确定特征集，其中在R2的95％CI内不包含零。为此，进行了八个单独的实验，其中使用以下六个原始特征训练模型：原始图像的平均值、中位值和标准偏差；以及通过使用卷积滤波器从原始图像转换生成的3D矩阵的平均值、中位值和标准偏差。对随机森林和袋装树模型进行了训练。报告了该算法在交叉验证中具有优异性能的结果。审查了这八个模型的结果，以确定下限95％CI是否高于零。如果不是，则使用由六个原始特征的非线性组合生成的额外特征。
使用六个原始特征，可以使用所检查的八个波长中的七个来生成回归模型，其可以解释DFU数据集的面积减少百分比的显著变化。按照最有效到最不有效的顺序，这七个波长分别是：60nm；620nm；726nm；855nm；525nm；581nm；和420nm。如果将3D矩阵的平均值和中位值的乘积作为额外特征包括在内，则发现最终波长820nm非常重要。这些试验的结果汇总在表5中。
表5.针对八个独有波长图像而开发的回归模型的结果
因此，已经表明，本文所述的成像和分析系统和方法甚至基于单个波段图像也能够准确地生成一个或多个预测的愈合参数。在一些实施方案中，单个波段的使用可以便利于从图像计算出一个或多个的聚集定量特征，如原始图像数据和/或通过对原始图像数据应用一个或多个滤波器生成的一组图像或3D矩阵的平均值、中位值或标准偏差。
示例性创伤图像分割系统和方法
如上所述，可以使用本文所述的机器学习技术来分析包括在各个波长或多个波长下的反射率数据的光谱图像，以可靠地预测与创伤愈合相关的参数，如整体创伤愈合(例如，面积减少百分比)，和/或与创伤的一部分相关的愈合相关的参数(例如，与创伤图像的单个像素或像素子集相关的愈合概率)。此外，本文公开的一些方法至少部分地基于聚集定量特征来预测创伤愈合参数，如基于被确定为“创伤像素”的创伤图像的像素的子集或者对应于创伤组织区域而不是愈伤组织、正常皮肤、背景或其他非创伤组织区域的像素而算出的统计量，例如平均值、标准偏差，中位值等。因此，为了基于一组创伤像素来改善或优化这种预测的准确度，优选的是，在创伤的图像中准确地选择创伤像素的子集。
常规地，例如由医生或其他临床医生手动地将诸如DFU的图像等图像分割为创伤像素和非创伤像素，其检查图像并基于该图像选择创伤像素集。然而，这样的手动分割可能很耗时，效率低下并且可能易于出现人为错误。例如，用于计算面积和体积的公式缺乏测量创伤凸形所需的准确度和精确度。另外，确定创伤的真实边界和创伤内的组织的分类(例如上皮生长)需要高水平的能力。由于创伤测量值的变化通常是用于确定治疗效果的关键信息，因此初始创伤测量值的错误会导致错误的治疗决定。
为此，本技术的系统和方法适用于创伤边界的自动检测和创伤区域中组织类型的识别。在一些实施方案中，本技术的系统和方法可以被构造成用于将创伤图像自动地分割为至少创伤像素和非创伤像素，使得基于创伤像素的子集计算出的任何聚集定量特征都达到期望水平的准确度。此外，可能期望实现能够将创伤图像分割成创伤和非创伤像素和/或分割成创伤或非创伤像素的一个或多个子类而不必进一步生成预测的愈合参数的系统或方法。
糖尿病足溃疡图像的数据集可以使用创伤的彩色照片来开发。各种彩色相机系统可以用于获取该数据。在一个示例性实施方式中，使用总共349个图像。受过训练的医生或其他临床医生可以使用软件程序来识别和标记每个创伤图像中的创伤、愈伤组织、正常皮肤、背景和/或任何其他类型的像素类别。获得的被标记的图像，被称为地面真值掩膜，可以包括与图像中的被标记的类别的数量相对应的多种颜色。图37示出了DFU(左)和相应的地面真值掩膜(右)的示例性图像。图37的示例性地面真值掩膜包括与背景像素相对应的紫色区域、与愈伤组织像素相对应的黄色区域以及与创伤像素相对应的青色区域。
基于一组地面真实图像，卷积神经网络(CNN)可以用于这些组织类别的自动分割。在一些实施方案中，算法结构可以是具有多个卷积层的浅U-Net。在一个示例性实施方式中，通过31个卷积层实现了期望的分割结果。然而，可以将用于图像分割的许多其他算法应用于实现所需的输出。
在示例性分割实施方式中，DFU图像数据库被随机分为三组，以便使用269个训练集图像进行算法训练，使用40个测试集图像进行超参数选择，并且使用40个验证集图像进行验证。使用梯度下降训练算法，并监视测试集图像的准确度。当测试集准确度最大化时，算法训练停止。然后，使用验证集确定该算法的结果。
将验证集中每个图像的U-Net算法结果与它们对应的地面真值掩膜进行比较。该比较是逐像素进行的。在这三种组织类型的每一种中，使用以下类别汇总该比较。真阳性(TP)类别包括在地面真值掩膜中的某个像素处存在感兴趣的组织类型并且模型预测组织类型在该像素处存在的像素总数。真阴性(TN)类别包括在地面真值掩膜中的某个像素处不存在感兴趣的组织类型并且模型预测组织类型在该像素处不存在的像素总数。假阳性(FP)类别包括在地面真值掩膜中的某个像素处不存在感兴趣的组织类型并且模型预测组织类型在该像素处存在的像素总数。假阴性(FN)类别包括在地面真值掩膜中的某个像素处存在感兴趣的组织类型并且模型预测组织类型在该像素处不存在的像素总数。使用以下指标汇总这些结果：
准确度：
其中N是验证集中的像素总数。
平均分割评分：
其中C代表三种组织类型。
平均交并比(IOU)：
其中C代表三种组织类型。
在一些实施方案中，可以在多个历元(epoch)进行算法训练，并且可以确定在其上优化准确度的中间数目的历元。在本文所述的示例性实施方式中，用于图像分割的算法训练在80个历元内进行。通过监视训练，可以确定73个历元实现了测试数据集的最佳准确度。
计算出U-Net分割算法的性能，其准确度优于随机机会。U-Net还优于所有三种可能的朴素方法，其中朴素分类器用于始终预测一个组织类别。不管潜在的过度拟合问题，验证集上的模型性能都能够基于这些汇总指标来表现出可行性。
图38示出了使用U-Net分割算法结合本文所述的方法的创伤图像分割的三个示例性结果。对于右列中的三个示例性DFU图像中的每个，按本文所述进行训练的U-Net分割算法生成中间列中所示的自动图像分割输出。对应于每个DFU图像的手动生成的地面真值掩膜显示在图38的左列中，可视化地说明了可以使用本文所述的方法获得的高分割准确度。
术语
本文所述的所有方法和任务可以由计算机系统执行并且完全自动化。在一些情况下，计算机系统可以包括多个不同的计算机或计算装置(例如，物理服务器、工作站、存储阵列、计算资源等)，它们通过网络进行通信和互连操作以执行所述的功能。每个这样的计算装置通常包括执行存储在存储器或其他非暂时性计算机可读存储介质或装置(例如，固态存储装置、磁盘驱动器等)中的程序指令或模块的处理器(或多个处理器)。本文公开的各种功能可以体现在这样的程序指令中，或者可以在计算机系统的专用电路(例如，ASIC或FPGA)中实现。在计算机系统包括多个计算装置的情况下，这些装置可以但不必须共处一地。所公开的方法和任务的结果可以通过将诸如固态存储芯片或磁盘等物理存储装置转换成不同的状态来永久地存储。在一些实施方案中，计算机系统可以是基于云的计算系统，其处理资源由多个不同的商业实体或其他使用者共享。
所公开的过程可以在由使用者或系统管理者发起时按需地响应于事件而开始，如按照预定的或动态确定的时间表，或者响应于一些其他事件而开始。当启动过程时，可以将存储在一个或多个非暂时性计算机可读介质(例如，硬盘驱动器、闪存、可移动介质等)上的一组可执行程序指令加载到服务器或其他计算装置的存储器(例如，RAM)中。然后，可执行指令可以由计算装置的基于硬件的计算机处理器执行。在一些实施方案中，过程或其部分可以串行地或并行地在多个计算装置和/或多个处理器上实现。
取决于实施方案，本文所述的任何过程或算法的某些动作、事件或功能可以以不同顺序执行，可以被添加、合并或完全省略(例如，并非所有所述的操作或事件对于算法的实践都是必要的)。此外，在某些实施方案中，例如，可以通过多线程处理、中断处理或多个处理器或处理器内核或在其他并行架构上来同时执行操作或事件，而不是顺序进行。
结合本文公开的实施方案说明的各种说明性的逻辑块、模块、例程和算法步骤可以被实现为电子硬件(例如，ASIC或FPGA装置)、在计算机硬件上运行的计算机软件或两者的组合。此外，结合本文公开的实施方案说明的各种说明性的逻辑块和模块可以由诸如处理器装置、数字信号处理器(“DSP”)、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)或其他可编程逻辑装置、分立门或晶体管逻辑、分立硬件部件或被设计为执行本文所述的功能其任何组合等机器来实现或执行。处理器装置可以是微处理器，但可选择地，处理器装置可以是控制器、微控制器或状态机、它们的组合等。处理器装置可以包括被构造成处理计算机可执行指令的电路。在另一个实施方案中，处理器装置包括执行逻辑运算而不处理计算机可执行指令的FPGA或其他可编程装置。处理器装置还可以被实现为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器或任何其他这样的配置。尽管本文主要针对数字技术进行了说明，但是处理器装置还可以包括主要模拟部件。例如，本文所述的一些或全部渲染技术可以在模拟电路或混合的模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，包括但不限于基于微处理器、大型机、数字信号处理器、便携式计算装置、装置控制器或设备内部的计算引擎的计算机系统，仅举几例。
结合本文公开的实施方案说明的方法、过程、例程或算法的要素可以直接体现在硬件中、在由处理器装置执行的软件模块中或在两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或任何其他形式的非暂时性计算机可读存储介质中。示例性存储介质可以连接到处理器装置，使得处理器装置可以从该存储介质读取信息，并且可以向该存储介质写入信息。或者，存储介质可以与处理器装置集成在一起。处理器装置和存储介质可以驻留在ASIC中。ASIC可以驻留在使用者终端中。或者，处理器装置和存储介质可以作为分立部件驻留在使用者终端中。
除非另有具体说明或在所使用的上下文中以其他方式理解，否则本文使用的条件语言，例如“可以”、“可能”、“可能会”等，通常旨在传达某些实施方案包括而其他实施方案不包括某些特征、要素或步骤。因此，这样的条件语言通常不旨在暗示特征、要素或步骤以任何方式对于一个或多个实施方案是必需的，或者一个或多个实施方案必然包括用于在有或没有其他输入或提示的情况下确定是否这些特征、要素或步骤在任何特定实施方案中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含在内，并且不排除其他要素、特征、动作、操作等。同样，术语“或”以其包含的含义使用(而不是以其排除的含义使用)，因此，例如在用于连接要素列表时，术语“或”表示列表中的一个、一些或全部要素。
除非另有具体说明或在所使用的上下文中以其他方式理解为存在项目、术语等，否则诸如短语“X、Y或Z中的至少一个”等析取式语言可以是X、Y或Z，或者其任何组合(例如，X、Y或Z)。因此，这样的析取式语言通常不旨在且不应该暗示某些实施方案要求存在X中的至少一个、Y中的至少一个和Z中的至少一个。
尽管上面的详细说明已经示出、说明并指出了应用于各种实施方案的新颖特征，但是可以理解的是，在不脱离本公开的范围的情况下，可以对所示出的装置或算法的形式和细节进行各种省略、替代和改变。可以认识到，本文所述的某些实施方案可以以不提供本文阐述的所有特征和优点的形式实施，因为一些特征可以与其他特征分开使用或实践。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (43)

1. 一种用于评估或预测创伤愈合的系统，所述系统包括：
至少一个光检测元件，其被构造成收集在从包括糖尿病足溃疡的组织区域反射后的至少第一波长的光；和
一个或多个处理器，其与所述至少一个光检测元件通信并被构造成：
从所述至少一个光检测元件接收信号，所述信号代表从所述组织区域反射的第一波长的光；
基于所述信号，生成具有示出所述组织区域的多个像素的图像；
基于所述信号，确定对于所述多个像素的至少子集中的每个像素在第一波长下的反射强度值；
基于该子集的每个像素的反射强度值，确定所述多个像素的该子集的一个或多个定量特征；和
使用一种或多种机器学习算法，基于所述多个像素的该子集的一个或多个定量特征，生成至少一个标量值，所述至少一个标量值对应于在生成所述图像后的预定时间间隔内的糖尿病足溃疡的预测的愈合量。
2.根据权利要求1所述的系统，其中所述预测的愈合量是所述糖尿病足溃疡的预测的面积减少百分比。
3.根据权利要求1或2所述的系统，其中所述至少一个标量值包括多个标量值，所述多个标量值中的每个标量值对应于该子集的各个像素或该子集的各个像素的子组的愈合概率。
4.根据权利要求3所述的系统，其中所述一个或多个处理器还被构造成输出所述多个标量值的视觉表示以显示给使用者。
5.根据权利要求4所述的系统，其中所述视觉表示包括以基于对应于该子集的每个像素的愈合概率而选择的特定视觉表示来显示该像素的图像，其中以不同的视觉表示来显示与不同愈合概率相关的像素。
6.根据权利要求3所述的系统，其中所述一种或多种机器学习算法包括使用创伤、烧伤或溃疡图像数据库预训练的SegNet。
7.根据权利要求6所述的系统，其中所述创伤、烧伤或溃疡图像数据库包括糖尿病足溃疡图像数据库。
8.根据权利要求6所述的系统，其中所述创伤、烧伤或溃疡图像数据库包括烧伤图像数据库。
9.根据权利要求1或2所述的系统，其中所述预定时间间隔是30天。
10.根据权利要求1或2所述的系统，其中所述一个或多个处理器还被构造成识别对应于具有所述组织区域的患者的至少一个患者健康指标值，并且其中所述至少一个标量值是基于所述多个像素的该子集的一个或多个定量特征以及所述至少一个患者健康指标值而生成的。
11.根据权利要求10所述的系统，其中所述至少一个患者健康指标值包括选自以下的至少一个变量：人口统计学变量、糖尿病足溃疡史变量、合规性变量、内分泌变量、心血管变量、肌肉骨骼变量、营养变量、感染病变量、肾脏变量、妇产科变量、药物使用变量、其他疾病变量或实验室值。
12.根据权利要求10所述的系统，其中所述至少一个患者健康指标值包括一个或多个临床特征。
13.根据权利要求12所述的系统，其中所述一个或多个临床特征包括选自以下的至少一个特征：患者的年龄、患者的慢性肾脏疾病的水平、生成图像那天所述糖尿病足溃疡的长度和生成图像那天所述糖尿病足溃疡的宽度。
14.根据权利要求1或2所述的系统，其中第一波长在420 nm ± 20 nm、525 nm ± 35nm、581 nm ± 20 nm、620 nm ± 20 nm、660 nm ± 20 nm、726 nm ± 41 nm、820 nm ±20 nm或855 nm ± 30 nm的范围内。
15.根据权利要求1或2所述的系统，其中第一波长在620 nm ± 20 nm、660 nm ± 20nm或420 nm ± 20 nm的范围内。
16.根据权利要求15所述的系统，其中所述一种或多种机器学习算法包括随机森林的集合。
17.根据权利要求1或2所述的系统，其中第一波长在726 nm ± 41 nm、855 nm ± 30nm、525 nm ± 35 nm、581 nm ± 20 nm或820 nm ± 20 nm的范围内。
18.根据权利要求17所述的系统，其中所述一种或多种机器学习算法包括分类器的集合。
19.根据权利要求1或2所述的系统，还包括被构造成使至少第一波长的光通过的光学带通滤波器。
20.根据权利要求1或2所述的系统，其中所述一个或多个处理器还被构造成：
将所述图像的多个像素自动地分割为创伤像素和非创伤像素；和
选择所述多个像素的该子集以包括所述创伤像素。
21.根据权利要求20所述的系统，其中所述一个或多个处理器还被构造成将所述非创伤像素自动地分割为愈伤组织像素和背景像素。
22.根据权利要求20所述的系统，其中所述一个或多个处理器还被构造成将所述非创伤像素自动地分割为愈伤组织像素、正常皮肤像素和背景像素。
23.根据权利要求20所述的系统，其中所述一个或多个处理器使用包括卷积神经网络的分割算法来自动地分割所述多个像素。
24.根据权利要求23所述的系统，其中所述分割算法是包括多个卷积层的U-Net和包括多个卷积层的SegNet中的至少一者。
25.根据权利要求1或2所述的系统，其中所述多个像素的该子集的一个或多个定量特征包括所述多个像素的一个或多个聚集定量特征。
26.根据权利要求25所述的系统，其中所述多个像素的该子集的一个或多个聚集定量特征选自该子集的像素的反射强度值的平均值、该子集的像素的反射强度值的标准偏差和该子集的像素的中位数反射强度值。
27.根据权利要求1或2所述的系统，其中所述一个或多个处理器还被构造成：
通过卷积分别将多个滤波器内核应用到所述图像以生成多个图像变换；
从所述多个图像变换构造3D矩阵；和
确定所述3D矩阵的一个或多个定量特征，其中所述至少一个标量值是基于所述多个像素的该子集的一个或多个定量特征以及所述3D矩阵的一个或多个定量特征而生成的。
28.根据权利要求27所述的系统，其中所述3D矩阵的一个或多个定量特征选自所述3D矩阵的平均值、所述3D矩阵的值的标准偏差、所述3D矩阵的中位值以及所述3D矩阵的平均值和中位值的乘积。
29.根据权利要求28所述的系统，其中所述至少一个标量值是基于该子集的像素的反射强度值的平均值、该子集的像素的反射强度值的标准偏差、该子集的像素的中位数反射强度值、所述3D矩阵的平均值、所述3D矩阵的值的标准偏差和所述3D矩阵的中位值而生成的。
30.根据权利要求1或2所述的系统，其中所述至少一个光检测元件还被构造成收集在从所述组织区域反射后的至少第二波长的光，并且其中所述一个或多个处理器还被构造成：
从所述至少一个光检测元件接收第二信号，第二信号代表从所述组织区域反射的第二波长的光；
基于第二信号，确定对于所述多个像素的至少该子集中的每个像素在第二波长下的反射强度值；和
基于所述的每个像素在第二波长下的反射强度值，确定所述多个像素的该子集的一个或多个额外的定量特征；
其中所述至少一个标量值是至少部分地基于所述多个像素的该子集的一个或多个额外的定量特征而生成的。
31.一种用于创伤评估的系统，所述系统包括：
至少一个光检测元件，其被构造成收集在从包括创伤的组织区域反射后的至少第一波长的光；和
一个或多个处理器，其与所述至少一个光检测元件通信并被构造成：
从所述至少一个光检测元件接收信号，所述信号代表从所述组织区域反射的第一波长的光；
基于所述信号，生成具有示出所述组织区域的多个像素的图像；
基于所述信号，确定对于所述多个像素的每个像素在第一波长下的反射强度值；和
使用机器学习算法，基于所述多个像素的各个反射强度值，将所述多个像素的各个像素自动地分割为所述多个像素的包括创伤像素的至少第一子集和所述多个像素的包括非创伤像素的第二子集。
32.根据权利要求31所述的系统，其中所述一个或多个处理器还被构造成将所述多个像素的第二子集自动地分割为非创伤像素的至少两个类别，所述至少两个类别选自愈伤组织像素、正常皮肤像素和背景像素。
33.根据权利要求31或32所述的系统，其中所述机器学习算法包括卷积神经网络。
34.根据权利要求33所述的系统，其中所述机器学习算法是包括多个卷积层的U-Net和包括多个卷积层的SegNet中的至少一者。
35.根据权利要求31或32所述的系统，其中所述机器学习算法是基于包括创伤、溃疡或烧伤的多个分割图像的数据集来训练的。
36.根据权利要求31或32所述的系统，其中所述创伤是糖尿病足溃疡。
37.根据权利要求31或32所述的系统，其中所述一个或多个处理器还被构造成输出所分割的多个像素的视觉表示以显示给使用者。
38.根据权利要求37所述的系统，其中所述视觉表示包括以基于所述像素的分割而选择的特定视觉表示来显示每个像素的图像，其中以不同的视觉表示来显示创伤像素和非创伤像素。
39.一种使用根据权利要求1-30中任一项所述的系统来预测创伤愈合的方法，所述方法包括：
用至少第一波长的光照射所述组织区域，使得所述组织区域将所述光的至少一部分反射到所述至少一个光检测元件；
使用所述系统生成所述至少一个标量值；和
确定在所述预定时间间隔内的预测的愈合参数。
40.根据权利要求39所述的方法，其中照射所述组织区域包括激活被构造成发射至少第一波长的光的一个或多个光发射器。
41.根据权利要求39所述的方法，其中照射所述组织区域包括使所述组织区域暴露于环境光。
42.根据权利要求39-41中任一项所述的方法，其中确定预测的愈合参数包括确定在所述预定时间间隔内的所述创伤的预期面积减少百分比。
43.根据权利要求39-41中任一项所述的方法，还包括：
在确定所述创伤的预测的愈合量后的所述预定时间间隔过去之后，测量所述创伤的一个或多个维度；
确定在所述预定时间间隔内的所述创伤的实际愈合量；和
通过提供至少所述创伤的图像和实际愈合量作为训练数据来更新所述一种或多种机器学习算法中的至少一种机器学习算法。
CN201980087443.XA 2018-12-14 2019-12-11 用于评估、愈合预测和治疗创伤的机器学习系统和方法 Active CN113260303B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862780121P 2018-12-14 2018-12-14
US62/780,121 2018-12-14
US201862780854P 2018-12-17 2018-12-17
US62/780,854 2018-12-17
US201962818375P 2019-03-14 2019-03-14
US62/818,375 2019-03-14
PCT/US2019/065820 WO2020123724A1 (en) 2018-12-14 2019-12-11 Machine learning systems and methods for assessment, healing prediction, and treatment of wounds

Publications (2)

Publication Number Publication Date
CN113260303A CN113260303A (zh) 2021-08-13
CN113260303B true CN113260303B (zh) 2024-07-05

Family

ID=71075815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087443.XA Active CN113260303B (zh) 2018-12-14 2019-12-11 用于评估、愈合预测和治疗创伤的机器学习系统和方法

Country Status (7)

Country Link
US (1) US11948300B2 (zh)
EP (1) EP3893733A4 (zh)
JP (2) JP7261883B2 (zh)
KR (1) KR20210101285A (zh)
CN (1) CN113260303B (zh)
BR (1) BR112021011132A2 (zh)
WO (1) WO2020123724A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205624B (zh) 2014-10-29 2019-08-06 光谱Md公司 用于组织分类的反射式多光谱时间分辨光学成像方法和装备
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN113260835A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
EP3893733A4 (en) 2018-12-14 2022-10-12 Spectral MD, Inc. MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT
WO2020163539A1 (en) * 2019-02-05 2020-08-13 University Of Virginia Patent Foundation System and method for fully automatic lv segmentation of myocardial first-pass perfusion images
US20210398676A1 (en) * 2020-06-19 2021-12-23 Neil Reza Shadbeh Evans Machine learning algorithms for detecting medical conditions, related systems, and related methods
WO2022197826A1 (en) * 2021-03-16 2022-09-22 Cornell University Systems and methods for using deep-learning algorithms to facilitate decision making in gynecologic practice
DE102021113153A1 (de) * 2021-05-20 2022-11-24 cureVision GmbH Mobile Dokumentationsvorrichtung für die Erfassung von Hautläsionen
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
CN113729638A (zh) * 2021-09-30 2021-12-03 广州尚衡信息科技有限公司 一种双光谱手面诊健康评估设备
WO2023054768A1 (ko) * 2021-09-30 2023-04-06 주식회사 피플앤드테크놀러지 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
CN113827234B (zh) * 2021-11-25 2022-03-18 之江实验室 一种基于高光谱人脸视频的远程脉搏波重建方法
KR20230111468A (ko) 2022-01-18 2023-07-25 부경대학교 산학협력단 기계학습을 이용한 흉터 조직 영역 검출을 위한 장치 및 방법
ES2948438A1 (es) * 2022-02-16 2023-09-12 Woom Fertility S L Método implementado por computador para obtener el estado de fertilidad de una mujer
KR20230144797A (ko) * 2022-04-08 2023-10-17 (주)파인헬스케어 병원에서 욕창 상태를 결정하고 치료하기 위한 장치 및 장치의 동작 방법
WO2023242673A1 (en) * 2022-06-14 2023-12-21 3M Innovative Properties Company Artificial intelligence techniques for generating a predicted future image of a wound
CN117274242B (zh) * 2023-11-17 2024-01-26 简阳市人民医院 一种基于图像识别的创面检测方法和系统
CN117854731B (zh) * 2024-03-07 2024-05-17 简阳市人民医院 针对腋臭术后伤口延期愈合影响因素的预测方法和系统
CN117877691B (zh) * 2024-03-13 2024-05-07 四川省医学科学院·四川省人民医院 一种基于图像识别的智能化伤口信息采集系统

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170987A (en) 1977-11-28 1979-10-16 California Institute Of Technology Medical diagnosis system and method with multispectral imaging
US4693255A (en) 1985-04-22 1987-09-15 Beall Harry C Medical apparatus method for assessing the severity of certain skin traumas
WO1991008793A1 (en) 1989-12-14 1991-06-27 Brigham And Women's Hospital A treatment system for wounds and other disorders and a method for treating wounds and other skin disorders
US5074306A (en) 1990-02-22 1991-12-24 The General Hospital Corporation Measurement of burn depth in skin
US5701902A (en) 1994-09-14 1997-12-30 Cedars-Sinai Medical Center Spectroscopic burn injury evaluation apparatus and method
GB9521784D0 (en) 1995-10-24 1996-01-03 Rosslyn Medical Ltd Diagnostic apparatus
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6008889A (en) 1997-04-16 1999-12-28 Zeng; Haishan Spectrometer system for diagnosis of skin disease
US6058352A (en) 1997-07-25 2000-05-02 Physical Optics Corporation Accurate tissue injury assessment using hybrid neural network analysis
US6353753B1 (en) 1998-05-05 2002-03-05 Stephen Thomas Flock Optical imaging of deep anatomic structures
US6352517B1 (en) 1998-06-02 2002-03-05 Stephen Thomas Flock Optical monitor of anatomical movement and uses thereof
US5982497A (en) 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
DE19850350C1 (de) 1998-11-02 2000-09-28 Jena Optronik Gmbh Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten
US6381488B1 (en) 1999-06-15 2002-04-30 Sandia Corporation Method and apparatus to measure the depth of skin burns
US6640132B1 (en) 1999-11-17 2003-10-28 Hypermed, Inc. Forensic hyperspectral apparatus and method
CA2398278C (en) 2000-01-27 2012-05-15 National Research Council Of Canada Visible-near infrared spectroscopy in burn injury assessment
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6638668B2 (en) 2000-05-12 2003-10-28 Ocean Optics, Inc. Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging
EP1411824A2 (en) 2001-07-16 2004-04-28 Art Advanced Research Technologies Inc. Multi-wavelength imaging of highly turbid media
BR0212668A (pt) 2001-09-19 2004-08-24 Joule Microsystems Canada Inc Um espectrÈmetro incorporando filtragem combinada de sinal
US20060072109A1 (en) 2004-09-03 2006-04-06 Andrew Bodkin Hyperspectral imaging systems
TW512058B (en) 2001-12-24 2002-12-01 Yung-Jian Yang Spectral analysis system for burning and scalding injuries and device used in the system
WO2004005895A1 (en) 2002-07-09 2004-01-15 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
WO2004051242A1 (en) 2002-12-02 2004-06-17 Erasmus Universiteit Rotterdam Use of high wavenumber raman spectroscopy for measuring tissue
WO2005002425A2 (en) 2003-07-02 2005-01-13 U.S. Government As Represented By The Secretary Of The Army Wearable tissue viability diagnostic unit
US7693069B2 (en) 2003-07-28 2010-04-06 Alcatel-Lucent Usa Inc. Method, apparatus and system for improved inter-domain routing convergence
RU2372117C2 (ru) 2003-09-18 2009-11-10 Аркюо Медикал, Инк. Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления
US7920908B2 (en) 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
JP4118916B2 (ja) 2003-11-11 2008-07-16 オリンパス株式会社 マルチスペクトル画像撮影装置
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7648808B2 (en) 2004-01-12 2010-01-19 Ocean Thin Films, Inc. Patterned coated dichroic filter
US8583216B2 (en) 2004-04-27 2013-11-12 University Of Utah Research Foundation Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer
US20070179482A1 (en) 2004-05-07 2007-08-02 Anderson Robert S Apparatuses and methods to treat biological external tissue
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US8548570B2 (en) 2004-11-29 2013-10-01 Hypermed Imaging, Inc. Hyperspectral imaging of angiogenesis
US8224425B2 (en) 2005-04-04 2012-07-17 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US9078619B2 (en) 2004-12-28 2015-07-14 Hypermed Imaging, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
US7729750B2 (en) 2005-01-20 2010-06-01 The Regents Of The University Of California Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography
US20060241495A1 (en) 2005-03-23 2006-10-26 Eastman Kodak Company Wound healing monitoring and treatment
CA2604829C (en) 2005-04-04 2018-05-15 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US8971984B2 (en) 2005-04-04 2015-03-03 Hypermed Imaging, Inc. Hyperspectral technology for assessing and treating diabetic foot and tissue disease
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
EP1952106B1 (en) 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
BRPI0706415A2 (pt) 2006-01-05 2011-03-29 Univ Virginia método, sistema e produto de programa de computador para avaliação de variabilidade de glicose no sangue em diabetes de dados de automonitoramento
JP4655991B2 (ja) 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
WO2008033909A2 (en) 2006-09-12 2008-03-20 The General Hospital Corporation Apparatus, probe and method for providing depth assessment in an anatomical structure
US20120321759A1 (en) 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
SG10201914077TA (en) 2007-01-05 2020-03-30 Myskin Inc System, device and method for dermal imaging
US8639309B2 (en) 2007-07-31 2014-01-28 J&M Shuler, Inc. Method and system for monitoring oxygenation levels of compartments and tissue
US7857803B1 (en) 2007-03-19 2010-12-28 The United States Of America As Represented By The Secretary Of The Army Burn patient resuscitation system and method
JP2008283442A (ja) 2007-05-10 2008-11-20 Olympus Corp 撮像装置
CN101784227B (zh) 2007-07-06 2013-12-04 工业研究有限公司 激光散斑成像系统和方法
US20090072142A1 (en) 2007-09-14 2009-03-19 Forensicare Incorporated Scanning system and techniques for medical and/or forensic assessment using the same
US20090118600A1 (en) 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US8509879B2 (en) 2007-11-06 2013-08-13 The Regents Of The University Of California Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging
US20100210931A1 (en) 2008-04-04 2010-08-19 Modulate Imaging Inc. Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination
WO2009131989A2 (en) * 2008-04-21 2009-10-29 Drexel University Methods for measuring changes in optical properties of wound tissue and correlating near infrared absorption (fnir) and diffuse reflectance spectroscopy scattering (drs) with tissue neovascularization and collagen concentration to determine whether wound is healing
EP2384182A4 (en) 2008-04-30 2016-10-19 Univ Texas DEVICE AND METHOD FOR NON-INVASIVE EVALUATION OF A TARGET COMPARED TO A NON-TARGET
EP2285272A4 (en) 2008-04-30 2017-01-04 Board of Regents, The University of Texas System Integrated patient bed system
US9042967B2 (en) 2008-05-20 2015-05-26 University Health Network Device and method for wound imaging and monitoring
US20090318815A1 (en) 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US8694266B2 (en) 2008-06-05 2014-04-08 The Regents Of The University Of Michigan Multimodal spectroscopic systems and methods for classifying biological tissue
US9572494B2 (en) 2008-08-12 2017-02-21 New Jersy Institute of Technology Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues
JP2010043979A (ja) 2008-08-13 2010-02-25 Yuichi Kamata 分光画像計測装置
US8488863B2 (en) 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
CA2753916C (en) 2009-04-29 2020-08-25 Genomedx Biosciences Inc. Systems and methods for expression-based classification of thyroid tissue
EP2267654A1 (en) 2009-06-23 2010-12-29 Research in Motion Limited Adjustment of sharpness during digital zoom in digital photography
CN101627902B (zh) 2009-07-15 2011-12-28 深圳先进技术研究院 基于环境光的低功耗、高精度光电容积描记信号前端处理模块
JP5715132B2 (ja) 2009-08-20 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ 画像解析に関する方法及びシステム
JP5856960B2 (ja) 2009-10-06 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 第１の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第１の信号を得るための方法及びシステム
WO2011063306A1 (en) 2009-11-19 2011-05-26 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
US9823127B2 (en) 2010-01-22 2017-11-21 Duke University Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer
US8692912B2 (en) 2010-01-25 2014-04-08 Pixelteq, Inc. Multi-spectral camera
US8488024B2 (en) 2010-02-10 2013-07-16 Panasonic Corporation Image capture device
US8294570B2 (en) 2010-02-24 2012-10-23 Clawson Jeffrey J Burn diagnostic and intervention tool for emergency dispatch
WO2011140536A1 (en) 2010-05-07 2011-11-10 Purdue Research Foundation Quantitative image analysis for wound healing assay
US20120078088A1 (en) 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
EP2665417A4 (en) 2011-01-19 2015-12-02 Univ California APPARATUS, SYSTEMS, AND METHODS FOR TISSUE OXIMETRY AND PERFUSION IMAGING
US8761853B2 (en) 2011-01-20 2014-06-24 Nitto Denko Corporation Devices and methods for non-invasive optical physiological measurements
US8994819B2 (en) 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
US8694067B2 (en) 2011-02-15 2014-04-08 General Electric Company Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject
US9372118B1 (en) 2011-03-07 2016-06-21 Fluxdata, Inc. Apparatus and method for multispectral based detection
AU2012225644B2 (en) 2011-03-07 2017-05-04 Wake Forest University Health Sciences Delivery system
JP5704984B2 (ja) 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
US20120288230A1 (en) 2011-05-13 2012-11-15 Kestrel Labs, Inc. Non-Reflective Optical Connections in Laser-Based Photoplethysmography
WO2012170963A1 (en) 2011-06-08 2012-12-13 Digital Light Innovations System and method for hyperspectral imaging
US9638741B2 (en) 2011-06-24 2017-05-02 Kla-Tencor Corporation Method and apparatus for inspection of light emitting semiconductor devices using photoluminescence imaging
KR101134770B1 (ko) 2011-07-22 2012-04-13 양완석 휴대용 인체외시경 영상장치
US8942459B2 (en) 2011-09-12 2015-01-27 Perkinelmer Cellular Technologies Germany Gmbh Methods and apparatus for fast identification of relevant features for classification or regression
US9295402B1 (en) 2012-01-17 2016-03-29 University Of Washington Through Its Center For Commercialization Methods and systems for assessing a burn injury
US20150011892A1 (en) 2012-01-20 2015-01-08 Harvard Apparatus Regenerative Technology, Inc. Methods for evaluating tissue injuries
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
EP2840957B1 (en) 2012-04-27 2024-01-03 Stryker European Operations Limited Optical coherent imaging medical device and method
US9031306B2 (en) 2012-05-02 2015-05-12 The Regents Of The University Of California Diagnostic and prognostic histopathology system using morphometric indices
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9766382B2 (en) 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
US9036877B2 (en) 2012-06-20 2015-05-19 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US9547178B2 (en) 2012-08-15 2017-01-17 Semrock. Inc. Dichroic image splitter
ES2748805T3 (es) 2012-09-13 2020-03-18 Polyheal Ltd Composiciones de cicatrizacion de heridas mejoradas que comprenden microesferas
MX2018016101A (es) 2012-11-07 2022-05-19 Modulated Imaging Inc Eficiente formacion modulada de imagenes.
WO2014110027A1 (en) 2013-01-10 2014-07-17 Caliper Life Sciences, Inc. Multispectral imaging system and methods
US20140213910A1 (en) 2013-01-25 2014-07-31 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination
CA3053060C (en) 2013-01-31 2022-04-19 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
US11653874B2 (en) * 2013-02-01 2023-05-23 Acceleritas Corporation Method and system for characterizing tissue in three dimensions using multimode optical measurements
EP2951301A4 (en) 2013-02-01 2016-11-02 Daniel Farkas METHOD AND SYSTEM FOR CHARACTERIZING THREE-DIMENSIONAL FABRIC USING MULTIMODAL OPTICAL MEASUREMENTS
GB201302451D0 (en) 2013-02-12 2013-03-27 Isis Innovation Method and system for signal analysis
EP2964093A4 (en) * 2013-03-06 2016-12-07 Marika Pty Ltd EVALUATION OF OPTICAL DENSITY GRADIENTS AND VARIATIONS
WO2014143235A1 (en) 2013-03-14 2014-09-18 Integrated Plasmonics Corporation Ambient light assisted spectroscopy
SG11201601019TA (en) 2013-08-14 2016-03-30 Univ Nanyang Tech Systems and methods for revascularization assessment
CN103815875B (zh) 2013-10-28 2015-06-03 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统
US10032287B2 (en) * 2013-10-30 2018-07-24 Worcester Polytechnic Institute System and method for assessing wound
EP3091897A4 (en) 2014-01-06 2017-12-27 The Florida International University Board of Trustees Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
US20150208950A1 (en) 2014-01-28 2015-07-30 The Texas A&M University System Arterial and Venous Oxygenation Method and Apparatus
WO2015116823A1 (en) 2014-01-29 2015-08-06 The Johns Hopkins University System and method for wound imaging and debridement
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015143415A1 (en) 2014-03-21 2015-09-24 Hypermed Imaging, Inc. Compact light sensor
CA3204935A1 (en) 2014-05-01 2015-11-01 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
DE102014106974A1 (de) 2014-05-16 2015-11-19 Cubert GmbH Räumlich und spektral auflösende Hyperspektralkamera und Verfahren
WO2015187489A1 (en) 2014-06-04 2015-12-10 University Of Massachusetts Medical School Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation
CN115919256A (zh) 2014-07-24 2023-04-07 大学健康网络 用于诊断目的的数据的收集和分析
US10117617B2 (en) 2014-10-08 2018-11-06 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US20220142484A1 (en) 2014-10-29 2022-05-12 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
CN107205624B (zh) * 2014-10-29 2019-08-06 光谱Md公司 用于组织分类的反射式多光谱时间分辨光学成像方法和装备
US11206388B2 (en) 2014-12-01 2021-12-21 Sony Corporation Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
AU2015357088A1 (en) 2014-12-03 2017-05-18 Oregon Health & Science University Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US9990472B2 (en) 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images
US11037070B2 (en) 2015-04-29 2021-06-15 Siemens Healthcare Gmbh Diagnostic test planning using machine learning techniques
CA3241702A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
ES2812225T3 (es) 2015-06-15 2021-03-16 Agrowing Ltd Aparato de obtención de imágenes multiespectrales
WO2017026296A1 (ja) 2015-08-10 2017-02-16 株式会社リコー 試料測定装置
EP3334436A4 (en) 2015-08-13 2019-05-29 SomaGenics Inc. PROCESSES AND COMPOSITIONS OF SHORT-SMALL-HAIRPIN-RNAS AND MICRO-RNAS FOR WOUND HEALING
US10921186B2 (en) 2015-09-22 2021-02-16 Hypermed Imaging, Inc. Methods and apparatus for imaging discrete wavelength bands using a mobile device
AU2016325592B2 (en) * 2015-09-23 2019-06-27 Novadaq Technologies Inc. Methods and systems for assessing healing of tissue
EP3367887A4 (en) 2015-10-28 2019-05-22 Spectral MD Inc. TIME-RESOLVED MULTISPECTRAL OPTICAL IMAGING METHODS, REFLECTIVE MODE AND FABRIC CLASSIFICATION APPARATUSES
NL2015804B1 (en) 2015-11-17 2017-06-02 Quest Photonic Devices B V Hyperspectral 2D imaging device.
US10572997B2 (en) 2015-12-18 2020-02-25 Given Imaging Ltd. System and method for detecting anomalies in an image captured in-vivo using color histogram association
WO2017181200A1 (en) 2016-04-15 2017-10-19 The Regents Of The University Of California Assessment of wound status and tissue viability via analysis of spatially resolved thz reflectometry maps
GB2550582B (en) * 2016-05-23 2020-07-15 Bluedrop Medical Ltd A skin inspection device identifying abnormalities
US10013811B2 (en) 2016-06-13 2018-07-03 Umm-Al-Qura University Hyperspectral image visualization in patients with medical conditions
WO2017223206A1 (en) 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses
US11096602B2 (en) * 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
US10223788B2 (en) 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US10248713B2 (en) 2016-11-30 2019-04-02 Business Objects Software Ltd. Time series analysis using a clustering based symbolic representation
CN110114645B (zh) 2016-12-27 2021-11-26 优鲁格斯股份有限公司 在被观察物体静止时的超光谱成像
US10145740B2 (en) 2017-02-27 2018-12-04 Visera Technologies Company Limited Sensing multiple peak wavelengths using combination of dual-band filters
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US11003933B2 (en) 2017-08-15 2021-05-11 Noblis, Inc. Multispectral anomaly detection
AU2017415626B2 (en) 2017-10-17 2020-08-06 Kronikare Pte Ltd System and method for facilitating analysis of a wound in a target subject
US10371627B2 (en) 2017-11-16 2019-08-06 MultiSensor Scientific, Inc. Systems and methods for multispectral imaging and gas detection using a scanning illuminator and optical sensor
US20190290117A1 (en) 2018-03-22 2019-09-26 Kabushiki Kaisha Topcon Interferometric fundus imaging method
EP3893733A4 (en) 2018-12-14 2022-10-12 Spectral MD, Inc. MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
CN113260835A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN115426939A (zh) 2020-02-28 2022-12-02 光谱Md公司 用于伤口的评估、愈合预测和治疗的机器学习系统和方法
EP4178426A1 (en) 2020-07-13 2023-05-17 Spectral MD, Inc. Spectral imaging systems and methods for histological assessment of wounds
CN117321394A (zh) 2021-03-30 2023-12-29 光谱Md公司 基于多路照明的高精度快照多光谱成像系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A unified framework for automatic wound segmentation and analysis with deep convolutional neural networks;WANG CHANG HAN 等;《ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY 》(37);第2415-2418页 *
SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation;Vijay Badrinarayanan 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;第39卷(第12期);第2481-2495页 *
WANG CHANG HAN 等.A unified framework for automatic wound segmentation and analysis with deep convolutional neural networks.《ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY 》.2015,(37),第2415-2418页. *

Also Published As

Publication number Publication date
JP2023085517A (ja) 2023-06-20
BR112021011132A2 (pt) 2021-08-31
CN113260303A (zh) 2021-08-13
US11948300B2 (en) 2024-04-02
KR20210101285A (ko) 2021-08-18
EP3893733A1 (en) 2021-10-20
JP2022513486A (ja) 2022-02-08
US20230222654A1 (en) 2023-07-13
EP3893733A4 (en) 2022-10-12
JP7261883B2 (ja) 2023-04-20
WO2020123724A1 (en) 2020-06-18
WO2020123724A4 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN113260303B (zh) 用于评估、愈合预测和治疗创伤的机器学习系统和方法
US11599998B2 (en) Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US20230181042A1 (en) Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US11182888B2 (en) System and method for high precision multi-aperture spectral imaging
US11989860B2 (en) System and method for high precision multi-aperture spectral imaging
US20230148951A1 (en) Spectral imaging systems and methods for histological assessment of wounds
WO2017053609A1 (en) Methods and apparatus for imaging discrete wavelength bands using a mobile device
US11686618B2 (en) Hyperspectral imaging method and device
CN117321394A (zh) 基于多路照明的高精度快照多光谱成像系统和方法
WO2023141216A2 (en) System and method for topological characterization of tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant