JP2022513486A - 創傷の評価、治癒予測および治療のための機械学習システムおよびその方法 - Google Patents

創傷の評価、治癒予測および治療のための機械学習システムおよびその方法 Download PDF

Info

Publication number
JP2022513486A
JP2022513486A JP2021533805A JP2021533805A JP2022513486A JP 2022513486 A JP2022513486 A JP 2022513486A JP 2021533805 A JP2021533805 A JP 2021533805A JP 2021533805 A JP2021533805 A JP 2021533805A JP 2022513486 A JP2022513486 A JP 2022513486A
Authority
JP
Japan
Prior art keywords
pixels
wound
image
healing
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021533805A
Other languages
English (en)
Other versions
JP7261883B2 (ja
Inventor
ファン，ウェンシェン
マイケル ディマイオ，ジョン
イー． サッチャー，ジェフリー
クアン，ペイラン
イ，ファリュー
プラント，ケヴィン
バクスター，ロナルド
マッコール，ブライアン
ガオ，ジクン
ドゥワイト，ジェイソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectral MD Inc
Original Assignee
Spectral MD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spectral MD Inc filed Critical Spectral MD Inc
Publication of JP2022513486A publication Critical patent/JP2022513486A/ja
Priority to JP2023063250A priority Critical patent/JP2023085517A/ja
Application granted granted Critical
Publication of JP7261883B2 publication Critical patent/JP7261883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

創傷治癒予測用の機械学習システムおよび創傷の治癒を予測する方法を開示する。この機械学習システムおよび方法は、糖尿病性足部潰瘍やその他の創傷などに使用され、かつ創傷領域と創傷以外の領域への画像のセグメンテーションなどの創傷評価の実装を目的としたものである。創傷の治癒の評価用または予測用のシステムは、創傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された光検出素子；および１つ以上のプロセッサを含み、該１つ以上のプロセッサが、前記光検出素子からの信号に基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；前記複数の画素の少なくとも１つのサブセットの反射強度値を測定し；前記反射強度値に基づいて、前記複数の画素の前記サブセットの１つ以上の定量的特徴を決定し；所定期間経過後における創傷に関連する治癒予測パラメータまたは治癒評価パラメータを生成するように構成されている。

Description

関連出願の相互参照
本願は、「人工知能を使用した、最初の通院時の糖尿病性足部潰瘍の治癒予測」という名称で2018年12月17日に出願された米国仮出願第62/780,854号、「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2018年12月14日に出願された米国仮出願第62/780,121号および「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2019年3月14日に出願された米国仮出願第62/818,375号の利益を主張するものであり、これらの文献は引用によりその全体があらゆる目的で本明細書に明示的に援用される。
連邦政府の助成による研究開発に関する陳述
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
本明細書で開示するシステムおよび方法は、医療イメージングに関し、より具体的には、機械学習技術を使用した創傷の評価、治癒予測および治療に関する。
光学イメージングは、診療所、病床または手術室において、救急時に疾患の予防、診断および治療を改善できる可能性のある新たな技術である。光学イメージング技術は、様々な波長における光子の吸収または散乱特性を組織ごとに測定することにより、組織間の非侵襲的な判別や、内因性造影剤または外因性造影剤で標識した組織と生体組織の非侵襲的な判別を行うことができる。このような光子の吸収や散乱特性の差異により、特定の組織コントラストを得ることができ、健康状態および疾患を示す根拠となる機能活性および分子レベル活性に関する研究が可能となる。
電磁スペクトルとは、電磁放射線（たとえば光）の波長または周波数の帯域である。電磁スペクトルは、長い波長から短い波長の順に、電波、マイクロ波、赤外線光（IR）、可視光（すなわちヒトの眼の構造により検出可能な光）、紫外線光（UV）、Ｘ線、およびガンマ線を含む。また、スペクトルイメージングは、像平面の様々な位置においてスペクトル情報の一部または完全なスペクトルを収集する分光学および写真撮影術の一分野を指す。一部の種類のスペクトルイメージングシステムは、１個以上のスペクトル帯域を撮影することができる。マルチスペクトルイメージングシステムは、複数のスペクトル帯域（通常、それぞれ異なるスペクトル領域にある十数個以下のスペクトル帯域）を撮影して、画素ごとにそのスペクトル帯域での測定値を収集することができ、１個のスペクトルチャネルあたり数十nmの帯域幅を参照することができる。一方、ハイパースペクトルイメージングシステムは、さらに多くのスペクトル帯域を測定することができ、たとえば200個以上ものスペクトル帯域の測定が可能であり、いくつかの種類のハイパースペクトルイメージングシステムは、電磁スペクトルの一部に沿って狭帯域（たとえば数nm以下のスペクトル帯域幅）を連続的にサンプリングすることができる。
本明細書に記載の技術の態様は、非接触性、非侵襲性、非放射性の光学イメージングを利用した、創傷の組織領域またはその近傍の評価および／または分類に使用することができる装置および方法に関する。このような装置および方法は、たとえば、創傷に関連する様々な組織健康状態の分類に対応する組織領域を特定するものであってもよく、かつ／または創傷またはその一部の治癒予測パラメータを測定するものであってもよく、特定された領域および／またはパラメータの視覚表示を出力することができ、このような視覚表示を利用して、臨床医が、創傷治癒の予後を決定したり、適切な創傷ケア療法を選択したり、あるいはこれらの両方を行うことができる。いくつかの実施形態において、本発明の技術による装置および方法は、単一の波長または複数の波長でのイメージングに基づいて、前述のような分類および／または予測を提供することができる。このような、創傷またはその一部の治癒を定量的に予測できる情報を医師に提供可能な非侵襲性のイメージング技術が長い間求められてきた。
一態様において、創傷の治癒の評価用または予測用のシステムは、
創傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサを含む。
前記１つ以上のプロセッサは、
前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
前記シグナルに基づいて、前記複数の画素の少なくとも１つのサブセットにおいて、第１の波長における各画素の反射強度値を測定し；
前記サブセットにおける各画素の前記反射強度値に基づいて、前記複数の画素の前記サブセットの１つ以上の定量的特徴を決定し；
１つ以上の機械学習アルゴリズムを使用して、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴に基づき、所定期間経過後における治癒予測パラメータまたは治癒評価パラメータに相当する少なくとも１つのスカラー値を生成するように構成されている。
いくつかの実施形態において、前記創傷は糖尿病性足部潰瘍である。いくつかの実施形態において、前記治癒予測パラメータは、前記創傷の予測治癒量である。いくつかの実施形態において、前記治癒予測パラメータは、前記創傷の予測される面積減少率（％）である。いくつかの実施形態において、前記少なくとも１つのスカラー値は、複数のスカラー値を含み、各スカラー値が、前記サブセットの個々の画素の治癒の可能性に相当するか、または前記サブセットの複数の画素からなるサブグループの治癒の可能性に相当する。いくつかの実施形態において、前記１つ以上のプロセッサは、前記複数のスカラー値の視覚表示を出力して、ユーザに表示するようにさらに構成されている。いくつかの実施形態において、前記視覚表示は、各画素の治癒の可能性に基づいて選択された特定の視覚表示により前記サブセットの各画素が表示された前記画像を含み、治癒の可能性が異なる画素が、異なる視覚表示で表示される。いくつかの実施形態において、前記１つ以上の機械学習アルゴリズムは、創傷、熱傷または潰瘍の画像データベースを使用して事前に訓練されたSegNetを含む。いくつかの実施形態において、前記創傷の画像データベースは、糖尿病性足部潰瘍の画像データベースを含む。いくつかの実施形態において、前記創傷の画像データベースは、熱傷の画像データベースを含む。いくつかの実施形態において、前記所定期間は３０日間である。いくつかの実施形態において、前記１つ以上のプロセッサは、前記組織領域を有する患者に対応する少なくとも１つの患者健康測定値を特定するようにさらに構成されており、前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴と、前記少なくとも１つの患者健康測定値とに基づいて生成される。いくつかの実施形態において、前記少なくとも１つの患者健康測定値は、患者背景に関する変数、糖尿病性足部潰瘍の履歴に関する変数、コンプライアンスに関する変数、内分泌系に関する変数、心血管系に関する変数、筋骨格系に関する変数、栄養状態に関する変数、感染症に関する変数、腎臓に関する変数、産婦人科系に関する変数、薬剤の使用に関する変数、その他の疾患に関する変数および臨床検査値からなる群から選択される少なくとも１つの変数を含む。いくつかの実施形態において、前記少なくとも１つの患者健康測定値は、１つ以上の臨床的特徴を含む。いくつかの実施形態において、前記１つ以上の臨床的特徴は、患者の年齢、患者の慢性腎疾患の程度、前記画像が作成された日の前記創傷の長さ、および前記画像が作成された日の前記創傷の幅からなる群から選択される少なくとも１つの特徴を含む。いくつかの実施形態において、第１の波長は、420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nmまたは855nm±30nmの範囲内にある。いくつかの実施形態において、第１の波長は、620nm±20nm、660nm±20nmまたは420nm±20nmの範囲内にある。いくつかの実施形態において、前記１つ以上の機械学習アルゴリズムは、ランダムフォレストアンサンブルを含む。いくつかの実施形態において、第１の波長は、726nm±41nm、855nm±30nm、525nm±35nm、581nm±20nmまたは820nm±20nmの範囲内にある。いくつかの実施形態において、前記１つ以上の機械学習アルゴリズムは、分類器のアンサンブルを含む。いくつかの実施形態において、前記システムは、少なくとも第１の波長の光を通過させるように構成された光学バンドパスフィルタをさらに含む。いくつかの実施形態において、前記１つ以上のプロセッサは、前記画像中の複数の画素を、創傷の画素と創傷以外の画素へと自動的にセグメント化し；該創傷の画素を含む前記複数の画素のサブセットを選択するようにさらに構成されている。いくつかの実施形態において、前記１つ以上のプロセッサは、前記創傷以外の画素を、胼胝の画素と背景の画素へと自動的にセグメント化するようにさらに構成されている。いくつかの実施形態において、前記１つ以上のプロセッサは、前記創傷以外の画素を、胼胝の画素と、正常皮膚の画素と、背景の画素へと自動的にセグメント化するようにさらに構成されている。いくつかの実施形態において、前記１つ以上のプロセッサは、畳み込みニューラルネットワークを含むセグメンテーションアルゴリズムを使用して、前記複数の画素を自動的にセグメント化する。いくつかの実施形態において、前記セグメンテーションアルゴリズムは、複数の畳み込み層を含むU-Netおよび複数の畳み込み層を含むSegNetのうちの少なくとも一方である。いくつかの実施形態において、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴は、前記複数の画素の集約された１つ以上の定量的特徴を含む。いくつかの実施形態において、前記複数の画素の前記サブセットの前記集約された１つ以上の定量的特徴は、前記サブセットの画素の前記反射強度値の平均値、前記サブセットの画素の前記反射強度値の標準偏差、および前記サブセットの画素の前記反射強度値の中央値からなる群から選択される。いくつかの実施形態において、前記１つ以上のプロセッサは、畳み込みにより前記画像に複数のフィルタカーネルを個別に適用することにより、複数の変換画像を作成し；前記複数の変換画像から三次元マトリックスを構築し；前記三次元マトリックスの１つ以上の定量的特徴を決定するようにさらに構成されており、前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴に基づいて、および前記三次元マトリックスの前記１つ以上の定量的特徴に基づいて生成される。いくつかの実施形態において、前記三次元マトリックスの前記１つ以上の定量的特徴は、前記三次元マトリックスの数値の平均値、前記三次元マトリックスの数値の標準偏差、前記三次元マトリックスの中央値、および前記三次元マトリックスの平均値と中央値の積からなる群から選択される。いくつかの実施形態において、前記少なくとも１つのスカラー値は、前記サブセットの画素の前記反射強度値の平均値、前記サブセットの画素の前記反射強度値の標準偏差、前記サブセットの画素の前記反射強度値の中央値、前記三次元マトリックスの数値の平均値、前記三次元マトリックスの数値の標準偏差、および前記三次元マトリックスの中央値に基づいて生成される。いくつかの実施形態において、前記少なくとも１つの光検出素子は、前記組織領域から反射された少なくとも第２の波長の光を収集するようにさらに構成されており、前記１つ以上のプロセッサは、前記組織領域から反射された第２の波長の光を示す第２のシグナルを前記少なくとも１つの光検出素子から受信し；前記第２のシグナルに基づいて、前記複数の画素の少なくとも１つのサブセットにおいて、第２の波長における各画素の反射強度値を測定し；第２の波長における各画素の前記反射強度値に基づいて、前記複数の画素の前記サブセットの１つ以上の追加の定量的特徴を決定するようにさらに構成されており；前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の追加の定量的特徴に少なくとも部分的に基づいて生成される。
第２の態様において、創傷評価用システムは、
創傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサを含む。
前記１つ以上のプロセッサは、
前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
前記シグナルに基づいて、第１の波長における前記複数の画素のそれぞれの反射強度値を測定し；
機械学習アルゴリズムを使用して、前記複数の画素のそれぞれの反射強度値に基づき、該複数の画素のそれぞれを、少なくとも、創傷の画素を含む複数の画素の第１のサブセットと、創傷以外の画素を含む複数の画素の第２のサブセットとに自動的にセグメント化するように構成されている。
いくつかの実施形態において、前記１つ以上のプロセッサは、前記複数の画素の第２のサブセットを、少なくとも２種類の、創傷以外の画素に自動的にセグメント化するようにさらに構成されており、該少なくとも２種類の画素が、胼胝の画素、正常皮膚の画素および背景の画素からなる群から選択される。いくつかの実施形態において、前記機械学習アルゴリズムは、畳み込みニューラルネットワークを含む。いくつかの実施形態において、前記機械学習アルゴリズムは、複数の畳み込み層を含むU-Netおよび複数の畳み込み層を含むSegNetのうちの少なくとも一方である。いくつかの実施形態において、前記機械学習アルゴリズムは、セグメント化された複数の創傷の画像、潰瘍の画像または熱傷の画像を含むデータセットに基づいて訓練されたものである。いくつかの実施形態において、前記創傷は糖尿病性足部潰瘍である。いくつかの実施形態において、前記１つ以上のプロセッサは、前記セグメント化された複数の画素の視覚表示を出力して、ユーザに表示するようにさらに構成されている。いくつかの実施形態において、前記視覚表示は、前記セグメント化された画素に基づいて選択された特定の視覚表示により各画素が表示された前記画像を含み、創傷の画素と創傷以外の画素が、異なる視覚表示で表示される。
別の一態様において、創傷の治癒の評価用または予測用のシステムを使用して、創傷の治癒を予測する方法は、
少なくとも第１の波長の光で組織領域を照射し、該組織領域において該光の少なくとも一部を反射させて少なくとも１つの光検出素子に入射させる工程；
創傷の治癒の評価用または予測用のシステムを使用して、少なくとも１つのスカラー値を生成する工程；および
所定期間経過後における治癒予測パラメータを決定する工程
を含む。
いくつかの実施形態において、前記組織領域への照射工程は、前記少なくとも第１の波長の光を発するように構成された１つ以上の発光素子を起動することを含む。いくつかの実施形態において、前記組織領域への照射工程は、該組織領域を環境光に暴露することを含む。いくつかの実施形態において、前記治癒予測パラメータの決定工程は、所定期間経過後における予想される創傷面積減少率（％）を決定することを含む。
いくつかの実施形態において、前記方法は、
前記創傷の予測治癒量の決定から所定期間経過後に、該創傷の１つ以上の寸法を測定する工程；
前記所定期間経過後における前記創傷の実際の治癒量を測定する工程；および
少なくとも前記画像と前記創傷の実際の治癒量とを訓練データとして提供することにより、１つ以上の機械学習アルゴリズムのうちの少なくとも１つを更新する工程
をさらに含む。
いくつかの実施形態において、前記方法は、前記治癒予測パラメータに少なくとも部分的に基づいて、標準的な創傷ケア療法または高度な創傷ケア療法を選択する工程をさらに含む。いくつかの実施形態において、前記標準的な創傷ケア療法または高度な創傷ケア療法の選択工程は、前記治癒予測パラメータにより、３０日後の創傷（好ましくは糖尿病性足部潰瘍）の治癒または閉鎖が５０％を超えることが示された場合に、栄養状態の最適化、任意の手段により壊死組織を除去するためのデブリードマン、適切な湿潤被覆材を用いた清潔で湿った肉芽組織床の維持、罹患している可能性のある感染症の消散に必要とされる治療法、糖尿病性足部潰瘍を有する四肢への血管内灌流の不足に対する対処、糖尿病性足部潰瘍を原因とする圧力負荷の軽減、および適切な血糖管理からなる群から選択される１種以上の標準的な治療法を指示または適用することを含み、かつ前記治癒予測パラメータにより、３０日後の創傷（好ましくは糖尿病性足部潰瘍）の治癒または閉鎖が５０％を超えないことが示された場合に、高圧酸素療法、陰圧創傷療法、生物工学による代替皮膚、合成成長因子、細胞外マトリックスタンパク質、マトリックスメタロプロテイナーゼ調節因子、および電気刺激療法からなる群から選択される１種以上の高度な治療法を指示または適用することを含む。
様々な主光線入射角でフィルタに入射する光の一例を示す。
様々な主光線入射角の光が透過した図１Ａのフィルタから得られた透過効率の一例を示すグラフである。
マルチスペクトル画像データキューブの一例を示す。
特定のマルチスペクトルイメージング技術が、どのようにして図２Ａのデータキューブを生成するのかを示した一例を示す。
図２Ａのデータキューブを生成することができるスナップショットイメージングシステムの一例を示す。
本開示による、湾曲したマルチバンドパスフィルタを備えたマルチアパーチャイメージングシステムの一例の光学設計を示した断面概略図を示す。
図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。
図３Ａおよび図３Ｂに関連して述べた光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステムの別の一実施形態を示す。
図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムのフィルタを通過することができる１組の周波数帯の一例を示す。
図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに使用することができるイメージングシステムの略ブロック図を示す。
図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセスの一例を示したフローチャートである。
たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するためのワークフローの略ブロック図を示す。
たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。
たとえば、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフローを図示する。
図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムを含む分散コンピューティングシステムの一例の略ブロック図を示す。
携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。
携帯型マルチスペクトル・マルチアパーチャイメージングシステムの実施形態の一例を示す。
一般的なカメラのハウジングに収容された、小型USB3.0用のマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。
画像の位置合わせを向上させるための追加の光源を含むマルチスペクトル・マルチアパーチャイメージングシステムの一例を示す。
糖尿病性足部潰瘍（DFU）の治癒の進行の時間経過の一例と、これに対応するDFUの面積、体積およびデブリードマンの測定結果を示す。
非治癒性の糖尿病性足部潰瘍（DFU）の治癒の進行の時間経過の一例と、これに対応するDFUの面積、体積およびデブリードマンの測定結果を示す。
DFUを撮影した１つ以上の画像に基づいて治癒予測を生成するための機械学習システムの一例の概略図を示す。
DFUを撮影した１つ以上の画像と１つ以上の患者健康測定値に基づいて治癒予測を生成するための機械学習システムの一例の概略図を示す。
本発明の技術に従って、画像のセグメンテーションおよび／または治癒予測パラメータの生成を行うため、スペクトルイメージングおよび／またはマルチスペクトルイメージングに使用した１組の波長帯域の一例を示す。
本発明の技術による創傷評価方法の一例において臨床変数を含めた場合の効果を示すヒストグラムである。
本発明の技術による機械学習システムおよび機械学習方法に従ったオートエンコーダの一例の概略図を示す。
本発明の技術による機械学習システムおよび機械学習方法に従った教師あり機械学習アルゴリズムの一例の概略図を示す。
本発明の技術による機械学習システムおよび機械学習方法に従ったエンドツーエンドの機械学習アルゴリズムの一例の概略図を示す。
本発明の技術に従った機械学習アルゴリズムのいくつかの例により示された正確度を示した棒グラフである。
本発明の技術に従った機械学習アルゴリズムのいくつかの例により示された正確度を示した棒グラフである。
本発明の技術による機械学習システムおよび機械学習方法に従った、治癒の予測および条件付き確率マッピングの視覚表示の生成を行うプロセスの一例の概略図を示す。
１層以上のFiLM層（feature-wise linear transformation layer）を含む条件付き確率マッピングアルゴリズムの一例の概略図を示す。
本発明の技術に従った、条件付き治癒確率マップの作成のための画像セグメンテーションアプローチのいくつかにより示された正確度を示す。
本発明の技術による機械学習システムおよび機械学習方法に従って、治癒を予測するための単一波長分析法の一例において使用した畳み込みフィルタカーネルのセットの一例を示す。
本発明の技術による機械学習システムおよび機械学習方法に従って、画像セグメンテーション用のDFU画像に基づいて作成した真値マスクの一例を示す。
本発明の技術による機械学習システムおよび機械学習方法に従って、創傷画像用セグメンテーションアルゴリズムの一例により示された正確度を示す。
米国人のうち、2600万人が糖尿病を患っており、そのうちの約15～25％は糖尿病性足部潰瘍（DFU）を発症する。DFUにより患者の行動が制限されてしまい、生活の質が低下する。DFUを発症した患者のうち、創傷感染症も発症する患者は40％にも達し、創傷感染症により四肢の切断や死亡のリスクも上がる。DFUのみと関連する初年度死亡率は5%にも達し、５年以内の死亡率も42%にも上る。これは、大切断（4.7%）および小切断（39.8%）の年間危険率が高いことからも見て取れる。さらに、１箇所のDFUに対する年間治療費は、約22,000ドル～44,000ドルに達し、DFUによる米国医療制度への経済的負担は、総額で１年あたり90億ドル～130億ドルとなっている。
一般に、30日後の面積減少率（PAR）が50%を超えるDFUは、標準的なケア療法により12週間後までに治癒すると考えられている。しかし、このような測定値を使用した場合、より効果的な治療法（たとえば高度なケア療法）を使用すべき否かを判断するのに、まず４週間の創傷ケアを行うことが必要となる。DFUなどの緊急性のない創傷が初めて発生した場合、創傷ケアに対する通常の臨床的対応では、創傷の発生および最初の評価から約30日間は、標準的な創傷ケア療法（たとえば、血管障害の矯正、栄養状態の最適化、血糖管理、デブリードマン、被覆材および／または圧力負荷の軽減）が患者に施される。約30日目に、創傷が治癒しているか否か（たとえば、面積減少率（％）が50%を超えているか否か）を評価する。創傷が十分に治癒していない場合、１種以上の高度な創傷管理療法で治療を補助する。この高度な創傷管理療法としては、成長因子、生物工学により作製された組織、高圧酸素、陰圧、切断術、組換えヒト血小板由来成長因子（たとえばRegranexTMゲル）、生物工学により作製されたヒト代替真皮（たとえばDermagraftTM）、および／または二層からなる生きた代替皮膚（たとえばApligrafTM）が挙げられる。しかし、DFUの約60%では、30日間の標準的な創傷ケア療法を行った後でも十分な治癒が示されない。さらに、早期に治癒するDFUでも、その約40%は12週間後までには治癒せず、DFUの治癒期間の中央値は、足趾の潰瘍では147日、中足の潰瘍では188日、踵の潰瘍では237日と推定されている。
DFUに対して従来の創傷ケア療法または標準的な創傷ケア療法を30日間行った後でも所望の治癒が得られない場合、高度な創傷ケア療法をできるだけ早く（たとえば、創傷療法を開始してから30日以内に）開始すると有益である可能性がある。しかし、従来の評価方法を使用した場合、通常、30日間の標準的な創傷ケア療法では奏効が示されないDFUを、医師の手により正確に特定することはできない。DFUの治療法の改善を目的とした様々な戦略を利用することができるが、標準的な創傷ケア療法を実際に行った後でしか処方されない。また、DFUの治癒可能性を診断する試みにおいて、経皮的酸素分圧測定、レーザードップラーイメージング、インドシアニングリーンを用いたビデオ血管撮影などの生理学的測定装置も使用されている。しかし、このような装置は、結果が不正確であり、有用なデータが得られず、感度も悪く、コストも法外に高くつくことから、DFUやその他の創傷の評価において広く使用するには適していない。最も良好な治療法を速やかに決定し、創傷の閉鎖に要する時間を短縮するためには、DFUやその他の創傷の治癒をより早期かつより正確に予測できる手段が重要であることは明白である。
本明細書において概説するように、本発明の技術は、DFU、熱傷およびその他の創傷の治癒可能性を診断することが可能な、非侵襲的な臨床現場即時イメージング装置を提供する。様々な実施形態において、本発明の技術によるシステムおよび方法によって、創傷が呈示された際もしくは最初に評価が行われた際、またはこのような機会の直後に、臨床医が創傷の治癒可能性を決定することが可能になる。いくつかの実施形態において、本発明の技術により、創傷（DFUや熱傷など）の個々の部位の治癒可能性を決定することができる。この予測された治癒可能性に基づいて、最初に創傷が呈示されてから４週間以上も先延ばしすることなく、治療の０日目またはその程度の時間内に、標準的な創傷ケア療法を行うべきか、それとも高度な創傷ケア療法を行うべきかという決定を下すことができる。したがって、本発明の技術は、治癒までの時間を短縮し、かつ切断術の機会を低減できる可能性がある。
スペクトルイメージングシステムおよびマルチスペクトルイメージングシステムの一例
本明細書で開示する、DFUおよびその他の創傷の評価方法、予測方法および治療方法に従って使用してもよい様々なスペクトルイメージングシステムおよびマルチスペクトルイメージングシステムについて以下で述べる。いくつかの実施形態において、創傷評価用の画像は、単一の波長帯域内の光を画像化するように構成されたスペクトルイメージングシステムで撮影してもよい。別の実施形態において、２個以上の波長帯域を撮影するように構成されたスペクトルイメージングシステムで画像を撮影してもよい。特定の一例において、市販のモバイル機器に備わっているような、単色イメージング装置、RGBイメージング装置、および／または赤外線イメージング装置で画像を撮影してもよい。さらに別の実施形態は、各アパーチャの上方に配置された湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムを使用したスペクトルイメージングに関する。しかしながら、本発明の技術による創傷の評価方法、予測方法および治療方法は、本明細書で開示する特定の画像取得装置には限定されず、１個以上の公知の波長帯域において画像データを取得することができる何らかのイメージング装置を使用して同様に実装することができることは理解できるであろう。
また、本開示は、前述のようなイメージングシステムから受信した画像情報を使用して、スペクトルデータキューブを生成するために、スペクトルアンミキシングおよび画像の位置合わせを実装するための技術に関する。本開示の技術は、後述するように、画像化される物体から反射された波長帯域に関する正確な情報を示す画像データを得る際に、スペクトルイメージングにおいて通常見られる様々な課題に対処するものである。いくつかの実施形態において、本明細書に記載のシステムおよび方法は、短時間で（たとえば６秒以内に）広範囲な組織（たとえば５．９×７．９インチ）の画像を取得することができ、イメージング造影剤の注射を必要とせずに、これを達成することができる。いくつかの態様において、たとえば、本明細書に記載のマルチスペクトル画像システムは、たとえば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得するように構成されており、かつ複数の熱傷状態、複数の創傷状態、複数の潰瘍の状態もしくは治癒可能性の識別；または画像化された組織のがん状態もしくは非がん状態、創傷の深さ、創傷の体積、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で提供するように構成されている。同様に、本明細書に記載の方法のいくつかにおいて、本発明のマルチスペクトル画像システムは、たとえば５．９×７．９インチといった広範囲な組織から６秒以内に画像を取得し、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態または非がん状態、創傷の深さ、創傷の体積、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で出力することができる。
既存の解決策における課題の１つとして、撮影した画像の色の歪みまたは視差により、画像データの品質が損なわれることがある。これは、特に、光学フィルタを使用して特定の波長の光を正確に検出し分析することに依存した用途において問題となりうる。より具体的には、色の濃淡は、イメージセンサ領域を通過する位置に応じた光の波長の変化であり、これは、カラーフィルタへの光の入射角が大きくなるほど、カラーフィルタを透過する光の波長が短くなることによって起こる。通常、このような効果は、干渉系フィルタにおいて観察され、干渉系フィルタは、透明な基材に様々な屈折率の薄層を複数重ねて製造される。したがって、長い波長（赤色光など）であるほど、光線入射角が大きくなることから、イメージセンサの端部において阻止されやすくなり、イメージセンサを通過する際に、同じ波長の入射光が空間的には不均一な色として検出される。画像補正をしない場合、色の濃淡は、撮影された画像の端部付近の色の変化として現れる。
本開示の技術は、レンズおよび／またはイメージセンサの構成と、これらの視野またはアパーチャサイズが限定されないため、上市されているその他のマルチスペクトルイメージングシステムと比べて多くの利点を有する。当業者であれば熟知しているように、本明細書で開示するイメージングシステムのレンズ、イメージセンサ、アパーチャサイズ、またはその他の部品の変更は、該イメージングシステムへのその他の調整を含んでいてもよいことを理解できるであろう。また、本開示の技術は、波長を分割する機能を有する部品、またはイメージングシステム全体を利用して波長を分割する機能を有する部品（たとえば光学フィルタなど）を、光エネルギーをデジタル出力に変換する部品（たとえばイメージセンサなど）から分離可能であるという点で、その他のマルチスペクトルイメージングシステムと比べて改良されている。これによって、コストを削減し、簡略化し、かつ／または異なるマルチスペクトル波長用のイメージングシステムを再構成するための開発時間を削減することができる。また、本開示の技術は、より小さくより軽量のフォームファクタにおいて、上市されているその他のマルチスペクトルイメージングシステムと同等の撮像特性を達成可能であるという点で、その他のマルチスペクトルイメージングシステムよりも堅牢であると考えられる。また、本開示の技術は、スナップショット、ビデオレートまたは高速ビデオレートでマルチスペクトル画像を取得できるという点でも、その他のマルチスペクトルイメージングシステムと比べて利点を有する。また、本開示の技術は、いくつかのスペクトル帯域を各アパーチャに多重化することができるため、イメージングデータセット中の特定の数のスペクトル帯域を取得するのに必要とされるアパーチャの数を減らすことができ、アパーチャの数の削減と改良された光収集によりコストが削減できることから（たとえば、市販のセンサアレイでは、固定されたサイズおよび寸法に収められる程度のさらに大きなアパーチャが使用されうる）、マルチアパーチャ技術に基づいたマルチスペクトルイメージングシステムのさらに堅牢な実装を提供することができる。さらに、本開示の技術は、解像度または画質に関して妥協することなく、これらの利点のすべてを提供することができる。
図１Ａは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図１Ａにおいて、各光線の光は広帯域であると見なされ、たとえば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図１Ｂは、センサ110の位置に存在すると仮定した分光器で検出された図１Ａの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。
既存の特定のスペクトルイメージングシステムが直面している別の課題として、完全なスペクトル画像データセットの撮影に必要とされる時間が挙げられる。これについては、図２Ａおよび図２Ｂに関連して検討する。スペクトルイメージセンサは、特定のシーンのスペクトル放射照度Ｉ（ｘ，ｙ，λ）を取得し、データキューブと一般に呼ばれる三次元（3D）データセットを収集する。図２Ａは、スペクトル画像のデータキューブ120の一例を示す。この図に示すように、データキューブ120は、三次元の画像データを示し、このうち、２つの空間次元（ｘおよびｙ）は、イメージセンサの二次元（2D）表面に対応し、スペクトル次元（λ）は、特定の波長域に対応している。データキューブ120のサイズは、NxNyNλで求めることができ、NxおよびNyは、各空間次元（ｘ，ｙ）方向の標本点の数であり、Nλは、スペクトル軸λ方向の標本点の数である。データキューブは、現在利用可能な2D検出器アレイ（たとえばイメージセンサ）よりも次元が高いため、典型的なスペクトルイメージングシステムでは、データキューブ120の時系列2Dスライス（すなわち平面）（本明細書において「走査型」イメージングシステムと呼ぶ）を撮影するか、あるいは、演算過程でデータキューブ120を分割して、このデータキューブ120に再統合可能な複数の二次元データを得ることにより、データキューブ120のすべての標本点を同時に測定する（本明細書において「スナップショット型」イメージングシステムと呼ぶ）。
図２Ｂは、特定の走査スペクトルイメージング技術が、どのようにしてデータキューブ120を生成するのかを示した一例を示す。具体的には、図２Ｂは、１回の検出器の積分時間に収集することができるデータキューブ120の部分132、134および136を示す。ポイントスキャン分光器は、たとえば、１つの空間位置（ｘ，ｙ）においてスペクトル平面λの全体に延びる部分132を撮影することができる。ポイントスキャン分光器は、空間次元の各（ｘ，ｙ）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。フィルタホイールイメージングシステムは、たとえば、空間次元ｘおよびｙの全体に延びるが、単一のスペクトル平面λのみに位置する部分134を撮影することができる。フィルタホイールイメージングシステムなどの波長走査イメージングシステムは、スペクトル平面λに対して積分を複数回行うことによってデータキューブ120を構築することができる。ラインスキャン分光器は、たとえば、スペクトル次元λの全体と空間次元の一方（ｘまたはｙ）の全体に延びるが、もう一方の空間次元（ｙまたはｘ）の１つの点のみに位置する部分136を撮影することができる。ラインスキャン分光器は、この一方の空間次元（ｙまたはｘ）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。
対象物体とイメージングシステムの両方が静止している（または露光時間において比較的静止した状態の）用途では、前述した走査型イメージングシステムは、高解像度のデータキューブ120が得られるという利点がある。ラインスキャンイメージングシステムおよび波長走査型イメージングシステムは、イメージセンサの全域を使用して各スペクトルまたは各空間画像が撮影されることにより利点が得られる場合がある。しかし、最初の露光と次の露光の間にイメージングシステムおよび／または物体に動きがあると、得られる画像データにアーチファクトが発生する場合がある。たとえば、データキューブ120において同じ（ｘ，ｙ）位置であっても、実際には、スペクトル次元λにおいて、画像化した物体上の別の物理的位置が示される場合がある。このようなアーチファクトによって、後続の分析において誤差が生じることがあり、かつ／または位置合わせを行う必要性が出てくることがある（たとえば、特定の（ｘ，ｙ）位置が物体上の同じ物理的位置に対応するように、スペクトル次元λの位置調整を行う必要性が出てくる）。
これに対して、スナップショットイメージングシステム140では、１つの積分時間または１回の露光でデータキューブ120の全体を撮影することができることから、前述のような動きが画質に与える影響を回避することができる。図２Ｃは、スナップショットイメージングシステムの作製に使用可能なイメージセンサ142および光学フィルタアレイ144（カラーフィルタアレイ（CFA）など）の一例を示す。この一例でのカラーフィルタアレイ（CFA）144は、イメージセンサ142の表面にカラーフィルタユニット146の繰り返しパターンが配置されたものである。スペクトル情報を得るためのこの方法は、マルチスペクトルフィルタアレイ（MSFA）またはスペクトル分解検出器アレイ（SRDA）と呼ぶこともできる。図に示した一例では、カラーフィルタユニット146は、５×５に配置された様々なカラーフィルタを含むことから、得られる画像データにおいて２５個のスペクトルチャネルが生成される。CFAは、様々なカラーフィルタを使用することによって入射光を各カラーフィルタの帯域に分割し、分割した光をイメージセンサ上の各色の感光体へと導くことができる。このようにして実際には、所定の色148に対して、２５個の感光体のうちの１個のみが、その色の波長の光を示すシグナルを検出する。したがって、このようなスナップショットイメージングシステム140を使用した場合、１回の露光で２５種のカラーチャネルが生成されうるが、各カラーチャネルの測定データ量は、イメージセンサ142の総出力よりも小さくなる。いくつかの実施形態において、CFAは、フィルタアレイ（MSFA）およびスペクトル分解検出器アレイ（SRDA）の一方または両方を含んでいてもよく、かつ／または従来のべイヤーフィルタ、CMYKフィルタもしくはその他の吸収系フィルタもしくは干渉系フィルタを含んでいてもよい。干渉系フィルタの一種として、薄膜フィルタアレイがグリッド状に配置され、各グリッドの素子が１つ以上のセンサ素子に対応しているものがある。別の種類の干渉系フィルタとして、ファブリ・ペローフィルタがある。ナノエッチングされたファブリ・ペロー干渉フィルタは、通常、半値全幅（FWHM）が約20～50nmの帯域通過特性を示すが、フィルタの通過帯域の中心波長から阻止帯域への移行部においてロールオフが小さいことから、いくつかの実施形態において使用することできるという点で有利である。さらに、このようなフィルタは、阻止帯域において低い光学濃度（OD）を示すことから、通過帯域外の光に対する感度を向上させることができる。このような複合効果を有することから、これらの特定のフィルタは、蒸着やイオンビームスパッタリングなどのコーティング蒸着法により多数の薄膜層で構成された同様のFWHMの高光学濃度干渉フィルタの高いロールオフにより阻止されてしまうスペクトル領域に対して感度を示す。色素系CMYKフィルタまたはRGB系（べイヤー）フィルタを使用する構成の実施形態では、スペクトルのロールオフが小さく、かつ個々のフィルタの通過帯域のFWHMが大きいことが好ましく、これにより、観察されるスペクトラム全体において各波長に対するスペクトル透過率を特有のものとすることができる。
したがって、スナップショットイメージングシステムにより得られるデータキューブ120は、高精度なイメージング用途において問題となりうる以下の２つの特性の一方を有する。１つ目の問題点として、スナップショットイメージングシステムにより得られるデータキューブ120は、検出器アレイの（ｘ，ｙ）の大きさよりもNxおよびNyの大きさが小さくなりうることから、同じイメージセンサを有する走査型イメージングシステムにより得られる解像度と同程度までデータキューブ120の解像度が低くなる。２つ目の問題点として、スナップショットイメージングシステムにより得られるデータキューブ120では、特定の（ｘ，ｙ）位置に対する数値補間により、NxおよびNyの大きさが検出器アレイの（ｘ，ｙ）の大きさと同じになることがある。しかし、データキューブの生成において補間が行われた場合、データキューブの特定の数値は、センサ上の入射光の波長の実測値ではなく、周辺値に基づいた実測の推定値であることを意味する。
露光を１回のみ行うマルチスペクトルイメージングにおいて使用される別の既存の部材として、マルチスペクトルイメージング用ビームスプリッターがある。このようなイメージングシステムにおいて、ビームスプリッターキューブは、入射光を異なる色帯域へと分割し、各帯域は独立した複数のイメージセンサにより観測される。ビームスプリッターの設計を変更して、測定するスペクトル帯域を調整することができるが、システムのパフォーマンスを損なうことなく、４つを超えるビームに入射光を分割することは容易ではない。したがって、４個のスペクトルチャネルが、このアプローチでの実用限界であると見られる。これと密接に関連した方法では、かさ高いビームスプリッターキューブ／プリズムの代わりに、薄膜フィルタを使用して光を分割するが、連続した複数のフィルタによる累積的な透過率の減衰と空間的制限により、このアプローチでも、約６個のスペクトルチャネルに制限される。
いくつかの実施形態において、とりわけ前述の課題は、各アパーチャを通って入射する光を選択的に透過するマルチバンドパスフィルタ（好ましくは湾曲したマルチバンドパスフィルタ）を備えた、本明細書で開示するマルチアパーチャスペクトルイメージングシステムと、これに関連する画像データ処理技術により対処することができる。この特定の構成によって、速いイメージング速度、高解像度画像、および検出波長の高い忠実度という設計目標のすべてを達成することができる。したがって、本明細書で開示する光学設計および関連する画像データ処理技術は、ポータブルスペクトルイメージングシステムにおいて使用することができ、かつ／または移動している対象のイメージングに使用することができるとともに、高精度用途（たとえば、臨床組織分析、生体認証、一時的な臨床徴候）に適したデータキューブを得ることができる。このような高精度用途として、転移前の悪性黒色腫の進行度（0～3）の診断、皮膚組織における創傷もしくは熱傷の重症度の分類、または糖尿病性足部潰瘍の重症度の組織診断を挙げることができる。したがって、いくつかの実施形態で説明するスナップショットスペクトルの取得とスモールフォームファクタによって、様々な種類の網膜症（たとえば、非増殖性糖尿病性網膜症、増殖性糖尿病性網膜症および加齢黄斑変性）の診断、ならびに動きが多い小児患者のイメージングを含む、一時的事象を扱う臨床環境において本発明を使用することができる。したがって、本明細書で開示する平坦または湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムの使用は、従来のスペクトルイメージングの実装と比べて大幅な技術的進歩となることを当業者であれば十分に理解できるであろう。より具体的には、本発明のマルチアパーチャシステムは、各アパーチャ間における算出された遠近差に基づいて、物体の弯曲、深さ、体積および／または面積の3D空間画像またはこれらに関する3D空間画像の収集を可能にするものであってもよい。しかし、本明細書で開示するマルチアパーチャを用いた方法は、特定のフィルタには限定されず、干渉フィルタリングまたは吸収フィルタリングに基づいた平坦なフィルタおよび／または薄型フィルタを含んでいてもよい。本明細書で開示する本発明は、適切なレンズまたはアパーチャに対する入射角が小さいか、許容域である場合に、イメージングシステムの像空間に平坦なフィルタを備えるように変更することができる。結像レンズの入射瞳および／もしくは射出瞳またはアパーチャ絞りにフィルタを配置してもよく、光工学分野の当業者であれば、このような構成を容易に採用できるであろう。
特定の例および実施形態に関連して、本開示の様々な態様について以下で述べる。これらの例および実施形態は説明を目的としたものであり、本開示を限定するものではない。本明細書で述べる例および実施形態は、説明を目的として、特定の計算およびアルゴリズムに焦点を当てているが、当業者であれば、これらの例が説明のみを目的としたものであり、本発明を限定するものではないことを十分に理解できるであろう。たとえば、マルチスペクトルイメージングに関していくつかの例を挙げているが、本明細書で開示するマルチアパーチャイメージングシステムおよびこれに関連するフィルタは、その他の実装においてハイパースペクトルイメージングを実施できるように構成することができる。さらに、特定の例は、携帯型用途および／または移動している対象物体に対する用途において利点を達成するものとして提示されているが、本明細書で開示するイメージングシステムの設計およびこれに関連する処理技術により、固定されたイメージングシステムおよび／または比較的静止した状態の対象の分析に適した高精度なデータキューブを得ることができることは十分に理解できるであろう。
電磁スペクトル範囲およびイメージセンサの概要
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
760nm～380nmまたは約760nm～約380nmの波長の範囲の電磁放射線は、通常、「可視」スペクトラム、すなわち、ヒトの眼の色受容体により認識可能なスペクトラム部分であると考えられている。可視スペクトルにおいて、赤色光は、通常、700nmもしくは約700nmの波長を有するか、または760nm～610nmもしくは約760nm～約610nmの範囲にあると考えられている。橙色光は、通常、600nmもしくは約600nmの波長を有するか、または610nm～591nmもしくは約610nm～約591nmの範囲にあると考えられている。黄色光は、通常、580nmもしくは約580nmの波長を有するか、または591nm～570nmもしくは約591nm～約570nmの範囲にあると考えられている。緑色光は、通常、550nmもしくは約550nmの波長を有するか、または570nm～500nmもしくは約570nm～約500nmの範囲にあると考えられている。青色光は、通常、475nmもしくは約475nmの波長を有するか、または500nm～450nmもしくは約500nm～約450nmの範囲にあると考えられている。紫色（赤紫色）光は、通常、400nmもしくは約400nmの波長を有するか、または450nm～360nmもしくは約450nm～約360nmの範囲にあると考えられている。
可視スペクトル外の範囲に目を向けると、赤外線（IR）は、可視光よりも長い波長を有する電磁放射線を指し、通常、ヒトの眼には見えない。IRは、約760nmまたは760nmにある赤色の可視スペクトルの公称下限値から約1mmまたは1mmに及ぶ波長を有する。この範囲内において、近赤外線（NIR）は、赤色の範囲に隣接しているスペクトラムの一部を指し、約760nm～約1400nmまたは760nm～1400nmの波長範囲である。
紫外線（UV）光は、可視光よりも短い波長の電磁放射線の一部を指し、通常、ヒトの眼には見えない。UVは、約40nmまたは40nmにある紫色の可視スペクトルの公称値下限値から約400mmに及ぶ波長を有する。この範囲内において、近紫外線（NUV）は、紫色の範囲に隣接しているスペクトラムの一部を指し、約400nm～約300nmまたは400nm～300nmの波長範囲であり、中間紫外線（MUV）は、約300nm～約200nmまたは300nm～200nmの波長範囲であり、遠紫外線（FUV）は、約200nm～約122nmまたは200nm～122nmの波長範囲である。
本明細書に記載のイメージセンサは、特定の用途に適した特定の波長領域に応じて、上述の領域のうち、どの電磁放射線であっても検出できるように構成することができる。通常のシリコン電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサのスペクトル感度は、可視スペクトルの全体に及ぶが、近赤外線（IR）スペクトラムの大半およびUVスペクトラムの一部にも及ぶ。いくつかの実装では、裏面入射型または表面入射型のCCDアレイまたはCMOSアレイを付加的または代替的に使用することができる。高いSN比および科学グレードの測定が必要とされる用途では、いくつかの実装において、科学用途の相補型金属酸化膜半導体（sCMOS）カメラまたは電子増幅CCDカメラ（EMCCD）を付加的または代替的に使用することができる。別の実装では、目的とする用途に応じて、特定の色の範囲（たとえば、短波長赤外線（SWIR）、中波長赤外線（MWIR）、または長波長赤外線（LWIR））において動作することが知られているセンサと、これに対応する光学フィルタアレイを付加的または代替的に使用することができる。これらのセンサおよび光学フィルタアレイは、インジウム・ガリウム・ヒ素（InGaAs）やインジウム・アンチモン（InSb）などの検出器の材質に応じたカメラ、またはマイクロボロメータアレイに応じたカメラを付加的または代替的に備えていてもよい。
本明細書で開示するマルチスペクトルイメージング技術において使用されるイメージセンサは、カラーフィルタアレイ（CFA）などの光学フィルタアレイに併用して使用してもよい。いくつかの種類のCFAは、入射光を赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の可視領域に分割し、分割した可視光をイメージセンサ上のそれぞれ専用の赤色、緑色または青色のフォトダイオード感光体に導くことができる。CFAの一般的な例として、ベイヤーパターンがあり、これは、光検出器の長方形のグリッド上にRGBカラーフィルタを特定のパターンで配置したカラーフィルタアレイである。ベイヤーパターンは、緑色50％、赤色25％および青色25％で構成されており、赤色のカラーフィルタと緑色のカラーフィルタが繰り返された列と、青色のカラーフィルタと緑色のカラーフィルタが繰り返された列とが交互に並んでいる。また、いくつかの種類のCFA（たとえばRGB-NIRセンサ用のCFA）も、NIR光を分割し、分割したNIR光をイメージセンサ上のそれぞれ専用のフォトダイオード感光体に導くことができる。
したがって、CFAのフィルタ部品の波長領域により、撮影された画像において各画像チャネルが示す波長領域が決まることがある。したがって、様々な実施形態において、画像の赤色のチャネルは、カラーフィルタの赤色の波長領域に対応してもよく、黄色光および橙色光の一部を含むことができ、約570nm～約760nmまたは570nm～760nmの範囲である。様々な実施形態において、画像の緑色のチャネルは、カラーフィルタの緑色の波長領域に対応してもよく、黄色光の一部を含むことができ、約570nm～約480nmまたは570nm～480nmの範囲である。様々な実施形態において、画像の青色のチャネルは、カラーフィルタの青色の波長領域に対応してもよく、紫色光の一部を含むことができ、約490nm～約400nmまたは490nm～400nmの範囲である。当業者であれば、CFAの色（たとえば、赤色、緑色および青色）を定義する正確な開始波長と終了波長（または電磁スペクトルの一部）が、CFAの実装に応じて様々に異なることがあることを十分に理解できるであろう。
さらに、通常の可視光用CFAは、可視スペクトル外の光を透過する。したがって、多くのイメージセンサでは、赤外線波長を阻止するが、可視光を通過させる薄膜赤外線反射フィルタをセンサの前面に配置することによって赤外線に対する感度を制限している。しかし、本明細書で開示するイメージングシステムのいくつかでは、薄膜赤外線反射フィルタを省略して、赤外線光を通過させてもよい。したがって、赤色のチャネル、緑色のチャネルおよび／または青色のチャネルを使用して、赤外線の波長帯域を収集してもよい。いくつかの実装において、青色のチャネルを使用して、特定のNUV波長帯域を収集してもよい。スタックしたスペクトル画像の各波長において、赤色のチャネル、緑色のチャネルおよび青色のチャネルは、各チャネルが特有の透過効率を有することに関連して異なるスペクトル応答を示すことから、公知の透過プロファイルを使用して、アンミキシングを行う前の各スペクトル帯域に、特有の重み付け応答を提供してもよい。たとえば、この重み付け応答には、赤外線波長領域および紫外線波長領域における赤色のチャネル、青色のチャネルおよび緑色のチャネルの公知の透過応答が含まれていてもよく、これによって、これらの波長領域からの帯域の収集に各チャネルを使用することが可能となる。
以下でさらに詳述するように、イメージセンサに向かう光路に沿って、追加のカラーフィルタをCFAの前に配置することにより、イメージセンサ上に入射する光の特定の帯域を選択的に抽出することができる。本明細書で開示するカラーフィルタは、（薄膜の）ダイクロイックフィルタおよび／もしくは吸収フィルタの組み合わせ、または単独のダイクロイックフィルタ、および／もしくは単独の吸収フィルタである。本明細書で開示するカラーフィルタの一部は、（通過帯域の）特定の領域内の周波数を通すが、（阻止領域において）その領域外の周波数を遮断（減衰）するバンドパスフィルタであってもよい。本明細書で開示するカラーフィルタの一部は、不連続な複数の波長領域を通すマルチバンドパスフィルタであってもよい。これらの「周波数帯」は、CFAフィルタの広い色範囲と比べて、通過帯域が狭く、阻止領域における減衰量が大きく、かつスペクトルのロールオフが急峻であってもよい。なお、ロールオフは、フィルタの通過帯域から阻止領域への移行部におけるスペクトル応答の急峻さとして定義される。たとえば、本明細書で開示するカラーフィルタは、約20nm～約40nmまたは20nm～40nmの通過帯域をカバーすることができる。カラーフィルタのこのような特定の構成によって、実際にセンサに入射する波長帯域が決まることがあり、これによって、本明細書で開示するイメージング技術の精度が向上する場合がある。本明細書に記載のカラーフィルタは、特定の用途に適した特定の波長帯域に応じて、上述の領域のうち、電磁放射線の特定の帯域を選択的に阻止または通過させるように構成することができる。
本明細書において、「画素」という用語は、二次元検出器アレイの素子により生成された出力を説明する場合に使用される。これに対して、二次元検出器アレイのフォトダイオード、すなわち、１つの感光素子は、光電効果を介して光子を電子に変換し、次いでこの電子を画素値の決定に使用可能なシグナルに変換することができるトランスデューサとして挙動する。データキューブの１つの要素は、「ボクセル」（たとえば、体積のある要素）と呼ぶことができる。「スペクトルのベクトル」は、データキューブの特定の（ｘ，ｙ）位置におけるスペクトルデータ（たとえば、物体空間の特定の点から受光した光のスペクトラム）を示すベクトルを指す。本明細書において、データキューブの１つの水平面（たとえば、１つのスペクトル次元を表す画像）は、「画像チャネル」と呼ばれる。本明細書に記載の特定の実施形態では、スペクトルのビデオ情報を撮影してもよく、得られるデータ次元は、NxNyNλNtで示される「ハイパーキューブ」の形態であると想定することができる（ここで、Ntは、ビデオシーケンス中に撮影されたフレームの数である）。
湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステムの一例の概要
図３Ａは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、たとえば、半導体基板（たとえばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図３Ａでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図３Ａに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
マルチアパーチャイメージングシステム200は、第１のセンサ領域225Aに向かう第１の光路を提供する第１の開口部210A、および第２のセンサ領域225Bに向かう第１の光路を提供する第２の開口部210Bを含む。これらのアパーチャは、画像に反映される光の明るさを増加さたり減少させたりするために調整可能であってもよく、あるいは、これらのアパーチャを調整することによって、特定の画像の露光時間を変更し、イメージセンサ領域に入射する光の明るさが変化しないようにしてもよい。これらのアパーチャは、光学設計分野の当業者が妥当であると判断可能であれば、このマルチアパーチャシステムの光軸に沿ったどの位置に配置してもよい。第１の光路に沿って配置した光学部品の光軸を破線230Aで示し、第２の光路に沿って配置した光学部品の光軸を破線230Bで示すが、これらの破線が、マルチアパーチャイメージングシステム200の物理構造を示すわけではないことは十分に理解できるであろう。光軸230Aと光軸230Bは距離Ｄにより隔てられており、この距離Ｄは、第１のセンサ領域225Aにより撮影される画像と第２のセンサ領域225Bにより撮影される画像の間の視差となりうる。「視差」は、立体写真画像の左側と右側（または上側と下側）において対応する２つの点の間の距離を指し、物体空間の同じ物理点が各画像の異なる位置に現われる。この視差を補正し、かつ利用した処理技術を以下でさらに詳細に述べる。
光軸230Aおよび光軸230Bは、それぞれに対応するアパーチャの中心Ｃを通過する。その他の光学部品も、これらの光軸を中心として配置することができる（たとえば、光学部品の回転対称点をこの光軸に沿って配置することができる）。たとえば、第１の光軸230Aを中心として、第１の湾曲マルチバンドパスフィルタ205Aおよび第１の結像レンズ215Aを配置することができ、第２の光軸230Bを中心として、第２の湾曲マルチバンドパスフィルタ205Bおよび第２の結像レンズ215Bを配置することができる。
本明細書において、光学素子の配置に関して述べる際に使用される「上」および「上方」という用語は、物体空間からイメージングシステム200に入った光が、別の構造に到達する（または入射する）前に通り抜ける特定の構造（たとえばカラーフィルタまたはレンズ）の位置を指す。これを説明すると、第１の光路に沿って、湾曲マルチバンドパスフィルタ205Aが、アパーチャ210Aの上方に位置し、アパーチャ210Aが、結像レンズ215Aの上方に位置し、結像レンズ215Aが、CFA 220Aの上方に位置し、CFA 220Aが、第１のイメージセンサ領域225Aの上方に位置する。したがって、まず、物体空間（たとえば、画像化の対象となる物理的空間）から入った光が、第１の湾曲マルチバンドパスフィルタ205Aを通過し、次にアパーチャ210Aを通過し、次に結像レンズ215Aを通過し、次にCFA 220Aを通過し、最後に、第１のイメージセンサ領域225Aに入射する。第２の光路（たとえば、湾曲マルチバンドパスフィルタ205B、アパーチャ210B、結像レンズ215B、CFA 220B、第２のイメージセンサ領域225Bを含む光路）も同様の配置となる。別の実装では、アパーチャ210A，210Bおよび／または結像レンズ215A，215Bを、湾曲マルチバンドパスフィルタ205A，205Bの上方に配置することができる。さらに、別の実装では、物理的なアパーチャを使用しなくてもよく、光学部品のクリアアパーチャに依存して、センサ領域225A上およびセンサ領域225B上に結像される光の明るさを制御してもよい。したがって、レンズ215A，215Bは、アパーチャ210A，210Bと湾曲マルチバンドパスフィルタ205A，205Bの上方に配置してもよい。この実装では、光学設計分野の当業者が必要であると判断可能であれば、アパーチャ210A，210Bをレンズ215A，215Bの上方に配置してもよく、あるいはアパーチャ210A，210Bをレンズ215A，215Bの下方に配置してもよい。
第１のセンサ領域225Aの上方に配置した第１のCFA 220Aと、第２のセンサ領域225Bの上方に配置した第２のCFA 220Bは、特定の波長を選択的に通過させるフィルタとして機能することができ、入射してきた可視領域の光を、赤色領域、緑色領域および青色領域（それぞれＲ、ＧおよびＢの記号で示す）に分割することができる。選択された特定の波長のみを、第１のCFA 220Aおよび第２のCFA 220Bの各カラーフィルタに通過させることによって、光が「分割」される。分割された光は、イメージセンサ上のそれぞれ専用の赤色ダイオード、緑色ダイオードまたは青色ダイオードにより受光される。赤色フィルタ、青色フィルタおよび緑色フィルタが一般に使用されているが、別の実施形態では、撮影された画像データに必要とされるカラーチャネルに応じて様々なカラーフィルタを使用することができ、たとえば、RGB-IR CFAと同様に、紫外線、赤外線または近赤外線を選択的に通過させるフィルタを使用することができる。
図に示すように、単一のフォトダイオードPD1～PD6の上方にCFAの各フィルタが配置されている。図３Ａでは、マイクロレンズ（MLで示す）の一例も示されており、これらのマイクロレンズは、各カラーフィルタ上に形成するか、それ以外の方法で各カラーフィルタ上に配置することができ、アクティブ検出器の領域上に入射光を集光することができる。別の実装では、単一のフィルタの下方に複数個のフォトダイオードを有していてもよい（たとえば、２個、４個またはそれ以上の個数の互いに隣接したフォトダイオードの集合体であってもよい）。図に示した一例において、フォトダイオードPD1とフォトダイオードPD4は、赤色フィルタの下方に位置することから、赤色のチャネルの画素情報を出力し、フォトダイオードPD2とフォトダイオードPD5は、緑色フィルタの下方に位置することから、緑色のチャネルの画素情報を出力し、フォトダイオードPD3とフォトダイオードPD6は、青色フィルタの下方に位置することから、青色のチャネルの画素情報を出力する。さらに、以下で詳述するように、所定のフォトダイオードによる特定の色のチャネル出力は、アクティブな光源および／またはマルチバンドパスフィルタ205A，205Bを通過した特定の周波数帯に基づいて、さらに狭い周波数帯とすることができ、これによって、所定のフォトダイオードから、様々な露光により様々な画像チャネル情報を出力できるようになる。
結像レンズ215A，215Bは、センサ領域225A，225B上で物体シーンの画像の焦点が合うように成形することができる。各結像レンズ215A，215Bは、図３Ａに示すような単一の凸面レンズに限定されず、画像形成に必要とされる数の光学素子および表面で構成されていてもよく、市販または特注設計による様々な種類の結像レンズまたはレンズアセンブリを使用することができる。各光学素子またはレンズアセンブリは、止め輪またはベゼルを備えた光学機械式鏡筒を使用して、直列に収容または積み重なるように形成または互いに結合されていてもよい。いくつかの実施形態において、光学素子またはレンズアセンブリは、１つ以上の結合レンズ群を含んでいてもよく、結合レンズ群として、２つ以上の光学部品が接合されたものや、それ以外の方法で２つ以上の光学部品が結合されたものを挙げることができる。様々な実施形態において、本明細書に記載のマルチバンドパスフィルタは、マルチスペクトル画像システムのレンズアセンブリの前面に配置してもよく、マルチスペクトル画像システムの単レンズの前面に配置してもよく、マルチスペクトル画像システムのレンズアセンブリの後ろに配置してもよく、マルチスペクトル画像システムの単レンズの後ろに配置してもよく、マルチスペクトル画像システムのレンズアセンブリの内部に配置してもよく、マルチスペクトル画像システムの結合レンズ群の内部に配置してもよく、マルチスペクトル画像システムの単レンズの表面上に直接配置してもよく、マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置してもよい。さらに、アパーチャ210Aおよびアパーチャ210Bを取り除き、デジタル一眼レフ（DSLR）カメラまたはミラーレスカメラによる写真撮影で通常使用される種類のレンズをレンズ215A，215Bに使用してもよい。さらに、レンズ215A，215Bは、ＣマウントスレッドまたはＳマウントスレッドを装着に使用したマシンビジョンに使用される種類のレンズであってもよい。ピント調整は、たとえば、手動フォーカス、コントラスト方式オートフォーカスまたはその他の適切なオートフォーカス技術に基づいて、センサ領域225A，225Bに対して結像レンズ215A，215Bを移動させることによって、あるいは結像レンズ215A，215Bに対してセンサ領域225A，225Bを移動させることによって行うことができる。
各マルチバンドパスフィルタ205A，205Bは、狭い周波数帯の複数の光を選択的に通過するように構成することができ、たとえば、いくつかの実施形態では10～50nmの周波数帯の複数の光（別の実施形態では、これよりも広い周波数帯または狭い周波数帯の複数の光）を選択的に通過するように構成することができる。図３Ａに示すように、マルチバンドパスフィルタ205A，205Bはいずれも周波数帯λc（「共通周波数帯」）を通過させることができる。３つ以上の光路を備えた実装では、各マルチバンドパスフィルタは、この共通周波数帯を通過させることができる。このような方法によって、各センサ領域は、同じ周波数帯（「共通チャネル」）の画像情報を撮影する。以下でさらに詳細に述べるように、この共通チャネルで得られたこの画像情報を使用して、各センサ領域により撮影された一組の画像の位置合わせを行うことができる。いくつかの実装では、１つの共通周波数帯と、これに対応する共通チャネルを有していてもよく、あるいは、複数の共通周波数帯と、これらに対応する共通チャネルを有していてもよい。
各マルチバンドパスフィルタ205A，205Bは、共通周波数帯λcに加えて、１つ以上の特有周波数帯を選択的に通過させるように構成することができる。このような方法によって、イメージングシステム200は、センサ領域205A，205Bにより一括して撮影される異なるスペクトルチャネルの数を、単一のセンサ領域により撮影可能なスペクトルチャネル数よりも多くすることができる。この態様は、特有周波数帯λu1を通過させるマルチバンドパスフィルタ205Aと、特有周波数帯λu2を通過させるマルチバンドパスフィルタ205Bとして、図３Ａに示されており、ここでλu1およびλu2は、互いに異なる周波数帯を示す。この図では、２個の周波数帯の通過として示したが、本開示のマルチバンドパスフィルタは、それぞれ２個以上の周波数帯を一度に通過させることができる。たとえば、図１１Ａおよび図１１Ｂに関連して後述するように、いくつかの実装では、各マルチバンドパスフィルタは、４個の周波数帯を通過させることができる。様々な実施形態において、これよりも多くの周波数帯を通過させてもよい。たとえば、４台のカメラを使用した実装では、８個の周波数帯を通過させるように構成されたマルチバンドパスフィルタを備えていてもよい。いくつかの実施形態において、周波数帯の数は、たとえば、４個、５個、６個、７個、８個、９個、１０個、１２個、１５個、１６個またはそれ以上であってもよい。
マルチバンドパスフィルタ205A，205Bは、それぞれに対応するセンサ領域225A，225Bにおける入射角度依存性のスペクトル透過が低下するように選択された弯曲を有する。この結果、物体空間から狭帯域の照明を受光する場合、その波長に感度を有するセンサ領域225A，225Bの表面全体に配置された各フォトダイオード（たとえば、センサ領域を覆い、その波長を通過させるカラーフィルタ）は、図１Ａに関連して前述したような、センサの端部近傍に配置されたフォトダイオードにおいて見られる波長のシフトは発生させず、実質的に同じ波長の光を受光すると考えられる。このような構成により、平坦なフィルタを使用した場合よりも正確なスペクトル画像データを生成することができる。
図３Ｂは、図３Ａに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。より具体的には、図３Ｂは、マルチバンドパスフィルタ205A，205Bとして使用することができる特注の色消しダブレット240を示す。この特注の色消しダブレット240は、ハウジング250を通して光を通過させ、イメージセンサ225へと送る。ハウジング250は、前述したような、開口部210A，210Bおよび結像レンズ215A，215Bを備えていてもよい。
色消しダブレット240は、マルチバンドパスフィルタコーティング205A，205Bに必要とされる表面を組み込んで導入されることから、光学収差を補正するように構成される。図に示した色消しダブレット240は、分散度と屈折率が異なるガラスまたはその他の光学材料から作製することが可能な２枚のレンズを含む。別の実装では、３枚以上のレンズを使用してもよい。これらの色消しダブレットレンズの設計は、湾曲した前面242上にマルチバンドパスフィルタコーティング205A，205Bが組み込まれ、フィルタコーティング205A，205Bを蒸着した湾曲単レンズの光学面を組み込むことにより光学収差を打ち消し、色消しダブレット240の湾曲した前面242と湾曲した裏面244の組み合わせ効果により屈折力または集光力を制限し、ハウジング250に収容されたこれらのレンズのみで、集光のための主要な素子を構成することができる。したがって、色消しダブレット240は、イメージングシステム200により撮影された画像データの精度の向上に寄与することができる。これらの個々のレンズは互いに隣接して装着することができ、たとえば、個々のレンズを結合または接合することにより、一方のレンズの収差が他方のレンズの収差によって相殺されるように成形することができる。色消しダブレット240の湾曲した前面242または湾曲した後面244は、マルチバンドパスフィルタコーティング205A，205Bでコーティングすることができる。別のダブレット設計を本明細書に記載のシステムに実装してもよい。
本明細書に記載の光学設計のさらなる変形例を実装してもよい。たとえば、いくつかの実施形態において、図３Ｂに示すダブレット240の代わりに、図３Ａに示す凸レンズ（正レンズ）または凹レンズ（負レンズ）のような、単レンズまたはその他の光学単レンズが光路に含まれていてもよい。図３Ｃは、平坦なフィルタ252をレンズのハウジング250とセンサ225の間に配置した実装の一例を示す。複数帯域透過特性を備えた平坦なフィルタ252を組み込んで導入した図３Ｃの色消しダブレット240は、ハウジング250に収容された各レンズの屈折力に顕著に寄与することなく、光学収差を補正する。図３Ｄは、ハウジング250内に収容されたレンズアセンブリの前面にマルチバンドパスコーティング254を施すことにより、マルチバンドパスコーティングが実装された実装の別の一例を示す。このように、このマルチバンドパスコーティング254は、ハウジング250内に収容されたどの光学素子のどの曲面に施してもよい。
図４Ａ～４Ｅは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の一実施形態を示す。図４Ａは、より具体的には、内部の部品を見せるために半透明で示したハウジング305を備えるイメージングシステム300の透視図を示す。実際のハウジング305は、たとえば、所望とする組み込み用コンピュータリソースの大きさに応じて、図に示したハウジング305よりも大きくてもよく、小さくてもよい。図４Ｂは、イメージングシステム300の正面図を示す。図４Ｃは、図４ＢのＣ－Ｃ線に沿って切断した、イメージングシステム300の破断側面図を示す。図４Ｄは、処理基板335を示した、イメージングシステム300の底面図を示す。以下、図４Ａ～４Ｄについて述べる。
イメージングシステム300のハウジング305は、別のハウジングに収容されていてもよい。たとえば、携帯型の実装では、イメージングシステム300を安定に保持できるように成形された１本以上のハンドルを備えていてもよいハウジングの内部に該イメージングシステムが収容されていてもよい。携帯型の実装の一例は、図１８Ａ～１８Ｃおよび図１９Ａ～１９Ｂにより詳細に示している。ハウジング305の上面には、４つの開口部320A～320Dを備えている。各開口部320A～320Dの上方に互いに異なるマルチバンドパスフィルタ325A～325Dが配置されており、フィルタキャップ330A～330Bにより適所に収容されている。マルチバンドパスフィルタ325A～325Dは湾曲していてもよく、湾曲していなくてもよく、本明細書で述べるように、各マルチバンドパスフィルタは、共通周波数帯と少なくとも１つの特有周波数帯を通過させることによって、カラーフィルタアレイで覆われたイメージセンサで通常撮影されるスペクトルチャネルよりも多くのスペクトルチャネルにおいて高精度マルチスペクトルイメージングを実施することができる。前述したイメージセンサ、結像レンズおよびカラーフィルタは、カメラハウジング345A～345Dの内部に配置される。いくつかの実施形態において、たとえば、図２０Ａ～２０Ｂに示すように、前述したイメージセンサ、結像レンズおよびカラーフィルタは、単一のカメラハウジングに収容されていてもよい。このように、図に示した実装では、別々の複数のセンサを使用する（たとえば、カメラハウジング345A～345Dのそれぞれの内部に１個のセンサを収容する）が、別の実装では、開口部320A～320Dを介して露出した領域全体に配置された単一のイメージセンサを使用できることも十分に理解できるであろう。この実施形態では、支持材340を使用して、カメラハウジング345A～345Dが、前記イメージングシステムのハウジング305に固定されているが、様々な実装において、その他の支持材を使用して固定することもできる。
ハウジング305の上面は、任意で設けられる照明基板310を支持しており、この照明基板310は光学拡散素子315で覆われている。照明基板310は、以下の図４Ｅに関連してより詳細に説明する。拡散素子315は、ガラス、プラスチックまたはその他の光学材料で構成することができ、照明基板310から発せられた光を拡散させて、物体空間が空間的に実質的に均一な照明を受けられるようにする。対象物体に均一な照明を当てると、各波長において、物体の表面全体に実質的に均一な量の照明を当てることができるため、たとえば画像撮影による組織の臨床分析などの特定のイメージング用途において有益な場合がある。いくつかの実施形態において、本明細書で開示するイメージングシステムは、任意で設けられる照明基板からの光の代わりに、またはこの照明基板からの光に加えて、環境光を利用してもよい。
使用中の照明基板310は熱を生じることから、イメージングシステム300は、放熱フィン355を多数備えたヒートシンク350を備える。放熱フィン355は、各カメラハウジング345A～345Dの間の空間内へと延伸することができ、ヒートシンク350の上部は、照明基板310からフィン355へと熱を逃がすことができる。ヒートシンク350は、適切な熱伝導性材料から作製することができる。ヒートシンク350は、その他の部品からの熱の放散を補助してもよく、これによって、イメージングシステムの実装のいくつかでは、ファンを設けなくてもよい。
ハウジング305内の多数の支持材365によって、カメラ345A～345Dと通信を行う処理基板335が固定されている。処理基板335は、イメージングシステム300の作動を制御することができる。図には示していないが、イメージングシステム300は、たとえば該イメージングシステムを使用して作成されたデータの格納用メモリなどの、１つ以上のメモリ、および／またはコンピュータが実行可能な命令を出すシステム制御用モジュールを備えるように構成することもできる。処理基板335は、システム設計の目的に応じて様々に構成することができる。たとえば、（たとえば、コンピュータが実行可能な命令を出すモジュールにより）、照明基板310の特定のLEDの起動を制御するように処理基板を構成することができる。いくつかの実装では、高度に安定な同期整流降圧型LEDドライバを使用することができ、このドライバによって、ソフトウェアによるLEDのアナログ電流制御と、LEDの故障の検出が可能となる。いくつかの実装では、（たとえば、コンピュータが実行可能な命令を出すモジュールにより）、処理基板335または別の処理基板に画像データ分析機能をさらに提供することができる。図には示していないが、イメージングシステム300は、処理基板335がセンサからデータを受信し、そのデータを処理できるように、センサと処理基板335の間にデータインターコネクトを備えていてもよく、処理基板が照明基板310の特定のLEDを起動させることができるように、照明基板310と処理基板335の間にデータインターコネクトを備えていてもよい。
図４Ｅは、イメージングシステム300に設けられていてもよい照明基板310の一例を示し、他の部品から照明基板310を分離して示している。照明基板310は、中央部から延びた４つのアームを備え、各アームに沿ってLEDが３列に配置されている。隣り合う列のLED間のスペースは、隣り合うLED同士が離れるように、横方向の中心が互いにずれるように配置されている。各LED列は、様々な色のLEDを有する行を多数含む。中央部の各角部に１個の緑色LEDが配置されるように、計４個の緑色LED 371が中央部に配置されている。最も内側の行（たとえば、中心部に最も近い行）から説明すると、深紅色LED 372を２個含む行が各列に含まれている（合計８個の深紅色LED）。径方向外側に説明を続けると、各アームは、中心の列に、１個の琥珀色LED 374を含む行を有し、両側の列に、２個の短く点滅する青色LED 376を含む行を有し（合計８個の短く点滅する青色LEDを有し）、中心の列に、１個の琥珀色LED 374を含む行をもう１つ有し（合計８個の琥珀色LEDを有し）、両側の列に、１個の非PPG用NIR LED 373と１個の赤色LED 375を有する行を有し（合計４個の非PPG用NIR LEDと合計４個の赤色LEDを有し）、中心の列に、１個のPPG用NIR LED 377を有する（合計４個のPPG用NIR LEDを有する）。「PPG用」LEDとは、生体組織の拍動血流を表す光電容積脈波（PPG）情報を撮影するための連続した多数回の露光において起動されるLEDを指す。別の実施形態では、様々なその他の色および／または配置のLEDを照明基板において使用してもよいことを理解できるであろう。
図５は、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の別の一実施形態を示す。イメージングシステム300の設計と同様に、イメージングシステム400は、４つの光路を含み、この図では、止め輪430A～430Dでハウジング405に固定されたマルチバンドパスフィルタレンズ群425A～425Dを有する開口部420A～420Dとして示している。イメージングシステム400は、対象物体上への空間的に均一な光の照射を補助するため、止め輪430A～430Dの間の、ハウジング405の正面部に固定された照明基板410と、照明基板410上に配置された拡散板415とをさらに含む。
イメージングシステム400の照明基板410は、十字形の４つの腕にLEDが配置されており、各腕には密集したLEDが２列に配置されている。このようにすれば、前述の照明基板310よりも照明基板410がコンパクトになり、より小さいフォームファクタ要件を有するイメージングシステムとの使用に適する場合がある。この一例としての構成において、各腕は、最外列に１個の緑色LEDと１個の青色LEDを有し、内側に向かって、黄色LEDを２行含み、橙色LEDを１行含み、１個の赤色LEDと１個の深紅色LEDを１行に含み、１個の琥珀色LEDと１個のNIR LEDを１行に含む。したがって、この実装では、より長い波長の光を発するLEDが照明基板410の中心部に位置し、より短い波長の光を発するLEDが照明基板410の端部に位置するように、各LEDが配置される。
図６Ａ～６Ｃは、図３Ａおよび図３Ｂに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム500の別の一実施形態を示す。より具体的には、図６Ａは、イメージングシステム500の透視図を示し、図６Ｂは、イメージングシステム500の正面図を示し、図６Ｃは、図６ＢのＣ－Ｃ線に沿って切断した、イメージングシステム500の破断側面図を示す。イメージングシステム500は、イメージングシステム300に関連して前述したものと同様の部品（たとえば、ハウジング505、照明基板510、拡散板515、止め輪530A～530Dにより開口部の上方に固定されたマルチバンドパスフィルタ525A～525Dなど）を含むが、短いフォームファクタとなっている（たとえば、一実施形態において、組み込み用コンピュータ部品の数が少なくなっているか、かつ／または組み込み用コンピュータ部品の寸法が小さくなっている）。イメージングシステム500は、カメラアライメントの位置を強固かつ堅牢に固定するための直接カメラ－フレームマウント540をさらに含む。
図７Ａ～７Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム600の別の一実施形態を示す。図７Ａ～７Ｂは、マルチアパーチャイメージングシステム600の周辺光源610A～610Cの別の可能な配置を示す。図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチバンドパスフィルタ625A～625Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ630A～630Dに受光させることができる。３つの長方形発光素子610A～610Cは、マルチバンドパスフィルタ625A～625Dを備えた各レンズアセンブリの外部かつ該レンズアセンブリ間に、互いに平行になるように配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。
図８Ａ～８Ｂは、マルチスペクトル・マルチアパーチャイメージングシステム700の別の一実施形態を示す。図８Ａ～８Ｂは、マルチアパーチャイメージングシステム700の周辺光源710A～710Dの別の可能な配置を示す。図に示すように、図３Ａ～３Ｄに関連して説明した光学設計を採用したマルチバンドパスフィルタ725A～725Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ730A～730Dに受光させることができる。４台のカメラ730A～730Dは、互いにより接近した構成の一例として示されており、これによって、レンズ間の遠近差を最小限に抑えてもよい。４つの長方形発光素子710A～710Dは、マルチバンドパスフィルタ725A～725Dを備えたレンズアセンブリを取り囲んだ正方形に配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。
図９Ａ～９Ｃは、マルチスペクトル・マルチアパーチャイメージングシステム800の別の一実施形態を示す。イメージングシステム800は、レンズ集合体前面フレーム830に接続されたフレーム805を含み、レンズ集合体前面フレームは、開口部820とマイクロビデオレンズ825用の支持構造を含み、マイクロビデオレンズ825は、図３Ａ～３Ｄに関して説明した光学設計を使用したマルチバンドパスフィルタを備えることができる。マイクロビデオレンズ825は、レンズ集合体後面フレーム840に装着された４台のカメラ845（結像レンズおよびイメージセンサ領域を含む）に受光させる。直線状に４列に配置されたLED 811は、レンズ集合体前面フレーム830の４つの辺に沿って配置されており、４つの辺のそれぞれには各LED用の拡散素子815が備えられている。図９Ｂおよび図９Ｃは、マルチアパーチャイメージングシステム800の可能な寸法の一例をインチ単位で示したものである。
図１０Ａは、図３Ａ～３Ｄに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム900の別の一実施形態を示す。イメージングシステム900は、モバイル端末910のマルチアパーチャカメラ915に取り付け可能な１組のマルチバンドパスフィルタ905として実装することができる。たとえば、スマートフォンなどの特定のモバイル端末910は、２つのイメージセンサ領域に通じる２つの開口部を有する立体イメージングシステムを装備することができる。本明細書で開示するマルチアパーチャスペクトルイメージング技術は、狭い周波数帯の複数の光をセンサ領域へと通過させる適切な１組のマルチバンドパスフィルタ905を提供することによって、このような装置に実装することができる。この１組のマルチバンドパスフィルタ905には、このような周波数帯の光を物体空間に照射する光源（LEDアレイと拡散板など）を装備してもよい。
イメージングシステム900は、マルチスペクトルデータキューブを生成する処理と、（たとえば、臨床組織分類用アプリケーション、生体認証用アプリケーション、材料分析用アプリケーションまたはその他のアプリケーションにおける）マルチスペクトルデータキューブの処理とを行うようにモバイル端末を構成するモバイルアプリケーションをさらに含むことができる。あるいは、このモバイルアプリケーションは、ネットワークを介して、離れた場所にある処理システムにマルチスペクトルデータキューブを送信し、その後、分析結果を受信して表示するようにモバイル端末910を構成するものであってもよい。このような用途のユーザインタフェース910の一例を図１０Ｂに示す。
図１１Ａ～１１Ｂは、図３Ａ～１０Ｂに示したマルチスペクトル・マルチアパーチャイメージングシステムに４種のフィルタを実装した場合に、これらのフィルタを通過することができる１組の周波数帯の一例を示し、これらの１組の周波数帯は、たとえば、べイヤーCFA（または別のRGB CFAまたはRGB-IR CFA）を備えたイメージセンサに入射する。
Figure 2022513486000002
これらの透過曲線には、この例で使用したセンサによる量子効率の効果も含んでいる。図に示すように、この４台１組のカメラ全体で、８個の特有チャネルすなわち８個の特有周波数帯が撮影される。各フィルタは、各カメラに対して２つの共通周波数帯（左端の２つのピーク）と、別の２つの周波数帯を通過させる。この実装では、第１のカメラおよび第３のカメラは、第１の共有NIR周波数帯の光（右端のピーク）を受光し、第２のカメラおよび第４のカメラは、第２の共有NIR周波数帯の光（右から２番目のピーク）を受光する。各カメラは、約550nm～約800nmまたは550nm～800nmの範囲の特有周波数帯をそれぞれ１つずつ受光する。したがって、これらのカメラは、コンパクトな構成を使用して、８個の特有のスペクトルチャネルを撮影することができる。図１１Ｂのグラフ1010は、図１１Ａに示した４台のカメラの照明として使用してもよい、図４Ｅに示したLEDボードの分光放射照度を示す。
この実装では、臨床組織分類に適したスペクトルチャネルの生成に基づき、８個の周波数帯を選択したが、（イメージングシステム内に熱を伝える）LEDの数を制限しながら、シグナル／ノイズ比（SN比）およびフレームレートに関して最適化してもよい。組織（たとえば、ヒト組織などの動物組織）は、緑色の波長や赤色の波長よりも青色の波長において高いコントラストを示すことから、この８個の周波数帯には、４枚のフィルタすべてを通過する青色光の共通周波数帯（グラフ1000の左端のピーク）を含めている。より具体的には、グラフ1000に示すように、ヒト組織は、約420nmを中心とする周波数帯で画像化した場合にコントラストが最も高くなる。この共通周波数帯に対応するチャネルは視差補正に使用されることから、コントラストを高くするほど、より正確な補正行うことができる。たとえば、視差補正を行う際、画像処理プロセッサは、ローカル法またはグローバル法を使用して、ローカル画像パッチ間またはローカル画像間の類似性を示す性能指数が最大となるように、１組の視差を見出すことができる。あるいは、画像処理プロセッサは、同様の方法を使用して、相違性を示す性能指数を最小にすることができる。これらの性能指数は、エントロピー、相関性、絶対差または深層学習法に基づくものであってもよい。グローバル法による視差の計算は、反復して実行することができ、性能指数が安定になった時点で終了することができる。ローカル法は、画素ごとに視差を計算することができ、１つの画像中の固定されたパッチを性能指数の入力として使用し、試験中に、別の画像から切り出した多数のパッチに対してそれぞれ異なる視差の数値を求める。このような方法はいずれも、考慮される視差の範囲が拘束される場合がある。この拘束は、たとえば、物体の深さおよび距離に関する知識に基づく場合がある。また、物体において予想される傾きの範囲に基づいて拘束される場合もある。計算された視差は、エピポーラ拘束などの射影幾何学により拘束される場合がある。低い解像度で計算された視差の出力を、次のレベルの解像度での視差の計算に対する初期値または拘束として使用して、様々な解像度で視差を計算することができる。たとえば、１回目の計算において４画素の解像度で計算された視差を利用して、より高い解像度での次の視差の計算において±４画素の拘束を設定することができる。視差から計算されるあらゆるアルゴリズムは、コントラストが高いほど恩恵を受け、特に、そのコントラスト源がすべての視点と関連している場合に、高コントラストによる恩恵は顕著である。通常、共通周波数帯は、特定の用途において画像化されることが予想される材料の最も高いコントラストでの画像化に対応できるように選択することができる。
画像の撮影後の、隣接したチャネル間の色分解は完全ではない場合があることから、この実装では、青色の周波数帯に隣接した緑色の周波数帯として、グラフ1000に示したすべてのフィルタを通過する追加の共通周波数帯をさらに設ける。このような周波数帯を利用する理由として、青色カラーフィルタの画素は、スペクトル通過帯域が広いことから、緑色のスペクトラム領域に感度を示すことが挙げられる。これは、通常、スペクトルの重複として示され、隣接したRGB画素間での意図的なクロストークと見なしてもよい。このスペクトルの重複によって、カラーカメラのスペクトル感度をヒト網膜のスペクトル感度に近づけることができ、最終的に得られる色空間をヒトの視覚に質的に似たものとすることができる。したがって、各フィルタに共通する緑色のチャネルを設けることにより、受光した青色光に真に相当する、青色のフォトダイオードによって生成されたシグナルの一部を分離することが可能になる。この分離は、マルチバンドパスフィルタの透過率（Ｔの凡例で示した黒色の実線で示す）と、これに対応するCFAカラーフィルタの透過率（それぞれＱの凡例で示した、赤色の破線、緑色の破線および青色の破線で示す）を要因に入れたスペクトルアンミキシングアルゴリズムを使用して達成することができる。いくつかの実装では、赤色光を共通周波数帯として使用してもよく、この場合、第２の共通チャネルは必要とされない場合もあることは十分に理解できるであろう。
図１２は、高解像度スペクトルイメージング能を備えたコンパクト型イメージングシステム1100の一例のハイレベルブロック図を示し、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160と光源1165に連結されたプロセッサ1120を含む１組の部品を備える。ワーキングメモリ1105、記憶装置1110、電子ディスプレイ1125およびメモリ1130もプロセッサ1120と通信可能な状態である。本明細書で述べるように、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160の開口部の上方にそれぞれに異なるマルチバンドパスフィルタを配置することによって、イメージセンサのCFAに異なるカラーフィルタを配置した場合よりも多くの画像チャネルを撮影可能であってもよい。
コンパクト型イメージングシステム1100は、携帯電話、デジタルカメラ、タブレット型コンピュータ、パーソナルデジタルアシスタントなどの装置であってもよい。コンパクト型イメージングシステム1100は、画像撮影用の内部カメラまたは外部カメラを使用したデスクトップパソコンやテレビ会議ステーションなどの固定型デバイスであってもよい。コンパクト型イメージングシステム1100は、画像撮影装置と、これとは別個に設けられた、画像撮影装置からの画像データを受信する処理装置の組み合わせであってもよい。ユーザは、このコンパクト型イメージングシステム1100上で複数のアプリケーションを利用可能であってもよい。これらのアプリケーションには、従来の写真用アプリケーション、静止画像および動画の撮影用アプリケーション、動的色補正用アプリケーション、明度・濃淡の補正用アプリケーションなどが含まれていてもよい。
この画像撮影システム1100は、画像撮影用のマルチアパーチャスペクトルカメラ1160を含む。マルチアパーチャスペクトルカメラ1160は、たとえば、図３Ａ～１０Ｂに示す装置のいずれであってもよい。様々なスペクトルチャネルにおいて撮影された画像を、様々なセンサ領域から画像処理プロセッサ1120に送信できるように、マルチアパーチャスペクトルカメラ1160がプロセッサ1120に接続されていてもよい。また、以下で詳細に説明するように、単一または複数の光源1165をプロセッサで制御することによって、特定の露光中に特定の波長の光を発することができる。画像処理プロセッサ1120は、視差が補正された高品質なマルチスペクトルデータキューブを出力できるように、受信した撮影画像に対して様々な処理を行うように構成されていてもよい。
プロセッサ1120は、汎用処理ユニットまたはイメージング用途に特別に設計されたプロセッサであってもよい。図に示すように、プロセッサ1120は、メモリ1130とワーキングメモリ1105に接続されている。この図に示した実施形態では、メモリ1130は、撮影制御モジュール1135、データキューブ作成モジュール1140、データキューブ分析モジュール1145およびオペレーティングシステム1150を格納している。これらのモジュールは、様々な画像処理および装置管理タスクを実行できるようにプロセッサを構成する命令を含む。プロセッサ1120は、ワーキングメモリ1105を使用して、メモリ1130の各モジュールに含まれるプロセッサ命令のワーキングセットを格納する。あるいは、プロセッサ1120は、ワーキングメモリ1105を使用して、画像撮影システム1100の作動中に作成された動的データを格納する。
前述したように、プロセッサ1120は、メモリ1130に格納された数個のモジュールによって構成されている。いくつかの実装において、撮影制御モジュール1135は、マルチアパーチャスペクトルカメラ1160の焦点位置を調整できるようにプロセッサ1120を構成する命令を含む。撮影制御モジュール1135は、たとえば、様々なスペクトルチャネルで撮影されるマルチスペクトル画像や、同じスペクトルチャネル（たとえばNIRチャネル）で撮影されるPPG画像などの画像をマルチアパーチャスペクトルカメラ1160で撮影できるようにプロセッサ1120を構成する命令をさらに含む。非接触PPGイメージングでは、通常、近赤外線（NIR）波長を照明として使用し、この波長において組織への光子の透過が増加することを利用している。したがって、撮影制御モジュール1135、マルチアパーチャスペクトルカメラ1160およびワーキングメモリ1105を備えたプロセッサ1120は、一連のスペクトル画像および／または連続した画像を撮影する手段の１つである。
データキューブ作成モジュール1140は、異なるセンサ領域にある各フォトダイオードから受信した強度シグナルに基づいてマルチスペクトルデータキューブを生成するようにプロセッサ1120を構成する命令を含む。たとえば、データキューブ作成モジュール1140は、すべてのマルチバンドパスフィルタを通過した共通周波数帯に対応するスペクトルチャネルに基づいて、画像化された物体の同じ領域間の視差を推定することができ、この視差を使用して、撮影されたすべてのチャネルおけるすべてのスペクトル画像を互いに位置合わせすることができる（たとえば、すべてのスペクトルチャネルにおいて、特定の物体上の同じ点が実質的に同じ画素位置（ｘ，ｙ）となるように位置合わせを行うことができる）。位置合わせした画像を統合してマルチスペクトルデータキューブを形成し、視差の情報を使用して、別々に画像化された物体の深さを測定してもよく、たとえば、正常組織の深さと創傷部位の最も深い位置の深さとの差を測定してもよい。いくつかの実施形態において、データキューブ作成モジュール1140は、さらにスペクトルアンミキシングを行うことにより、たとえば、フィルタの透過率およびセンサの量子効率を要因に入れたスペクトルアンミキシングアルゴリズムに基づいて、フォトダイオードの強度シグナルのどの部分が、フィルタを通過したどの周波数帯に対応するのかを特定してもよい。
データキューブ分析モジュール1145は、データキューブ作成モジュール1140によって生成されたマルチスペクトルデータキューブを用途に応じて分析するために、様々な技術を実装することができる。たとえば、データキューブ分析モジュール1145の実装のいくつかでは、特定の状態に応じて各画素を分類するように訓練された機械学習モデルに、（深さ情報が含まれていてもよい）マルチスペクトルデータキューブを提供することができる。この特定の状態は、組織イメージングを行う際の臨床状態であってもよく、たとえば、熱傷の状態（たとえば、Ｉ度熱傷、II度熱傷、III度熱傷または正常組織という種類）、創傷の状態（たとえば、止血、炎症、増殖、リモデリングまたは正常な皮膚という種類）、治癒可能性（たとえば、特定の治療法を行った場合あるいは特に治療法を行わなかった場合に、組織が創傷状態から治癒する可能性を反映したスコア）、潅流状態、がん状態、または創傷に関連したその他の組織状態であってもよい。また、データキューブ分析モジュール1145は、生体認証および／または材料分析を目的としてマルチスペクトルデータキューブを分析することもできる。
オペレーティングシステムモジュール1150は、画像撮影システム1100のメモリおよび処理リソースを管理するようにプロセッサ1120を構成する。たとえば、オペレーティングシステムモジュール1150は、電子ディスプレイ1125、記憶装置1110、マルチアパーチャスペクトルカメラ1160、光源1165などのハードウェアリソースを管理するデバイスドライバを含んでいてもよい。したがって、いくつかの実施形態において、前述の画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接的に相互作用しなくてもよく、その代わりに、オペレーティングシステムコンポーネント1150に含まれる標準サブルーチンまたはAPIを介して相互作用してもよい。次に、オペレーティングシステム1150内の命令は、これらのハードウェアコンポーネントと直接相互作用してもよい。
さらに、プロセッサ1120は、ディスプレイ1125を制御して、撮影された画像および／またはマルチスペクトルデータキューブの分析結果（たとえば、分類された画像）をユーザに対して表示するように構成されていてもよい。ディスプレイ1125は、マルチアパーチャスペクトルカメラ1160を含むイメージング装置の外部に設けられてもよく、イメージング装置の一部であってもよい。また、ディスプレイ1125は、画像の撮影前にビューファインダーをユーザに提供するように構成されていてもよい。さらに、ディスプレイ1125は、LCDスクリーンまたはLEDスクリーンを含んでいてもよく、タッチ感応技術を実装していてもよい。
プロセッサ1120は、たとえば、撮影された画像、マルチスペクトルデータキューブおよびデータキューブの分析結果を表すデータなどのデータを記憶装置モジュール1110に書き込んでもよい。この図において、記憶装置モジュール1110は、従来のディスク装置として示されているが、当業者であれば、記憶装置モジュール1110が、どのような種類の記憶媒体装置として構成されていてもよいことを理解できるであろう。たとえば、記憶装置モジュール1110は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどのディスクドライブ、またはFLASHメモリ、RAM、ROMおよび／もしくはEEPROMなどのソリッドステートメモリを含んでいてもよい。記憶装置モジュール1110は、複数のメモリユニットをさらに含むことができ、メモリユニットのいずれか１つは、画像撮影装置1100の内部に配置されるように構成されていてもよく、画像撮影システム1100の外部に配置されていてもよい。たとえば、記憶装置モジュール1110は、画像撮影システム1100内に格納されたシステムプログラム命令を含むROMメモリを含んでいてもよい。さらに、記憶装置モジュール1110は、カメラから取り外し可能な、撮影された画像を格納するように構成されたメモリカードまたは高速メモリを含んでいてもよい。
図１２では、プロセッサ、イメージセンサおよびメモリを備えるように、別々の部品を含むシステムが示されているが、当業者であれば、これらの別々の部品を様々に組み合わせて特定の設計目標を達成できることを認識できるであろう。たとえば、別の一実施形態において、コストの削減および性能の向上のために、メモリ部品をプロセッサ部品と組み合わせてもよい。
さらに、図１２では、２つのメモリ部品として、いくつかのモジュールを含むメモリ部品1130と、ワーキングメモリを含む別個のメモリ1105が示されているが、当業者であれば、いくつかの実施形態において、別のメモリ構造を利用できることを認識できるであろう。たとえば、メモリ1130に含まれる各モジュールを実装したプロセッサ命令の格納にROMまたはスタティックRAMメモリを利用した設計としてもよい。あるいは、画像撮影システム1100に一体化されたディスク記憶装置、または外部デバイスポートを介して接続されたディスク記憶装置からシステム起動する際に、プロセッサ命令を読み込んでもよい。次に、このプロセッサ命令をRAMにロードして、プロセッサによる命令の実行を促してもよい。たとえば、ワーキングメモリ1105はRAMメモリであってもよく、プロセッサ1120により命令を実行する前に、ワーキングメモリ1105に命令をロードしてもよい。
画像処理技術の一例の概要
図１３は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図１３は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な４種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図１１Ａおよび図１１Ｂに示した周波数帯を参照しながらプロセス1200を説明するが、別の１組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および／または視差補正を向上させてもよい。
可視光露光1205を得るため、照明基板に制御信号を送ることにより、最初の５つのピーク（図１１Ａのグラフ1000の可視光に対応する左側の５つのピーク）に対応する複数のLEDを点灯させることができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（たとえば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、たとえば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。このデータは、本明細書に記載の、視差補正に使用される共通スペクトルチャネルを含んでいてもよい。
SN比を向上させるため、いくつかの実装では、可視光露光1205について述べたのと同じプロセスを使用して、追加の可視光露光1210を撮影することができる。同一またはほぼ同一の２つの露光を撮影してSN比を向上させることにより、画像データをより正確に分析することができる。しかし、単一の画像のSN比のみで許容可能な実装では、この２つ目の露光を省略してもよい。また、いくつかの実装では、共通スペクトルチャネルで２つの露光を撮影することにより、より正確な視差補正を行ってもよい。
いくつかの実装では、NIR光またはIR光に対応する非可視光露光1215をさらに撮影することができる。たとえば、撮影制御モジュール1135は、図１１Ａに示した２つのNIRチャネルに対応する２種のNIR LEDを起動することができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（たとえば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、たとえば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。この露光では、露光1205および露光1210に対する物体の形状または位置に変化はないと見なしても問題はないことから、前もって算出した視差値を使用して各NIRチャネルの位置合わせを行うことができるため、すべてのセンサ領域を通過する共通周波数帯は設けなくてもよい。
いくつかの実装では、拍動血流による組織部位の変形を示すPPGデータを生成するために、多重露光を使用して連続撮影することができる。いくつかの実装では、このようなPPG用露光を非可視光波長で撮影してもよい。PPGデータとマルチスペクトルデータを組み合わせることによって、特定の医用イメージング分析の正確度を向上させてもよいが、PPGデータの撮影によって、画像撮影プロセスに要する時間が長くなる場合がある。いくつかの実装では、画像撮影プロセスに要する時間が長くなったことによって、その間に携帯型撮像装置および／または物体が移動し、誤差が生じることがある。したがって、特定の実装では、PPGデータの撮影を省略してもよい。
いくつかの実装では、環境光露光1220をさらに撮影することができる。この露光では、すべてのLEDを消灯し、周囲の照明（たとえば、日光やその他の光源からの光）を利用して画像を撮影することができる。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、所望の時間（たとえば約30ミリ秒間）にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（たとえば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。可視光露光1205（または第２の露光1210によりSN比を補正した可視光露光1205）の数値から環境光露光1220の強度値を差し引き、さらに非可視光露光1215の数値からも環境光露光1220の強度値を差し引くことによって、マルチスペクトルデータキューブから環境光の影響を除去することができる。このような処理により、光源により発せられた光および物体／組織部位から反射した光を示す生成信号の一部を分離して、下流の分析の正確度を向上させることができる。いくつかの実装では、可視光露光1205，1210と非可視光露光1215のみを使用するだけで十分な分析正確度が得られる場合、この工程を省略してもよい。
上に挙げた特定の露光時間は、一実装における一例であり、別の実装では、イメージセンサ、光源の強度および画像化される物体に応じて、露光時間は様々に異なりうることを十分に理解できるであろう。
図１４は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセス1200を使用して撮影された画像データなどの画像データを処理するためのワークフロー1300の略ブロック図を示す。ワークフロー1300は、２つのRGBセンサ領域1301A，1301Bの出力を示しているが、ワークフロー1300のセンサ領域の数はさらに増やすことができ、異なるCFAカラーチャネルに対応するセンサ領域を設けることもできる。
２つのセンサ領域1301A，1301Bから出力されたRGBセンサ出力は、2Dセンサ出力モジュール1305A，1305Bにそれぞれ格納される。これらのセンサ領域の数値は、非線形マッピングモジュール1310A，1310Bに送信され、これらの非線形マッピングモジュール1310A，1310Bにおいて、共通チャネルを使用して撮影された画像間の視差を特定し、次に、この決定された視差をすべてのチャネルに対して適用してすべてのスペクトル画像を互いに位置合わせすることにより視差補正を行うことができる。
次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、深さ計算モジュール1335に提供され、深さ計算モジュール1335は、画像データ中の特定の目的領域の深さを算出することができる。たとえば、深さは、物体とイメージセンサの間の距離を表してもよい。いくつかの実装では、複数の深さの値を算出し、これらを比較することによって、イメージセンサ以外の何らかの対象に対する物体の深さを測定することができる。たとえば、創床の最も深い深さを測定することができ、この創床を取り囲む正常組織の深さ（最も深い深さ、最も浅い深さまたは平均の深さ）も測定することができる。創床の深さから正常組織の深さを差し引くことによって、創傷の最も深い深さを測定することができる。この深さの比較は、創床中のその他の箇所（たとえば、所定のサンプリング点のすべてまたはその一部）でも行うことができ、これによって、様々な点（図１４においてｚ（ｘ，ｙ）として示す（ここでｚは深さの値である））において創傷の深さの3Dマップを構築することができる。視差が大きくなるほど、前述のような深さの計算用のアルゴリズムによる計算の負荷が高くなるが、いくつかの実施形態では、視差が大きいほど深さの計算が向上する場合がある。
次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、線形方程式モジュール1320にも提供され、線形方程式モジュール1320は、検知された数値を、スペクトルアンミキシング用の１組の線形方程式として処理することができる。一実装では、少なくともセンサの量子効率およびフィルタの透過率値の関数としてムーア・ペンローズの擬似逆行式を使用することにより、実際のスペクトルの数値（たとえば、各像点（ｘ，ｙ）に入射する特定の波長の光の強さ）を算出することができる。スペクトルアンミキシングは、臨床診断やその他の生物学的応用などの、高い正確度が要求される実装において使用することができる。スペクトルアンミキシングを適用することにより、光量子束およびSN比の推定値を提供することもできる。
ワークフロー1300は、視差を補正したスペクトルチャネル画像およびスペクトルアンミキシングに基づいて、たとえば図に示したＦ（ｘ，ｙ，λ）という形式（ここでＦは、特定波長または周波数帯λにおける特定の結像位置（ｘ，ｙ）における光の強さを示す）などでスペクトルデータキューブ1325を生成することができる。
図１５は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図１３に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。第１の組の画像1410は、４種のセンサ領域で撮影した同じ物体上の同じ物理的位置の画像データを示す。図に示すように、イメージセンサ領域のフォトダイオードグリッドの（ｘ，ｙ）座標フレームに基づくと、これらの生の画像において、物体位置は同じ位置にはない。第２の組の画像1420は、視差補正後に同じ物体位置にあることを示しており、これらの画像では、位置合わせした画像の座標フレームにおいて同じ（ｘ，ｙ）位置になっている。このような位置合わせは、互いに完全には重複していない画像の端部領域から特定のデータをトリミングすることを含んでいてもよいことは十分に理解できるであろう。
図１６は、たとえば、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図１３に示したプロセスを使用して撮影した後、図１４および図１５に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフロー1500を図示する。
ブロック1510において、マルチスペクトル・マルチアパーチャイメージングシステム1513により、物体1511上の物理的な点1512を示す画像データを撮影することができる。この一例において、物体1511は、創傷を有する患者の組織を含む。創傷は、熱傷、糖尿病性潰瘍（たとえば、糖尿病性足部潰瘍）、非糖尿病性潰瘍（たとえば褥瘡または治癒の遅い創傷）、慢性潰瘍、術後切創、（切断術の前またはその後の）切断部位、がん性病変、または損傷を受けた組織を包含しうる。PPG情報が含まれている場合、本明細書で開示するイメージングシステムは、組織灌流；心血管の健康状態；潰瘍などの損傷；末梢動脈疾患；および呼吸器の健康状態を含む、組織の血流の変化および脈拍数の変化を伴う病態を評価する方法を提供する。
ブロック1520において、マルチスペクトル・マルチアパーチャイメージングシステム1513により撮影されたデータを処理して、多数の異なる波長1523を有するマルチスペクトルデータキューブ1525を生成することができ、このマルチスペクトルデータキューブ1525は、異なる時間に対応する同じ波長の多数の異なる画像（PPGデータ1522）を含んでいてもよい。たとえば、画像処理プロセッサ1120は、データキューブ作成モジュール1140を介して、ワークフロー1300に従ってマルチスペクトルデータキューブ1525を生成するように構成することができる。いくつかの実装は、前述したように、空間次元の様々な点における深さの値と関連していてもよい。
ブロック1530において、マルチスペクトルデータキューブ1525は、機械学習モデル1532への入力データ1525として分析して、画像化された組織の分類マッピング1535を生成することができる。分類マッピングにより、画像データ中の各画素（各画素は、位置合わせ後の、画像化された物体1511上の特定の点を示す）を特定の組織分類または特定の治癒可能性スコアに割り当てることができる。分類された画像の出力において、視覚的に異なる色またはパターンを使用することにより、様々な分類または様々なスコアを示すことができる。したがって、物体1511の画像を数多く撮影したとしても、その出力は、画素単位で分類された複数の視覚表示を重ねた物体の単一の画像（たとえば、通常のRGB画像）になりうる。
いくつかの実装では、機械学習モデル1532は人工ニューラルネットワークであってもよい。人工ニューラルネットワークは、生物学的神経回路網に着想を得たものであるが、コンピュータ装置による実装を目的として改良された計算実体であるという意味で人工物である。入力と出力の間の依存性を見出すことは容易ではないが、人工ニューラルネットワークを使用することにより、入力と出力の間の複雑な関係をモデル化したり、データ中において一定のパターンを見つけたりすることができる。ニューラルネットワークは、通常、入力層、１層以上の中間層（「隠れ層」）および出力層を含み、各層には数多くのノードが含まれる。ノードの数は各層によって異なっていてもよい。２層以上の隠れ層を含むニューラルネットワークは、「深層」であると見なされる。各層のノードは、次の層のノードのすべてまたはその一部と結合しており、これらの結合の重みは、通常、訓練プロセス中のデータから学習され、たとえば、ニューラルネットワークのパラメータを調整して、ラベルを付けた訓練データ中の対応する入力から予想される出力を生成するバックプロパゲーション（誤差逆伝播法）を使用して行われる。したがって、人工ニューラルネットワークは、人工ニューラルネットワークを通して流れる情報に基づいて、訓練中にその構造（たとえば結合構成および／または重み）を変更するように構成された適応システムであり、隠れ層の重みは、データ中の意味のあるパターンをコードするものであると見なすことができる。
全結合ニューラルネットワークとは、入力層の各ノードが次の層（第１の隠れ層）の各ノードに結合され、第１の隠れ層の各ノードが次の隠れ層の各ノードに結合され、このような結合が、最終的な隠れ層の各ノードが出力層の各ノードに結合されるまで継続するニューラルネットワークである。
CNNは、人工ニューラルネットワークの１種であり、前述した人工ニューラルネットワークと同様に、複数のノードから構成され、学習可能な重みを有する。前述の人工ニューラルネットワークとは異なる点として、CNNの各層は、各ビデオフレームの２×２アレイの画素値（たとえば幅と高さ）と、シーケンス中のビデオフレームの数（たとえば深さ）に対応した、幅と高さと深さからなる三次元に配置されたノードを有することができる。各層のノードは、幅と高さからなるその前の層の小領域（受容野と呼ぶ）に局所結合されていてもよい。隠れ層の重みは、受容野に適用される畳み込みフィルタの形態を取ることができる。いくつかの実施形態において、畳み込みフィルタは二次元であってもよく、したがって、入力ボリュームの各フレームまたは指定されたフレームサブセットに対して同じフィルタを使用して畳み込み（または画像の畳み込み変換）を繰り返すことができる。別の実施形態では、畳み込みフィルタは三次元であってもよく、したがって、入力ボリュームの複数のノードの深さ全体に及ぶものであってもよい。CNNの各畳み込み層の各ノードは重みを共有して、入力ボリュームの幅と高さの全体に対して（たとえば全フレームに対して）所定の層の畳み込みフィルタを複製することにより、訓練可能な重みの総数を減らし、訓練データ外のデータセットに対するCNNの適用性を向上させることができる。特定の層の数値をプールして、次の層の計算の回数を減らしてもよく（たとえば、特定の画素を示す数値を次の層へと伝達してもよく、その他の数値は破棄する）、さらに、CNNの深さが進むに従って、廃棄された数値にプールマスクを再導入し、元の大きさに対してデータポイントの数を返してもよい。一部が全結合されていてもよい多数の層を積み重ねて、CNN構造を形成することができる。
訓練中、人工ニューラルネットワークをその訓練データ中のペアデータに適用して、パラメータを変更し、入力が提供された場合に特定のペアの出力を予測することができる。たとえば、訓練データは、マルチスペクトルデータキューブ（入力）と、たとえば、特定の臨床状態に対応する創傷領域を臨床医が指定することなどによりラベル付けされた分類マッピング（予想される出力）とを含むことができ、このラベル付けされた分類マッピングには、最初に創傷のイメージングを行ってからしばらく経過した後に実際の治癒が確認されてから付与された治癒ラベル（１）または未治癒ラベル（０）が含まれていてもよい。機械学習モデル1532の別の実装では、その他の種類の予測を行うように訓練することもでき、たとえば、特定の期間中に創傷が治癒して、創傷領域の割合が特定のパーセンテージまで減少する（たとえば、30日以内に創傷領域が少なくとも50％減少する）可能性を予測したり、止血、炎症、病原体の定着、増殖、リモデリング、正常な皮膚などに分類される創傷の状態を予測するように訓練することもできる。いくつかの実装では、分類の正確度をさらに向上させるため、患者の測定値を入力データにさらに組み込んでもよく、あるいは、機械学習モデル1532に別の実例を訓練させるため、患者の測定値に基づいて訓練データをセグメント化し、同じ測定値を有する別の患者に使用してもよい。患者の測定値には、患者の特性またはその患者の健康状態の特性を説明する文字情報または病歴またはそれらの態様が含まれていてもよく、患者の特性またはその患者の健康状態の特性としては、たとえば、創傷、病変または潰瘍の面積；患者のBMI；患者の糖尿病の状態；患者における末梢血管疾患または慢性炎症の存在；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；免疫抑制剤（たとえば化学療法）または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；HbA1c；慢性腎不全ステージIV；１型糖尿病または２型糖尿病のいずれであるか；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸；ならびにこれらの任意の組み合わせが挙げられる。これらの測定値は、適切な処理によりベクトル表示に変換することができ、たとえば、単語をベクトル表現化した埋め込み、患者が特定の測定値を満たすか否か（たとえば、１型糖尿病に罹患しているか否か）を示す２進値のベクトル、または患者における各測定値の程度を示す数値などによって、ベクトル表示に変換することができる。
ブロック1540では、ユーザに対して分類マッピング1535を出力することができる。この一例では、分類マッピング1535では、第１の色1541を使用して、第１の状態に従って分類された画素が示され、第２の色1542を使用して、第２の状態に従って分類された画素が示される。分類とその結果得られた分類マッピング1535は、たとえば、物体認識、背景色の識別および／または深さの値に基づいたバックグラウンド画素が除外されていてもよい。図に示したように、マルチスペクトル・マルチアパーチャイメージングシステム1513のいくつかの実装では、組織部位上に分類マッピング1535を投影することができる。このような態様は、推奨される切除マージンおよび／または切除する深さの視覚表示が分類マッピングに含まれる場合に、特に有益となる場合がある。
このような方法およびシステムによって、熱傷の切除、切断レベル、病変除去および創傷のトリアージにおける判断などの、皮膚創傷の管理プロセスにおいて臨床医および外科医を補助してもよい。本明細書に記載の実施形態は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん（基底細胞癌、扁平上皮癌、悪性黒色腫もしくは光線角化症）、または組織の特性および性質が正常状態とは異なる何らか種類の組織変化の重症度の特定および／または分類するために使用することができる。また、本明細書に記載の装置を使用して、正常組織のモニター；（たとえば、デブリードマンを行う際のマージンを決定するための、より速く、より洗練されたアプローチが可能となるような）創傷治療法の補助および改善；ならびに（特に治療が適用された後の）創傷または疾患からの回復の進行の評価を行うことができる。本明細書に記載のいくつかの実施形態では、損傷を受けた組織に隣接した正常組織の識別、切除の際のマージンおよび／もしくは深さの決定、左室補助人工心臓などの人工装具を移植した後の回復過程のモニタリング、組織移植片または再生細胞移植片の生存能力の評価、または（特に再建術を行った後の）術後回復のモニタリングが可能な装置を提供する。さらに、本明細書に記載の実施形態を利用して、特に、ステロイド、肝細胞成長因子、線維芽細胞成長因子、抗生物質、再生細胞（幹細胞、内皮細胞および／または内皮前駆細胞を含む、単離または濃縮された細胞集団など）などの治療剤の投与後の、創傷の変化または創傷後の正常組織の発生を評価することができる。
分散コンピューティング環境の一例の概要
図１７は、図３Ａ～１０Ｂおよび図１２に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される１つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、１つのコンピュータ内に配置されていてもよく、（互いに離れて設置されたコンピュータを含む）数多くのコンピュータに分散されていてもよい。
マルチスペクトル・マルチアパーチャイメージングシステム1605は、ネットワーク1610を介して、ユーザ装置1620およびデータキューブ分析サーバ1615と通信するためのネットワーキングハードウェア（たとえば、無線のインターネット、衛星通信、ブルートゥースまたはその他の通信機）を含むことができる。たとえば、いくつかの実装において、マルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、その後、生データをデータキューブ分析サーバ1615に送信するように構成されていてもよい。別の実装でのマルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、スペクトルアンミキシングおよび視差補正を行ってマルチスペクトルデータキューブを生成し、その後、マルチスペクトルデータキューブをデータキューブ分析サーバ1615に送信するように構成されていてもよい。いくつかの実装では、マルチスペクトル・マルチアパーチャイメージングシステム1605上においてすべての処理および分析を局所的に行うことができ、集計分析の実施および／または機械学習モデルの訓練もしくは再訓練での使用を目的として、マルチスペクトルデータキューブおよび得られた分析結果をデータキューブ分析サーバ1615に送信してもよい。したがって、データキューブ分析サーバ1615は、マルチスペクトル・マルチアパーチャイメージングシステム1605に最新の機械学習モデルを提供してもよい。マルチスペクトルデータキューブを分析した最終結果を得るための処理負荷は、マルチアパーチャイメージングシステム1605の処理能力に応じて、マルチアパーチャイメージングシステム1605とデータキューブ分析サーバ1615の間で様々な方法により分担してもよい。
ネットワーク1610は、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、同様のその他のネットワーク、これらの組み合わせなどの、適切なネットワークを含むことができる。ユーザ装置1620には、ネットワークを装備したあらゆるコンピュータ装置が含まれ、たとえば、デスクトップコンピュータ、ノートパソコン、スマートフォン、タブレット、電子書籍リーダー、テレビゲーム機などが挙げられる。たとえば、組織分類が必要となった際に、マルチアパーチャイメージングシステム1605およびデータキューブ分析サーバ1615により測定された結果（たとえば、分類された画像）を、患者もしくは医師の指定のユーザ装置、患者の電子的な医療記録を格納する病院情報システム、および／または（たとえば、米国疾病対策予防センターなどが保有する）集中型公衆衛生データベースに送信してもよい。
実装の結果の一例
背景：
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5～20％であり、これらの死傷者の約20％は、米国陸軍外科研究所（ISR）熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、（ISR以外の組織に所属する人員を含む）医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷治療を拡充させることができる。
このようなニーズへの対応を開始するため、術前における熱傷の治癒可能性の判定を補助することを目的として、マルチスペクトルイメージング（MSI）および人工知能（AI）アルゴリズムを使用した新規なカート用イメージング装置を開発した。この装置は、短時間で（たとえば、６秒以内、５秒以内、４秒以内、３秒以内、２秒以内または１秒以内に）広範囲な組織（たとえば、５．９×７．９平方インチ）の画像を取得することができ、イメージング造影剤の注射を必要としない。一般市民を対象としたこの研究では、この装置による熱傷の治癒可能性の判定の正確度は、熱傷の専門医師による臨床判断よりも優れていること（たとえば70～80％に達する）が示されている。
方法：
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で７日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、３週間にわたる治癒評価またはパンチ生検を使用して判定した。この装置での、Ｉ度熱傷、II度熱傷およびIII度熱傷における治癒過程の熱傷組織と非治癒熱傷組織の特定および判別の正確度は、画素単位で分析した。
結果：
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、非治癒熱傷組織の予測において87.5％の感度と90．7％の特異度が達成された。
結論：
本発明の新規な装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正確度は、熱傷の専門医の臨床判断よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、１回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング（MSI）サブシステムを使用して実施した。
画像の位置合わせ用の追加の光源
様々な実施形態において、本明細書で開示した実施形態のいずれかと１個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図２１は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、たとえば、図１２に関して前述した複数の光源1165のうちの１個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。たとえば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。たとえば、累積的に可視可能な照明として、複数の波長であって、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも１つが各チャネルにより変換される波長を挙げることができる。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。たとえば、１個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり（たとえば、約1～10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい）、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上されることを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など）の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など）のドット、グリッドおよび／または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、１個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。たとえば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。
創傷の評価用、治癒予測用および治療用の機械学習の実装
創傷の評価、治癒予測および治療法のための機械学習システムならびにその方法の実施形態の一例を以下で述べる。本明細書に記載の様々なイメージング装置、システム、方法、技術およびアルゴリズムはいずれも、創傷のイメージングおよび創傷の分析に関する分野に適用してもよい。以下で述べる実装は、１つ以上の公知の波長帯域において、創傷の１つ以上の画像を取得することを含んでいてもよく、この１つ以上の画像に基づいて、創傷部分および創傷以外の部分への画像のセグメンテーション、所定期間経過後の創傷の面積減少率（％）の予測、所定期間経過後の創傷の個々の部位の治癒可能性の予測、前述のようなセグメンテーションまたは予測に関連した視覚表示の表示、標準的な創傷ケア療法または高度な創傷ケア療法を選択すべきであるという指示、およびその他の機能のうちの１つ以上を実施することを含んでいてもよい。
様々な実施形態において、創傷評価システムまたは臨床医は、本明細書で開示する機械学習アルゴリズムの結果に基づいて、創傷ケア療法の適正水準を決定することができる。たとえば、創傷治癒予測システムの出力によって、画像化した創傷の閉鎖が３０日以内に５０％を超えることが示された場合、この創傷治癒予測システムは、医療従事者または患者に対して標準的なケア療法を適用するように要求または通知することができる。創傷治癒予測システムの出力によって、画像化した創傷の閉鎖が３０日以内で５０％を超えないことが示された場合、この創傷治癒予測システムは、医療従事者または患者に対して１種以上の高度な創傷ケア療法を使用するように要求または通知することができる。
既存の創傷の治療では、糖尿病性足部潰瘍（DFU）などの創傷には、メディケア・メディケイドセンターにより定義されている標準療法（SOC）などの１種以上の標準的な創傷ケア療法が、最初の治療の３０日間に施されることがある。標準的なケア療法（SOC）は、標準的な創傷ケア計画の一例として、栄養状態の最適化；壊死組織を除去するための、何らかの手段によるデブリードマン；適切な湿潤被覆材を使用した、清潔で湿潤した肉芽組織床の維持；罹患している可能性のある何らかの感染症の消散に必要な治療；DFUに伴う四肢への血管内灌流の不足に対する対処；DFUに対する圧力負荷の軽減；および適切な血糖管理のうちの１つ以上を含んでいてもよい。標準的なケア療法（SOC）の最初の３０日間において、測定可能なDFUの治癒の徴候は、DFUの大きさ（創傷の表面積または創傷の体積）の減少、DFUからの滲出液の量の減少およびDFU内の壊死組織の量の減少として定義される。DFUの治癒の進行の一例を図２２に示す。
一般に、最初の３０日間にわたる標準的なケア療法（SOC）において治癒が観察されなかった場合、高度な創傷ケア療法（AWC）が施される。メディケア・メディケイドセンターでは、高度な創傷ケア療法（AWC）の概要や定義は公表されていないが、前述で定義したような標準的なケア療法（SOC）には該当しない何らかの治療であると考えることができる。高度な創傷ケア療法（AWC）は、精力的に研究および革新が行われている一分野であり、臨床現場での使用を想定した新たな選択肢がほぼ絶え間なく導入されている。したがって、高度な創傷ケア療法（AWC）に対する医療保険の補償範囲は、個々のケースに応じて決定され、一部の患者では、高度な創傷ケア療法（AWC）だと考えられる治療が、医療費の払い戻しの対象外となることがある。このような理解に基づくと、高度な創傷ケア療法（AWC）として、高圧酸素療法；陰圧創傷療法；生物工学により作製された代替皮膚；合成成長因子；細胞外マトリックスタンパク質；マトリックスメタロプロテイナーゼ調節因子；および電気刺激療法のうちの１種以上が挙げられるが、これらに限定されない。非治癒性DFUの治癒の進行の一例を図２３に示す。
様々な実施形態において、本明細書に記載の創傷の評価および／または創傷の治癒予測は、創傷の１つ以上の画像のみに基づいて、あるいは創傷の１つ以上の画像と患者の健康データ（たとえば、１種以上の健康測定値や臨床的特徴など）の組み合わせに基づいて行ってもよい。本明細書に記載の技術は、潰瘍またはその他の創傷などの患者の組織部位の単一の画像または１組のマルチスペクトル画像（MSI）を撮影し、本明細書に記載の機械学習システムを使用して前記画像を処理し、１種以上の治癒予測パラメータを出力することができる。本発明の技術により、様々な治癒パラメータを予測してもよい。
治癒予測パラメータのいくつかの例として、
（１）３０日以内（またはクリニカルスタンダードに従った別の所望の期間内）に、５０％を超える潰瘍面積の減少（またはクリニカルスタンダードに従った別の所望の閾値（％））に至るまで潰瘍が治癒するか否かに関する二進法でのyes/no値；
（２）３０日以内（またはクリニカルスタンダードに従った別の所望の期間内）に、５０％を超える潰瘍面積の減少（またはクリニカルスタンダードに従った別の所望の閾値（％））に至るまで潰瘍が治癒する可能性を示すパーセンテージ；および
（３）潰瘍の治癒により、３０日以内（またはクリニカルスタンダードに従った別の所望の期間内）に減少することが期待される実際の潰瘍面積に関する予測
が挙げられるが、これらに限定されない。
別の例では、本発明の技術によるシステムは、創傷の画像に含まれる個々の画素や画素のサブセットなどの、創傷のさらに小さな部分に関して、治癒する可能性を示す二進法でのyes/no値またはパーセンテージを提供するものであってもよく、治癒する可能性を示すこれらのyes/no値またはパーセンテージは、創傷の個々の部分が、所定期間経過後に治癒する可能性のある組織であるのか、それとも所定期間が経過しても治癒しない可能性のある組織であるのかということを示すものであってもよい。
図２４は、前述のような治癒予測を提供するためのアプローチの一例を示す。図に示すように、マルチスペクトル画像センサを使用して、様々な波長において、異なる時間または同時に撮影された創傷の画像または１組のマルチスペクトル画像を使用することにより、オートエンコーダニューラルネットワーク（詳細に後述する人工ニューラルネットワークの一種）などのニューラルネットワークに入力値および出力値を提供する。このタイプのニューラルネットワークは、入力により示された特徴数を削減することができ、本明細書では、単一または複数の入力画像中の画素値を示す値（たとえば数値）の個数を削減することができる。このような特徴数を、たとえば、全結合フィードフォワード（順伝播型）人工ニューラルネットワークや、図２５に示すシステムのような機械学習分類器に提供することにより、画像化された潰瘍またはその他の創傷の治癒予測を出力することができる。
図２５は、前述のような治癒予測を提供するための別のアプローチの一例を示す。図に示すように、画像（またはマルチスペクトル画像センサを使用して、様々な波長において、異なる時間または同時に撮影された１組のマルチスペクトル画像）が、畳み込みニューラルネットワーク（「CNN」）などのニューラルネットワークへの入力として提供される。CNNでは、画素値（たとえば、画像データの撮影に使用したイメージセンサの高さおよび幅に沿った数値）の二次元（「2D」）アレイを取り扱い、画像を一次元（「1D」）で表現した出力を提供する。この数値は、入力画像中の各画素の分類を示すことができ、たとえば、潰瘍またはその他の創傷に関する１種以上の生理学的状態に応じた各画素の分類を示すことができる。
図２５に示すように、患者測定値データリポジトリは、本明細書において患者測定値、臨床変数または健康測定値と呼ぶ、患者に関するその他の種類の情報を格納することができる。患者測定値には、患者の特性を説明する文字情報が含まれていてもよく、患者の特性としては、たとえば、潰瘍の面積；患者のボディマス指数（BMI）；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；糖尿病状態；免疫抑制剤（たとえば化学療法）または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；HbA1c；慢性腎不全ステージIV；１型糖尿病または２型糖尿病のいずれであるか；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸；ならびにこれらの任意の組み合わせが挙げられる。しかし、その他の様々な測定値を使用してもよい。測定値の様々な例示を以下の表１に示す。


Figure 2022513486000003
Figure 2022513486000004
Figure 2022513486000005
Figure 2022513486000006
これらの測定値は、適切な処理によりベクトル表示に変換することができ、たとえば、単語をベクトル表現化した埋め込み、患者が特定の測定値を有するか否か（たとえば、１型糖尿病に罹患しているか否か）を示す２進値のベクトル、または患者における各測定値の程度を示す数値などによって、ベクトル表示に変換することができる。様々な実施形態において、これらの患者測定値のいずれか１つ、またはこれらの患者測定値のすべての組み合わせもしくはその一部の組み合わせを使用して、本発明の技術によるシステムおよび方法により作成される治癒予測パラメータの正確度を向上させることができる。例示的な試験では、DFUの治療のために最初に来院した際に画像データを取得し、臨床変数を考慮せずに画像データを単独で分析したところ、DFUの面積減少率（％）を約67%の正確度で正確に予測することができることが分かった。患者の病歴のみに基づいた予測では、約76%の正確度が得られ、この際に使用した最も重要な特徴は、創傷の面積、BMI、過去の創傷の数、HbA1c、慢性腎不全ステージIV、１型糖尿病または２型糖尿病のいずれであるか、慢性貧血、喘息、薬剤の使用、喫煙の有無、糖尿病性神経障害、深部静脈血栓症、過去の心筋梗塞症、一過性脳乏血発作、および睡眠時無呼吸であった。これらの医療変数と画像データを組み合わせた場合、予測の正確度が約78%まで上昇することが観察された。
図２５に示す例示的な一実施形態において、一次元（1D）で表現した画像データは、ベクトルで表現した患者測定値と連結することができる。次に、この連結した数値は、全結合ニューラルネットワークへの入力として提供することができ、この全結合ニューラルネットワークから治癒予測パラメータが出力される。
図２５に示したシステムは、複数の機械学習モデルとベクトル表示の患者測定値ジェネレータとを備える単一の機械学習システムと見なすことができる。いくつかの実施形態において、CNNと全結合ネットワークがバックプロパゲーション（誤差逆伝播法）を介してパラメータを調節できるように、この機械学習システム全体をエンドツーエンド方式で訓練することができ、CNNと全結合ネットワークを通過した数値に、ベクトル表示の患者測定値を加えることによって、入力画像から治癒予測パラメータを作成することができる。
機械学習モデルの一例
人工ニューラルネットワークは、生物学的神経回路網に着想を得たものであるが、コンピュータ装置による実装を目的として改良された計算実体であるという意味で人工物である。入力と出力の間の依存性を見出すことは容易ではないが、人工ニューラルネットワークを使用することにより、入力と出力の間の複雑な関係をモデル化したり、データ中において一定のパターンを見つけたりすることができる。ニューラルネットワークは、通常、入力層、１層以上の中間層（「隠れ層」）および出力層を含み、各層には数多くのノードが含まれる。ノードの数は各層によって異なっていてもよい。２層以上の隠れ層を含むニューラルネットワークは、「深層」であると見なされる。各層のノードは、次の層のノードのすべてまたはその一部と結合しており、これらの結合の重みは、通常、訓練プロセス中の訓練データに基づいて学習され、たとえば、ニューラルネットワークのパラメータを調整して、ラベルを付けた訓練データ中の対応する入力から予想される出力を生成するバックプロパゲーション（誤差逆伝播法）を使用して行われる。したがって、人工ニューラルネットワークは、人工ニューラルネットワークを通して流れる情報に基づいて、訓練中にその構造（たとえば結合構成および／または重み）を変更するように構成された適応システムであってもよく、隠れ層の重みは、データ中の意味のあるパターンをコードするものであると見なすことができる。
全結合ニューラルネットワークとは、入力層の各ノードが次の層（第１の隠れ層）の各ノードに結合され、第１の隠れ層の各ノードが次の隠れ層の各ノードに結合され、このような結合が、最終的な隠れ層の各ノードが出力層の各ノードに結合されるまで継続するニューラルネットワークである。
オートエンコーダは、エンコーダとデコーダを含むニューラルネットワークである。特定のオートエンコーダは、エンコーダで入力データを圧縮し、次に、このエンコードされたデータをデコーダで復元することにより、元の入力データが良好かつ完全な形で再構築された出力を得ることを目的とする。図２４に示したオートエンコーダニューラルネットワークなどの、本明細書に記載のオートエンコーダニューラルネットワークの一例は、（たとえば、ベクトル形式または行列形式で構造化された）創傷の画像の画素値を、その入力層への入力として使用することができる。次の１つ以上の層、すなわち「エンコーダ層」は、入力された情報の次元を削減することにより（たとえば、元の入力値のn次元よりも少ない数の次元を使用して入力値を表現することによって）、この情報をエンコードし、これらのエンコーダ層の後に続く別の１つ以上の隠れ層（「デコーダ層」）が、エンコードされた情報をデコードすることにより、出力層において、特徴ベクトルを出力として生成する。オートエンコーダニューラルネットワークのための訓練プロセスの一例は、提供された入力データと一致する出力データを生成する隠れ層のパラメータを学習する教師なし学習であってもよい。したがって、入力層におけるノード数と出力層におけるノード数は通常一致する。次元削減により、オートエンコーダニューラルネットワークが、入力画像の最も重要な特徴を学習することが可能となり、この場合、オートエンコーダの最中間層（または別の中間層）では、「特徴量の削減」が行われた入力値が示される。いくつかの例では、オートエンコーダニューラルネットワークによって、たとえば、（各画素値を画像の別々の特徴と見なすことができる）約100万画素の画像を、約50個の数値からなる特徴セットにまで削減することができる。次元削減により画像を表現する方法は、治癒予測パラメータを出力することを目的として、たとえば、図２５に示した分類器、適切なCNNまたはその他のニューラルネットワークなどの別の機械学習モデルで使用することもできる。
CNNは、人工ニューラルネットワークの１種であり、前述した人工ニューラルネットワークと同様に、複数のノードから構成され、各ノード間で学習可能な重みを有する。前述の人工ニューラルネットワークとは異なる点として、CNNの各層は、各画像フレームの２×２アレイの画素値（たとえば幅と高さ）と、画像シーケンス中の画像フレームの数（たとえば深さ）に対応した、幅と高さと深さからなる三次元に配置されたノードを有することができる。いくつかの実施形態において、各層のノードは、幅と高さからなるその前の層の小領域（受容野と呼ぶ）に局所結合されていてもよい。隠れ層の重みは、受容野に適用される畳み込みフィルタの形態を取ることができる。いくつかの実施形態において、畳み込みフィルタは二次元であってもよく、したがって、入力ボリュームの各フレームまたは指定されたフレームサブセットに対して同じフィルタを使用して畳み込み（または画像の畳み込み変換）を繰り返すことができる。別の実施形態では、畳み込みフィルタは三次元であってもよく、したがって、入力ボリュームの複数のノードの深さ全体に及ぶものであってもよい。CNNの各畳み込み層の各ノードは重みを共有して、入力ボリュームの幅と高さの全体に対して（たとえば全フレームに対して）所定の層の畳み込みフィルタを複製することにより、訓練可能な重みの総数を減らし、訓練データ外のデータセットに対するCNNの適用性を向上させることができる。特定の層の数値をプールして、次の層の計算の回数を減らしてもよく（たとえば、特定の画素を示す数値を次の層へと伝達してもよく、その他の数値は破棄する）、さらに、CNNの深さが進むに従って、廃棄された数値にプールマスクを再導入し、元の大きさに対してデータポイントの数を返してもよい。一部が全結合されていてもよい多数の層を積み重ねて、CNN構造を形成することができる。訓練中、人工ニューラルネットワークをその訓練データ中のペアデータに適用して、パラメータを変更し、入力が提供された場合に特定のペアの出力を予測することができる。
人工知能は、通常は人間の知能を要すると考えられるタスクを行うことが可能な、コンピュータ上で作動するシステムのことである。本明細書で開示する人工知能システムは、本明細書で開示する技術がなければ人間の医師の技能および知能を要しうる画像分析（およびその他のデータ分析）を行うことができる。本明細書で開示する人工知能システムは、創傷治癒の評価のために患者を３０日間待たせることなく、患者が最初に来院した際に、このような予測を行うことができるという利点がある。
学習能力のないシステムは、通常、経験から知識を得ることはできないため、学習能力は知能にとって重要な態様の１つである。機械学習は、明確にプログラムすることなく、コンピュータに学習能力を付与するコンピュータサイエンス分野であり、たとえば、人工知能システムに複雑なタスクを学習させたり、人工知能システムが環境の変化に適合することを可能とする。本明細書で開示する機械学習システムは、ラベル付けされた大量の訓練データを用いて訓練させることによって、創傷の治癒可能性を判断することができるようになる。本明細書で開示する人工知能システムは、このような機械学習を通して、（MSIなどにより画像データとして撮影された）創傷の外観と該創傷の治癒可能性の間の新たな関係を学習することができる。
本明細書で開示する人工知能・機械学習システムは、たとえば、本明細書に記載の様々なイメージングシステムに関して述べるように、コンピュータハードウェアと、１つ以上のメモリと、１つ以上のプロセッサとを含む。本発明の技術による機械学習システムおよび／または機械学習方法のいずれかは、本明細書で開示する様々なイメージングシステムおよびイメージング装置のプロセッサおよび／またはメモリ上に実装されていてもよく、本明細書で開示する様々なイメージングシステムおよびイメージング装置のプロセッサおよび／またはメモリと通信してもよい。
糖尿病性足部潰瘍（DFU）のマルチスペクトルイメージングの実装の一例
本明細書で開示する機械学習システムおよび機械学習方法の応用例において、０日目にイメージングを行った後、前述の説明に従った機械学習アルゴリズムを使用して、画像化した創傷の３０日目の面積減少率（％）（PAR）を予測した。この予測を行うため、マルチスペクトルイメージング（MSI）データと臨床変数を入力として取り、かつ予測される面積減少率（％）を示すスカラー値を出力するように機械学習アルゴリズムを訓練した。３０日後に、個々の創傷を評価して真の面積減少率（％）を測定した。創傷に対して行った３０日間にわたる治癒の評価において、予測された面積減少率（％）を、測定した真の面積減少率（％）と比較した。このアルゴリズムの性能は、決定係数（R2）を使用して点数化した。
この応用例の機械学習アルゴリズムは、DFUの画像データベースのデータを使用できるように適合させた、決定木分類器のバギングアンサンブルであった。XGBoostアルゴリズムなどの、その他の適切な分類器のアンサンブルを同様に実装してもよい。DFUの画像データベースは、15人の対象から得られた糖尿病性足部潰瘍の29個の個別の画像を含んでいた。各画像における３０日目の真の面積減少率（％）は判明していた。アルゴリズムの訓練は、leave-one-out cross-validation（LOOCV）法（一個抜き交差検証）を使用して行った。R2スコアの算出は、LOOCVの各分割から得られた試験画像に対する予測結果を合わせた後に行った。
MSIデータは、８個のチャネルの2D画像で構成されており、この８個のチャネルは、それぞれ特定の波長フィルタにおける組織からの拡散反射光を示すものであった。各チャネルの視野は、15cm×20cmの大きさであり、その解像度は1044画素×1408画素であった。この８つの波長帯域は、420nm±20nm；525nm±35nm；581nm±20nm；620nm±20nm；660nm±20nm；726nm±41nm；820nm±20nm；および855nm±30nmを含み、ここで、「±」は、各スペクトルチャネルの半値幅を示す。この８つの波長帯域を図２６に示す。定量的特徴として、各チャネルから、全画素値の平均値、全画素値の中央値および全画素値の標準偏差を算出した。
さらに、臨床変数として、各対象から、年齢、慢性腎疾患の程度、０日目のDFUの長さおよび０日目のDFUの幅を得た。
１～８個のチャネルを使用したMSIデータキューブにおいて、８個のチャネル（波長帯域）の可能なあらゆる組み合わせから抽出した特徴（合計で、C1(8)+C2(8)+...+C8(8)=255個の異なる特徴セット）を使用して、別々のアルゴリズムを作成した。それぞれの組み合わせからR2値を計算し、最小値から最大値の順番に並べた。R2値の95%信頼区間は、それぞれの特徴セットに対して訓練したアルゴリズムの予測結果から算出した。特定の特徴セットにおいて、偶然以上の改善があったのか否かを判断するため、その特徴セットに対して訓練したアルゴリズムの結果の95%信頼区間内に0.0を含まない特徴セットを特定した。さらに、各特徴セットのすべての臨床変数を含めて、同じ分析をさらに255回行った。また、臨床変数がアルゴリズムの性能に影響を及ぼしたか否かを判断するため、ｔ検定を使用して、臨床変数を使用して訓練した255個のアルゴリズムから得たR2の平均値を、臨床変数を含めずに訓練した255個のアルゴリズムと比較した。分析結果を以下の表２および表３に示す。表２は、臨床変数を含まず、画像データのみを含む特徴セットの性能を示す。
Figure 2022513486000007
表２に示すように、臨床的特徴を含まない特徴セットのうち、最も性能が高い特徴セットは、MSIデータにおいて取得可能な８個のチャネルのうちの３個のみを含むものであった。上位５つの特徴セットのいずれにも726nmの波長帯域が含まれていることが観察された。下位５つの特徴セットでは、それぞれ１つの波長帯域しか含まれていなかった。726nmの波長帯域は、上位５つの特徴セットのそれぞれに含まれていたが、この726nmの波長帯域のみを使用した場合、性能は最も悪くなることが観察された。以下の表３は、臨床変数としての、年齢、慢性腎疾患の程度、０日目のDFUの長さおよび０日目のDFUの幅と、画像データを含む特徴セットの性能を示す。
Figure 2022513486000008
臨床変数を含む特徴セットのうち、最も性能が高い特徴セットは、MSIデータにおいて取得可能な８個のチャネルのすべてを含むものであった。上位５つの特徴セットのいずれにも855nmの波長帯域が含まれていた。臨床変数を含むモデルのヒストグラムと、臨床変数を含まないモデルのヒストグラムを、各分布の平均値を示す垂線とともに図２７に示す。
臨床的特徴の重要性を比較することにより、臨床変数を含まないすべての特徴セット間のR2の平均値が、臨床変数を含むすべての特徴セット間のR2の平均値と同等か否かを判定した。臨床変数を含まない特徴セットに対して訓練したモデルから得たR2の平均値は0.31であったのに対して、臨床変数を含む特徴セットに対して訓練したモデルから得たR2の平均値は0.32であったことが分かった。平均値間の差をｔ検定で算出したところ、p値は0.0443であった。したがって、臨床変数を用いて訓練したモデルは、臨床的特徴を用いずに訓練したモデルよりも有意に正確であることが分かった。
画像データからの特徴の抽出
前述の応用例では、画素の平均値、標準偏差および中央値の抽出について述べたが、その他の様々な特徴を画像データから抽出して、治癒予測パラメータの作成に使用してもよい。特徴の種類には、局所特徴量、半局所的な特徴量および全体特徴量が含まれる。局所特徴量は、画像パッチのテクスチャを示してもよく、全体特徴量は、輪郭の表現、形状の記述子およびテクスチャの特徴を含んでいてもよい。テクスチャの全体特徴量とテクスチャの局所特徴量は、テクスチャを算出する際のサポートが異なるため、特定の画像に関して異なる情報を提供する。場合によっては、全体特徴量により、物体全体を単一のベクトルで一般化することができる。一方、局所特徴量は、画像中の複数の点で算出されるため、一部が隠された画像や低画質な画像でもロバストな分析を行うことができる。しかしながら、１つ画像あたりの特徴ベクトルの数が変動する場合に対処するため、専用の分類アルゴリズムが必要であってもよい。
局所特徴量には、たとえば、scale-invariant feature transform（SIFT）、speeded-up robust features （SURF）、features from accelerated segment test（FAST）、binary robust invariant scalable keypoints（BRISK）、Harrisコーナー検出オペレータ、binary robust independent elementary features（BRIEF）、oriented FAST and rotated BRIEF（ORB）、およびKAZE特徴量が含まれていてもよい。半局所的な特徴量には、たとえば、小ウィンドウ内のエッジ、スプライン、線およびモーメントが含まれていてもよい。全体特徴量には、たとえば、色、ガボール特徴量、ウェーブレット特徴量、フーリエ特徴量、テクスチャ特徴量（たとえば、１次モーメント、２次モーメントおよび高次モーメント）、１次元、２次元および３次元の畳み込み層または隠れ層からの、ニューラルネットワークの特徴量、および主成分分析（PCA）が含まれていてもよい。
RGBに基づいたDFUのイメージングにおける応用例
治癒予測パラメータを得るためのさらなる例として、写真用デジタルカメラなどから得たRGBデータに基づいて、同様のMSI法を使用してもよい。この場合、アルゴリズムは、RGB画像からデータを取得することができ、さらに対象の病歴またはその他の臨床変数からデータを取得してもよく、DFUが３０日間にわたる標準的な創傷ケア療法に対して奏効を示すか否かを示す条件付き確率などの治癒予測パラメータを出力することができる。いくつかの実施形態において、この条件付き確率は、治療対象のDFUが非治癒性潰瘍である確率であり、パラメータθで特徴付けたモデルに対する入力データをｘとした場合、次式で示される。
Pモデル(y=“非治癒性”│x;θ)
RGBデータに対する点数化法は、前述のMSIでの応用例における点数化法と同様に行ってもよい。一例において、非治癒領域であると予測された領域を、DFUなどの創傷に対する３０日間の治癒評価により測定された真の非治癒領域と比較することができる。この比較結果によりアルゴリズムの性能が示される。このような比較を実施するための方法は、出力画像の臨床転帰に基づく方法であってもよい。
この応用例において、治癒予測アルゴリズムによって生成された各治癒予測パラメータに対して４種の結果を得ることができる。真の陽性（TP）の結果では、創傷面積の減少が５０％未満であることが示され（たとえば、DFUが非治癒性潰瘍であり）、アルゴリズムにより、創傷面積の減少が５０％未満であることが予測される（たとえば、機械学習装置により非治癒性であるという予測が出力される）。真の陰性（TN）の結果では、創傷面積の減少が少なくとも５０％であることが示され（たとえば、DFUが治癒性潰瘍であり）、アルゴリズムにより、創傷面積の減少が少なくとも５０％であることが予測される（たとえば、機械学習装置により治癒性であるという予測が出力される）。偽陽性（FP）の結果では、創傷面積の減少が少なくとも５０％であることが示されるが、アルゴリズムにより、創傷面積の減少が５０％未満であることが予測される。偽陰性（FN）の結果では、創傷面積の減少が５０％未満であることが示されるが、アルゴリズムにより、創傷面積の減少が少なくとも５０％であることが予測される。実際の治癒の予測と評価を行った後、以下の表４に示す正確度、感度および特異度の性能測定値を使用して、これらの結果をまとめることができる。
Figure 2022513486000009
後ろ向き研究において、82人の対象の糖尿病性足部潰瘍を撮影した149個の個別の画像を含む、DFUの画像データベースを取得した。このデータセット中のDFUのうちの69%は、30日目に創傷の面積減少率が目標値である50%に到達したことから、「治癒性」であると考えられた。創傷の平均表面積は3.7cm2であり、創傷面積の中央値は0.6cm2であった。
開発したモデルへの入力データとして、カラー写真画像（RGB画像）を使用した。RGB画像は、３個のチャネルの2D画像で構成されており、この３個のチャネルは、それぞれ従来のカラーカメラセンサで利用されている波長において組織から拡散反射された光を示すものであった。これらの画像は、携帯型デジタルカメラを使用して臨床医により撮影されたものであった。撮像装置、作動距離および視野（FOV）の選択は、画像間で様々に異なっていた。アルゴリズムを訓練する前に、各画像を手動でトリミングして、視野（FOV）の中心に潰瘍が位置するようにした。トリミング後、3チャネル×256画素×256画素のサイズに画像を補間した。この補間工程において、オリジナル画像のアスペクト比の維持は制御しなかった。しかし、所望であれば、これらの前処理工程においてアスペクト比を維持することもできる。また、各対象から、病歴、過去の創傷および血液検査結果を含む臨床データセット（たとえば、臨床変数値や健康測定値など）も取得した。
この分析を行うため、２種のアルゴリズムを開発した。これらのアルゴリズムは、従来の機械学習分類アプローチにおいて、患者健康測定値と組み合わせることが可能な画像データに対して新たな表現を特定することを当初の目標とした。この画像表現を作成する方法として数多くの方法を利用することができ、たとえば、主成分分析（PCA）やSIFT（scale-invariant feature transform）などを利用することができる。
Figure 2022513486000010
一例において、別々に訓練した教師なしアプローチを使用して画像を圧縮し、DFUの治癒を予測する機械学習を実施した。第２の例では、エンドツーエンドの教師ありアプローチを使用して、DFUの治癒を予測した。
前述の教師なし特徴抽出アプローチでは、たとえば、図２４に示した方法と一致するオートエンコーダアルゴリズムを使用した。オートエンコーダの一例を図２８に概略的に示す。このオートエンコーダは、エンコーダモジュールとデコーダモジュールを含んでいた。このエンコーダモジュールは、16層のVGG畳み込みネットワークであった。16番目の層において、圧縮された画像表現が示された。デコーダモジュールは、16層のVGGネットワークであり、アップサンプリング機能を追加し、プーリング機能を削除した。
Figure 2022513486000011
オートエンコーダは、PASCAL visual object classes（VOC）データを使用して事前に訓練し、本例のデータセット中のDFU画像を使用して微調整した。3チャネル×256画素×256画素（総画素数：65,536）を含む個々の画像を、要素ごとに１つのベクトルに集約し、50個のデータポイントを示す複数のベクトルに圧縮した。訓練終了後、データセット中のすべての画像に対して、同一のエンコーダ・デコーダアルゴリズムを使用した。
画像を圧縮したベクトルを抽出した後、この画像圧縮ベクトルを、第２の教師あり機械学習アルゴリズムへの入力として使用した。ロジスティク回帰、ｋ近傍法、サポートベクトルマシンおよび様々な決定木モデルを含む様々な機械学習アルゴリズムを使用して、画像の特徴と患者の特徴の組み合わせを試験した。DFUの治癒を予測するための入力として、画像を圧縮したベクトルと患者の臨床変数を使用した教師あり機械学習アルゴリズムの一例を図２９に概略的に示す。この機械学習アルゴリズムは、多層パーセプトロン、二次判別分析、単純ベイズ、またはこのようなアルゴリズムのアンサンブルなどの様々な公知の機械学習アルゴリズムのいずれであってもよい。
前述の教師なし特徴抽出アプローチとは別の方法として調査したエンドツーエンドの機械学習アプローチを図３０に概略的に示す。このエンドツーエンドのアプローチでは、全結合層の第１層において、患者健康測定値データを画像ベクトルに連結させることによって、16層のVGG CNNを一部変更した。このようにして、エンコーダモジュールと、これに続く機械学習アルゴリズムを同時に訓練することができる。（たとえば、患者健康測定値や臨床変数などの）グローバル変数を含むその他の方法を使用して、CNNの性能を向上させたり、CNNの目的を変更したりすることも提案されている。最も一般的に使用されている方法は、feature-wise linear modulation（FiLM）生成モデルである。教師あり機械学習アルゴリズムでは、ｋ－分割交差検証法を使用して訓練を行った。各画像の結果は、真の陽性、真の陰性、偽陽性および偽陰性のいずれか１つとして算出した。これらの結果は、表４に記載の性能測定値を使用してまとめた。
図２８と図２９に示した教師なし特徴抽出（オートエンコーダ）と機械学習アプローチによる予測の正確度は、図３１に示した７種の機械学習アルゴリズムと３種の入力特徴の組み合わせを使用して求めた。各アルゴリズムは、３分割交差検証を使用して訓練し、平均正確度（±95%信頼区間）を報告するものとした。このアプローチを使用して訓練したアルゴリズムのうち、２種のアルゴリズムのみが、正確度のベースラインを超えることができた。単純分類器がすべてのDFUを治癒性潰瘍であると予測した場合を正確度のベースラインとした。ベースラインを超えることができた２種のアルゴリズムは、ロジスティク回帰とサポートベクトルマシンであり、画像データと患者データの組み合わせを含んでいた。DFUの治癒予測に重要であり、かつこれらのモデルで使用した患者健康測定値には、創傷面積；ボディマス指数（BMI）；過去の創傷の数；ヘモグロビンA1c（HbA1c）；腎不全；１型糖尿病または２型糖尿病のいずれであるか；貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症（DVT）；過去の心筋梗塞症（MI）；およびこれらの組み合わせが含まれていた。
図３０に示したエンドツーエンドの機械学習アプローチを使用した結果は、図３２に示すように、ベースラインよりも有意に優れた性能を示した。一方、教師なしアプローチと比べると、このアプローチの性能はそれほど有意に優れたものではなかったが、正確度の平均値は、試験したその他の方法よりも高かった。
創傷領域のサブセットの治癒予測
さらなる例示的な実施形態において、本発明の技術によるシステムおよび方法は、創傷全体に対して１つの治癒確率を生成するだけでなく、さらに、個々の創傷において、標準的な創傷ケアを行っても３０日後に治癒が見込めない組織の面積を予測することができる。この出力を得るため、MSIデータまたはRGBデータを入力として取り、かつ創傷の一部分（たとえば、創傷の画像中の個々の画素またはそのサブセット）に対する治癒予測パラメータを生成するように機械学習アルゴリズムを訓練した。本発明の技術は、３０日以内に治癒する見込みがないと予測される潰瘍組織領域を強調表示した画像などの視覚表示を出力するようにさらに訓練することができる。
図３３は、治癒の予測と視覚表示の生成を行うプロセスの一例を示す。本明細書に別記するように、図３３に示した方法でスペクトルデータキューブを得る。このデータキューブは、機械学習ソフトウェアに送られて処理される。機械学習ソフトウェアは、前処理、機械学習創傷評価モデルおよび後処理のうちのすべてまたはその一部を実装することができる。機械学習モジュールは、後処理モジュール（たとえば、確率の閾値処理）により処理される条件付き確率マップを出力し、ユーザに対して分類された画像の形態で視覚的に出力可能な結果を生成する。図３３においてユーザに対する画像出力として示したように、本発明のシステムは、ユーザに対して創傷の画像を表示することができ、この画像において、治癒が見込まれる部分の画素と、治癒が見込まれない部分の画素は、異なる視覚表示で表示される。
図３３に示したプロセスを１組のDFU画像に適用し、非治癒領域であると予測された領域を、DFUに対する３０日間の治癒評価により測定された真の非治癒領域と比較した。この比較結果によりアルゴリズムの性能が示される。この比較を実施するための方法は、出力画像の臨床転帰に基づく方法であった。DFUの画像データベースは、19人の対象の糖尿病性足部潰瘍を撮影した28個の個別の画像を含んでいた。いずれの画像においても、３０日間の標準的な創傷ケアを行った後でも治癒しなかった創傷の真の面積は判明していた。アルゴリズムの訓練は、leave-one-out cross-validation（LOOCV）法（一個抜き交差検証）を使用して行った。各画像の結果は、真の陽性、真の陰性、偽陽性および偽陰性のいずれか１つとして算出した。これらの結果は、表４に記載の性能測定値を使用してまとめた。
畳み込みニューラルネットワークを使用して、各入力画像の条件付き確率マップを作成した。このアルゴリズムは、入力層、畳み込み層、逆畳み込み層および出力層を含む。MSIデータまたはRGBのデータは、通常、畳み込み層に入力される。通常、畳み込み層は、出力が検出段階（たとえば、正規化線形［ReLU］などの非線形変換）への入力として使用される畳み込み段階（たとえば、アフィン変換）から構成され、その結果を、次の畳み込み段階および検出段階に使用してもよい。得られた結果は、プーリング機能によりダウンサンプリングしてもよく、畳み込み層の結果として直接使用してもよい。畳み込み層から得た結果は、次の層への入力として提供される。逆畳み込み層は、通常、逆プーリング層から始まり、この後に、畳み込み段階および検出段階が続く。通常、これらの層は、入力層、畳み込み層、逆畳み込み層の順序で構成される。この構成は、最初にエンコーダ層が配置され、その後にデコーダ層が配置されていると見なされることが多い。出力層は、通常、前の層から出力されたテンソルの次元のいずれかにおける各ベクトルに適用された複数の全結合ニューラルネットワークからなる。このような全結合ニューラルネットワークからの結果は、条件付き確率マップと呼ばれるマトリックスに集約される。
条件付き確率マップの各項目は、元のDFU画像の各領域を示す。各領域は、入力したMSI画像の各画素との１対１のマッピングであってもよく、ｎ対１のマッピングであってもよい（ここで、ｎは、元の画像のいくつかの画素が集約されたものを示す）。このマップにおける条件付き確率値は、画像中のその領域に含まれる組織が、標準的な創傷ケアに対して奏効を示さない確率を示す。この結果は、元の画像中の画素のセグメンテーションにより得られたものであり、非治癒性と予測された領域は、治癒性と予測された領域からセグメント化されたものである。
畳み込みニューラルネットワーク内の特定の層から得られた結果は、別の情報源から得た情報を用いて一部変更することができる。この例では、対象の病歴または治療計画から得た臨床データ（たとえば、本明細書で述べるような患者健康測定値または臨床変数）を情報源として使用して、この変更を行うことができる。したがって、畳み込みニューラルネットワークから得た結果は、イメージングデータ以外の変数の大きさに応じて調整することができる。これを実装するため、図３４に示すように、FiLM層（feature-wise linear transformation layer）をネットワークアーキテクチャに組み込むことができる。FiLM層は、アフィン変換のパラメータを学習するように訓練された機械学習アルゴリズムであり、畳み込みニューラルネットワーク内の複数の層のうちのいずれかにアフィン変換が適用される。この機械学習アルゴリズムへの入力は、数値ベクトルであり、この場合、患者健康測定値または臨床変数の形態の、臨床的意義のある患者の病歴を表す数値ベクトルである。この機械学習アルゴリズムの訓練は、畳み込みニューラルネットワークの訓練と同時に行ってもよい。様々な入力および機械学習アルゴリズムを使用した１層以上のFiLM層を、畳み込みニューラルネットワークの様々な層に適用することができる。
条件付き確率マッピングのための入力データには、マルチスペクトルイメージング（MSI）データとカラー写真画像（RGB画像）が含まれていた。MSIデータは、８個のチャネルの2D画像で構成されており、この８個のチャネルは、それぞれ特定の波長フィルタにおける組織からの拡散反射光を示すものであった。各チャネルの視野は、15cm×20cmの大きさであり、その解像度は1044画素×1408画素であった。この８つの波長は、図２６に示すように、420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nmおよび855nm±30nmを含んでいた。RGB画像は、３個のチャネルの2D画像を含み、この３個のチャネルは、それぞれ従来のカラーカメラセンサで利用されている波長において組織から拡散反射された光を示すものであった。各チャネルの視野は、15cm×20cmの大きさであり、その解像度は1044画素×1408画素であった。
治癒確率に基づいて画像のセグメンテーションを行うため、SegNetと呼ばれるCNNアーキテクチャを使用した。SegNetの開発者によれば、このモデルでは、RGB画像を入力として使用して、条件付き確率マップを出力する。さらに、入力層において８個のチャネルのMSI画像を利用できるように一部変更を加えた。さらに、このSegNetアーキテクチャを一部変更してFiLM層を含めた。
DFUの画像を治癒領域と非治癒領域にセグメント化できることを示すため、それぞれ異なる入力を利用した様々な深層学習モデルを開発した。これらのモデルでは、２種類の入力特徴、すなわち、MSIデータのみまたはRGB画像のみを使用した。様々な入力特徴に加えて、アルゴリズムの訓練の態様も様々に変えた。これらの変更のいくつかには、PASCAL visual object classes（VOC）データセットを使用した深層学習モデルの事前訓練、別の種類の組織創傷の画像データベースを使用した深層学習モデルの事前訓練、フィルタバンクを使用した入力層のカーネルの事前指定、early stopping（早期終了）、アルゴリズムの訓練中のランダムな画像オーギュメンテーション、および推論中にランダムな画像オーギュメンテーションの結果を平均することによる、集約された単一の条件付き確率マップの生成が含まれていた。
２種類の入力特徴の一方を利用した深層学習モデルのうち、性能が上位２つまでのモデルが、偶然以上の良好な性能を示すことが特定された。RGBデータをMSIデータと置き換えたところ、結果が向上した。画像に基づく誤差の数は、９個から７個に減少した。しかし、MSIデータを使用した方法およびRGBデータを使用した方法はいずれも、DFUの治癒可能性を示す条件付き確率マップの作成に実用可能であることが判明した。
SegNetアーキテクチャによる創傷の画像のセグメンテーションにおいて所望の正確度を得ることができるか否かという評価に加えて、想定外ではあるが、その他の種類の創傷の画像でも、条件付き治癒確率マッピングに基づいて、DFUの画像またはその他の創傷の画像をセグメント化するための訓練システムでの使用に適するか否かも評価した。前述したように、SegNet CNNアーキテクチャは、DFUの画像データを訓練データとして使用して事前訓練した場合、DFU画像のセグメンテーションに適することがある。しかし、場合によっては、特定の種類の創傷では、膨大な数の画像からなる適切な訓練用画像セットが入手できないこともある。図３５は、DFUのカラー画像（A）の一例を示し、様々なセグメンテーションアルゴリズムにより、DFUが、治癒すると予測される領域と治癒しないと予測される領域とにセグメント化された４つの例を示す。最初に評価を行った日に撮影された画像（A）では、４週間後に行った評価で非治癒性創傷として同定された創傷部分を破線で示す。画像（B）～（E）は、それぞれ別のセグメンテーションアルゴリズムに対応しており、非治癒組織と予測された部分に色を付けて示している。画像（E）に示すように、SegNetアルゴリズムは、DFUの画像データベースではなく熱傷の画像データベースを用いて事前訓練したものであるにもかかわらず、実際の検査により非治癒性と判定された領域に対応する画像（A）の破線で示した輪郭とぴったり一致する非治癒性組織領域を極めて正確に予測することができた。一方、DFUの画像データで訓練した単純ベイズ線形モデル（画像（B））、DFUの画像データで訓練したロジスティク回帰モデル（画像（C））、およびPACAL VOCデータを使用して事前訓練したSegNet（画像（D））は、いずれも結果が劣り、画像（B）～（D）において、大幅に広く、不正確な輪郭の非治癒性組織領域が示された。
DFU画像の単一波長分析の一例
別の実装例において、MSI画像データやRGB画像データを使用せずに、単一の波長帯域の画像データに基づくことによっても、３０日目の創傷の面積減少率（％）（PAR）の評価および／または条件付き確率マップの形態のセグメンテーションを実施できることが判明した。この方法を実施するため、単一の波長帯域の画像から抽出した特徴を入力として取り、かつ予測される面積減少率（％）を示すスカラー値を出力するように機械学習アルゴリズムを訓練した。
画像はいずれも、施設内審査委員会（IRB）により承認された臨床試験プロトコルに従って対象から得た。データセットは、17人の対象の糖尿病性足部潰瘍を撮影した28個の個別の画像を含んでいた。対象はいずれも創傷の治療のために最初に来院した際に画像を撮影した。また、創傷はいずれも一番大きな寸法において少なくとも幅1.0cmであった。標準的な創傷ケア療法を処方した対象のみを試験に含めた。３０日間の治療後における真の面積減少率（％）（PAR）を測定するため、通例のフォローアップ外来の際に、臨床医によりDFUの治癒を評価した。この治癒評価において、創傷の画像を収集し、０日目に撮影した画像と比較することにより、正確な面積減少率（％）（PAR）を測定した。
分類器アンサンブルなどの様々な機械学習アルゴリズムを使用してもよい。２種の回帰用機械学習アルゴリズムをこの分析に使用した。一方のアルゴリズムは、決定木分類器のバギングアンサンブル（バギング決定木）であり、もう一方は、ランダムフォレストアンサンブルであった。機械学習回帰モデルの訓練に使用した特徴は、いずれも、この試験に含めたDFUの治療のため最初に来院した際の治療前に撮影したDFU画像から得たものであった。
各DFUの８段階グレースケール画像は、可視スペクトルまたは近赤外スペクトルの特有の波長において取得した。各画像の視野は、約15cm×20cmの大きさであり、その解像度は1044画素×1408画素であった。この８つの特有の波長は、図２６に示す、420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nmおよび855nm±30nmの波長帯域を有する光学バンドパスフィルタセットを使用して選択した。
1044画素×1408画素の生の画像は、各画素の反射強度値を各画素中に含んでいた。定量的特徴は、この反射強度値に基づいて計算し、反射強度値の第１のモーメントおよび第２のモーメント（たとえば、平均値および標準偏差）を含んでいた。さらに、中央値も算出した。
これらの計算を行った後、フィルタセットを生の画像に個別に適用して、複数の変換画像を作成してもよい。特定の一例において、７画素×７画素の寸法または別の適切なカーネルサイズの計512個のフィルタを使用することができる。図３６は、実装の一例において使用してもよい７×７画素のサイズの計512個のフィルタカーネルのセットの一例を示す。一例としてのこのフィルタセット（ただしこれに限定されない）は、DFUのセグメンテーション用の畳み込みニューラルネットワーク（CNN）の訓練を介して得ることができる。図３６に示した512個のフィルタは、CNNの入力層の第１のカーネルセットから得た。これらのフィルタの「学習」は、フィルタバンクに含まれるガボールフィルタからの偏差が大きくならないように、重みを更新することより調整した。
畳み込みにより生の画像にフィルタを適用することもできる。これらの畳み込みフィルタを適用した結果として得られた512個の画像から、512チャネル×1044画素×1408画素の寸法の単一の三次元マトリックスを構築してもよい。この三次元マトリックスから追加の特徴をさらに算出してもよい。たとえば、いくつかの実施形態において、機械学習アルゴリズムに入力するためのさらなる特徴として、三次元マトリックスの強度値の平均値、中央値および標準偏差を算出してもよい。
前述の６つの特徴（たとえば、生の画像の画素値の平均値、中央値および標準偏差、ならびに生の画像に対して畳み込みフィルタを適用することにより構築した三次元マトリックスの画素値の平均値、中央値および標準偏差）に加えて、追加の特徴および／またはこのような特徴の線形もしくは非線形の組み合わせを所望に応じてさらに含めてもよい。たとえば、２つの特徴の積または２つの特徴の比率を、機械学習アルゴリズムへの新たな入力特徴として使用することができる。一例において、平均値と中央値の積を追加の入力特徴として使用してもよい。
アルゴリズムの訓練は、leave-one-out cross-validation（LOOCV）法（一個抜き交差検証）を使用して行った。１つのDFU画像を検定セットとして抜き出し、残りのDFU画像を訓練セットとして使用した。訓練後、このモデルを使用して、抜き出しておいたDFU画像の面積減少率（％）を予測した。予測の終了後、抜き出した画像をDFU画像のフルセットに戻し、別に抜き出した画像を用いてこの工程を繰り返した。各DFU画像がそれぞれ１回、ホールドアウトセット（検定セット）として使用されるまで、LOOCV法を繰り返した。交差検証の各分割における検定セットの結果を収集した後、このモデルの総合的な性能を算出した。
DFUに対して行った３０日間にわたる治癒の評価において、各DFU画像の予測された面積減少率（％）を、測定した真の面積減少率（％）と比較した。このアルゴリズムの性能は、決定係数（R2）を使用して点数化した。R2値を使用することにより、個々の波長の有用性を決定した。R2値は、DFU画像から抽出された特徴により説明されるDFUの面積減少率（％）における分散の割合を示す指標である。R2値は次式で定義される。
Figure 2022513486000012
 R2値の95%信頼区間は、それぞれの特徴セットに対して訓練したアルゴリズムの予測結果から算出した。95%信頼区間（CI）は、以下の方程式を使用して算出した。
Figure 2022513486000013
 ここで、
Figure 2022513486000014
 である。この方程式において、nは、データセット中のDFU画像の総数であり、kは、このモデル中の予測値の総数である。
この試験は、回帰モデルにおいて前記８つの異なる波長をそれぞれ独立して使用することにより、偶然以上の有意に良好な結果を得ることができるか否かを判断することを目標とした。特定の特徴セットにおいて、偶然以上の改善があったのか否かを判断するため、その特徴セットに対して訓練したアルゴリズムのR2値の95%信頼区間内にゼロを含まない特徴セットを特定した。この評価を行うため、当初の６つの特徴、すなわち、生の画像の平均値、中央値および標準偏差；ならびに畳み込みフィルタを適用して生の画像を変換することにより作成した三次元マトリックスの平均値、中央値および標準偏差を使用して機械学習モデルを訓練した８つの独立した実験を行った。ランダムフォレストモデルとバギング決定木モデルを訓練した。結果として、交差検証において優れた性能を示したアルゴリズムを報告した。これらの８つのモデルの結果を再検討して、95%信頼区間（CI）の下限値がゼロを上回ったか否かを調べた。95%信頼区間（CI）の下限値がゼロを上回らなかった場合、当初の６つの特徴の非線形の組み合わせにより作成した追加の特徴を採用した。
当初の６つの特徴を使用したところ、試験した８つの波長のうちの７つは、DFUデータセットから得た面積減少率（％）の分散の大部分を説明できる回帰モデルの作成に使用することができた。これらの７つの波長を、最も効果的な波長から最も効果的ではない順に並べると、660nm；620nm；726nm；855nm；525nm；581nm；420nmとなった。三次元マトリックスの平均値と中央値の積を追加の特徴として含めた場合、以下の表の最後に記載した波長（820nm）が効果的であることが分かった。この試験の結果を表５にまとめる。
Figure 2022513486000015
したがって、本明細書に記載のイメージング・分析システムおよびその方法は、単一の波長帯域の画像に基づく場合であっても、１つ以上の治癒予測パラメータを正確に生成可能であると考えられることが示された。いくつかの実施形態において、単一の波長帯域を使用することによって、画像から得られた１つ以上の集約された定量的特徴の計算を容易に行える可能性があり、このような集約された定量的特徴として、生の画像データの平均値、中央値もしくは標準偏差、および／または生の画像データに１つ以上のフィルタを適用することによって生成された複数の画像のセットもしくは三次元マトリックスの平均値、中央値もしくは標準偏差などが挙げられる。
創傷画像用のセグメンテーションシステムおよびその方法の一例
前述したように、本明細書に記載の機械学習技術を使用して、個々の波長または複数の波長における反射率のデータを含むスペクトル画像を分析することにより、創傷全体の治癒（たとえば面積減少率（％））および／または創傷の一部に関連する治癒（たとえば、創傷の画像の個々の画素または複数の画素のサブセットに関連した治癒の確率）などの、創傷の治癒に関連するパラメータを確実に予測することができる。さらに、本明細書で開示された方法の一部は、集約された定量的特徴に少なくとも部分的に基づいて、創傷治癒パラメータを予測することができ、定量的特徴とは、たとえば、胼胝、正常皮膚、背景またはその他の創傷以外の組織領域ではなく、創傷の組織領域に対応する画素すなわち「創傷の画素」であると判定された、創傷の画像中の画素のサブセットに基づいて計算された平均値、標準偏差、中央値などの統計数量である。したがって、創傷の画素のセットに基づいて、このような予測の正確度を改善または最適化するには、創傷の画像中の創傷の画素のサブセットを正確に選択することが好ましい。
画像（DFUの画像など）を創傷の画素と創傷以外の画素に分割するセグメンテーションは、従来、たとえば、医師またはその他の臨床医が、画像を検査し、その画像に基づいて創傷の画素のセットを選択することによって手動で行われてきた。しかしながら、このような手動のセグメンテーションは、時間を要し、非効率的で、ヒューマンエラーを起こす可能性がある。たとえば、面積および体積の算出に使用される式は、創傷の隆起した部分の測定に必要とされる正確度および精度が不足している。さらに、創傷の真の境界の判定および創傷内の組織の分類（上皮の増殖など）には、高度な能力が必要とされる。創傷における測定値の変化は、治療効果を判定するための情報として極めて重要である場合が多いため、最初の創傷の測定においてエラーがあると、治療方針を正確に決定できない恐れがある。
このような問題に対処するものとして、本発明の技術によるシステムおよび方法は、創縁の自動検出および創傷領域における組織の種類の識別に適している。いくつかの実施形態において、本発明の技術によるシステムおよび方法は、創傷の画像を、少なくとも創傷の画素と創傷以外の画素へと自動的にセグメント化し、創傷の画素のサブセットに基づいた計算により集約された定量的特徴が所望の正確度となるように構成することができる。さらに、さらなる治癒予測パラメータの作成を必要とせずに、創傷の画像を創傷の画素と創傷以外の画素にセグメント化することが可能であり、かつ／またはこれらの創傷の画素または創傷以外の画素を１つ以上の下位分類にさらにセグメント化することが可能なシステムまたは方法を実装することが望ましい場合がある。
創傷のカラー写真を使用して、糖尿病性足部潰瘍の画像のデータセットを開発してもよい。このデータの取得では、様々なカラーカメラシステムを使用することができる。実装の一例において、計349個の画像を使用した。訓練を受けた医師またはその他の臨床医は、ソフトウェアプログラムを使用することにより、各創傷画像において、創傷、胼胝、正常皮膚、背景および／またはその他の種類の画素を特定し、これらにラベル付けを行うことができる。このようなラベル付けされた画像は、真値マスクとして知られているが、これらのラベル付けされた画像は、画像中のラベル付けの種類の数に対応する多数の色を含んでいてもよい。図３７は、DFUの画像の一例（左）と、これに対応する真値マスク（右）を示す。図３７に示した真値マスクの一例には、背景の画素に対応する紫色の領域、胼胝の画素に対応する黄色の領域、および創傷の画素に対応するシアン色の領域が含まれている。
１組の真値画像に基づいて、畳み込みニューラルネットワーク（CNN）を使用することにより、前述の種類の組織に自動的にセグメント化することができる。いくつかの実施形態において、このアルゴリズムの構造は、複数の畳み込み層を備えた浅い層のU-netであってもよい。実装の一例において、31層の畳み込み層により所望のセグメンテーション結果が得られた。しかし、画像セグメンテーション用のその他の様々なアルゴリズムを適用して、所望の出力を得てもよい。
セグメンテーションの実装の一例において、前記DFUの画像データベースを無作為に３セットに分け、269個の訓練用画像セットをアルゴリズムの訓練に使用し、40個の検定用画像セットをハイパーパラメータの選択に使用し、40個の検証用画像セットを検証に使用した。アルゴリズムは最急降下法で訓練し、検定用画像セットの正確度をモニターした。検定セットの正確度が最大に達したときに、アルゴリズムの訓練を止めた。次に、検証用セットを使用して、このアルゴリズムの結果を判定した。
U-netアルゴリズムにより得られた検証用セット中の各画像からの結果を、それぞれに対応する真値マスクと比較した。この比較は、画素同士を比較することにより行った。前記３種類の組織のそれぞれにおいて、以下の分類を使用して比較結果をまとめた。真の陽性（TP）には、真値マスク内において目的の種類の組織が存在していた画素に、機械学習モデルが予測した同じ種類の組織が存在していた場合の画素の総数が含まれていた。真の陰性（TN）には、真値マスク内において目的の種類の組織が存在していない画素に、機械学習モデルが予測した同じ種類の組織が存在していなかった場合の画素の総数が含まれていた。偽陽性（FP）には、真値マスク内において目的の種類の組織が存在していない画素に、機械学習モデルが予測した同じ種類の組織が存在していた場合の画素の総数が含まれていた。偽陰性（FN）には、真値マスク内において目的の種類の組織が存在していた画素に、機械学習モデルが予測した同じ種類の組織が存在していなかった場合の画素の総数が含まれていた。これらの結果は、以下の測定値を使用してまとめた。
Figure 2022513486000016
 （式中、Nは、検証用セットの画素数の合計である。）
Figure 2022513486000017
 （式中、Cは、前記３種類の組織を示す。）
Figure 2022513486000018
 （式中、Cは、前記３種類の組織を示す。）
いくつかの実施形態において、アルゴリズムの訓練は、複数のエポック数で行ってもよく、正確度が最適化されるように、過学習と学習不足の中間のエポック数を決定してもよい。本明細書に記載の実装の一例において、画像セグメンテーション用のアルゴリズムの訓練は、80エポックで行った。訓練をモニターしたところ、検定データセットに対する正確度は、73エポックで最も良好になることが判明した。
U-netセグメンテーションアルゴリズムの性能を正確度により算出したところ、偶然以上の良好な正確度であることが判明した。さらに、単純分類器を使用して１種類の組織のみを予測すると、U-netは、利用可能な３種の単純分類器のどれよりも性能が優れていた。過学習の問題とは関係なく、検証用セットに対するこの機械学習モデルの性能は、結果のまとめに使用した測定値に基づくと、実用可能なものであることが示された。
図３８は、本明細書に記載の方法を組み合わせたU-netセグメンテーションアルゴリズムを使用した、創傷画像のセグメンテーションの結果の３つの例を示したものである。３つの例のそれぞれにおいて、DFUの画像を右側の列に示し、本明細書の記載に従って訓練したU-netセグメンテーションアルゴリズムにより生成された自動画像セグメンテーションの出力を中央の列に示した。各DFU画像に対応する手動で作成された真値マスクを図３８の左側の列に示す。これらの画像から、本明細書に記載の方法を使用したセグメンテーションの正確度が高いことが視覚的に示された。
用語
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（たとえば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（たとえば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（たとえば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
本明細書で開示したプロセスは、ユーザまたはシステムアドミニストレータによって要求が開始された際に、所定のスケジュールや動的に決定したスケジュールなどのイベントに応答して開始してもよく、その他のいくつかのイベントに応答して開始してもよい。前記プロセスが開始されたら、１つ以上の非一時的なコンピュータ可読媒体（たとえば、ハードドライブ、フラッシュメモリ、取り外し可能な媒体など）に格納された実行可能プログラム命令群を、サーバまたはその他のコンピュータ装置のメモリ（たとえばRAM）にロードしてもよい。次に、実行可能命令は、コンピュータ装置が備えるハードウェアベースのコンピュータプロセッサにより、実行してもよい。いくつかの実施形態において、本明細書で開示したプロセスまたはその一部は、直列または並列に、複数のコンピュータ装置および／または複数のプロセッサ上に実装してもよい。
実施形態に応じて、本明細書に記載のプロセスまたはアルゴリズムのいずれかによる特定の行為、イベントまたは機能は、別の順序で行うことができ、互いに付加することができ、互いに合体することができ、すべてを省略することができる（たとえば、本明細書に記載の作動およびイベントのすべてが、本明細書に記載のアルゴリズムの実行に必要とは限らない）。さらに、特定の実施形態において、複数の作動またはイベントは、たとえば、マルチスレッド処理、割り込み処理、もしくは複数のプロセッサもしくは複数のプロセッサコアを使用して、またはその他の並列構造上で、順次ではなく同時に行うことができる。
本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロック、モジュール、ルーチン、およびアルゴリズムの工程は、電子機器（たとえばASICまたはFPGA装置）、コンピュータハードウェア上で作動するコンピュータソフトウェア、またはこれらの組み合わせとして実装することができる。さらに、本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロックおよびモジュールは、プロセッサ装置、デジタルシグナルプロセッサ（「DSP」）、特定用途向け集積回路（「ASIC」）、フィールドプログラマブルゲートアレイ（「FPGA」）もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートロジックもしくはトランスファーロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計された、これらの部品の組み合わせなどの機器により実装することができる。プロセッサ装置はマイクロプロセッサであってもよいが、別の態様において、プロセッサ装置は、制御装置、マイクロコントローラまたは状態機械、これらの組み合わせなどであってもよい。プロセッサ装置は、コンピュータ実行可能命令を処理するように構成された電気回路を含んでいてもよい。別の一実施形態において、プロセッサ装置は、FPGAを含むか、またはコンピュータ実行可能命令を処理することなく論理演算を行うその他のプログラマブルデバイスを含む。また、プロセッサ装置は、コンピュータ装置の組み合わせとして実装することができ、たとえば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと１個以上のマイクロプロセッサの組み合わせ、またはこのようなその他の構成として実装することができる。本明細書では、主にデジタル技術に関して説明をしてきたが、プロセッサ装置は、主にアナログ部品を含んでいてもよい。たとえば、本明細書に記載のレンダリング技術のすべてまたはそのうちの一部は、アナログ回路を使用して、またはアナログ回路とデジタル回路を併用して実装してもよい。コンピューティング環境は、何らかの種類のコンピュータシステムを含むことができ、このコンピュータシステムとして、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯型コンピュータ装置、デバイスコントローラ、電気器具内のコンピュータエンジンなどがあるが、これらに限定されない。
本明細書で開示した実施形態に関して述べた方法、プロセス、ルーチンまたはアルゴリズムの構成要素は、ハードウェアで直接具現化することができ、プロセッサ装置により実行されるソフトウェアモジュールで直接具現化することもでき、またはこれらのハードウェアとソフトウェアモジュールの組み合わせで直接具現化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、またはその他の形態の非一時的なコンピュータ可読記憶媒体に含まれていてもよい。典型的な記憶媒体は、プロセッサ装置がこのような記憶媒体から情報を読み取ったり、このような記憶媒体に情報を書き込んだりできるように、プロセッサ装置に接続することができる。この態様において、記憶媒体はプロセッサ装置にとって不可欠でありうる。このプロセッサ装置および記憶媒体は、ASICに含まれていてもよい。このASICは、ユーザ端末に含まれていてもよい。この態様において、このプロセッサ装置および記憶媒体は、ユーザ端末のディスクリート部品として存在していてもよい。
本明細書で使用されている、「できる」、「場合がある」、「可能性がある」、「してもよい」、「たとえば」などの、条件を示す用語は、別段の記載がない限り、あるいはこれらの用語が使用されている文脈上で別の意味に解釈されない限り、通常、特定の実施形態が特定の特徴、構成要素または工程を含み、別の実施形態には、これらの特徴、構成要素または工程が含まれないことを意味する。したがって、条件を示すこのような用語は、通常、特定の実施形態において特定の特徴、構成要素または工程が含まれるのか、あるいは実施されるのかにかかわらず、その他の入力やプロンプティングの存在下または非存在下において、１つ以上の実施形態が、これらの特徴、構成要素または工程を何らかの形で必要とすることや、１つ以上の実施形態が、決定のロジックを必然的に含むことを含意しない。また、「含む」、「備える」、「有する」などの用語は同義語であり、オープンエンド形式で包括的な意味で使用され、追加の構成要素、特徴、行為、作動などを除外するものではない。さらに、「または」という用語も、（排他的な意味ではなく）包括的な意味で使用され、たとえば、「または」という用語が、構成要素を列記するために使用された場合、列記された構成要素のうちの１つ、その一部またはすべてを意味する。
別段の記載がない限り、「Ｘ、ＹまたはＺの少なくとも１つ」などの選言的な用語は、本明細書中において、通常、特定の項目や用語などが、Ｘ、ＹもしくはＺ、またはこれらの任意の組み合わせ（たとえば、Ｘ、ＹまたはＺ）であってもよいことを示すために使用されると理解される。したがって、このような選言的な用語は、通常、特定の実施形態において、Ｘの少なくとも１つと、Ｙの少なくとも１つと、Ｚの少なくとも１つのそれぞれの存在が必要であることを意味することを意図せず、そのように意図されるべきではない。
前述の詳細な説明において、様々な実施形態として適用される新規な特徴を示し、説明し、指摘してきたが、前述の装置またはアルゴリズムの形態およびその細部は、本開示の範囲から逸脱することなく、様々に省略、置換および変更することができることを理解できるであろう。本明細書に示した特徴のいくつかは、その他の特徴とは別々に使用または実施できることから、本明細書に記載の特定の実施形態は、本明細書に示された特徴および利点のすべてを提供するわけではない形態として具体化することができることは容易に理解できるであろう。請求項の記載と等価の意味および範囲内のあらゆる変更は、これらの請求項の範囲内に包含される。

Claims (45)

  1. 創傷の治癒の評価用または予測用のシステムであって、
    糖尿病性足部潰瘍を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
    前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサ
    を含み、
    該１つ以上のプロセッサが、
    前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
    前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
    前記シグナルに基づいて、前記複数の画素の少なくとも１つのサブセットにおいて、第１の波長における各画素の反射強度値を測定し；
    前記サブセットにおける各画素の前記反射強度値に基づいて、前記複数の画素の前記サブセットの１つ以上の定量的特徴を決定し；
    １つ以上の機械学習アルゴリズムを使用して、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴に基づき、前記画像の作成から所定期間経過後における前記糖尿病性足部潰瘍の予測治癒量に相当する少なくとも１つのスカラー値を生成するように構成されている、
    システム。
  2. 前記予測治癒量が、前記糖尿病性足部潰瘍の予測される面積減少率（％）である、請求項１に記載のシステム。
  3. 前記少なくとも１つのスカラー値が、複数のスカラー値を含み、各スカラー値が、前記サブセットの個々の画素の治癒の可能性に相当するか、または前記サブセットの複数の画素からなるサブグループの治癒の可能性に相当する、請求項１または２に記載のシステム。
  4. 前記１つ以上のプロセッサが、前記複数のスカラー値の視覚表示を出力して、ユーザに表示するようにさらに構成されている、請求項３に記載のシステム。
  5. 前記視覚表示が、各画素の治癒の可能性に基づいて選択された特定の視覚表示により前記サブセットの各画素が表示された前記画像を含み、治癒の可能性が異なる画素が、異なる視覚表示で表示される、請求項４に記載のシステム。
  6. 前記１つ以上の機械学習アルゴリズムが、創傷、熱傷または潰瘍の画像データベースを使用して事前に訓練されたSegNetを含む、請求項３～５のいずれか１項に記載のシステム。
  7. 前記創傷の画像データベースが、糖尿病性足部潰瘍の画像データベースを含む、請求項６に記載のシステム。
  8. 前記創傷の画像データベースが、熱傷の画像データベースを含む、請求項６または７に記載のシステム。
  9. 前記所定期間が３０日間である、請求項１～８のいずれか１項に記載のシステム。
  10. 前記１つ以上のプロセッサが、前記組織領域を有する患者に対応する少なくとも１つの患者健康測定値を特定するようにさらに構成されており、前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴と、前記少なくとも１つの患者健康測定値とに基づいて生成される、請求項１～９のいずれか１項に記載のシステム。
  11. 前記少なくとも１つの患者健康測定値が、患者背景に関する変数、糖尿病性足部潰瘍の履歴に関する変数、コンプライアンスに関する変数、内分泌系に関する変数、心血管系に関する変数、筋骨格系に関する変数、栄養状態に関する変数、感染症に関する変数、腎臓に関する変数、産婦人科系に関する変数、薬剤の使用に関する変数、その他の疾患に関する変数および臨床検査値からなる群から選択される少なくとも１つの変数を含む、請求項１０に記載のシステム。
  12. 前記少なくとも１つの患者健康測定値が、１つ以上の臨床的特徴を含む、請求項１０に記載のシステム。
  13. 前記１つ以上の臨床的特徴が、患者の年齢、患者の慢性腎疾患の程度、前記画像が作成された日の前記糖尿病性足部潰瘍の長さ、および前記画像が作成された日の前記糖尿病性足部潰瘍の幅からなる群から選択される少なくとも１つの特徴を含む、請求項１２に記載のシステム。
  14. 第１の波長が、420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nmまたは855nm±30nmの範囲内にある、請求項１～１３のいずれか１項に記載のシステム。
  15. 第１の波長が、620nm±20nm、660nm±20nmまたは420nm±20nmの範囲内にある、請求項１～１４のいずれか１項に記載のシステム。
  16. 前記１つ以上の機械学習アルゴリズムが、ランダムフォレストアンサンブルを含む、請求項１５に記載のシステム。
  17. 第１の波長が、726nm±41nm、855nm±30nm、525nm±35nm、581nm±20nmまたは820nm±20nmの範囲内にある、請求項１～１４のいずれか１項に記載のシステム。
  18. 前記１つ以上の機械学習アルゴリズムが、分類器のアンサンブルを含む、請求項１７に記載のシステム。
  19. 少なくとも第１の波長の光を通過させるように構成された光学バンドパスフィルタをさらに含む、請求項１～１８のいずれか１項に記載のシステム。
  20. 前記１つ以上のプロセッサが、
    前記画像中の複数の画素を、創傷の画素と創傷以外の画素へと自動的にセグメント化し；
    該創傷の画素を含む前記複数の画素のサブセットを選択するようにさらに構成されている、請求項１～１９のいずれか１項に記載のシステム。
  21. 前記１つ以上のプロセッサが、前記創傷以外の画素を、胼胝の画素と背景の画素へと自動的にセグメント化するようにさらに構成されている、請求項２０に記載のシステム。
  22. 前記１つ以上のプロセッサが、前記創傷以外の画素を、胼胝の画素と、正常皮膚の画素と、背景の画素へと自動的にセグメント化するようにさらに構成されている、請求項２０に記載のシステム。
  23. 前記１つ以上のプロセッサが、畳み込みニューラルネットワークを含むセグメンテーションアルゴリズムを使用して、前記複数の画素を自動的にセグメント化する、請求項２０～２２のいずれか１項に記載のシステム。
  24. 前記セグメンテーションアルゴリズムが、複数の畳み込み層を含むU-Netおよび複数の畳み込み層を含むSegNetのうちの少なくとも一方である、請求項２３に記載のシステム。
  25. 前記複数の画素の前記サブセットの前記１つ以上の定量的特徴が、前記複数の画素の集約された１つ以上の定量的特徴を含む、請求項１～２４のいずれか１項に記載のシステム。
  26. 前記複数の画素の前記サブセットの前記集約された１つ以上の定量的特徴が、前記サブセットの画素の前記反射強度値の平均値、前記サブセットの画素の前記反射強度値の標準偏差、および前記サブセットの画素の前記反射強度値の中央値からなる群から選択される、請求項２５に記載のシステム。
  27. 前記１つ以上のプロセッサが、
    畳み込みにより前記画像に複数のフィルタカーネルを個別に適用することにより、複数の変換画像を作成し；
    前記複数の変換画像から三次元マトリックスを構築し；
    前記三次元マトリックスの１つ以上の定量的特徴を決定するようにさらに構成されており、
    前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の定量的特徴に基づいて、および前記三次元マトリックスの前記１つ以上の定量的特徴に基づいて生成される、
    請求項１～２６のいずれか１項に記載のシステム。
  28. 前記三次元マトリックスの前記１つ以上の定量的特徴が、前記三次元マトリックスの数値の平均値、前記三次元マトリックスの数値の標準偏差、前記三次元マトリックスの中央値、および前記三次元マトリックスの平均値と中央値の積からなる群から選択される、請求項２７に記載のシステム。
  29. 前記少なくとも１つのスカラー値が、前記サブセットの画素の前記反射強度値の平均値、前記サブセットの画素の前記反射強度値の標準偏差、前記サブセットの画素の前記反射強度値の中央値、前記三次元マトリックスの数値の平均値、前記三次元マトリックスの数値の標準偏差、および前記三次元マトリックスの中央値に基づいて生成される、請求項２８に記載のシステム。
  30. 前記少なくとも１つの光検出素子が、前記組織領域から反射された少なくとも第２の波長の光を収集するようにさらに構成されており、
    前記１つ以上のプロセッサが、
    前記組織領域から反射された第２の波長の光を示す第２のシグナルを前記少なくとも１つの光検出素子から受信し；
    前記第２のシグナルに基づいて、前記複数の画素の少なくとも１つのサブセットにおいて、第２の波長における各画素の反射強度値を測定し；
    第２の波長における各画素の前記反射強度値に基づいて、前記複数の画素の前記サブセットの１つ以上の追加の定量的特徴を決定するようにさらに構成されており；
    前記少なくとも１つのスカラー値が、前記複数の画素の前記サブセットの前記１つ以上の追加の定量的特徴に少なくとも部分的に基づいて生成される、
    請求項１～２９のいずれか１項に記載のシステム。
  31. 創傷評価用システムであって、
    創傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
    前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサ
    を含み、
    該１つ以上のプロセッサが、
    前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
    前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
    前記シグナルに基づいて、第１の波長における前記複数の画素のそれぞれの反射強度値を測定し；
    機械学習アルゴリズムを使用して、前記複数の画素のそれぞれの反射強度値に基づき、該複数の画素のそれぞれを、少なくとも、創傷の画素を含む複数の画素の第１のサブセットと、創傷以外の画素を含む複数の画素の第２のサブセットとに自動的にセグメント化するように構成されている、
    システム。
  32. 前記１つ以上のプロセッサが、前記複数の画素の第２のサブセットを、少なくとも２種類の、創傷以外の画素に自動的にセグメント化するようにさらに構成されており、該少なくとも２種類の画素が、胼胝の画素、正常皮膚の画素および背景の画素からなる群から選択される、請求項３１に記載のシステム。
  33. 前記機械学習アルゴリズムが、畳み込みニューラルネットワークを含む、請求項３１または３２に記載のシステム。
  34. 前記機械学習アルゴリズムが、複数の畳み込み層を含むU-Netおよび複数の畳み込み層を含むSegNetのうちの少なくとも一方である、請求項３３に記載のシステム。
  35. 前記機械学習アルゴリズムが、セグメント化された複数の創傷の画像、潰瘍の画像または熱傷の画像を含むデータセットに基づいて訓練されたものである、請求項３１～３４のいずれか１項に記載のシステム。
  36. 前記創傷が、糖尿病性足部潰瘍である、請求項３１～３５のいずれか１項に記載のシステム。
  37. 前記１つ以上のプロセッサが、前記セグメント化された複数の画素の視覚表示を出力して、ユーザに表示するようにさらに構成されている、請求項３１～３６のいずれか１項に記載のシステム。
  38. 前記視覚表示が、前記セグメント化された画素に基づいて選択された特定の視覚表示により各画素が表示された前記画像を含み、創傷の画素と創傷以外の画素が、異なる視覚表示で表示される、請求項３７に記載のシステム。
  39. 請求項１～３０のいずれか１項に記載のシステムを使用して、創傷の治癒を予測する方法であって、
    少なくとも第１の波長の光で組織領域を照射し、該組織領域において該光の少なくとも一部を反射させて少なくとも１つの光検出素子に入射させる工程；
    請求項１～３０のいずれか１項に記載のシステムを使用して、少なくとも１つのスカラー値を生成する工程；および
    所定期間経過後における治癒予測パラメータを決定する工程
    を含む方法。
  40. 前記組織領域への照射工程が、前記少なくとも第１の波長の光を発するように構成された１つ以上の発光素子を起動することを含む、請求項３９に記載の方法。
  41. 前記組織領域への照射工程が、該組織領域を環境光に暴露することを含む、請求項３９に記載の方法。
  42. 前記治癒予測パラメータの決定工程が、所定期間経過後における予想される創傷面積減少率（％）を決定することを含む、請求項３９～４１のいずれか１項に記載の方法。
  43. 前記創傷の予測治癒量の決定から所定期間経過後に、該創傷の１つ以上の寸法を測定する工程；
    前記所定期間経過後における前記創傷の実際の治癒量を測定する工程；および
    少なくとも前記画像と前記創傷の実際の治癒量とを訓練データとして提供することにより、１つ以上の機械学習アルゴリズムのうちの少なくとも１つを更新する工程
    をさらに含む、請求項３９～４２のいずれか１項に記載の方法。
  44. 前記治癒予測パラメータに少なくとも部分的に基づいて、標準的な創傷ケア療法または高度な創傷ケア療法を選択する工程をさらに含む、請求項３９～４３のいずれか１項に記載の方法。
  45. 前記標準的な創傷ケア療法または高度な創傷ケア療法の選択工程が、
    前記治癒予測パラメータにより、３０日後の創傷（好ましくは糖尿病性足部潰瘍）の治癒または閉鎖が５０％を超えることが示された場合に、栄養状態の最適化、任意の手段により壊死組織を除去するためのデブリードマン、適切な湿潤被覆材を用いた清潔で湿った肉芽組織床の維持、罹患している可能性のある感染症の消散に必要とされる治療法、糖尿病性足部潰瘍を有する四肢への血管内灌流の不足に対する対処、糖尿病性足部潰瘍を原因とする圧力負荷の軽減、および適切な血糖管理からなる群から選択される１種以上の標準的な治療法を指示または適用することを含み、かつ
    前記治癒予測パラメータにより、３０日後の創傷（好ましくは糖尿病性足部潰瘍）の治癒または閉鎖が５０％を超えないことが示された場合に、高圧酸素療法、陰圧創傷療法、生物工学による代替皮膚、合成成長因子、細胞外マトリックスタンパク質、マトリックスメタロプロテイナーゼ調節因子、および電気刺激療法からなる群から選択される１種以上の高度な治療法を指示または適用することを含む、
    請求項４４に記載の方法。
JP2021533805A 2018-12-14 2019-12-11 創傷の評価、治癒予測および治療のための機械学習システム Active JP7261883B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023063250A JP2023085517A (ja) 2018-12-14 2023-04-10 創傷の評価、治癒予測および治療のための機械学習システム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862780121P 2018-12-14 2018-12-14
US62/780,121 2018-12-14
US201862780854P 2018-12-17 2018-12-17
US62/780,854 2018-12-17
US201962818375P 2019-03-14 2019-03-14
US62/818,375 2019-03-14
PCT/US2019/065820 WO2020123724A1 (en) 2018-12-14 2019-12-11 Machine learning systems and methods for assessment, healing prediction, and treatment of wounds

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023063250A Division JP2023085517A (ja) 2018-12-14 2023-04-10 創傷の評価、治癒予測および治療のための機械学習システム

Publications (2)

Publication Number Publication Date
JP2022513486A true JP2022513486A (ja) 2022-02-08
JP7261883B2 JP7261883B2 (ja) 2023-04-20

Family

ID=71075815

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021533805A Active JP7261883B2 (ja) 2018-12-14 2019-12-11 創傷の評価、治癒予測および治療のための機械学習システム
JP2023063250A Pending JP2023085517A (ja) 2018-12-14 2023-04-10 創傷の評価、治癒予測および治療のための機械学習システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023063250A Pending JP2023085517A (ja) 2018-12-14 2023-04-10 創傷の評価、治癒予測および治療のための機械学習システム

Country Status (7)

Country Link
US (1) US11948300B2 (ja)
EP (1) EP3893733A4 (ja)
JP (2) JP7261883B2 (ja)
KR (1) KR20210101285A (ja)
CN (1) CN113260303A (ja)
BR (1) BR112021011132A2 (ja)
WO (1) WO2020123724A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11304604B2 (en) 2014-10-29 2022-04-19 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
EP3589191A4 (en) 2017-03-02 2020-11-11 Spectral MD Inc. AUTOMATIC LEARNING SYSTEMS AND TECHNIQUES FOR MULTISPECTRAL ANALYSIS OF AMPUTATION SITES
WO2020123722A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
US11950877B2 (en) * 2019-02-05 2024-04-09 University Of Virginia Patent Foundation System and method for fully automatic LV segmentation of myocardial first-pass perfusion images
US20210398655A1 (en) * 2020-06-19 2021-12-23 Neil Reza Shadbeh Evans Machine learning algorithms for detecting medical conditions, related systems, and related methods
WO2022197826A1 (en) * 2021-03-16 2022-09-22 Cornell University Systems and methods for using deep-learning algorithms to facilitate decision making in gynecologic practice
DE102021113153A1 (de) * 2021-05-20 2022-11-24 cureVision GmbH Mobile Dokumentationsvorrichtung für die Erfassung von Hautläsionen
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
KR20230046720A (ko) * 2021-09-30 2023-04-06 (주)피플앤드테크놀러지 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
CN113729638A (zh) * 2021-09-30 2021-12-03 广州尚衡信息科技有限公司 一种双光谱手面诊健康评估设备
CN113827234B (zh) * 2021-11-25 2022-03-18 之江实验室 一种基于高光谱人脸视频的远程脉搏波重建方法
KR20230111468A (ko) 2022-01-18 2023-07-25 부경대학교 산학협력단 기계학습을 이용한 흉터 조직 영역 검출을 위한 장치 및 방법
ES2948438A1 (es) * 2022-02-16 2023-09-12 Woom Fertility S L Método implementado por computador para obtener el estado de fertilidad de una mujer
KR20230144797A (ko) * 2022-04-08 2023-10-17 (주)파인헬스케어 병원에서 욕창 상태를 결정하고 치료하기 위한 장치 및 장치의 동작 방법
WO2023242673A1 (en) * 2022-06-14 2023-12-21 3M Innovative Properties Company Artificial intelligence techniques for generating a predicted future image of a wound
CN117274242B (zh) * 2023-11-17 2024-01-26 简阳市人民医院 一种基于图像识别的创面检测方法和系统
CN117854731B (zh) * 2024-03-07 2024-05-17 简阳市人民医院 针对腋臭术后伤口延期愈合影响因素的预测方法和系统
CN117877691B (zh) * 2024-03-13 2024-05-07 四川省医学科学院·四川省人民医院 一种基于图像识别的智能化伤口信息采集系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521237A (ja) * 2008-05-20 2011-07-21 ユニバーシティー ヘルス ネットワーク 螢光に基づく画像化およびモニタリング用装置ならびにその方法
US20150119721A1 (en) * 2013-10-30 2015-04-30 Worcester Polytechnic Institute System and method for assessing wound
WO2017074505A1 (en) * 2015-10-28 2017-05-04 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
JP2017524935A (ja) * 2014-07-24 2017-08-31 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析
WO2017202535A1 (en) * 2016-05-23 2017-11-30 Bluedrop Medical Ltd A skin inspection device for identifying abnormalities
WO2018018160A1 (en) * 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
JP2018502677A (ja) * 2014-10-29 2018-02-01 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織分類用の反射モードマルチスペクトル−時間分解型光学イメージング方法および装置
WO2018160963A1 (en) * 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
JP2018534965A (ja) * 2015-09-23 2018-11-29 ノバダック テクノロジーズ ユーエルシー 組織の治癒を評価するための方法およびシステム

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170987A (en) 1977-11-28 1979-10-16 California Institute Of Technology Medical diagnosis system and method with multispectral imaging
US4693255A (en) 1985-04-22 1987-09-15 Beall Harry C Medical apparatus method for assessing the severity of certain skin traumas
ES2097803T3 (es) 1989-12-14 1997-04-16 Elof Eriksson Sistema de tratamiento de heridas asi como otras afecciones.
US5074306A (en) 1990-02-22 1991-12-24 The General Hospital Corporation Measurement of burn depth in skin
US5701902A (en) 1994-09-14 1997-12-30 Cedars-Sinai Medical Center Spectroscopic burn injury evaluation apparatus and method
GB9521784D0 (en) 1995-10-24 1996-01-03 Rosslyn Medical Ltd Diagnostic apparatus
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6008889A (en) 1997-04-16 1999-12-28 Zeng; Haishan Spectrometer system for diagnosis of skin disease
US6058352A (en) 1997-07-25 2000-05-02 Physical Optics Corporation Accurate tissue injury assessment using hybrid neural network analysis
US6353753B1 (en) 1998-05-05 2002-03-05 Stephen Thomas Flock Optical imaging of deep anatomic structures
US6352517B1 (en) 1998-06-02 2002-03-05 Stephen Thomas Flock Optical monitor of anatomical movement and uses thereof
US5982497A (en) 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
DE19850350C1 (de) 1998-11-02 2000-09-28 Jena Optronik Gmbh Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten
US6381488B1 (en) 1999-06-15 2002-04-30 Sandia Corporation Method and apparatus to measure the depth of skin burns
US6640132B1 (en) 1999-11-17 2003-10-28 Hypermed, Inc. Forensic hyperspectral apparatus and method
EP1251779A1 (en) 2000-01-27 2002-10-30 National Research Council of Canada Visible-near infrared spectroscopy in burn injury assessment
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6638668B2 (en) 2000-05-12 2003-10-28 Ocean Optics, Inc. Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging
CA2453585A1 (en) 2001-07-16 2003-01-30 Art Advanced Research Technologies Inc. Multi-wavelength imaging of highly turbid media
JP2005502895A (ja) 2001-09-19 2005-01-27 ジュール マイクロシステムズ カナダ インコーポレイテッド 信号整合フィルタリングを組み込んだ分光計
US20060072109A1 (en) 2004-09-03 2006-04-06 Andrew Bodkin Hyperspectral imaging systems
TW512058B (en) 2001-12-24 2002-12-01 Yung-Jian Yang Spectral analysis system for burning and scalding injuries and device used in the system
CA2491703A1 (en) 2002-07-09 2004-01-15 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
AU2003285815A1 (en) 2002-12-02 2004-06-23 Erasmus Universiteit Rotterdam Use of high wavenumber raman spectroscopy for measuring tissue
WO2005002425A2 (en) 2003-07-02 2005-01-13 U.S. Government As Represented By The Secretary Of The Army Wearable tissue viability diagnostic unit
US7693069B2 (en) 2003-07-28 2010-04-06 Alcatel-Lucent Usa Inc. Method, apparatus and system for improved inter-domain routing convergence
RU2372117C2 (ru) 2003-09-18 2009-11-10 Аркюо Медикал, Инк. Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления
US7920908B2 (en) 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
WO2005046248A1 (ja) 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7648808B2 (en) 2004-01-12 2010-01-19 Ocean Thin Films, Inc. Patterned coated dichroic filter
US8583216B2 (en) 2004-04-27 2013-11-12 University Of Utah Research Foundation Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer
US20070179482A1 (en) 2004-05-07 2007-08-02 Anderson Robert S Apparatuses and methods to treat biological external tissue
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US8548570B2 (en) 2004-11-29 2013-10-01 Hypermed Imaging, Inc. Hyperspectral imaging of angiogenesis
US8224425B2 (en) 2005-04-04 2012-07-17 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
JP5149015B2 (ja) 2004-12-28 2013-02-20 ハイパーメツド・イメージング・インコーポレイテツド 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル／マルチスペクトルイメージング
US7729750B2 (en) 2005-01-20 2010-06-01 The Regents Of The University Of California Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography
US20060241495A1 (en) 2005-03-23 2006-10-26 Eastman Kodak Company Wound healing monitoring and treatment
US8971984B2 (en) 2005-04-04 2015-03-03 Hypermed Imaging, Inc. Hyperspectral technology for assessing and treating diabetic foot and tissue disease
WO2006107947A2 (en) 2005-04-04 2006-10-12 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US8081311B2 (en) 2005-11-04 2011-12-20 General Hospital Corporation System for multispectral imaging
CN101394782B (zh) 2006-01-05 2014-03-05 弗吉尼亚大学专利基金会 从自我监测数据评价糖尿病中的血糖变异性的系统
JP4655991B2 (ja) 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
JP2010503475A (ja) 2006-09-12 2010-02-04 ザ ジェネラル ホスピタル コーポレイション 解剖学的構造における深度の評価を提供する装置、プローブ、および方法
US20120321759A1 (en) 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
JP2010515489A (ja) 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
US8639309B2 (en) 2007-07-31 2014-01-28 J&M Shuler, Inc. Method and system for monitoring oxygenation levels of compartments and tissue
US7857803B1 (en) 2007-03-19 2010-12-28 The United States Of America As Represented By The Secretary Of The Army Burn patient resuscitation system and method
JP2008283442A (ja) 2007-05-10 2008-11-20 Olympus Corp 撮像装置
EP2166934A4 (en) 2007-07-06 2012-10-17 Ind Res Ltd SYSTEMS AND METHOD FOR SHAPING LASER SPECKLES
US20090072142A1 (en) 2007-09-14 2009-03-19 Forensicare Incorporated Scanning system and techniques for medical and/or forensic assessment using the same
US20090118600A1 (en) 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US8509879B2 (en) 2007-11-06 2013-08-13 The Regents Of The University Of California Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging
US20100210931A1 (en) 2008-04-04 2010-08-19 Modulate Imaging Inc. Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination
AU2009239460B2 (en) 2008-04-21 2015-04-23 Drexel University Methods for measuring changes in optical properties of wound tissue and correlating near infrared absorption (fNIR) and diffuse reflectance spectroscopy scattering (DRS) with tissue neovascularization and collagen concentration to determine whether wound is healing
EP2285272A4 (en) 2008-04-30 2017-01-04 Board of Regents, The University of Texas System Integrated patient bed system
US8838211B2 (en) 2008-04-30 2014-09-16 Board Of Regents, The University Of Texas System Multi-wavelength diagnostic imager
US20090318815A1 (en) 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US8694266B2 (en) 2008-06-05 2014-04-08 The Regents Of The University Of Michigan Multimodal spectroscopic systems and methods for classifying biological tissue
US9572494B2 (en) 2008-08-12 2017-02-21 New Jersy Institute of Technology Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues
JP2010043979A (ja) 2008-08-13 2010-02-25 Yuichi Kamata 分光画像計測装置
US8488863B2 (en) 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
WO2010124372A1 (en) 2009-04-29 2010-11-04 Genomedx Biosciences, Inc. Systems and methods for expression-based classification of thyroid tissue
US8330832B2 (en) 2009-06-23 2012-12-11 Research In Motion Limited Adjustment of sharpness during digital zoom in digital photography
CN101627902B (zh) 2009-07-15 2011-12-28 深圳先进技术研究院 基于环境光的低功耗、高精度光电容积描记信号前端处理模块
CN104123536B (zh) 2009-08-20 2018-09-21 皇家飞利浦电子股份有限公司 用于图像分析的系统和方法
EP2486539B1 (en) 2009-10-06 2016-09-07 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
CN102883658B (zh) 2009-11-19 2016-06-22 调节成像公司 用于使用结构化照明经由单元件检测来分析浑浊介质的方法和设备
US9823127B2 (en) 2010-01-22 2017-11-21 Duke University Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer
US8692912B2 (en) 2010-01-25 2014-04-08 Pixelteq, Inc. Multi-spectral camera
US8488024B2 (en) 2010-02-10 2013-07-16 Panasonic Corporation Image capture device
US8294570B2 (en) 2010-02-24 2012-10-23 Clawson Jeffrey J Burn diagnostic and intervention tool for emergency dispatch
WO2011140536A1 (en) 2010-05-07 2011-11-10 Purdue Research Foundation Quantitative image analysis for wound healing assay
US20120078088A1 (en) 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
BR112013018023B1 (pt) 2011-01-19 2021-09-08 The Regents Of The University Of California Aparelho e sistema para monitorar e método para realizar monitoramento em tempo real de oxigenação por perfusão de região de tecido alvo de paciente
US8761853B2 (en) 2011-01-20 2014-06-24 Nitto Denko Corporation Devices and methods for non-invasive optical physiological measurements
US8994819B2 (en) 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
US8694067B2 (en) 2011-02-15 2014-04-08 General Electric Company Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject
KR101983402B1 (ko) 2011-03-07 2019-05-28 웨이크 포리스트 유니버시티 헬스 사이언시즈 전달 시스템
US9372118B1 (en) 2011-03-07 2016-06-21 Fluxdata, Inc. Apparatus and method for multispectral based detection
JP5704984B2 (ja) 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
US20120288230A1 (en) 2011-05-13 2012-11-15 Kestrel Labs, Inc. Non-Reflective Optical Connections in Laser-Based Photoplethysmography
WO2012170963A1 (en) 2011-06-08 2012-12-13 Digital Light Innovations System and method for hyperspectral imaging
DE112012002619T5 (de) 2011-06-24 2014-04-17 Kla-Tencor Corp. Verfahren und Vorrichtung zur Inspektion von lichtemittierenden Halbleiterelementen mittels Photolumineszenz-Abbildung
KR101134770B1 (ko) 2011-07-22 2012-04-13 양완석 휴대용 인체외시경 영상장치
US8942459B2 (en) 2011-09-12 2015-01-27 Perkinelmer Cellular Technologies Germany Gmbh Methods and apparatus for fast identification of relevant features for classification or regression
US9295402B1 (en) 2012-01-17 2016-03-29 University Of Washington Through Its Center For Commercialization Methods and systems for assessing a burn injury
WO2013110021A1 (en) 2012-01-20 2013-07-25 Harvard Bioscience, Inc. Method for evaluating tissue injuries
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CA2909914C (en) 2012-04-27 2018-05-01 Aimago S.A. Optical coherent imaging medical device
US9031306B2 (en) 2012-05-02 2015-05-12 The Regents Of The University Of California Diagnostic and prognostic histopathology system using morphometric indices
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
US9766382B2 (en) 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
US9036877B2 (en) 2012-06-20 2015-05-19 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US9547178B2 (en) 2012-08-15 2017-01-17 Semrock. Inc. Dichroic image splitter
PT2895209T (pt) 2012-09-13 2019-10-28 Polyheal Ltd Composições de cicatrização de feridas melhoradas compreendendo microsferas
KR102251749B1 (ko) 2012-11-07 2021-05-13 모듈레이티드 이미징, 아이엔씨. 효율적인 변조 이미지 진단
EP2943761B1 (en) 2013-01-10 2023-11-29 Akoya Biosciences, Inc. Multispectral imaging system and methods
US20140213910A1 (en) 2013-01-25 2014-07-31 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination
CA2896197C (en) 2013-01-31 2019-10-15 Karl Garsha Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
US11653874B2 (en) * 2013-02-01 2023-05-23 Acceleritas Corporation Method and system for characterizing tissue in three dimensions using multimode optical measurements
CN105143448A (zh) 2013-02-01 2015-12-09 丹尼尔·法卡斯 用于使用多模式光学测量三维地表征组织的方法和系统
GB201302451D0 (en) 2013-02-12 2013-03-27 Isis Innovation Method and system for signal analysis
WO2014136040A1 (en) * 2013-03-06 2014-09-12 Marika Pty Ltd Assessing optical density gradients and variations
WO2014143235A1 (en) 2013-03-14 2014-09-18 Integrated Plasmonics Corporation Ambient light assisted spectroscopy
KR102383056B1 (ko) 2013-08-14 2022-04-05 페드라 테크놀로지 피티이 엘티디 혈관재생 평가를 위한 시스템 및 방법
CN103815875B (zh) 2013-10-28 2015-06-03 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统
US10258242B2 (en) 2014-01-06 2019-04-16 The Florida International University Board Of Trustees Near-infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
US20150208923A1 (en) 2014-01-28 2015-07-30 The Texas A&M University System Non-Invasive Monitoring of Tissue Mechanical Properties
WO2015116823A1 (en) 2014-01-29 2015-08-06 The Johns Hopkins University System and method for wound imaging and debridement
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
EP3120122B1 (en) 2014-03-21 2019-11-13 HyperMed Imaging, Inc. Compact light sensor
ES2963730T3 (es) 2014-05-01 2024-04-01 Rebellion Photonics Inc Sistema de formación de imágenes espectrales infrarrojas de apertura dividida de banda dual (DAISI) para detección química
DE102014106974A1 (de) 2014-05-16 2015-11-19 Cubert GmbH Räumlich und spektral auflösende Hyperspektralkamera und Verfahren
WO2015187489A1 (en) 2014-06-04 2015-12-10 University Of Massachusetts Medical School Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation
US10117617B2 (en) 2014-10-08 2018-11-06 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US20220142484A1 (en) 2014-10-29 2022-05-12 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US11206388B2 (en) 2014-12-01 2021-12-21 Sony Corporation Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
JP6654634B2 (ja) 2014-12-03 2020-02-26 ベンタナ メディカル システムズ， インコーポレイテッド 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
US9990472B2 (en) 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images
US11037070B2 (en) 2015-04-29 2021-06-15 Siemens Healthcare Gmbh Diagnostic test planning using machine learning techniques
CA2987404A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
WO2016203470A1 (en) 2015-06-15 2016-12-22 Agrowing Ltd Multispectral imaging apparatus
WO2017026296A1 (ja) 2015-08-10 2017-02-16 株式会社リコー 試料測定装置
WO2017027839A1 (en) 2015-08-13 2017-02-16 Somagenics, Inc. Methods and compositions of short small hairpin rnas and micrornas for wound healing
US10921186B2 (en) 2015-09-22 2021-02-16 Hypermed Imaging, Inc. Methods and apparatus for imaging discrete wavelength bands using a mobile device
NL2015804B1 (en) 2015-11-17 2017-06-02 Quest Photonic Devices B V Hyperspectral 2D imaging device.
US10572997B2 (en) 2015-12-18 2020-02-25 Given Imaging Ltd. System and method for detecting anomalies in an image captured in-vivo using color histogram association
WO2017181200A1 (en) 2016-04-15 2017-10-19 The Regents Of The University Of California Assessment of wound status and tissue viability via analysis of spatially resolved thz reflectometry maps
US10013811B2 (en) 2016-06-13 2018-07-03 Umm-Al-Qura University Hyperspectral image visualization in patients with medical conditions
JP2019520574A (ja) 2016-06-21 2019-07-18 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ハイパースペクトルイメージング方法および装置
US10223788B2 (en) 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US10248713B2 (en) 2016-11-30 2019-04-02 Business Objects Software Ltd. Time series analysis using a clustering based symbolic representation
BR112019013184A2 (pt) 2016-12-27 2019-12-10 Urugus S A aparelho de imageamento de múltiplos espectros, aparelho de imageamento e método de operar um sistema de imageamento hiperespectral
US10145740B2 (en) 2017-02-27 2018-12-04 Visera Technologies Company Limited Sensing multiple peak wavelengths using combination of dual-band filters
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US11003933B2 (en) 2017-08-15 2021-05-11 Noblis, Inc. Multispectral anomaly detection
EP3697300A4 (en) 2017-10-17 2020-10-14 Kronikare Pte Ltd SYSTEM AND METHOD FOR FACILITATING ANALYSIS OF A WOUND IN A TARGET SUBJECT
US10371627B2 (en) 2017-11-16 2019-08-06 MultiSensor Scientific, Inc. Systems and methods for multispectral imaging and gas detection using a scanning illuminator and optical sensor
US20190290117A1 (en) 2018-03-22 2019-09-26 Kabushiki Kaisha Topcon Interferometric fundus imaging method
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
WO2020123722A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
WO2021173763A1 (en) 2020-02-28 2021-09-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
WO2022015597A1 (en) 2020-07-13 2022-01-20 Spectral Md, Inc. Spectral imaging systems and methods for histological assessment of wounds
JP2024514493A (ja) 2021-03-30 2024-04-02 スペクトラル エムディー，インコーポレイテッド 多重化照明を利用したスナップショット型高精度マルチスペクトルイメージングシステムおよびその方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521237A (ja) * 2008-05-20 2011-07-21 ユニバーシティー ヘルス ネットワーク 螢光に基づく画像化およびモニタリング用装置ならびにその方法
US20150119721A1 (en) * 2013-10-30 2015-04-30 Worcester Polytechnic Institute System and method for assessing wound
JP2017524935A (ja) * 2014-07-24 2017-08-31 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析
JP2018502677A (ja) * 2014-10-29 2018-02-01 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織分類用の反射モードマルチスペクトル−時間分解型光学イメージング方法および装置
JP2018534965A (ja) * 2015-09-23 2018-11-29 ノバダック テクノロジーズ ユーエルシー 組織の治癒を評価するための方法およびシステム
WO2017074505A1 (en) * 2015-10-28 2017-05-04 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
WO2017202535A1 (en) * 2016-05-23 2017-11-30 Bluedrop Medical Ltd A skin inspection device for identifying abnormalities
WO2018018160A1 (en) * 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
WO2018160963A1 (en) * 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis

Also Published As

Publication number Publication date
EP3893733A1 (en) 2021-10-20
US11948300B2 (en) 2024-04-02
WO2020123724A4 (en) 2020-08-06
CN113260303A (zh) 2021-08-13
WO2020123724A1 (en) 2020-06-18
KR20210101285A (ko) 2021-08-18
EP3893733A4 (en) 2022-10-12
US20230222654A1 (en) 2023-07-13
JP2023085517A (ja) 2023-06-20
BR112021011132A2 (pt) 2021-08-31
JP7261883B2 (ja) 2023-04-20

Similar Documents

Publication Publication Date Title
JP7261883B2 (ja) 創傷の評価、治癒予測および治療のための機械学習システム
US11599998B2 (en) Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US20230181042A1 (en) Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
JP2022513847A (ja) 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US11182888B2 (en) System and method for high precision multi-aperture spectral imaging
US20230148951A1 (en) Spectral imaging systems and methods for histological assessment of wounds
US20090318815A1 (en) Systems and methods for hyperspectral medical imaging
WO2009154765A1 (en) Systems and methods for hyperspectral imaging
US11686618B2 (en) Hyperspectral imaging method and device
Liu et al. Comprehensive assessment of fine-grained wound images using a patch-based CNN with context-preserving attention
WO2023141216A2 (en) System and method for topological characterization of tissue

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7261883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150