JP2019023646A - 単一センサのハイパースペクトル撮像デバイス - Google Patents

単一センサのハイパースペクトル撮像デバイス Download PDF

Info

Publication number
JP2019023646A
JP2019023646A JP2018171634A JP2018171634A JP2019023646A JP 2019023646 A JP2019023646 A JP 2019023646A JP 2018171634 A JP2018171634 A JP 2018171634A JP 2018171634 A JP2018171634 A JP 2018171634A JP 2019023646 A JP2019023646 A JP 2019023646A
Authority
JP
Japan
Prior art keywords
filter
photosensor
image
subset
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018171634A
Other languages
English (en)
Other versions
JP6672406B2 (ja
Inventor
ダーティー,マーク,アンソニー
Anthony Darty Mark
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hypermed Imaging Inc
Original Assignee
Hypermed Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hypermed Imaging Inc filed Critical Hypermed Imaging Inc
Publication of JP2019023646A publication Critical patent/JP2019023646A/ja
Application granted granted Critical
Publication of JP6672406B2 publication Critical patent/JP6672406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889Rooms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Abstract

【課題】それぞれの出力を提供する複数の光センサを含む光センサアレイを備えるハイパースペクトル撮像デバイスを提供する。【解決手段】複数のフィルタ素子を有するスペクトルフィルタアレイ、光センサ出力の複数のサブセットを選択するインターフェースモジュール、複数の画像を生成することによって、光センサ出力のサブセットからハイパースペクトルデータキューブを生成する制御モジュールを備える。各フィルタ素子が光センサのそれぞれの1つ以上によって受光された光をフィルタリングするように配列される。各フィルタ素子は、複数のフィルタ型のうちの1つである。各フィルタ型は、固有のスペクトル通過帯域を特徴とする。各サブセットは、単一のそれぞれのフィルタ型と関連付けられる。各画像は、複数の光センサ出力のうちの単一の対応する光センサ出力のサブセットから生成され、複数のフィルタ型のうちの対応するフィルタ型と関連付けられる。【選択図】図4

Description

関連出願
本出願は、2012年10月19日に出願された米国仮特許出願第61/716,401号、および2013年3月15日に出願された米国特許出願第13/844,737号の利益を主張し、これらの各々は、その全体が参照により本明細書に組み込まれる。
本開示は、ハイパースペクトル分光法に関し、具体的には、単一センサのハイパースペクトル撮像デバイスを可能にするシステム、方法、およびデバイスに関する。
ハイパースペクトル(別名「マルチスペクトル」)分光法は、異なるスペクトル帯(例えば、波長の範囲)で解像された対象物の複数の画像を、3次元ハイパースペクトルデータキューブと呼ばれる単一データ構造に統合する撮像技術である。ハイパースペクトル分光法は、特定のハイパースペクトルデータキューブ内の個々の成分の対応するスペクトルシグネチャを認識することによって複合組成の個々の成分を識別するために使用されることが多い。
ハイパースペクトル分光法は、地質学および農業測量から軍事偵察および工業的評価に及ぶ様々な用途に使用されている。ハイパースペクトル分光法は、複雑な診断を容易にし、かつ治療結果を予測する医療用途にも使用されている。例えば、医用ハイパースペクトル撮像は、適切なかん流を失った組織の生存性および生存を正確に予測し、かつ羅患し(例えば、腫瘍)、虚血した組織と正常な組織を区別するために使用されている。
しかしながら、ハイパースペクトル撮像の潜在的な臨床的価値にもかかわらず、いくつかの欠点が医療診断のためのハイパースペクトル撮像の使用を制限している。具体的には、現在の医用ハイパースペクトル器具は、十分なハイパースペクトルデータキューブを生成するために、複数のスペクトル帯で画像を捕捉および処理するために現在使用される複雑な光学および計算要件のため、費用がかかる。従来の利用可能なハイパースペクトル撮像器具はまた、医療用に十分なハイパースペクトルデータキューブを生成するためにデータを集め、処理し、かつ分析するのに必要である複雑な光学および負担のかかる計算要件により、不十分な時間分解能および空間分解能ならびに低い光学的スループットに悩まされることが多い。
添付の特許請求の範囲内のシステム、方法、およびデバイスの様々な実装形態は各々、いくつかの態様を有し、これらはどれも、本明細書に記載される望ましい属性に対してのみに責任を負わない。添付の特許請求の範囲を限定することなく、いくつかの顕著な特徴が本明細書に記載される。この論述を考慮した後、具体的に、「発明を実施するための形態」と題した項を読んだ後、様々な実装形態の特徴がいくつかの用途で、具体的には、医療用で使用するのに好適な単一光センサチップ(例えば、CDD、CMOSなど)を用いて、3次元ハイパースペクトルデータキューブを生成することができるハイパースペクトル撮像デバイスを可能にするためにいかに使用されるかを理解するであろう。
本開示の一態様は、複数の光センサを含む光センサアレイを備えるハイパースペクトル撮像デバイスを提供する。各光センサは、それぞれの出力を提供する。デバイスは、複数のフィルタ素子を有するスペクトルフィルタアレイをさらに備える。各フィルタ素子は、光センサのうちのそれぞれの1つ以上によって受光された光をフィルタリングするように配列される。各フィルタ素子は、複数のフィルタ型のうちの1つである。各フィルタ型は、固有のスペクトル通過帯域を特徴とする。デバイスは、光センサ出力の複数のサブセットを選択するインターフェースモジュールをさらに備える。各このようなサブセットは、単一のそれぞれのフィルタ型と関連付けられる。デバイスは、複数の画像を生成することによって、光センサ出力のサブセットからハイパースペクトルデータキューブを生成する制御モジュールを備える。各このような画像は、複数の光センサ出力のうちの単一の対応する光センサ出力のサブセットから生成され、そうして複数のフィルタ型のうちの対応するフィルタ型と関連付けられる。
いくつかの実施形態では、コントローラは、光への光センサアレイとスペクトルフィルタアレイとの組み合わせの露光を制御することによって、単一フレーム画像データを捕捉するようにさらに構成される。このような実施形態では、ハイパースペクトルデータキューブは、単一フレーム画像データから生成される。いくつかのこのような実施形態では、複数の画像のうちの各それぞれの画像は、それぞれの画像に対応するフィルタ型のために、補間処理を対応する光センサ出力のサブセットに適用することによって生成される。
いくつかの実施形態では、複数のフィルタ素子は、同じフィルタ型の第1のフィルタ素子および第2のフィルタ素子を含み、第1のフィルタ素子と第2のフィルタ素子との間の中心間距離は、250ミクロン未満、200ミクロン未満、150ミクロン未満、100ミクロン未満、または50ミクロン未満である。
いくつかの実施形態では、複数のフィルタ型のうちの第1のフィルタ型のフィルタ素子は、スペクトルフィルタアレイにわたって空間的に分布する。例えば、いくつかの実施形態では、第1のフィルタ型のフィルタ素子の空間的分布は、スペクトルフィルタアレイにわたる均等分布である。
いくつかの実施形態では、複数のフィルタ素子のうちのフィルタ素子の空間的分布は、1つ以上のフィルタ型の繰り返しパターンを特徴とする。
いくつかの実施形態では、複数のフィルタ型は、少なくとも3つのフィルタ型、少なくとも4つのフィルタ型、少なくとも5つのフィルタ型、少なくとも6つのフィルタ型、少なくとも7つのフィルタ型、少なくとも8つのフィルタ型、少なくとも9つのフィルタ型、少なくとも10個のフィルタ型、少なくとも15個のフィルタ型、少なくとも20個のフィルタ型、少なくとも25個のフィルタ型、または少なくとも30個のフィルタ型を含む。
いくつかの実施形態では、インターフェースモジュールは、光センサ出力の1つ以上のサブセットを選択するように構成された回路を備える。いくつかの実施形態では、インターフェースモジュールは、光センサアレイの出力を受け取るように構成された複数のレジスタを備え、制御モジュールは、ルックアップテーブルを用いて、複数のレジスタのうちのどのレジスタが複数のフィルタ型のうちの特定のフィルタ型のフィルタ素子に対応するかを識別するようにさらに構成される。制御モジュールは、特定のフィルタ型のフィルタ素子に対応するレジスタの識別に基づいて、複数のレジスタから光センサ出力の1つ以上のサブセットを選択する。いくつかのこのような実施形態では、制御モジュールはまた、特定のフィルタ型の光センサ出力をデータパケットにまとめるように動作可能であり、データパケットは、特定のフィルタ型のデータを含むレジスタのレジスタ値を少なくとも含む。いくつかのこのような実施形態では、ハイパースペクトル撮像デバイスは、データパケットをサーバに送信し、かつ送信されたデータパケットに基づいてサーバから各フィルタ型の画像を受信する送受信器をさらに備える。
いくつかの実施形態では、ハイパースペクトル撮像デバイスは、ハンドヘルド型である。
本開示の別の態様は、複数の光センサを含む光センサアレイから、複数の光センサのうちの光センサの第1のサブセットから光センサ出力の第1のサブセットが選択される、ハイパースペクトル撮像キューブを形成するための方法を提供する。光センサの第1のサブセットのうちの各光センサは、複数のフィルタ型のうちの第1のフィルタ型の複数のフィルタのうちのフィルタによってフィルタリングされる。複数のフィルタ型のうちの各このようなフィルタ型は、その他のフィルタ型とは異なるスペクトル通過帯域を特徴とする。光センサ出力の第1のサブセットを用いて、第1の画像が形成される。
複数の光センサのうちの光センサの第2のサブセットから光センサ出力の第2のサブセットも選択される。光センサの第2のサブセットのうちの各光センサは、複数のフィルタ型のうちの第2のフィルタ型のフィルタによってフィルタリングされる。光センサ出力の第2のサブセットを用いて、第2の画像が形成される。
複数の光センサのうちの光センサの第3のサブセットから光センサ出力の第3のサブセットも選択される。光センサの第3のサブセットのうちの各光センサは、複数のフィルタ型のうちの第3のフィルタ型のフィルタによってフィルタリングされる。光センサ出力の第3のサブセットを用いて、第3の画像が形成される。
ハイパースペクトル撮像キューブは、第1の画像、第2の画像、および第3の画像を用いて形成される。第1の画像、第2の画像、および第3の画像は各々、対象物の同じ領域を表し、第1の画像、第2の画像、および第3の画像は各々、異なる波長または波長範囲を特徴とする。
いくつかの実施形態では、光センサアレイは、光センサ出力の第1のサブセット、光センサ出力の第2のサブセット、および光センサ出力の第3のサブセットを同時に生成するために単一の共通の露光に供される。
いくつかの実施形態では、光センサの第1のサブセットは、フィルタの第1の素子によって覆われた光センサ、および第2のフィルタ素子によって覆われた第2の光センサを含み、第1のフィルタ素子と第2のフィルタ素子との間の中心間距離は、250ミクロン未満、200ミクロン未満、150ミクロン未満、100ミクロン未満、または50ミクロン未満であり、第1のフィルタ素子および第2のフィルタ素子はともに、同じフィルタ型である。
いくつかの実施形態では、光センサの第1のサブセットは、例えば、光センサアレイにわたる均等分布として、スペクトルフィルタアレイにわたって空間的に分布する。
いくつかの実施形態では、同じフィルタ型の複数のフィルタのうちのフィルタの空間的分布は、光センサアレイにわたる均等分布である。
いくつかの実施形態では、複数のフィルタのうちのフィルタの空間的分布は、フィルタ型に基づいてパターン化された繰り返しを特徴とする。
いくつかの実施形態では、本方法によって生成されたハイパースペクトル撮像キューブは、4つ以上の画像、5つ以上の画像、6つ以上の画像、7つ以上の画像、8つ以上の画像、9つ以上の画像、10個以上の画像、15個以上の画像、20個もしくは画像、25個以上の画像、または30個以上の画像を含み、各それぞれの画像は、異なる波長または波長範囲で対象物の同じ領域を表す。
本開示がより詳細に理解され得るように、様々な実装形態の態様を参照することによってより具体的な説明があり得、これらのうちのいくつかは、添付図面に図解される。しかしながら、添付図面は、単に本開示のより関連のある態様を図解し、したがって本説明が他の有効な態様および構成を認め得るように、限定的と見なされるべきではない。
本開示の一実施形態に従う、単一センサのハイパースペクトル撮像デバイスを含む分散診断環境の一例である。 本開示の一実施形態に従う、局所診断環境の概略図である。 本開示の一実施形態に従う、単一センサのハイパースペクトル撮像デバイスの例示的な実装形態の詳細図である。 本開示の一実施形態に従う、画像センサアセンブリの一実装形態の分解概略図である。 本開示の一実施形態に従う、単一センサのハイパースペクトル撮像デバイスの一実装形態のブロック図である。 本開示の一実施形態に従う、ハイパースペクトルデータキューブの概略図である。 本開示の一実施形態に従う、単一センサのハイパースペクトル撮像デバイスと関連付けられた方法一実装形態のフローチャート図である。
一般的な方法に従い、図面に図解される様々な特徴は、一定の比率の縮尺で描かれ得ない。様々な特徴の寸法は、明瞭さのために、任意に拡大されるかまたは縮小され得る。加えて、図面のうちのいくつかは、所定のシステム、方法、またはデバイスの構成要素のすべてを示すことができない。最後に、同様の参照番号は、本明細書および図にわたって同様の特徴を示すために使用され得る。
添付図面に図解される例示的な実装形態の徹底的な理解を提供するために多数の詳細が本明細書に記載される。しかしながら、本発明は、特定の詳細の多くがなく実践され得る。周知の方法、構成要素、および回路は、本明細書に記載される実装形態のより関連のある態様を必ずしも分かりにくくしないように徹底的な詳細で記載されていない。
図1は、いくつかの実装形態による単一センサのハイパースペクトル撮像デバイス132/142を含む分散診断環境10の一例である。
いくつかの実装形態では、分散診断環境10は、1つ以上の臨床環境130と、1つ以上の自己/家庭診断環境140と、1つ以上の処理センタ150と、通信ネットワーク104とを含み、これは、インターネットサービスプロバイダ120および/または携帯電話会社122とともに、付随の携帯電話の基地局122aにより、1つ以上の環境130/140と1つ以上の処理センタ150との間の通信を可能にする。
図1に示される自己/家庭診断環境140を参照すると、本開示の利点は、ハイパースペクトル撮像器が小さく携帯用であり、開示される環境140の実現を可能にすることである。自己/家庭診断環境140は、撮像デバイス142と、通信デバイス143とを含む。通信デバイス143は、通信ネットワーク140を介して処理センタ150と通信する。
いくつかの実装形態では、撮像デバイス142は、対象物(例えば、被験者141の身体の部位)を照射し、対象物の撮像データを生成する。いくつかの実装形態では、撮像デバイス142は、1つ以上の光源(図示せず)を用いて対象物を照射する。いくつかの実装形態では、対象物を照射した後、またはそれと同時に、撮像デバイス142は、処理されたハイパースペクトル画像を形成するために、対象物に対応する撮像データ(例えば、ハイパースペクトル画像データセット)を生成し、それを処理センタ150に送信する。他の実装形態では、撮像デバイス142は、ハイパースペクトル画像データセットを用いて処理されたハイパースペクトル画像を形成し、処理されたハイパースペクトル画像を処理センタ150に送信する。
図1に示される臨床環境130は、自己/家庭診断環境140と類似である。例外は、臨床環境130が何人かの患者131を試験するように設計されることである。この需要に応えるために、いくつかの実施形態では、臨床環境130は、処理センタ150に依存せずにハイパースペクトル画像を処理するための処理デバイス134を含む。したがって、いくつかの実施形態では、臨床環境130は、処理デバイス134と、通信デバイス133と、撮像デバイス132とを含む。通信デバイス133は、通信ネットワーク140を介して処理センタ150と通信する。
いくつかの実装形態では、撮像デバイス132は、対象物(例えば、患者131の身体の部位)を照射し、対象物の撮像データを生成する。いくつかの実装形態では、撮像デバイス132は、1つ以上の光源(図示せず)を用いて対象物を照射する。いくつかの実装形態では、対象物を照射した後、またはそれと同時に、撮像デバイス132は、処理されたハイパースペクトル画像を形成するために、対象物に対応する撮像データ(例えば、ハイパースペクトル画像データセット)を生成し、それを処理センタ150に送信する。他の実装形態では、撮像デバイス132は、ハイパースペクトル画像データセットを処理デバイス134に送信し、そこで処理されたハイパースペクトル画像は、ハイパースペクトル画像データを用いて形成される。いくつかの実施形態では、処理デバイス134は、デスクトップコンピュータ、ラップトップコンピュータ、および/またはタブレットコンピュータである。さらに他の実装形態では、撮像デバイス132は、ハイパースペクトル画像データセットを用いて処理されたハイパースペクトル画像を形成し、通信デバイス133を介して、処理されたハイパースペクトル画像を処理センタ150に送信する。
いくつかの実装形態では、ハイパースペクトル撮像データセットを送信するより前に、撮像デバイス132は、ハイパースペクトル撮像データ内のそれぞれのデジタル画像(例えば、波長範囲番号Nにおける画像1337−1−N)のうちの少なくとも1つの輝度を調整することと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つのコントラストを調整することと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つからアーティファクトを除去することと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つを切り取ることと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つの1つ以上のサブピクセルを処理することと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つのサイズを圧縮することと、ハイパースペクトル撮像データ内の複数のデジタル画像をハイパースペクトルデータキューブに集めることと、ハイパースペクトルデータキューブを変換することと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つの中に含まれるデータをフォーマットすることと、ハイパースペクトル撮像データ内のそれぞれのデジタル画像のうちの少なくとも1つの中に含まれるデータを暗号化することとのうちの少なくとも1つを実施することによって撮像データを変換する。
図1に示される処理センタ150は、自己/家庭診断環境および/または臨床環境130から画像を受信し、後続の検索のためにデータベース152を用いてそれらを記憶する前に、処理サーバ151を用いてそれらを処理する。
図2は、いくつかの実装形態による局所診断環境200の概略図である。局所診断環境200は、局所診断環境がハイパースペクトル画像の記憶および/または処理のために処理センタ150を利用する要件がないという意味において分散診断環境とは異なる。局所診断環境200は、撮像デバイス232と、通信モジュール234とを含む。通信モジュール234は、例えば、ハイパースペクトル撮像データを遠隔地に任意に通信し、および/またはソフトウェアの更新または診断情報を受信するために使用される。
いくつかの実装形態では、撮像デバイス232は、対象物(例えば、被験者280の身体の部位280a)を照射し、対象物の撮像データを生成する。いくつかの実装形態では、撮像デバイス232は、1つ以上の光源(231)を用いて対象物を照射する。このような光源は、センサモジュール100によって受光される反射光21を形成するために部位280aによって反射される光11を放出する。センサモジュール100は、光センサおよびフィルタアレイ101/201を含む。
いくつかの実施形態では、光センサおよびフィルタアレイ101/201の出力は、インターフェースモジュール220のレジスタ221に送信され、1つ以上のレジスタのルックアップテーブル222および選択回路223によって処理される。例えば、いくつかの実施形態では、ルックアップテーブル222は、以下の様式で使用される。このような実施形態では、図解のために、レジスタ221は、複数のレジスタである。ハイパースペクトル撮像デバイス232は、レジスタ221を使用して、光センサアレイ101の出力を受け取り、制御モジュール223は、複数のレジスタのうちのどのレジスタ221がルックアップテーブルを用いて、複数のフィルタ型のうちの特定のフィルタ型のフィルタ素子に対応するかを識別する。制御モジュール223は、特定のフィルタ型のフィルタ素子に対応するレジスタの識別に基づいて、複数のレジスタから光センサ出力の1つ以上のサブセットを選択する。独立した光センサのサブセットは次に、独立した画像を形成するために使用され、各画像がフィルタ型に対応する。
光源231、センサモジュール100、およびインターフェースモジュール220の動作は、制御モジュール233の制御下である。いくつかの実施形態では、図2に図解されるように、制御モジュール233は同様に、被験者280からハイパースペクトル撮像データの取得を容易にするために通信モジュール234と対話する。
様々な実施形態では、紫外スペクトル(約10nm〜約400nmの波長)、可視スペクトル(約400nm〜約760nmの波長)、および/または近赤外スペクトル(約760nm〜約2000nmの波長)で放射線を放出する光源が、本明細書に提供されるハイパースペクトル/マルチスペクトル撮像システムおよび方法に使用される。
いくつかの実装形態では、光源231は、1つ以上の広帯域光源、1つ以上の狭帯域光源、または1つ以上の広帯域光源と1つ以上の狭帯域光源との組み合わせを含む。いくつかの実装形態では、光源231は、1つ以上のコヒーレント光源、1つ以上のインコヒーレント光源、または1つ以上のコヒーレント光源と1つ以上のインコヒーレント光源との組み合わせを含む。
いくつかの実装形態では、光源231は、1つ以上の狭帯域幅のLED光を含む。一実装形態では、1つ以上の狭帯域LED光は、FWHMスペクトル帯域幅、または約100nm未満、好ましくは約50nm未満、より好ましくは25nm未満を有する。一実装形態では、光源231は、赤外、好ましくは近赤外スペクトルで放射線を放出する1つ以上のLED光源を含む。近赤外LED照射に使用されるものは、閉回路の防犯カメラによく見られる。発光ダイオードに関する追加の情報については、内容の全体がすべての目的のために参照により本明細書に組み込まれる、Schubert E.F.のLight Emitting Diodes,Second Edition,Cambridge University Press(2006)を参照されたい。
図3は、本開示に従う、単一センサのハイパースペクトル撮像デバイス132/142/232の例示的な実装形態の詳細図である。一般的に、タイミング発生器および制御論理323は、フレーム露光モードタイミング、フレームレート調整、およびフレームレートタイミングを制御する。いくつかの実施形態では、タイミング発生器および制御論理323は、タイミング信号のためのフェーズドロックループ325(PLL)に依存する。これらの前述の構成要素は、光センサおよびフィルタアレイ101/102からの画像の取得を制御するために制御モジュール333およびルックアップテーブル322とともに動作する。この目的のために、列選択350aおよび行選択350b回路を用いてデータを選択する選択制御回路348がある。このデータは、レジスタ352内に記憶および処理される。このデータは、ユーザインターフェース502、取得されたセンサデータストア531、データキューブデータストア1335、および通信インターフェースモジュール1338とともに動作したデータ処理モジュール1334へ、制御モジュール333の指示下で渡される。これらのモジュール、インターフェース、およびデータストアは、図5と併せてより詳細に後述される。
図4は、単一センサのハイパースペクトル撮像デバイス132/142/232のための画像センサアセンブリの一実装形態の分解概略図である。画像センサアセンブリ100は、フィルタアレイ201とともに光センサアレイ101を含む。いくつかの例示的な特徴が図4に図解されるが、当業者であれば、様々な他の特徴が簡潔さのために、かつ本明細書に開示される例示的な実装形態のより関連のある態様を分かりにくくしないために、図解されていないことを本開示から理解するであろう。例えば、光センサアレイ101の出力を受け取る様々な電気的接続およびアクセス制御回路は図解されていない。それでも、当業者であれば、光センサアレイ101の出力を受け取る電気的接続およびアクセス制御回路の様々な構成のうちの少なくとも1つが動作可能な単一センサハイパースペクトル撮像デバイス内に含まれることを理解するであろう。さらに、ハイパースペクトルデータキューブへの光センサアレイ101の出力を選択し、集め、処理し、および分析するようにともに構成されるインターフェースモジュールおよびコントローラが図3に関して上述される。
さらに図4に関して、いくつかの実装形態では、光センサアレイ101は、複数の光センサを含む。例えば、詳細図110は、単に非限定的な例として、光センサアレイ101内に含まれたいくつかの光センサ111を概略的に示す。各光センサ111は、光センサへの入射光を変換することによってそれぞれの電気出力を生成する。
いくつかの実装形態では、光センサアレイ101は、CCD(電荷結合素子)半導体センサアレイを含む。CCDセンサは典型的に、アナログ素子である。光がCCDセンサアレイに当たると、光は、各光センサによって電荷に変換され、電荷として記憶される。この電荷は、CCDセンサアレイから読み出されると、光センサごとに電圧に変換される。頻繁だが独占的ではなく、1つの光センサは、それぞれの単一ピクセルと同義である。しかしながら、様々な実装形態では、単一ピクセルは、2つ以上のピクセルを含むように構成される。
いくつかの実装形態では、光センサアレイ101は、CMOS(相補型金属酸化膜)半導体センサアレイを含む。CMOS光センサは、光検出器および能動的な増幅器を含む能動的な光センサである。換言すれば、CMOSセンサアレイ内の各光センサは、それぞれの光検出器および対応する能動的な増幅器を含む。
いくつかの実装形態では、光センサアレイ101は、ハイブリッドCCD/CMOSセンサアレイを含む。いくつかの実装形態では、ハイブリッドCCD/CMOSセンサアレイは、CCD撮像基板にバンプ接合されるCMOS読み出し集積回路(ROIC)を含む。いくつかの実装形態では、ハイブリッドCCD/CMOSセンサアレイは、CMOS技術での構造のようにCCDを実装するために最新のCMOS技術で利用可能な微細寸法を利用することによって生成される。これは、非常に小さい間隙によって個々のポリシリコンゲートを分離することによって達成され得る。
特定の光センサ111への入射光は、フィルタアレイ201内のそれぞれのフィルタによってフィルタリングされる。いくつかの実装形態では、フィルタアレイ201は、複数のフィルタ素子を含むように構成される。各フィルタ素子は、光センサアレイ101内の複数の光センサのうちのそれぞれ1つ以上によって受光された光をフィルタリングするように配列される。各フィルタ素子はまた、複数のフィルタ型のうちの1つであり、各フィルタ型は、その他のフィルタ型とは異なるスペクトル通過帯域を特徴とする。したがって、特定の光センサの電気出力は、特定の光センサ111を関連付けられたそれぞれのフィルタと関連付けられた特定のスペクトル通過帯域と関連付けられる。
例えば、詳細図210は、単に非限定的な例として、いくつかのフィルタ型A、B、C、D、E、F、G、H、およびIがフィルタアレイ201内に含まれることを概略的に示す。一実装形態では、フィルタ型A、B、C、D、E、F、G、H、およびIのうちの少なくとも2つが異なるスペクトル通過帯域を有する。例えば、図4に図解されるように、フィルタ型AおよびBのフィルタ素子211a−1および211a−2はそれぞれ、異なるスペクトル通過帯域を有する。いくつかの実装形態では、フィルタ型A、B、C、D、E、F、G、H、およびIのうちの少なくとも2つは、同じスペクトル通過帯域を有し、フィルタ型A、B、C、D、E、F、G、H、およびIのうちの少なくとも2つは、異なるスペクトル通過帯域を有する。
いくつかの実装形態では、各フィルタ型A、B、C、D、E、F、G、H、およびIは、その他のものとは異なるスペクトル通過帯域を有する。いくつかの実装形態では、フィルタ型A、B、C、D、E、F、G、H、およびIは、フィルタアレイ201にわたって繰り返される3×3のグリッドで配列される。例えば、図4に図解されるように、フィルタ型Aの3つのフィルタ素子211a−1、211b−1、211c−1は、同じタイプの2つフィルタ間の中心間距離d1がいくつかの実装形態において250ミクロン未満であるように、フィルタ型Aの例がフィルタアレイ201にわたって均等な分布で繰り返されることを示すように図解される。いくつかの実装形態では、同じタイプの2つフィルタ間の中心間距離d1は、100ミクロン未満である。
さらに、9つのフィルタ型が図4における例に図解されるが、当業者であれば、任意の数のフィルタ型が様々な実装形態に使用され得ることを本開示から理解するであろう。例えば、いくつかの実装形態では、3、5、16、または25個のフィルタ型が様々な実装形態で使用され得る。加えておよび/またはあるいは、フィルタ型の均等な分布が図解および記載されてきたが、当業者であれば、様々な実装形態では、1つ以上のフィルタ型が不均等分布でフィルタアレイにわたって分布し得ることを本開示から理解するであろう。加えておよび/またはあるいは、当業者であれば、「白色光」または透明なフィルタ素子がフィルタアレイ内のフィルタ型のうちの1つとして含まれ得ることも理解するであろう。
図4は、本開示のスペクトル画像の利点を図解する。レンズアセンブリからの光21の単回露光は、センサ101に影響を与えるフィルタリングされた光31を形成するようにフィルタアレイ201によってフィルタリングされ、この単回露光から、患者の同じ領域280の複数の画像1337が同時に作製される。図4は、複数の光センサ111を含む光センサアレイ101を備えるハイパースペクトル撮像デバイス132/142/232を図解する。各光センサ111は、それぞれの出力を提供する。ハイパースペクトル撮像デバイス132/142/232は、複数のフィルタ素子211を有するスペクトルフィルタアレイ201をさらに備える。各フィルタ素子211は、複数の光センサ111のうちのそれぞれ1つ以上によって受光された光21をフィルタリングするように配列される。各フィルタ素子211は、複数のフィルタ型のうちの1つである。例えば、図4では、各フィルタ素子211は、フィルタ型A、B、C、D、E、F、G、H、およびIのうちの1つであり、各それぞれのフィルタ型がその他のフィルタ型とは異なるスペクトル通過帯域を特徴とする。インターフェースモジュール541は、光センサ111出力の1つ以上のサブセットを選択する。光センサ111出力の各サブセットは、単一のそれぞれのフィルタ型と関連付けられる(それを通じて独占的に受光する)。例えば、1つのこのようなサブセットは、フィルタ型Aと関連付けられる(それから独占的に受光する)光センサ111であり、別のこのようなサブセットは、フィルタ型Bなどと関連付けられる光センサ111である、などである。制御モジュールは、複数のそれぞれの画像1337を生成することによって、光センサ出力の1つ以上のサブセットからハイパースペクトルデータキューブ1336を生成するように構成される。いくつかの実施形態では、複数の画像のうちの各それぞれの画像1337は、複数の画像のうちの各それぞれの画像1337が特定のフィルタ型と関連付けられるように、光センサ出力111の単一のそれぞれのサブセットから生成される。したがって、例えば、図4を参照すると、フィルタ型Aのフィルタ素子211からフィルタリングされた光を受光するすべての光センサ111は、第1の画像1337−1を形成するために使用され、フィルタ型Bのフィルタ素子211からフィルタリングされた光を受光するすべての光センサ111は、第2の画像1337−2を形成するために使用され、フィルタ型Cのフィルタ素子211からフィルタリングされた光を受光するすべての光センサ111は、第3の画像1337−3を形成するために使用され、かつ以下同様であり、それにより光センサ出力の1つ以上のサブセットからハイパースペクトルデータキューブ1336を作成する。ハイパースペクトルデータキューブ1336は、複数の画像を含み、各画像は、被験者の同じ領域であるが、異なる波長または波長範囲である。
図4に開示される概念は、複数回の露光がハイパースペクトルデータキューブ1336を形成するのに必要であるすべての画像1337を取得するために使用される必要がないため、高度に有利である。いくつかの実施形態では、単回露光は、各画像1337を同時に取得するために使用される。これは、センサ101の空間分解能が画像1337に必要な分解能を超えるため、可能となる。したがって、各画像1337を形成するためにセンサ101内のすべてのピクセルを使用するのではなく、ピクセルは、すべての画像が同時に取られるように、例えば、フィルタプレート201を用いて、図4に図解される様式で分けられ得る。
いくつかの実装形態では、フィルタアレイ201に使用されるフィルタ素子のスペクトル通過帯域は、対象物内(例えば、被験者の組織内)の特定のタイプのスペクトルシグネチャを識別するために使用される狭いスペクトル範囲のセットに対応する。一実装形態では、撮像デバイスは、第1の医学的状態(例えば、褥瘡)に関連したスペクトルシグネチャと健康な組織(例えば、潰瘍のない組織)を区別するのに十分なフィルタ素子の第1のセットを含むフィルタアレイ201を備える。一実装形態では、撮像デバイスのフィルタアレイ201は、第2の医学的状態(例えば、がん組織)に関連したスペクトルシグネチャと健康な組織(例えば、非がん組織)を区別するのに十分なフィルタ素子の第2のセットをさらに含む。いくつかの実装形態では、フィルタ素子の第1のセットおよびフィルタ素子の第2のセットは、特定のフィルタ素子が両タイプの医学的状態の調査のために使用されるように重なることができる。したがって、いくつかの実装形態では、撮像デバイスは、複数の撮像モダリティを有し、各個々の撮像モダリティは、異なる医学的状態の調査に関連する。
いくつかの実施形態では、複数の画像のうちの各それぞれの画像1337は、それぞれの画像に対応する1つのそれぞれのフィルタ型のために、補間処理を光センサ出力のそれぞれのサブセットに適用することによって生成される。このような補間処理は、当該技術分野において既知である。
光源のように、フィルタ素子211は、それらのスペクトル「帯域通過」、例えば、フィルタを通過することを許された成分波長の範囲に関して記載され得る。いくつかの実装形態では、フィルタ素子211の帯域通過は、フィルタ211が特性または中心波長と比較して少なくとも半分ほど透明である成分波長の範囲(FWHM)として定義される。例えば、少なくとも1つの成分波長に対して100%透明なフィルタ素子211のスペクトル帯域通過は、フィルタ素子が少なくとも50%透明である連続的な成分波長の範囲である。ある特定の実装形態では、フィルタ素子211の帯域通過は、成分波長(例えば、450〜480nm)に関して、または中心波長(例えば、465nmでの30nmまたは465nmでの±15nm)での帯域通過の幅として同等に表され得る。
フィルタ素子211の帯域通過フィルタはまた、その「特性波長」、例えば、フィルタが最も透明である波長、またはその「中心波長」、例えば、スペクトル帯域通過の中点での成分波長に関して記載され得る。ある特定の実装形態では、帯域通過フィルタは、その特性または中心波長およびそのスペクトル帯域幅を特徴とする。例えば、340±2nmの中心波長を有する帯域通過フィルタ、10±2のFWHM帯域幅、および50%のピーク透過(例えば、通過帯域内の最大透過百分率)は、330±4nm〜350±4nmの波長を有する各成分光の少なくとも25%が通過することを可能にする。
特定の実装形態では、フィルタ素子211は、帯域通過フィルタ、例えば、他の波長の通過を阻止しながら、ある特定の範囲内の波長を有する放射線のみが通過することを可能にするフィルタである。ある特定の実施形態では、フィルタ素子211のFWHMスペクトル帯域通過(例えば、フィルタを通じて透過された通過帯域の大きさ)は、約100nm以下、好ましくは約50nm以下、より好ましくは約25nm以下である。さらに他の実施形態では、フィルタ素子211のFWHMスペクトル帯域幅は、250nm、200nm、200nm、175nm、150nm、150nm、125nm、100nm、90nm、80nm、75nm、70nm、65nm、60nm、55nm、50nm、45nm、40nm、35nm、30nm、25nm、20nm、15nm、10nm、9nm、8nm、7nm、6nm、5nm、4nm、3nm、2nm、または1nm以下である。
ある特定の実装形態では、フィルタ素子211の帯域通過フィルタは、狭い通過フィルタである。特定の実装形態では、狭い通過フィルタは、25nm、24nm、23nm、22nm、21nm、20nm、19nm、18nm、17nm、16nm、15nm、14nm、13nm、12nm、11nm、10nm、9nm、8nm、7nm、6nm、5nm、4nm、3nm、2nm、または1nm以下のFWHMスペクトル帯域幅を有する。
いくつかの実装形態では、フィルタ素子211、例えば、図4に図解されるものは、少なくとも10nm、または少なくとも15nm、20nm、25nm、30nm、35nm、40nm、45nm、50nm、55nm、60nm、65nm、70nm、75nm、80nm、85nm、90nm、95nm、100nm以上によって分離される中心波長を有する複数の帯域通過照射フィルタである。
図5は、単一センサのハイパースペクトル撮像デバイス132/142/232(以下、簡潔さのために「撮像デバイス500」と呼ばれる)の一実装形態のブロック図である。いくつかの例示的な特徴が図5に図解されるが、当業者であれば、様々な他の特徴が簡潔さのために、かつ本明細書に開示される例示的な実装形態のより関連のある態様を分かりにくくしないために、図解されていないことを本開示から理解するであろう。この目的のために、撮像デバイス500は、1つ以上の中央処理装置(CPU)508と、任意の主要な不揮発性記憶ユニット540と、任意のコントローラ542と、不揮発性記憶ユニット540から任意にロードされるプログラムおよびデータを含むシステム制御プログラム、データ、およびアプリケーションプログラムを記憶するためのシステムメモリ514とを含む。いくつかの実装形態では、不揮発性記憶ユニット540は、ソフトウェアおよびデータを記憶するためにメモリカードを含む。記憶ユニット540は任意に、コントローラ542によって制御される。
いくつかの実装形態では、撮像デバイス500は任意に、1つ以上の入力デバイス506(例えば、タッチスクリーン、ボタン、もしくはスイッチ)および/または任意のディスプレイ504を含むユーザインターフェース502を含む。加えておよび/またはあるいは、いくつかの実装形態では、撮像デバイス500は、ハンドヘルド型デバイス、スマートフォン(もしくは同様のもの)、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、および/またはサーバシステムなどの外部デバイスによって制御され得る。この目的のために、撮像デバイス500は、任意の有線もしくは無線外部デバイスまたは通信ネットワーク(例えば、インターネット等の広域ネットワーク)513に接続するための1つ以上の通信インターフェース512を含む。撮像デバイス500は、前述の要素を相互接続するための内部バス510を含む。通信バス510は、前述の構成要素間の通信を相互接続および制御する回路(チップセットと呼ばれることもある)を含むことができる。
いくつかの実装形態では、撮像デバイス500は、通信ネットワーク513と通信し、それにより撮像デバイス500がセルラー、WiFi、ZigBee、BlueTooth、IEEE802.11b、802.11a、802.11g、または802.11nなど、通信ネットワーク、具体的には無線リンクに関与するネットワークを介して移動通信デバイス間のデータを送信および/または受信することを可能にする。通信ネットワークは、データ伝送を支持するように構成された任意の好適な通信ネットワークであり得る。好適な通信ネットワークとしては、これらに限定されないが、セルラーネットワーク、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、インターネット、IEEE802.11b、802.11a、802.11g、または802.11n無線ネットワーク、固定電話、ケーブル回線、光ファイバ回線などが挙げられる。撮像システムは、一実施形態または所望の機能性に応じて、独自のコンピューティング能力によって完全にオフラインで、生データもしくは部分的に処理されたデータを送信することによってネットワーク上で、または双方を同時に動作させることができる。
システムメモリ514としては、DRAM、SRAM、DDR RAM、または他のランダムアクセスのソリッドステートメモリデバイスなど、高速ランダムアクセスメモリが挙げられ、典型的に、不揮発性メモリのフラッシュメモリデバイス、または他の非一時的なソリッドステート記憶デバイスが挙げられる。システムメモリ514は任意に、CPU(複数可)508から遠隔に位置する1つ以上の記憶デバイスを含む。システムメモリ514、またはあるいは、システムメモリ514内の非一時的メモリデバイス(複数可)は、非一時的コンピュータ可読記憶媒体を備える。
いくつかの実装形態では、撮像デバイス500の動作は、オペレーティングシステム520によって主に制御され、これは、CPU508によって実行される。オペレーティングシステム320は、システムメモリ314および/または記憶ユニット340内に記憶され得る。いくつかの実施形態では、画像デバイス500は、オペレーティングシステムではなく、むしろハードウェア、ファームウェア、およびソフトウェアのいくつかの他の好適な組み合わせによって制御される。
いくつかの実装形態では、システムメモリ514は、本明細書に記載される様々なファイルおよびデータ構造へのアクセスを制御するためのファイルシステム522、撮像デバイス500と関連付けられ、および/またはそれと一体化した光源を制御するための照射ソフトウェア制御モジュール524、光センサアレイソフトウェア制御モジュール528、光センサアレイ101/201によって取得されたセンサデータ1332を記憶するためのセンサデータストア531、取得されたセンサデータを操作するためのデータ処理ソフトウェアモジュール1334、取得されたセンサから集められたハイパースペクトルデータキューブデータ1336を記憶するためのハイパースペクトルデータキューブデータストア1335、ならびに外部デバイス(例えば、ハンドヘルド型デバイス、ラップトップコンピュータ、もしくはデスクトップコンピュータ)および/または通信ネットワーク(例えば、インターネット等の広域ネットワーク)に接続する通信インターフェース312を制御するための通信インターフェースのソフトウェア制御モジュール1338のうちの1つ以上を含む。
いくつかの実装形態では、取得されたセンサデータ1332は、光センサアレイ101内の各光センサ111と関連付けられたフィルタ型によって配列および記憶される。例えば、図4に図解されるように、フィルタ型Aと関連付けられた光センサからの光センサ出力データ1332−1は、フィルタ型Iと関連付けられた光センサ出力データ1332−Kなど、光センサ出力データから選択可能である。
取得されたセンサデータ1332およびハイパースペクトルデータキューブデータ1336は、システムメモリ514内の記憶モジュール内に記憶されてもよく、撮像デバイス500が所定の時間で実施した分析の段階に応じて、同時に存在する必要がない。いくつかの実装形態では、被験者を撮像するより前、かつ取得されたセンサデータまたはこれらの処理されたデータファイルを通信した後、撮像デバイス500は、取得されたセンサデータ1332もハイパースペクトルデータキューブデータ1336も含まない。いくつかの実装形態では、被験者を撮像した後、かつ取得されたセンサデータまたはこれらの処理されたデータファイルを通信した後、撮像デバイス500は、一時期(例えば、所定の時間量、記憶空間が必要とされるまで)、取得されたセンサデータ1332および/またはハイパースペクトルデータキューブデータ1336を保持する。
いくつかの実装形態では、上記で識別されたプログラムまたはソフトウェアモジュールは、上述される機能を実施するための命令のセットに対応する。命令のセットは、1つ以上のプロセッサ、例えば、CPU(複数可)508によって実行され得る。上記で識別されたソフトウェアモジュールまたはプログラム(例えば、命令のセット)は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要がなく、それ故にこれらのプログラムまたはモジュールの様々なサブセットは、組み合わせられるか、またはそうでなければ様々な実施形態で再配列され得る。いくつかの実施形態では、システムメモリ514は、上記で識別されたモジュールのサブセットおよびデータ構造を記憶する。さらに、システムメモリ514は、上述されない追加のモジュールおよびデータ構造を記憶することができる。
システムメモリ514は任意に、図5に図解されない以下のソフトウェアモジュールのうちの1つ以上も含む:複数の医学的状態のプロファイルを含むスペクトルライブラリ、測定されたハイパースペクトルデータをスペクトルライブラリと比較するスペクトル分析器のソフトウェアモジュール、追加のセンサの制御モジュール、1つ以上の追加のセンサによって取得された情報、ハイパースペクトル画像を生成するための画像コンストラクタのソフトウェアモジュール、ハイパースペクトルデータキューブに基づいて、かつ追加のセンサによって取得された情報と任意に融合して集められたハイパースペクトル画像、追加のセンサによって取得されたデータをハイパースペクトルデータキューブに統合するための融合ソフトウェア制御モジュール、ならびに一体型ディスプレイを制御するためのディスプレイソフトウェア制御モジュール。
被験者を検査し、および/または被験者のハイパースペクトル画像を見ながら、医師は任意に、ハイパースペクトル画像および/または診断出力が基準とする1つ以上のパラメータを修正する画像デバイス500に入力を提供することができる。いくつかの実装形態では、この入力は、入力デバイス506を用いて提供される。数ある中でも、画像デバイスは、スペクトル分析器によって選択されたスペクトル部分を修正する(例えば、分析感度の閾値を修正する)か、または画像アセンブラによって生成された画像の出現を修正する(例えば、強度マップから位相レンダリングに切り替える)ように制御され得る。
いくつかの実装形態では、撮像デバイス500は、光センサアレイ101およびフィルタアレイ201のうちの1つの感知特性(例えば、露光設定、フレームレート、積分速度、または検出される波長)を修正するために撮像サブシステムに命令を通信するように指示され得る。他のパラメータも修正され得る。例えば、撮像デバイス500は、スクリーニング目的のために被験者の広視野画像を取得するか、または対象の特定の領域の近接画像を取得するように指示され得る。
いくつかの実装形態では、撮像デバイス500は、コントローラ542または記憶ユニット540を含まない。いくつかのこのような実装形態では、メモリ514およびCPU508は、1つ以上の特定用途向け集積回路チップ(ASIC)および/またはプログラマブル論理デバイス(例えば、FGPA、すなわち、ファイルドプログラマブルゲートアレイ)である。例えば、いくつかの実装形態では、ASICおよび/またはプログラムされたFPGAは、照射制御モジュール524、光センサアレイ制御モジュール528、データ処理モジュール534、および/または通信インターフェース制御モジュール538の命令を含む。いくつかの実装形態では、ASICおよび/またはFPGAは、取得されたセンサデータストア531およびその中に記憶されたセンサデータ1332、ならびに/またはハイパースペクトルデータキューブデータストア1335およびその中に記憶されたハイパースペクトル/マルチスペクトルデータキューブ1336に対する記憶空間をさらに含む。
いくつかの実装形態では、システムメモリ514は、画像デバイス500によって生成されたハイパースペクトルデータを様々な医学的状態と関連付けられた既知のスペクトルパターンと比較するためのスペクトルライブラリおよびスペクトル分析器を含む。いくつかの実装形態では、取得されたハイパースペクトルデータの分析は、例えば、クラウドコンピューティング環境で、ハンドヘルド型デバイス、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、外部サーバなどの外部デバイスで実施される。
いくつかの実装形態では、スペクトルライブラリは、複数の医学的状態のプロファイルを含み、これらの各々は、医学的状態に固有のスペクトル特性のセットを含む。スペクトル分析器は、スペクトル特性を使用して、測定されたハイパースペクトルデータキューブに対応する被験者の領域が医学的状態に苦しむ確率を決定する。いくつかの実装形態では、各プロファイルは、状態に関する追加の情報、例えば、状態が悪性または良性であるかに関する情報、治療のためのオプションなどを含む。いくつかの実装形態では、各プロファイルは、生体情報、例えば、異なる皮膚のタイプの被験者に対する検出状態を修正するために使用される情報を含む。いくつかの実装形態では、スペクトルライブラリは、単一のデータベース内に記憶される。他の実装形態では、このようなデータは代わりに、同じコンピュータによって、例えば、広域ネットワークによってアドレス可能な2つ以上のコンピュータ上ですべてホストされ得るか、またはされ得ない複数のデータベース内に記憶される。いくつかの実装形態では、スペクトルライブラリは、記憶ユニット540内に電子的に記憶され、ハイパースペクトルデータキューブデータの分析中に必要に応じてコントローラ542を用いて呼び戻される。
いくつかの実装形態では、スペクトル分析器は、所定の医学的状態のスペクトル特性を定義されたスペクトル範囲内の被験者のスペクトルと比較することによって、ハイパースペクトルデータキューブデータから生じる特定のスペクトル、予め定義されたスペクトル範囲(例えば、特定の医学的状態に特異なスペクトル範囲)を有するスペクトルを分析する。いくつかの実装形態では、予め定義されたスペクトル範囲は、患者の組織(例えば、被験者280の身体の部位280a)のデオキシヘモグロビンレベル、オキシヘモグロビンレベル、総ヘモグロビンレベル、酸素飽和度、酸素かん流、水和レベル、総ヘマトクリットレベル、メラニンレベル、およびコラーゲンレベルのうちの1つ以上の値に対応する。定義されたスペクトル範囲内のみでこのような比較を実施することは、特性化の精度を改善し、かつこのような特性化を実施するのに必要である計算能力を低下させることができる。
いくつかの実装形態では、医学的状態は、組織虚血、潰瘍形成、潰瘍進行、褥瘡形成、褥瘡進行、糖尿病性足潰瘍形成、糖尿病性足潰瘍進行、静脈鬱血、静脈性潰瘍疾患、感染症、ショック、心不全、呼吸不全、血液量減少、糖尿病の進行、鬱血性心不全、敗血症、脱水症、出血、高血圧、化学または生物剤への曝露、および炎症反応からなる群から選択される。
いくつかの実装形態では、スペクトル分析器は、患者の医学的状態と一致するハイパースペクトルデータキューブ内でスペクトルシグネチャを識別する。ある特定の実装形態では、これは、患者の組織と関連付けられた組織内の酸化および水和のパターンを識別することによって達成される。いくつかの実装形態では、ハイパースペクトルデータキューブの分析は、ハイパースペクトルデータキューブ内のそれぞれのデジタル画像(例えば、波長範囲番号Nにおける画像1337−1−N)のうちの少なくとも1つの輝度を調整することと、ハイパースペクトルデータキューブ内のそれぞれのデジタル画像のうちの少なくとも1つのコントラストを調整することと、ハイパースペクトルデータキューブ内のそれぞれのデジタル画像のうちの少なくとも1つからアーティファクトを除去することと、ハイパースペクトルデータキューブ内のそれぞれのデジタル画像のうちの少なくとも1つの1つ以上のサブピクセルを処理することと、複数のデジタル画像から集められたスペクトルハイパーキューブを変換することのうちの少なくとも1つを実施することを含む。
いくつかの実装形態では、表示制御モジュールから画像(例えば、カラー画像、モノ波長画像、またはハイパースペクトル/マルチスペクトル画像)を受信し、この画像を表示するディスプレイ504。任意に、表示サブシステムはまた、追加の情報を含む凡例を表示する。例えば、凡例は、領域が特定の医学的状態を有する確率を示す情報、状態の区分、状態の推定年数、状態の境界、状態の治療に関する情報、検査の対象の新しい可能性のある領域を示す情報、および/または、例として、分析され得る別の試験もしくは別のスペクトル領域などの診断を取得するのに有用であり得る新しい可能性のある情報を示す情報を表示することができる。
いくつかの実装形態では、筐体表示は、撮像デバイス500の筐体に組み込まれる。このような実装形態の一例では、プロセッサ508と電子通信するビデオ表示が含まれる。いくつかの実装形態では、筐体表示は、表示された画像を操作し、および/または画像デバイス500を制御するために使用されるタッチスクリーン表示である。
いくつかの実装形態では、通信インターフェース512は、モバイルデバイスディスプレイを有するモバイルデバイスのドッキングステーションを備える。スマートフォン、携帯情報端末(PDA)、企業向け情報端末、タブレットコンピュータ、IPOD、デジタルカメラ、または携帯用音楽プレーヤ等のモバイルデバイスは、モバイルデバイスディスプレイを撮像デバイス500上に効果的に取り付けるドッキングステーションに接続され得る。任意に、モバイルデバイスは、表示された画像を操作し、および/または画像デバイス500を制御するために使用される。
いくつかの実装形態では、撮像デバイス500は、例えば、画像が表示される、ハンドヘルド型デバイス、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、テレビ、IPOD、または投光器ユニット上で外部ディスプレイと有線または無線通信するように構成される。任意に、外部デバイス上のユーザインターフェースは、表示された画像を操作し、および/または撮像デバイス500を制御するために使用される。
いくつかの実装形態では、画像がディスプレイ上にリアルタイムで表示され得る。リアルタイム画像は、例えば、被験者の画像に焦点を合わせ、適切な対象の領域を選択し、被験者の画像を拡大または縮小するために使用され得る。一実施形態では、被験者のリアルタイム画像は、検出器フィルタ型によって覆われていない光学検出器によって捕捉されたカラー画像である。いくつかの実装形態では、撮像器サブシステムは、被験者のトゥルーカラー画像を捕捉するために専用の光学検出器を備える。いくつかの実装形態では、被験者のリアルタイム画像は、検出器フィルタによって覆われた光学検出器によって捕捉されたモノ波長または狭帯域(例えば、10〜50nm)画像である。これらの実施形態では、撮像器サブシステム内の検出器フィルタによって覆われた任意の光学検出器は、(i)ハイパースペクトルデータキューブへの統合のために被験者のデジタル画像を解像し、かつ(ii)撮像デバイス500の光学特性に焦点を合わせるか、またはそうでなければ、それを操作するために狭帯域画像を解像するために使用され得る。
いくつかの実装形態では、光センサアレイ101によって収集されたデータから構築されたハイパースペクトル画像は、内部筐体ディスプレイ、取り付けられた筐体ディスプレイ、または外部ディスプレイ上に表示される。集められたハイパースペクトルデータ(例えば、ハイパースペクトル/マルチスペクトルデータキューブ内に存在する)は、1つ以上のパラメータに基づいて、撮像された対象物または被験者の2次元表現を作成するために使用される。撮像システムメモリ内、または外部デバイス内に記憶された画像コンストラクタモジュールは、例えば、分析されたスペクトルに基づいて画像を構築する。具体的には、画像コンストラクタは、スペクトル内の情報の表現を作成する。一例では、画像コンストラクタは、スペクトル内の1つ以上の特定の波長(または波長範囲)の空間的に変化する強度が可視マーカーの対応する空間的に変化する強度によって表される2次元強度マップを構築する。
いくつかの実装形態では、画像コンストラクタは、1つ以上の追加のセンサから取得された情報とハイパースペクトル画像を融合する。好適な画像融合方法の非限定的な例としては、帯域オーバーレイ、高域フィルタリング方法、強度色相−彩度、主成分分析、および離散ウェーブレット変換が挙げられる。
図6は、ハイパースペクトルデータキューブ1336の概略図である。ハイパースペクトルセンサは、画像のセットとして情報を収集し、これは、本明細書ではハイパースペクトルデータキューブ平面1337と呼ばれる。各画像1137は、電磁スペクトルの範囲を表し、スペクトル帯とも知られている。これらの「画像」1337は次に、組み合わされ、処理および分析のために3次元ハイパースペクトルデータキューブ1336を形成する。
図7は、本開示の一実施形態に従う、ハイパースペクトル撮像デバイスと関連付けられた方法の一実装形態のフローチャート図である。具体的には、図解されるものは、ハイパースペクトル撮像キューブ1336を形成するための方法である。本方法において、ステップ702では、複数の光センサ111を含む光センサアレイ101から、複数の光センサのうちの光センサの第1のサブセットからの光センサ出力の第1のサブセットが選択される。光センサの第1のサブセット内の各光センサは、複数のフィルタ型のうちの第1のフィルタ型の複数のフィルタのうちのフィルタ211によってフィルタリングされる。複数のフィルタ型のうちの各フィルタ型は、その他のフィルタ型とは異なるスペクトル通過帯域を特徴とする。例えば、参考として図4を用いると、ステップ702の一例では、フィルタ型Aのフィルタ211によってフィルタリングされる光センサ111の各々が選択される。このように、光センサ出力はすべてが、同じ第1の波長または波長範囲のフィルタリングされた光を受光した光センサ111からである。ステップ704では、第1の画像1337−1は、光センサ出力の第1のサブセットを用いて形成される。
ステップ706では、複数の光センサのうちの光センサの第2のサブセットからの光センサ出力の第2のサブセットが選択される。光センサの第2のサブセットのうちの各光センサは、複数のフィルタ型のうちの第2のフィルタ型のフィルタによってフィルタリングされる。例えば、参考として図4を再び用いると、ステップ706の一例では、フィルタ型Bのフィルタ211によってフィルタリングされる光センサ111の各々が選択される。このように、光センサ出力はすべてが、同じ第2の波長または波長範囲のフィルタリングされた光を受光した光センサ111からであり、この第2の波長または波長範囲は、第1の波長または波長範囲とは異なる。ステップ708では、第2の画像1337−2は、光センサ出力の第2のサブセットを用いて形成される。
ステップ710では、複数の光センサのうちの光センサの第3のサブセットからの光センサ出力の第3のサブセットが選択される。光センサの第3のサブセットのうちの各光センサは、複数のフィルタ型のうちの第3のフィルタ型のフィルタによってフィルタリングされる。例えば、参考として図4を再び用いると、ステップ710の一例では、フィルタ型Cのフィルタ211によってフィルタリングされる光センサ111の各々が選択される。このように、光センサ出力はすべてが、同じ第3の波長または波長範囲のフィルタリングされた光を受光した光センサ111からであり、この第3の波長または波長範囲は、第1の波長または波長範囲とは異なり、第2の波長または波長範囲とも異なる。ステップ712では、第3の画像1337−3は、光センサ出力の第3のサブセットを用いて形成される。
ステップ714では、ハイパースペクトル撮像キューブは、第1の画像1337−1、第2の画像1337−2、および第3の画像1337−3を用いて形成され、そこで上述されるように、第1の画像、第2の画像、および第3の画像は各々、対象物の同じ領域を表し、第1の画像、第2の画像、および第3の画像は各々、異なる波長または波長範囲を特徴とする。本方法は、高度に有利である。すべての画像1337は、同じ露光から取られる。したがって、画像の登録は、より正確であり、画像間の対象物の移動の危険性が排除される。さらに、フィルタリングに影響を与えるために必要な可動部がなく、それ故に開示される方法を実施するスペクトル撮像器を製造する費用は、先行技術の撮像器よりはるかに低い。いくつかの実施形態では、図7に図解される方法のすべてのステップは、ハイパースペクトル撮像器によって実施される。いくつかの実施形態では、図7に図解される方法は、ハイパースペクトル撮像キューブに対するさらに追加の波長または波長範囲を表す追加の画像を追加する追加のステップをさらに有する。いくつかの実施形態では、図7に図解される方法は、ハイパースペクトル撮像キューブのすべてまたは一部分を表示する追加のステップをさらに有する。いくつかの実施形態では、ハイパースペクトル画像を表示するためのディスプレイは、撮像器132/142/232によって共有された共通の筐体内にある。いくつかの実施形態では、ステップ704、708、および712は、撮像器132/142/232から離れたデバイスで実施される。いくつかの実施形態では、ステップ704、708、および712は、撮像器132/142/232によって実施される。
ハイパースペクトル撮像
ハイパースペクトルおよびマルチスペクトル撮像は、スペクトル撮像またはスペクトル分析と一般に呼ばれる分光法のより大きい分類における関連技術である。典型的に、ハイパースペクトル撮像は、複数の画像の取得に関連し、各画像は、例えば、各々1nm以上(例えば、1nm、2nm、3nm、4nm、5nm、10nm、20nm以上)のFWHM帯域幅を有する5以上(例えば、5、10、15、20、25、30、40、50以上)のスペクトル帯など、連続的スペクトル範囲にわたって収集された狭いスペクトル帯を表し、連続的スペクトル範囲(例えば、400nm〜800nm)をカバーする。対照的に、マルチスペクトル撮像は、複数の画像の取得に関連し、各画像は、不連続スペクトル範囲にわたって収集された狭いスペクトル帯を表す。
本開示の目的のために、用語「ハイパースペクトル」および「マルチスペクトル」は、同じ意味で使用され、複数の画像を指し、各画像は、連続的または不連続スペクトル範囲にわたって収集されるかどうかにかかわらず、狭いスペクトル帯(10nm〜30nm、5nm〜15nm、5nm〜50nm、100nm未満、1〜100nmなどのFWHM帯域幅を有する)を表す。例えば、いくつかの実装形態では、ハイパースペクトルデータキューブ1336−1の波長1−Nは、連続的スペクトル範囲(例えば、400nm〜800nm)をカバーする連続的波長またはスペクトル帯である。他の実装形態では、ハイパースペクトルデータキューブ1336−1の波長1−Nは、非連続的スペクトル範囲(例えば、400nm〜440nm、500nm〜540nm、600nm〜680nm、および900〜950nm)をカバーする非連続的波長またはスペクトル帯である。
本明細書に使用されるとき、「狭いスペクトル範囲」は、約100nm以下のFWHMスペクトル帯から典型的になる連続的波長範囲を指す。ある特定の実施形態では、狭帯域放射線は、約75nm、50nm、40nm、30nm、25nm、20nm、15nm、10nm、5nm、4nm、3nm、2nm、1nm以下のFWHMスペクトル帯からなる。いくつかの実装形態では、本明細書に開示される方法およびデバイスによって撮像される波長は、可視、近赤外、短波長赤外、中波長赤外、長波長赤外、および紫外(UV)スペクトルのうちの1つ以上から選択される。
「広帯域」とは、例えば、帯域の少なくとも20%、少なくとも30%、少なくとも40%、少なくとも50%、少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、もしくは少なくとも95%を超える少なくとも1つの帯域、またはさらには全帯域のかなりの部分にわたる成分波長を含み、かつ1つ以上の他の帯域内の成分波長を任意に含む光を意味する。「白色光源」は、少なくとも可視帯のかなりの部分に及ぶため、広帯域と見なされる。ある特定の実施形態では、広帯域光は、電磁スペクトルの少なくとも100nmにわたる成分波長を含む。他の実施形態では、広帯域光は、電磁スペクトルの少なくとも150nm、200nm、250nm、300nm、400nm、500nm、600nm、700nm、800nm以上にわたる成分波長を含む。
「狭帯域」とは、例えば、単一帯域の20%以下、15%以下、10%以下、5%以下、2%以下、1%以下、または0.5%以下など、狭いスペクトル範囲のみにわたる成分を含む光を意味する。狭帯域光源は、単一帯域に制限される必要がないが、多重帯域内の波長を含むことができる。複数の狭帯域光源は各々、単一帯域のごく一部のみの中に光を個々に生成するが、1つ以上の帯域のかなりの部分をカバーする光をともに生成することができ、例えば、広帯域光源をともに構成することができる。ある特定の実施形態では、広帯域光は、電磁スペクトルの100nm以下にわたる成分波長を含む(例えば、100nm以下のスペクトル帯域幅を有する)。他の実施形態では、狭帯域光は、電磁スペクトルの90nm、80nm、75nm、70nm、60nm、50nm、40nm、30nm、25nm、20nm、15nm、10nm、5nm以下のスペクトル帯域幅を有する。
本明細書に使用されるとき、光源の「スペクトル帯域幅」は、最大強度の少なくとも半分である強度を有する成分波長の範囲を指し、そうでなければ「半値全幅」(FWHM)スペクトル帯域幅として知られている。多くの発光ダイオード(LED)は、単一離散波長を超える放射線を放出し、それ故に狭帯域エミッタである。したがって、狭帯域光源は、「固有波長」または「中心波長」、すなわち、最強度で放出した波長、ならびに固有スペクトル帯域幅、例えば、固有波長の少なくとも半分の波長の強度で放出した波長の範囲を有すると記載され得る。
「コヒーレント光源」とは、同相の単一波長の電磁放射線を放出する光源を意味する。したがって、コヒーレント光源は、1nm未満のスペクトル帯域幅を有する狭帯域光源のタイプである。コヒーレント光源の非限定的な例としては、レーザーおよびレーザー型LEDが挙げられる。同様に、インコヒーレント光源は、1nmを超えるスペクトル帯域幅を有する電磁放射線を放出し、および/または同相ではない。この点に関して、インコヒーレント光は、光のスペクトル帯域幅に応じて、狭帯域または広帯域光のいずれかであり得る。
好適な広帯域光源104の例としては、これらに限定されないが、ハロゲンランプ、キセノンランプ、水銀中位アークのヨウ化ランプ、および広帯域発光ダイオード(LED)などの白熱光が挙げられる。いくつかの実施形態では、標準またはカスタムフィルタは、ある特定の波長の信号レベルを上げるか、または波長の狭帯域に対して選択するように、異なる波長で光強度の平衡を保つために使用される。被験者の広帯域照射は、被験者のカラー画像を捕捉するとき、またはハイパースペクトル/マルチスペクトル撮像システムに焦点を合わせるときに特に有用である。
好適な狭帯域のインコヒーレント光源104の例としては、これらに限定されないが、狭帯域発光ダイオード(LED)、スーパールミネッセントダイオード(SLD)(内容の全体がすべての目的のために参照により本明細書に組み込まれる、Redding B.のarVix:1110.6860(2011)参照)、ランダムレーザー、および狭帯域フィルタによって覆われた広帯域光源が挙げられる。好適な狭帯域のインコヒーレント光源104の例としては、これらに限定されないが、レーザーおよびレーザー型の発光ダイオードが挙げられる。コヒーレントおよびインコヒーレント狭帯域光源104が本明細書に記載される撮像システムに使用され得るが、コヒーレント照射は、画像形成を破壊するスペックルアーティファクトにより、全視野撮像にあまり適していない(Oliver,B.M.のProc IEEE 51,220−221(1963)参照)。
ハイパースペクトル医用撮像
本開示は、ハイパースペクトル/マルチスペクトル医用撮像(HSMI)に有用なシステムおよび方法を提供する。HSMIは、異なる波長での光と人体の成分、特に皮膚内またはそのすぐ下に位置する成分との間で生じる相互作用を区別することに依存する。例えば、デオキシヘモグロビンが700nmで水より多くの光量を吸収するが、水は、デオキシヘモグロビンと比較して1200nmではるかに多くの光量を吸収する。700nmおよび1200nmでデオキシヘモグロビンおよび水からなる二成分系の吸収度を測定することによって、システムの吸収へのデオキシヘモグロビンおよび水の個々の寄与およびそれ故に両成分の濃度が容易に決定され得る。この延長線上で考えると、より複合系の個々の成分(例えば、ヒトの皮膚)は、システムから反射されるか、または後方錯乱された光の複数の波長の吸収を測定することによって決定され得る。
ハイパースペクトル/マルチスペクトル撮像によって測定された光の様々な波長と、系統の各個々の成分(例えば、皮膚)との間の特定の相互作用は、データがハイパースペクトル/マルチスペクトルデータキューブに構築されるとき、ハイパースペクトル/マルチスペクトルシグネチャを生成する。具体的には、異なる領域(例えば、1人の被験者上の異なるROIまたは異なる被験者からの異なるROI)は、例えば、領域内の医学的状態の存在、領域の生理学的構造、および/または領域内の化学薬品の存在に応じて、光と異なって相互作用する。例えば、脂肪、皮膚、血液、および肉はすべて、互いに異なって光の様々な波長と相互作用する。所定のタイプのがん組織は、正常な皮膚、非がん組織、および他のタイプのがん組織とは異なって光の様々な波長と相互作用する。同様に、存在する(例えば、血中または皮膚上の)所定の化学薬品は、他のタイプの化学薬品とは異なって光の様々な波長と相互作用する。したがって、被験者の各々照射された領域から取得された光は、領域の特性に基づいてスペクトルシグネチャを有し、シグネチャは、その領域に関する医療情報を含む。
皮膚の構造は、複雑であるが、2つの別個かつ構造的に異なる層、すなわち、表皮および真皮と近似され得る。これらの2つの層は、組成の差により非常に異なる散乱および吸収特性を有する。表皮は、皮膚の外層である。これは、メラニン色素を生成するメラノサイトと呼ばれる特異性細胞を有する。光は主に、表皮内に吸収されるが、表皮内の散乱は、ごくわずかと考えられる。さらなる詳細については、内容の全体がすべての目的のために参照により本明細書に組み込まれる、G.H.Findlayの「Blue Skin」British Journal of Dermatology 83(1),127−134(1970)を参照されたい。
真皮は、コラーゲン繊維および血管の高密度の群を有し、その光学特性は、表皮のものとは非常に異なる。非観血真皮の光の吸収はごくわずかである。しかしながら、オキシおよびデオキシヘモグロビンならびに水のような血液由来の色素は、真皮内の光の主要な吸収体である。コラーゲン繊維による散乱および真皮内の発色団による吸収は、皮膚を通じた光の浸透の深さを決定する。
被験者の表面を照射するために使用される光は、皮膚に浸透する。光が浸透する程度は、特定の放射線の波長に依存する。例えば、可視光に関して、波長が長ければ長いほど、光は、さらに遠く皮膚に浸透する。例えば、400nmの紫色光の約32%のみがヒトの皮膚の真皮に浸透するが、700nmの赤色光の85%超が真皮以上に浸透する(内容の全体がすべての目的のために参照により本明細書に組み込まれる、Capinera J.L.のEncyclopedia of Entomology,2nd Edition,Springer Science(2008)の2854頁を参照)。本開示の目的のために、「組織を照射すること」、「表面から光を反射させること」などに言及するとき、検出のための好適な波長の放射線は、光が移動する被験者への距離にかかわらず、被験者の組織から後方散乱される。例えば、赤外線放射のある特定の波長は、皮膚の表面下に浸透し、それ故に被験者の表面下の組織を照射する。
簡単に言えば、本明細書に記載されるシステム上の照射器(複数可)からの光は、被験者の表面組織を透過し、光子が組織内で散乱し、何度も組織の内側で跳ねる。いくつかの光子は、光のスペクトルにわたって既知のプロファイルで酸素化ヘモグロビン分子によって吸収される。脱酸素化ヘモグロビン分子によって吸収された光子も同様である。光学検出器によって解像された画像は、皮膚を通じてレンズのサブシステムに戻って散乱する光の光子からなる。このように、画像は、組織内の様々な発色団によって吸収されないか、または組織内の散乱に失われない光を表す。いくつかの実施形態では、組織の表面を透過しない照射器からの光は、偏光子を用いて除去される。同様に、いくつかの光子は、太陽光が湖に反射するように、皮膚の表面から空気に反射する。
したがって、光の異なる波長は、被験者の皮膚組織の異なる深さを検査するために使用され得る。一般的に、高周波の短波長可視光は、表皮内に存在する成分を調査するのに有用であるが、低周波の長波長可視光は、表皮および真皮の両方を調査するのに有用である。さらに、ある特定の赤外線波長は、表皮、真皮、および皮下組織を調査するのに有用である。
可視近赤外(VNIR)スペクトル範囲内かつ低強度の放射照度で、熱効果がごくわずかであるとき、主要な光と組織との相互作用は、反射、屈折、散乱、および吸収を含む。正常なコリメートされた入射放射線では、空気と組織との界面での皮膚の規則的な反射は典型的に、250〜3000ナノメートル(nm)の波長範囲内の約4%〜7%のみである。さらなる詳細については、内容の全体がすべての目的のために参照により本明細書に組み込まれる、R.R.Anderson and J.A.Parrishの「The optics of human skin」Journal of Investigative Dermatology 77(1),13−19(1981)を参照されたい。空気と組織との界面反射を無視し、かつ角質層の後の入射光の総拡散を想定すると、定常状態のVNIR皮膚反射は、最初に表皮の吸収を切り抜け、次いで真皮層内の等方散乱により表皮層に向かって戻って反射し、最後に表皮層を再び通過した後に皮膚から現れる光としてモデル化され得る。
したがって、本明細書に記載されるシステムおよび方法は、多種多様な医学的状態を診断し、特徴付けるために使用され得る。一実施形態では、1つ以上の皮膚または血液成分の濃度は、患者における医学的状態を評価するために決定される。医学的評価に有用な成分の非限定的な例としては、デオキシヘモグロビンレベル、オキシヘモグロビンレベル、総ヘモグロビンレベル、酸素飽和度、酸素かん流、水和レベル、総ヘマトクリットレベル、メラニンレベル、コラーゲンレベル、およびビリルビンレベルが挙げられる。同様に、皮膚もしくは血液成分のパターン、勾配、または経時的変化は、患者の医学的状態に関する情報を提供するために使用され得る。
ハイパースペクトル/マルチスペクトル撮像によって評価され得る状態の非限定的な例としては、組織虚血、潰瘍形成、潰瘍進行、褥瘡形成、褥瘡進行、糖尿病性足潰瘍形成、糖尿病性足潰瘍進行、静脈鬱血、静脈性潰瘍疾患、感染症、ショック、心不全、呼吸不全、血液量減少、糖尿病の進行、鬱血性心不全、敗血症、脱水症、出血、高血圧、化学または生物剤への曝露、および炎症反応が挙げられる。
一実施形態では、本明細書に記載されるシステムおよび方法は、組織酸素測定法、およびそれに応じて、表在性血管系における酸素測定から生じる患者の健康状態に関する医学的状態を評価するために使用される。ある特定の実施形態では、本明細書に記載されるシステムおよび方法は、酸素化ヘモグロビン、脱酸素化ヘモグロビン、酸素飽和度、および酸素かん流の測定を可能にする。これらのデータを処理することは、例えば、重大な肢虚血、糖尿病性足潰瘍、褥瘡、末梢血管疾患、手術用組織の健康状態などの状態のために、診断、予後、治療の割り当て、および手術の実行で医師を支援する情報を提供する。
一実施形態では、本明細書に記載されるシステムおよび方法は、糖尿病および褥瘡を評価するために使用される。糖尿病性足潰瘍の発生は一般に、皮膚の真皮と歩行中に足を緩和する皮下脂肪との間の障壁での破損の結果である。この裂傷は、真皮への圧力の上昇につながり、組織虚血および最終的な死をもたらし、潰瘍の形態で最終的に現れ得る(Frykberg R.G.らのDiabetes Care 1998;21(10):1714−9)。ハイパースペクトル/マルチスペクトル撮像によるオキシヘモグロビン、デオキシヘモグロビン、および/または酸素飽和度レベルの測定は、例えば、ROIでの潰瘍形成の可能性、潰瘍の診断、潰瘍に対する境界の識別、潰瘍形成の進行または退行、潰瘍の治癒のための予後、潰瘍から生じる切断の可能性に関する医療情報を提供することができる。例えば、糖尿病性足潰瘍などの潰瘍の検出および特性化のためのハイパースペクトル/マルチスペクトル方法に関するさらなる情報は、米国特許出願公開第2007/0038042号、およびNouvong A.らのDiabetes Care.2009 Nov;32(11):2056−61に見出され、これらの内容の全体がすべての目的のために参照により本明細書に組み込まれる。
医学的状態の他の例としては、これらに限定されないが、組織生存性(例えば、組織が死んだか、もしくは生きているか、および/またはそれが生きているままであると予測されるか)、組織虚血、悪性細胞もしくは組織(例えば、良性腫瘍、形成異常、前がん状態の組織、転移からの悪性を示すこと)、組織感染および/もしくは炎症、ならびに/または病原体の存在(例えば、細菌もしくはウイルス数)が挙げられる。いくつかの実施形態は、異なるタイプの組織を互いに区別すること、例えば、骨と肉、皮膚、および/または血管系を区別することを含む。いくつかの実施形態は、血管系の特性化を除外する。
さらに他の実施形態では、本明細書に提供されるシステムおよび方法は、例えば、切除縁を決定し、切除前後に切除縁の適切性を評価し、ほぼリアルタイムもしくはリアルタイムで組織の生存性を評価もしくは監視し、または画像誘導手術を支援するために手術中に使用され得る。手術中のハイパースペクトル/マルチスペクトル撮像の使用に関するより多くの情報については、内容の全体がすべての目的のために参照により本明細書に組み込まれる、Holzer M.S.らのJ Urol.2011 Aug;186(2):400−4、Gibbs−Strauss S.L.らのMol Imaging.2011 Apr;10(2):91−101、およびPanasyuk S.V.らのCancer Biol Ther.2007 Mar;6(3):439−46を参照されたい。
医学的評価におけるハイパースペクトル/マルチスペクトル撮像の使用に関するより多くの情報については、例えば、内容の全体がすべての目的のために参照により本明細書に組み込まれる、Chin J.A.らのJ Vasc Surg.2011 Dec;54(6):1679−88、Khaodhiar L.らのDiabetes Care 2007;30:903-910、Zuzak K.J.らのAnal Chem.2002 May 1;74(9):2021−8、Uhr J.W.らのTransl Res.2012 May;159(5):366−75、Chin M.S.らのJ Biomed Opt.2012 Feb;17(2):026010、Liu Z.らのSensors(Basel).2012; 12(1):162−74、Zuzak K.J.らのAnal Chem.2011 Oct 1;83(19):7424−30、Palmer G.M.らのJ Biomed Opt.2010 Nov−Dec;15(6):066021、Jafari−Saraf and GordonのAnn Vasc Surg.2010 Aug;24(6):741−6、Akbari H.らのIEEE Trans Biomed Eng.2010 Aug;57(8):2011−7、Akbari H.らのConf Proc IEEE Eng Med Biol Soc.2009:1461−4、Akbari H.らのConf Proc IEEE Eng Med Biol Soc.2008:1238−41、Chang S.K.らのClin Cancer Res.2008 Jul 1;14(13):4146−53、Siddiqi A.M.らのCancer.2008 Feb 25;114(1):13−21、Liu Z.らのAppl Opt.2007 Dec 1;46(34):8328−34、Zhi L.らのComput Med Imaging Graph.2007 Dec;31(8):672−8、Khaodhiar L.らのDiabetes Care.2007 Apr;30(4):903−10、Ferris D.G.らのJ Low Genit Tract Dis.2001 Apr;5(2):65−72、Greenman R.L.らのLancet.2005 Nov 12;366(9498):1711−7、Sorg B.S.らのJ Biomed Opt.2005 Jul−Aug;10(4):44004、Gillies R.らのand Diabetes Technol Ther.2003;5(5):847−55を参照されたい。
さらに他の実施形態では、本明細書に提供されるシステムおよび方法は、例えば、切除縁を決定し、切除前後に切除縁の適切性を評価し、ほぼリアルタイムもしくはリアルタイムで組織の生存性を評価もしくは監視し、または画像誘導手術を支援するために手術中に使用され得る。手術中のハイパースペクトル/マルチスペクトル撮像の使用に関するより多くの情報については、内容の全体がすべての目的のために参照により本明細書に組み込まれる、Holzer M.S.らのJ Urol.2011 Aug;186(2):400−4、Gibbs−Strauss S.L.らのMol Imaging.2011 Apr;10(2):91−101、およびPanasyuk S.V.らのCancer Biol Ther.2007 Mar;6(3):439−46を参照されたい。
いくつかの実施形態では、本明細書に提供されるシステムおよび方法は、衛星撮像(例えば、鉱物の地質学的感知および農業撮像に対する)、遠隔化学的撮像、および環境監視など、他のハイパースペクトル/マルチスペクトル用途に有用である。例えば、複数のフィルタ素子211と、複数の光センサ111を含む光センサアレイ101とを有するスペクトルフィルタアレイ201は、遠隔ハイパースペクトル/マルチスペクトル撮像のための衛星または他の望遠鏡装置の内側に取り付けられ得る。
本明細書に使用される用語は、特定の実施形態を説明する目的のためであり、特許請求の範囲を限定することを意図しない。実施形態および添付の特許請求の範囲の説明に使用されるとき、単数形「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈上別段明確に示されない限り、同様に複数形を含むことを意図する。用語「および/または」は、本明細書に使用されるとき、関連の列挙された項目のうちの1つ以上の任意およびすべての可能な組み合わせを指し、それらを包含することも理解される。用語「備える(comprises)」および/または「備える(comprising)」は、本明細書に使用されるとき、規定された特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはこれらの群の存在または追加を除外しないことがさらに理解される。
用語「第1の」、「第2の」などは、様々な要素を説明するために本明細書に使用され得るが、これらの要素は、これらの用語によって限定されるべきではないことも理解される。これらの用語は、1つの要素と別の要素を区別するためにのみ使用される。例えば、「第1の接点」のすべての発生が一貫して改名され、かつ第2の接点のすべての発生が一貫して改名される限り、第1の接点が第2の接点と呼ばれてもよく、同様に、第2の接点が第1の接点と呼ばれてもよく、これは、説明の意味を変える。第1の接点および第2の接点は、両方の接点であるが、それらは同じ接点ではない。
本明細書に使用されるとき、用語「する場合に(if)」は、文脈に応じて、規定された停止条件が正しいと「するとき(when)」、「すると(upon)」、「決定することに応答して(in response to determining)」、「決定に従って(in accordance with a determination)」、または「検出することに応答して(in response to detecting)」を意味すると解釈されてもよい。同様に、語句「[規定された停止条件が正しいと]決定される場合(if it is determined [that a stated condition precedent is true])」、「[規定された停止条件が正しい]場合(if [a stated condition precedent is true])」、または「[規定された停止条件が正しい]とき(when [a stated condition precedent is true])」は、文脈に応じて、規定された停止条件が正しいと「決定すると(upon determining)」、「決定することに応答して(in response to determining)」、「決定に従って(in accordance with a determination)」、「検出すると(upon detecting)」、または「検出することに応答して(in response to detecting)」を意味すると解釈されてもよい。
前述の説明は、説明の目的のために、特定の実施形態を参照して記載される。しかしながら、上記の例示的な論述は、包括的であるか、または本発明を開示される正確な形態に限定することを意図しない。多くの修正および変形が上記の教示を考慮して可能である。実施形態は、本発明の原理およびその実践的用途を最良に説明するために選択および記載され、それにより、企図される特定の使用に適しているように、当業者が様々な修正で本発明および様々な実施形態を最良に利用することを可能にする。

Claims (25)

  1. 以下を備える、ハイパースペクトル撮像デバイス:
    複数の光センサを含む光センサアレイであって、前記複数の光センサのうちの各光センサが、それぞれの出力を提供する、光センサアレイと、
    複数のフィルタ素子を有するスペクトルフィルタアレイであって、各フィルタ素子が、前記複数の光センサのうちのそれぞれ1つ以上によって受光された光をフィルタリングするように配列され、各フィルタ素子が、複数のフィルタ型のうちの1つであり、各フィルタ型が、その他のフィルタ型とは異なるスペクトル通過帯域を特徴とする、スペクトルフィルタアレイと、
    光センサ出力の複数のサブセットを選択するインターフェースモジュールであって、光センサ出力の各サブセットが、単一のそれぞれのフィルタ型と関連付けられる、インターフェースモジュールと、
    複数の画像を生成することによって、光センサ出力の前記複数のサブセットからハイパースペクトルデータキューブを生成するように構成された制御モジュールであって、前記複数の画像のうちの各それぞれの画像が、各それぞれの画像が前記複数のフィルタ型のうちの対応するフィルタ型と関連付けられるように、前記複数の光センサ出力のうちの単一の対応する光センサ出力のサブセットから生成される、制御モジュール。
  2. 前記コントローラは、光への前記光センサアレイとスペクトルフィルタアレイとの組み合わせの露光を制御することによって、単一フレーム画像データを捕捉するようにさらに構成され、前記ハイパースペクトルデータキューブは、前記単一フレーム画像データから生成される、請求項1に記載のハイパースペクトル撮像デバイス。
  3. 前記複数の画像のうちの各それぞれの画像は、前記それぞれの画像に対応する前記フィルタ型のために、補間処理を前記対応する光センサ出力のサブセットに適用することによって生成される、請求項2に記載のハイパースペクトル画像デバイス。
  4. 前記複数のフィルタ素子は、同じフィルタ型の第1のフィルタ素子および第2のフィルタ素子を含み、前記第1のフィルタ素子と前記第2のフィルタ素子との間の中心間距離は、250ミクロン未満である、請求項1〜3のいずれか1項に記載のハイパースペクトル撮像デバイス。
  5. 前記複数のフィルタ素子は、同じフィルタ型の第1のフィルタ素子および第2のフィルタ素子を含み、前記第1のフィルタ素子と前記第2のフィルタ素子との間の中心間距離は、150ミクロン未満である、請求項1〜3のいずれか1項に記載のハイパースペクトル撮像デバイス。
  6. 前記複数のフィルタ型のうちの第1のフィルタ型の前記フィルタ素子は、前記スペクトルフィルタアレイにわたって空間的に分布する、請求項1〜5のいずれか1項に記載のハイパースペクトル撮像デバイス。
  7. 前記第1のフィルタ型の前記フィルタ素子の前記空間的分布は、前記スペクトルフィルタアレイにわたる均等分布である、請求項6に記載のハイパースペクトル撮像デバイス。
  8. 前記複数のフィルタ素子のうちの前記フィルタ素子の空間的分布は、1つ以上のフィルタ型の繰り返しパターンを特徴とする、請求項1〜7のいずれか1項に記載のハイパースペクトル撮像デバイス。
  9. 前記複数のフィルタ型は、少なくとも3つのフィルタ型を含む、請求項1〜8のいずれか1項に記載のハイパースペクトル撮像デバイス。
  10. 前記インターフェースモジュールは、光センサ出力の前記1つ以上のサブセットを選択するように構成された回路を備える、請求項1〜9のいずれか1項に記載のハイパースペクトル撮像デバイス。
  11. 請求項1〜10のいずれか1項に記載のハイパースペクトル撮像デバイスであって、
    前記インターフェースモジュールは、
    前記光センサアレイの前記出力を受け取るように構成された複数のレジスタを備え、
    前記制御モジュールは、
    ルックアップテーブルを用いて、前記複数のレジスタのうちのどのレジスタが前記複数のフィルタ型のうちの特定のフィルタ型のフィルタ素子に対応するかを識別することと、
    前記特定のフィルタ型のフィルタ素子に対応する前記レジスタの前記識別に基づいて、前記複数のレジスタから光センサ出力の1つ以上のサブセットを選択することと、を行うようにさらに構成される、ハイパースペクトル撮像デバイス。
  12. 前記制御モジュールはまた、前記特定のフィルタ型の光センサ出力をデータパケットにまとめるように動作可能であり、前記データパケットは、前記特定のフィルタ型のデータを含む前記レジスタのレジスタ値を少なくとも含む、請求項11に記載のハイパースペクトル撮像デバイス。
  13. 前記データパケットをサーバに送信し、かつ前記送信されたデータパケットに基づいて前記サーバから各フィルタ型の画像を受信する送受信器をさらに備える、請求項12に記載のハイパースペクトル撮像デバイス。
  14. 前記医用撮像デバイスは、ハンドヘルド型である、請求項1〜13のいずれか1項に記載のハイパースペクトル撮像デバイス。
  15. ハイパースペクトル撮像キューブを形成するための方法であって、
    (A)複数の光センサを含む光センサアレイから、前記複数の光センサのうちの光センサの第1のサブセットから光センサ出力の第1のサブセットを選択することであって、光センサの前記第1のサブセットのうちの各光センサが、複数のフィルタ型のうちの第1のフィルタ型の複数のフィルタのうちのフィルタによってフィルタリングされ、前記複数のフィルタ型のうちの各フィルタ型が、その他のフィルタ型とは異なるスペクトル通過帯域を特徴とする、選択することと、
    (B)光センサ出力の前記第1のサブセットを用いて第1の画像を形成することと、
    (C)前記複数の光センサのうちの光センサの第2のサブセットから光センサ出力の第2のサブセットを選択することであって、光センサの前記第2のサブセットのうちの各光センサが、前記複数のフィルタ型のうちの第2のフィルタ型のフィルタによってフィルタリングされる、選択することと、
    (D)光センサ出力の前記第2のサブセットを用いて第2の画像を形成することと、
    (E)前記複数の光センサのうちの光センサの第3のサブセットから光センサ出力の第3のサブセットを選択することであって、光センサの前記第3のサブセットのうちの各光センサが、前記複数のフィルタ型のうちの第3のフィルタ型のフィルタによってフィルタリングされる、選択することと、
    (F)光センサ出力の前記第3のサブセットを用いて第3の画像を形成することと、
    (G)前記第1の画像、前記第2の画像、および前記第3の画像を用いて前記ハイパースペクトル撮像キューブを形成することであって、前記第1の画像、前記第2の画像、および前記第3の画像が各々、対象物の同じ領域を表し、前記第1の画像、前記第2の画像、および前記第3の画像が各々、異なる波長または波長範囲を特徴とする、形成することと、を含む、方法。
  16. 前記光センサアレイは、光センサ出力の前記第1のサブセット、光センサ出力の前記第2のサブセット、および光センサ出力の前記第3のサブセットを同時に生成するために単一の共通の露光に供される、請求項15に記載の方法。
  17. 光センサの前記第1のサブセットは、フィルタの第1の素子によって覆われた光センサ、および第2のフィルタ素子によって覆われた第2の光センサを含み、前記第1のフィルタ素子と前記第2のフィルタ素子との間の中心間距離は、250ミクロン未満であり、前記第1のフィルタ素子および前記第2のフィルタ素子はともに、同じフィルタ型である、請求項15または16に記載の方法。
  18. 光センサの前記第1のサブセットは、フィルタの第1の素子によって覆われた光センサ、および第2のフィルタ素子によって覆われた第2の光センサを含み、前記第1のフィルタ素子と前記第2のフィルタ素子との間の中心間距離は、150ミクロン未満であり、前記第1のフィルタ素子および前記第2のフィルタ素子はともに、同じフィルタ型である、請求項15または16に記載の方法。
  19. 光センサの前記第1のサブセットは、前記スペクトルフィルタアレイにわたって空間的に分布される、請求項15〜18のいずれか1項に記載の方法。
  20. 前記空間的分布は、前記光センサアレイにわたる均等分布である、請求項19に記載の方法。
  21. 同じフィルタ型の前記複数のフィルタのうちのフィルタの空間的分布は、前記光センサアレイにわたる均等分布である、請求項15〜20のいずれか1項に記載の方法。
  22. 前記複数のフィルタのうちのフィルタの空間的分布は、フィルタ型に基づいてパターン化された繰り返しを特徴とする、請求項15〜21のいずれか1項に記載の方法。
  23. 前記ハイパースペクトル撮像キューブは、4つ以上の画像を含み、各画像は、前記対象物の同じ領域を異なる波長または波長範囲で表す、請求項15〜22のいずれか1項に記載の方法。
  24. 前記ハイパースペクトル撮像キューブは、5つ以上の画像を含み、各画像は、前記対象物の同じ領域を異なる波長または波長範囲で表す、請求項15〜22のいずれか1項に記載の方法。
  25. 前記ハイパースペクトル撮像キューブは、10個以上の画像を含み、各画像は、前記対象物の同じ領域を異なる波長または波長範囲で表す、請求項15〜22のいずれか1項に記載の方法。



JP2018171634A 2012-10-19 2018-09-13 単一センサのハイパースペクトル撮像デバイス Active JP6672406B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261716401P 2012-10-19 2012-10-19
US61/716,401 2012-10-19
US13/844,737 2013-03-15
US13/844,737 US9766382B2 (en) 2012-06-05 2013-03-15 Single-sensor hyperspectral imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015538089A Division JP2016504563A (ja) 2012-10-19 2013-10-18 単一センサのハイパースペクトル撮像デバイス

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020037202A Division JP7000479B2 (ja) 2012-10-19 2020-03-04 単一センサのハイパースペクトル撮像デバイス

Publications (2)

Publication Number Publication Date
JP2019023646A true JP2019023646A (ja) 2019-02-14
JP6672406B2 JP6672406B2 (ja) 2020-03-25

Family

ID=50488805

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015538089A Pending JP2016504563A (ja) 2012-10-19 2013-10-18 単一センサのハイパースペクトル撮像デバイス
JP2018171634A Active JP6672406B2 (ja) 2012-10-19 2018-09-13 単一センサのハイパースペクトル撮像デバイス
JP2020037202A Active JP7000479B2 (ja) 2012-10-19 2020-03-04 単一センサのハイパースペクトル撮像デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015538089A Pending JP2016504563A (ja) 2012-10-19 2013-10-18 単一センサのハイパースペクトル撮像デバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020037202A Active JP7000479B2 (ja) 2012-10-19 2020-03-04 単一センサのハイパースペクトル撮像デバイス

Country Status (6)

Country Link
US (5) US9766382B2 (ja)
EP (1) EP2910012A4 (ja)
JP (3) JP2016504563A (ja)
CA (1) CA2888174C (ja)
IL (1) IL238182B (ja)
WO (1) WO2014063117A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197507A (ja) * 2019-06-05 2020-12-10 野崎 眞次 精密農業支援システムおよび精密農業支援方法
WO2022029954A1 (ja) * 2020-08-06 2022-02-10 オリンパス株式会社 医療システム、及び、処理プロトコル制御方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766382B2 (en) * 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
EP3172698A1 (en) * 2014-07-24 2017-05-31 Ecole Polytechnique Fédérale de Lausanne (EPFL) Compact multifunctional system for imaging spectroscopy
US11304604B2 (en) 2014-10-29 2022-04-19 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
JP6224275B2 (ja) * 2015-01-07 2017-11-01 平本 政夫 マルチスペクトル撮像装置
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
US10921186B2 (en) * 2015-09-22 2021-02-16 Hypermed Imaging, Inc. Methods and apparatus for imaging discrete wavelength bands using a mobile device
KR102612412B1 (ko) 2016-02-05 2023-12-12 한국전자통신연구원 이미징 센서 및 이의 제조 방법
JP6798511B2 (ja) * 2016-02-18 2020-12-09 ソニー株式会社 撮像装置及び撮像システム
US9955088B2 (en) * 2016-06-10 2018-04-24 The Boeing Company Hyperspectral borescope system
JP6353145B2 (ja) 2016-09-15 2018-07-04 ハイパーメツド・イメージング・インコーポレイテツド 組織酸素付与測定システム及び方法
EP3920139A1 (en) * 2016-10-20 2021-12-08 Optina Diagnostics, Inc. Method and system for detecting an anomaly within a biological tissue
KR102070487B1 (ko) * 2017-02-02 2020-01-28 명지대학교 산학협력단 좁은 스펙트럼 필터를 이용하는 광 신호 검출 시스템 및 방법
WO2018142295A1 (en) 2017-02-03 2018-08-09 Gamaya Sa Wide-angle computational imaging spectroscopy method and apparatus
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
CN110520768B (zh) * 2017-06-05 2021-10-22 上海科技大学 高光谱光场成像方法和系统
US10909723B2 (en) * 2017-06-13 2021-02-02 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
US20180376044A1 (en) * 2017-06-22 2018-12-27 Robert Bosch Gmbh Device Having A CMOS VL and IR Imaging System
US10337923B2 (en) * 2017-09-13 2019-07-02 Qualcomm Incorporated Directional interpolation and cross-band filtering for hyperspectral imaging
WO2019058308A1 (en) * 2017-09-21 2019-03-28 Elucid Labs, Inc. IMAGING BIOLOGICAL FABRIC OR OTHER SUBJECTS
KR102498122B1 (ko) 2017-11-21 2023-02-09 삼성전자주식회사 분광 장치와, 분광 방법, 및 생체신호 측정장치
KR102452955B1 (ko) * 2017-11-23 2022-10-11 삼성전자주식회사 광 신호 처리 방법 및 장치
CN113260303A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于评估、愈合预测和治疗创伤的机器学习系统和方法
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
JP7186298B2 (ja) 2018-12-14 2022-12-08 スペクトラル エムディー,インコーポレイテッド 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US20230157549A1 (en) 2020-04-23 2023-05-25 Hypermed Imaging, Inc. Portable hyperspectral imaging device
US10991190B1 (en) 2020-07-20 2021-04-27 Abbott Laboratories Digital pass verification systems and methods
IT202000018709A1 (it) 2020-07-31 2022-01-31 Milano Politecnico Sistema di rivelazione dello spettro di una radiazione elettromagnetica

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568186A (en) * 1993-11-15 1996-10-22 The United States Of America As Represented By The Secretary Of The Army Focal plane filtered multispectral multidetector imager
JP2003087806A (ja) * 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP2007293336A (ja) * 2006-04-18 2007-11-08 Xerox Corp 個別にアドレス指定可能な同調可能ファブリ・ペロー・フィルタに基づいた投射装置
JP2008525158A (ja) * 2004-12-28 2008-07-17 ハイパームド・インコーポレーテッド 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル/マルチスペクトルイメージング
US20090073451A1 (en) * 2004-06-30 2009-03-19 Tekolste Robert D Spectrally diverse, spatially sensitive apparatus and associated methods
WO2011064403A1 (en) * 2009-11-30 2011-06-03 Imec Integrated circuit for spectral imaging system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
AU2002357165B9 (en) 2001-12-12 2008-07-24 Ogenix Corporation Oxygen producing device for woundcare
US8174694B2 (en) * 2001-12-21 2012-05-08 Bodkin Design And Engineering Llc Hyperspectral imaging systems
JP2003230157A (ja) 2002-02-05 2003-08-15 Fuji Photo Film Co Ltd マルチバンド画像取得方法
US6831688B2 (en) * 2002-04-08 2004-12-14 Recon/Optical, Inc. Multispectral or hyperspectral imaging system and method for tactical reconnaissance
US7242478B1 (en) * 2003-12-05 2007-07-10 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7433042B1 (en) * 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7283232B2 (en) 2005-06-06 2007-10-16 Duke University Optical spectroscopy with overlapping images
US20080204744A1 (en) * 2005-07-11 2008-08-28 Jose Mir High Speed, Optically-Multiplexed, Hyperspectral Imagers and Methods Thereof
JP5191090B2 (ja) 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2007038099A2 (en) 2005-09-21 2007-04-05 Plain Sight Systems Multispectral imaging and non-linear filtering of vector valued data
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
US20100140461A1 (en) 2006-12-13 2010-06-10 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
US20090268045A1 (en) 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
US8109634B2 (en) 2008-03-05 2012-02-07 Tamir Gil Snapshot spectral imaging of the eye
US9883833B2 (en) * 2008-05-13 2018-02-06 Spectral Image, Inc. Systems and methods for hyperspectral medical imaging using real-time projection of spectral information
US8902321B2 (en) * 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8559113B2 (en) 2009-12-10 2013-10-15 Raytheon Company Multi-spectral super-pixel filters and methods of formation
JP2011143154A (ja) 2010-01-18 2011-07-28 Hoya Corp 撮像装置
CN201948983U (zh) 2010-12-10 2011-08-31 孔令华 实时多光谱内窥镜
US9766382B2 (en) * 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568186A (en) * 1993-11-15 1996-10-22 The United States Of America As Represented By The Secretary Of The Army Focal plane filtered multispectral multidetector imager
JP2003087806A (ja) * 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
US20090073451A1 (en) * 2004-06-30 2009-03-19 Tekolste Robert D Spectrally diverse, spatially sensitive apparatus and associated methods
JP2008525158A (ja) * 2004-12-28 2008-07-17 ハイパームド・インコーポレーテッド 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル/マルチスペクトルイメージング
JP2007293336A (ja) * 2006-04-18 2007-11-08 Xerox Corp 個別にアドレス指定可能な同調可能ファブリ・ペロー・フィルタに基づいた投射装置
WO2011064403A1 (en) * 2009-11-30 2011-06-03 Imec Integrated circuit for spectral imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A High-Resolution MACROscope With Differential Phase Contrast, Transmitted Light, Confocal Fluoresce", IEEE JOURNAL OF SELECTED TOPICS IN QUANTUM ELECTRONICS, vol. Volume 11, Issue 4, JPN6019031609, 5 November 2005 (2005-11-05), US, pages 766 - 777, ISSN: 0004206481 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197507A (ja) * 2019-06-05 2020-12-10 野崎 眞次 精密農業支援システムおよび精密農業支援方法
US11519892B2 (en) 2019-06-05 2022-12-06 Shinji Nozaki Precision agriculture support system and precision agriculture support method
WO2022029954A1 (ja) * 2020-08-06 2022-02-10 オリンパス株式会社 医療システム、及び、処理プロトコル制御方法

Also Published As

Publication number Publication date
IL238182B (en) 2020-09-30
US20200110208A1 (en) 2020-04-09
US9766382B2 (en) 2017-09-19
US20170371079A1 (en) 2017-12-28
US10534116B2 (en) 2020-01-14
CA2888174A1 (en) 2014-04-24
JP6672406B2 (ja) 2020-03-25
IL238182A0 (en) 2015-05-31
JP2020115640A (ja) 2020-07-30
US11493675B2 (en) 2022-11-08
US20210311230A1 (en) 2021-10-07
EP2910012A1 (en) 2015-08-26
US11092725B2 (en) 2021-08-17
CA2888174C (en) 2021-05-04
EP2910012A4 (en) 2016-07-20
WO2014063117A1 (en) 2014-04-24
US10018758B2 (en) 2018-07-10
US20180275325A1 (en) 2018-09-27
JP2016504563A (ja) 2016-02-12
US20150177429A1 (en) 2015-06-25
JP7000479B2 (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
JP6672406B2 (ja) 単一センサのハイパースペクトル撮像デバイス
US11399716B2 (en) Systems and methods for performing an imaging test under constrained conditions
JP6393440B1 (ja) 小型光センサ
US11346714B2 (en) Methods and apparatus for imaging discrete wavelength bands using a mobile device
US9619883B2 (en) Systems and methods for evaluating hyperspectral imaging data using a two layer media model of human tissue
US9526427B2 (en) Compact light sensors with symmetrical lighting
US9480424B2 (en) Systems and methods for measuring tissue oxygenation
US10470694B2 (en) Systems and methods for measuring tissue oxygenation
CA2979384C (en) Systems and methods for measuring tissue oxygenation
US11686618B2 (en) Hyperspectral imaging method and device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R150 Certificate of patent or registration of utility model

Ref document number: 6672406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250