JP2022517422A - 創傷および組織標本の3次元画像化、測定、および表示のためのシステム、方法、および装置 - Google Patents

創傷および組織標本の3次元画像化、測定、および表示のためのシステム、方法、および装置 Download PDF

Info

Publication number
JP2022517422A
JP2022517422A JP2021541476A JP2021541476A JP2022517422A JP 2022517422 A JP2022517422 A JP 2022517422A JP 2021541476 A JP2021541476 A JP 2021541476A JP 2021541476 A JP2021541476 A JP 2021541476A JP 2022517422 A JP2022517422 A JP 2022517422A
Authority
JP
Japan
Prior art keywords
image
dimensional
fluorescence
tissue
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021541476A
Other languages
English (en)
Other versions
JPWO2020148721A5 (ja
Inventor
ダコスタ,ラルフ
ダナム,ダニエル
Original Assignee
ユニバーシティー ヘルス ネットワーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーシティー ヘルス ネットワーク filed Critical ユニバーシティー ヘルス ネットワーク
Publication of JP2022517422A publication Critical patent/JP2022517422A/ja
Publication of JPWO2020148721A5 publication Critical patent/JPWO2020148721A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1073Measuring volume, e.g. of limbs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Dermatology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、創傷、腫瘍、または手術床などの生物学的ターゲットの3次元重畳画像を形成するために撮像データを位置合わせするための方法、システム、および装置を提供する。3次元マップを、ターゲット領域に赤外線放射を投射し、反射赤外線放射を受光し、ターゲット領域の深度を測定することによって生成することができる。キャプチャされた2次元白色光画像および3次元マップから、3次元白色光画像を生成することができる。キャプチャされた2次元蛍光画像および3次元マップから、3次元蛍光画像を生成することができる。3次元白色光画像および3次元蛍光画像を、1つ以上の基準マーカを使用して整列させて、3次元重畳画像を形成することができる。重畳画像を、創傷の治癒の追跡、および例えば乳房の腫瘍などのがん組織の切除に使用することができる。画像は、ビデオの形態であってもよい。

Description

関連出願の相互参照
本出願は、2019年1月17日に出願された米国仮特許出願第62/793,837号の優先権を主張し、その内容全体が、参照によって本明細書に組み込まれる。
技術分野
本開示は、マルチモーダル画像データを位置合わせして3次元表現を生成するシステムおよび方法に関する。
背景技術
創傷は、幅広い患者集団に現れる。創傷は、突然の外傷性の負傷から、長期にわたるベッドでの療養および代謝条件などのより漸進的な原因まで、無数の異なる原因の結果であり得るが、それらの主な共通点および問題の1つは、正確な特徴把握であり得る。伝統的に、創傷の特徴把握は、視覚のみによって行われてきたが、これは、創傷床に存在する細胞の数および種類に関して、比較的わずかな情報をもたらすにすぎない。たとえ撮像装置を用いても、得られる画像は、通常は2次元である。創傷は、比較的一定の平面領域を維持する一方で、深さの著しい変化を被る可能性があるため、2次元画像は、創傷の治癒の評価において、きわめて限定的となり得る。創傷の特徴把握の改善が、所与の治療が奏功しているかどうかをより良好に理解し、どの治療が特定の創傷について最大の有効性を有するかをよりよく特定するうえで、臨床医の助けになると考えられる。
腫瘍摘出または乳腺切除(乳房)の外科サンプル、ならびに対応する手術床における腫瘍マージンの正確な識別が、乳房温存手術において依然として大きな問題である。外科サンプルにおいて陽性マージンが発見された場合に、手術床における残存腫瘍組織の正確な位置を特定することも、依然として課題である。従来からの手法は、最適ではなく、手術室でリアルタイムでは実行されない。例えば、一般に、外科サンプルが陽性マージンを有する場合、外科医は、陰性マージンを達成するために、かなり厚くかつ横方向に広い組織の層を削り取ることによって、手術床において対応する腫瘍を除去する。この不正確な処置は、充分な健康な乳房組織を保存する機会を減少させ、保存の努力を困難にする。例えば黒色腫の除去など、他のがんおよび処置についても、同様の問題が存在する。例えば創傷などの組織の損傷および病変の特徴把握、ならびに組織の除去が、一般に、より高い精度および正確性のための改善されたツールおよび技術を必要としている。
発明の概要
本開示は、上述の問題のうちの1つ以上を解決することができ、さらには/あるいは上述の望ましい特徴のうちの1つ以上を実証することができる。他の特徴および/または利点は、以下の説明から明らかになり得る。
本開示によれば、2次元画像を使用してターゲットの3次元画像を生成する方法が提供される。この方法は、例えば、以下を含むことができる。1つ以上の基準マーカが関連付けられたターゲット領域の3次元マップを生成することができる。ターゲット領域および基準マーカの2次元白色光画像をキャプチャすることができる。2次元白色光画像および3次元マップから、3次元白色光画像を生成することができる。ターゲット領域および基準マーカの2次元蛍光画像をキャプチャすることができる。2次元蛍光画像および3次元マップから、3次元蛍光画像を生成することができる。3次元白色光画像および3次元蛍光画像を、基準マーカを使用して整列させて、3次元重畳画像を形成することができる。
本開示の一態様によれば、撮像装置が提供される。撮像装置は、以下の構成要素のうちの1つ以上を含むことができる。励起光源を、蛍光体を励起することができる第1の放射線を放射するように構成することができる。フィルタを、反射された励起光の通過を防止し、フルオロフォアによって放たれた蛍光の通過を許すように構成することができる。撮像レンズを、放射線を集めるように構成することができる。可視光源を、第2の放射線を放射するように構成することができる。赤外線光源を、第3の放射線を放射するように構成することができる。少なくとも1つのイメージセンサを、放射線を検出するように構成することができる。プロセッサを、検出された放射線を受信し、検出された放射線に関連するデータを出力するように構成することができる。撮像装置を、手持ちされるように構成することができる。撮像装置を、本明細書に記載の方法のいずれかを実行するために使用することができる。
本開示の一態様によれば、撮像装置が提供される。撮像装置は、以下の構成要素のうちの1つ以上を含むことができる。励起光源を、蛍光体を励起することができる第1の放射線を放射するように構成することができる。フィルタを、反射された励起光の通過を防止し、フルオロフォアによって放たれた蛍光の通過を許すように構成することができる。撮像レンズを、放射線を集めるように構成することができる。可視光源を、第2の放射線を放射するように構成することができる。赤外線光源を、第3の放射線を放射するように構成することができる。少なくとも1つのイメージセンサを、放射線を検出するように構成することができる。プロセッサを、検出された放射線を受信し、検出された放射線に関連するデータを出力するように構成することができる。撮像装置を、手持ちされるように構成することができる。
本開示の一態様によれば、ターゲットの3次元蛍光ベース撮像のためのシステムが提供される。システムは、以下の構成要素のうちの1つ以上、撮像装置について説明した構成要素のうちの1つ以上、またはその両方を含むことができる。少なくとも1つの励起光源を、蛍光撮像の際にターゲット表面を励起光の均一な場場で均一に照射するように構成することができる。少なくとも1つの白色光源を、白色光撮像の際にターゲット表面を照射するように構成することができる。少なくとも1つの赤外線放射源を、赤外線放射をターゲット表面に向かって放射するように構成することができる。イメージセンサが、蛍光、反射放射線、またはその両方を検出することができる。フィルタを、励起光によるターゲット表面の照射に応答した光学信号であって、細菌の自己蛍光、組織の自己蛍光、および外因的に誘導された蛍光のうちの1つ以上に対応する波長を有している光学信号が、フィルタを通過してイメージセンサに到達できるように構成することができる。プロセッサを、例えば、以下のうちの1つ以上を実行するように構成することができる。プロセッサは、赤外光によるターゲットの照射に応答した光学信号を受信することができ、赤外光によるターゲットの照射に応答した受信信号に基づいて、プロセッサは、ターゲット表面の3次元マップを生成することができる。プロセッサは、励起光によるターゲット表面の照射に応答する検出された光学信号を受信し、ターゲット表面の2次元蛍光画像を生成することができる。プロセッサは、ターゲット表面の白色光照射に応答する光学信号を受信し、ターゲット表面の2次元白色光画像を生成することができ、プロセッサは、3次元マップ、蛍光画像、および白色光画像を組み合わせて、ターゲット表面の3次元画像を生成することができる。
本開示の一態様によれば、撮像装置と共に使用するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体を含むことができる。非一時的なコンピュータ可読媒体は、画像処理のためのコンピュータプログラムコードを記憶することができる。コンピュータプログラムコードは、本明細書に記載の方法のうちの1つ以上を実行するために、撮像装置内のプロセッサによって実行可能であってよい。
本開示のさらなる目的および利点は、部分的には以下の説明に記載され、部分的には説明から明らかになると考えられ、あるいは本開示の実施によって習得可能である。本開示の目的および利点は、添付の特許請求の範囲においてとくに指摘される要素および組み合わせによって達成可能である。
以上の一般的な説明および以下の詳細な説明の両方は、あくまでも例示および説明のためのものにすぎず、特許請求の範囲に記載される本開示を限定するものではない。
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本開示の1つ(複数)の実施形態を示し、説明と併せて本開示の原理を説明する役目を果たす。
表面上のフルオレセイン基準マーカおよび表面の直下に注入された蛍光PPIXでマークされた組織ファントムの白色光写真である。この組織ファントムは、乳房の乳腺腫瘤切除組織サンプルを模擬するために使用されるブタ組織片である。 第1の画角からの組織ファントムの3次元白色光表面画像である。 第2の画角からの組織ファントムの3次元白色光表面画像である。 第1の画角からの組織ファントム+メッシュの3次元白色光表面画像である。 第2の画角からの組織ファントム+メッシュの3次元白色光表面画像である。 第1の画角からの組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第2の画角からの組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第1の画角からの組織ファントムの生メッシュ/表面画像である。 第2の画角からの組織ファントムの生メッシュ/表面画像である。 第1の画角からの組織ファントムの3次元蛍光表面画像である。 第2の画角からの組織ファントムの3次元蛍光表面画像である。 第1の画角からの組織ファントム+メッシュの3次元蛍光表面画像である。 第2の画角からの組織ファントム+メッシュの3次元蛍光表面画像である。 第1の画角からの組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第2の画角からの組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第1の画角からの組織ファントムの生メッシュ/表面画像である。 第2の画角からの組織ファントムの生メッシュ/表面画像である。 CT基準点を蛍光基準点に重ねた組織ファントムの第1の図である。 CT基準点を蛍光基準点に重ねた組織ファントムの第2の図である。 第1の画角からの組織ファントムのコーンビームCT3次元体積再構成である。 第1の画角からの組織ファントムの蛍光3次元レンダリングである。 第1の画角からの組織ファントムの位置合わせされたCT+蛍光画像である。 第2の画角からの組織ファントムのコーンビームCT3次元体積再構成である。 第2の画角からの組織ファントムの蛍光3次元レンダリングである。 第2の画角からの組織ファントムの位置合わせされたCT+蛍光画像である。 第3の画角からの組織ファントムのコーンビームCT3次元体積再構成である。 第1の画角からの組織ファントムの蛍光3次元レンダリングである。 第3の画角からの組織ファントムの位置合わせされたCT+蛍光画像である。 第4の画角からの組織ファントムのコーンビームCT3次元体積再構成である。 第4の画角からの組織ファントムの蛍光3次元レンダリングである。 第4の画角からの組織ファントムの位置合わせされたCT+蛍光画像である。 が、ヒトの皮膚と同様の皮膚を有するブタの肩からの作成中の腫瘍モデルのための第2の組織ファントムの第1の画像である。 作成中の腫瘍モデルのための第2の組織ファントムの第2の画像である。 モデルPPIX腫瘍を示す第2の組織ファントムの画像であり、フルオレセイン基準マーカも見て取ることができる。 蛍光を励起するために紫色光に曝露されている第2の組織ファントムの斜視図の画像である。 蛍光を励起するために紫色光に曝露された第2の組織ファントムの発光画像の平面図の画像である。 第1の画角からの第2の組織ファントムの3次元白色光表面画像である。 第2の画角からの第2の組織ファントムの3次元白色光表面画像である。 第1の画角からの第2の組織ファントム+メッシュの3次元白色光表面画像である。 第2の画角からの第2の組織ファントム+メッシュの3次元白色光表面画像である。 第1の画角からの第2の組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第2の画角からの第2の組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第1の画角からの第2の組織ファントムの生メッシュ/表面画像である。 第2の画角からの第2の組織ファントムの生メッシュ/表面画像である。 第1の画角からの第2の組織ファントムの3次元蛍光表面画像である。 第2の画角からの第2の組織ファントムの3次元蛍光表面画像である。 第1の画角からの第2の組織ファントム+メッシュの3次元蛍光表面画像である。 第2の画角からの第2の組織ファントム+メッシュの3次元蛍光表面画像である。 第1の画角からの第2の組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第2の画角からの第2の組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第1の画角からの第2の組織ファントムの生メッシュ/表面画像である。 第2の画角からの第2の組織ファントムの生メッシュ/表面画像である。 作成中の創傷モデルのための第3の組織ファントムの第1の画像である。 作成中の創傷モデルのための第3の組織ファントムの第2の画像である。 創傷内の細菌の存在を模擬するためにPPIXが塗布された深い創傷を示す作成中の創傷モデルのための第3の組織ファントムの第3の画像である。 深い創傷および表在性創傷の両方、ならびにフルオレセイン基準マーカを示す作成中の創傷モデルのための第3の組織ファントムの第4の画像である。 第1の画角からの第3の組織ファントムの3次元白色光表面画像である。 第2の画角からの第3の組織ファントムの3次元白色光表面画像である。 第1の画角からの第3の組織ファントム+メッシュの3次元白色光表面画像である。 第2の画角からの第3の組織ファントム+メッシュの3次元白色光表面画像である。 第1の画角からの第3の組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第2の画角からの第3の組織ファントムの3次元メッシュ+白色光オーバーレイ画像である。 第1の画角からの第3の組織ファントムの生メッシュ/表面画像である。 第2の画角からの第3の組織ファントムの生メッシュ/表面画像である。 第1の画角からの第3の組織ファントムの3次元蛍光表面画像である。 第2の画角からの第3の組織ファントムの3次元蛍光表面画像である。 第1の画角からの第3の組織ファントム+メッシュの3次元蛍光表面画像である。 第2の画角からの第3の組織ファントム+メッシュの3次元蛍光表面画像である。 第1の画角からの第3の組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第2の画角からの第3の組織ファントムの3次元メッシュ+蛍光オーバーレイ画像である。 第1の画角からの第3の組織ファントムの生メッシュ/表面画像である。 第2の画角からの第3の組織ファントムの生メッシュ/表面画像である。 コーンビームCTスキャン用のCT基準マーカで準備された第3の組織ファントムの画像である。 第3の組織ファントムのコーンビームCTスキャン画像である。 コーンビームCTスキャンのために作成された第3の組織ファントムの画像である。 コーンビームCTスキャンの最中の第3の組織ファントムの画像である。 CTスキャンのためにCT基準点をフルオレセイン基準点に空間的に位置合わせして作成された第3の組織ファントムの画像である。 CTスキャンの最中の第3の組織ファントムの画像である。 本開示に従って測定された創傷のトポロジの写真である。 本開示の方法を示すフローチャートである。 本開示の方法を示すフローチャートである。 本開示の方法を示すフローチャートである。 本開示の方法を示すフローチャートである。
本開示は、これまでは不可能であった目標を達成し、あるいはそれらの目標を以前よりも効果的に達成するために、オブジェクトのより良好な特徴把握および理解においてユーザを手助けするオブジェクトの3次元画像の生成を可能にする。特有の情報を保持する何種類かの画像を、問題を視覚化して解決策をより容易に発見するうえでユーザの助けとなるやり方で組み合わせることができる。病気の組織またはがん組織の場所についての情報を保持する蛍光画像が、白色光画像の直接的な背景に配置されたときに、蛍光が保持する情報をより馴染みのある背景において外科医に示すことにより、病変組織のより正確な除去において外科医を助け、再手術の必要性を最小化することができる。さらに、これらの画像を、実際のオブジェクトをより良好に近似するモデル環境においてユーザを案内するための重ね合わせのために、2次元画像から3次元画像へと変換することができる。2次元画像を、オブジェクトの3次元マップの周囲に巻き付けることによって、3次元画像に変換することができる。3次元マップは、例えばメッシュなど、多くの形態をとることができ、例えば赤外線放射およびそのオブジェクトとの相互作用を使用して、さまざまな異なる技術を使用して生成することができる。
撮像されるオブジェクトは、生物学的ターゲットのターゲット領域であってよいが、視覚化されるオブジェクトは、決して医学の場面に限定されない。むしろ、本開示の方法、装置、システム、およびプログラムは、例えば、食品の安全性、衛生、セキュリティ、化粧品、農業、園芸、医薬の領域、農業、獣医学の分野、国境税関、品質管理、および法医学において、蛍光によってもたらされる情報が有意義である幅広い範囲の技術分野に適用可能である。画像は、単一の画像、連続的な画像の組、不連続な画像の組、共通の視点(角度)からの画像の組、異なる視点(角度)からの画像の組、同じ撮像技術を使用した画像の組、異なる撮像技術を使用した画像の組、時間経過画像の組、およびビデオのうちの1つ以上を含むことができる。ビデオは、1組または複数組の画像を含むことができる。
本開示によれば、2次元画像を使用してターゲットの3次元画像を生成する方法が提供される。この方法は、例えば、以下を含むことができる。1つ以上の基準マーカが関連付けられたターゲット領域の3次元マップを生成することができる。ターゲット領域および基準マーカの2次元白色光画像をキャプチャすることができる。白色光画像を、単一の波長または可視光波長のサブセットを構成する波長の組み合わせで置き換えることができる。2次元白色光画像および3次元マップから、3次元白色光画像を生成することができる。ターゲット領域および基準マーカの2次元蛍光画像をキャプチャすることができる。2次元蛍光画像および3次元マップから、3次元蛍光画像を生成することができる。3次元白色光画像および3次元蛍光画像を、基準マーカを使用して整列させて、3次元重畳画像を形成することができる。510、520、530、540、550、および560として示されたこのようなステップの例が、図38に示されている。ステップの順序は、変更可能である。2次元画像を重ね合わせた後に、一括して、3次元マップを使用して3次元重畳画像へと変換することができる。3次元マップは、メッシュの形態であってよい。
ターゲット領域および基準マーカの2次元蛍光画像のキャプチャは、任意の適用可能な技術を使用して実行可能である。例えば、キャプチャは、ターゲット領域および基準マーカを励起光で照明することと、ターゲット領域の励起光による照明に応答した少なくとも1つの蛍光発光を受光することとを含むことができる。542および544として示されたこのようなステップの例が、図39に示されている。励起光は、1つ以上の波長を含むことができる。例えば、励起光は、約400nm~約450nmの間であってよい。約405nmの波長が、そのような例である。ターゲット領域および基準マーカの2次元蛍光画像のキャプチャは、少なくとも1つの蛍光分子の発光をキャプチャすることを含むことができる。少なくとも1つの蛍光分子は、蛍光を発することができる内因性分子を含むことができる。少なくとも1つの蛍光分子は、外因性分子によって誘導されて蛍光を発することができる内因性分子を含むことができる。誘導は、例えば、内因性分子の蓄積、改変、またはその両方によってもたらされ得る。少なくとも1つの蛍光分子は、蛍光を発することができる外因性分子、蛍光を発することができる外因的に付加された部分を含む分子、またはその両方を含むことができる。例えば、少なくとも1つの蛍光分子は、アミノレブリン酸(ALA)誘導ポルフィリンを含むことができる。
3次元マップを、任意の適切な技術または技術の組み合わせを使用して生成することができる。例えば、3次元マップを、赤外光を使用して生成することができる。3次元マップを、近赤外光を使用して生成することができる。例えば、3次元マップの生成は、ターゲット領域に赤外線放射を投射することと、ターゲット領域によって反射された赤外線放射を受光することと、反射された赤外線放射に基づいてターゲット領域の深度を測定して3次元マップを生成することとを含むことができる。512、514、および516として示されたこのようなステップの例が、図40に示されている。赤外線放射を、光パターンに分割されたビームとして投射することができる。反射された赤外線放射は、光パターンの歪みを含むことができ、深度を、光パターンの歪みに基づいて測定することができる。光パターンを、回折格子によって形成することができる。光パターンは、任意のサイズ、形状、または強度、あるいはこれらの組み合わせの複数のドットを含むことができる。深度を測定について、代案の方法を使用することができる。例えば、深度を、投射された赤外線放射と反射された赤外線放射との間の位相シフトに基づいて飛行時間によって測定することができる。
本開示によれば、以下のステップを実行することができる。1つ以上の基準マーカを、生物学的ターゲットの表面のターゲット領域の周囲の内側に配置することができ、そのような周囲に沿って配置することができ、さらには/あるいはそのような周囲の外側に配置することができる。ターゲット領域の3次元マップを、ターゲット領域に赤外線放射を投射し、ターゲット領域によって反射された赤外線放射を受光し、反射された赤外線放射に基づいてターゲット領域の深度を測定して3次元マップを生成することによって、生成することができる。ターゲット領域および1つ以上の基準マーカの2次元白色光画像をキャプチャすることができる。白色光画像を、単一波長の光または可視光波長のサブセットを構成する光の波長の組み合わせで置き換え、あるいは生成することができる。2次元白色光画像および3次元マップから、3次元白色光画像を生成することができる。ターゲット領域および1つ以上の基準マーカの2次元蛍光画像をキャプチャすることができる。蛍光2次元画像のキャプチャは、ターゲット領域および1つ以上の基準マーカを、ターゲット領域内の少なくとも1つの蛍光分子を励起することができる少なくとも1つの波長に曝露することと、ターゲット領域内の少なくとも1つの蛍光分子からの少なくとも1つの蛍光発光をフィルタを通して受光することとを含むことができる。2次元蛍光画像および3次元マップから、3次元蛍光画像を生成することができる。3次元白色光画像および3次元蛍光画像を、1つ以上の基準マーカを使用して整列させて、3次元重畳画像を形成することができる。ステップの順序は、変更可能である。2次元画像を重ね合わせた後に、一括して、3次元マップを使用して3次元重畳画像へと変換することができる。3次元マップは、メッシュの形態であってよい。
2次元白色光画像、2次元蛍光画像、または本明細書に記載の任意の他の種類の画像は、任意の適切なカメラ、撮像装置、またはイメージセンサを使用してキャプチャ可能である。例えば、カナダのオンタリオ州トロントのMolecuLight Inc.から入手することができるMolecuLight i:Xという撮像装置が、5メガピクセルのカメラを含み、405nmで発光し、それぞれ500~545nmおよび600~665nmの蛍光発光フィルタを含んでいる。参照によりその全体が援用される米国特許第9,042,967号に記載の撮像装置および関連の方法を使用することができる。あるいは、各々の全内容が参照によって本明細書に援用される2018年2月2日に出願された「腫瘍の可視化および除去のための装置、システムおよび方法(Devices,Systems,and Methods for Tumor Visualization and Removal)」という名称の米国仮特許出願第62/625,967号、2018年2月3日に出願された「腫瘍の可視化および除去のための装置、システムおよび方法(Devices,Systems,and Methods for Tumor Visualization and Removal)」という名称の米国仮特許出願第62/625,983号、および/または2019年2月1日に出願され、「腫瘍の可視化および除去のための装置、システムおよび方法(Devices,Systems,and Methods for Tumor Visualization and Removal)」という名称であり、国際公開第2019/148,268号として2019年8月8日に公開された国際出願PCT/CA2019/000015号に開示されている装置のうちの1つを、白色光画像および/または蛍光画像をキャプチャするために使用することができる。
電荷結合ディスプレイ(CCD)、相補型金属酸化膜半導体(CMOS)、N型金属酸化膜半導体(NMOS)、量子イメージセンサ(QIQ)、または他のイメージセンサ、あるいはこれらの組み合わせを、2次元白色光画像、2次元蛍光画像、または本明細書に記載の任意の他の種類の画像のキャプチャに使用することができる。画像を、人工および/または自然の周囲光、1つ以上の専用光源、またはこれらの組み合わせを使用してキャプチャすることができる。例えば、画像を、フラッシュ撮影を使用してキャプチャすることができる。
白色光の光源は、全スペクトルまたは部分スペクトルの可視光であってよい。例えば、白色光スペクトルは、約380nm~約740nm、約400nm~約700nm、約425nm~約690nm、約450nm~約680nm、またはこれらの任意の中間範囲であってよい。白色光の光源を、直接的に、あるいは当初から、白色光として生成することが可能であり、そのような白色光を、異なる波長の光源、例えば量子ドット(QDot)を使用して複数の波長またはより広いスペクトルの波長へとシフトされる所定の波長または波長範囲の光源、あるいはこれらの任意の組み合わせから形成することが可能である。白色画像を、例えば、単色画像、赤外線画像、または紫外線画像、あるいはこれらの任意の組み合わせで置換または補完することが可能である。
赤外線を、任意の適切な技術、装置、またはそれらの組み合わせを使用して生成、投射、および受光することができる。赤外線放射を、光パターンに分割されたビームとして投射することができ、反射された赤外線放射は、光パターンの歪みを含むことができ、深度を、光パターンの歪みに基づいて測定することができる。したがって、赤外線放射は、構造化光を含むことができる。光パターンを、回折格子によって形成することができ、光パターンは、複数のドットを含むことができる。深度の測定値を、三角測量を使用して決定することができる。上述の赤外線深度撮像を、Microsoft Kinect Iシステム(ワシントン州レドモンドのMicrosoft Corporation)で使用することができる。構造化されていない赤外線放射を、構造化された赤外線放射に加え、あるいは代えて、使用することができる。これに加え、あるいはこれに代えて、深度を、例えば投影された赤外線放射と反射された赤外線放射との間の位相シフトに基づいて、1つ以上の飛行時間(ToF)センサによって測定することができる。この形式の赤外線深度撮像を、Microsoft Kinect IIシステムで使用することができる。任意の適切な赤外線カメラ、センサ、または撮像装置、あるいはそれらの組み合わせを使用することができる。
投射される赤外線放射および/または反射された赤外線放射は、約700nm~約1.0mm、約750nm~約1.0μm、約1.0μm~約1.25μm、約1.25μm~約1.5μm、約1.5μm~約5.0μm、約5.0μm~約15.0μm、約15.0μm~約50μm、約50μm~約150μm、約150μm~約250μm、約250μm~約500μm、約500μm~約750μm、もしくは約750μm~約1.0mm、またはこれらの中間範囲、あるいはこれらの組み合わせであってよい。赤外線撮像を、近赤外(例えば、約0.75μm~約1.4μm)、短波長赤外(例えば、約1.4μm~約3.0μm)、中波長赤外(例えば、約3.0μm~約8.0μm)、長波長赤外(例えば、約8.0μm~約15μm)、遠(超長波)赤外(例えば、約8.0μm~約1.0mm)、またはこれらの任意の組み合わせにおいて実行することができる。
本開示において使用するための白色光源、蛍光励起光源、赤外光源、または任意の他の関連の光源は、任意の適切な設計または設計の組み合わせであってよい。光源は、コヒーレントまたは非コヒーレント、平行または非平行、集束または非集束、偏光または非偏光、あるいはこれらの任意の組み合わせであってよい。約1度未満、約1度~約5度、約5度~約15度、約15度~約25度、約25度~約35度、約35度~約50度、約50度~約75度、約75度~約90度、約90度~約120度、約120度~約150度、および約150度~約180度の光ビーム角度を、白色光または他の光源として使用することができる。1つ以上のレーザおよび/または発光ダイオード(LED)を使用することができる。白熱、熱、アーク、白熱、蛍光、半導体系、ナトリウム蒸気、または水銀蒸気、あるいはこれらの任意の組み合わせまたは数を、光源として使用することができる。単一または複数の光源を使用することができる。光源のアレイを使用することができる。
撮像および/または測定されるターゲットまでの光源の距離は、ターゲット領域から、例えば約1.0mm~約10m、約0.5cm~約5.0m、約1.0cm~約2.5m、約2.5cm~約1.0m、約5.0cm~約0.5m、約10.0cm~約0.25m、もしくは約25cm~約100cm、またはこれらの任意の中間距離、あるいはこれらの任意の組み合わせであってよい。任意の数または種類の光源を使用することができる。光源は、固定または移動可能であってよい。光源は、カメラ、検出器、または他の撮像装置を収容する同じ装置に統合されてよく、さらには/あるいはそのような装置の外部にあってよい。光源は、ターゲット領域またはターゲット体積の内部または外部に位置することができる。1つ以上の光源を、例えば組み込まれたピボットを使用することによって、撮像面における照明角度およびスポットサイズを変化させるように(例えば、手動で)関節運動させることができ、例えば壁コンセントおよび/または別個の可搬の充電式電池パックへの電気接続を介して動作させることができる。
蛍光励起波長を、撮像のターゲットとされる1つ以上のフルオロフォアの発光波長に一致させることができる。例えば、励起波長は、約300nm~約325nm、約325nm~約350nm、約350nm~約375nm、約375nm~約400nm、約400nm~約425nm、約425nm~約450nm、約450nm~約475nm、約475nm~約500nm、約500nm~約525nm、約525nm~約550nm、約550nm~約575nm、約575nm~約600nm、約600nm~約625nm、約625nm~約650nm、約675nm~約700nm、約750nm~約775nm、約775nm~約800nm、約800nm~約825nm、約825nm~約850nm、約850nm~約875nm、約875nm~約900nm、もしくは約900nm~約1.0mm、またはこれらの任意の中間もしくは重複範囲、あるいはこれらの任意の組み合わせであってよい。
少なくとも1つの蛍光励起波長は、例えば、約0.0nm、約0.01nm~約0.05nm、約0.5nm~約1.0nm、約1.0nm~約2.5nm、約2.5nm~約7.5nm、約10nm~約25nm、もしくは約15nm~約30nmの広がり、または中間の広がり、あるいはこれらの組み合わせを持つ405nmなどの波長を含むことができる。撮像装置は、例えば、励起光源または照明光源として撮像検出器アセンブリの各側にそれぞれ位置する2つの紫色/青色光(例えば、405nm+/-10nmの発光、狭い発光スペクトル)LEDアレイ(カリフォルニア州ニューベリーパークのOpto Diode Corporation)を使用することができる。これらのアレイは、例えば、それぞれ2.5×2.5cm2の光源から発する70度の照明ビーム角度を持つ約1ワットの出力を有する。LEDアレイを、約10cmの距離から組織表面を照明するために使用することができ、これは、皮膚表面における全光出力密度を約0.08W/cm2にできることを意味する。
光源によって生成された光信号を、励起光を排除するが、組織からの放射光のうちの選択された波長の検出を可能にする1つ以上の光学フィルタを使用して、撮像装置によって検出することができ、したがってディスプレイ上に画像を形成することができる。所望の光の波長に基づいてターゲットからの特定の光信号を選択的に検出するために、帯域通過フィルタを選択し、デジタルカメラのレンズあるいは他の画像検出器またはセンサの前方に整列させることができる。検出された光信号(例えば、吸収、蛍光、および/または反射)のスペクトルフィルタ処理は、液晶チューナブルフィルタ(LCTF)、または電子的に調整可能な固体スペクトル帯域通過フィルタであってよい音響光学チューナブルフィルタ(AOTF)を使用することもできる。スペクトルフィルタ処理は、連続可変フィルタおよび/または手動帯域通過光学フィルタの使用を含むこともできる。これらの装置を、ターゲット領域のマルチスペクトル、ハイパースペクトル、および/または波長選択的撮像を生み出すために、撮像検出器の前方に配置することができる。
光学または可変配向偏光フィルタ(例えば、光波長板の使用と組み合わせた直線または円偏光フィルタ)を、1つ以上の光源、ならびに/あるいは撮像装置、センサ、またはカメラに取り付けることができる。これらのフィルタは、白色光反射および/または蛍光撮像のいずれかで、偏光照明および無偏光検出、またはその逆、あるいは偏光照明および偏光検出による撮像を可能にすることができる。
PrimeSenseカメラ(カリフォルニア州クパチーノのApple Inc.から入手可能な技術)、その構成要素、または3次元撮像が可能な他のセンサを、本開示の技術において使用することができる。PrimeSenseカメラは、Carmine 1.08センサ、Carmine 1.09(短距離)センサ、およびCapri 1.25(埋め込み型)センサを含む。深度の取得は、光符号化技術を使用する。シーンを近赤外光で走査することができる。赤外線ドットパターンを、ターゲット領域に向かって外へと放射することができる。光がターゲット領域に接触すると歪む可能性があり、この歪みを、カメラまたは例えばCMOSイメージセンサを含む他のセンサによって測定することができる。赤外線カメラセンサが、ターゲット上のドットパターンを撮像すると同時に、白色光RGBカメラ(赤外線カメラに隣接する)が、ターゲットの通常の白色光画像をキャプチャする。CMOSイメージセンサは、可視ビデオセンサと協働して、カラー画像とマージさせることができるPrimeSenseシステムオンチップ(SoC)Carmine(PS 1080)およびCapri(PS 1200)センサによってもたらされる深度マップを生成する。
一例として、PrimeSenseデバイスは、(肉眼では見えない)赤外線ドットパターンをターゲットに向かって外へと放射する。赤外線カメラセンサが、ターゲット上のドットパターンを撮像すると同時に、白色光RGBカメラ(赤外線カメラに隣接する)が、ターゲットの通常の白色光画像をキャプチャする。組み込みソフトウェアが、ターゲットトポロジの赤外線ドットパターンから「メッシュ」を生成する。次に、画像(変換機能)モーフィングソフトウェアコードを使用して、白色光画像でこのメッシュトポロジを包む。結果は、2次元から3次元へと変換することができる白色光画像である。このプロセスを実行するために使用されるソフトウェアは、OpenNIと呼ばれるオープンソースソフトウェア開発キット(SDK)であってよい。OpenKinectまたはMicrosoft Kinectソフトウェア開発キットなど、任意の適切なソフトウェアを使用することができる。メッシュまたは点群を、MeshLabを使用して生成および操作することもできる。
これに代え、あるいはこれに加えて、本開示によれば、カラー画像は、蛍光画像であってよい。位置合わせプロセスを実行して、カラー画像(RGB)および深度(D)情報を整列させることができる。ターゲット領域のVGAサイズの深度画像を生成するために、光符号化赤外線パターンを解読することができる。PrimeSenseカメラは、画像処理のための組み込みソフトウェアを含む。追加または代替のソフトウェアを使用することができる。例えば、OpenNIと呼ばれるオープンソースのSDKを用いることができる。組み込みソフトウェアは、ターゲットトポロジの赤外線ドットパターンから「メッシュ」を生成する。次に、画像(変換機能)モーフィングソフトウェアコードを使用して、白色光画像でこのメッシュトポロジを包む。結果は、2次元から3次元へと変換することができる白色光画像である。PrimeSenseカメラは、可視ビデオ、深度、およびオーディオ情報を、USB 2.0インターフェースを介して同期された様相でもたらすことができる。PrimeSenseカメラに代え、あるいは加えて、ASUS Computer International(カリフォルニア州フリーモント)から入手可能なXtion PRO LIVEカメラ(赤外線ドットプロジェクタ、RGBカメラ、および赤外線カメラを含む)を使用することができる。参照によってその全体が援用される米国特許出願第2017/0054966号に記載されているようなカメラ/センサ/プロジェクタシステムを使用することができる。ターゲット領域の3次元座標情報を取得するために、深度測定のための構造化光に基づく赤外線撮像に代え、あるいは加えて、飛行時間型赤外線撮像を使用することができる。
撮像に先立ち、基準マーカ(例えば、消せない蛍光インクペンを使用)を、皮膚の表面、あるいは生物学的ターゲットの縁または周囲の付近の他の関連の表面に配置することができる。例えば、各々が臨床技師にキットとして供給することができる別々の消せない蛍光インクペンからの異なる蛍光インク色からなる4つのスポットを、正常な皮膚表面のターゲット領域のマージンまたは境界の近くに配置することができる。これらの色を、励起光と、4つのインクスポットの発光波長に一致するマルチスペクトル帯域フィルタとを使用して、装置によって撮像することができる。次いで、画像間の整列のために基準マーカを位置合わせすることによって、画像分析を実行することができる。この技術は、ターゲット領域の長期的な時系列撮像を容易にすることができ、したがって、臨床技師は、画像の取得のたびに撮像装置を整列させる必要なく、経時的にターゲット領域を撮像することができる。
蛍光画像の強度較正を支援するために、使い捨ての単純な蛍光標準「ストリップ」を、ターゲット領域の撮像時に視野に(例えば、ストリップを皮膚に一時的に貼り付ける弱い接着剤を使用することによって)配置することができる。ストリップに、画像強度較正のための単一(例えば、405nm)または複数の蛍光発光波長または波長帯域を有することができる励起光源によって照らされたときに所定の較正された蛍光強度を生成することができるさまざまな濃度の1つ以上の異なる蛍光色素を含浸させることができる。さらに、使い捨てストリップは、別個の消せない蛍光インクペンからの上述の4つのスポット(例えば、各々が異なる直径またはサイズであり、各々が異なる蛍光インク色であり、固有の黒点が隣に配置されている)を有することができる。ストリップが正常な皮膚表面のターゲット領域のマージンまたは境界の近くに配置された状態で、装置を使用して白色光および蛍光画像を撮影することができる。ストリップは、所与のターゲット領域の複数の画像を経時的に撮影し、次いで画像分析を使用して画像を整列させる便利なやり方を提供することができる。さらに、蛍光「強度較正」ストリップは、ターゲット領域の空間距離の測定を助けるための固定長の定規などの追加の線形測定装置を含むことができる。そのようなストリップは、画像パラメータ(例えば、ターゲット領域のサイズ、蛍光強度、など)の較正または測定を支援するために装置と共に使用することができる較正ターゲットの一例であり得る。これに加え、あるいはこれに代えて、他の類似または機能的に等価な較正ターゲットを使用することができる。
1つ以上の基準マーカは、蛍光基準マーカを含むことができる。例えば、蛍光基準マーカは、フルオレセインを含むことができる。少なくとも1つの蛍光分子は、蛍光を発することができる内因性分子、蛍光を発することができる外因性分子、またはその両方を含むことができる。少なくとも1つの蛍光分子は、外因性分子によって誘導されて蛍光を発することができる内因性分子を含むことができる。誘導は、例えば、内因性分子の蓄積、改変、またはその両方によってもたらされ得る。少なくとも1つの蛍光分子は、蛍光を発することができる外因性分子、または蛍光を発することができる外因的に付加された部分を含む分子を含むことができる。一例においては、インドシアニングリーン(ICG)が、約760nm、約780nm、またはその両方で励起され得る。約657nm~約825nmのノッチを含むフィルタを、760nmの励起に使用することができる。約690nm~約840nmのノッチを含むフィルタを、780nmの励起に使用することができる。
本明細書に記載の技術は、一部、大部分、または本質的にすべての組織自己蛍光(AF)を検出することができる。例えば、マルチスペクトル帯域フィルタを使用して、緑色に見えるコラーゲン(I型、II型、III型、IV型、V型、およびその他)、緑色がかった黄橙色に見えるエラスチン、還元型ニコチンアミドアデニンジヌクレオチド(NADH)、青緑色の自己蛍光信号を発するフラビンアデニンジヌクレオチド(FAD)、および大部分は広い(例えば、緑色および赤色の)事項蛍光発光を有するように現れることができる細菌/微生物など、さまざまな組織生体分子から生じる組織自己蛍光、ならびに例えば405nmの励起下での血液関連の光吸収を測定することができる。画像分析は、画像内の赤-緑のAFの比を計算することを含むことができる。強度の計算を、ターゲット領域の画像内の関心対象の領域から得ることができる。擬似カラー画像を、ターゲット領域の白色光画像へとマッピングすることができる。
本開示の技術を、これに限られるわけではないがALAなどの外因性の「プロドラッグ」剤と共に使用して、細菌/微生物におけるポルフィリンの内因性の生成を増加させることで、これらの細菌から生じる固有の「ポルフィリン」蛍光信号の強度を高め、装置の検出感度および特異性を改善することができる。したがって、これらの技術を、後続の画像による案内下での狙いを定めたスワブ採取/生検、あるいは光線力学的療法(PDT)または高気圧酸素療法(HOT)などを用いた治療のために、培養下または患者の創傷において増殖する細菌の光増感剤が誘発させる蛍光(例えば、PpIX)を好都合に撮像するために使用することができる。これらの技術は、例えば消費できる市販の蛍光造影剤と共に使用されるとき、ターゲット領域内およびターゲット領域周辺の細菌を高感度に検出するために、信号対バックグラウンドを向上させることができる。
少なくとも1つの蛍光分子は、例えばアミノレブリン酸(ALA)誘導ポルフィリンなどの誘導された内因性蛍光分子を含むことができる。ALAをターゲット領域に局所的に投与することができ、ターゲット領域の細菌の強められた赤色蛍光について、1~3時間後に撮像を行うことができる。プロドラッグアミノレブリン酸(ALA)は、ほとんどすべての生細胞においてポルフィリンの形成を引き起こす。ALAに曝露された多くの細菌種は、プロトポルフィリンIX(PpIX)の蛍光を引き起こすことができる。超低用量のALAの使用で、細菌におけるPpIXの形成を引き起こすことができ、したがって赤色の蛍光発光を増加させ、結果として、装置によって撮像される細菌の赤色-緑色の蛍光コントラストを高めることができる。ALAは、それ自身は蛍光を放つことはないが、PpIXが、おおむね630nm、680、および710nmで蛍光を放ち、630nmの発光が最も強い。次いで、撮像装置を使用して、ターゲット領域および周囲の組織からの緑色および赤色蛍光を撮像することができる。
臨床技師は、通常は凍結乾燥形態で市販されているALAを、生理食塩水または他の種類の市販のクリーム/軟膏/ヒドロゲル/ドレッシングなどと所与の用量で事前に混合し、この薬剤を撮像に先立ってターゲット領域へと噴霧し、注ぎ、あるいは慎重に塗布することによって局所的に投与することができる。約10~30分後(ただし、この時間はさまざまであり得る)に、蛍光撮像を、薄暗い部屋または暗い部屋で行うことができる。白色光下のおそらくは自己蛍光に乏しい細菌は、ターゲット領域およびその周囲に明るい赤色蛍光領域として現れることができる。蛍光画像を、固有の細菌蛍光信号に基づいて細菌培養に関するターゲット領域の狙いを定めたスワブ採取、生検、および/または細針吸引を案内するために使用することができる。この処置を、表在性の創傷および深部の創傷についてさまざまな深度で実施することができる。
外因性光学分子を対象とする適切なプローブを、タンパク質、モノクローナル抗体、核酸、およびオリゴヌクレオチド(Invitrogen)を標識するためのAlexa Fluor活性エステルおよびキット(例えば、Zenon抗体標識キットおよび/またはEnzChekプロテアーゼアッセイキット、Invitrogen)などの市販の蛍光標識キットを使用して作成することができる。例えば、これらの蛍光色素生体共役反応物は、以下のように波長範囲をカバーする:Alexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、およびAlexa Fluor 750色素(ここで、記載の数字は色素の励起波長を指す)。これらのキットは、良好に区別された蛍光発光スペクトルを提供でき、撮像装置における蛍光発光フィルタの適切な選択に基づく多色蛍光検出および蛍光共鳴エネルギ移動のための多数の選択肢を提供することができる。蛍光色素は、一般的な励起源の最大出力の波長において高い吸光度を提供することができる。それらは、それらの生体共役反応物の蛍光の達成を助けるために、明るく、著しく光安定性であり得る。色素は、臨床検査室内での共役反応の容易さ、ならびに得られた共役反応物の沈殿および凝集に対する抵抗のために、良好な水溶性を提供することができる。色素の蛍光スペクトルは広範囲にわたってpHに不感であり得、これにより、創傷のpHがさまざまであり得るがゆえに、創傷の撮像にとくに有利になる。さらに、蛍光血液プール剤、ならびに例えばVisEn Medical(米国マサチューセッツ州ボストン)からのさまざまな創傷-酵素またはプロテアーゼ活性化プローブなど、創傷の生物学的撮像に適することができ、上述の装置と組み合わせることが可能である他の市販または非市販の蛍光剤が存在する。
これらの狙いを付けた蛍光生体共役反応物を、蛍光モードの撮像装置を使用したターゲット領域の臨床検査の前に、そのような標識キットを使用して作成することができる。それらを、光退色を回避するために、遮光容器に保存することができる。そのような蛍光生体共役反応物を、装置を用いたターゲット領域の蛍光撮像に先立って、既知の適切な濃度の溶液にて作成でき、その後に、例えば局所(例えば、エアロゾルまたはスプレーによる)、経口(例えば、飲料または洗浄による)、または全身(例えば、静脈注射による)などの1つ以上の手段によってターゲット領域に直接投与/適用することができる。そのような色素は、対象部分に応じて特定の生物学的成分をターゲットにすることができ、例えば、細菌、真菌、酵母、胞子、ウイルス、微生物、寄生虫、浸出液、pH、血管、還元ニコチンアミドアデニンジヌクレオチド(NADH)、フラビンアデニンジヌクレオチド(FAD)、微生物、特定の種類の結合組織(例えば、コラーゲン、エラスチン)、組織成分、血管内皮増殖因子(VEGF)、内皮増殖因子(EGF)、上皮増殖因子、上皮細胞膜抗原(ECMA)、低酸素誘導因子(HIF-1)、炭酸アンヒドラーゼIX(CAIX)、ラミニン、フィブリン、フィブロネクチン、線維芽細胞増殖因子、形質転換増殖因子(TGF)、線維芽細胞活性化タンパク質(FAP)、酵素(例えば、カスパーゼ、マトリックスメタロプロテアーゼ(MMP)、など)、メタロプロテアーゼの組織阻害剤(例えば、TIMP)、一酸化チッ素合成酵素(NOS)、誘導型および内皮NOS、細胞内のリゾソーム、マクロファージ、好中球、リンパ球、肝細胞増殖因子(HGF)、抗神経ペプチド、中性エンドペプチダーゼ(NEP)、顆粒球-マクロファージコロニー刺激因子(GM-CSF)、好中球エラスターゼ、カテプシン、アルギナーゼ、線維芽細胞、内皮細胞、ケラチノサイト、ケラチノサイト増殖因子(KGF)、マクロファージ炎症性タンパク質-2(MIP-2)、マクロファージ炎症性タンパク質-2(MIP-2)、マクロファージ化学誘引物質タンパク質-1(MCP-1)、多形核好中球(PMN)およびマクロファージ、筋線維芽細胞、インターロイキン-1(IL-1)および腫瘍壊死因子(TNF)、一酸化チッ素(NO)(Calbiochemのキット、モデルDAF-2 DA)、c-myc、ベータカテニン、および骨髄からの循環内皮前駆細胞(EPC)のうちの1つ以上を含むことができる。外因性光学剤は、例えば、活性化分子ビーコン(例えば、ターゲットとされた)、蛍光剤を有するナノ粒子(例えば、表面において標識され、さらには/あるいは蛍光剤を含有または担持している)、ならびに散乱または吸収ナノ粒子(例えば、金、銀、など)のうちの1つ以上を含むことができる。
市販の有機フルオロフォアは、水素イオン濃度に依存する特性を有し、したがってpHを測定するためのプローブとして有用であり、典型的には、pH感受性のUV/可視吸収特性を有する。細胞内の研究に使用される市販のpH感受性蛍光色素は、酸性媒体中では蛍光信号をあまりもたらさない可能性があり、あるいは色素のpKaが、5~8 pH単位の間の細胞内pHウィンドウ外側にあり得る。しかしながら、他のpH感受性蛍光剤は、それらの蛍光強度を増加させることによって応答する。例えば、Invitrogen Molecular Probes(Thermo Fisher Scientific)が、生物系におけるpH測定のためのさまざまな蛍光pH指示薬、それらの共役反応物、および他の試薬を提供している。これらの中に、固有の光学応答および特殊な局在特性を有するいくつかのプローブが存在し、例えば、可視光励起可能なSNARF pH指示薬が、研究者が二重発光または二重励起の比測定技術を使用して生理学的範囲の細胞内pHを決定することを可能にし、したがって共焦点レーザ走査顕微鏡法およびフローサイトメトリのために有用なツールを提供する。LysoSensorプローブ、ならびにOregon Greenフルオロフォアに基づく指示薬を使用して、細胞の酸性オルガネラのpHを推定することができる。使用可能なデキストランに結合した蛍光pH指示薬も存在する。細胞への導入後に、指示デキストランを良好に保持することができる。そのような蛍光剤を、装置を用いたターゲット領域の蛍光撮像に先立って、既知の適切な濃度で事前に溶液にて作成でき、その後に、例えば局所(例えば、エアロゾルまたはスプレーによる)、経口(例えば、飲料または洗浄による)、または全身(例えば、静脈注射による)などの1つ以上の手段によってターゲット領域および周囲の正常な組織に直接投与/適用することができる。
ターゲット領域は、少なくとも1つの創傷を含むことができる。創傷は、任意の種類の創傷であり得る。例えば、創傷は、擦過傷、裂傷、穿刺、裂離、あざ、挫傷、咬傷、熱傷、発疹、凍傷、できもの、ほくろ、吹き出物、嚢胞、潰瘍(糖尿病性潰瘍など)、床ずれ、またはこれらの任意の組み合わせを含み得る。創傷は、深い創傷または表在性の創傷であり得る。創傷は、皮膚上または皮膚内の外側あるいは内膜上または内膜内の内側にあり得る。創傷は、表皮、真皮、または皮下組織、あるいはこれらの任意の組み合わせを含むことができる。創傷は、感染していても、感染していなくてもよい。感染した創傷は、任意の種類、数、または組み合わせの生物に感染し得る。感染は、1つ以上の細菌、1つ以上の真菌、1つ以上の原虫、または1つ以上のウイルス、あるいはこれらの任意の組み合わせを含み得る。生物は、単細胞、多細胞、または非細胞であり得る。
本方法は、創傷の表面積および体積の一方または両方を決定することをさらに含むことができる。決定を、任意の適切な回数行うことができる。例えば、本方法を、少なくとも2回実行することができ、2回の実行は、例えば少なくとも1時間、少なくとも3時間、少なくとも1日、少なくとも1週間、少なくとも1ヵ月、などの選択された期間によって隔てられた第1の実行および第2の実行を含む。実行の間の間隔は、例えば、1分~約10分、約5分~約30分、約30分~約3時間、約1時間~約6時間、約6時間~約12時間、約12時間~約1日、約1日~約2日、約2日~約1週間、約1週間~約2週間、約2週間~約1ヵ月、約1ヵ月~約6週間、約6週間~約3ヵ月、約3ヵ月~約6ヵ月、もしくは約6ヵ月~約1年、または任意の介在または重複する期間、あるいはこれらの組み合わせであってよい。きわめて短い(1秒未満の)間隔の画像キャプチャを実行し、組み合わせてビデオを生成することができる。より長い間隔の画像キャプチャにまたがるタイムラプスビデオも生成可能である。前記第1の実行の3次元重畳画像を、第1の3次元重畳画像とすることができ、前記第2の実行の3次元重畳画像を、第2の3次元重畳画像とすることができる。本方法は、第1および第2の3次元重畳画像を比較して、創傷の治癒状態を判定することをさらに含むことができる。創傷の進行状態は、創傷の悪化を含むことができ、本方法は、少なくとも1つの創傷改善補助剤を投与することをさらに含むことができる。比較は、創傷のトポグラフィを経時的に追跡することをさらに含み得る。例えば、3次元蛍光撮像を使用して、細菌負荷を除去するための創傷の創面切除を補助することができる。撮像をさらに使用して、トポグラフィレベルにおいて3次元で経時的に創面切除の結果を追跡することができる。この手法を使用して、臨床医は、1回の来院で創傷の創面除去を行い、外科または掻爬による創面除去の効果を経時的に3次元および2次元で追跡することができる。
創傷の治癒を、創傷の治癒までの複数の時点(例えば、来院時)における創傷領域の平面測定によって評価することができる。創傷の治癒の時間経過を、式R=√A/π(Rは半径;Aは平面創傷領域;πは定数3.14)を使用して創傷の半径の減少の複数の時点における測定によって計算される予想治癒時間と比較することができる。創傷に関するこの定量的情報を、自然な手段または任意の治療的介入によって生じる創傷の治癒の程度を評価および判断するために、創傷の外観の変化を経時的に追跡および監視するために使用することができる。このデータを、将来の参照のために患者の健康記録に電子的に格納することができる。創傷撮像は、組織/細菌の蛍光、測定された創傷面積、創傷の熱マップ、および血流の赤外線撮像のうちの1つ以上をキャプチャし、計算し、さらには/あるいは組み合わせることができる。
励起および発光波長を相応に変更することにより、撮像装置は、表面および組織内の特定の深度(例えば、創傷)に位置する組織成分(例えば、創傷における結合組織および細菌)を調べることができる。例えば、紫色/青色(約400nm~約500nm)から緑色(約500nm~約540nm)の波長の光への変更によって、より深い組織/細菌蛍光源の励起を達成することができる。これを、例えば創傷において達成することができる。同様に、より長い波長を検出することによって、組織および/または組織内のより深い細菌源からの蛍光発光を、組織表面において検出することができる。創傷の評価に関して、表面および/または表面下の蛍光を調べる能力は、例えば、表面において生じる可能性があり、多くの場合に(例えば、慢性非治癒性創傷において)創傷内の深部で生じる可能性がある細菌汚染、コロニー形成、重大なコロニー形成、および/または感染の検出および可能であれば識別において、有用となり得る。撮像によって検出される少なくとも1つの蛍光分子は、少なくとも1つの細菌に関連した蛍光分子を含むことができる。
生物学的ターゲットは、対象生物から切除された組織を含むことができる。例えば、組織は、前がん組織またはがん組織を含み得る。がん組織は、腫瘍を含み得る。例えば、腫瘍は乳房の腫瘍であり得、切除された組織は、乳腺腫瘤切除術を含み得る。乳がんは、任意の種類または種類の組み合わせの乳がんを含み得る。例えば、乳がんは、サイトケラチン8および18ならびに高レベルのエストロゲン受容体発現を発現するluminal A型乳がんであり得る。乳がんは、luminal B型乳がんであり得る。乳がんは、遺伝子発現に関して正常な乳房のようであり得る。乳がんは、HER 2増幅型であり得る(染色体17qにおけるHER 2遺伝子の増幅)。乳がんの型は、特定の受容体(エストロゲン、プロゲステロン、およびHER 2)に関して陰性であり得、基底/筋上皮細胞に特徴的なマーカを有することができる基底型であり得る。乳がんは、BRCA 1遺伝子、BRCA 2遺伝子、またはその両方における1つ以上の突然変異を特徴とし得る。
がん組織は、前悪性成長、悪性成長、あるいは転移性もしくは非転移性であり得る異常な制御されない細胞分裂によって引き起こされる腫瘍であり得る。がんは、例えば、乳がん、前立腺がん、肺がん、大腸がん、直腸がん、膀胱がん、非ホジキンリンパ腫、黒色腫、腎臓がん、膵臓がん、口腔がん、咽頭がん、卵巣がん、甲状腺がん、胃がん、脳腫瘍、多発性骨髄腫、食道がん、肝がん、子宮頸がん、喉頭がん、肝内胆管がん、急性骨髄性白血病、軟部組織がん、小腸がん、精巣がん、慢性リンパ性白血病、ホジキンリンパ腫、慢性骨髄性がん、急性リンパ性がん、肛門、肛門管、または肛門直腸のがん、外陰部のがんあるいは首、胆嚢、または胸膜のがん、悪性中皮腫、骨肉腫、関節のがん、下咽頭がん、眼のがん、鼻、鼻腔、首、または中耳のがん、鼻咽頭がん、尿管がん、腹膜、網、または腸間膜のがん、または消化管カルチノイド腫瘍、あるいはこれらの任意の組み合わせであり得る。切除された組織は、腫瘍受容体をターゲットとするプローブに関連する蛍光分子、酵素活性化蛍光分子、または遺伝子改変された腫瘍崩壊ウイルス誘導蛍光、またはこれらの任意の組み合わせを含み得る。例えば、腫瘍受容体は、HER2、葉酸受容体、CXCR4、ホルモン受容体、EGFR、またはVEGF、あるいはこれらの組み合わせを含み得る。ホルモン受容体の例は、エストロゲン受容体およびプロゲステロン受容体を含む。酵素は、例えば、プロテアーゼ、カルボヒドラーゼ、リパーゼ、トランスフェラーゼ、酸化還元酵素、マトリックスメタロプロテアーゼ(MMP)、カスパーゼ、カテプシン、カリクレイン、セリンプロテアーゼ、イソクエン酸デヒドロゲナーゼ、または腫瘍細胞によって過剰に発現される酵素、あるいはこれらの組み合わせを含み得る。生物学的ターゲットは、組織が切除された手術床を含み得る。手術床および切除された組織は、がん組織を含み得る。がん組織は、良性、悪性、またはその両方であり得る。除去される組織は、必ずしもがん性である必要はなく、本開示の技術は、例えば形成外科、再建手術、臓器移植手術、皮膚移植、および美容整形など、他の状況においても使用することができる。
本方法は、任意の適切な回数実施され得る。例えば、本方法を、いずれかの順序で少なくとも2回実行することができ、2回の実行は、第1の実行および第2の実行を含む。第1の実行は、生物学的ターゲットについて実行され得る。例えば、生物学的ターゲットは、切除組織を含む第1の生物学的ターゲットである。第2の実行は、組織が切除された手術床を含む第2の生物学的ターゲットについて実行され得る。前記第1の実行の3次元重畳画像を、第1の3次元重畳画像とすることができ、前記第2の実行の3次元重畳画像を、第2の3次元重畳画像とすることができる。本方法は、第1および第2の3次元重畳画像を比較し、手術床に対する切除組織の向きに基づいて、切除組織と手術床との間の蛍光連続性を判定することをさらに含むことができる。蛍光連続性は、例えば、細菌感染組織、ウイルス感染組織、熱傷、がん組織、結合組織、筋肉組織、血液小胞、および皮膚特徴のうちの1つ以上を含むことができる。蛍光連続性は、損傷組織に対応することができ、本方法は、損傷組織の少なくとも一部分を手術床から切除することをさらに含むことができる。
本方法は、例えば、コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、光音響撮像、超音波、および光コヒーレンストモグラフィのうちの1つ以上を含む撮像技術を使用して、ターゲット領域および1つ以上の基準マーカのコンパニオン3次元画像をキャプチャすることを含むことができる。3次元重畳画像を、コンパニオン3次元画像と重ね合わせ、第2の3次元重畳画像を形成することができる。570および580として示されたこのようなステップの例が、図41に示されている。コンパニオン3次元画像のキャプチャは、基準マーカの第1および第2の組を含むことができる。コンパニオン3次元画像を、コンピュータ断層撮影を使用してキャプチャすることができ、1つ以上の基準マーカは、少なくとも1つの蛍光分子および少なくとも1つのCT造影剤を含むことができる。コンパニオン3次元画像を、光音響撮像を使用してキャプチャすることができ、ターゲット領域は、乳房の腫瘍を含むことができ、少なくとも1つの蛍光分子は、抗HER2デュアル蛍光-光音響プローブを含むことができる。
任意の適切な数または種類の基準マーカを使用することができる。基準マーカの組を、任意の適切な数だけ使用することができる。使用される基準マーカの数は、例えば、1、2、3、4、5、6、7、8、9、10、12、15、20、または25個、あるいはそれ以上の基準マーカを含むことができる。使用される基準マーカの組の数は、1、2、3、4、または5組、あるいはそれ以上であり得る。組は、基準マーカの配置、サイズ、蛍光スペクトル、蛍光強度、および撮像技術に関する特異性のうちの1つ以上に関して相違してよい。異なる種類の基準マーカを共局在化させることができる。
本開示は、例えば、複数の撮像モダリティの3次元データキューブにおけるヘマトキシリンおよびエオシン染色を使用するサンプルなどの組織学サンプルからの病理データのデジタル統合を可能にする。データキューブは、経時的な所与の患者の体外外科サンプルまたは手術床のいずれかの組織表面からの位置特異的組織病理または他のデータの空間的に局所化されたデジタルアーカイブ化および文書化を可能にする。生検の部位を、対応する病理結果または縫合部位、吻合部位、インプラント部位、などの他の関連情報と共に、デジタル形式で時系列にカタログ化することができる。カタログ化により、臨床チームは、組織がサンプリングされた場所、およびそれらの部位の病理を追跡することができ、これらを治療の前後で比較することができる。体外外科サンプルにおいて組織変形が生じる場合には、画像変形補正モデルを適用して変形を補償して、手術床のトポグラフィ表面に整列させることができる。
本開示は、生体組織のマルチモーダル撮像2次元および3次元データセットを空間-時間的に位置合わせする方法を提供する。さらに、外科マージンにおける腫瘍細胞の検出の精度を高めるために外因的に適用される腫瘍造影剤と協働する蛍光および光音響撮像技術が提供される。本開示は、手術計画、術中ガイダンス、およびマージン評価を改善するために、ハイブリッド表面および体積撮像技術のための臨床的に有用なアプローチを提供する。または、不顕性腫瘍マージンを特定することができる。がん診断を、例えば、腫瘍診断および応答評価のための伝統的なの磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)、陽電子放射断層撮影(PET)、および/または超音波(US)スキャンに光音響、蛍光、光コヒーレンストモグラフィ(OCT)、およびラマン撮像のうちの1つ以上からの光撮像データセットを組み合わせることによって改善することができる。超音波および他の撮像技術は、2次元または3次元であり得る。(例えば、血流の)ドップラ撮像および/または熱撮像も、そのような他の撮像技術と組み合わせることができる。開示された方法、装置、およびシステムは、内視鏡撮像および一般研究も可能にする。
本開示によれば、撮像装置が提供される。撮像装置は、以下の構成要素のうちの1つ以上を含むことができる。励起光源を、蛍光体を励起することができる第1の放射線を放射するように構成することができる。フィルタを、反射された励起光の通過を防止し、フルオロフォアによって放たれた蛍光の通過を許すように構成することができる。撮像レンズを、放射線を集めるように構成することができる。可視光源を、第2の放射線を放射するように構成することができる。赤外線光源を、第3の放射線を放射するように構成することができる。少なくとも1つのイメージセンサを、放射線を検出するように構成することができる。プロセッサを、検出された放射線を受信し、検出された放射線に関連するデータを出力するように構成することができる。撮像装置を、本明細書に記載の方法のうちの1つ以上、またはその一部分を実行するように構成することができる。撮像装置を、手持ちされるように構成することができる。例えば、撮像装置を、片手で保持されるように構成することができる。
撮像装置を、生物学的ターゲット、他の種類のターゲット、またはこれらの組み合わせの任意の適切なターゲット領域を視覚化するように構成することができる。撮像装置を、創傷を可視化するように構成することができる。撮像装置を、外科マージン内の前がん細胞、がん細胞、および周辺病巣のうちの1つ以上を視覚化するように構成することができる。励起光源を、外科マージンの組織細胞の自己蛍光発光および組織細胞における誘導ポルフィリンの蛍光発光を励起するようにさらに構成することができる。フィルタを、反射励起光の通過を防止し、組織細胞の自己蛍光発光および組織細胞中の誘導されたポルフィリンの蛍光発光に対応する波長を有する発光の通過を許すようにさらに構成することができる。イメージセンサを、組織細胞のフィルタ処理された自己蛍光発光および外科マージンの組織細胞における誘導されたポルフィリンの蛍光発光を検出するようにさらに構成することができる。プロセッサを、検出された発光を受信し、組織細胞の検出されたフィルタ処理された自己蛍光発光および外科マージンの組織細胞における誘導されたポルフィリンの蛍光発光に関するデータを出力するようにさらに構成することができる。
検出された放射線は、蛍光、反射可視光、および反射赤外光のうちの1つ以上を含むことができる。検出された放射線は、蛍光、反射可視光、および反射赤外光を含むことができる。第1の放射線は、蛍光を含むことができる。第2の放射線は、例えば、白色光を含むことができる。第2の放射線は、単色の可視光を含むことができる。第3の放射線は、例えば近赤外放射線など、赤外放射、例えば近赤外放射線を含むことができる。少なくとも1つのイメージセンサを、蛍光、反射白色光、および反射赤外光のうちの1つ以上を含む放射線を検出するように構成することができる。少なくとも1つのセンサは、例えば少なくとも2つのセンサなど、任意の数および/または種類のセンサを含むことができる。少なくとも2つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器とを含むことができる。少なくとも1つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器と、反射赤外光を検出するように構成された第3のセンサとを含む少なくとも3つのセンサを含むことができる。
少なくとも1つのセンサは、熱センサを含むことができる。装置は、3次元撮像のための本明細書に記載の1つ以上の他のセンサを、熱センサと組み合わせることができる。熱センサを使用して、創傷を調べたときの細菌の位置と相関し得る高温の領域を示すための熱マップをもたらすことができる。撮像を、例えば、血流のドップラ撮像を含む創傷の3次元超音波画像と組み合わせることができる。熱マッピングを、3次元マッピングとは別に行うことができ、あるいは3次元マッピングと組み合わせて行うことができる。例えば、熱撮像センサを3次元撮像装置に結合させることによって、熱撮像を3次元撮像と同時に行うことができる。次いで、キャプチャされた熱画像またはビデオを、1つ以上の基準点を使用して可視光/蛍光画像にトポグラフィ的に重ね合わせることができる。3次元撮像に使用されるカメラが、例えば、組織/細菌の蛍光をキャプチャし、創傷の領域を測定し、創傷の熱マップをキャプチャし、さらには/あるいは血流の赤外線を撮像することができる。
撮像装置は、光源のうちの少なくとも1つと協働し、あるいは光源のうちの少なくとも1つとして働くように構成された共通の放射線源をさらに含むことができる。少なくとも1つの光源は、共通の放射線源から放射されたソース放射線を第1の放射線、第2の放射線、または第3の放射線、あるいはこれらの組み合わせに変換する変換器を含むことができる。変換器は、例えば、フィルタ、レンズ、プリズム、回折器、または量子ドット、あるいはこれらの組み合わせを含むことができる。励起光源は、第1の変換器を含むことができ、可視光源は、第2の変換器を含むことができ、赤外光源は、第3の変換器を含むことができる。
撮像装置は、表示ユニットをさらに含むことができる。例えば、液晶ディスプレイ(LCD)、発光ディスプレイ(LED)、有機発光ディスプレイ(OLED)、プラズマ、または陰極線、あるいはこれらの任意の組み合わせなど、任意の表示ユニットを使用することができる。表示ユニットを、プロセッサによって出力されたデータを表示するように構成することができる。例えば、データは、3次元画像を含むことができる。表示ユニットは、タッチスクリーンおよび/または任意の他の種類のグラフィックユーザインターフェースを含むことができる。これに代え、あるいはこれに加えて、表示ユニットは、撮像装置以外の装置に配置されてもよい。
撮像装置を、生物学的ターゲットのターゲット領域を視覚化するように構成することができる。プロセッサを、ターゲット領域の3次元マップを生成するように構成することができる。3次元マップを、ターゲット領域から反射された赤外光から生成することができる。プロセッサを、検出された放射線に基づいてターゲット領域の2次元可視光画像をキャプチャするように構成することができる。プロセッサを、3次元マップおよび2次元可視光画像に基づいてターゲット領域の3次元可視光画像を生成するように構成することができる。プロセッサを、検出された放射線に基づいてターゲット領域の2次元蛍光画像をキャプチャするように構成することができる。プロセッサを、3次元マップおよび2次元蛍光画像に基づいてターゲット領域の3次元蛍光画像を生成するように構成することができる。プロセッサを、ターゲット領域の3次元可視光画像をターゲット領域の3次元蛍光画像に整列させて、ターゲット領域の3次元重畳画像を形成するように構成することができる。整列を、ターゲット領域に関連する基準マーカの位置合わせに基づいて実行することができる。
1つ以上の実施形態によれば、撮像装置を、以下のように構成することができる。撮像装置を、手持ちされるように構成することができる。励起光源を、組織細胞の自己蛍光発光、ならびに撮像剤または造影剤への曝露後の外科マージンの前がん細胞、がん細胞、および周辺病巣における約600nm~約660nmの間の波長を有する蛍光発光を励起するように構成することができる。フィルタを、組織細胞の自己蛍光発光および外科マージンの組織細胞における約600nm~約660nmの間の蛍光発光に対応する波長を有する発光の通過を許すように構成することができる。少なくとも1つのイメージセンサを、組織細胞のフィルタ処理された自己蛍光発光および外科マージンの組織細胞における約600nm~約660nmの間の蛍光発光を検出するように構成することができる。プロセッサを、検出された発光を受信して、組織細胞の検出されたフィルタ処理された自己蛍光発光および外科マージンの組織細胞における約600nm~約660nmの間の蛍光発光に関するデータを出力し、外科マージンの前がん細胞、がん細胞、および周辺病巣のうちの1つ以上の3次元画像を生成するように構成することができる。
本開示の一態様によれば、ターゲットの3次元蛍光ベース撮像のためのシステムが提供される。システムは、以下の構成要素のうちの1つ以上、撮像装置について説明した構成要素のうちの1つ以上、またはその両方を含むことができる。少なくとも1つの励起光源を、蛍光撮像の際にターゲット表面を励起光場で照射するように構成することができる。照射および/または場は、均一、部分的に均一、または不均一であってよい。少なくとも1つの白色光源を、白色光撮像の際にターゲット表面を照射するように構成することができる。少なくとも1つの赤外線放射源を、赤外線放射をターゲット表面に向かって放射するように構成することができる。イメージセンサが、蛍光、反射放射線、またはその両方を検出することができる。フィルタを、励起光によるターゲット表面の照射に応答し、細菌の自己蛍光および組織の自己蛍光のうちの1つ以上に対応する波長を有している光学信号が、フィルタを通過してイメージセンサに到達できるように構成することができる。プロセッサを、例えば、以下のうちの1つ以上を実行するように構成することができる。プロセッサは、赤外光によるターゲットの照射に応答する光学信号を受信することができる。赤外光によるターゲットの照射に応答する受信信号に基づいて、プロセッサは、ターゲット表面の3次元マップを生成することができる。プロセッサは、励起光によるターゲット表面の照射に応答する検出された光学信号を受信し、ターゲット表面の2次元蛍光画像を生成することができる。プロセッサは、ターゲット表面の白色光照射に応答する光学信号を受信し、ターゲット表面の2次元白色光画像を生成することができ、プロセッサは、3次元マップ、蛍光画像、および白色光画像を組み合わせて、ターゲット表面の3次元画像を生成することができる。
本開示の一態様によれば、撮像装置と共に使用するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体を含むことができる。非一時的なコンピュータ可読媒体は、画像処理のためのコンピュータプログラムコードを記憶することができる。コンピュータプログラムコードは、本明細書に記載の方法のうちの1つ以上を実行するために、撮像装置内のプロセッサによって実行可能であってよい。
実施例1:組織ファントムを使用して、本開示の撮像技術を実証した。乳腺腫瘤切除サンプルの全表面を撮像するために、PrimeSenseカメラを使用して白色光下でスキャンを行い、次いでPrimeSenseデバイス上のCCDセンサを蛍光カメラに変換した後に再度のスキャンを行った。試料表面に外側から配置された基準マーカを使用することによって、2つの撮像スキャンを位置合わせすることができる。組織表面に光を照射する405nmのLEDアレイを使用して、蛍光を励起した。PrimeSenseシステムに光学フィルタを取り付けて、切除組織(腫瘍)標本、とくには乳房乳腺腫瘤切除の3次元表面レンダリングとしてリアルタイムの蛍光画像を生成した。PrimeSenseは、切除組織の自己蛍光および外因性造影剤(ALA誘導ポルフィリン)によって引き起こされた蛍光の両方からの特異的な蛍光シグネチャを検出したが、蛍光撮像を任意の数または種類の造影剤に関して変更することができる。
図1が、組織ファントムの表面112上にフルオレセイン基準マーカ130でマークされた組織ファントム110を含む実験モデル100の白色光写真である。フルオレセイン基準マーカは、白色光下では黄色/オレンジ色に見え、紫外線照射下では緑色/黄色に見える可能性がある。模擬腫瘍120が、表面の直下に注入された蛍光PPIXによって生成される。蛍光PPIXは、一般に、紫外線照射下で赤色に見える。組織ファントム110は、乳房乳腺腫瘤切除組織サンプルを模擬するために使用されるブタ組織片である。
図2Aが、第1の画角からの組織ファントム110の3次元白色光表面画像である。図2Bが、第2の画角からの組織ファントム110の3次元白色光表面画像である。図3Aが、第1の画角からの組織ファントム110+メッシュの3次元白色光表面画像である。図3Bが、第2の画角からの組織ファントム110+メッシュの3次元白色光表面画像である。図4Aが、第1の画角からの組織ファントム110の3次元メッシュ+白色光オーバーレイ画像である。図4Bが、第2の画角からの組織ファントム110の3次元メッシュ+白色光オーバーレイ画像である。図5Aが、第1の画角からの組織ファントム110の生メッシュ/表面画像である。図5Bが、第2の画角からの組織ファントム110の生メッシュ/表面画像である。
以下の図における赤色蛍光は、一般に、追加されたPPIXを使用して模擬された「腫瘍」を示す。模擬された腫瘍は、乳房乳腺腫瘤切除が陽性(赤色蛍光)マージンでどのように見えるかを図式的に表す。図6Aが、第1の画角からの組織ファントム110の3次元蛍光表面画像である。図6Bが、第2の画角からの組織ファントム110の3次元蛍光表面画像である。図7Aが、第1の画角からの組織ファントム110+メッシュの3次元蛍光表面画像である。図7Bが、第2の画角からの組織ファントム110+メッシュの3次元蛍光表面画像である。図8Aが、第1の画角からの組織ファントム110の3次元メッシュ+蛍光オーバーレイ画像である。図8Bが、第2の画角からの組織ファントム110の3次元メッシュ+蛍光オーバーレイ画像である。図9Aが、第1の画角からの組織ファントム110の生メッシュ/表面画像である。図9Bが、第2の画角からの組織ファントム110の生メッシュ/表面画像である。
3次元表面レンダリング白色光反射および蛍光画像をファントムの3次元表面レンダリングコンピュータ断層撮影と位置合わせするための混合蛍光およびCT色素を使用するマルチモーダル(光学、CT)基準マーカを使用した。励起光を405nmとした。発光フィルタを、デュアルバンド500~550nmおよび600~650nm発光フィルタとした。このフィルタを、RGBカメラのイメージセンサの前方の位置に出し入れすることができる長いプラスチックフィルタホルダ内に配置して、RGBカメラを白色光撮像カメラから蛍光撮像カメラに変化させた。カメラを、PrimeSenseデータ収集ソフトウェアを実行するラップトップに接続した。外部光源を使用して、生物学的ターゲット(皮膚創傷を有するブタの脚)のターゲット領域を、2つのLEDからの405nmの光で照明した。コーンビームCTスキャン画像処理は、InVesalius 3ソフトウェアを利用した。
図10Aが、CT基準点140を蛍光基準点130に重ねた組織ファントム110の第1の図である。図10Bが、CT基準点を蛍光基準点に重ねた組織ファントムの第2の図である。以下の図における赤色蛍光は、一般に、追加されたPPIXを使用して模擬された「腫瘍」を示す。模擬された腫瘍は、乳房乳腺腫瘤切除が陽性(赤色蛍光)マージンでどのように見えるかを図式的に表す。図11Aが、第1の画角からの組織ファントム110のコーンビームCT3次元体積再構成である。図11Bが、第1の画角からの組織ファントム110の蛍光3次元レンダリングである。図11Cが、第1の画角からの組織ファントム110の位置合わせされたCT+蛍光画像である。図12Aが、第2の画角からの組織ファントム110のコーンビームCT3次元体積再構成である。図12Bが、第2の画角からの組織ファントム110の蛍光3次元レンダリングである。図12Cが、第2の画角からの組織ファントム110の位置合わせされたCT+蛍光画像である。図13Aが、第3の画角からの組織ファントム110のコーンビームCT3次元体積再構成である。図13Bが、第1の画角からの組織ファントム110の蛍光3次元レンダリングである。図13Cが、第3の画角からの組織ファントム110の位置合わせされたCT+蛍光画像である。図14Aが、第4の画角からの組織ファントム110のコーンビームCT3次元体積再構成である。図14Bが、第4の画角からの組織ファントム110の蛍光3次元レンダリングである。図14Cが、第4の画角からの組織ファントム110の位置合わせされたCT+蛍光画像である。
これらの図は、本開示の技術によって、組織および他のオブジェクトについて、組織および他のオブジェクトのより良好な特徴把握および理解のための貴重なツールとして役立つ3次元画像を、生成できることを示している。例えば、外科医は、患者におけるがん組織の広がりをより良好に視覚化し、隣接する健康な組織を残しつつがん組織を効率的に除去するための切除を計画することができる。このように、実施例1は、本開示の技術の有効性を実証している。
実施例2
この実施例では、実施例1と本質的に同じ手順を、模擬腫瘍をモデル化する第2の組織ファントムを含む第2の実験モデル200を使用して実行した。図15Aが、ヒトの皮膚と同様の皮膚(表面)212を有するブタの肩からの作成中の模擬腫瘍220のための第2の組織ファントム210の第1の画像である。図15Bが、作成中の腫瘍モデルのための第2の組織ファントムの第2の画像である。図16が、模擬(モデルPPIX)腫瘍220を示す第2の組織ファントム210の画像であり、フルオレセイン基準マーカ230も見て取ることができる。定規250を使用して、縮尺を明らかにすることができる。図17Aが、蛍光を励起するために手持ち式の撮像装置によって紫色光に曝露されている第2の組織ファントム210の斜視図の画像である。図17Bが、紫色光に曝露されて蛍光を励起した第2の組織ファントム210からの蛍光発光の画像の平面図の画像である。図18Aが、第1の画角からの第2の組織ファントム210の3次元白色光表面画像である。図18Bが、第2の画角からの第2の組織ファントム210の3次元白色光表面画像である。図19Aが、第1の画角からの第2の組織ファントム210+メッシュの3次元白色光表面画像である。図19Bが、第2の画角からの第2の組織ファントム210+メッシュの3次元白色光表面画像である。図20Aが、第1の画角からの第2の組織ファントム210の3次元メッシュ+白色光オーバーレイ画像である。図20Bが、第2の画角からの第2の組織ファントム210の3次元メッシュ+白色光オーバーレイ画像である。図21Aが、第1の画角からの第2の組織ファントム210の生メッシュ/表面画像である。図21Bが、第2の画角からの第2の組織ファントム210の生メッシュ/表面画像である。
図中の赤色蛍光は、一般に、追加されたPPIXを使用して模擬された「創傷」の周囲の「細菌」を示す。模擬による創傷は、細菌感染凹状創傷が陽性(赤色蛍光)マージンでどのように見えるかを図式的に表している。図22Aが、第1の画角からの第2の組織ファントム210の3次元蛍光表面画像である。図22Bが、第2の画角からの第2の組織ファントム210の3次元蛍光表面画像である。図23Aが、第1の画角からの第2の組織ファントム210+メッシュの3次元蛍光表面画像である。図23Bが、第2の画角からの第2の組織ファントム210+メッシュの3次元蛍光表面画像である。図24Aが、第1の画角からの第2の組織ファントム210の3次元メッシュ+蛍光オーバーレイ画像である。図24Bが、第2の画角からの第2の組織ファントム210の3次元メッシュ+蛍光オーバーレイ画像である。図25Aが、第1の画角からの第2の組織ファントム210の生メッシュ/表面画像である。図25Bが、第2の画角からの第2の組織ファントム210の生メッシュ/表面画像である。
これらの図は、本開示の技術によって、組織および他のオブジェクトについて、組織および他のオブジェクトのより良好な特徴把握および理解のための貴重なツールとして役立つ3次元画像を、生成できることを示している。例えば、外科医は、患者におけるがん組織の広がりをより良好に視覚化し、隣接する健康な組織を残しつつがん組織を効率的に除去するための切除を計画することができる。このように、実施例2は、本開示の技術の有効性を実証している。
実施例3
この実施例では、実施例1と本質的に同じ手順を、深い創傷および表在性創傷をモデル化する第3の組織ファントムを使用して実行した。コーンビームCTおよびCTスキャン画像処理は、InVesalius 3ソフトウェアを利用した。図26Aは、深い創傷360および表在性創傷370の両方を含むように皮膚312について準備中の創傷モデル300のための第3の組織ファントム310の第1の画像である。定規350を、目盛りとして取り入れることができる。図26Bが、準備中の第3の組織ファントム310の第2の画像である。図26Cが、創傷内の細菌の存在を模擬するためにPPIXが塗布された創傷周辺部362を含む深い創傷360を示す準備中の第3の組織ファントム310の第3の画像である。図26Dは、深い創傷360および表在性創傷370の両方、ならびにフルオレセイン基準マーカ330を示す準備中の第3の組織ファントム310の第4の画像である。図27Aが、第1の画角からの第3の組織ファントム310の3次元白色光表面画像である。図27Bが、第2の画角からの第3の組織ファントム310の3次元白色光表面画像である。図28Aが、第1の画角からの第3の組織ファントム310+メッシュの3次元白色光表面画像である。図28Bが、第2の画角からの第3の組織ファントム310+メッシュの3次元白色光表面画像である。図29Aが、第1の画角からの第3の組織ファントム310の3次元メッシュ+白色光オーバーレイ画像である。図29Bが、第2の画角からの第3の組織ファントム310の3次元メッシュ+白色光オーバーレイ画像である。図30Aが、第1の画角からの第3の組織ファントム310の生メッシュ/表面画像である。図30Bが、第2の画角からの第3の組織ファントム310の生メッシュ/表面画像である。図31Aが、第1の画角からの第3の組織ファントム310の3次元蛍光表面画像である。図31Bが、第2の画角からの第3の組織ファントム310の3次元蛍光表面画像である。図32Aが、第1の画角からの第3の組織ファントム310+メッシュの3次元蛍光表面画像である。図32Bが、第2の画角からの第3の組織ファントム310+メッシュの3次元蛍光表面画像である。図33Aが、第1の画角からの第3の組織ファントム310の3次元メッシュ+蛍光オーバーレイ画像である。図33Bが、第2の画角からの第3の組織ファントム310の3次元メッシュ+蛍光オーバーレイ画像である。図34Aが、第1の画角からの第3の組織ファントム310の生メッシュ/表面画像である。図34Bが、第2の画角からの第3の組織ファントム310の生メッシュ/表面画像である。
図35Aが、コーンビームCTスキャン用のCT基準マーカで準備された第3の組織ファントム310の画像である。図35Bが、第3の組織ファントム310のコーンビームCTスキャン画像である。図35Cが、CT装置380におけるコーンビームCTスキャンのために準備された第3の組織ファントム310の画像である。図35Dは、コーンビームCTスキャンの最中の第3の組織ファントム310の画像である。図36Aは、CTスキャンのためにCT基準点340をフルオレセイン基準点330に空間的に位置合わせして準備された第3の組織ファントム310の画像である。図36Bは、CTスキャンの最中の第3の組織ファントム310の画像である。図37が、本開示に従って測定された皮膚410上の創傷460の創傷トポロジグリッド490と重ね合わせられた写真である。測定により、長さが約4cmであり、幅が約9cmであり、深さが約3cmであり、体積が約99.5cm3であると判断された。
これらの図は、本開示の技術によって、組織および他のオブジェクトについて、組織および他のオブジェクトのより良好な特徴把握および理解のための貴重なツールとして役立つ3次元画像を、生成できることを示している。例えば、医師は、治療計画が効果的であるか、あるいは創傷の治癒を促進するために修正が必要であるかの判断において助けとなるように、患者の創傷の性質およびその経時的な進行をより良好に視覚化することができる。さらに、医師は、創傷における感染の位置またはサイズ(あるいは、存在する細菌の位置/量)をより良好に視覚化して、それに応じて治療計画を調整することができる。このように、実施例3は、本開示の技術の有効性を実証している。
本開示は、以下の態様/実施形態/特徴を、任意の順序および/または任意の組み合わせにて含む。
2次元画像を使用してターゲットの3次元画像を生成する方法であって、1つ以上の基準マーカが関連付けられたターゲット領域の3次元マップを生成するステップと、前記ターゲット領域および前記1つ以上の基準マーカの2次元白色光画像をキャプチャするステップと、前記2次元白色光画像および前記3次元マップから3次元白色光画像を生成するステップと、前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップと、前記2次元蛍光画像および前記3次元マップから3次元蛍光画像を生成するステップと、前記1つ以上の基準マーカを使用して前記3次元白色光画像および前記3次元蛍光画像を整列させ、3次元重畳画像を形成するステップとを含む方法。
2.前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップは、前記ターゲット領域および前記1つ以上の基準マーカを励起光で照明するステップと、前記励起光による前記ターゲット領域の照明に応答した少なくとも1つの蛍光発光を受光するステップとを含む、任意の先行または後続の実施形態/特徴/態様の方法。
3.前記励起光は、約400nm~約450nmの間である、任意の先行または後続の実施形態/特徴/態様の方法。
4.前記励起光は、約405nmの波長を有する、任意の先行または後続の実施形態/特徴/態様の方法。
5.前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップは、少なくとも1つの蛍光分子の発光をキャプチャするステップを含む、任意の先行または後続の実施形態/特徴/態様の方法。
6.前記少なくとも1つの蛍光分子は、蛍光を発することができる内因性分子を含む、任意の先行または後続の実施形態/特徴/態様の方法。
7.前記少なくとも1つの蛍光分子は、蛍光を発することができる外因性分子、または蛍光を発することができる外因的に付加された部分を含む分子を含む、任意の先行または後続の実施形態/特徴/態様の方法。
8.前記少なくとも1つの蛍光分子は、アミノレブリン酸(ALA)誘導ポルフィリンを含む、任意の先行または後続の実施形態/特徴/態様の方法。
9.前記3次元マップは、赤外光を使用して生成される、任意の先行または後続の実施形態/特徴/態様の方法。
10.前記3次元マップは、近赤外光を使用して生成される、任意の先行または後続の実施形態/特徴/態様の方法。
11.前記3次元マップを生成するステップは、前記ターゲット領域に赤外線放射を投射するステップと、前記ターゲット領域が反射させた赤外線放射を受光するステップと、前記反射赤外線放射に基づいて前記ターゲット領域の深度を測定し、前記3次元マップを生成するステップとを含む、任意の先行または後続の実施形態/特徴/態様の方法。
12.前記赤外線放射は、光パターンへと分割されたビームとして投射され、前記反射赤外線放射は、前記光パターンの歪みを含み、前記深度は、前記光パターンの前記歪みに基づいて測定される、任意の先行または後続の実施形態/特徴/態様の方法。
13.前記光パターンは、回折格子によって形成され、前記光パターンは、複数のドットを含む、任意の先行または後続の実施形態/特徴/態様の方法。
14.前記深度は、前記投射された赤外線放射と前記反射赤外線放射との間の位相シフトに基づく飛行時間によって測定される、任意の先行または後続の実施形態/特徴/態様の方法。
15.前記ターゲット領域は、少なくとも1つの創傷を含む、任意の先行または後続の実施形態/特徴/態様の方法。
16.前記創傷は、少なくとも1つの蛍光分子を含む少なくとも1つの細菌を含む、任意の先行または後続の実施形態/特徴/態様の方法。
17.前記創傷の表面積および体積の一方または両方を決定するステップをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
18.当該方法は、少なくとも2回実行され、該2回の実行は、少なくとも3時間の時間期間によって隔てられた第1の実行および第2の実行を含み、前記第1の実行の前記3次元重畳画像は、第1の3次元重畳画像であり、前記第2の実行の前記3次元重畳画像は、第2の3次元重畳画像であり、当該方法は、前記第1および第2の3次元重畳画像を比較して創傷の治癒状態を判断するステップをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
19.前記時間期間は、少なくとも1日である、任意の先行または後続の実施形態/特徴/態様の方法。
20.前記創傷の治癒状態は、創傷の悪化を含み、当該方法は、少なくとも1つの創傷改善補助剤を投与するステップをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
21.前記比較は、前記創傷のトポグラフィを追跡することをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
22.前記ターゲット領域は、対象生物から切除された組織を含む、任意の先行または後続の実施形態/特徴/態様の方法。
23.前記組織は、がん組織を含む、任意の先行または後続の実施形態/特徴/態様の方法。
24.前記がん組織は、腫瘍を含む、任意の先行または後続の実施形態/特徴/態様の方法。
25.前記腫瘍は、乳房の腫瘍であり、前記切除された組織は、乳腺腫瘤切除を含む、任意の先行または後続の実施形態/特徴/態様の方法。
26.前記切除された組織は、腫瘍受容体をターゲットにするプローブが関連付けられた蛍光分子、酵素活性蛍光分子、または遺伝子操作された腫瘍溶解性ウイルスによって引き起こされる蛍光、あるいはこれらの任意の組み合わせを含む、任意の先行または後続の実施形態/特徴/態様の方法。
27.前記腫瘍受容体は、HER2、葉酸受容体、CXCR4、ホルモン受容体、EGFR、またはVEGF、あるいはこれらの組み合わせを含み、前記酵素は、プロテアーゼ、カルボヒドラーゼ、リパーゼ、トランスフェラーゼ、オキシドレダクターゼ、マトリックスメタロプロテアーゼ(MMP)、カスパーゼ、カテプシン、カリクレイン、セリンプロテアーゼ、イソクエン酸脱水素酵素、または腫瘍細胞によって過剰発現した酵素、あるいはこれらに組み合わせを含む、任意の先行または後続の実施形態/特徴/態様の方法。
28.前記ターゲット領域は、組織が切除された手術床を含む、任意の先行または後続の実施形態/特徴/態様の方法。
29.前記手術床および前記切除された組織は、がん組織を含む、任意の先行または後続の実施形態/特徴/態様の方法。
30.当該方法は、少なくとも2回、いずれかの順序で実行され、前記2回の実行は、第1の実行および第2の実行を含み、前記第1の実行は、前記ターゲット領域について実行され、前記ターゲット領域は、切除された組織を含む第1のターゲット領域であり、前記第2の実行は、前記組織が切除された手術床を含む第2のターゲット領域について実行され、前記第1の実行の前記3次元重畳画像は、第1の3次元重畳画像であり、前記第2の実行の前記3次元重畳画像は、第2の3次元重畳画像であり、当該方法は、前記第1および第2の3次元重畳画像を比較して、前記手術床に対する前記切除された組織の向きに基づいて前記切除された組織と前記手術床との間の蛍光の連続性を判断するステップをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
31.前記蛍光の連続性は、細菌感染組織、ウイルス感染組織、火傷、がん組織、結合組織、筋組織、血液小胞、および皮膚の特徴のうちの1つ以上を含む、任意の先行または後続の実施形態/特徴/態様の方法。
32.前記蛍光の連続性は、病んだ組織に対応し、当該方法は、前記手術床から前記病んだ組織の少なくとも一部分を切除するステップをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
33.コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、光音響撮像、超音波、および光コヒーレンストモグラフィのうちの1つ以上を含む撮像技術を使用して、前記ターゲット領域および前記1つ以上の基準マーカのコンパニオン3次元画像をキャプチャするステップと、第1の3次元重畳画像である前記3次元重畳画像を前記コンパニオン3次元画像と重ね合わせ、第2の3次元重畳画像を形成するステップとをさらに含む、任意の先行または後続の実施形態/特徴/態様の方法。
34.前記1つ以上の基準マーカは、第1組の基準マーカおよび第2組の基準マーカを含む、任意の先行または後続の実施形態/特徴/態様の方法。
35.前記コンパニオン3次元画像は、コンピュータ断層撮影を使用してキャプチャされ、前記1つ以上の基準マーカは、少なくとも1つの蛍光分子および少なくとも1つのCT造影剤を含む、任意の先行または後続の実施形態/特徴/態様の方法。
36.前記コンパニオン3次元画像は、光音響撮像を使用してキャプチャされ、前記ターゲット領域は、乳房の腫瘍および抗HER2デュアル蛍光-光音響プローブを含む、任意の先行または後続の実施形態/特徴/態様の方法。
37.フルオロフォアを励起することができる第1の放射線を放射するように構成された励起光源と、反射された励起光の通過を阻止し、前記フルオロフォアが放射する蛍光の通過を許すように構成されたフィルタと、撮像レンズと、第2の放射線を放射するように構成された可視光源と、第3の放射線を放射するように構成された赤外光源と、放射線を検出するように構成された少なくとも1つのイメージセンサと、前記検出された放射線を受信し、前記検出された放射線に関連するデータを出力するように構成されたプロセッサとを備える撮像装置。
38.当該撮像装置は、手持ちされるように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
39.当該撮像装置は、創傷を視覚化するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
40.当該撮像装置は、前がん細胞、がん細胞、および外科マージンにおける周辺病巣のうちの1つ以上を視覚化するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
41.前記励起光源は、組織細胞の自己蛍光発光および前記外科マージンの組織細胞における誘導されたポルフィリンの蛍光発光を励起するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
42.前記フィルタは、反射された励起光の通過を阻止し、前記組織細胞の前記自己蛍光発光および前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光に対応する波長を有する発光の通過を許すようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
43.前記イメージセンサは、前記組織細胞の前記フィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光を検出するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
44.前記プロセッサは、前記検出された発光を受信し、前記組織細胞の前記検出されたフィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光に関するデータを出力するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
45.前記第2の放射線は、白色光を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
46.前記第2の放射線は、単色の可視光を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
47.前記第3の放射線は、赤外線放射を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
48.前記赤外線放射は、近赤外線放射を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
49.前記少なくとも1つのイメージセンサは、前記蛍光、反射白色光、および反射赤外光を含む放射線を検出するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
50.前記少なくとも1つのセンサは、少なくとも2つのセンサを含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
51.前記少なくとも2つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器とを含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
52.前記少なくとも1つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器と、反射赤外光を検出するように構成された第3のセンサとを含む少なくとも3つのセンサを含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
53.前記光源のうちの少なくとも1つと協働するように構成された共通放射源をさらに備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
54.前記少なくとも1つの光源は、前記共通放射源から放射されたソース放射線を前記第1の放射線、前記第2の放射線、または前記第3の放射線、あるいはこれらの組み合わせに変換するための変換器を備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
55.前記変換器は、フィルタ、レンズ、プリズム、回折器、または量子ドット、あるいはこれらの組み合わせを備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
56.前記励起光源は、第1の変換器を備え、前記可視光源は、第2の変換器を備え、前記赤外光源は、第3の変換器を備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
57.表示ユニットをさらに備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
58.前記表示ユニットは、前記プロセッサによって出力された前記データを表示するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
59.前記データは、3次元画像を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
60.前記表示ユニットは、タッチスクリーンを備える、任意の先行または後続の実施形態/特徴/態様の撮像装置。
61.前記検出された放射線は、蛍光、反射可視光、および反射赤外光のうちの1つ以上を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
62.前記検出された放射線は、蛍光、反射可視光、および反射赤外光を含む、任意の先行または後続の実施形態/特徴/態様の撮像装置。
63.当該撮像装置は、生物学的ターゲットのターゲット領域を視覚化するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
64.前記プロセッサは、前記ターゲット領域の3次元マップを生成するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
65.前記3次元マップは、前記ターゲット領域から反射された赤外光から生成される、任意の先行または後続の実施形態/特徴/態様の撮像装置。
66.前記プロセッサは、前記検出された放射線に基づいて前記ターゲット領域の2次元可視光画像をキャプチャするようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
67.前記プロセッサは、前記3次元マップおよび前記2次元可視光画像に基づいて前記ターゲット領域の3次元可視光画像を生成するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
68.前記プロセッサは、前記検出された放射線に基づいて前記ターゲット領域の2次元蛍光画像をキャプチャするようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
69.前記プロセッサは、前記3次元マップおよび前記2次元蛍光画像に基づいて前記ターゲット領域の3次元蛍光画像を生成するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
70.前記プロセッサは、前記ターゲット領域の3次元可視光画像を前記ターゲット領域の3次元蛍光画像に整列させて、前記ターゲット領域の3次元重畳画像を形成するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
71.前記整列は、前記ターゲット領域に関連付けられた基準マーカの位置合わせに基づいて実行される、任意の先行または後続の実施形態/特徴/態様の撮像装置。
72.当該撮像装置は、任意の先行または後続の実施形態/特徴/態様の方法を実行するように構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
73.当該撮像装置は、手持ちされるようにさらに構成され、前記励起光源は、組織細胞の自己蛍光発光、ならびに撮像剤または造影剤への曝露後の外科マージンの前がん細胞、がん細胞、および周辺病巣における約600nm~約660nmの間の波長を有する蛍光発光を励起するようにさらに構成され、前記フィルタは、前記組織細胞の自己蛍光発光および前記外科マージンの前記組織細胞における約600nm~約660nmの間の蛍光発光に対応する波長を有する発光の通過を許すようにさらに構成され、前記少なくとも1つのイメージセンサは、前記組織細胞の前記フィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記約600nm~約660nmの間の蛍光発光を検出するようにさらに構成され、前記プロセッサは、前記検出された発光を受信して、前記組織細胞の前記検出されたフィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記約600nm~約660nmの間の蛍光発光に関するデータを出力し、前記外科マージンの前記前がん細胞、前記がん細胞、および前記周辺病巣のうちの1つ以上の3次元画像を生成するようにさらに構成されている、任意の先行または後続の実施形態/特徴/態様の撮像装置。
74.ターゲットの蛍光に基づく3次元撮像のためのシステムであって、蛍光撮像の最中に均一な励起光場でターゲット表面を均一に照明するように構成された少なくとも1つの励起光源と、白色光撮像の最中に前記ターゲット表面を照明するように構成された少なくとも1つの白色光源と、前記ターゲット表面に向かって赤外線放射を放射するように構成された少なくとも1つの赤外放射源と、イメージセンサと、前記励起光による前記ターゲット表面の照明に応答した光学信号であって、細菌の自己蛍光および組織の自己蛍光のうちの1つ以上に対応する波長を有している光学信号を、前記イメージセンサへと通過させることができるように構成されたフィルタと、プロセッサとを備えており、前記プロセッサは、前記赤外光による前記ターゲットの照明に応答した光学信号を受信し、前記赤外光による前記ターゲットの照明に応答した前記受信信号に基づいて、前記ターゲット表面の3次元マップを生成し、前記励起光による前記ターゲット表面の照明に応答して検出された光学信号を受信し、前記ターゲット表面の2次元蛍光画像を生成し、前記ターゲット表面の白色光照明に応答した光学信号を受信し、前記ターゲット表面の2次元白色光画像を生成し、前記3次元マップ、前記蛍光画像、および前記白色光画像を組み合わせて、前記ターゲット表面の3次元画像を生成するように構成されている、システム。
75.任意の先行または後続の実施形態/特徴/態様の撮像装置と共に使用するためのコンピュータプログラム製品であって、非一時的なコンピュータ可読媒体を備えており、該非一時的なコンピュータ可読媒体は、画像処理のためのコンピュータプログラムコードを格納し、該コンピュータプログラムコードは、任意の先行または後続の実施形態/特徴/態様の方法を実行するために前記撮像装置の前記プロセッサによって実行可能である、コンピュータプログラム製品。
他の実施形態は、本明細書の検討および本明細書に開示された本開示の実施から、当業者にとって明らかであろう。本明細書および実施例は、例示としてのみ考慮されることが意図されている。本開示のさまざまな態様が、以下の特許請求の範囲に記載される。

Claims (75)

  1. 2次元画像を使用してターゲットの3次元画像を生成する方法であって、
    1つ以上の基準マーカが関連付けられたターゲット領域の3次元マップを生成するステップと、
    前記ターゲット領域および前記1つ以上の基準マーカの2次元白色光画像をキャプチャするステップと、
    前記2次元白色光画像および前記3次元マップから3次元白色光画像を生成するステップと、
    前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップと、
    前記2次元蛍光画像および前記3次元マップから3次元蛍光画像を生成するステップと、
    前記1つ以上の基準マーカを使用して前記3次元白色光画像および前記3次元蛍光画像を整列させ、3次元重畳画像を形成するステップと
    を含む方法。
  2. 前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップは、
    前記ターゲット領域および前記1つ以上の基準マーカを励起光で照明するステップと、
    前記励起光による前記ターゲット領域の照明に応答した少なくとも1つの蛍光発光を受光するステップと
    を含む、請求項1に記載の方法。
  3. 前記励起光は、約400nm~約450nmの間である、請求項2に記載の方法。
  4. 前記励起光は、約405nmの波長を有する、請求項2に記載の方法。
  5. 前記ターゲット領域および前記1つ以上の基準マーカの2次元蛍光画像をキャプチャするステップは、少なくとも1つの蛍光分子の発光をキャプチャするステップを含む、請求項1に記載の方法。
  6. 前記少なくとも1つの蛍光分子は、蛍光を発することができる内因性分子を含む、請求項5に記載の方法。
  7. 前記少なくとも1つの蛍光分子は、蛍光を発することができる外因性分子、または蛍光を発することができる外因的に付加された部分を含む分子を含む、請求項5に記載の方法。
  8. 前記少なくとも1つの蛍光分子は、アミノレブリン酸(ALA)誘導ポルフィリンを含む、請求項7に記載の方法。
  9. 前記3次元マップは、赤外光を使用して生成される、請求項1に記載の方法。
  10. 前記3次元マップは、近赤外光を使用して生成される、請求項9に記載の方法。
  11. 前記3次元マップを生成するステップは、
    前記ターゲット領域に赤外線放射を投射するステップと、
    前記ターゲット領域が反射させた赤外線放射を受光するステップと、
    前記反射赤外線放射に基づいて前記ターゲット領域の深度を測定し、前記3次元マップを生成するステップと
    を含む、請求項1に記載の方法。
  12. 前記赤外線放射は、光パターンへと分割されたビームとして投射され、前記反射赤外線放射は、前記光パターンの歪みを含み、前記深度は、前記光パターンの前記歪みに基づいて測定される、請求項11に記載の方法。
  13. 前記光パターンは、回折格子によって形成され、前記光パターンは、複数のドットを含む、請求項12に記載の方法。
  14. 前記深度は、前記投射された赤外線放射と前記反射赤外線放射との間の位相シフトに基づく飛行時間によって測定される、請求項11に記載の方法。
  15. 前記ターゲット領域は、少なくとも1つの創傷を含む、請求項1に記載の方法。
  16. 前記創傷は、少なくとも1つの蛍光分子を含む少なくとも1つの細菌を含む、請求項15に記載の方法。
  17. 前記創傷の表面積および体積の一方または両方を決定するステップ
    をさらに含む、請求項15に記載の方法。
  18. 当該方法は、少なくとも2回実行され、該2回の実行は、少なくとも3時間の時間期間によって隔てられた第1の実行および第2の実行を含み、前記第1の実行の前記3次元重畳画像は、第1の3次元重畳画像であり、前記第2の実行の前記3次元重畳画像は、第2の3次元重畳画像であり、
    当該方法は、前記第1および第2の3次元重畳画像を比較して創傷の治癒状態を判断するステップをさらに含む、請求項15に記載の方法。
  19. 前記時間期間は、少なくとも1日である、請求項18に記載の方法。
  20. 前記創傷の治癒状態は、創傷の悪化を含み、
    当該方法は、少なくとも1つの創傷改善補助剤を投与するステップをさらに含む、請求項18に記載の方法。
  21. 前記比較は、前記創傷のトポグラフィを追跡することをさらに含む、請求項18に記載の方法。
  22. 前記ターゲット領域は、対象生物から切除された組織を含む、請求項1に記載の方法。
  23. 前記組織は、がん組織を含む、請求項22に記載の方法。
  24. 前記がん組織は、腫瘍を含む、請求項23に記載の方法。
  25. 前記腫瘍は、乳房の腫瘍であり、前記切除された組織は、乳腺腫瘤切除を含む、請求項24に記載の方法。
  26. 前記切除された組織は、腫瘍受容体をターゲットにするプローブが関連付けられた蛍光分子、酵素活性蛍光分子、または遺伝子操作された腫瘍溶解性ウイルスによって引き起こされる蛍光、あるいはこれらの任意の組み合わせを含む、請求項22に記載の方法。
  27. 前記腫瘍受容体は、HER2、葉酸受容体、CXCR4、ホルモン受容体、EGFR、またはVEGF、あるいはこれらの組み合わせを含み、前記酵素は、プロテアーゼ、カルボヒドラーゼ、リパーゼ、トランスフェラーゼ、オキシドレダクターゼ、マトリックスメタロプロテアーゼ(MMP)、カスパーゼ、カテプシン、カリクレイン、セリンプロテアーゼ、イソクエン酸脱水素酵素、または腫瘍細胞によって過剰発現した酵素、あるいはこれらに組み合わせを含む、請求項26に記載の方法。
  28. 前記ターゲット領域は、組織が切除された手術床を含む、請求項1に記載の方法。
  29. 前記手術床および前記切除された組織は、がん組織を含む、請求項28に記載の方法。
  30. 当該方法は、少なくとも2回、いずれかの順序で実行され、前記2回の実行は、第1の実行および第2の実行を含み、前記第1の実行は、前記ターゲット領域について実行され、前記ターゲット領域は、切除された組織を含む第1のターゲット領域であり、前記第2の実行は、前記組織が切除された手術床を含む第2のターゲット領域について実行され、前記第1の実行の前記3次元重畳画像は、第1の3次元重畳画像であり、前記第2の実行の前記3次元重畳画像は、第2の3次元重畳画像であり、
    当該方法は、前記第1および第2の3次元重畳画像を比較して、前記手術床に対する前記切除された組織の向きに基づいて前記切除された組織と前記手術床との間の蛍光の連続性を判断するステップをさらに含む、請求項1に記載の方法。
  31. 前記蛍光の連続性は、細菌感染組織、ウイルス感染組織、火傷、がん組織、結合組織、筋組織、血液小胞、および皮膚の特徴のうちの1つ以上を含む、請求項30に記載の方法。
  32. 前記蛍光の連続性は、病んだ組織に対応し、
    当該方法は、前記手術床から前記病んだ組織の少なくとも一部分を切除するステップをさらに含む、請求項30に記載の方法。
  33. コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、光音響撮像、超音波、および光コヒーレンストモグラフィのうちの1つ以上を含む撮像技術を使用して、前記ターゲット領域および前記1つ以上の基準マーカのコンパニオン3次元画像をキャプチャするステップと、
    第1の3次元重畳画像である前記3次元重畳画像を前記コンパニオン3次元画像と重ね合わせ、第2の3次元重畳画像を形成するステップと
    をさらに含む、請求項1に記載の方法。
  34. 前記1つ以上の基準マーカは、第1組の基準マーカおよび第2組の基準マーカを含む、請求項33に記載の方法。
  35. 前記コンパニオン3次元画像は、コンピュータ断層撮影を使用してキャプチャされ、前記1つ以上の基準マーカは、少なくとも1つの蛍光分子および少なくとも1つのCT造影剤を含む、請求項33に記載の方法。
  36. 前記コンパニオン3次元画像は、光音響撮像を使用してキャプチャされ、前記ターゲット領域は、乳房の腫瘍および抗HER2デュアル蛍光-光音響プローブを含む、請求項33に記載の方法。
  37. フルオロフォアを励起することができる第1の放射線を放射するように構成された励起光源と、
    反射された励起光の通過を阻止し、前記フルオロフォアが放射する蛍光の通過を許すように構成されたフィルタと、
    撮像レンズと、
    第2の放射線を放射するように構成された可視光源と、
    第3の放射線を放射するように構成された赤外光源と、
    放射線を検出するように構成された少なくとも1つのイメージセンサと、
    前記検出された放射線を受信し、前記検出された放射線に関連するデータを出力するように構成されたプロセッサと
    を備える撮像装置。
  38. 当該撮像装置は、手持ちされるように構成されている、請求項37に記載の撮像装置。
  39. 当該撮像装置は、創傷を視覚化するように構成されている、請求項37に記載の撮像装置。
  40. 当該撮像装置は、前がん細胞、がん細胞、および外科マージンにおける周辺病巣のうちの1つ以上を視覚化するように構成されている、請求項37に記載の撮像装置。
  41. 前記励起光源は、組織細胞の自己蛍光発光および前記外科マージンの組織細胞における誘導されたポルフィリンの蛍光発光を励起するようにさらに構成されている、請求項40に記載の撮像装置。
  42. 前記フィルタは、反射された励起光の通過を阻止し、前記組織細胞の前記自己蛍光発光および前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光に対応する波長を有する発光の通過を許すようにさらに構成されている、請求項41に記載の撮像装置。
  43. 前記イメージセンサは、前記組織細胞の前記フィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光を検出するようにさらに構成されている、請求項42に記載の撮像装置。
  44. 前記プロセッサは、前記検出された発光を受信し、前記組織細胞の前記検出されたフィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記誘導されたポルフィリンの前記蛍光発光に関するデータを出力するようにさらに構成されている、請求項43に記載の撮像装置。
  45. 前記第2の放射線は、白色光を含む、請求項37に記載の撮像装置。
  46. 前記第2の放射線は、単色の可視光を含む、請求項37に記載の撮像装置。
  47. 前記第3の放射線は、赤外線放射を含む、請求項37に記載の撮像装置。
  48. 前記赤外線放射は、近赤外線放射を含む、請求項47に記載の撮像装置。
  49. 前記少なくとも1つのイメージセンサは、前記蛍光、反射白色光、および反射赤外光を含む放射線を検出するように構成されている、請求項37に記載の撮像装置。
  50. 前記少なくとも1つのセンサは、少なくとも2つのセンサを含む、請求項37に記載の撮像装置。
  51. 前記少なくとも2つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器とを含む、請求項50に記載の撮像装置。
  52. 前記少なくとも1つのセンサは、蛍光を検出するように構成された第1のセンサと、反射可視光を検出するように構成された第2の検出器と、反射赤外光を検出するように構成された第3のセンサとを含む少なくとも3つのセンサを含む、請求項37に記載の撮像装置。
  53. 前記光源のうちの少なくとも1つと協働するように構成された共通放射源をさらに備える、請求項37に記載の撮像装置。
  54. 前記少なくとも1つの光源は、前記共通放射源から放射されたソース放射線を前記第1の放射線、前記第2の放射線、または前記第3の放射線、あるいはこれらの組み合わせに変換するための変換器を備える、請求項53に記載の撮像装置。
  55. 前記変換器は、フィルタ、レンズ、プリズム、回折器、または量子ドット、あるいはこれらの組み合わせを備える、請求項54に記載の撮像装置。
  56. 前記励起光源は、第1の変換器を備え、前記可視光源は、第2の変換器を備え、前記赤外光源は、第3の変換器を備える、請求項54に記載の撮像装置。
  57. 表示ユニットをさらに備える、請求項37に記載の撮像装置。
  58. 前記表示ユニットは、前記プロセッサによって出力された前記データを表示するように構成されている、請求項57に記載の撮像装置。
  59. 前記データは、3次元画像を含む、請求項57に記載の撮像装置。
  60. 前記表示ユニットは、タッチスクリーンを備える、請求項57に記載の撮像装置。
  61. 前記検出された放射線は、蛍光、反射可視光、および反射赤外光のうちの1つ以上を含む、請求項37に記載の撮像装置。
  62. 前記検出された放射線は、蛍光、反射可視光、および反射赤外光を含む、請求項37に記載の撮像装置。
  63. 当該撮像装置は、生物学的ターゲットのターゲット領域を視覚化するように構成されている、請求項37に記載の撮像装置。
  64. 前記プロセッサは、前記ターゲット領域の3次元マップを生成するようにさらに構成されている、請求項63に記載の撮像装置。
  65. 前記3次元マップは、前記ターゲット領域から反射された赤外光から生成される、請求項64に記載の撮像装置。
  66. 前記プロセッサは、前記検出された放射線に基づいて前記ターゲット領域の2次元可視光画像をキャプチャするようにさらに構成されている、請求項64に記載の撮像装置。
  67. 前記プロセッサは、前記3次元マップおよび前記2次元可視光画像に基づいて前記ターゲット領域の3次元可視光画像を生成するようにさらに構成されている、請求項66に記載の撮像装置。
  68. 前記プロセッサは、前記検出された放射線に基づいて前記ターゲット領域の2次元蛍光画像をキャプチャするようにさらに構成されている、請求項64に記載の撮像装置。
  69. 前記プロセッサは、前記3次元マップおよび前記2次元蛍光画像に基づいて前記ターゲット領域の3次元蛍光画像を生成するようにさらに構成されている、請求項68に記載の撮像装置。
  70. 前記プロセッサは、前記ターゲット領域の3次元可視光画像を前記ターゲット領域の3次元蛍光画像に整列させて、前記ターゲット領域の3次元重畳画像を形成するようにさらに構成されている、請求項63に記載の撮像装置。
  71. 前記整列は、前記ターゲット領域に関連付けられた基準マーカの位置合わせに基づいて実行される、請求項70に記載の撮像装置。
  72. 当該撮像装置は、請求項1に記載の方法を実行するように構成される、請求項37に記載の撮像装置。
  73. 当該撮像装置は、手持ちされるようにさらに構成され、
    前記励起光源は、組織細胞の自己蛍光発光、ならびに撮像剤または造影剤への曝露後の外科マージンの前がん細胞、がん細胞、および周辺病巣における約600nm~約660nmの間の波長を有する蛍光発光を励起するようにさらに構成され、
    前記フィルタは、前記組織細胞の自己蛍光発光および前記外科マージンの前記組織細胞における約600nm~約660nmの間の蛍光発光に対応する波長を有する発光の通過を許すようにさらに構成され、
    前記少なくとも1つのイメージセンサは、前記組織細胞の前記フィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記約600nm~約660nmの間の蛍光発光を検出するようにさらに構成され、
    前記プロセッサは、前記検出された発光を受信して、前記組織細胞の前記検出されたフィルタ処理された自己蛍光発光および前記外科マージンの前記組織細胞における前記約600nm~約660nmの間の蛍光発光に関するデータを出力し、前記外科マージンの前記前がん細胞、前記がん細胞、および前記周辺病巣のうちの1つ以上の3次元画像を生成するようにさらに構成されている、請求項37に記載の撮像装置。
  74. ターゲットの蛍光に基づく3次元撮像のためのシステムであって、
    蛍光撮像の最中に均一な励起光場でターゲット表面を均一に照明するように構成された少なくとも1つの励起光源と、
    白色光撮像の最中に前記ターゲット表面を照明するように構成された少なくとも1つの白色光源と、
    前記ターゲット表面に向かって赤外線放射を放射するように構成された少なくとも1つの赤外放射源と、
    イメージセンサと、
    前記励起光による前記ターゲット表面の照明に応答した光学信号であって、細菌の自己蛍光および組織の自己蛍光のうちの1つ以上に対応する波長を有している光学信号を、前記イメージセンサへと通過させることができるように構成されたフィルタと、
    プロセッサと
    を備えており、
    前記プロセッサは、
    前記赤外光による前記ターゲットの照明に応答した光学信号を受信し、前記赤外光による前記ターゲットの照明に応答した前記受信信号に基づいて、前記ターゲット表面の3次元マップを生成し、
    前記励起光による前記ターゲット表面の照明に応答して検出された光学信号を受信し、前記ターゲット表面の2次元蛍光画像を生成し、
    前記ターゲット表面の白色光照明に応答した光学信号を受信し、前記ターゲット表面の2次元白色光画像を生成し、
    前記3次元マップ、前記蛍光画像、および前記白色光画像を組み合わせて、前記ターゲット表面の3次元画像を生成する
    ように構成されている、システム。
  75. 請求項37に記載の撮像装置と共に使用するためのコンピュータプログラム製品であって、非一時的なコンピュータ可読媒体を備えており、該非一時的なコンピュータ可読媒体は、画像処理のためのコンピュータプログラムコードを格納し、該コンピュータプログラムコードは、請求項1に記載の方法を実行するために前記撮像装置の前記プロセッサによって実行可能である、コンピュータプログラム製品。
JP2021541476A 2019-01-17 2020-01-17 創傷および組織標本の3次元画像化、測定、および表示のためのシステム、方法、および装置 Pending JP2022517422A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962793837P 2019-01-17 2019-01-17
US62/793,837 2019-01-17
PCT/IB2020/050380 WO2020148721A1 (en) 2019-01-17 2020-01-17 Systems, methods, and devices for three-dimensional imaging, measurement, and display of wounds and tissue specimens

Publications (2)

Publication Number Publication Date
JP2022517422A true JP2022517422A (ja) 2022-03-08
JPWO2020148721A5 JPWO2020148721A5 (ja) 2023-01-26

Family

ID=71614318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541476A Pending JP2022517422A (ja) 2019-01-17 2020-01-17 創傷および組織標本の3次元画像化、測定、および表示のためのシステム、方法、および装置

Country Status (11)

Country Link
US (1) US20220092770A1 (ja)
EP (2) EP3911919B1 (ja)
JP (1) JP2022517422A (ja)
CN (1) CN113614486B (ja)
AU (1) AU2020208842A1 (ja)
BR (1) BR112021013964A2 (ja)
CA (1) CA3127030A1 (ja)
ES (1) ES2967384T3 (ja)
MX (1) MX2021008451A (ja)
SG (1) SG11202107280UA (ja)
WO (1) WO2020148721A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113367638B (zh) * 2021-05-14 2023-01-03 广东欧谱曼迪科技有限公司 获取高精度三维荧光图像的方法、装置、存储介质和终端
CN114190890A (zh) * 2021-11-26 2022-03-18 长沙海润生物技术有限公司 一种创面成像装置及其成像方法
CN114882093B (zh) * 2022-07-12 2022-10-28 广东欧谱曼迪科技有限公司 术中三维点云生成方法、装置和术中局部结构导航方法
EP4312188A1 (en) * 2022-07-29 2024-01-31 Koninklijke Philips N.V. Combined optical and non-optical 3d reconstruction
WO2024022907A1 (en) * 2022-07-29 2024-02-01 Koninklijke Philips N.V. Combined optical and non-optical 3d reconstruction
CN115115755B (zh) * 2022-08-30 2022-11-08 南京诺源医疗器械有限公司 基于数据处理的荧光三维成像方法及装置
WO2024095284A1 (en) * 2022-11-01 2024-05-10 Adiuvo Diagnostics Private Limited Systems and methods for detection of cellular entities
US20240179419A1 (en) * 2022-11-30 2024-05-30 Cilag Gmbh International Pixel binning on a per-frame basis
US11860098B1 (en) * 2023-01-13 2024-01-02 Tencent America LLC Method and device for three-dimensional object scanning with invisible markers
CN117392117B (zh) * 2023-12-04 2024-02-13 四川省医学科学院·四川省人民医院 一种基于OpenCV图像处理的压疮检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007950A1 (en) * 2010-07-09 2012-01-12 Yang Jeonghyu Method and device for converting 3d images
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4206213B2 (ja) * 2000-04-28 2009-01-07 オラメトリックス インコーポレイテッド 表面を走査し三次元物体を作製するための方法及びシステム
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
ES2715633T3 (es) 2008-05-20 2019-06-05 Univ Health Network Dispositivo y método para formación de imágenes y supervisión por fluorescencia
WO2013109966A1 (en) * 2012-01-20 2013-07-25 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US8330804B2 (en) * 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US11510600B2 (en) * 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US12061328B2 (en) * 2012-01-20 2024-08-13 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
JP5794201B2 (ja) * 2012-05-15 2015-10-14 株式会社島津製作所 生体蛍光画像取得装置
WO2014118637A2 (en) * 2013-02-04 2014-08-07 Novadaq Technologies Inc. Combined radiationless automated three dimensional patient habitus imaging with scintigraphy
CN107851176A (zh) * 2015-02-06 2018-03-27 阿克伦大学 光学成像系统及其方法
EP3869184A1 (en) * 2015-06-26 2021-08-25 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
CN105120257B (zh) 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
CN107093171B (zh) * 2016-02-18 2021-04-30 腾讯科技(深圳)有限公司 一种图像处理方法及装置、系统
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
CN106803284B (zh) * 2017-01-11 2021-03-23 北京旷视科技有限公司 构建脸部的三维图像的方法及装置
EP3745951A4 (en) 2018-02-02 2021-10-20 University of Health Network DEVICES, SYSTEMS AND METHODS FOR TUMOR VISUALIZATION AND REMOVAL
US11758263B2 (en) * 2021-08-24 2023-09-12 Moleculight, Inc. Systems, devices, and methods for imaging and measurement using a stereoscopic camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007950A1 (en) * 2010-07-09 2012-01-12 Yang Jeonghyu Method and device for converting 3d images
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法

Also Published As

Publication number Publication date
ES2967384T3 (es) 2024-04-30
CN113614486B (zh) 2024-09-03
CN113614486A (zh) 2021-11-05
AU2020208842A1 (en) 2021-08-05
EP3911919A4 (en) 2022-09-28
EP3911919B1 (en) 2023-10-18
EP3911919C0 (en) 2023-10-18
SG11202107280UA (en) 2021-08-30
WO2020148721A1 (en) 2020-07-23
EP4322176A3 (en) 2024-03-20
EP4322176A2 (en) 2024-02-14
US20220092770A1 (en) 2022-03-24
MX2021008451A (es) 2021-08-19
EP3911919A1 (en) 2021-11-24
BR112021013964A2 (pt) 2021-09-21
CA3127030A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
EP3911919B1 (en) Systems, methods, and devices for three-dimensional imaging, measurement, and display of wounds and tissue specimens
JP7249881B2 (ja) 螢光に基づく画像化およびモニタリング用装置ならびにその方法
JP2021513390A (ja) 腫瘍の視覚化および除去のためのデバイス、システム、および方法
US20110042580A1 (en) Fluorescence quantification and image acquisition in highly turbid media
WO2009052607A1 (en) Method and apparatus for microvascular oxygenation imaging
JP2004503279A (ja) 周辺光条件下のインビボ誘導信号の光学画像化
JP2008522761A (ja) 規準化された蛍光又は生物発光撮像のためのシステムと方法
US20220108461A1 (en) Multi-Modal System for Visualization and Analysis of Surgical Specimens
JPWO2020148721A5 (ja)
CN110710953A (zh) 一种基于荧光成像的皮肤肿瘤早期筛查装置及使用方法
Vo-Dinh et al. Optical diagnostic and therapeutic technologies in pulmonary medicine
Adamczyk et al. Spectral analysis of basal cell cancer in vivo
Wilson et al. Optical Guidance for Therapeutic Interventions
Zhou et al. NIR imaging the delivery of cathepsin B probe to breast tumors
Keereweer et al. 8 fundamental aspects, challenges, and limitations
Mirković Quantitative spectroscopy for detection of cervical dysplasia

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240326

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240809

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240909