JP2018515297A - 画像解析 - Google Patents

画像解析 Download PDF

Info

Publication number
JP2018515297A
JP2018515297A JP2018501139A JP2018501139A JP2018515297A JP 2018515297 A JP2018515297 A JP 2018515297A JP 2018501139 A JP2018501139 A JP 2018501139A JP 2018501139 A JP2018501139 A JP 2018501139A JP 2018515297 A JP2018515297 A JP 2018515297A
Authority
JP
Japan
Prior art keywords
interest
region
volume
oct
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018501139A
Other languages
English (en)
Other versions
JP6726734B2 (ja
Inventor
ファン,イジュン
Original Assignee
アイコー,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイコー,エルエルシー filed Critical アイコー,エルエルシー
Publication of JP2018515297A publication Critical patent/JP2018515297A/ja
Application granted granted Critical
Publication of JP6726734B2 publication Critical patent/JP6726734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02015Interferometers characterised by the beam path configuration
    • G01B9/02029Combination with non-interferometric systems, i.e. for measuring the object
    • G01B9/0203With imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735Optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • A61F9/008Methods or devices for eye surgery using laser
    • A61F2009/00844Feedback systems
    • A61F2009/00851Optical coherence topography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1001X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
    • A61N5/1014Intracavitary radiation therapy
    • A61N5/1017Treatment of the eye, e.g. for "macular degeneration"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本明細書において提供する技術は、画像解析に関するもので、特に、排他的ではないが、光コヒーレンストモグラフィデータを用いて関心領域の面積および/または体積を決定するための方法およびシステムに関する。いくつかの実施形態は、光コヒーレンストモグラフィによる3次元データと光コヒーレンストモグラフィによる2次元眼底画像とを用いて、網膜組織における病変の面積および/または体積を決定するために提供される。

Description

発明の詳細な説明
〔関連出願の相互参照〕
この出願は、2015年12月18日に出願された米国仮特許出願番号第62/269,601号および2015年3月26日に出願された米国仮特許出願番号第62/138,485号の利益を主張し、それらの全体は参照により組み込まれる。
〔技術分野〕
本明細書において提供する技術は、画像解析に関するもので、特に、排他的ではないが、光コヒーレンストモグラフィデータを用いて関心領域の面積および/または体積を決定するための方法およびシステムに関する。
〔背景技術〕
臨床医および研究者の間では、例えば、組織の異常および病態を特定して診断するために、生体組織を表す画像データを使用することがますます増えてきている。光コヒーレンストモグラフィ(OCT)を使用したイメージングは、組織形態の断面画像を生成するイメージング方法である(例えば、Pieroni et al. (2006) “Ultrahigh resolutionoptical coherence tomography in non-exclusive agerelated macular degeneration” Br J Ophthalmol 90(2): 191-7を参照のこと。)。
特に、OCTは、組織反射率の擬似色による断層画像または階調画像を用いて、網膜組織異常の優れた可視化を実現する。しかし、局所性網膜組織異常の大きさの定量化(例えば、外側方向の範囲、面積および/または体積の決定)は簡単ではない。例えば、OCTデータのみ(例えば、眼底画像を参照することなく)における網膜異常の正面の面積(en face area)を決定するためには、ユーザが多くのOCT断面画像のそれぞれにおける網膜異常の境界線を特定する必要がある。この作業は、上記異常が複数の位置を有する場合、上記異常が複雑または不規則な形状を有する場合、または上記異常の範囲が外側方向に広がっている場合、非常に骨の折れる作業であり、正確ではない。さらに、OCTセグメント化は、通常、(例えば、正常な被験者の)既知の解剖学的組織層に基づいているため、必ずしも異常の境界線に基づいているとは限らない。
例えば、容積(例えば、網膜の嚢胞様腔の体積)を評価するための現存の技術には、臨床医がOCT画像を見て、OCT画像が示す様々な解剖学的層(例えば、内境界膜(ILM)および網膜色素上皮(RPE))を手動でセグメント化するというステップが含まれることが多い。その後、ソフトウェアが、例えば、解剖学的層間の厚さの複数のフレームの台形積分により、体積計算を行う。このような技術を使用すると、得られた値には、検査中の異常(例えば、嚢胞様腔)の体積が含まれるが、異常に関する計算に関連する可能性のない隣接した(例えば、健康な)組織の体積も含まれる。さらに、いくつかの現存する技術には、基準となるデータベースとの比較により、異常の発生からの、組織の体積の変化を測定することが伴う。しかしながら、これらの測定は、基準データを生成するために測定される必要がある固定領域および固定セグメント化層に制限される。また、これらの技術は、そのような測定は通常行われないため、適切なデータが入手できないという点で不十分である。
さらに、OCTデータの定量分析は、黄斑変性(例えば、滲出型および萎縮型加齢性黄斑変性(AMD))の診断および治療に使用されている。例えば、網膜の厚さの測定は、抗血管内皮増殖因子(VEGF)剤(例えば、ラニビズマブは、例えば、「ルセンティス」として販売され、アフリベルセプトは、例えば、「アイリイーア」として販売されている)による治療の有効性を観察するために、一部の患者に使用されている。網膜の厚さの測定(黄斑を中心とした、固定された直径1mm(例えば、0.1mm〜10mm)の領域の測定)は、網膜下および/または網膜内の流体の蓄積を推定するために使用され、イメージングエンドポイントとしてFDAから一般に認められている。また、VEGFおよび血小板由来増殖因子(PDGF)の両方を標的とする新たな併用療法が利用できる。黄斑変性と関連する中心性新生血管(central neovascularization)(CNV)複合体のサイズを小さくするために抗PDGF治療が施されるが、ヒト臨床試験においてこの治療の定量分析は現在制限されている。いくつかの予備研究では、蛍光眼底血管造影による画像を用いてCNV病変複合体の外側方向の範囲(例えば、面積)を定量化する試みが行われているが、OCTデータに基づいたCNV病変の面積または体積の定量化は行われていない(例えば、Jaffe et al. (2015) “A phase 1 study of intravitreous E10030 incombination with Ranibizumab in neovascular AMD” Ophthalmology (Manuscript no.2015-470, in press)、Boyer (2009) “Combinationinhibition of PDGF and VEGF for treatment of neovsacular AMD”, ARVO abstractを参照のこと)。
網膜病変の面積測定は、例えば、AMDにおける網膜色素上皮(RPE)の地図状萎縮(GA)の観察および治療を行うための解剖学的エンドポイントにも使用される。特に、GA領域の面積の経時的な増加は、疾患の進行の尺度と考えられる。また、臨床的に重要な尺度とは、GA(RPEの損失および/または網膜の外境界膜層の消失により測定される)の境界の、視覚の中心に関する網膜領域、つまり、中心窩への近さである。GAの進行を遅らせる(例えば、時間に対するGA領域の面積の増加を遅らせる)治療、ならびに/または、中心窩方向および/もしくは中心窩内へのGA領域の侵入を遅らせる治療は、視力を維持させるか、および/または、視力の喪失を最小限に抑える。多くのGAの治療は、この時点で臨床研究途中にあり、GA領域のサイズおよび/またはGA領域のサイズの変化を測定および/または観察する技術の恩恵を受けている。臨床ケアおよび臨床研究の両方におけるGAの進行を追跡するための現在の技術は、例えば、網膜写真、眼底自己蛍光、蛍光眼底血管造影等の正面画像診断療法(en face imaging modalities)を使用したGA領域の面積の測定に基づいている。さらに、現在のOCTに基づく、GAの測定はボクセル投影画像に基づいている(例えば、Hu (2013) “Segmentation of Geographic Atrohy in Spectral-Domain OpticalCoherence Tomography and Fundus Autofluorescence Images” Invest Ophth Vis Sci54: 8375-83、およびYehoshua (2014) “Comparison ofGeographic Atrophy Measurements from the OCT Fundus Image and the Sub-RPE SlabImage” Ophthalmic Surg Lasers Imaging Retina 44: 127-32を参照のこと)。
このように、OCTデータは、臨床医および研究者にとって貴重であるが、OCT技術の有用性は、例えば、3次元(例えば、体積測定)計量、およびデータの2次元(例えば、正面(en face))表示を用いて、眼球の複数の微細構造を直接関連づけることによって、組織異常および病態のサイズを測定するために改良された画像解析の恩恵を受けている。
〔概要〕
局所性組織異常の計量評価(例えば、1つの以上の大きさ(例えば、距離、面積、体積等)の決定))および追跡によって、例えば、被験者の治療のための診断ツールが実現する。特に、本明細書に記載の本技術は、光コヒーレンストモグラフィ(OCT)による3次元(例えば、体積および/または断面)データを2次元画像(例えば、眼底画像、カラー写真、赤外線反射画像、血管造影フレーム、3次元データの結合等)と対にするとともに、一次資料として2次元画像および/または断面データ(例えば、3次元データの2次元「スライス」)を用いて組織異常の範囲(例えば、直線における(例えば、1次元)、2次元空間における、および/または3次元空間における)を決定する方法に関する。
様々な実施形態において、眼底画像は、データ取得時にOCTデータとともに取得されることもあれば、そうでないこともある。いくつかの実施形態において、この後、眼底画像は、OCTデータ(例えば、OCT画像)とともに記録される。いくつかの実施形態において、OCTデータ(例えば、OCT画像)は、眼底画像とともにピクセル毎に記録される。いくつかの実施形態において、参照眼底画像は、OCTデータの正面ピクセル表示(en face pixel display)である。
いくつかの実施形態において、ユーザは、関心領域(例えば、異常、病変、CNV複合体等)の境界を、眼底画像を表示するディスプレイに示すか、OCTデータを検査して当該境界を示すか、またはその両方を行う。これにより、関心領域(例えば、異常、病変、CNV複合体等)の境界線のデジタル表現(例えば、ピクセル表現)が実現する。関心領域(例えば、異常、病変、CNV複合体等)のデジタル表現は、OCT3次元データのデジタル表現(例えば、ピクセル表現)にマッピングされ、本明細書で提供される本技術に従って、眼底画像および/またはOCTデータから、関心領域(例えば、異常、病変、CNV複合体等)の面積および/または体積がソフトウェアにより決定される。
従って、本明細書で提供される本技術は、いくつかの実施形態において、光コヒーレンストモグラフィ(OCT)を用いて生体組織の関心領域の距離、長さ、または位置ならびに面積および/または体積を決定するための方法に関する。いくつかの実施形態において、上記方法は、関心領域を画定する、少なくとも第1のセグメント(例えば、前眼部)と第2のセグメント(例えば、後眼部)とを含む3次元OCTデータを取得するステップと、上記関心領域を含む2次元画像データ(例えば、OCT眼底データ、写真等)を取得するステップと、上記2次元画像データにおいて、上記関心領域の周りに面積Aを囲む境界を設けるステップと、上記面積Aの上記境界内にあり、上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップと、上記境界に沿って(例えば、面積Aの周囲に沿って)上記第1のセグメントと上記第2のセグメントの間の平均厚さtを計算するステップと、上記関心領域の体積V=v−(t×A)を計算するステップとを含む。
本技術は、境界の形状に限定されるものではない。例えば、いくつかの実施形態において、上記境界は、円形、楕円形、多角形(例えば、三角形、四辺形(例えば、四角形、長方形、台形、平行四辺形、菱形等)等)、または他の形状であり、いくつかの実施形態において、上記境界は不規則な形状である。いくつかの実施形態において、上記境界は、任意の形状であって、(例えば、眼底画像または3次元データの他の2次元表現(例えば、投影像、結合像、スライス、断面等)において)任意の形状はその周囲が関心領域を包囲するとともに、ある面積(例えば、病変および/または関心領域の範囲と同じサイズであるか、当該範囲よりも大きい面積)を有する。いくつかの実施形態は、2次元OCT眼底データにおいて、上記関心領域の端から端までの最大直線距離を決定するステップを含む。いくつかの実施形態において、上記最大直線距離はコンピュータによって決定または提供され、いくつかの実施形態において、上記最大直線距離は、ユーザによって決定または提供される。いくつかの実施形態において、線形測定により、網膜内における病変の境界の解剖学的位置までの距離(例えば、病変の最も近い端から中心窩までの距離)が得られる。
特定の実施形態はOCTデータに関し、3次元OCTデータは3次元OCT画像であり、上記2次元OCT眼底データは(例えば、3次元OCTデータを結合することで作成される)2次元画像であり、または2次元OCT眼底データは写真(例えば、デジタル画像)である。
いくつかの好ましい実施形態において、ユーザが、(例えば、コンピュータと情報を交換することにより眼底画像上に上記境界のピクセル表現を重畳させることで、)上記関心領域の周りに上記境界を描画し、具体的な実施形態では、コンピュータ入力装置(例えば、カーソル制御装置(例えば、マウス、ライトペン、スタイラス、タッチスクリーン、トラックボール、トラックパッド、ジョイスティック等))を用いて、ユーザが上記関心領域の周りに上記境界を描画する。いくつかの実施形態において、自動画像処理によって、関心領域の周りに上記境界が描かれる。例えば、いくつかの実施形態において、ユーザが、画像上にある関心領域の端を画定する複数の点を特定し、自動化された方法(例えば、ソフトウェアによる方法)によって当該複数の点をつないで、関心領域を包含する連続的な境界を提供する。自動化された画像解析アルゴリズムにより、イメージングデータと、ユーザによって定義された点の位置とを解析して、(例えば、補間アルゴリズムを用いてユーザによって定義された点と点との間に複数の点を設定するとともに、すべての点を関心領域を包含する線とつなげることで、)関心領域を包含する境界を提供する。
本技術の実施形態は、関心領域(例えば、組織異常、病変、CNV複合体等)の面積および/または体積を得るために提供される。本技術の実施形態によると、正常な組織の領域を特定することで、関心領域(例えば、異常、病変、CNV複合体等)の面積および/または体積を計算する。従って、いくつかの実施形態では、影響を受けない境界領域によって、または基準となるデータベースを使用することによって、関心領域に外接されるように(例えば、境界の外周が画像データの正常な組織に対応する領域に設けられるように)、正常な生体組織に境界を設けるステップを含む。いくつかの実施形態は、ユーザに対して関心領域の面積および/または体積の出力(例えば、ディスプレイ上への出力、ネットワークでの出力、紙印刷による出力等)を行うステップを備える。
いくつかの実施形態において、上記関心領域は上記生体組織内の病変である。特定の実施形態において、上記生体組織は網膜組織であり、上記関心領域は網膜病変である。例えば、いくつかの実施形態において、上記関心領域は、例えば、黄斑変性(例えば、滲出型黄斑変性、萎縮型黄斑変性)による中心性新生血管(central neovascularization)(CNV)病変複合体である。他の実施形態において、上記関心領域は、網膜色素上皮層の欠損および/または関心領域を覆う特定の網膜層の体積の欠損(例えば、RPEを損失している領域を覆う網膜の外顆粒層)。
さらなる方法は、組織異常(例えば、異常な組織増殖、CNV病変等)を有する被験者を治療することに関する。従って、いくつかの実施形態は、組織異常を有する被験者を治療する方法であって、本明細書で提供される方法に従って、上記組織異常の面積および/または体積を取得するステップと、上記組織異常の面積および/または体積に基づき、上記被験者に治療を施すステップとを含む方法を提供する。追加の実施形態は、組織異常を有する被験者の治療が成功したことを認定する方法であって、本明細書に記載されているような方法に従って、上記組織異常の第1の面積および/または第1の体積を計算するステップと、上記被験者に治療を施すステップと、本明細書に記載の方法に従って、上記組織異常の第2の面積および/または第2の体積を計算するステップと、上記組織異常の上記第2の面積および/または上記第2の体積が上記組織異常の上記第1の面積および/または上記第1の体積よりも小さい場合、上記患者の上記治療を有効な治療として認定するステップとを含む方法に関する。例えば、いくつかの実施形態において、効果的な治療により、組織異常の面積および/または体積が1%〜100%の割合(例えば、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、または95%〜100%)で減少する。
いくつかの実施形態は、一次元測定(例えば、網膜内における病変の境界の、解剖学的位置までの距離(例えば、病変の最も近い端から中心窩までの距離)を得る測定)を用いた、被験体の治療および治療状況の観察に関する。例えば、いくつかの実施形態において、効果的な治療により、病変と解剖学的特徴(例えば、中心窩)との距離が1%〜100%の割合(例えば、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、または95%〜100%)で増加する。
従って、いくつかの実施形態において、本明細書で提供される方法に従って、上記組織異常の第1の面積および/または第1の体積を測定し、第1の面積および/または第1の体積の測定後に、本明細書で提供される方法に従って、上記組織異常の上記第2の面積および/または上記第2の体積を測定し、上記第2の面積および/または上記第2の体積が上記第1の面積および/または上記第1の体積よりも小さい場合、治療に有効性があることを示す。いくつかの実施形態において、本明細書で提供される方法に従って、解剖学的特徴から組織異常までの第1の距離を測定し、第1の距離の測定後に、解剖学的特徴から組織異常までの第2の距離を本明細書で提供される方法に従って測定し、第1の距離よりも第2の距離が大きい場合、治療に有効性があることを示す。
従って、治療に有効性があることを示すいくつかの実施形態において、治療の調整(投与量の減少)、中断、変更等を行う。いくつかの実施形態において、距離、面積および/または体積の測定値は、ある治療を別の治療に置き換えるべきであることを示す。いくつかの実施形態において、距離、面積および/または体積の測定値は、2つ以上の治療を組み合わせるべきであることを示す。
いくつかの実施形態において、いくつかの面積、および/または、いくつかの体積は、治療に有効性があることを示すとともに、調整せずに治療を継続すべきであるということを示す。逆に言えば、上記第2の面積および/または上記第2の体積の測定値の増加が、疾患が進行していることを示している可能性がある。いくつかの実施形態において、組織の損失(例えば、萎縮)は、第2の測定の負の値の増加(例えば、第1の面積および/または上記第1の体積とその後に測定した第2の面積および/または上記第2の体積との差の拡大)によって決定される。いくつかの実施形態において、複数の画像の中で基準領域を選択して、複数の画像の比較および/または位置合わせ(例えば、整合)を行うための共通の基準点を得る。例えば、いくつかの実施形態において、異なる時点における画像は、(例えば、網膜の血管、視神経頭などの、解剖学上の(例えば、組織の)目印を用いて、)互いに位置合わせが行われる。
いくつかの実施形態において、被験者を検査して、例えば、本明細書で提供される方法に従って組織異常の面積および/または体積を取得することで組織異常の有無またはレベルを評価し、その後、検査の結果に基づいて被験者を治療する。いくつかの実施形態において、被験者の検査と治療を行い、その後再度検査を行って治療に対する反応を観察する。いくつかの実施形態において、検査と治療のパターン(例えば、検査/治療、検査/治療/検査、検査/治療/検査/治療、検査/治療/検査/治療/検査、治療/検査/治療、検査/治療/治療/検査/治療/治療等)、周期、または各検査段階と各治療段階との間の時間間隔を限定することなく、検査と治療とのサイクルが行われてもよい。
本明細書で提供される本技術は、既存のOCT計量分析に比べて、いくつかの利点を提供する。例えば、OCTデータスキャンを処理するための既存の解析ソフトウェアは、固定されたサンプル領域(例えば、中心窩を中心とした直径が6mmのグリッド円)を使用して、その円内における組織層の内側と外側との境界をセグメント化する。組織全体の面積および組織全体の領域の体積は、固定された基準円内の全ての点を積分することによって計算される。しかし、局所性病変(例えば、脈絡膜新生血管膜の組織および腫脹)の実際の面積および/または体積は、サンプリングされた全領域のごく一部である場合があり、その結果、健全な組織の非常に大きな領域が、既存の技術を用いてグリッドで測定された面積および/または体積に含まれる場合がある。従って、6mmの円の体積における小さな相対的な変化(例えば、5%)が、局所性病変の体積における非常に大きな相対的な変化(例えば、80%の増加)を表す場合がある。しかし、本明細書に記載の本技術は、解析用のデータにおける局所性病変の相対的な計量(例えば、面積または体積)の変化を測定するための、より正確で、より感度の高いバイオマーカーを提供する。
さらなる実施形態は、生体組織の関心領域の面積および/または体積を決定するためのシステムであって、OCT装置と、本明細書に記載の方法に従って、上記関心領域の面積および/または体積を計算するソフトウェアと、を備えるシステムを提供する。さらなる実施形態は、3次元OCTデータと2次元眼底データとをユーザに表示するように構成された部材を備える。システムのさらに追加の実施形態は、ユーザからの入力を受け付けて、2次元OCT眼底データにおいて、上記関心領域の周りに上記境界を設けるように構成された部材を備える。特定の実施形態は、上記関心領域の上記面積および/または上記体積を、例えば、ユーザに出力する部材を提供する。
いくつかの実施形態は、網膜病変の面積および/または体積を決定するための方法であって、SD−OCTデータ(例えば、3次元SD−OCTデータ)を取得するステップと、SD−OCTデータの眼底画像(例えば、3次元SD−OCTデータから生成、3次元SD−OCTデータと同時に取得、および/または3次元SD−OCTデータとは異なる時点で取得)をディスプレイに表示するステップと、表示された2次元眼底画像と情報を交換するユーザから、入力装置を用いてユーザ入力を取得することで、面積Aを囲む境界を関心領域の周囲に設けるステップと、を含む方法を提供する。
特定の実施形態において、本明細書で提供される方法は、網膜病変の面積および/または体積を決定するための方法であって、網膜病変を含む、第1の網膜セグメントと第2の網膜セグメントとを含む3次元SD−OCT画像を供給するステップと、上記網膜病変を含む2次元SD−OCT眼底画像を供給するステップと、上記2次元眼底画像において、上記網膜病変の端から端までの最大直線距離を決定するステップと、上記2次元眼底画像における上記網膜病変周囲の円であって、上記2次元眼底画像における上記網膜病変の端から端までの最大直線距離よりも大きい直径dを有する円を描くステップと、上記円の周囲に沿って、上記第1の網膜セグメントと上記第2の網膜セグメントとの間の平均厚さtを計算するステップと、上記円内にあり、かつ、上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップと、上記網膜病変の体積V=v−(t×π×(d/2))を計算するステップと、を含む方法である。
特定の実施形態において、本明細書で提供される方法は、例えば、黄斑変性による中心性新生血管(central neovascularization)(CNV)病変の面積および/または体積を決定するための方法であって、CNV病変を含む、第1の網膜セグメントと第2の網膜セグメントとを含む3次元SD−OCT画像を供給するステップと、上記CNV病変を含む2次元SD−OCT眼底画像を供給するステップと、上記2次元眼底画像において、上記CNV病変の端から端までの最大直線距離を決定するステップと、上記2次元眼底画像における上記CNV病変周囲の円であって、上記2次元眼底画像における上記CNV病変の端から端までの最大直線距離よりも大きい直径dを有する円を描くステップと、上記円の周囲に沿って、上記第1の網膜セグメントと上記第2の網膜セグメントの間の平均厚さtを計算するステップと、上記円内にあり、かつ、上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップと、上記CNV病変の体積V=v−(t×π×(d/2))を計算するステップとを含む方法である。
いくつかのさらなる実施形態は、CNV病変の面積および/または体積を決定するための方法であって、SD−OCTデータ(例えば、3次元SD−OCTデータ)を取得するステップと、SD−OCTデータの眼底画像(例えば、3次元SD−OCTデータから生成、3次元SD−OCTデータと同時に取得、および/または3次元SD−OCTデータとは異なる時点で取得)をディスプレイに表示するステップと、表示された2次元眼底画像と情報を交換するユーザから、入力装置を用いてユーザ入力を取得することで、面積Aを囲む境界を関心領域の周囲に設けるステップと、を含む方法を提供する。
いくつかの実施形態において、上記方法は、上記SD−OCTデータをセグメント化して、例えば、少なくとも第1のセグメントと第2のセグメントとを設けるステップをさらに含む。いくつかの実施形態において、上記セグメントは、解剖学的特徴(例えば、組織、組織層等)に対応し、いくつかの実施形態において、上記セグメントは、必ずしも組織学的、生物学的、および/または解剖学的特徴に対応するものではない(例えば、上記セグメントは、本明細書で本技術によって提供されるような関心領域の解析に適しているもので、必ずしも組織学的、生物学的、および/または解剖学的特徴に対応するものではない)。
さらに追加の実施形態において、上記方法は、上記境界内にあり、かつ上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップ、上記境界に沿って、上記第1のセグメントと上記第2のセグメントの間の平均厚さtを計算するステップ、および/または上記関心領域の体積V=v−(t×A)を計算するステップ、を含む。
いくつかの実施形態において、上記方法は、網膜色素上皮の地図状萎縮を有する眼球におけるOCTのBスキャンから、RPEを損失している領域および/または境界を特定するステップを含む。いくつかの実施形態において、RPEを損失している領域および/または境界を特定する上記ステップは、OCTスキャンにおける上記領域および/または上記境界の位置を、正面眼底画像において対応する位置と、位置合わせを行うステップを含む。いくつかの実施形態において、次いで、面積Aは、正面画像に書き込まれた境界のセグメント化(例えば、ユーザによる手動のセグメント化および/または自動セグメント化)を用いて計算される。従って、実施形態では、複数の時点で取得した画像を、同じ方法に従って評価し、複数の画像における病変の境界および/または病変の領域の差異を用いて、境界、領域、形状等の変化を評価し、例えば、疾患の進行の評価、治療等を行う。
いくつかの特定の実施形態において、上記入力装置は、タッチスクリーンである。すなわち、ユーザが、タッチスクリーンに画像として表示されるデータを用いて情報を交換し、タッチスクリーンを用いて入力を行うことで、ユーザがコマンドを入力して、関心領域の境界を示す(例えば、指、スタイラス等での、タッチスクリーンへの描画および/または別の入力装置の使用により)。いくつかの実施形態において、上記方法は、ディスプレイに境界を表示させる(例えば、SD−OCT画像上に重畳させる)ステップをさらに含む。例えば、いくつかの実施形態において、距離(例えば、距離d、病変(例えば、病変境界)から解剖学的特徴への距離等)のディスプレイへの表示、関心体積の面積Aのディスプレイへの表示、関心領域の体積Vのディスプレイへの表示、および/または平均厚さtのディスプレイへの表示を行う。いくつかの実施形態において、ユーザの情報交換により境界が変更されたときに、上記方法は、境界の変更に伴い、ディスプレイにおける関心領域の体積Vを更新するとともに、ディスプレイにおける平均厚さtを更新するステップを含む。
さらなる実施形態は、本明細書に含まれる教示に基づき当業者には明らかであろう。
〔図面の簡単な説明〕
本技術のこれらの特徴、態様、および利点、ならびにその他の特徴、態様、および利点については、以下の図面に関連して一層理解が深まるであろう。
図1は、OCT装置(「OCT」)および当該OCT装置によって撮像されるサンプル(「サンプル」)に関連して例示的な座標系を示す模式図である。
図2Aは、組織サンプルのセグメント化された画像における関心領域の断面画像(下のパネル)と、関心領域を示す関連眼底画像(上のパネル)と、を示す模式図である。下のパネルにおいて、上側の黒い線と下側の黒い線とは、それぞれ第1のセグメントと第2のセグメントとを示す。上側の黒い線で示す上向きの突起は、サンプルにおける成長異常、病変等、または他の関心領域を表す。
図2Bは、眼底画像(上のパネル)において関心領域の周りに設けられた境界を示す模式図である。関心領域は、最大長さ寸法gを有し、いくつかの実施形態において、境界は、直径dを有する円である。境界は、面積A(上のパネルの灰色の領域)を画定する。上記セグメントと交差する、当該画像を通る境界の拡張によって、第1のセグメント、第2のセグメント、および拡張された境界で囲まれた体積vが画定される(下のパネルの灰色の領域)。
図2Cは、本明細書で記載されるように、面積Aおよび距離t(例えば、境界の円周において計算された、第1のセグメントと第2のセグメントとの間の平均厚さ)から計算した、断面における体積n(白い領域)を示す概略図である。関心領域の体積Vを下のパネルに灰色で示す。
図2Dは、面積A(図2Dの1)を有する円形の境界を与えることと、面積A(図2Dの3)を有する不規則な形状の境界を与えることとを含む本技術の実施形態を示す概略図である。図2Dの2および図2の4は、距離tにわたってサンプルを通って拡張する境界によって画定される体積nを示す。体積nは、面積Aと距離tとの積である。
図3Aは、眼底画像を示し、図3Bは、OCTデータの関連図を示す。図3Aの眼底画像における長くて水平な白い線は、図3Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図3A)上の垂直な白い目盛りの位置は、OCT画像(図3B)上の2つの垂直な白い目盛りの位置に対応している。
図4Aは、眼底画像を示し、図4Bは、被験者の網膜を撮像することにより得られたOCTデータの関連図を示す。図4Aの眼底画像における長くて水平な白い線は、図4Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図4A)上の垂直な白い目盛りの位置は、OCT画像(図4B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図4A上に白線で輪郭が描かれている。
図5Aは、眼底画像を示し、図5Bは、図4Aおよび図4Bの画像データと同じ被験者の網膜の同じ領域を撮像することにより別の(例えば、後の)時点で得られたOCTデータの関連図を示す。図5Aの眼底画像における長くて水平な白い線は、図5Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図5A)上の垂直な白い目盛りの位置は、OCT画像(図5B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図5A上に白線で輪郭が描かれている。
図6Aは、眼底画像(左のパネル)と、AMDおよびGAを有する患者の網膜を撮像することにより得られたOCTデータ(右のパネル)の関連図とを示す。眼底画像上の水平な白い線は、示されたOCTのBスキャンに対応する。白い目盛りは、病変のある網膜およびRPEと比較的病変のないRPE/網膜との間の境界における、OCT画像と眼底画像との間で対応する位置を示す。
図6Bは、同じ患者の同じ来院時の眼底画像(左のパネル)とOCT画像(右のパネル)とを示す図である。萎縮の境界は、OCTのBスキャン上で特定されており、対応する位置を眼底画像上に指し示す。病変の上位部分は、この画像において解析され、下位部分については、まだ解析されていない。
図6Cは、解析が完了し、GAの範囲の回りを完璧に線で描いて領域を画定し、これにより面積Aが計算されたことを示す。
なお、図面は、必ずしも一定の縮尺で描かれているわけではなく、図面中の物体も、必ずしも互いに関係して一定の縮尺で描かれているわけではないことを理解すべきである。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態をわかりやすくして理解されることを意図して図示したものである。可能な限り、同一または同様の部品を示すために図面全体を通して同一の参照番号を使用する。また、図面は、いかなる形でも本教示の範囲を限定するものではないことを理解すべきである。
〔詳細な説明〕
本明細書において提供する技術は、画像解析に関し、限定するものではないが、特に、光コヒーレンストモグラフィデータを用いて関心領域の体積を決定するための方法およびシステムに関する。
様々な実施形態の詳細な説明には、開示される実施形態を十分に理解できるようにするために多数の具体的な詳細が、説明を目的として記載されている。しかし、これらの様々な実施形態は、これらの具体的な詳細を用いて実施されてもよいし、これらの具体的な詳細を用いずに実施されてもよいことが、当業者には理解されよう。他の例において、構造および装置をブロック図で示す。さらに、方法が提示され実施される具体的な手順は、例であり、当該手順を変更することができ、当該手順は、本明細書に開示される様々な実施形態の精神および範囲内に依然として留まることが意図されることを、当業者であれば容易に理解することができる。本明細書で使用される表題は、構成上の目的のみのためであり、記載される主題をいかなる形でも限定するものとして解釈されるべきではない。
特許、特許出願、記事、書籍、論文、およびインターネットウェブページを含むが、それらに限定されない、本出願で引用されるすべての文献および同様の資料は、参照によりそれらの全体が任意の目的で明示的に組み込まれる。別段の定義がない限り、本明細書で用いるすべての技術用語および科学用語は、本明細書に記載の様々な実施形態が属する技術分野の当業者によって一般的に理解されるものと同じ意味を有する。組み込まれた参考文献中の用語の定義が本教示に提供された定義と異なると思われる場合、本教示に提供された定義が優先されるものとする。
〔定義〕
本技術を理解し易くするために、いくつかの用語や表現について以下に定義する。さらなる定義については、詳細な説明全体にわたって記載する。
明細書および特許請求の範囲全体を通して、以下の用語は、文脈において明確に別段の指定がない限り、本明細書に明示的に対応付けられた意味を取る。本明細書で使用する「一実施形態において」という表現は、同じ実施形態を指す場合もあるが、必ずしも同じ実施形態を指すものではない。さらに、本明細書で使用する「別の実施形態において」という表現は、異なる実施形態を指す場合もあるが、必ずしも異なる実施形態を指すものではない。従って、以下に記載するように、本発明の様々な実施形態は、本発明の範囲または精神から逸脱することなく、容易に組み合わせてもよい。
また、本明細書で使用する用語「または(or)」は、文脈において明確に別段の指定がない限り、包括的な「or」演算子であり、用語「および/または(and/or)」と同等である。用語「〜に基づく(based on)」は、文脈において明確に別段の指定がない限り、限定的ではなく、記載されていない別の要因に基づくことも考慮される。また、明細書全体を通して、「1つの(a)」、「1つの(an)」、および「当該(the)」の意味は、複数の参照を含む。「における(in)」の意味は、「における(in)」および「上における(on)」を含む。
本明細書で使用する「光コヒーレンストモグラフィ」または「OCT」は、光を使用して光散乱媒体(例えば、生体組織)内からマイクロメートルの解像度の3次元画像を取り込む医療用イメージング技術を指す。光コヒーレンストモグラフィは、低コヒーレンス干渉法に基づき、通常、近赤外光を使用する。比較的長い波長の光を使用すると、当該光を散乱媒体に透過させることが可能となる。
本明細書で使用する、OCT装置および検査中のサンプル(例えば、組織)から延びる軸は、z軸である。z軸に対して垂直な平面は、xy面である。例えば、図1を参照のこと。
本明細書で使用する「Aスキャン」とは、z軸方向の1次元情報を供給する振幅変調スキャン、例えば、軸方向の奥行きスキャンのことである。例えば、いくつかの実施形態において、z軸方向の(または実質的に、本質的に、または近似的にz軸に沿った)組織、組織片、組織の特徴等の長さを決定するため、またはz軸方向の経路に沿って組織片または組織特徴の位置を決定するために、Aスキャンを使用する。例えば、図1を参照のこと。
本明細書で使用する「Bスキャン」とは、検査中のサンプルの2次元の図、断面図又は側面図(profile view)、例えば、x−z平面またはy−z平面の2次元スキャンのことである。2次元断面Bスキャンは、一連の軸方向の奥行きAスキャンを横方向に組み合わせることで作成される。例えば、図1を参照のこと。
本明細書で使用する「Cスキャン」とは、検査中のサンプルの2次元の図、断面図又は側面図、例えば、x−y平面の2次元スキャンのことである。例えば、図1を参照のこと。
本明細書で使用する「画像セグメント化」または「セグメント化」とは、ある特徴に関して、または、画像において可視化される対象物に対応するピクセルをグループ化する領域に関して、同種のピクセル領域からなってもよい領域に画像データを分割するデジタル方法を指す。このように、例えば、同様の特徴を有する組織層または組織領域を表すために、複数の層または画像断片が作成されてもよい。従って、セグメント化とは、デジタル画像を複数の領域(例えば、ピクセルセット)に区切る作業を指す。いくつかの実施形態において、セグメント化の目的は、画像の表示を、より意味があり、より分析しやすいものに単純化して変更することである。画像セグメント化は、通常、画像において、対象物及び境界(線、曲線等)の位置を示すために使用される。画像セグメント化の成果物は、画像全体をひとまとめにカバーする領域のセット、または画像から抽出された輪郭のセットである。いくつかの実施形態において、セグメントは、生物学的特徴(例えば、組織、組織層等)に対応する。しかしながら、本技術は、生物学的特徴に対応するセグメントに限定されず、様々な実施形態において、当該セグメントは、ユーザが所望する方法、技術、分析等に適した画像の任意の区画に対応する。所望の組織層または境界面を発見してセグメント化するための方法は、当該分野において周知である。例えば、Ishikawa et al. (2005)“Macular Segmentation with Optical CoherenceTomography” Invest Ophthalmol Vis Sci 46: 2012(その全体が参照によって本明細書に組み込まれる)を参照のこと。
「システム」とは、全体を構成する現実的または抽象的な構成要素のセットであって、当該全体のうちで、各構成要素が少なくとも1つの他の構成要素と相互作用または関係している。
本明細書で使用する「関心領域」は、画像および/または本明細書で提供される方法によって評価されるサンプル(例えば、組織)の領域(例えば、部分、サブサンプル、サブボリューム等)を指す。特定の実施形態において、「関心領域」は、本明細書で提供される計量分析(例えば、面積の測定、体積の測定)に供される組織の組織異常、病変、または他の特徴を指す。
本明細書で使用する「増加」または「減少」は、以前に測定された変数の値に対する、予め定められた値に対する、および/または標準対照の値に対する、変数(例えば、体積)の値の検出可能な(例えば、測定された)正または負の変化を指す。増加とは、以前に測定された変数の値、予め定められた値、および/または標準対照の値に対する正の変化である。同様に、減少とは、以前に測定された変数の値、予め定められた値、および/または標準対照の値に対する負の変化である。定量的変化または定量的差異を示す、「より多い」や「より少ない」等の他の用語が、上記と同様に本明細書において使用される。
〔説明〕
光コヒーレンストモグラフィ(OCT)は、対象物によって反射された後方散乱光の、エコー時間遅延および光度を決定する干渉分光法を用いた方法である。OCTは、超音波と原理的に類似しているが、OCTでは、音の代わりに光を用いるとともに、反射光の時間遅延を決定するために干渉分光法を用いる。TD−OCTとして知られる当初のOCT法では、移動する参照ミラーの位置を反射の位置に関連付けた時間情報において、各反射の位置を符号化した。
OCTの進歩は、反射光の空間的位置を決定するための時間遅延の代わりに、光波長を使用することであった。フーリエ変換解析は、時間領域(TD−OCT)ではなく、スペクトル領域(SD−OCT)に基づいた技術を提供するために使用される。SD−OCTは、反射光と固定された参照ミラーとの間の干渉の周波数スペクトルを評価することによって、組織に対する1回の軸方向スキャン(axial scan)で同時にすべての情報を取得する。例えば、Wojtkowski etal. (2004) “Ophthalmic imaging by spectral opticalcoherence tomography” Am J Ophthalmol 138: 412-9、Wojtkowskiet al. (2002) “In vivo human retinal imaging by Fourier domain opticalcoherence tomography” J Biomed Opt 7: 457-63、およびWojtkowskiet al. (2003) “Real-time in vivo imaging by high-speed spectral opticalcoherence tomography” Opt Lett 28: 1745-47を参照のこと(いずれの文献も参照によってその全体が本明細書に組み込まれる)。
SD−OCTは、回折格子によって干渉パターンがその周波数成分に分割され、これらの成分のすべてが電荷結合素子(CCD)により同時に検出されるため、速いという点で、TD−OCTよりも有利である。さらに、データは、TD−OCTのように走査ミラーを機械的に動かすことなく取得される。SD−OCT技術は、信号雑音比を著しく増大させ、TD−OCTと比較してデータ収集速度を50倍増大させる。例えば、従来の時間領域OCTは、400Aスキャン/秒で機能する一方、SD−OCTシステムは、20,000Aスキャン/秒でスキャンする。速度の増大により、1000Aスキャンの単一断面スキャンの、取り込み、処理、ディスクへのストリーミング、および表示を、60ミリ秒(または時間領域スキャンに要する時間の42分の1)で行うことができる。この速度により、SD−OCTスキャン中に被検者が動くことが少なくなり、画像のアーチファクトを有意に減少させた状態で、より安定した画像が作成される。また、この速度により、100断面スキャンのスタックを、時間領域システムで6回の低解像度断面スキャンを収集するために通常用いられる時間で取得することができる。画像スタックは、構造の3次元表現を生成するために処理され得る(Wojtkowski et al. (2005) “Three-dimensional retinal imaging withhigh-speed ultrahigh-resolution optical coherence tomography” Ophthalmology112: 1734-46を参照のこと(参照によって本明細書に組み込まれる))。
このように、SD−OCTイメージングは、高い頻度で、一連のスキャンを使用する。試験中のサンプルの表面上の1点に光ビームを集束させて、反射光を参照光と再結合させることで、(z軸に沿って)単一のAスキャンに対応するサンプル情報を有するインターフェログラムが出力される。サンプルのスキャンは、サンプル上で光を走査することか、または被試験サンプルを移動させることのいずれかによって行うことができる。線形スキャン(linear scan)では、(例えば、x−z平面における)断面画像に対応する2次元データセットが出力される一方、面スキャンでは、体積画像(例えば、x−y−z空間における体積)に対応する3次元データセットが実現され、フルフィールドOCTとも呼ばれる。従って、Bスキャンのスタックは、さらなる分析を経て、構造の3次元表現を生成することができる。
また、投影像における各ラインについて、代表的な単一のピクセル強度を計算するためのアルゴリズムを用いて、(例えば、z軸に沿った(例えば、奥行きの軸に沿った))3次元OCTボリュームを、3Dボリュームの任意の平面に沿った2次元代表画像にまとめることが可能である。光干渉断層像でそのような「正面(en face)」画像を得る1つの技術は、サムドボクセル投影(summed voxelprojection)(SVP)と呼ばれる(例えば、Jiao et al (2005)“Simultaneous acquisition of sectional and fundus ophthalmic images withspectral-domain optical coherence tomography” Optics Express 13: 444-452を参照のこと(参照により本明細書に組み込まれる))。
画像の整合および画像の位置合わせは、例えば、動作アーチファクトを補正するために組織構造上の特徴に基づいている(例えば、Jorgensen et al(2007)“Enhancing the signal-to-noise ratio in ophthalmic optical coherencetomography by image registration-method and clinical examples” JBiomed Opt 12: 041208を参照のこと)。例えば、3Dデータセットは、OCT眼底画像を生成するために合計された各所定の軸方向のスキャンにおけるすべてのピクセルで示される。これは、すべての組織層からの反射を加算した2D写真に似ている。OCT眼底画像は、血管連続性または血管不連続性などの組織の特徴に基づく画像の位置合わせまたは画像の整合のために使用することができる。3次元OCTは、同時またはほぼ同時に取得した眼底写真に位置合わせまたは整合させることもできる。自動セグメント化または手動セグメント化は、SD−OCTデータにおける組織層を画定する。
OCTは、眼球を通過する光学的に透明な特有の経路を有するため、網膜に影響を及ぼす疾患を撮像するために使用されてきた。いくつかの現在の用途において、500×500ピクセルの一連の画像の各々を取得して処理するには、秒オーダーの時間を要し、その技術により、現在では、200×200×1024ピクセルの数百のスキャンを含む3Dデータセットを、2秒で取得することができる。例示的な実施形態において、この方法は、非常に高い軸方向分解能(3〜15μm)で網膜等の構造化された組織サンプルの層をスキャンするために使用され、3次元構造を示す画像を供給する。
SD−OCT画像は、異なる反射率を有する複数の組織(例えば、網膜)層を示す。これらの組織層は、通常、コンピュータアルゴリズムの使用および/または手動追跡により、セグメント化される。組織(例えば、網膜(例えば、「網膜病変」)に異常が発生している場合、組織(例えば、網膜)の積層構造が変化し、その結果、対応する位置において組織(例えば、網膜、RPE)層の肥厚、減厚、または損失が起こり、これらが、SD−OCTにより撮像される。いくつかの実施形態において、画像におけるセグメント化された特徴のうちの1つにおいて、病変が突起として画像中に存在する。従って、組織異常、病変等の評価、観察および治療を行うためには、組織異常、病変等の容量分析が望ましい。
OCT表示画像技術の例は、例えば、米国特許第8,944,597号(参照により本明細書に組み込まれる)によって提供される。3次元表面レンダリング、トポグラフィ輪郭マップ(topographical contour maps)、等高線、正面カラーマップ(en-facecolor maps)、および正面グレースケールマップ(en-face grayscale maps)を含む様々な方法でのOCT画像の表示に関する米国特許第8,913,793号(その全体が参照により本明細書に組み込まれる)についても参照のこと。
さらに、網膜の病理に関連するいくつかの実施形態では、網膜のマップのコンテキストにおける病態の断面を臨床医に提供する。例えば、いくつかの実施形態では、網膜の厚さマップのコンテキストにおいて示される網膜異常の断面を提供する。いくつかの実施形態において、異なる種類(例えば、解像度)の、2つの連続的なスキャンが行われ、好ましくは同じディスプレイに、同時に表示される。いくつかの実施形態において、この2つを表示タイプは、例えば、1回のクリック操作または1回の音声コマンド等のユーザインターフェースを用いた1回の情報交換を使用して取得される。
Paunescu et al.(“Reproducibility of nervefiber thickness, macular thickness, and optic nerve head measurements usingStratusOCT” Invest Ophthalmol Vis Sci 45(6): 1716-24(その全体が参照により本明細書に組み込まれる))には、OCTとほぼ「同時」に眼底画像を取り込む方法が記載されており、網膜上のOCTビームの位置を示している。本明細書で使用される「同時性」とは、単に、2種類のデータが同じ物体および構造の2つの視点を示すように、当該データが十分に同期され並列表示するのに十分に早くデータの収集が起動することを意味する。米国特許出願公開番号第2003/0199769号(その全体が参照により本明細書に組み込まれる)には、例えば、OCTスキャンと同時に、走査型レーザ検眼鏡(SLO)による画像を点毎に撮影することが提案されている。この手法では、ビームスプリッタとSLO検出器とからなる付加的なイメージングシステムを使用しており、OCTとSLO検出器との間のハードウェア・アラインメントに依存している。高速眼底画像を提供する目的のために、ライン走査型レーザ検眼鏡(LSLO)は、米国特許公開番号第2006/0228011号(その全体が参照により本明細書に組み込まれる)のライン走査型検眼鏡(LSO)と同様に、おおむねSLOよりも速く、同等に有用である。
様々な実施形態は、例えば、ユーザに出力し、本明細書に記載の画像解析方法の結果を伝達するための画像の可視化に関する。例えば、いくつかの実施形態では、前臨床研究等での同様の目的のために、前回の臨床治療(ステント、医薬品、遺伝子等)の分析のために、臨床治療の即時決定(live-time decisions)および/または計画のための有用な情報を提供する。
自動セグメント化の結果は、断面図または縦断面図または正面図(en face view)で表示されてもよい。また、画像は、3次元視点または「フライスルー(fly-through)」視点で表示されてもよい。異なる特徴は、それぞれに対して異なる明暗を用いて表示してもよく、異なる色として表示されてもよい。
定量結果は、画像表示されてもよく、テーブルまたはテキストで報告してもよく、またはその両方を行ってもよい。
いくつかの実施形態において、表面および/または体積の可視化技術は、任意の角度からの、3次元画像データの視点を提供するために使用され、いくつかの実施形態において、インタラクティブな形式で任意の角度からの仮想照明とともに3次元画像データの視点を提供している。いくつかの実施形態において、そのような体積は、任意の平面または任意の表面に沿ってデジタル方式でスライスされ、再フォーマットされた2次元視点が作成される。
生体画像データの可視化および分析のためのソフトウェアとしては、ParaView、Scanlmage、μManager、MicroPilot、ImageJ、Vaa3D、ilastik(例えば、画像特徴を特定するユーザーを支援するための機械学習を含む)、CellProfiler、CellExplorer、BrainExplorer、Zen(ツァイス)、Amira(VSG)、Imaris(ビットプレーン)、ImagePro(メディアサイバーネティクス)、Neurolucida(MBFバイオサイエンス)、LabVIEW(ナショナルインスツルメンツ)、MATLAB(マスワークス)、およびVirtual Finger(例えば、Peng et al (2014) Nature Communications 5: 4342を参照のこと)という商品名で販売されているものが含まれる。また、Walter et al (2010) Nature Methods 7: S26-S41; Eliceiri et al (2013)Nature Methods 9: 697およびLong (2012) PLoS ComputationalBiology 9: e1002519,についても参照のこと(それらの全体がそれぞれ本明細書に組み込まれる)。 さらに、いくつかの実施形態において、本技術には、VTK、ITK、OpenCV、またはJava ImgLib等の画像解析ライブラリが組み込まれている。
〔方法〕
本明細書では、OCT画像データの処理および解析のための方法の実施形態を提供する。いくつかの実施形態において、上記方法では、1以上の測定(例えば、距離、面積、および/または体積の測定(例えば、1次元、2次元、または3次元における測定であり、いくつかの実施形態においては、時間の関数として、1次元、2次元、または3次元における測定))を提供する。従って、いくつかの実施形態において、上記方法では、網膜、網膜の層、網膜下組織、およびRPEの病変の大きさ、位置、および/または形状の変化を観察するための技術を提供する。例えば、特定の実施形態は、光コヒーレンストモグラフィによって生成された画像を用いて、生体組織内の関心領域の面積および/または体積を決定するための方法に関する。上記方法には、3次元OCTデータの生成、取得、解析、表示、操作等を行うことと、2次元「眼底」OCTデータの生成、取得、解析、表示、操作等を行うこととが含まれる。例えば、3次元OCTデータは、関心領域を含む生体組織の3次元画像を供給し、2次元OCTデータは、関心領域を含む生体組織の眼底画像データである。
いくつかの好ましい実施形態において、2次元眼底データは、生体組織の3次元画像と関連付け(例えば、記録、リンク等)されている。いくつかの実施形態において、2次元画像データとのユーザの情報交換(例えば、2次元画像データの解析、表示、操作等)により、3次元画像データの、リンクされ、関連付けされ、連携された情報交換(例えば、解析、表示、操作等)が生じる。例えば、いくつかの実施形態において、方法には、2次元眼底データの表示、および、2次元眼底データの表示とのユーザの情報交換が含まれる。そして、いくつかの実施形態において、ユーザは、2次元眼底データと情報交換する。例えば、ユーザは、例えば、タッチスクリーン、マウス、トラックボール等の入力装置を用いて、2次元眼底データの表示と情報交換して関心領域の周りに境界を設けるとともに、ユーザは、知覚的なフィードバックを受ける。例えば、上記境界は、ユーザが表示画像と情報交換すると、2次元眼底画像データ上に重畳して表示される。さらに、2次元眼底画像における関心領域の周りに境界を表示させることにより、3次元画像データにおける関心領域の周りに、関連付けされ、連携された境界が設けられる。このように、ユーザは、本明細書で提供される本技術、例えば、OCT画像データ(例えば、3次元画像データおよび関連付けされた2次元眼底画像データ)、出力装置(例えば、ディスプレイ)、入力装置(例えば、タッチスクリーン)、および本明細書に記載の方法および技術に従って関心領域の面積および/または体積を計算するように構成されたコンピュータを組み合わせて用いることで、関心領域の周りの境界を「描画」する。
いくつかの実施形態において、3次元OCTデータとのユーザの情報交換(例えば、3次元OCTデータの解析、表示、操作等)により、2次元眼底データの、リンクされ、関連付けされ、連携された情報交換(例えば、解析、表示、操作等)が生じる。例えば、いくつかの実施形態において、方法には、3次元OCTデータの表示と、3次元OCTデータの表示とのユーザの情報交換(例えば、OCTデータの「フライスルー(fly-through)」による3次元OCTデータの1枚以上の「スライス」の検査、それ以外ではディスプレイ上の3次元OCTデータの検査)とが含まれる。そして、いくつかの実施形態において、ユーザは、3次元OCTデータと情報交換する。例えば、ユーザは、例えば、タッチスクリーン、マウス、トラックボール等の入力装置を用いて、3次元OCTデータの表示と情報交換して関心領域の周りに境界を設けるとともに、ユーザは、知覚的なフィードバックを受ける。例えば、上記境界は、ユーザが表示画像と情報交換すると、3次元OCTデータ上および/または2次元眼底画像データ上に重畳して表示される。さらに、3次元OCT画像における関心領域の周りに境界を表示させることにより、2次元画像データにおける関心領域の周りに、関連付けされ、連携された境界が設けられる。このように、ユーザは、本明細書で提供される本技術、例えば、OCT画像データ(例えば、3次元画像データおよび関連付けされた2次元眼底画像データ)、出力装置(例えば、ディスプレイ)、入力装置(例えば、タッチスクリーン)、および本明細書に記載の方法および技術に従って関心領域の面積および/または体積を計算するように構成されたコンピュータを組み合わせて用いることで、関心領域の周りの境界を「描画」する。
いくつかの実施形態において、ユーザは、関心領域の周りに連続的な境界を設ける。いくつかの実施形態において、ユーザは、関心領域の一部を指し示す(例えば、関心領域の端の1以上の箇所を指し示す)不連続な境界(例えば、一連の点、ドット、線、線分(例えば、直線セグメント、曲線セグメント)等)を設ける。いくつかの実施形態において、ユーザが関心領域の周りに境界の点または一部を設けて、自動化された画像処理アルゴリズムによって境界を完成させるために、画像解析と、ユーザによって定義された境界の点または一部と、を用いて境界を完成させる(例えば、補間解析を用いて、ユーザによって設けられた境界の部分同士を接続する)。
画像をセグメント化する技術の実施形態において、当該技術は、画像をセグメント化する方法に限定されるものではない。例えば、様々な実施形態では、(例えば、画像セグメントを特定するコンピュータアルゴリズムによる)画像の自動セグメント化、半自動セグメント化、または(例えば、画像セグメントを特定するユーザによる)画像の手動セグメント化を規定する。画像(例えば、層状構造または網膜の他の特徴を示す眼の画像)内における構造化された特徴のセグメント化および特定を行うためのシステムおよび方法を記載している米国特許第8,811,745号についても参照のこと(参照により本明細書に組み込まれる)。いくつかの実施形態では、さらに、例えば、血管等の画像内における生物学的な特徴の自動検出および特定(例えば、マーキング)を規定する。例えば、血管壁、プラーク、およびマクロファージのセグメント化、定量化、および可視化を含む、血管構造および生理機構の自動セグメント化または半自動セグメント化および定量化のためのシステムおよび関連方法を記載している米国特許第8,750,615号を参照のこと(その全体が参照により本明細書に組み込まれる)。
上記画像処理技術は、特に、光コヒーレンストモグラフィによって生成された画像を用いて生体組織内の関心領域の直線距離、面積および/または体積を測定するための方法を提供する。例示的な実施形態において、OCTデータ(例えば、3次元画像データと眼底画像とを含む、例えば、SD−OCT画像データ等のOCT画像データ)の取得のために、OCT装置(例えば、SD−OCT装置)および組織が配置される。例えば、概略図でOCT装置(「OCT」)およびサンプル(例えば、組織)を示す図1を参照のこと。OCTデータ(例えば、3次元OCT画像データ)を取得した後、当該データはセグメント化され、(例えば、サンプルの組織層および/または他の特徴を表す)セグメントを示す画像が生成される。例えば、図2A(下のパネル)は、2次元(例えば、z軸に略平行、z軸に実質的に平行、および/またはz軸に略平行な平面の断面)における、3次元OCTデータ(例えば、ディスプレイ(例えば、コンピュータスクリーン等)に表示されるような画像)の投影図を示す。図2A(下のパネル)に示すOCT画像の例は、例えば、組織層を示すために、セグメント化されている(例えば、第1のセグメントおよび第2のセグメントに対応する上側の線と下側の線を参照)。さらに、図2A(下のパネル)に示す例示的なOCT画像は、上側のセグメントにおいて突起として関心領域を含む。例示的な実施形態において、このような突起は、生体組織における異常な組織増殖、病変(網膜病変)、(例えば、黄斑変性による)中心性新生血管(central neovascularization)、または他の異常な特徴を示す場合がある。また、図2A(上のパネル)には、z軸に対して垂直、z軸に対して実質的に垂直、および/またはz軸に対して略垂直な平面(例えば、xy平面)において、(例えば、ディスプレイ(例えば、コンピュータスクリーン)に表示されるような)例示的なOCT眼底画像を示す。図2A(上のパネル)に示す例示的な眼底画像は、関心領域(図2A(上のパネル)の黒枠で囲まれた形状)を示す。
本明細書で提供される本技術の実施形態によれば、画像を解析して、関心領域(例えば、図2A(下のパネル)に示す突起)の面積および/または体積を決定する。
いくつかの実施形態において、(例えば、眼底画像および/または3次元OCTデータ(例えば、画像)の検査により)関心領域の最大長さ寸法を決定する。図2B(上のパネル)のgを参照のこと。上記最大長さ寸法は、関心領域の端から端までの最大距離である。例えば、関心領域の周囲に接するその両端のそれぞれを有する最長の線分を特定することによって、最大長さ寸法を決定することができる。いくつかの実施形態において、関心領域の最大長さ寸法は、ユーザによって提供される。特に、いくつかの実施形態において、眼底画像がディスプレイ上でユーザに提供され、ユーザが、コンピュータとコンピュータ入力装置(例えば、マウス、タッチスクリーン、ライトペン等)とを用いて、関心領域の周囲に接するその両端のそれぞれを有する線分を描画する。ユーザが線分を描画すると、ディスプレイ上の関心領域の眼底画像上に当該線分が設けられる。いくつかの実施形態において、コンピュータは、(例えば、関心領域の周囲に接するその両端のそれぞれを有する最長の線分を特定することによって、)関心領域の最大長さ寸法を決定し、提供する。いくつかの実施形態において、コンピュータは、関心領域の最大長さ寸法を示す線をディスプレイに表示する。
いくつかの実施形態において、関心領域の周りに境界が設けられ、例えば、眼底画像において関心領域を囲っている範囲が特定される。例えば、いくつかの実施形態において、最大長さ寸法g以上の直径(例えば、図2B(上のパネル)のdを参照)を有する円が設けられ、関心領域の周りに描かれる。上記境界は、面積A(例えば、図2B(上のパネル)の灰色の領域を参照)を有し、関心領域は、面積A内にある。
境界が円形である実施形態において、面積A=π×(d/2)である。
本技術は、境界の形状で限定されない。境界は、関心領域を囲むとともに、ある面積を有する任意の形状(例えば、円形、楕円形、正方形等、または不規則な形状)であってよい。例えば、図2Dの1(円形の境界を示す)および図2Dの2(不規則な境界を示す)を参照のこと。いくつかの実施形態において、コンピュータが境界を決定する。いくつかの実施形態において、ユーザが境界を決定する。例えば、いくつかの実施形態において、眼底画像がディスプレイ上でユーザに提供され、ユーザが、コンピュータとコンピュータ入力装置(例えば、マウス、タッチスクリーン、ライトペン等)とを用いて、関心領域を囲む形状を描画する。ユーザが境界を描画すると、ディスプレイ上の関心領域の眼底画像上に当該境界が設けられる。好ましい実施形態において、境界の面積Aは、例えば、形状(例えば、不規則な形状)の面積を決定するためのアルゴリズムに基づくコンピュータ解析によって決定される。
実質的なz軸方向(例えば、サンプル(例えば、組織)を通る)への境界の拡張により、3次元OCTデータ(例えば、画像)における体積vを画定する。体積vは、第1のセグメントおよび第2のセグメントによって画定されるとともに、当該セグメントを通る境界の拡張によって画定される。図2B(下のパネル)の灰色の領域は、第1のセグメントと、第2のセグメントと、拡張された境界とによって画定された体積の断面を示す。3次元データ(例えば、画像データ)のコンピュータ解析により、第1のセグメントと、第2のセグメントと、拡張された境界とによって画定された体積の体積vが定められる。
上記データを解析して、z軸方向における第1のセグメントと第2のセグメントとの間の距離t(例えば、厚さ)を決定する。特定の実施形態において、tは、境界の周囲に沿って測定される、第1のセグメントと第2のセグメントとの間の平均距離である。代わりの実施形態において、距離tは、境界の周囲に沿って測定される、第1のセグメントと第2のセグメントとの間の最大距離であってもよく、境界の周囲に沿って測定される、第1のセグメントと第2のセグメントとの間の最小距離であってもよく、および/または、境界の周囲に沿って測定される、第1のセグメントと第2のセグメントとの間において計算されるその他の距離であってもよい。境界の周囲に沿って移動するスライディングウィンドウ(sliding window)で計算された平均値を用いて計算されてもよい。距離tは、例えば、異常な増殖を含まないサンプル、病変を含まないサンプル等の正常なサンプル(例えば、正常な組織)において、第1のセグメントと第2のセグメントとの間の正常な距離の測定値を定める。従って、好ましい実施形態は、例えば、健康な組織等の健康で正常なサンプル(例えば、健康で正常な組織)に対応するデータ(例えば、画像)の領域において、異常なサンプル(例えば、病変等の特徴を含む異常な組織)に対応する関心領域と関連して境界が設けられる実施形態である。
本技術は、関心領域(例えば、異常、病変等)の面積Aおよび/または体積Vを計算するための方法を提供する。従って、いくつかの実施形態において、境界で画定される面積Aおよび距離tを用いて、体積nを計算する。体積nは、関心領域(例えば、異常、病変等)の体積Vを定めるために、上記で決定された体積vから差し引かれる。従って、体積nは、上記で決定されたように、境界の面積Aと厚さtとの積として計算される。図2C(下のパネル)は、体積nの断面図(白い長方形)を示す。体積nは、距離tである高さを有する。体積nの上部と底部は、それぞれ面積Aを有する。従って、関心領域(図2C(下のパネル)の灰色の領域)の体積Vは、体積v(図2B(下のパネル)の灰色の領域)から体積n(図2C(下のパネル)の白い領域)を差し引くことによって、計算される。
上記記載のある実施形態では円形の境界を用いているが、本技術は、関心領域を囲むとともに、面積Aを有する任意の形状(例えば、円形、楕円形、正方形等、または不規則な形状)の境界を用いることが含まれる。例えば、図2Dの1および図2Dの2は、面積Aおよび高さtを有する、円形の上部と底部を有する体積nを示す。図2Dの3および図2Dの4は、面積Aおよび高さtを有する、不規則な形状の上部と底部を有する体積nを示す。
いくつかの実施形態において、面積Aは、3次元OCT画像を検査して、2次元画像における当該領域の外縁部の位置を特定することで求められる。例えば、いくつかの実施形態において、面積Aは、2次元画像とともに記録される3次元画像を用いて、当該領域の端において、点を補間することで計算される。
従って、本技術は、OCTデータにおける関心領域の面積Aおよび/または体積Vを決定するための一般的な方法であって、例えば、OCTデータを取得する工程と、(例えば、第1のセグメントおよび第2のセグメントと、当該セグメントを通る境界の拡張とによって画定される)体積vを決定する工程と、(例えば、境界の面積Aと距離tの積として)体積nを計算する工程と、体積vから体積nを差し引く工程とを含む方法を提供する。
〔システム〕
本技術のいくつかの実施形態は、OCTデータ(例えば、生体組織から取得されるOCTデータ(例えば、網膜等の生体組織のOCT画像))における関心領域の面積および/または体積を決定するシステムを提供する。本技術によるシステムは、例えば、OCT装置(例えば、SD−OCT装置)と、コンピュータと、本明細書に記載されるような方法を実行するようにコンピュータに指示するソフトウェアとを備える。いくつかの実施形態は、(例えば、3次元OCTデータ(例えば、3次元OCT画像)および/または2次元OCTデータ(例えば、眼底画像)をユーザに供給するための)ディスプレイと、((例えば、関心領域を囲む境界を与えるために、)例えば、ユーザがコンピュータに情報を供給するための)入力装置とをさらに備える。
例えば、いくつかの実施形態において、コンピュータによる解析を用いて、境界の面積Aを計算し、第1のセグメントと第2のセグメントとの間の距離tを決定し、(例えば、第1のセグメントと、第2のセグメントと、当該セグメントを通って拡張する境界とによって画定される)体積vと、体積n(例えば、面積Aと距離tとの積)と、体積V(関心領域の体積)とを計算する。いくつかの実施形態において、これらの計算のうちの1以上の計算では、ユーザが供給したデータおよび/またはコンピュータが取得したデータを用いる。
例えば、いくつかの実施形態は、本技術の実施形態を実施することができるコンピュータシステムを含む。様々な実施形態において、コンピュータシステムは、情報を通信するためのバスまたは他の通信機構と、情報を処理するための、バスに結合されたプロセッサとを備える。様々な実施形態において、コンピュータシステムは、ランダムアクセスメモリ(RAM)または他の動的記憶装置となり得る、バスに結合されたメモリと、プロセッサによって実行される命令とを含む。メモリは、プロセッサによって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用することもできる。様々な実施形態において、コンピュータシステムは、プロセッサのための静的情報および命令を記憶するための、バスに結合された読み出し専用メモリ(ROM)または他の静的記憶装置をさらに含むことができる。情報および命令を格納するための、磁気ディスクまたは光ディスク等の記憶装置を設け、バスに結合させることができる。
様々な実施形態において、コンピュータシステムは、コンピュータユーザに情報(例えば、3次元OCT画像および/または、眼底画像等の2次元OCT画像)を表示するための、陰極線管(CRT)または液晶ディスプレイ(LCD)等のディスプレイにバスを介して結合される。
英数字のキーおよび他のキーを含む入力装置は、情報およびコマンド選択をプロセッサに通信するために、バスに結合させることができる。別の種類のユーザ入力装置は、方向情報およびコマンド選択をプロセッサに通信するためであり、(例えば、コンピュータのディスプレイに表示するための図形、線等を描画するために)ディスプレイ上のカーソルの動きを制御するための、マウス、トラックボール、ライトペン、タッチスクリーン、またはカーソル方向キー等のカーソル制御である。この入力装置は、通常、第1の軸(例えば、x)と第2の軸(例えば、y)との2つの軸において2自由度を有し、装置が平面内の位置を指定することが可能になる。これらのx軸およびy軸は、(例えば、サンプルと画像に関する)図1に示すx軸およびy軸と必ずしも一致するとは限らない。
コンピュータシステムは、本技術の実施形態を実行することができる。本技術のある実施態様と一致する結果を、メモリに含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサに応答するコンピュータシステムによって提供することができる。このような命令は、記憶装置等の別のコンピュータ読み取り可能媒体からメモリに読み込むことができる。メモリに含まれる命令のシーケンスの実行により、プロセッサに本明細書に記載の方法を実行させることができる。または、本教示を実施するために、ソフトウェアの命令の代わりに、またはソフトウェアの命令と組み合わせて、配線による回路(hard-wired circuitry)を使用することができる。このように、本技術の実施態様は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されるものではない。
本明細書で使用される用語「コンピュータ読み取り可能媒体」は、実行のためのプロセッサへの命令の供給に関係する任意の媒体または任意の複数の媒体を指す。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態をとることができるが、これらに限定されるものではない。不揮発性媒体の例としては、記憶装置等の、光ディスクまたは磁気ディスクを含むことができるが、これらに限定されるものではない。揮発性媒体の例としては、動的メモリを含むことができるが、これらに限定されるものではない。伝送媒体の例としては、バスを備える配線を含む、同軸ケーブル、銅線、および光ファイバを含むことができるが、これらに限定されるものではない。
コンピュータ読み取り可能媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、CD−ROM、他の任意の光媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理的な媒体、RAM、PROM、およびEPROM、フラッシュEPROM、他の任意のメモリチップまたはカートリッジ、またはコンピュータが読み取り可能な他の任意の有形の媒体が含まれる。
コンピュータ読み取り可能媒体の様々な形態は、実行のためのプロセッサに対する1つ以上の命令の1つ以上のシーケンスを伝達する際に必要となり得る。例えば、最初に、命令を、遠隔コンピュータの磁気ディスクに伝達することができる。遠隔コンピュータは、その動的メモリに命令をロードし、ネットワーク接続を介して命令を送ることができる(例えば、LAN、WAN、インターネット、電話回線)。ローカルコンピュータシステムは、データを受信し、そのデータをバスに送信することができる。バスは、メモリにデータを伝達し、プロセッサがメモリから命令を取得し、実行することができる。メモリが受信した命令は、必要に応じて、プロセッサによる実行前および実行後のいずれかに記憶装置に格納されてもよい。
様々な実施形態によれば、方法を実施するためにプロセッサによって実行されるように構成された命令は、コンピュータ読み取り可能媒体に格納される。コンピュータ読み取り可能媒体は、デジタル情報を記憶する装置とすることができる。例えば、コンピュータ読み取り可能媒体には、ソフトウェアを格納するための、当該技術分野で知られているような、コンパクトディスク読み出し専用メモリ(CD−ROM)が含まれる。コンピュータ読み取り可能媒体は、実行されるように構成された命令を実行するのに適したプロセッサによってアクセスされる。
このようなコンピュータシステムによれば、本明細書で提供される本技術のいくつかの実施形態は、データ(例えば、OCT画像(例えば、3次元OCT画像、2次元OCT画像))を収集、格納、および/または解析するための機能をさらに含む。例えば、いくつかの実施形態は、例えば、命令を格納して実行し、画像データを解析し、当該データを用いた計算を行い、当該データを変換し、当該データを格納するための、プロセッサ、メモリ、および/またはデータベースを備えるシステムを意図する。いくつかの実施形態において、アルゴリズムは、画像データにおける面積および/または体積の計算(例えば、近似)のためのモデルを適用する。いくつかの実施形態では、画像データのサイズ変更、トリミング、平坦化、または他の操作を備える。特定の実施形態では、画像データおよび画像メタデータの整理、検索、処理、解析、共有および可視化を行うためのデータベースを提供する。
いくつかの実施形態において、面積データおよび/または体積データ(例えば、被験者の関心領域の面積Aおよび/または体積Vに関する情報を含む)を、(例えば、面積Aおよび/または体積Vが決定された時刻との関連付け、および/または特定の被験者との関連付けを行って)格納する。例えば、体積データ(例えば、被験者の関心領域の面積Aおよび/または体積Vに関する情報を含む)を1回以上(例えば、数日、数週間、数カ月間、数年間、または十年間で)取得し、ある時に取得した面積A(例えば、A)および/または体積V(例えば、V)を、別の時に取得した面積A(例えば、A)および/または体積V(例えば、V)と比較する。いくつかの実施形態において、治療法を被験者に伝えるために、面積Aの2つの値の差(例えば、A−A)および/または体積Vの2つの値の差(例えば、V−V)を用いる。例えば、いくつかの実施形態において、治療法、投与量、投与する医薬、医学的介入(例えば、手術)等を決定するために、ある時に取得した面積Aおよび/または体積Vを用いる。そして、後に面積Aおよび/または体積Vを決定することで、治療法の有効性の指標となる。例えば、いくつかの実施形態において、関心領域の面積Aおよび/または体積Vが面積Aおよび/または体積Vよりも小さい場合、治療法に有効性があったことを示している。
多くの診断には、サンプル中の関心領域の存在、大きさ、位置等を決定することが含まれる。従って、いくつかの実施形態において、サンプル中の関心領域の存在、大きさ、位置等を表す変数を含む方程式により、診断を行う際または関心領域の存在または性質を評価する際に役立つ値を生成する。このように、いくつかの実施形態において、この値は、装置、例えば、結果に関係するインジケータ(例えば、LED、ディスプレイ上のアイコン、音声等)によって提示される。いくつかの実施形態において、装置は、当該値の格納、当該値の送信、または当該値を用いた追加の計算を行う。
このように、いくつかの実施形態において、本技術は、画像解析、病理学および/または特定の組織の生物学を学んでいないと思われる臨床医が生データを理解する必要がないというさらなる利点を提供する。データは、その最も有用な形で臨床医に直接提示される。臨床医は、次いで、被験者の治療を最も効果的にするために情報を利用することができる。本技術は、分析を行う研究室、情報提供者、医療関係者、および/または被験者に対する情報の送受信および処理をすることができる任意の方法を意図する。例えば、本技術のいくつかの実施形態において、被験者の組織を解析することでデータを取得し、当該データは、世界中のいずれかの地域(例えば、被験者が居住する国とは異なる国、または情報が最終的に使用される国とは異なる国)に設置された分析サービス(例えば、医療施設の臨床検査室、組織プロファイリングビジネス等)に提出される。例えば、被験者が、医療センターを訪れて検査を受け、データがプロファイリングセンターに送られてもよい。上記データが事前に確定した生体情報を含む場合、当該情報は被験者によってプロファイリングサービスに直接送信されてもよい(例えば、電子通信システムを用いてプロファイリングセンターのコンピュータに送信されるデータ)。プロファイリングサービスが受信すると、データが処理され、被験者が所望する診断情報または予後情報に関して具体的なプロファイルが生成される。その後、プロファイルデータは、治療臨床医による読影に適したフォーマットで用意される。例えば、生の画像データを提供するのではなく、用意されたフォーマットによって、特定の治療の選択肢についての推奨と共に、被験体の診断またはリスク評価を表してもよい。上記データは、任意の適切な方法により臨床医に表示してもよい。例えば、いくつかの実施形態において、プロファイリングサービスは、(例えば、治療現場で)臨床医のために印刷することができるか、またはコンピュータディスプレイ上で臨床医に対して表示することができる報告書を作成する。いくつかの実施形態において、上記情報は、まず、治療現場または地域の施設において解析される。そして、生データは、さらなる解析のための、および/または臨床医または患者にとって有用な情報に生データを変換するための中央処理施設へ送られる。中央処理施設は、データ解析のプライバシー(全てのデータは、一貫したセキュリティプロトコルで中央施設に保存される)、速度、および均一性といった利点を提供する。中央処理施設は、次いで、被検者の治療後のデータの最終結果を管理することができる。例えば、電子通信システムを使用して、中央施設は、臨床医、被験者、または研究者にデータを提供することができる。いくつかの実施形態において、被験者は、電子通信システムを使用してデータにアクセスすることができる。被験者は、その結果に基づいて、さらなる介入またはカウンセリングを選択してもよい。いくつかの実施形態において、上記データは、研究用途に使用される。例えば、上記データは、疾患に関連する特定の状態の有用な指標として、マーカーを含めるか、または排除するかをさらに最適化するために用いてもよい。
〔応用例〕
OCTは、例えば、眼球の前眼部および網膜の高解像度の画像を得るために広く使用される。従って、本技術は、例えば、多発性硬化症、その他の神経変性疾患、および緑内障等の疾患における軸索の完全性(integrity)の評価に使用される。OCTは、緑内障の進行を観察したり、冠状動脈の撮像により脂質を多く含むプラークを検出したりすることに使用される。例示的な使用において、本技術は、網膜の厚さの測定に使用される。硝子体液内の膜により網膜浮腫または網膜牽引が起こった場合、網膜の厚さが異常に厚くなることがある。それに対して、萎縮変性、脈絡網膜炎、または網膜への外傷の場合には、網膜および/またはRFEは、薄く見えるか、または消失して見えることがある。一方、網膜の厚さの変化は、局在化する場合もあれば、広範囲に及ぶ場合もある。あるケースでは、網膜の全体的な輪郭が異常になる場合がある。例えば、特に後部ぶどう腫に起因する顕著な近視では、網膜がひどく陥没する場合がある。RPEの領域を覆う網膜層は、著しく薄くなる場合もあれば、失われる場合もある。網膜色素上皮(RPE)の剥離、網膜下嚢胞、または網膜下腫瘍により、網膜に相対的な隆起が形成される場合がある。従って、網膜の輪郭または網膜の厚さをマッピングすることにより、そのような病状の程度および重症度を決定すること、および治療の進行を観察することが可能となる。
加えて、本技術は、例えば、頭蓋内に移植した透明なジルコニアの窓を介してマウス脳の詳細な画像を生成するOCTを用いた、生体内での脳組織の撮像に使用される。OCTは、歯内部の根管(例えば、上顎大臼歯の根管)の特定に使用される。また、OCTは、冠動脈疾患を診断するためのインターベンショナルカーディオロジー(interventional cardiology)に使用される。
さらに、OCTは、非破壊試験(NDT)、材料の厚さの測定、および(例えば、厚さ測定、表面粗さ特性評価、表面撮像、断面撮像、および体積損失測定を行うための)薄膜シリコンウェハおよび化合物半導体ウェハの検査等の産業用途に使用される。フィードバックのあるOCTシステムは、製造プロセスを管理するために使用することができる。OCTは、錠剤のコーティングを管理する医薬品産業に使用される。
いくつかの実施形態において、本技術は、OCT(例えば、SD−OCT)画像(例えば、実施例2および3を参照のこと)において、例えば、黄斑変性に関連するような、例えば、CNV病変複合体および/またはRPEが損失している領域の計量分析に使用される。
本明細書の開示は例示した特定の実施形態を参照するが、これらの実施形態は、例示的に示したものであって、限定的に示したものではないことを理解すべきである。
〔予測される実施例1〕
いくつかの実施形態において、本技術は、患者の診断及び治療に使用される。例えば、本技術は、医師が、患者の眼球の黄斑に網膜下液を有する網膜下脈絡膜新生血管膜が発生していると判断するのを援助する。中央の黄斑の6mm×6mmの領域の体積ラスタOCTスキャン(volumetric raster OCT scan)を(例えば、デフォルト設定を使用して)取得し、3D画像を取り込む。OCTスキャンは、同じ来院時に得られた網膜血管造影画像と位置合わせが行われる。医師は、眼底血管造影画像における病変の境界を決定する。ユーザは、コンピュータのマウスを使用して、病変を含む領域であるが、正常に見える網膜組織に病変を越えて拡張する領域を画定し、これにより面積Aを解析のために画定する。画定された領域の形状は、不規則(例えば、完全な円形ではない)である場合がある。セグメント化アルゴリズムを実行し、網膜の内境界膜層および網膜色素上皮層をセグメント化する。画定された関心領域の体積を計算する。このことから当該異常の体積Vは、ソフトウェアによって計算される。この体積Vは1.5mmである。この最初の来院では、患者は、病変を治療するための薬剤治療を受ける。2度目の来院では、患者の眼球についてスキャンおよび血管造影検査が繰り返され、データがソフトウェアで記録される。再度、医師は、関心領域を特定し、円形ではない、病変と正常な網膜の一部分とを包囲する関心領域を、血管造影画像上に描画する。セグメント化アルゴリズムが実行された後、2度目の来院での第2の体積が得られる。これから、体積Vを計算する。体積Vは0.75mmとして求められる。体積比V/Vは、0.5である。医師は、治療により異常部分の体積が50%減少したことを判断する。これは治療効果を示す。治療による最初の反応が良好であったため、医師は、2度目の来院時に同じ薬剤の投与による治療の継続を計画する。
〔実施例2−CNV病変の計量分析〕
OCTデータの定量分析は、患者の滲出型AMDを対象とした臨床試験において使用されてきた。抗VEGF剤(例えば、ルセンティス、アイリーア)の投与を含む治療法の1つにおいて、網膜下液の蓄積を観察するために網膜の厚さの計量評価が使用される。また、VEGFおよびPDGFを標的とする併用療法が患者の治療に使用される。これらの治療法において、CNVの計量評価(例えば、体積および/または面積の測定)は、PDGF治療の有効性を観察するために使用される。従って、本明細書に記載の技術は、SD−OCTに基づくCNVの大きさの定量分析(例えば、計量分析(例えば、体積および/または面積の算出))に使用される。
本技術の実施形態の例示的な応用例において、SD−OCTスキャンと、ピクセル毎に当該SD−OCTデータと位置合わせが行われた関連する眼底画像とが提供される。いくつかの実施形態において、本技術は、SD−OCTデータのみの使用に基づいているが、改善された技術では、SD−OCTデータと、関連する眼底画像とを使用する。例えば、OCTデータと位置合わせが行われた眼底画像との両方を提供することにより、患者の組織および病変のユーザ分析およびグレーディングが改善される。いくつかの実施形態において、SD−OCTおよび眼底画像は、例えば、本明細書で提供される本技術のソフトウェアの実行によって提供されるような、例えば、分割視点モードでは、ディスプレイ上に並んで表示される(例えば、図3Aおよび図3Bを参照のこと)。この視点モードでは、図3Aの眼底画像における長くて水平な白い線は、図3Bに表示されたOCTデータの平面図であることを指し示しており、眼底画像(図3A)上の垂直な白い目盛りの位置は、OCT画像(図3B)上の2つの垂直な白い目盛りの位置に対応している。
図3Aは、眼底画像を示し、図3Bは、OCTデータの関連図を示す。眼底画像およびOCTスキャンは、図3BにおいてOCT画像のフィールドにおける左側のおよそ4分の3(例えば、白い目盛りの左側)を占めるCNV複合体を示す。OCTデータの図は、一緒に充填された厚い多重層の反射物質を示す。網膜色素上皮が視認でき、平坦であるOCT画像(例えば、白い目盛りの右側)の右4分の1において、網膜は、ほぼ正常であるように見える。図示したOCTデータの図の左端において、網膜色素上皮が正常な状態に近づいているように見える。OCT画像の左端およびOCT画像における縦の目盛りは、CNV病変の端を指し示す。例えば、いくつかの実施形態において、ユーザがCNV病変の端(例えば、境界)に印を付け、いくつかの実施形態において、コンピュータソフトウェアにおいて実現される方法によりCNV病変の端(例えば、境界)に印が付けられる。
従って、本明細書で提供される本技術の実施形態を用いて、ユーザは、OCT(例えば、SD−OCT)スキャンおよび/または眼底画像を調べ、CNV病変の端の位置を特定する。ユーザは、上記画像を評価し、CNV病変の端を特定すると、眼底写真上の病変の端にマークを付ける。そして、いくつかの実施形態において、OCT(例えば、SD−OCT)データセットを調べた後、ユーザがCNV病変の範囲を包含する領域を特定(例えば、トレース、マーク)する。または、いくつかの実施形態において、CNV病変の範囲を包含する領域をソフトウェアが自動的に決定し、表示させる。例えば、いくつかの実施形態において、ソフトウェアは、画像解析、および、病変の端を特定するユーザによって提供される1以上の点、ドット、線分等を使用する。例えば、眼底画像にマークが付けられた領域を示す図4Aおよび図5Aと、図4Bおよび図5Bに示す記録されたOCTデータの図とを参照のこと。図4Aおよび図4Bは、ある時点で取得された患者の網膜の画像データである。図5Aおよび図5Bは、別の(例えば、後の)時点における同じ患者の網膜の同一領域の画像データである。図4Aおよび図5Aの眼底画像における長い水平な白い線は、それぞれ、図4Bと図5Bに表示されたOCTデータの平面図であることを指し示す。眼底画像(図4Aおよび図5A)上の縦の白い目盛りの位置は、OCT画像(図4Bおよび図5B)上の2つの縦の白い目盛りの位置に対応している。
関心領域の面積は、その後、本明細書で提供される本技術に従って、(例えば、関心領域を包含する線によって画定される関心領域の面積を決定するアルゴリズムによって)自動的に導き出される。画像データをセグメント化した後、いくつかの実施形態において、(例えば、面積Aの境界内であって、第1のセグメントと第2のセグメントとの間の体積vを計算して、境界に沿って(例えば、面積Aの外周に沿って)、第1のセグメントと第2のセグメントとの間の平均厚さtを計算して、V=v−(t×A)を用いて関心領域の体積Vを計算することで)CNV病変複合体の体積を計算する。
本技術の例示的な使用において、被験者は、治療コースに登録されて、OCTイメージングによって観察される。来院時、CNV病変の面積は、11.8mmまたは4.64全円面積(例えば、治療前の病変のサイズを示す図4Aを参照のこと)である。同じ被験者が後に来院した時のCNV病変の面積は、8.17mmまたは3.21全円面積(例えば、治療後の同じ患者の同じ領域のサイズを示す図5Aを参照のこと)まで減少する。関心領域の面積の減少(例えば、図4Aにおける関心領域の面積に対する図5Aにおける関心領域の減少した面積)が、治療が有効であることを示す。
実施例3−RPEが損失している領域の計量分析
本技術は、例えば、視野欠損と網膜および/またはRPEの関連病変を観察するために、AMDに罹患した患者のケアおよび治療の管理に使用される。例えば、患者の検査中に、患者の眼からOCTデータが得られる。上記データは、RPEが損失している複合体領域(例えば、Bスキャンと正面赤外線画像を示す図6Aを参照のこと)を示す。例えば、正面画像(図6Bは、網膜の外境界膜の層が失われている位置として境界を用いて、部分的に画定された萎縮の領域を示す)において、関心のある構造が視認できないため、または当該関心のある構造が正面画像に確実に配置されていないため、ユーザは、3D画像において積み重ねられたBスキャンをスクロールして萎縮の境界線を引く。最終的に、RPE損失領域内の境界が求められる(図6Cは、完全に囲まれたRPE損失領域を示す)。上記領域の面積は、4.75mmと計算され、中心窩の中心までのRPE損失の最短境界線の距離は、150ミクロンである。
他の有用な計量は、この方法で定義されるような関心領域の境界に関連付けられたパラメータによって提供および/または計算される。例えば、本明細書に記載の測定(例えば、面積Aの境界の周囲の測定)で得られる病変の形状を規定する計量は、本技術のいくつかの実施形態において予後値を有する(例えば、Domalpally (2013) “Circularity Index as a Risk Factor for theProgression of Geographic Atrophy” Ophthalmology 120(12): 2666-71を参照のこと)。
上記明細書で言及した全ての刊行物および特許は、全ての目的のためにそれらの全体が参照によって本明細書に組み込まれる。本技術の上記記載の構成、方法、および用途の様々な変形例および変更例については、記載されているような本技術の範囲および精神から逸脱することなく当業者には明らかである。本技術は。特定の例示的な実施形態に関して説明してきたが、特許請求の範囲に記載された本発明は、このような特定の実施形態に不当に限定されるべきではないことが理解されるべきである。実際に、当業者にとって明らかである、本発明を実施するために記載された上記態様の様々な変形例は、以下の特許請求の範囲内であることが意図される。
図1は、OCT装置(「OCT」)および当該OCT装置によって撮像されるサンプル(「サンプル」)に関連して例示的な座標系を示す模式図である。 図2Aは、組織サンプルのセグメント化された画像における関心領域の断面画像(下のパネル)と、関心領域を示す関連眼底画像(上のパネル)と、を示す模式図である。下のパネルにおいて、上側の黒い線と下側の黒い線とは、それぞれ第1のセグメントと第2のセグメントとを示す。上側の黒い線で示す上向きの突起は、サンプルにおける成長異常、病変等、または他の関心領域を表す。 図2Bは、眼底画像(上のパネル)において関心領域の周りに設けられた境界を示す模式図である。関心領域は、最大長さ寸法gを有し、いくつかの実施形態において、境界は、直径dを有する円である。境界は、面積A(上のパネルの灰色の領域)を画定する。上記セグメントと交差する、当該画像を通る境界の拡張によって、第1のセグメント、第2のセグメント、および拡張された境界で囲まれた体積vが画定される(下のパネルの灰色の領域)。 図2Cは、本明細書で記載されるように、面積Aおよび距離t(例えば、境界の円周において計算された、第1のセグメントと第2のセグメントとの間の平均厚さ)から計算した、断面における体積n(白い領域)を示す概略図である。関心領域の体積Vを下のパネルに灰色で示す。 図2Dは、面積A(図2Dの1)を有する円形の境界を与えることと、面積A(図2Dの3)を有する不規則な形状の境界を与えることとを含む本技術の実施形態を示す概略図である。図2Dの2および図2の4は、距離tにわたってサンプルを通って拡張する境界によって画定される体積nを示す。体積nは、面積Aと距離tとの積である。 図3Aは、眼底画像を示し、図3Bは、OCTデータの関連図を示す。図3Aの眼底画像における長くて水平な白い線は、図3Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図3A)上の垂直な白い目盛りの位置は、OCT画像(図3B)上の2つの垂直な白い目盛りの位置に対応している。 図3Aは、眼底画像を示し、図3Bは、OCTデータの関連図を示す。図3Aの眼底画像における長くて水平な白い線は、図3Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図3A)上の垂直な白い目盛りの位置は、OCT画像(図3B)上の2つの垂直な白い目盛りの位置に対応している。 図4Aは、眼底画像を示し、図4Bは、被験者の網膜を撮像することにより得られたOCTデータの関連図を示す。図4Aの眼底画像における長くて水平な白い線は、図4Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図4A)上の垂直な白い目盛りの位置は、OCT画像(図4B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図4A上に白線で輪郭が描かれている。 図4Aは、眼底画像を示し、図4Bは、被験者の網膜を撮像することにより得られたOCTデータの関連図を示す。図4Aの眼底画像における長くて水平な白い線は、図4Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図4A)上の垂直な白い目盛りの位置は、OCT画像(図4B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図4A上に白線で輪郭が描かれている。 図5Aは、眼底画像を示し、図5Bは、図4Aおよび図4Bの画像データと同じ被験者の網膜の同じ領域を撮像することにより別の(例えば、後の)時点で得られたOCTデータの関連図を示す。図5Aの眼底画像における長くて水平な白い線は、図5Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図5A)上の垂直な白い目盛りの位置は、OCT画像(図5B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図5A上に白線で輪郭が描かれている。 図5Aは、眼底画像を示し、図5Bは、図4Aおよび図4Bの画像データと同じ被験者の網膜の同じ領域を撮像することにより別の(例えば、後の)時点で得られたOCTデータの関連図を示す。図5Aの眼底画像における長くて水平な白い線は、図5Bに表示されたOCTデータの平面図の位置をマークしている。眼底画像(図5A)上の垂直な白い目盛りの位置は、OCT画像(図5B)上の2つの垂直な白い目盛りの位置に対応している。CNV病変を包含する関心領域は、図5A上に白線で輪郭が描かれている。 図6Aは、眼底画像(左のパネル)と、AMDおよびGAを有する患者の網膜を撮像することにより得られたOCTデータ(右のパネル)の関連図とを示す。眼底画像上の水平な白い線は、示されたOCTのBスキャンに対応する。白い目盛りは、病変のある網膜およびRPEと比較的病変のないRPE/網膜との間の境界における、OCT画像と眼底画像との間で対応する位置を示す。 図6Bは、同じ患者の同じ来院時の眼底画像(左のパネル)とOCT画像(右のパネル)とを示す図である。萎縮の境界は、OCTのBスキャン上で特定されており、対応する位置を眼底画像上に指し示す。病変の上位部分は、この画像において解析され、下位部分については、まだ解析されていない。 図6Cは、解析が完了し、GAの範囲の回りを完璧に線で描いて領域を画定し、これにより面積Aが計算されたことを示す。

Claims (37)

  1. 光コヒーレンストモグラフィ(OCT)を用いて生体組織の関心領域の面積および/または体積を決定するための方法であって、
    a)上記関心領域を含む、少なくとも第1のセグメント及び第2のセグメントを含む3次元OCTデータを取得するステップと、
    b)上記関心領域を含む2次元画像データを取得するステップと、
    c)上記2次元画像データにおいて、上記関心領域の周りに面積Aを囲む境界を設けるステップと、
    d)上記境界内にあり、かつ上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップと、
    e)上記境界に沿って、上記第1のセグメントと上記第2のセグメントとの間の平均厚さtを計算するステップと、
    f)上記関心領域の体積V=v−(t×A)を計算するステップと、を含む方法。
  2. 上記境界は、円形、楕円形、多角形、または不規則な形状である、請求項1に記載の方法。
  3. 上記2次元画像データにおいて、上記関心領域の端から端までの最大直線距離を決定するステップをさらに含む、請求項1に記載の方法。
  4. 上記境界は、上記関心領域の端を指し示す1以上の点、ドット、直線セグメント、または曲線セグメントを含む、連続的な境界または非連続的な境界である、請求項1に記載の方法。
  5. 上記3次元OCTデータは3次元OCT画像である、請求項1に記載の方法。
  6. 上記2次元画像データは、OCT眼底データ、3次元OCTデータを結合することで作成される2次元画像、3次元OCTデータの断面スライス、または写真である、請求項1に記載の方法。
  7. 上記面積Aは、上記関心領域の境界を示す複数の点の間を補間することによって計算される、請求項1に記載の方法。
  8. ユーザが、上記関心領域の周りに上記境界を描画するか、または、上記関心領域の周りに、上記境界を示す複数の点を描画する、請求項1に記載の方法。
  9. コンピュータ入力装置を用いて、ユーザが、上記関心領域の周りに上記境界を描画するか、または、上記関心領域の周りに、上記境界を示す複数の点を描画する、請求項1に記載の方法。
  10. マウス、タッチスクリーン、トラックボール、ジョイスティック、トラックパッド、スタイラス、またはライトペンを使用して、ユーザが、上記関心領域の周りに上記境界を描画するか、又は、上記関心領域の周りに、上記境界を示す複数の点を描画する、請求項1に記載の方法。
  11. 自動画像処理により、上記関心領域の周りに上記境界を描く、請求項1に記載の方法。
  12. 上記境界が、正常な生体組織に設けられる、請求項1に記載の方法。
  13. 上記関心領域は、上記生体組織内の病変である、請求項1に記載の方法。
  14. 上記生体組織は、網膜組織であり、上記関心領域は、網膜病変である、請求項1に記載の方法。
  15. 上記生体組織は、網膜組織であり、上記関心領域は、中心性新生血管(central neovascularization)病変複合体である、請求項1に記載の方法。
  16. 組織異常を有する被験者を治療する方法であって、
    a)請求項1に記載の方法に従って、上記組織異常の面積および/または体積を取得するステップと、
    b)上記組織異常の面積および/または体積に基づき、上記被験者に治療を施すステップと、を含む方法。
  17. 上記患者は、黄斑変性を有し、上記関心領域は、中心性新生血管(central neovascularization)病変複合体である、請求項16に記載の方法。
  18. 上記治療は、血管内皮増殖因子を標的とする薬剤、および/または、血小板由来増殖因子を標的とする薬剤を上記被験者に投与することを含む、請求項16に記載の方法。
  19. 組織異常を有する被験者の治療が成功したことを認定する方法であって、
    a)請求項1に記載の方法に従って、上記組織異常の第1の面積および/または第1の体積を計算するステップと、
    b)上記被験者に治療を施すステップと、
    c)請求項1に記載の方法に従って、上記組織異常の第2の面積および/または第2の体積を計算するステップと、
    d)上記組織異常の上記第2の面積および/または上記第2の体積が上記組織異常の上記第1の面積および/または上記第1の体積よりも小さい場合、上記患者の上記治療を有効な治療として認定するステップとを含む方法。
  20. 上記患者は、黄斑変性を有し、上記関心領域は、中心性新生血管(central neovascularization)病変複合体である、請求項19に記載の方法。
  21. 上記治療は、血管内皮増殖因子を標的とする薬剤、および/または、血小板由来増殖因子を標的とする薬剤を上記被験者に投与することを含む、請求項19に記載の方法。
  22. 生体組織の関心領域の体積を決定するためのシステムであって、
    a)OCT装置と、
    b)請求項1の記載に従って、上記関心領域の面積および/または体積を計算するソフトウェアと、を備えるシステム。
  23. 3次元OCTデータと2次元画像データとをユーザに表示するように構成された部材をさらに備える、請求項22に記載のシステム。
  24. 上記2次元画像データは、OCT眼底データ、3次元OCTデータを結合することで作成される2次元画像、3次元OCTデータの断面スライス、または写真である、請求項23に記載のシステム。
  25. ユーザからの入力を受け付けて、2次元画像データにおいて、上記関心領域の周りに上記境界を設けるか、又は、上記関心領域の周りに、上記境界を示す複数の点を設けるように構成された部材をさらに備える、請求項22に記載のシステム。
  26. 上記関心領域の上記面積および/または上記体積を出力する部材をさらに備える、請求項22に記載のシステム。
  27. 網膜病変の面積および/または体積を決定するための方法であって、
    a)上記網膜病変を含む、少なくとも第1の網膜セグメント及び第2の網膜セグメントを含む3次元SD−OCT画像を供給するステップと、
    b)上記網膜病変を含む2次元画像データを供給するステップと、
    c)上記2次元画像データにおいて、上記網膜病変の端から端までの最大直線距離を決定するステップと、
    d)上記2次元画像データにおける上記網膜病変周囲の円であって、上記2次元画像データにおける上記網膜病変の端から端までの最大直線距離よりも大きい直径dを有する円を描くステップと、
    e)上記円の周囲に沿って、上記第1の網膜セグメントと上記第2の網膜セグメントとの間の平均厚さtを計算するステップと、
    f)上記円内にあり、かつ、上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップと、
    g)上記網膜病変の体積V=v−(t×π×(d/2))を計算するステップと、を含む方法。
  28. 網膜病変の面積および/または体積を決定するための方法であって、
    a)SD−OCTデータを取得するステップと、
    b)上記SD−OCTデータの眼底画像をディスプレイに表示するステップと、
    c)表示された2次元眼底画像と情報を交換するユーザから、入力装置を用いてユーザ入力を取得することで、面積Aを囲む境界を関心領域の周囲に設けるステップと、を含む方法。
  29. 上記SD−OCTデータをセグメント化して、第1のセグメントと第2のセグメントとを設けるステップをさらに含む、請求項28に記載の方法。
  30. 上記境界内にあり、かつ上記第1のセグメントと上記第2のセグメントとの間にある体積vを計算するステップをさらに含む、請求項29に記載の方法。
  31. 上記境界に沿って、上記第1のセグメントと上記第2のセグメントとの間の平均厚さtを計算するステップをさらに含む、請求項30に記載の方法。
  32. 上記関心領域の体積V=v−(t×A)を計算するステップをさらに含む、請求項30に記載の方法。
  33. 上記入力装置は、タッチスクリーンである、請求項28に記載の方法。
  34. 上記ディスプレイに上記境界を表示するステップをさらに含む、請求項28に記載の方法。
  35. 上記関心領域の面積Aおよび/または上記関心領域の体積Vを上記ディスプレイに表示するステップをさらに含む、請求項28に記載の方法。
  36. 上記平均厚さtを上記ディスプレイに表示するステップをさらに含む、請求項28に記載の方法。
  37. 上記ディスプレイにおける上記関心領域の上記面積Aおよび/または上記関心領域の上記体積Vを更新するとともに、上記ディスプレイにおける上記平均厚さtを更新するステップをさらに含む、請求項28に記載の方法。
JP2018501139A 2015-03-26 2016-03-16 画像解析のためのシステム Active JP6726734B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562138485P 2015-03-26 2015-03-26
US62/138,485 2015-03-26
US201562269601P 2015-12-18 2015-12-18
US62/269,601 2015-12-18
PCT/US2016/022660 WO2016153877A1 (en) 2015-03-26 2016-03-16 Image analysis

Publications (2)

Publication Number Publication Date
JP2018515297A true JP2018515297A (ja) 2018-06-14
JP6726734B2 JP6726734B2 (ja) 2020-07-22

Family

ID=56975676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501139A Active JP6726734B2 (ja) 2015-03-26 2016-03-16 画像解析のためのシステム

Country Status (6)

Country Link
US (4) US10360673B2 (ja)
EP (1) EP3273840B1 (ja)
JP (1) JP6726734B2 (ja)
CA (1) CA2981021C (ja)
HK (1) HK1251427A1 (ja)
WO (1) WO2016153877A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057650A (ko) * 2018-11-16 2020-05-26 에프이아이 컴파니 이미지의 특징부 계측을 위한 파라미터 추정
JP2022151874A (ja) * 2021-03-26 2022-10-07 オプトス ピーエルシー マルチモーダル網膜画像の処理

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2981021C (en) * 2015-03-26 2020-11-17 Eyekor, Llc Image analysis
US11357419B2 (en) * 2016-07-14 2022-06-14 Koninklijke Philips N.V. Magnetic resonance imaging guided therapy system
US10839515B2 (en) * 2017-04-28 2020-11-17 Massachusetts Institute Of Technology Systems and methods for generating and displaying OCT angiography data using variable interscan time analysis
US11668556B2 (en) 2017-05-05 2023-06-06 Massachusetts Institute Of Technology Systems and methods for generating and displaying OCT blood flow speeds by merging mutiple integrated spatial samplings
US20190043193A1 (en) * 2017-08-01 2019-02-07 Retina-Ai Llc Systems and Methods Using Weighted-Ensemble Supervised-Learning for Automatic Detection of Retinal Disease from Tomograms
US10963737B2 (en) * 2017-08-01 2021-03-30 Retina-Al Health, Inc. Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
JP6734475B2 (ja) * 2017-10-10 2020-08-05 国立大学法人 東京大学 画像処理装置及びプログラム
DE102017010055A1 (de) * 2017-10-27 2019-05-02 Lessmüller Lasertechnik GmbH Laserstrahlschweißen von geometrischen Figuren mit OCT-Nahtführung
JP6910935B2 (ja) * 2017-11-24 2021-07-28 株式会社トプコン 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
JP7126818B2 (ja) * 2017-11-24 2022-08-29 株式会社トプコン 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム
EP3489619A1 (en) * 2017-11-28 2019-05-29 Koh Young Technology Inc. Apparatus for inspecting substrate and method thereof
US10951879B2 (en) * 2017-12-04 2021-03-16 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
US10719932B2 (en) * 2018-03-01 2020-07-21 Carl Zeiss Meditec, Inc. Identifying suspicious areas in ophthalmic data
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN108921836A (zh) 2018-06-28 2018-11-30 京东方科技集团股份有限公司 一种提取眼底图像标注的方法及装置
JP7162479B2 (ja) * 2018-09-25 2022-10-28 株式会社トプコン 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
CN109949899B (zh) * 2019-02-28 2021-05-28 未艾医疗技术(深圳)有限公司 图像三维测量方法、电子设备、存储介质及程序产品
EP3706136A1 (en) * 2019-03-05 2020-09-09 Novartis AG Computerized systems for prediction of geographic atrophy progression using deep learning applied to clinical imaging
JP7335107B2 (ja) * 2019-07-23 2023-08-29 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
US20210374955A1 (en) * 2020-06-02 2021-12-02 Zasti Inc. Retinal color fundus image analysis for detection of age-related macular degeneration
US11205085B1 (en) * 2020-07-29 2021-12-21 GE Precision Healthcare LLC Systems and methods for intensity guided interactive measurement
ES2898234A1 (es) * 2020-09-04 2022-03-04 Janez Garcia Lucia Sistema y Método para diagnóstico y estadificación de enfermedades neurodegenerativas basado en la rugosidad superficial de las capas de la retina
CN112287946B (zh) * 2020-09-23 2023-04-18 南方医科大学珠江医院 基于matlab的膝关节影像组学特征自动化提取方法
CA3096285A1 (en) * 2020-10-16 2022-04-16 Pulsemedica Corp. Opthalmological imaging and laser delivery device, system and methods
CA3100460A1 (en) 2020-11-24 2022-05-24 Pulsemedica Corp. Spatial light modulation targeting of therapeutic lasers for treatment of ophthalmological conditions
US20220260591A1 (en) * 2021-02-08 2022-08-18 Cedars-Sinai Medical Center Method of detecting cognitive impairment
JP2024522608A (ja) * 2021-06-09 2024-06-21 リネージ セル セラピューティクス インコーポレイテッド 網膜の疾患および症状を処置するための方法および組成物
US20230018458A1 (en) * 2021-07-13 2023-01-19 General Electric Company Method for inspecting an object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030626A (ja) * 2009-07-30 2011-02-17 Topcon Corp 眼底解析装置、眼底解析プログラム及び眼底解析方法
JP2012020061A (ja) * 2010-07-16 2012-02-02 Topcon Corp 眼底画像処理装置及び眼底観察装置
US20130194544A1 (en) * 2012-01-27 2013-08-01 Canon Kabushiki Kaisha Image processing system, processing method, and storage medium
WO2014140254A2 (en) * 2013-03-14 2014-09-18 Carl Zeiss Meditec Ag Improved user interface for acquistion, display and analysis of ophthalmic diagnostic data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
UA54427C2 (uk) 1996-05-01 2003-03-17 Елі Ліллі Енд Компані Спосіб лікування очних захворювань, які пов'язані з фактором васкулярного ендотеліального росту
US7113818B2 (en) 2002-04-08 2006-09-26 Oti Ophthalmic Technologies Inc. Apparatus for high resolution imaging of moving organs
US7805009B2 (en) 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
US10492749B2 (en) 2005-05-03 2019-12-03 The Regents Of The University Of California Biopsy systems for breast computed tomography
US7668342B2 (en) 2005-09-09 2010-02-23 Carl Zeiss Meditec, Inc. Method of bioimage data processing for revealing more meaningful anatomic features of diseased tissues
US7768652B2 (en) * 2006-03-16 2010-08-03 Carl Zeiss Meditec, Inc. Methods for mapping tissue with optical coherence tomography data
US7939021B2 (en) * 2007-05-09 2011-05-10 Advanced Liquid Logic, Inc. Droplet actuator analyzer with cartridge
US8223143B2 (en) 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US20080294349A1 (en) * 2007-05-09 2008-11-27 Jabbour Nabil M Quantitative Evaluation and Image Analysis of Choroidal Neovascular Membrane and Other Retinal and Subretinal Lesions
US8401246B2 (en) * 2007-11-08 2013-03-19 Topcon Medical Systems, Inc. Mapping of retinal parameters from combined fundus image and three-dimensional optical coherence tomography
US9700210B2 (en) * 2009-03-02 2017-07-11 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
JP4909377B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
WO2011009016A1 (en) 2009-07-16 2011-01-20 Glaxo Wellcome Manufacturing Pte Ltd Treatment method
US8944597B2 (en) 2012-01-19 2015-02-03 Carl Zeiss Meditec, Inc. Standardized display of optical coherence tomography imaging data
US9375195B2 (en) * 2012-05-31 2016-06-28 Siemens Medical Solutions Usa, Inc. System and method for real-time ultrasound guided prostate needle biopsy based on biomechanical model of the prostate from magnetic resonance imaging data
US9107610B2 (en) * 2012-11-30 2015-08-18 Kabushiki Kaisha Topcon Optic neuropathy detection with three-dimensional optical coherence tomography
WO2015188279A1 (en) * 2014-06-12 2015-12-17 Rsem, Limited Partnership Non-invasive measurement of choroidal volume change and ocular rigidity through oct imaging
CA2981021C (en) * 2015-03-26 2020-11-17 Eyekor, Llc Image analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030626A (ja) * 2009-07-30 2011-02-17 Topcon Corp 眼底解析装置、眼底解析プログラム及び眼底解析方法
US20120120368A1 (en) * 2009-07-30 2012-05-17 Kabushiki Kaisha Topcon Fundus analyzing appartus and fundus analyzing method
JP2012020061A (ja) * 2010-07-16 2012-02-02 Topcon Corp 眼底画像処理装置及び眼底観察装置
US20130194544A1 (en) * 2012-01-27 2013-08-01 Canon Kabushiki Kaisha Image processing system, processing method, and storage medium
JP2013153882A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理システム、処理方法及びプログラム
WO2014140254A2 (en) * 2013-03-14 2014-09-18 Carl Zeiss Meditec Ag Improved user interface for acquistion, display and analysis of ophthalmic diagnostic data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057650A (ko) * 2018-11-16 2020-05-26 에프이아이 컴파니 이미지의 특징부 계측을 위한 파라미터 추정
KR102568979B1 (ko) 2018-11-16 2023-08-21 에프이아이 컴파니 이미지의 특징부 계측을 위한 파라미터 추정
JP2022151874A (ja) * 2021-03-26 2022-10-07 オプトス ピーエルシー マルチモーダル網膜画像の処理
JP7382439B2 (ja) 2021-03-26 2023-11-16 オプトス ピーエルシー マルチモーダル網膜画像の処理

Also Published As

Publication number Publication date
EP3273840B1 (en) 2024-07-17
US20220254011A1 (en) 2022-08-11
EP3273840A1 (en) 2018-01-31
US10360673B2 (en) 2019-07-23
JP6726734B2 (ja) 2020-07-22
US11232557B2 (en) 2022-01-25
HK1251427A1 (zh) 2019-02-01
WO2016153877A1 (en) 2016-09-29
US20190347796A1 (en) 2019-11-14
US20240193771A1 (en) 2024-06-13
US11861830B2 (en) 2024-01-02
CA2981021C (en) 2020-11-17
CA2981021A1 (en) 2016-09-29
US20160284103A1 (en) 2016-09-29
EP3273840A4 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
US11861830B2 (en) Image analysis
US10925480B2 (en) Optical coherence tomography angiography methods
US9907465B2 (en) User interface for acquisition, display and analysis of ophthalmic diagnostic data
Gregori et al. Spectral domain optical coherence tomography imaging of drusen in nonexudative age-related macular degeneration
JP6146952B2 (ja) 画像処理装置、画像処理方法及びプログラム。
EP2460463A1 (en) Fundus analysis device and fundus analysis method
JP6627342B2 (ja) Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
US20130058553A1 (en) Image processing apparatus and image processing method
JP5932369B2 (ja) 画像処理システム、処理方法及びプログラム
JP2014505552A (ja) 光干渉断層法の正面鉛直断面ビューを使用する網膜疾患のコンピュータ援用診断
US10758122B2 (en) Volume analysis and display of information in optical coherence tomography angiography
US20160000315A1 (en) Automated analysis of the optic nerve head: measurements, methods and representations
WO2011063220A2 (en) Formalization of retinal nerve fiber layer thickness measurements made by time domain-optical coherence tomography
JP2020103579A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018038689A (ja) 眼科撮影装置及び眼科画像処理装置
JP2018046958A (ja) 眼科撮影装置及び眼科画像処理装置
US8944597B2 (en) Standardized display of optical coherence tomography imaging data
JP2009022506A (ja) 眼底検査画像解析システム、及び眼底検査画像解析プログラム
Ahlers et al. Three-dimensional high resolution OCT imaging of macular pathology
JP2020044362A (ja) Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
JP7382439B2 (ja) マルチモーダル網膜画像の処理
WO2022172563A1 (ja) 眼科情報処理プログラムおよび眼科装置
Pchelkina et al. An Algorithm for Automatic Image Segmentation Using the Sobel Method for an Optical Coherence Tomography
WO2023126340A1 (en) Fluid tracking in wet amd patients using thickness change analysis
JP2013153880A (ja) 画像処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6726734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250