JP2020168371A - 医用撮像装置 - Google Patents

医用撮像装置 Download PDF

Info

Publication number
JP2020168371A
JP2020168371A JP2020068564A JP2020068564A JP2020168371A JP 2020168371 A JP2020168371 A JP 2020168371A JP 2020068564 A JP2020068564 A JP 2020068564A JP 2020068564 A JP2020068564 A JP 2020068564A JP 2020168371 A JP2020168371 A JP 2020168371A
Authority
JP
Japan
Prior art keywords
image
sample
module
reference image
optical imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020068564A
Other languages
English (en)
Other versions
JP6943357B2 (ja
Inventor
ロス、ポール
Ross Paul
ゴーマン、アリステア
Gorman Alistair
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optos PLC
Original Assignee
Optos PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optos PLC filed Critical Optos PLC
Publication of JP2020168371A publication Critical patent/JP2020168371A/ja
Application granted granted Critical
Publication of JP6943357B2 publication Critical patent/JP6943357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像データの取得、特徴追跡、手振れ補正などを含み、基準画像に対する位置合わせを備える医用撮像装置を提供する。【解決手段】サンプル位置における画像サンプルを取得し、対応する画像ピクセルにサンプルを配置することによって、身体部分の領域の画像を生成する、光学撮像モジュール110と、身体部分の領域の複数の画像を定義する画像データを生成するように、反復プロセスの反復の各々で異なる走査パターンを用いてサンプルの複数のシーケンスを取得するように、光学撮像モジュールを制御するように構成される制御モジュール120と、基準画像132に対して画像を位置合わせする、位置合わせモジュール130と、を備える医用撮像装置100。【選択図】図1

Description

本明細書における例示的な態様は、一般に、医用撮像の分野に関し、より詳細には、身体部分の画像を定義する画像データの取得、及び、特徴追跡、手振れ補正などを含むさまざまな異なる目的に有用なデータをもたらす基準画像に対する画像の位置合わせに関する。
さまざまな医用撮像装置は、たとえば、ラスタ走査パターンに従って領域の走査を行い、特徴追跡、手振れ補正などに使用するために、位置合わせ情報を生成するように基準画像に対して取得された画像を位置合わせすることによって身体部分の領域の画像を取得することが知られている。
しかしながら、この種の医用撮像装置は、公知の撮像装置と比較して所与の画像データ取得レートを得るためにより高速で画像位置合わせ作業を確実に行うことができる必要がある。
本発明者らは、本明細書における第1の例示的な態様に従って、値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルを取得し、各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得されたサンプルを画像の対応するピクセルに配置するようにマッピングを用いることによって、身体部分の領域の画像を定義する画像データを生成するように動作可能である光学撮像モジュールを備える、医用撮像装置を考案している。医用撮像装置は、画像の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、光学撮像モジュールが取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも画像の大きな部分に広がる経路をたどる、サンプルの第1のシーケンスを取得することによって画像データを生成するように光学撮像モジュールを制御するように構成され、一連のピクセルの隣接するピクセルの間の距離の合計が経路の長さに等しい、制御モジュールをさらに備える。医用撮像装置は、領域の一部の画像を含む基準画像に対して画像を位置合わせするように構成される、位置合わせモジュールをさらに備える。
本発明者らは、本明細書における第2の例示的な態様に従って、値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルを取得し、各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得されたサンプルを画像の対応するピクセルに配置するようにマッピングを用いることによって、身体部分の領域の画像を定義する画像データを生成するように動作可能である光学撮像モジュールを備える、医用撮像装置のプロセッサによって実行される方法をさらに考案している。本方法は、画像の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、光学撮像モジュールが取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも画像の大きな部分に広がる経路をたどる、サンプルの第1のシーケンスを取得することによって画像データを生成するように光学撮像モジュールを制御することを含み、一連のピクセルの隣接するピクセルの間の距離の合計が経路の長さに等しい。本方法は、領域の一部の画像を含む基準画像に対して画像を位置合わせすることをさらに含む。
本発明者らは、本明細書における第3の例示的な態様に従って、値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルを取得し、各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得されたサンプルを画像の対応するピクセルに配置することによって、身体部分の領域の画像を定義する画像データを生成するように動作可能な光学撮像モジュールを備える医用撮像装置のプロセッサに、本明細書における第2の例示的な態様に記載の方法を実行することになる、コンピュータプログラムをさらに考案している。
本発明者らは、本明細書における第4の例示的な態様に従って、本明細書における第3の例示的な態様によるコンピュータプログラムを記憶した非一時的コンピュータ読み取り可能な記憶媒体をさらに考案している。
次に、本明細書における例示的な実施形態は、以下に記載される添付の図面を参照して、非限定的な例示としてのみ詳細に説明されることになる。異なる図に現れる同様の参照数字は、別段の指示がない限り、同一又は機能的に類似の要素を表すことができる。
第1の実施形態による医用撮像装置の概略図である。 (a)第1の実施形態の光学撮像モジュールによって生成された第1の例示的な画像において、アレイに配置された一連のピクセルの概略図である。(b)第1の実施形態の光学撮像モジュールによって生成された第2の例示的な画像において、アレイに配置された一連のピクセルの概略図である。(c)第1の実施形態の光学撮像モジュールによって生成された第3の例示的な画像において、アレイに配置された一連のピクセルの概略図である。 間引き走査パターンを用いて第1の実施形態の光学撮像モジュールによって取得されたサンプルに対応する経路Psparseに沿って配置された一組のピクセルPと、比較のために、密走査パターンを用いて第1の実施形態の光学撮像モジュールによって取得されたサンプルに対応する、アレイに、及び第2の経路Pdenseに沿って配置されたもう1つの組のピクセルP’とを含む画像フレームの概略図である。 光学撮像モジュールが第1の実施形態においてサンプルを取得するサンプル位置を決定するために制御モジュールが使用できる関数の異なる実施例によって表される曲線を示し、(a)は楕円を示す図であり、(b)はリサジュー図形を示す図であり、(c)はハイポトロコイドを示す図であり、(d)は螺旋を示す図である。 第1の実施形態の制御モジュール及び/又は位置合わせモジュールの例示的な信号処理ハードウェア構成を示すブロック図である。 図5のプロセッサが第1の実施形態の光学撮像モジュールを制御する方法を示すフローダイアグラムである。 第2の実施形態による医用撮像装置の概略図である。 第2の実施形態の光学撮像モジュールが制御される反復プロセスを示すフローダイアグラムである。 第2の実施形態の変形例に従って、画像データを生成するように光学撮像モジュールを制御する方法を示すフローダイアグラムである。
次に、本明細書における例示的な実施形態を、添付の図面を参照して詳細に説明する。
[第1の実施形態]
図1は、第1の実施形態による医用撮像装置100の概略図である。
第1の実施形態の医用撮像装置100は、光学撮像モジュール110、制御モジュール120、及び位置合わせモジュール130を備える。光学撮像モジュール110、制御モジュール120、及び位置合わせモジュール130は、以下でより詳細に説明するが、互いにデータ交換できるように(データバス等の)任意の適切な通信チャネル140によって通信可能に接続される。
光学撮像モジュール110は、その値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルを第1に取得することによって、人間又は動物の体の任意の部分の領域(身体部分の外部表面又は身体部分の内部の領域)の画像を定義する画像データを生成するように動作可能ないかなる種類の光学撮像モジュールであってもよい。例として、光学撮像モジュール110は、イメージセンサ(たとえば、電荷結合素子(CCD)又は相補型MOS(CMOS)センサ等)を、あるいは、より一般的には身体部分を透過する透過光若しくは身体部分の画像化領域から反射される反射光の強度、又は、たとえば複数のサンプル位置での基準光信号との透過光/反射光の干渉に起因する光のような、透過光/反射光から生じる光の強度を測定することによって、画像データを生成することができるいかなる種類の光検出器をも備えることができる。光学撮像モジュール110によって取得されたサンプル値は、たとえば、反射率、透過率、蛍光発光若しくは他の方式の光ルミネセンス、及び/又は色のような、身体部分の少なくとも1つの光学特性を示すことができる。
光学撮像モジュール110によって生成された画像データは、アレイ内の位置及び値がそれぞれ取得されたサンプル値及びサンプル位置を示すピクセルのアレイによって定義されるビットマップ画像などの、取得されたサンプルから生じる画像の任意の数値表現である。光学撮像モジュール110は、各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得したサンプルを画像の対応するピクセルに配置するようにマッピングを使用する。各サンプルのサンプル値は、画像の対応するピクセルのピクセル値に割り当てられるか、又は別様に配置され得る。生成された画像データのサイズは(後述する通り)光学撮像モジュール110によって取得されたサンプルのまばらさのために比較的小さいので、生成されたビットマップ画像は、第1の実施形態では、好ましくは、処理速度の増加のために光学撮像モジュール110の記憶装置内に、生のフォーマットで(たとえば、ヘッダ又はサイズ情報などの他の情報のない生のビットマップとして)圧縮なしで記憶され得る。しかしながら、生成されたビットマップ画像は、たとえばGIF、PNG、TIFF又はJPEGの標準化された圧縮ビットマップファイルのような任意の公知の圧縮画像ファイル形式で記憶装置に記憶してもよい。
医用撮像装置100は、多くの異なる態様のうちの1つで提供され得る。例として、第1の実施形態の医用撮像装置100は、患者の眼の網膜の領域を走査するための網膜スキャナの形で提供される。しかしながら、次に説明される網膜スキャナの構成及び動作上の態様は、必ずしも網膜スキャナに固有であるわけではなく、他の種類の医用スキャナ及び医用撮像装置に適用可能であり得ることを理解されたい。
第1の実施形態における網膜スキャナは、網膜の表面を撮像するための走査型レーザ検眼鏡(SLO)である。網膜スキャナは、たとえば米国特許第5,815,242号明細書に記載された光学配置を有する広視野SLO、又は代替的に、当業者に公知の従来型の狭視野SLOの形をとる内容を組み込むことができる。あるいは、網膜スキャナは、その表面の下の所定の深さにおける網膜の領域の画像を定義する光干渉断層撮影(OCT)画像データを取得するように構成されるいくつかのOCTスキャナのうちの1つでもよい。さらに、網膜スキャナは、SLO光学系を介した共焦点眼底画像とOCT光学系を介した断層画像との両方を単一の手順で取得することができる複合SLO−OCTスキャナであってもよい。広視野複合SLO−OCTスキャナの実施例は、米国特許第9,924,862号明細書に記載されており、その内容を本明細書に組み込んでもよい。
網膜スキャナは、コリメート光を領域に沿って走査し、走査された領域上の一連のサンプル位置の各サンプル位置について反射光の強度を測定し、それにより反射光の強度の一連のサンプルを得ることができるイメージセンサ又は他の光検出器配列を用いてそれぞれのサンプル位置から反射された光の強度を測定することによって領域を撮像することができる。各取得したサンプルについて、網膜スキャナは、サンプル値と、対応するサンプル位置を示す1又は複数の走査パラメータ(たとえば、網膜スキャナの1又は複数の走査要素の角変位を制御するための1又は複数の制御信号)の値との間の関連性を(たとえば、表などとして視覚化され得る適切に構成されたデータ構造に記憶することによって)形成する。
例として、網膜スキャナの回転の制御によってコリメート光を網膜の全域で走査できるようになっている欧州特許第0 730 428 号明細書に記載された光学配置で提供される第1及び第2の走査要素を備える一実施態様においては、網膜スキャナは、各強度測定値iの測定結果R(ここで、N個のサンプルが走査において取得されている場合には、i=1、…N)と、測定値iが作られる場合に網膜スキャナのどの1又は複数の走査要素が設定されるかによって駆動信号Dθ及びDφの対応する値Dθ(i)及びDφ(i)との間の関連性を形成することができ、値Dθ(i)及びDφ(i)は、網膜上の測定値iの位置を示す。
網膜スキャナは、取得したサンプルを画像の対応するピクセルに配置するように前述のマッピングを用いることによって走査領域の画像を定義する画像データを生成することができ、サンプル値(上記の例ではR)及び各サンプルのサンプル位置の表示(たとえば、上記の例ではDθ(i)及びDφ(i))は、画像の対応するピクセルのピクセル値及びピクセル位置に配置される。この配置は、サンプルの取得後、及び/又は、サンプルの取得中に画像データを生成するように実行され得る。この配置は、たとえば当業者に公知の技術を用いて、制御信号に対する1又は複数の走査ミラーの測定又は計算された応答、及び網膜スキャナの光学モデルを基礎として得られる。
第1の動作モードにおいては、制御モジュール120は、密走査パターンに従って一連のサンプルを取得するように光学撮像モジュール110を制御することができ、密走査パターンは、光学撮像モジュール110による画像データの生成時に、取得されたサンプルの網膜上のサンプル位置がアレイに配置された画像の対応するピクセル位置に配置されるようになっている。密走査パターンは1つの例においてはラスタ走査パターンであることができ、その場合は、取得された一連のサンプルは、図2(a)において生成された画像の概略図に示されるように、その順序付けがラスタ走査パターンに従って取得されたサンプルの順序付けを反映する対応する一連のピクセルに配置される。図2(a)においては、画像のピクセル位置が網膜上のサンプル位置のマッピングであるピクセルpが、例として、アレイの任意の行又は列の隣接するピクセル位置の間の間隔dを持つ、アレイ(又はグリッド)の行及び列に配置されるように示されている。この例においては、シーケンス内の隣接するピクセル位置の間の間隔は、アレイの各行の最後のピクセルの位置と、アレイの次の行にありアレイの反対側にあるシーケンス内の次のピクセルの位置との間の間隔を除いて、dである。これらの隣接するピクセル位置の間の間隔は、この例示的な例においては各行に9つのピクセルがあるので651/2dである。
密走査パターンが「蛇状」又は「S」走査パターンである代替例においては、生成された画像のピクセルは、図2(b)に示されるように同様にアレイに配置されるが、アレイの次の行にありアレイの同じ側にある、アレイの各行の最後のピクセルの位置とシーケンスの次のピクセルの位置との間の間隔は、この例においてはdである(すべての他の隣接するピクセルの位置の間の間隔はやはりdである)。
アレイの画像ピクセルの配置のさらなる例が図2(c)に示されており、その場合、画像のピクセルのシーケンスがたどる経路は、次のより大きな正方形などの大部分をトレースするように切り換わる前に各正方形の大部分をトレースする、一連の同心正方形を部分的にトレースする走査パターンの形で光学撮像モジュール110によってサンプルの取得を反映する。
したがって、第1の動作モードにおいては、制御モジュール120は、たとえば、上述の異なる種類のうちの1つの走査パターンを用いて密走査を行うように光学撮像モジュール110を制御し、それによって、利用可能な走査時間を網膜の比較的小さな部分の画像を定義する画像データの取得に当て、その結果、網膜上の隣接するサンプル点の間隔は、通常、光学撮像モジュール110の光学解像度に似ている。
網膜スキャナの1又は複数の走査要素の速度及びサンプリングレートを増加させることを必要とせずに位置合わせ効果の向上を達成するために、制御モジュール120は、間引き走査パターンを用いてサンプルを取得するように光学撮像モジュール110を制御する第2の動作モードで動作可能であり、それによって、結果として生じる間引き画像フレームは、第1の動作モードの密走査パターンを用いる場合に光学撮像モジュール110によって取得される画像よりも網膜のより大きな領域全体のカバレッジを提供する。より具体的には、制御モジュール120は、画像の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、光学撮像モジュール110が上記のように第1のモードで動作する場合に取得することができるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも画像の大きな部分に広がる経路をたどる、サンプルの第1のシーケンスを取得することによって画像データを生成するように光学撮像モジュール110を制御するように第2のモードで動作することができ、一連のピクセルの隣接するピクセルの間の距離の合計は、経路の長さに等しい。
第1の実施形態においては、制御モジュール120は、光学撮像モジュール110が円を定義する関数(たとえば(x−x+(y−y=r、ここで(x、y)は、半径rの円の中心である)を用いて、第1のシーケンスにおけるサンプルを取得するサンプル位置を決定するように構成される。図3に示されているように、間引き走査で取得されたサンプルの第1のシーケンスに対応する画像フレームIのピクセルPの位置は、上記のように密走査パターンを用いて、第1のモードで動作する場合に光学撮像モジュール110が取得することになるサンプルの第2のシーケンスに対応する一連のピクセルP’における隣接ピクセルの間の距離の合計に対応する経路Pdenseの長さと同じである円周を有する円形経路Psparseをたどる。図3に示されるように、円形経路Psparseは、アレイの経路Pdenseに沿ったピクセルの配置よりも画像フレームIのより大きな部分に広がる。経路は、ピクセルの前述のアレイよりも画像フレームIのより大きな部分に広がることができ、その結果、たとえば、第2のモードでの制御モジュール120の動作中に取得されたサンプルの第1のシーケンスのサンプルに対応するピクセルの間の画像フレームの最も大きな直線距離は、第1のモードでの制御モジュール120の動作中に取得されることになるサンプルの第2のシーケンスのサンプルに対応するピクセルの間の最も大きな直線距離よりも長い。
あるいは、制御モジュール120は、光学撮像モジュール110が円以外の楕円(たとえば、(x−x/a+(y−y/b=1、ここで、(x、y)は、楕円の中心である)を定義する関数を用いて第1のシーケンスでサンプルを取得するサンプル位置を決定するように構成され得る。より一般的には、関数は、平面内の曲線を定義するいかなる関数であってもよい。曲線のさらなる例は、図4(a)から図4(d)に示されている。曲線は、たとえば、(図4(a)に示される)非円形楕円、(図4(b)に示される)リサジュー図形、又は(図4(c)に示される)ハイポトロコイドなどの閉曲線であってもよい。あるいは、曲線は、たとえば(図4(d)に示される)螺旋などの開曲線、又は直線であってもよい。上記のように1又は複数の走査要素を含む光学撮像モジュールにおいては、制御モジュール120は、関数を基礎として1又は複数の走査要素の回転を駆動するための制御信号を生成することができ、その結果、コリメート光が、関数によって定義される間引き走査パターンに従って網膜の全域で走査される。走査中、光学撮像モジュール110は、第1の実施形態におけるのと同じように一定のサンプリングレートで、又は不規則な間隔でサンプルを取得することができる。
位置合わせモジュール130は、生成された画像データによって定義された画像を、記憶された基準画像132に対して位置合わせするように構成され、これは、光学撮像モジュール110によって撮像されている領域の少なくとも一部の画像を定義する画像データを含む。第1の実施形態においては、基準画像132に撮像された網膜の面積は、光学撮像モジュール110によって行われる上述の種類の単一の密走査によってカバーされる網膜の面積よりも大きい。
位置合わせモジュール130は、画像と基準画像132との間の相互相関を計算することによって、画像を基準画像132に対して位置合わせすることができる。たとえば、位置合わせモジュール130は、第1の実施形態におけるのと同じように、画像と基準画像132との間の加重正規化相互相関(言い換えれば、マスク化正規化相互相関)を計算することによって、画像を基準画像132に対して位置合わせするように構成され得る。いかにして加重正規化相互相関計算が行われ得るかについてのさらなる詳細は、たとえば、2012年5月5日に公表された(特に「II METHODS」という表題のセクションを参照されたい)、IEEE Transactions on Image Processing、Vol.21、Issue 5、2706〜2718ページにおいて、D.Padfieldによる「Masked Object Registration in the Fourier Domain」という表題の論文に提供されており、その内容は、全体として参照により本明細書に組み入れられている。この技術は、真正データポイントのみを考慮することによって間引き画像データの位置合わせが可能であり、間引き画像フレーム内の非データポイントは、マスクの使用によって位置合わせ計算から除外される。したがって、第1の実施形態の位置合わせモジュール130は、2つの画像の間の変換オフセットの測定値を生成するように構成される。位置合わせモジュール130は、第1の実施形態におけるのと同じように、基準画像132に対して直接画像を位置合わせするように、又は光学撮像モジュール110によって取得された一連の画像において以前に取得された画像に対して画像を位置合わせすることによって間接的に構成されることができ、そこでは、以前に取得された画像と基準画像132との間の前述の1又は複数の種類の違いが知られている。
第1の実施形態においては、位置合わせモジュール130によって使用される基準画像132は、たとえば密走査パターンを用いて光学撮像モジュール110によってそれぞれに撮像される網膜上の隣接する撮像領域の画像のモザイクを形成することによって、位置合わせモジュール130による位置合わせの実行より前に取得される。隣接する撮像領域は、それらが基準画像132を形成する画像のモザイクを生成するように組み合わされ(又は繋ぎ合わされ)得るように、画像が互いに対して位置合わせされることができるように重なり合うことが好ましい。
密走査パターンの代わりに、上記の間引き走査パターンを用いて画像データを生成するように光学撮像モジュール110を制御する制御モジュール120の構成、及び基準画像132に対する間引き走査によって生成される画像を位置合わせする位置合わせモジュール130の構成は、次の利益のうちの1又は複数を提供することができ、すなわち、(i)従来技術の装置に対して比較的低いデータレート及び比較的低速のスキャナによって高フレームレートの特徴追跡を可能にすることができ、(ii)所与のデータレートに対して、これは、(1つの間引きフレームが密走査パターンを介して生成されるフレームよりも網膜のより大きな領域全体のカバレッジを提供することができるので)非間引き法と比較して位置合わせ効果の向上を提供することができ、それにより、位置合わせが動きを補正するように画像の処理に使用される場合に達成されるべきより高い画像忠実度と、位置合わせが興味のある領域で「ロック」を維持するように光学撮像モジュール110を制御するために使用される場合に達成されるべき興味のある特定領域のより正確な走査とを可能にし、(iii)間引き走査パターンは、高詳細の領域と交差するように構成されることができ、したがって、位置合わせは、走査軌跡がその経路に沿ってどこかで少なくとも1つの高詳細領域と交差する限り、あまり詳細でない領域からデータを取得する場合でも行われ得る。医用撮像装置100のこれらの構成要素の構成は、効果的な動作補償を可能にすることができる。
医用撮像装置100は、第1の実施形態におけるのと同じように、(上記のように間引き走査パターンを用いることによって取得される)各々の入ってくる画像フレームが変換オフセットを決定するように基準画像132に対して位置合わせされるように構成され、オフセットが特定の閾値より大きい場合は、走査パターンは、任意の動きに追従するように再度中心に置かれる。これは、走査パターンの範囲内に依然として留まると同時に、公知の装置よりも大きな変換オフセット度を可能にすることができる。
本明細書において説明される例示的な態様は、上記の利益を提供することによって、身体部分の画像を取得するための医用画像化方法論及び装置を改善する、また、少なくともいくつかの実施形態について、信頼できる画像位置合わせ作業が公知の方法/装置と比較して所与のデータ取得レートについてより高速度で行われ得ることによって、身体部分の画像を取得するための医用画像化方法論及び装置を改善する。また、コンピュータ技術に根差した、本明細書において説明される少なくともいくつかの例示的な態様の可能性によって、本明細書において説明されるこれらの例示的な態様は、たとえば及び限定されることなく、公知の方法/装置と比較して、より高速の画像位置合わせ作業、及び、より高速の実行されるべき関連したコンピュータ処理を可能にすることによってコンピュータ技術を改善する。
図5は、プログラム可能な信号処理ハードウェア200の概略図であり、これは、第1の実施形態で説明された光学撮像モジュール110を備える医用撮像装置を制御し、特に、制御モジュール120及び/又は位置合わせモジュール130(及び/又は以下に説明される第2の実施形態の更新モジュール150)として機能するように構成され得る。プログラム可能な信号処理ハードウェア200は、光学撮像モジュール110によって取得されたサンプルデータを受信し、間引き走査パターンに従って、及び、任意選択的に(撮像中に眼の動きを補正するように網膜上の興味のある領域の走査位置を維持するために)位置合わせで得られたオフセットに基づいて、サンプルを取得するように光学撮像モジュール110を制御するように光学撮像モジュール110に制御命令を送信するための通信インターフェース(I/F)210を備える。信号処理装置200は、プロセッサ(たとえば、中央処理装置、CPU、又はグラフィックス処理装置、GPU)220と、ワーキングメモリ230(たとえば、ランダムアクセスメモリ)と、プロセッサ220によって実行される場合に、プロセッサ220が本明細書において説明される制御モジュール120、位置合わせモジュール130、及び/又は更新モジュール150の機能を含むさまざまな機能を実行するようになっている、コンピュータ読み取り可能な命令を含むコンピュータプログラムを記憶する命令ストア240とをさらに含む。ワーキングメモリ230は、光学撮像モジュール110によって生成された画像データと、基準画像132と、画像位置合わせ中に計算された1又は複数のオフセットと、走査パターンを定義する1又は複数の関数と、たとえば以下で説明される候補撮像用テンプレートとを含む、コンピュータプログラムの実行中にプロセッサ220によって使用される情報を記憶する。命令ストア240は、コンピュータ読み取り可能な命令によって最初から組み込まれている(たとえば、電気的に消去可能なプログラマブルリードオンリーメモリ(EEPROM)又はフラッシュメモリの形の)ROMを備えることができる。あるいは、命令ストア240は、RAM又は同様のタイプのメモリを備えることができ、コンピュータプログラムのコンピュータ読み取り可能な命令は、CD−ROM、DVD−ROMなど、又はコンピュータ読み取り可能な命令を運ぶコンピュータ読み取り可能な信号260の形の、非一時的なコンピュータ読み取り可能な記憶媒体250などの、コンピュータプログラム製品からそれに入力され得る。いずれの場合でも、プロセッサによって実行されると、コンピュータプログラムにより、プロセッサは本明細書において説明される医用撮像装置100を制御する1又は複数の方法、並びに図6、図8、及び図9に示される方法を実行するようになっている。しかしながら、制御モジュール120、位置合わせモジュール130及び/又は更新モジュール150は、代替的に、特定用途向け集積回路(ASIC)などの非プログラム式のハードウェアに実装され得ることに留意されたい。
第1の実施形態においては、プロセッサ220、ワーキングメモリ230、及び命令ストア240を含む、図5に示されるハードウェア構成の組み合わせ270は、制御モジュール120及び位置合わせモジュール130の機能、並びに/又は以下で説明される更新モジュール150の機能を実行するように構成される。
図6は、プロセッサ220によって実行される方法を示すフローダイアグラムであり、それによって、プロセッサ220は、身体部分の領域の画像を定義する画像データを生成するように光学撮像モジュール110を制御し、基準画像132に対して画像を位置合わせする。
図6のステップS10においては、プロセッサ220は、上記のように、画像の対応するピクセル位置がサンプルの第1のシーケンスに対応するピクセルによって位置付けられ、光学撮像モジュール110が取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも画像の大きな部分に広がる経路をたどる、上述のサンプルの第1のシーケンスを取得することによって画像データを生成するように光学撮像モジュール110を制御し、一連のピクセルの隣接するピクセルの間の距離の合計は、経路の長さに等しい。
次いで、図6のステップS20においては、プロセッサ220は、上記のように、領域の一部の画像を含む基準画像132に対して画像を位置合わせする。
[第2の実施形態]
図7は、第2の実施形態による医用撮像装置300の概略図である。
第2の実施形態の医用撮像装置300は、第1の実施形態におけるのと同じであるが、取得された間引き画像を位置合わせするための位置合わせモジュール130によって使用される基準画像132を構成するための機構を含むことによって第1の実施形態とは異なる、光学撮像モジュール110、制御モジュール120、及び位置合わせモジュール130を備える。第2の実施形態においては、基準画像132は、これらの画像が基準画像132に対して位置合わせされた後に取得された間引き画像から間引き画像データを不完全な基準画像に蓄積し、それによって基準画像のエリアカバレッジを増やすことによって構成される。上述の第2の動作モードにおける制御モジュール120の制御下で光学撮像モジュール110によって実行される走査のまばらな性質のおかげで、この更新機構により、基準画像132の比較的広い領域は各間引き走査からのサンプルデータに対応するピクセルが投入されることができ、それにより、基準画像132は、前述の第1の実施形態の場合よりも短時間で画像位置合わせに使用できるレベルまで高められることができ、基準画像132は、網膜の隣接するセクション上で密走査を行うことによって取得される画像のモザイクとして形成される。換言すれば、第2モードのみで動作する制御モジュール120を持つ第2の実施形態の医用撮像装置300は、上記のように密走査のみを用いて基準画像を生成する第1の実施形態の医用撮像装置100よりも短い時間で、身体部分の領域の画像を確実に位置合わせすることができる状態に達することができ、それについては、いかなる先の画像データも存在しない。
医用撮像装置300の更新モジュール150は、図6のステップS20において基準画像132に対して位置合わせされている画像の画像データを含むように基準画像132を更新するように構成され、それによって、この補足情報を含む更新された基準画像132を生成する。
(間引き画像で撮像された網膜特徴と基準画像132との間の不十分な重なり度合のため)基準画像に対して正確に位置合わせされていない間引き画像の画像データを含むように更新されて基準画像の品質を低下させる基準画像132の可能性を低減するために、更新モジュール150は、第2の実施形態におけるのと同じように、間引き画像と基準画像132との間の計算された加重正規化相互相関の最大値が所定の閾値を超える場合にのみ基準画像132を更新することができる。
上記のように、位置合わせモジュール130は、間引き画像と基準画像132との間の並進差を決定することによって、取得された間引き画像を基準画像132に対して位置合わせするように構成され得る。更新モジュール150による基準画像132の更新は、閾値を超える画像と基準画像132との間の計算された加重正規化相互相関の最大値に対してばかりでなく、それぞれの閾値を超える決定された並進差に対しても条件付きであり得る。このようにして、そのカバレッジを十分に増加させるとは限らない基準画像データの更新と関連するオーバーヘッド処理が回避され得る。
第2の実施形態においては、光学撮像モジュール110、制御モジュール120、位置合わせモジュール130、及び更新モジュール150は、間引きサンプルの取得及び配置、基準画像132に対する間引き画像の位置合わせ、及び反復プロセスでの更新された基準画像の生成を行うように構成され、それによって、この反復プロセスの各反復において光学撮像モジュール110によって生成される画像データによって定義された間引き画像は、反復プロセスの以前の反復において更新された基準画像132に対して位置合わせモジュール130によって位置合わせされ、その後この基準画像132を更新するように更新モジュール150によって使用される。
次に、この反復プロセスの例を、図8を参照して説明する。
図8に示される反復プロセスの反復の各々においては、制御モジュール120及び位置合わせモジュール130は、図6を参照して上記で説明される第1の実施形態におけるのと同じであるステップS10及びステップS20をそれぞれ実行する。ステップS30においては、更新モジュール150は、基準画像132に対して位置合わせされている間引き画像の画像データを含むように基準画像132を更新し、それによって、基準画像132の更新されたバージョンを生成し、それに対して、次の反復において光学撮像モジュール110によって取得された間引き画像が、その後の反復において位置合わせモジュール130によって位置合わせされる。更新モジュール150による基準画像132の更新は、上記のように満たされている条件(すなわち、所定の閾値を超える間引き画像と基準画像132との間の計算された加重正規化相互相関の最大値)の対象となることができ、又は、これは、基準画像132が各反復において更新されるように無条件であり得る。いずれの場合も、ステップS20の各実行において位置合わせモジュール130によって使用される基準画像132は、以前の反復において更新されている基準画像132である。図8に示されるプロセスの各反復においては、制御モジュール120は、停止基準が満たされているかどうかをステップS40で判定し、停止基準が満たされていない場合はステップS10にループバックすることによって反復プロセスを引き続き実行し、停止基準が満たされている場合は処理を停止する。停止基準は、たとえば、その値が基準画像132のピクセルの総数に更新されている基準のいくつかの異なるピクセルの割合によって決定される、所望のエリアカバレッジの十分に密な基準画像が構成されているということであり得る。停止基準は、追加として又は代替として、所定数の反復が実行されているということ、あるいはプロセスを終了する命令が医用撮像装置300のユーザによって、又は、たとえば装置上で実行されている(たとえば、複合SLO−OCT撮像システムでの断層データの取得を制御するための)画像取得制御プロセスによって生成されているということであり得る。
したがって、各連続する画像フレームにおいては、間引き走査パターンは、求められる品質でまだ取得されていない領域をカバーし、それにより、部分的な基準画像に蓄積される場合にエリアカバレッジ及び/又は品質が向上する。間引き画像は、蓄積している基準画像との重複領域を常に有し、それにより、それとの位置合わせが容易になることに留意されたい。プロセスは、最終的な基準画像に欠落ピクセルがある場合は画像データインフィルで補われ得る。
第2の実施形態においては、制御モジュール120は、サンプルの複数のシーケンスを取得することによって互いに関連してオフセットされる身体部分の異なる各領域の複数の画像を定義する画像データを生成するように、反復プロセスの反復の各々で同じ間引き走査パターンを用いてステップS10でサンプルを取得するように光学撮像モジュール110を制御するように構成され、サンプルの取得されたシーケンスのサンプルが配置されるピクセルは、間引き画像の各々で同じ経路をたどるピクセル位置を有する。撮像中の光学撮像モジュール110に対する患者の網膜の自然な動きは、第2の実施形態におけるのと同じように、1つの反復から次の反復まで異なるように光学撮像モジュール110によって実行される間引き走査の網膜上の走査位置をもたらすのに十分である場合があり、その結果、間引き走査は、(1つの走査から次の走査までのカバレッジの違いが上述の基準画像132の更新を開始させるのに必ずしも十分であるとは限らない場合があり、したがって、基準画像132は各反復において更新されないかもしれないが)各反復において網膜の異なる領域をカバーする。患者の眼のこの種の自然な動きは、一般に、患者の抑制の及ばないところであり、患者の顎を顎受けなどの上に配置するなどの、それらを減らすための対策が講じられているにもかかわらず生じる場合がある。
画像取得プロセスの時間スケールでの光学撮像モジュール110に対する網膜の自然な動きが重要でない用途で使用され得る医用撮像装置300の変形例においては、制御モジュール120は、身体部分の領域の複数の画像を定義する画像データを生成するように、反復プロセスの反復の各々で異なる走査パターンを用いてサンプルの複数のシーケンスを取得するように、光学撮像モジュール110を制御するように構成されることができ、サンプルの取得されたシーケンスのサンプルが配置されるピクセルは、画像の各々で異なる経路をたどるピクセル位置を有する。この変形例においては、制御モジュール120は、反復の各々で異なる走査パターンを使用し、それによって、網膜の異なる領域が各走査によってカバーされることが保証される。走査パターンは、たとえば、各反復において所定の増分(複数の増分)によって間引き走査パターンを体系的に変形させ、回転させ、かつ/若しくはスケーリングし、かつ/又は間引き走査の形状を定義する関数を各反復において変更することによって、反復プロセスにおいていくつかの異なる方法のうちの1つに変更され得る。
次に、医用撮像装置300の第2の変形例に従って、画像データを生成するように光学撮像モジュール110を制御する特に有利な方法を、図9を参照して説明し、図9は、第2の変形例の制御モジュール120が図6及び図8のステップS10を実行する時に画像データを生成するプロセスを示している。
第2の変形例においては、制御モジュール120は、基準画像132の複数のピクセルの各々が反復プロセスの実行中に更新されている回数の記録を保持するように構成される。たとえば、制御モジュール120は、基準画像132にピクセル行及びピクセル列があるのと同じ数の行及び列を有する2次元データ配列の形の記録を記憶し、基準画像132内の対応する位置のピクセルが反復プロセスにおいてこれまで更新されている回数を表すカウント値をこのデータ配列の各セルに記憶することができる。
反復プロセスの各反復において、第2の変形例の制御モジュール120は、記録と複数の候補撮像用テンプレートの各々との間の相関度を図9のステップS10−1において計算し、各候補撮像用テンプレートは、光学撮像モジュール110によって撮像されるべき網膜の候補領域の異なる予測画像を含む。各撮像用テンプレートの予測画像は、共通のピクセル値を有するピクセルを含むことができ、このピクセルは、上述の種類のマッピングを用いて光学撮像モジュール制御パラメータ値の対応するセットに配置され得る撮像用テンプレートのピクセル位置に配置される。第2の変形例においては、光学撮像モジュール110は、候補撮像用テンプレートの各々に従って、値が候補領域内の各サンプル位置での身体部分の光学特性を示すサンプルを取得し、サンプル値及び各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル値及びピクセル位置に配置されるように画像の対応するピクセルに取得されたサンプルを配置することによって、身体部分の各候補領域の画像を定義する画像データを生成するように制御モジュール120によって制御されることができ、光学撮像モジュール110は、サンプルが取得されることになる候補撮像領域にサンプル位置を決定するようにマッピングを使用するように構成される。
図9のステップS10−2においては、制御モジュール120は、複数の候補撮像用テンプレートから、及びステップS10−1で計算されている相関度に基づいて、その反復において画像取得に使用されることになる撮像用テンプレートを選択する。制御モジュール120は、撮像用テンプレートとして、記録との計算された相関度が、計算された相関度の最も高いものと計算された相関度の最も低いものとの間にあり、好ましくは計算された相関度の中央値である複数の候補撮像用テンプレートから撮像用テンプレートを選択することができる。相関度の低い値は、基準画像132によってカバーされる領域と取得された画像フレームとの間の重複を費やして基準画像132のカバレッジを増加させることになる走査位置に対応し、高い値は、さらに大きくサンプリングされている網膜の領域があることに対応し、中間値は、追跡に必要とされるいくらかの重複がある領域、及びカバレッジを増加させるのに要求される網膜の新しい領域に対応する。
次に、図9のステップS10−3においては、制御モジュール120は、図9のステップS10−2で選択された撮像用テンプレートを用いて画像データを生成するように光学撮像モジュール110を制御する。
次いで、選択された撮像用テンプレートに従って生成されている画像データによって定義される画像が、位置合わせモジュール130によって基準画像132に対して位置合わせされ、更新モジュール150は、基準画像132に対して位置合わせされている画像の画像データを含むように基準画像132を更新する。第2の変形例においては、更新モジュール150は、そのピクセル値が現在の反復において更新されているピクセルを基準画像132内の対応する位置が有する、記録の各セルのカウントを増すことによって、基準画像132に対して位置合わせされている画像の画像データを用いて記録を更新する。
上述の実施形態のうちのいくつかが、次の例E1からE11に要約されている。
E1.値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルを取得し、各サンプルのサンプル位置の表示が画像(I)の対応するピクセルのピクセル位置に配置されるように取得されたサンプルを画像(I)の対応するピクセルに配置するようにマッピングを用いることによって、身体部分の領域の画像(I)を定義する画像データを生成するように動作可能である光学撮像モジュール(110)を備える、医用撮像装置(100;300)のプロセッサによって実行される方法であって、
画像(I)の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、光学撮像モジュール(110)が取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも画像(I)の大きな部分に広がる経路をたどる、サンプルの第1のシーケンスを取得することによって画像データを生成するように光学撮像モジュール(110)を制御し、一連のピクセルの隣接するピクセルの間の距離の合計が経路の長さに等しいことと、
領域の一部の画像を含む基準画像(132)に対して画像(I)を位置合わせすることと、
を含む、方法。
E2.光学撮像モジュール(110)が第1のシーケンスにおいてサンプルを取得するサンプル位置が、螺旋、楕円、楕円形螺旋、リサジュー図形、及び平面内のハイポトロコイドのうちの1つを定義する関数に基づいて決定される、E1に記載の方法。
E3.画像(I)が、画像と基準画像(132)との間の加重正規化相互相関を計算することによって基準画像(132)に対して位置合わせされる、E1又はE2に記載の方法。
E4.基準画像(132)に対して位置合わせされている画像の画像データを含むように基準画像(132)を更新することによって、更新された基準画像(132)を生成すること、をさらに含む、E1からE3のいずれかに記載の方法。
E5.画像が、画像(I)と基準画像(132)との間の加重正規化相互相関を計算することによって基準画像(132)に対して位置合わせされ、更新された基準画像は、画像(I)と基準画像(132)との間の計算された加重正規化相互相関の最大値が閾値を超えるという条件で生成される、E4に記載の方法。
E6.閾値が第1の閾値であり、画像が、画像(I)と基準画像(132)との間の並進差を決定することによって基準画像(132)に対して位置合わせされ、更新された基準画像(132)は、画像(I)と基準画像(132)との間の計算された加重正規化相互相関の最大値が第1の閾値を超え、決定された並進差が第2の閾値を超えるという条件で生成される、E5に記載の方法。
E7.サンプルの取得及び配置、基準画像(132)に対する画像(I)の位置合わせ、及び更新された基準画像(132)の生成が、反復プロセスにおいて実行され、反復プロセスの各反復において光学撮像モジュール(110)によって生成される画像データによって定義された画像(I)が、反復プロセスの以前の反復において更新された基準画像(132)に対して位置合わせされた後、これを更新するように使用される、E4からE6のいずれかに記載の方法
E8.光学撮像モジュール(110)が、サンプルの複数のシーケンスを取得することによって互いに関連してオフセットされる身体部分の異なる各領域の複数の画像(I)を定義する画像データを生成するように制御され、サンプルの取得されたシーケンスのサンプルが配置されるピクセルが、画像(I)の各々で同じ経路をたどるピクセル位置を有する、E7に記載の方法。
E9.光学撮像モジュール(110)が、サンプルの複数のシーケンスを取得することによって身体部分の領域の複数の画像(I)を定義する画像データを生成するように制御され、サンプルの取得されたシーケンスのサンプルが配置されるピクセルが、画像(I)の各々で異なる経路をたどるピクセル位置を有する、E7に記載の方法。
E10.基準画像(132)の複数のピクセルの各々が反復プロセスの実行中に更新されている回数の記録を保持すること、
をさらに含み、
反復プロセスの各反復において、
記録と複数の候補撮像用テンプレートの各々との間のそれぞれの相関度を計算することであって、各候補撮像用テンプレートが、光学撮像モジュール(110)によって撮像されるべき身体部分の候補領域の異なる予測画像を含み、光学撮像モジュール(110)が、候補撮像用テンプレートの各々に従って、値が候補領域の各サンプル位置での身体部分の光学特性を示すサンプルを取得し、サンプル値及び各サンプルのサンプル位置の表示が画像の対応するピクセルのピクセル値及びピクセル位置に配置されるように画像の対応するピクセルに取得されたサンプルを配置することによって、身体部分の各候補領域の画像を定義する画像データを生成するように動作可能であり、光学撮像モジュール(110)は、サンプルが取得されることになる候補撮像領域にサンプル位置を決定するようにマッピングを使用するように構成されることと、
計算された相関度に基づいて、複数の候補撮像用テンプレートからそれぞれの撮像用テンプレートを選択することと、
選択された撮像用テンプレートを用いて画像データを生成するように光学撮像モジュール(110)を制御することと、
基準画像(132)に対して、選択された撮像用テンプレートに従って生成されている画像データによって定義される画像(I)を位置合わせすることと、
基準画像(132)に対して位置合わせされている画像の画像データを含むように基準画像(132)を更新することと、
基準画像(132)に対して位置合わせされている画像の画像データを用いて記録を更新することと、
を含む、E9に記載の方法。
E11.各反復において、撮像用テンプレートは、記録とのその計算された相関度が、計算された相関度の最も高いものと計算された相関度の最も低いものとの間にあり、好ましくは計算された相関度の中央値である、複数の候補撮像用テンプレートからそれぞれの撮像用テンプレートとして選択される、E10に記載の方法。
前述の説明においては、例示的な態様が、いくつかの例示的な実施形態を参照して説明されている。したがって、本明細書は、例示と見なされるべきである。同様に、図面に示されている図は、例示的な実施形態の相関関係及び利点を強調しているが、例示的な目的のためにのみ提示されている。例示的な実施形態の構成は、十分に柔軟で変更可能であり、したがって、これは、添付の図に示されるもの以外のさまざまな点で利用され(かつナビゲートされ)得る。
本明細書において提示される実施例のソフトウェア例は、機械アクセス可能又は機械読み取り可能な媒体、命令ストア、又はコンピュータ読み取り可能な記憶装置などの製品に含まれ又は記憶される、命令又は一連の命令を有する1又は複数のプログラムなどのコンピュータプログラムあるいはソフトウェアとして提供されることができ、その各々が、1つの例示的な実施形態において非一時的であり得る。非一時的機械アクセス可能媒体、機械読み取り可能な媒体、命令ストア、又はコンピュータ読み取り可能な記憶装置上のプログラム又は命令は、コンピュータシステム又は他の電子デバイスをプログラムするために使用され得る。機械又はコンピュータ読み取り可能な媒体、命令ストア、及び記憶装置には、電子命令を記憶し又は送信するのに適した、フロッピー(登録商標)ディスク、光ディスク、及び光磁気ディスク、又は他のタイプのメディア/機械読み取り可能な媒体/命令ストア/記憶装置があり得るが、これらに限定されない。本明細書において説明される技術は、いかなる特定のソフトウェア構成にも限定されるものではない。これらは、任意のコンピューティング又は処理環境での適用性を見出すことができる。本明細書において使用される「コンピュータ読み取り可能な」、「機械アクセス可能な媒体」、「機械読み取り可能な媒体」、「命令ストア」、及び「コンピュータ読み取り可能な記憶装置」という用語は、機械、コンピュータ、又はコンピュータプロセッサによる実行のための命令又は一連の命令を記憶し、符号化し、又は送信することができ、かつ機械/コンピュータ/コンピュータプロセッサが本明細書において説明される方法のいずれか1つを実行するようになっている任意の媒体を含んでいる。さらに、(たとえば、プログラム、手順、プロセス、アプリケーション、モジュール、ユニット、ロジック、など)どのような形にせよ、ソフトウェアについて行為を行うこと又は結果をもたらすことであるというのが当業界では一般的である。この種の表現は、単に、処理システムによるソフトウェアの実行により、プロセッサが行為を実行して結果をもたらすということを述べる省略表現法である。
また、いくつかの実施形態は、特定用途向け集積回路、フィールドプログラマブルゲートアレイの準備によって、又は従来のコンポーネント回路の適切なネットワークを相互接続することによって実施され得る。
いくつかの実施形態は、コンピュータプログラム製品を含む。コンピュータプログラム製品は、本明細書に記載の例示的な実施形態の手順のいずれかを実行するようにコンピュータ又はコンピュータプロセッサ制御し、あるいはコンピュータ又はコンピュータプロセッサがこの手順のいずれかを実行することになるように使用され得る、その上又はその中に記憶される命令を有する、記憶媒体若しくはメディア、1若しくは複数の命令ストア、又は1若しくは複数の記憶装置であり得る。記憶媒体/命令ストア/記憶装置は、例としてかつこれに限定されるものではないが、光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、RAID、リモートデータストレージ/アーカイブ/ウェアハウジング、並びに/又は命令及び/若しくはデータを記憶するのに適した任意の他のタイプのデバイスを含むことができる。
コンピュータ読み取り可能な媒体若しくはメディア、1若しくは複数の命令ストア、又は1若しくは複数の記憶装置のいずれか1つに記憶されるので、いくつかの実装は、システムのハードウェアを制御するための、及び、システム又はマイクロプロセッサが本明細書に記載される例示的な実施形態の結果を利用する人間のユーザ又は他の機構と情報を交換するようになるためのソフトウェアを含む。この種のソフトウェアは、限定されるものではないが、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションを含むことができる。最終的に、この種のコンピュータ読み取り可能な媒体、又は、1若しくは複数の記憶装置は、上記のように、本発明の例示的な態様を実行するためのソフトウェアをさらに含む。
システムのプログラミング及び/又はソフトウェアには、本明細書に記載される手順を実施するためのソフトウェアモジュールが含まれる。本明細書におけるいくつかの例示的実施形態においては、モジュールはソフトウェアを含むが、本明細書の実施形態における他の例においては、モジュールは、ハードウェア、あるいはハードウェア及びソフトウェアの組み合わせを含む。
本発明のさまざまな例示的な実施形態が上記で説明されているが、それらは例示として提示されており、これらを限定するものではないことを理解されたい。方式及び詳細のさまざまな変更が本明細書において行われ得ることが当業者には明らかであろう。したがって、本発明は、上記の例示的な実施形態のいずれかによって限定されるべきではなく、次の特許請求の範囲及びそれらの均等物に従ってのみ定義されるべきである。
さらに、要約の目的は、特許庁及び公衆一般、及び特に、特許若しくは法律用語又は表現に精通していない当業界の科学者、エンジニア、及び実務家が通り一遍の検査からアプリケーションの技術的開示の性質と本質をすばやく判断できるようになることである。要約は、本明細書において提示される例示的な実施形態の範囲について決して限定することを意図するものではない。また、特許請求の範囲に列挙された手順は、提示された順序で実行されるには及ばないことが理解されるべきである。
本明細書は多くの特定の実施形態の詳細を含むが、これらは、任意の発明の又は要求され得るものの範囲に関する限定として解釈されるべきではなく、むしろ本明細書に記載される特定の実施形態に特有の特徴の説明として解釈されるべきである。また、別々の実施形態の文脈でこの明細書で説明されているある一定の特徴は、単一の実施形態で組み合わせて実施され得る。逆に、単一の実施形態の文脈で説明されているさまざまな特徴はまた、複数の実施形態で別々に、又は任意の適切なサブコンビネーションで実施され得る。そのうえ、特徴はある一定の組み合わせで働くものとして上記で説明され得るが、当初そのようなものとして要求され得たとしても、場合によっては要求された組み合わせに由来する1又は複数の特徴は、その組み合わせから削除されることができ、要求された組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられ得る。
ある一定の状況においては、マルチタスク及び並列処理が有利な場合がある。そのうえ、上述の実施形態におけるさまざまな構成の分離は、すべての実施形態においてこの種の分離を必要とすると理解されるべきではなく、説明されたプログラム構成及びシステムは一般に単一のソフトウェア製品に一体化され、又は複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。
ここでいくつかの例示的な実施形態を説明しているが、前述のことは例示であって限定するものではなく、例示として提示されていることは明らかである。特に、本明細書において提示される実施例の多くは、装置又はソフトウェア要素の特定の組み合わせを必要とするが、それらの要素は、同じ目的を達成するように他の方法で組み合わされ得る。1つの実施形態と関連してのみ論じられた行為、要素及び特徴は、他の実施形態又は実施形態における同様の役割から除外されるように意図されるものではない。
本明細書において説明される装置及びコンピュータプログラムは、その特性から逸脱することなく、他の特定の方式で具体化され得る。前述の実施形態は、説明されたシステム及び方法を限定するものではなく例示である。したがって、本明細書において説明される装置及びコンピュータプログラムの範囲は、前述の説明ではなく添付の特許請求の範囲によって示され、特許請求の範囲の均等性の意味及び範囲内に入る変更は、その中に包含される。

Claims (15)

  1. 値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルであって、前記身体部分を通して透過された光、若しくは当該透過された光に基づく光の強度、又は前記身体部分の画像化領域から反射された光、若しくは当該反射された光に基づく光の強度を測定することによって取得される前記サンプルを取得し、各サンプルの前記サンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得された前記サンプルを前記画像の対応するピクセルに配置するようにマッピングを用いることによって、前記身体部分の前記領域の画像を定義する画像データを生成するように動作可能である光学撮像モジュールと、
    前記画像の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、前記光学撮像モジュールが取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも前記画像の大きな部分に広がる経路をたどる、サンプルの前記第1のシーケンスを取得することによって前記画像データを生成するように前記光学撮像モジュールを制御するように構成され、前記一連のピクセルの隣接するピクセルの間の距離の合計が前記経路の長さに等しい、制御モジュールと、
    前記領域の一部の画像を含む基準画像に対して前記画像を位置合わせするように構成される、位置合わせモジュールと、
    を備える医用撮像装置。
  2. 前記制御モジュールは、前記光学撮像モジュールが螺旋、楕円、楕円形螺旋、リサジュー図形、及び平面内でのハイポトロコイドのうちの1つを定義する関数に基づいて前記第1のシーケンスで前記サンプルを取得する前記サンプル位置を決定するように構成される、請求項1に記載の医用撮像装置。
  3. 前記位置合わせモジュールは、前記画像と前記基準画像との間の加重正規化相互相関を計算することによって前記画像を前記基準画像に対して位置合わせするように構成される、請求項1又は請求項2に記載の医用撮像装置。
  4. 前記位置合わせモジュールは、フーリエドメインにおけるマスクされた対象物の位置合わせによって前記加重正規化相互相関を計算するように構成される、請求項3に記載の医用撮像装置。
  5. 前記基準画像に対して位置合わせされている前記画像の前記画像データを含むように前記基準画像を更新することによって更新された基準画像を生成するように構成される更新モジュールをさらに備える、請求項1から請求項4の何れか1項に記載の医用撮像装置。
  6. 前記位置合わせモジュールは、前記画像と前記基準画像との間の加重正規化相互相関を計算することによって前記画像を前記基準画像に対して位置合わせするように構成され、前記更新モジュールは、前記画像と前記基準画像との間の計算された前記加重正規化相互相関の最大値が閾値を超えることを条件として前記更新された基準画像を生成するように構成される、請求項5に記載の医用撮像装置。
  7. 前記閾値は第1の閾値であり、前記位置合わせモジュールは、前記画像と前記基準画像との間の並進差を決定することによって前記画像を前記基準画像に対して位置合わせするように構成され、前記更新モジュールは、前記画像と前記基準画像との間の計算された前記加重正規化相互相関の前記最大値が前記第1の閾値を超え、決定された前記並進差が第2の閾値を超えることを条件として前記更新された基準画像を生成するように構成される、請求項6に記載の医用撮像装置。
  8. 前記光学撮像モジュール、前記制御モジュール、前記位置合わせモジュール及び前記更新モジュールは、前記サンプルの取得及び配置、前記基準画像に対する前記画像の位置合わせ、並びに反復プロセスにおける前記更新された基準画像の生成を実行するように構成され、前記反復プロセスの各反復において前記光学撮像モジュールによって生成される前記画像データによって定義される前記画像が、前記反復プロセスの以前の反復において更新された前記基準画像に対して前記位置合わせモジュールによって位置合わせされた後、当該更新された前記基準画像を更新するように前記更新モジュールによって使用される、請求項5から請求項7の何れか1項に記載の医用撮像装置。
  9. 前記制御モジュールは、前記サンプルの複数のシーケンスを取得することによって互いに関連してオフセットされる前記身体部分の異なる各領域の複数の画像を定義する画像データを生成するように前記光学撮像モジュールを制御するように構成され、前記サンプルの取得されたシーケンスの前記サンプルが配置される前記ピクセルは、前記画像の各々で同じ経路をたどるピクセル位置を有する、請求項8に記載の医用撮像装置。
  10. 前記制御モジュールは、前記サンプルの複数のシーケンスを取得することによって前記身体部分の前記領域の複数の画像を定義する画像データを生成するように前記光学撮像モジュールを制御するように構成され、前記サンプルの取得されたシーケンスの前記サンプルが配置される前記ピクセルは、前記画像の各々で異なる経路をたどるピクセル位置を有する、請求項8に記載の医用撮像装置。
  11. 前記制御モジュールは、前記基準画像の複数のピクセルの各々が前記反復プロセスの実行中に更新されている回数の記録を保持するように構成され、
    前記反復プロセスの各反復において、
    前記制御モジュールは、前記記録と複数の候補撮像用テンプレートの各々との間のそれぞれの相関度を計算するように構成され、各候補撮像用テンプレートは、前記光学撮像モジュールによって撮像されるべき前記身体部分の候補領域の異なる予測画像を含み、前記光学撮像モジュールは、前記候補撮像用テンプレートの各々に従って、値が前記候補領域内の各サンプル位置での前記身体部分の前記光学特性を示すサンプルを取得し、サンプル値及び各サンプルの前記サンプル位置の表示が前記画像の対応するピクセルのピクセル値及びピクセル位置に配置されるように前記画像の対応するピクセルに取得された前記サンプルを配置することによって前記身体部分の各候補領域の画像を定義する画像データを生成するように動作可能であり、前記光学撮像モジュールは、前記サンプルが取得されることになる候補撮像領域にサンプル位置を決定するようにマッピングを使用するように構成され、
    前記制御モジュールは、計算された相関度に基づいて、複数の前記候補撮像用テンプレートからそれぞれの撮像用テンプレートを選択するように構成され、前記制御モジュールは、選択された前記撮像用テンプレートを用いて画像データを生成するように前記光学撮像モジュールを制御するように構成され、
    前記位置合わせモジュールは、前記基準画像に対して、選択された前記撮像用テンプレートに従って生成されている前記画像データによって定義される前記画像を位置合わせするように構成され、
    前記更新モジュールは、
    前記基準画像に対して位置合わせされている前記画像の前記画像データを含むように前記基準画像を更新し、
    前記基準画像に対して位置合わせされている前記画像の前記画像データを用いて前記記録を更新するように構成される、請求項10に記載の医用撮像装置。
    前記反復のそれぞれにおいて、前記制御モジュール(120)は、前記それぞれの撮像用テンプレートとして、前記記録とのその計算された相関度が前記計算された相関度の最も高いものと前記計算された相関度の最も低いものとの間にあり、好ましくは前記計算された相関度の中央値である前記複数の候補撮像用テンプレートから撮像用テンプレートを選択するように構成される、請求項10に記載の医用撮像装置(300)。
  12. 前記医用撮像装置は、眼の網膜の領域を走査するための網膜スキャナであり、前記光学撮像モジュールは、値が前記領域内のそれぞれの走査位置での前記網膜の前記光学特性を示すサンプルを取得することによって、前記網膜の前記領域の画像を定義する画像データを生成するように動作可能である、請求項1から請求項11の何れか1項に記載の医用撮像装置。
  13. 前記網膜スキャナは、SLO、OCT、スキャナ、及び複合SLO−OCTスキャナのうちの1つを含む、請求項12に記載の医用撮像装置。
  14. 値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルであって、前記身体部分を通して透過された光、若しくは当該透過された光に基づく光の強度、又は前記身体部分の画像化領域から反射された光、若しくは当該反射された光に基づく光の強度を測定することによって取得される前記サンプルを取得し、各サンプルの前記サンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得された前記サンプルを前記画像の対応するピクセルに配置するようにマッピングを用いることによって、前記身体部分の前記領域の画像を定義する画像データを生成するように動作可能である光学撮像モジュールを備える、医用撮像装置のプロセッサによって実行される方法であって、
    前記画像の対応するピクセル位置が、サンプルの第1のシーケンスに対応するピクセルによって位置付けられ、前記光学撮像モジュールが取得するように動作可能であるサンプルの第2のシーケンスに対応する一連のピクセルのアレイの配置よりも前記画像の大きな部分に広がる経路をたどる、サンプルの前記第1のシーケンスを取得することによって前記画像データを生成するように前記光学撮像モジュールを制御し、前記一連のピクセルの隣接するピクセルの間の距離の合計が前記経路の長さに等しいことと、
    前記領域の一部の画像を含む基準画像に対して前記画像を位置合わせすることと、
    を含む方法。
  15. 値が領域内のそれぞれのサンプル位置における身体部分の光学特性を示すサンプルであって、前記身体部分を通して透過された光、若しくは当該透過された光に基づく光の強度、又は前記身体部分の画像化領域から反射された光、若しくは当該反射された光に基づく光の強度を測定することによって取得される前記サンプルを取得し、各サンプルの前記サンプル位置の表示が画像の対応するピクセルのピクセル位置に配置されるように取得された前記サンプルを前記画像の対応するピクセルに配置することによって、前記身体部分の前記領域の画像を定義する画像データを生成するように動作可能である光学撮像モジュールを備える医用撮像装置のプロセッサに、請求項14に記載の方法を実行させる、コンピュータプログラム。
JP2020068564A 2019-04-04 2020-04-06 医用撮像装置 Active JP6943357B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19167393 2019-04-04
EP19167393.8A EP3719748B1 (en) 2019-04-04 2019-04-04 Medical imaging device

Publications (2)

Publication Number Publication Date
JP2020168371A true JP2020168371A (ja) 2020-10-15
JP6943357B2 JP6943357B2 (ja) 2021-09-29

Family

ID=66101849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068564A Active JP6943357B2 (ja) 2019-04-04 2020-04-06 医用撮像装置

Country Status (6)

Country Link
US (1) US11461898B2 (ja)
EP (1) EP3719748B1 (ja)
JP (1) JP6943357B2 (ja)
CN (1) CN111798499B (ja)
DK (1) DK3719748T3 (ja)
ES (1) ES2892477T3 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024054937A1 (en) * 2022-09-08 2024-03-14 Cyberdontics (Usa), Inc. Optical coherence tomography scanning system and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182633A1 (ja) * 2014-05-28 2015-12-03 興和株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017018202A (ja) * 2015-07-08 2017-01-26 キヤノン株式会社 画像生成装置および画像生成方法
JP2017196210A (ja) * 2016-04-28 2017-11-02 株式会社トプコン 眼科撮影装置
US20190059723A1 (en) * 2017-08-30 2019-02-28 Topcon Corporation Ophthalmologic apparatus and method of controlling the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9323065D0 (en) 1993-11-09 1994-01-05 Besca Ltd A wide field retinal scanning ophthalmoscope
EP2209086A1 (en) * 2009-01-15 2010-07-21 Telefonaktiebolaget L M Ericsson (publ) Image processing
US8452064B2 (en) * 2009-12-07 2013-05-28 General Electric Company Apparatus and methods for geometric calibration of positron emission tomography systems
JP5832523B2 (ja) * 2010-04-29 2015-12-16 マサチューセッツ インスティテュート オブ テクノロジー 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
US20130010259A1 (en) * 2011-07-05 2013-01-10 Escalon Digital Vision, Inc. Region based vision tracking system for imaging of the eye for use in optical coherence tomography
GB201217538D0 (en) 2012-10-01 2012-11-14 Optos Plc Improvements in or relating to scanning laser ophthalmoscopes
EP3668369B1 (en) * 2017-08-14 2021-03-31 Optos plc Retinal position tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182633A1 (ja) * 2014-05-28 2015-12-03 興和株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017018202A (ja) * 2015-07-08 2017-01-26 キヤノン株式会社 画像生成装置および画像生成方法
JP2017196210A (ja) * 2016-04-28 2017-11-02 株式会社トプコン 眼科撮影装置
US20190059723A1 (en) * 2017-08-30 2019-02-28 Topcon Corporation Ophthalmologic apparatus and method of controlling the same
JP2019041841A (ja) * 2017-08-30 2019-03-22 株式会社トプコン 眼科装置、及びその制御方法

Also Published As

Publication number Publication date
EP3719748B1 (en) 2021-09-01
EP3719748A1 (en) 2020-10-07
US11461898B2 (en) 2022-10-04
JP6943357B2 (ja) 2021-09-29
DK3719748T3 (da) 2021-10-04
ES2892477T3 (es) 2022-02-04
US20200320707A1 (en) 2020-10-08
CN111798499A (zh) 2020-10-20
CN111798499B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
US11170258B2 (en) Reducing noise in an image
US10937179B2 (en) System and method for 3D scene reconstruction with dual complementary pattern illumination
JP4883517B2 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
US10218955B2 (en) Motion blur compensation
JP5289219B2 (ja) 撮影装置及びその制御方法
US20190133692A1 (en) Systems and methods for obtaining a structured light reconstruction of a 3d surface
US20120002166A1 (en) Ophthalmologic apparatus and ophthalmologic system
EP3186783B1 (en) Automatic restitching of 3-d surfaces
Furukawa et al. Shape acquisition and registration for 3D endoscope based on grid pattern projection
US11779309B2 (en) Method and system for generating a three-dimensional ultrasound image of a tissue volume from two-dimensional ultrasound images
US10939800B2 (en) Examination support device, examination support method, and examination support program
CN113015881A (zh) 使用基于图像的处理进行相位检测和校正
US20170103569A1 (en) Operator interface for 3d surface display using 2d index image
CN114022547A (zh) 一种内窥镜图像检测方法、装置、设备及存储介质
JP6943357B2 (ja) 医用撮像装置
JP7102112B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
US20210005017A1 (en) 3d scanning with automatic selection of scan strategy
WO2020037582A1 (en) Graph-based key frame selection for 3-d scanning
EP4381468A1 (en) Intuitive intraoral scanning
US11003946B2 (en) Examination support device, examination support method, and examination support program
JP2019004956A (ja) 眼科装置、眼科画像処理方法、プログラム、及び記録媒体
JP2019063446A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020537550A (ja) 口腔内表面走査用のステンシル
US10853957B2 (en) Real-time key view extraction for continuous 3D reconstruction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6943357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250