JP2020162886A - 医療画像処理装置、oct装置、および医療画像処理プログラム - Google Patents

医療画像処理装置、oct装置、および医療画像処理プログラム Download PDF

Info

Publication number
JP2020162886A
JP2020162886A JP2019066537A JP2019066537A JP2020162886A JP 2020162886 A JP2020162886 A JP 2020162886A JP 2019066537 A JP2019066537 A JP 2019066537A JP 2019066537 A JP2019066537 A JP 2019066537A JP 2020162886 A JP2020162886 A JP 2020162886A
Authority
JP
Japan
Prior art keywords
component
amount
misalignment
image processing
partial images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019066537A
Other languages
English (en)
Other versions
JP2020162886A5 (ja
Inventor
佳紀 熊谷
Yoshinori Kumagai
佳紀 熊谷
涼介 柴
Ryosuke Shiba
涼介 柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2019066537A priority Critical patent/JP2020162886A/ja
Priority to US16/833,723 priority patent/US11602276B2/en
Publication of JP2020162886A publication Critical patent/JP2020162886A/ja
Publication of JP2020162886A5 publication Critical patent/JP2020162886A5/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/456Optical coherence tomography [OCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】光をスキャンすることで生成される生体組織の画像の歪みを適切に補正するための医療画像処理装置を提供する。【解決手段】補正対象画像は、生体の組織上で光をスキャンしつつ、組織からの光を時間的に連続して受光することで取得された複数の部分画像が並べられることで生成されている。医療画像処理装置の制御部は、位置ずれ量検出ステップ、成分取得ステップ、および補正ステップを実行する。位置ずれ量検出ステップでは、制御部は、複数の部分画像の間の位置ずれ量を検出する(S3)。成分取得ステップでは、制御部は、組織の動きに起因する位置ずれ量の成分、および組織の形状に起因する位置ずれ量の成分の少なくともいずれかの推定結果を取得する(S4)。補正ステップでは、制御部は、各々の部分画像の位置を位置ずれ量の成分に合わせて補正する(S7)。【選択図】図5

Description

本開示は、光をスキャンすることで生成される生体組織の画像のデータを処理する医療画像処理装置、OCT装置、および、医療画像処理装置において実行される医療画像処理プログラムに関する。
生体の組織上で光をスキャンしつつ、組織からの光を連続して受光することで画像を生成する医療画像撮影装置が知られている。例えば、特許文献1に記載の撮影装置は、光を繰り返しスキャンし、複数のスキャンラインでの組織の二次元画像(部分画像)のデータを形成する。撮影装置は、複数の二次元画像のデータを並べて、組織の三次元画像のデータを生成する。また、光をスキャンして画像を生成する医療画像撮影装置として、例えば、走査型レーザ検眼鏡(SLO)、ローリングシャッター方式の撮影装置等も知られている。
特開2017−64220号公報
光をスキャンして生体組織の画像のデータを生成する場合、光をスキャンしている間に組織が動いてしまい、生成された画像が歪んでしまう場合がある。組織の動きに起因する画像の歪みを補正する方法として、例えば、補正対象の画像全体の生成に要した光のスキャン時間よりも短い時間で、同一の組織における少なくとも一部の画像を補正用画像として撮影し、補正用画像を基準として画像の歪みを補正する方法が考えられる。補正用画像は短い時間で撮影されるので、組織の動きに起因する画像の歪みが生じにくい。従って、補正用画像を基準として用いることで、補正対象の画像の歪みが補正される可能性がある。
しかしながら、上記の方法では、補正対象の画像とは別で補正用画像を撮影する必要がある。従って、例えば、撮影装置の改良、撮影手法の工夫、撮影時間の延長、撮影に要する工数の増加等が必要になる。また、補正対象の画像に関する補正用画像が撮影されていない場合には、画像の補正を事後的に実施することができない。よって、前述した方法では、組織の動きに起因する画像の歪みを適切に補正することは困難であった。
本開示の典型的な目的は、光をスキャンすることで生成される生体組織の画像の歪みを適切に補正するための医療画像処理装置、OCT装置、および医療画像処理プログラムを提供することである。
本開示における典型的な実施形態が提供する医療画像処理装置は、生体組織の画像のデータを処理する医療画像処理装置であって、前記画像は、二次元画像または三次元画像であり、生体の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得された複数の部分画像のデータを並べることで生成され、前記医療画像処理装置の制御部は、前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、検出した前記位置ずれ量から、前記光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、を実行する。
本開示における典型的な実施形態が提供するOCT装置は、参照光と、生体組織に照射された測定光の反射光との干渉光を受光することで、前記組織の画像を撮影するOCT装置であって、前記OCT装置の制御部は、生体の組織上で測定光をスキャンしつつ、前記干渉光を時間的に連続して受光することで、複数の部分画像を取得し、取得した前記複数の部分画像のデータを並べることで二次元または三次元の画像を生成すると共に、前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、検出した前記位置ずれ量から、前記測定光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、を実行する。
本開示における典型的な実施形態が提供する医療画像処理プログラムは、生体組織の画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記画像は、二次元画像または三次元画像であり、生体の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得された複数の部分画像のデータを並べることで生成され、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、検出した前記位置ずれ量から、前記光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、を前記医療画像処理装置に実行させる。
本開示に係る医療画像処理装置、OCT装置、および医療画像処理プログラムによると、光をスキャンすることで生成される生体組織の画像の歪みが適切に補正される。
医療画像生成システム100の概略構成を示すブロック図である。 撮影装置1が生体の組織50の三次元画像を撮影する方法を説明するための説明図である。 複数の部分画像61がY方向に並べられた状態を説明するための説明図である。 歪みが補正されていない三次元の補正対象画像から抽出された、YZ断層画像62の一例を示す図である。 医療画像処理装置40が実行する医療画像処理のフローチャートである。 複数の部分画像61の位置合わせが行われた後、図4と同じ位置から抽出された、YZ断層画像63を示す図である。 複数の部分画像61の位置合わせを行う際の、各々の部分画像61の移動量をプロットしたグラフの一例を示す図である。 図7に示す移動量(位置ずれ量)に近似する関数f(y)を示すグラフである。 図8に示す関数f(y)の原始関数F(y)を示すグラフである。 形状成分に基づいて複数の部分画像61の位置が補正された後、図4および図6と同じ位置から抽出された、YZ断層画像64を示す図である。 図5で例示した医療画像処理の変形例の一例を示すフローチャートである。 二次元の補正対象画像70の歪みを補正する方法の一例を示す図である。
<概要>
本開示で例示する医療画像処理装置は、生体組織の画像のデータを処理する。処理の対象とする画像(つまり、歪みを補正する対象とする補正対象画像)は、二次元画像または三次元画像であり、生体の組織上で光をスキャンしつつ、組織からの光を時間的に連続して受光することで取得された複数の部分画像のデータを並べることで生成される。医療画像処理装置の制御部は、位置ずれ量検出ステップ、成分取得ステップ、および補正ステップを実行する。位置ずれ量検出ステップでは、制御部は、画像を構成する複数の部分画像の間の位置ずれ量を検出する。成分取得ステップでは、制御部は、位置ずれ量検出ステップにおいて検出された位置ずれ量から、光のスキャン中における組織の動きに起因する位置ずれ量の成分(以下、「動き成分」という)と、組織の形状に起因する位置ずれ量の成分(以下、「形状成分」という)の少なくともいずれかの推定結果を取得する。補正ステップでは、制御部は、複数の部分画像の各々の位置を、取得された位置ずれ量の成分に基づいて補正する。
位置ずれ量検出ステップで検出される位置ずれ量には、光のスキャン中における組織の動きに起因する位置ずれ量の成分である動き成分と、実際の組織の形状に起因する位置ずれ量の成分である形状成分が含まれる。従って、制御部は、位置ずれ量の動き成分および形状成分の少なくともいずれかの推定結果を取得し、推定された成分に基づいて複数の部分画像の位置を補正することで、組織の動きに起因する画像の歪みを適切に補正することができる。
本開示に係る技術によると、補正対象画像とは別で、同一の組織の補正用画像を撮影する必要が無い。従って、例えば、撮影手法を工夫する必要、および、撮影時間を増加させる必要等が無い。また、補正用画像が撮影されていない過去の補正対象画像を事後的に補正することも可能である。よって、スキャン中の組織の動きに起因する画像の歪みが適切に補正される。
なお、当然ながら、動き成分と形状成分が互いに相殺されることで、位置ずれ量検出ステップで検出される位置ずれ量の値が「0」となる位置が存在する場合もあり得る。従って、位置ずれ量検出ステップで検出される位置ずれ量の値が「0」である場合に、動き成分と形状成分が共に常に「0」であるとは限らない。
制御部は、成分取得ステップにおいて、位置ずれ量の形状成分の推定結果を取得してもよい。制御部は、補正ステップにおいて、複数の部分画像の間の位置合わせを行った位置合わせ画像を構成する、各々の部分画像の位置を、形状成分に従って補正してもよい。
位置合わせ画像を構成する各々の部分画像では、組織の動きに起因する位置ずれと、組織の形状に起因する位置ずれが、共に解消されている。つまり、位置合わせ画像では、組織の動きに起因する歪みは解消されているものの、組織の形状の情報も失われてしまっている。従って、制御部は、位置合わせ画像を構成する部分画像の位置を、形状成分に従って補正することで、補正対象画像を、歪みが解消され且つ形状の情報を有する画像に適切に補正することができる。
なお、部分画像の位置を形状成分に従って補正するための具体的な方法は、適宜選択できる。まず、位置ずれ量検出ステップにおいて検出される複数の部分画像の間の位置ずれ量は、比較対象の部分画像(例えば、隣接する部分画像等)に対する、各々の部分画像の位置ずれ量であってもよい。比較対象の部分画像とは、1つの部分画像の位置ずれ量を検出するために位置が比較される他の部分画像である。同様に、推定される位置ずれ量の形状成分は、比較対象の部分画像に対する、各々の部分画像の位置ずれ量の形状成分であってもよい。この場合、制御部は、補正ステップにおいて、位置合わせ画像を構成する各々の部分画像の位置を、比較対象の部分画像に対して形状成分だけずれた位置に補正する(形状成分の値が「0」の場合、部分画像の位置を、比較対象に対してずれのない位置とする)。その結果、組織の動きに起因する補正対象画像の歪みが適切に補正される。
また、制御部は、位置ずれ量の形状成分を累積し、累積形状成分を算出してもよい。位置ずれ量の形状成分は、推定される組織の形状の傾きに相当する。従って、算出された累積形状成分は、推定される組織の形状を示す。この場合、制御部は、補正ステップにおいて、位置合わせ画像を構成する各々の部分画像の位置を、位置合わせされた各々の位置から累積形状成分だけずれた位置に補正する(累積形状成分の値が「0」の場合、部分画像の位置は変更されない)。その結果、組織の動きに起因する補正対象画像の歪みが適切に補正される。
制御部は、成分取得ステップにおいて、位置ずれ量の動き成分の推定結果を取得してもよい。制御部は、補正ステップにおいて、補正対象画像を構成する各々の部分画像の位置を、動き成分が解消される位置に補正してもよい。
前述したように、位置ずれ量検出ステップで検出される位置ずれ量には、動き成分と形状成分が含まれる。従って、制御部は、補正対象画像(位置合わせ等の処理が行われていない元の画像)を構成する各々の部分画像の位置を、推定された動き成分が解消される位置に補正することで、組織の動きに起因する補正対象画像の歪みを適切に補正することができる。
なお、部分画像の位置を動き成分に従って補正するための具体的な方法は、適宜選択できる。例えば、制御部は、補正ステップにおいて、補正対象画像を構成する各々の部分画像の位置を、比較対象の部分画像から動き成分の正負を逆にした量だけずれた位置に補正する(動き成分の値が「0」の場合、部分画像の位置を、比較対象に対してずれのない位置とする)。その結果、組織の動きに起因する補正対象画像の歪みが適切に補正される。
また、制御部は、位置ずれ量の動き成分を累積し、累積動き成分を算出してもよい。制御部は、補正ステップにおいて、補正対象画像を構成する各々の部分画像の位置を、累積動き成分の正負を逆にした量だけずれた位置に補正してもよい(累積動き成分の値が「0」の場合、部分画像の位置は変更されない)。その結果、組織の動きに起因する補正対象画像の歪みが適切に補正される。
制御部は、位置ずれ量検出ステップにおいて、複数の部分画像の各々の位置合わせを行う際の、各々の部分画像の移動量に基づいて、複数の部分画像の間の位置ずれ量を検出してもよい。この場合、複数の部分画像の位置合わせを行う処理を利用することで、複数の部分画像の間の位置ずれ量が適切に検出される。なお、制御部は、位置合わせの処理を実際に行わずに仮想的に行うことで、位置ずれ量を検出してもよい。
なお、部分画像の位置合わせにおける移動量に基づいて位置ずれ量を検出するための具体的な方法は、適宜選択できる。例えば、制御部は、複数の部分画像の各々の位置合わせを行う際の、各々の部分画像の移動量を取得し、取得した移動量の正負を逆にした値を、位置ずれ量として検出してもよい。
制御部は、位置ずれ量検出ステップにおいて、各々の部分画像の位置を、他の部分画像(前述した比較対象の部分画像)との間の類似度(例えば相関等)が閾値以上となる位置に合わせる際の、各々の部分画像の移動量に基づいて、複数の部分画像の間の位置ずれ量を検出してもよい。この場合、部分画像間の類似度を利用することで、動き成分と形状成分を含む部分画像間の位置ずれ量が、適切に検出される。
制御部は、位置ずれ量検出ステップにおいて、画像に写り込んだ組織のうち、複数の部分画像の各々に含まれる特定の組織の位置を近づける際の、各々の部分画像の移動量に基づいて、複数の部分画像の間の位置ずれ量を検出してもよい。この場合、各々の部分画像における特定の組織の位置が近付くように、複数の部分画像の位置合わせを(仮想的に)行うことで、動き成分と形状成分を含む部分画像間の位置ずれ量が、適切に検出される。
なお、位置合わせの基準とする特定の組織は、複数の部分画像の各々に共通して含まれる組織であることがより望ましい。例えば、部分画像が断層画像である場合、特定の組織は、断層画像に含まれる特定の層、および特定の境界の少なくともいずれかであってもよい。また、位置合わせの基準とする特定の組織の数は、1つに限定されない。例えば、1番目〜L番目(Lは自然数)の部分画像の位置合わせを、第1の組織を基準として実行すると共に、L−m番目〜N番目(mは自然数、且つN>L)の部分画像の位置合わせを、第2の組織を基準として実行してもよい。この場合、複数の部分画像の全てに共通の組織が含まれていなくても、部分画像間の位置ずれ量が適切に検出される。
制御部は、成分取得ステップにおいて、複数の部分画像の間の位置ずれ量の推移に近似する関数を、位置ずれ量の形状成分の推定結果として取得してもよい。組織の動きに起因した位置ずれが生じている部分画像の位置ずれ量は、動きに起因した位置ずれが生じていない部分画像(つまり、実際の組織の形状に起因する位置ずれのみが生じている部分画像)の位置ずれ量に対して、外れた(離れた)値となり易い。従って、位置ずれ量の推移に近似する関数は、位置ずれ量から動き成分が除去された形状成分の推定結果として適切に利用できる。
なお、位置ずれ量の推移に近似する関数は、予想される実際の組織の形状に応じて適宜選択されてもよい。前述したように、位置ずれ量の形状成分は、推定される組織の形状の傾きに相当する。従って、位置ずれ量の形状成分を累積した累積形状成分は、推定される組織の形状を示す。よって、例えば、実際の組織の形状を二次関数で近似できると予想される場合には、位置ずれ量の推移に近似する関数を一次関数としてもよい。また、実際の組織の形状を三次関数で近似できると予想される場合には、位置ずれ量の推移に近似する関数を二次関数としてもよい。つまり、実際の組織の形状を近似できると予想される関数の導関数が、位置ずれ量の推移に近似する関数として採用されてもよい。
制御部は、成分取得ステップにおいて、複数の部分画像の間の位置ずれ量から、他の位置ずれ量との間の差が閾値以上である値を除去することで、位置ずれ量の形状成分の推定結果を取得してもよい。換言すると、制御部は、複数の部分画像の間の位置ずれ量のうち、他の位置ずれ量との間の差が閾値未満である位置ずれ量を、形状成分の推定結果として取得してもよい。前述したように、組織の動きに起因した位置ずれが生じている部分画像の位置ずれ量は、動きに起因した位置ずれが生じていない部分画像の位置ずれ量に対して、外れた値となり易い。従って、複数の部分画像間の位置ずれ量から、他の位置ずれ量との間の差が閾値以上である値を除去することで、位置ずれ量の形状成分が適切に取得される。
なお、位置ずれ量の差を閾値と比較して形状成分を取得する場合、除去するか否かを判断する対象の位置ずれ量と、比較対象の位置ずれ量(つまり、前述した「他の位置ずれ量」)との関係は、適宜選択できる。例えば、比較対象の位置ずれ量は、部分画像が並べられる方向に沿って判断対象の位置ずれ量に隣接する位置ずれ量であってもよい。つまり、制御部は、判断対象の位置ずれ量と、この位置ずれ量に隣接する位置ずれ量との差が閾値以上である場合に、判断対象の位置ずれ量を除外してもよい。また、比較対象の位置ずれ量は、判断対象の位置ずれ量の近傍における複数の位置ずれ量であってもよい。つまり、制御部は、判断対象の位置ずれ量の近傍における複数の位置ずれ量の平均値と、判断対象の位置ずれ量との差が閾値以上である場合に、判断対象の位置ずれ量を除外してもよい。
制御部は、成分取得ステップにおいて、差が閾値以上である値が位置ずれ量から除去されることで取得された位置ずれ量に対し、除去された値を補間する補間処理を実行してもよい。この場合、形状成分にブランクが無い状態で補正対象画像が補正されるので、画像の補正の精度がさらに向上する。
なお、位置ずれ量の形状成分の推定結果を取得する方法を変更することも可能である。例えば、制御部は、位置ずれ量検出ステップにおいて取得された位置ずれ量に対し、外れ値を除外する処理を行うことで、形状成分の推定結果を取得してもよい。この場合、制御部は、例えば中央値フィルタ等を用いて外れ値を除外する処理を行ってもよい。
制御部は、成分取得ステップにおいて、複数の部分画像の間の位置ずれ量の推移に近似する関数を取得し、取得した関数の値に対する位置ずれ量の差を、位置ずれ量の動き成分の推定結果として取得してもよい。この場合、位置ずれ量に含まれる動き成分が、関数を利用することで適切に取得される。なお、関数の具体的な取得方法(例えば、予想される実際の組織の形状に応じて関数を選択する方法等)には、前述した方法と同様の方法を採用してもよい。
なお、位置ずれ量の動き成分の推定結果を取得する方法を変更することも可能である。例えば、制御部は、各種方法(例えば、閾値を利用する方法、または中央値フィルタを使用する方法等)を用いて形状成分を取得し、取得した形状成分に対する位置ずれ量の差を、位置ずれ量の動き成分の推定結果として取得してもよい。
制御部は、累積形状成分取得ステップを実行してもよい。累積形状成分取得ステップでは、制御部は、成分取得ステップにおいて取得された形状成分を累積することで、推定される組織の形状を示す累積形状成分を取得する。前述したように、位置ずれ量の形状成分は、推定される組織の形状の傾きに相当する。従って、形状成分を累積した累積形状成分は、組織の推定形状を示す情報として適切に利用できる。例えば、前述したように、累積形状成分は、補正ステップにおいて利用されてもよい。また、医師が組織の診断を行う場合等に、累積形状成分が利用されてもよい。
なお、形状成分を累積する方法は適宜選択できる。例えば、制御部は、位置ずれ量の推移に近似する関数を、形状成分の推定結果として取得した場合、取得した関数を積分して原始関数を求めることで、累積形状成分を取得してもよい。この場合、制御部は、算出処理量が増大することを抑制しつつ、適切に累積形状成分を取得することができる。また、制御部は、複数の位置ずれ量を順に累積していくことで、累積形状成分を取得してもよい。
制御部は、成分記憶ステップと事後補正ステップをさらに実行してもよい。成分記憶ステップでは、制御部は、形状成分および累積形状成分の少なくともいずれかを記憶装置に記憶させる。事後補正ステップでは、制御部は、記憶装置に記憶された成分のうち、補正する画像と撮影対象が同一の画像に関する成分に基づいて、複数の部分画像の各々の位置を補正する。この場合、同一の撮影対象について画像が複数回撮影された場合に、制御部は、成分取得ステップを実行せずに、記憶された成分を用いて事後補正ステップを実行できる。従って、簡易な処理で適切に画像を補正することができる。例えば、同一の組織の画像を定期的に撮影して、組織の経過観察を行う場合等に有用である。また、補正対象画像の位置ずれの成分を取得することが困難な場合(例えば、撮影中に常に組織が動いてしまった場合等)であっても、記憶装置に成分が記憶されていれば、補正対象画像の補正が適切に行われる。
部分画像は、光の光軸に沿うZ方向と、Z方向に垂直なX方向に広がる二次元画像であってもよい。補正対象画像は、Z方向およびX方向に共に交差するY方向に複数の部分画像を並べることで生成された三次元画像であってもよい。一般的に、光のスキャンに要する時間は、三次元画像の撮影の方が二次元画像の撮影に比べて長くなり易い。光のスキャンに要する時間が長くなる程、組織の動きに起因する画像の歪みが生じやすくなる。しかし、本開示に係る技術によると、組織の動きに起因して三次元画像が歪んでいる場合でも、歪みの影響が適切に抑制される。
なお、三次元の補正対象画像を撮影(生成)する撮影装置には、種々の装置を使用することができる。例えば、光コヒーレンストモグラフィの原理を利用して組織の断層画像を撮影するOCT装置を使用することができる。OCT装置による撮影方法には、例えば、光(測定光)のスポットを二次元状に走査させて三次元断層画像を取得する方法、または、一次元方向に延びる光を走査させて三次元断層画像を取得する方法(所謂ラインフィールドOCT)等を採用できる。また、MRI(磁気共鳴画像診断)装置、またはCT(コンピュータ断層撮影)装置等が使用されてもよい。
また、補正対象画像は二次元画像であってもよい。この場合、補正対象画像を撮影する撮影装置には、例えば、二次元断層画像を撮影するOCT装置、二次元正面画像を撮影する走査型レーザ検眼鏡(SLO)、ローリングシャッター方式の撮影装置等を使用できる。また、撮影装置は、組織によって反射された光の反射光を受光することで画像データを生成してもよいし、光が照射された組織から発せられる光(例えば蛍光等)を受光することで画像データを生成してもよい。
<実施形態>
以下、本開示に係る典型的な実施形態の1つについて説明する。本実施形態では、OCT装置によって撮影された、被検眼Eの眼底組織の画像を補正対象画像とする場合について例示する。しかし、補正対象画像は、眼底組織以外の組織の画像であってもよい。例えば、補正対象画像は、被検眼Eの眼底以外の組織(例えば前眼部等)の画像であってもよいし、被検眼E以外の生体組織(例えば、皮膚、消化器、または脳等)の画像であってもよい。また、前述したように、補正対象画像を撮影する撮影装置はOCT装置に限定されない。
図1を参照して、本実施形態の医療画像取得システム100の概略構成について説明する。本実施形態の医療画像取得システム100は、撮影装置1と医療画像処理装置40を備える。撮影装置1は、生体の組織上で光をスキャンしつつ、組織からの光を時間的に連続して受光することで、複数の部分画像を取得(撮影)する。本実施形態では、部分画像は二次元断層画像である。複数の部分画像が並べられることで、補正対象画像が生成される。本実施形態では、補正対象画像は三次元断層画像である。医療画像処理装置40は、撮影装置1によって取得された画像のデータの処理(例えば、補正対象画像の歪みを補正する処理等)を実行する。
本実施形態の撮影装置1の構成について説明する。撮影装置(OCT装置)1は、OCT部10と制御ユニット30を備える。OCT部10は、OCT光源11、カップラー(光分割器)12、測定光学系13、参照光学系20、および受光素子22を備える。
OCT光源11は、画像データを取得するための光(OCT光)を出射する。カップラー12は、OCT光源11から出射されたOCT光を、測定光と参照光に分割する。また、本実施形態のカップラー12は、組織(本実施形態では患者眼Eの眼底)によって反射された測定光と、参照光学系20によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー12は、OCT光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子(例えば、サーキュレータ、ビームスプリッタ等)が使用されてもよい。
測定光学系13は、カップラー12によって分割された測定光を被検体に導くと共に、組織によって反射された測定光をカップラー12に戻す。測定光学系13は、走査部(スキャナ)14、照射光学系16、およびフォーカス調整部17を備える。走査部14は、駆動部15によって駆動されることで、測定光の光軸に交差する二次元方向に測定光をスキャン(走査)させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な2つのガルバノミラーが、走査部14として用いられている。しかし、光を偏向させる別のデバイス(例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか)が走査部14として用いられてもよい。照射光学系16は、走査部14よりも光路の下流側(つまり被検体側)に設けられており、測定光を組織に照射する。フォーカス調整部17は、照射光学系16が備える光学部材(例えばレンズ)を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。
参照光学系20は、参照光を生成してカップラー12に戻す。本実施形態の参照光学系20は、カップラー12によって分割された参照光を反射光学系(例えば、参照ミラー)によって反射させることで、参照光を生成する。しかし、参照光学系20の構成も変更できる。例えば、参照光学系20は、カップラー12から入射した光を反射させずに透過させて、カップラー12に戻してもよい。参照光学系20は、測定光と参照光の光路長差を変更する光路長差調整部21を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系13の光路中に設けられていてもよい。
受光素子22は、カップラー12によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインOCTの原理が採用されている。フーリエドメインOCTでは、干渉光のスペクトル強度(スペクトル干渉信号)が受光素子22によって検出され、スペクトル強度データに対するフーリエ変換によって複素OCT信号が取得される。フーリエドメインOCTの一例として、Spectral−domain−OCT(SD−OCT)、Swept−source−OCT(SS−OCT)等を採用できる。また、例えば、Time−domain−OCT(TD−OCT)等を採用することも可能である。
また、本実施形態では、測定光のスポットが、走査部14によって二次元の領域内で走査されることで、三次元画像のデータが取得される。しかし、三次元画像のデータを取得する原理を変更することも可能である。例えば、ラインフィールドOCT(以下、「LF−OCT」という)の原理によって三次元画像のデータが取得されてもよい。LF−OCTでは、組織において一次元方向に延びる照射ライン上に測定光が同時に照射され、測定光の反射光と参照光の干渉光が、一次元受光素子(例えばラインセンサ)または二次元受光素子によって受光される。二次元の測定領域内において、照射ラインに交差する方向に測定光が走査されることで、三次元OCTデータが取得される。
制御ユニット30は、撮影装置1の各種制御を司る。制御ユニット30は、CPU31、RAM32、ROM33、および不揮発性メモリ(NVM)34を備える。CPU31は各種制御を行うコントローラである。RAM32は各種情報を一時的に記憶する。ROM33には、CPU31が実行するプログラム、および各種初期値等が記憶されている。NVM34は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。
制御ユニット30には、モニタ37および操作部38が接続されている。モニタ37は、各種画像を表示する表示部の一例である。操作部38は、ユーザが各種操作指示を撮影装置1に入力するために、ユーザによって操作される。操作部38には、例えば、マウス、キーボード、タッチパネル、フットスイッチ等の種々のデバイスを用いることができる。なお、マイクに音が入力されることで各種操作指示が撮影装置1に入力されてもよい。
医療画像処理装置40の概略構成について説明する。本実施形態では、医療画像処理装置40としてパーソナルコンピュータ(以下「PC」という)が用いられている。しかし、PC以外のデバイスが医療画像処理装置として用いられてもよい。例えば、撮影装置1自身が、補正対象画像の歪みの補正処理等を行う医療画像処理装置として機能してもよい。医療画像処理装置40は、CPU41、RAM42、ROM43、およびNVM44を備える。後述する医療画像処理(図5および図11参照)を実行するための医療画像処理プログラムは、NVM44に記憶されていてもよい。また、医療画像処理装置40には、モニタ47および操作部48が接続されている。モニタ47は、各種画像を表示する表示部の一例である。操作部48は、ユーザが各種操作指示を医療画像処理装置40に入力するために、ユーザによって操作される。操作部48には、撮影装置1の操作部38と同様に、マウス、キーボード、タッチパネル等の種々のデバイスを用いることができる。また、マイク46に音が入力されることで、各種操作指示が医療画像処理装置40に入力されてもよい。
医療画像処理装置40は、撮影装置1から各種データ(例えば、撮影装置1によって撮影された画像のデータ等)を取得することができる。各種データは、例えば、有線通信、無線通信、および着脱可能な記憶装置(例えばUSBメモリ)等の少なくともいずれかによって取得されればよい。
図2から図4を参照して、本実施形態の医療画像処理装置40が歪みを補正する補正対象画像の撮影方法、および、補正対象画像の構成の一例について説明する。図2に示すように、本実施形態の撮影装置1は、生体の組織50(図2に示す例では、眼底組織)における二次元の領域51内で、光(測定光)をスキャンする。詳細には、本実施形態の撮影装置1は、領域51内の所定の方向に延びるスキャンライン52上で光をスキャンすることで、光の光軸に沿うZ方向と、Z方向に垂直なX方向に広がる二次元画像を、部分画像61(図3参照)として取得(撮影)する。図2に示す例では、Z方向は二次元の領域51に対して垂直な方向(深さ方向)となり、X方向はスキャンライン52が延びる方向となる。次いで、撮影装置1は、スキャンライン52の位置を領域51内でY方向に移動させて、部分画像61の取得を繰り返す。Y方向は、Z方向およびX方向に共に交差(本実施形態では垂直に交差)する方向となる。その結果、複数のスキャンライン52の各々を通過し、且つ組織の深さ方向に広がる複数の部分画像61(二次元断層画像)が取得される。次いで、図3に示すように、複数の部分画像61がY方向に並べられることで、領域51における三次元断層画像である補正対象画像が生成される。
ここで、光をスキャンしている間に組織50が動いてしまい、生成された補正対象画像が歪んでしまう場合がある。特に、本実施形態では、1つのスキャンライン52上で光をスキャンする時間に比べて、スキャンライン52をY方向に移動させる時間が長くなってしまう。従って、複数の部分画像61の間に、組織50の動きに起因する位置ずれが生じやすい。複数の部分画像61の間に位置ずれが生じると、補正対象画像60が歪んでしまう。
図4は、組織50の動きに起因する歪みが補正されていない三次元の補正対象画像から抽出された、Y方向とZ方向に広がる二次元の断層画像(以下、「YZ断層画像」という)62の一例を示す図である。図4に示す例では、スキャンライン52をY方向に移動させる間に組織50が動いてしまった結果、複数の部分画像61(図3参照)の間に、特にZ方向の位置ずれが顕著に生じてしまっている。その結果、図4に示すYZ断層画像62では、組織50の層が歪んでしまっている。以下説明する医療画像処理では、組織50の動きに起因する補正対象画像の歪みが適切に補正される。
図5から図10を参照して、本実施形態における医療画像処理について説明する。なお、本実施形態では、PCである医療画像処理装置40が撮影装置1から補正対象画像のデータを取得し、取得した補正対象画像を補正する。しかし、前述したように、他のデバイスが医療画像処理装置として機能してもよい。例えば、撮影装置(本実施形態ではOCT装置)1自身が医療画像処理を実行してもよい。また、複数の制御部(例えば、撮影装置1のCPU31と、医療画像処理装置40のCPU41)が協働して医療画像処理を実行してもよい。本実施形態では、医療画像処理装置40のCPU41は、NVM44に記憶された医療画像処理プログラムに従って、図5に示す医療画像処理を実行する。
まず、CPU41は、補正対象画像のデータを取得する(S1)。例えば、ユーザは、操作部38または操作部48(図1参照)を操作し、複数の画像の中から歪みを補正したい画像を選択する。CPU41は、ユーザによって選択された画像のデータを、補正対象画像のデータとして取得する。また、CPU41は、補正対象画像中に中心座標を設定する。中心座標の位置は適宜設定できるが、組織が写っている可能性が高い部位(例えば画像の中心)に中心座標を設定するのがより望ましい。
次いで、CPU41は、S1で取得した補正対象画像に関する位置ずれ量の形状成分、および、形状成分を累積した累積形状成分の情報の少なくともいずれかが、記憶装置(例えばNVM44等)に記憶されているか否かを判断する(S2)。詳細は後述するが、CPU41は、部分画像61の位置ずれ量の形状成分または累積形状成分に基づいて、補正対象画像の歪みを補正する。補正対象画像と撮影対象が同一の画像について、形状成分または累積形状成分が既に記憶されている場合には(S2:YES)、形状成分および累積形状成分を取得する処理(S3〜S5)が省略されて、処理はそのままS7(詳細は後述する)へ移行する。その結果、簡易な処理で適切に補正対象画像の歪みが補正される。例えば、同一の組織50の画像を定期的に撮影して経過観察を行う場合等に有用である。また、補正対象画像の位置ずれ量の成分を取得することが困難な場合であっても、形状成分および累積形状成分の少なくともいずれかが記憶装置に記憶されていれば、補正対象画像の補正が適切に行われる。補正対象画像に関する形状成分および累積形状成分がいずれも記憶されていない場合(S2:NO)、CPU41は、形状成分および累積形状成分を取得する処理を実行する(S3〜S5)。
まず、CPU41は、補正対象画像を構成する複数の部分画像61の間の位置ずれ量を検出する(S3)。複数の部分画像61の各々に含まれる組織50の位置は、組織50の実際の形状に応じてずれる。例えば、組織50の実際の形状がY方向に傾いている場合、複数の部分画像61はY方向に並べられているので、複数の部分画像61の各々に含まれる組織50の位置も、組織50の実際の形状に応じて徐々にずれていく。また、光のスキャン中に組織50が動いた結果、複数の部分画像61の各々に含まれる組織50の位置がずれる場合もある。S3の処理で検出される複数の部分画像61間の位置ずれ量には、組織50の実際の形状に起因する位置ずれ量の成分(以下、「形状成分」という)と、光のスキャン中における組織50の動きに起因する位置ずれ量の成分(以下、「動き成分」という)が、共に含まれる。
本実施形態では、CPU41は、複数の部分画像61の各々に含まれる組織50の位置が近付くように、複数の部分画像61の位置合わせを行う際の、各々の部分画像61の移動量に基づいて、複数の部分画像61の間の位置ずれ量を検出する(S3)。詳細には、本実施形態のCPU41は、複数の部分画像61の位置合わせを行う際の、各々の部分画像61の比較対象画像(本実施形態では隣接する部分画像61)に対する移動量を取得し、取得した移動量の正と負を逆にした値を、複数の部分画像61の間の位置ずれ量として検出する。
図6は、図4と同一の補正対象画像について、複数の部分画像61の各々の位置合わせが実際に行われた後、図4と同一の位置から抽出された、YZ断層画像63を示す。一例として、本実施形態における位置合わせは、y=y0の部分画像61(つまり、中心座標を通る部分画像61)を基準として行われる。複数の部分画像61の各々に含まれる組織50の位置合わせを行うことで、組織50の動きに起因する歪みが軽減される。その結果、図6に示すYZ断層画像63に写っている組織50の形状は、図4に示すYZ断層画像62に写っている組織50の形状よりも滑らかになっている。しかし、複数の部分画像61の各々に含まれる組織50の位置合わせを行うことで、組織50の実際の形状の情報も失われる。その結果、図6に示すYZ断層画像63では、図4に示すYZ断層画像62に比べて、組織50の形状が実際の形状よりも平らに近づいている。
CPU41は、S3で複数の部分画像61の位置合わせを行う際に、複数の部分画像61の間の類似度(例えば相関等)を利用することができる。詳細には、CPU41は、各々の部分画像61の位置を、比較対象とする他の部分画像61(例えば、隣接する部分画像61等)との間の類似度が閾値以上となる位置(本実施形態では、類似度が最大となる位置)に合わせる。その結果、図6に示すように、組織50の動きに起因する部分画像61の位置ずれと、組織50の実際の形状に起因する部分画像61の位置ずれが、共にキャンセルされる。よって、形状成分と動き成分を含む位置ずれ量が、位置合わせを行う際の移動量に基づいて適切に検出される。
また、CPU41は、S3において、複数の部分画像61の各々に含まれる複数の組織のうち、特定の組織の位置が近付くように、各々の部分画像61の位置合わせを行うことも可能である。この場合、位置合わせの基準とする特定の組織は、複数の部分画像61の各々に共通して含まれる組織であることがより望ましい。例えば、図3に示すように、部分画像61が二次元の断層画像である場合には、特定の組織は、断層画像に含まれる特定の層、および特定の境界の少なくともいずれかであってもよい。また、位置合わせの基準とする特定の組織の数は、1つに限定されない。つまり、各々の部分画像61に共通して含まれる複数の組織が、位置合わせの基準として用いられてもよい。また、CPU41は、例えば、1番目〜L番目(Lは自然数)の部分画像61の位置合わせを、第1の組織を基準として実行すると共に、L−m番目〜N番目(mは自然数、且つN>L)の部分画像の位置合わせを、第2の組織を基準として実行してもよい。この場合、複数の部分画像61の全てに共通して含まれる組織が存在しない場合でも、複数の部分画像61の位置合わせが適切に行われる。
なお、本実施形態のS3では、CPU41は、各々の部分画像61の位置を、隣接する部分画像61に対して合わせることで、複数の部分画像61の位置合わせが行われる。しかし、各々の部分画像61の位置合わせを行う際に比較対象とする他の部分画像61は、隣接する部分画像61に限定されない。例えば、CPU41は、各々の部分画像61の位置合わせを、光がスキャンされた時刻が近い部分画像61を比較対象として実行してもよい。
また、図6では、複数の部分画像61の位置合わせを実際に行った画像(以下、「位置合わせ画像」という)のYZ断層画像63の一例を示している。しかし、CPU41は、複数の部分画像61の位置合わせを実際に行わずに仮想的に行うことで、位置ずれ量を検出してもよい。
また、本実施形態のS3では、各々の部分画像61をZ方向に平行移動させることで、複数の部分画像61の位置合わせが行われる。しかし、S3における位置合わせの処理で各々の部分画像61を移動させる方向は、Z方向に限定されない。例えば、CPU41は、各々の部分画像61をZ方向とX方向に共に移動させてもよい。また、CPU41は、各々の部分画像61の回転移動を行ってもよい。また、CPU41は、各々の部分画像61に対し、歪み補正、拡大、および縮小等の少なくともいずれかの変形処理を実行してもよい。CPU41は、移動および変形等の処理に、アフィン変換等の手法を利用してもよい。
図7は、複数の部分画像61の各々に含まれる組織50の位置が近付くように、複数の部分画像61の位置合わせを行う際の、各々の部分画像61の比較対象画像に対する移動量をプロットしたグラフである。図7における横軸はY方向を示し、縦軸は比較対象画像に対する各々の部分画像61の移動量を示す。複数の部分画像61の位置合わせを行う際の、比較対象画像に対する各々の部分画像61の移動量(詳細には、移動量の正と負を逆にした値)は、補正対象画像における複数の部分画像61の間の位置ずれ量(つまり、比較対象画像に対する各々の部分画像16の位置ずれ量)に相当する。前述したように、複数の部分画像61の位置合わせを行うと、組織50の形状が実際の形状よりも平らに近づく。従って、図7に例示する部分画像61の位置ずれ量(移動量)から、組織50の動きに起因する位置ずれ量の成分(動き成分)を除去した値(つまり、形状成分)は、組織50の形状の傾きに相当する。ここで、動き成分を含む部分画像61の位置ずれ量は、動き成分を含まない部分画像61の位置ずれ量(つまり、実際の組織50の形状のみに起因する位置ずれ量)に対して、外れた(離れた)値となり易い。
図5の説明に戻る。CPU41は、S3で検出した位置ずれ量(図7参照)から、形状成分の推定結果を取得する(S4)。詳細には、本実施形態のCPU41は、複数の部分画像61の間の位置ずれ量の推移(図7参照)に近似する関数を、位置ずれ量の形状成分の推定結果として取得する。図8は、図7に示す位置ずれ量(移動量)に近似する関数f(y)を示すグラフである。前述したように、動き成分を含む位置ずれ量は、動き成分を含まない位置ずれ量に対して、外れた値となり易い。従って、位置ずれ量の推移に近似する関数を取得することで、外れた値が除外されるので、位置ずれ量の形状成分の推定結果が適切に取得される。
次いで、CPU41は、S4で取得された位置ずれ量の形状成分を累積することで、累積形状成分を取得する(S5)。詳細には、本実施形態のCPU41は、位置ずれ量の推移に近似する関数f(y)(図8参照)を積分して原始関数F(y)(図9参照)を求めることで、累積形状成分を取得する。前述したように、位置ずれ量の形状成分の推定結果を示す関数f(y)(図8参照)は、組織の推定形状の傾きを表す。従って、関数f(y)を積分して累積することで得られる原始関数F(y)(つまり、累積形状成分)は、組織の推定形状を示す。
ここで、本実施形態では、位置ずれ量の推移に近似する導関数f(y)(図8参照)、および、累積形状成分として取得される原始関数F(y)(図9参照)は、予想される実際の組織50の形状に応じて選択される。詳細には、本実施形態では、補正対象画像に写る眼底の組織50の断面形状が、二次関数で近似できると予想される。従って、本実施形態では、原始関数F(y)を二次関数とするために、位置ずれ量の推移に近似する導関数f(y)が一次関数に設定される。ただし、導関数f(y)は一次関数に限定されないし、原始関数F(y)も二次関数に限定されない。例えば、組織50の形状を三次関数で近似できると予想される場合には、導関数f(y)を二次関数としてもよい。つまり、実際の組織50の形状を近似できると予想される関数の導関数が、位置ずれ量の推移に近似する関数として採用されてもよい。
また、本実施形態では、補正対象画像に写る眼底の組織50の断面形状が、二次関数で近似できると予め予想された結果、導関数f(y)が一次関数に設定されている。しかし、組織50の形状に応じて導関数f(y)が適宜変更されてもよい。例えば、複数の部分画像61が並べられるY方向に光がスキャンされることで、二次元のYZ断層画像が取得され、取得されたYZ断層画像に写る組織50の形状に基づいて、導関数f(y)および原始関数F(y)が適宜設定されてもよい。この場合、組織50の形状に応じて適切に関数が設定される。また、補正対象画像に含まれる少なくともいずれかの部分画像(本実施形態ではXZ断層画像)に写る組織50の形状に基づいて、導関数f(y)および原始関数F(y)が設定されてもよい。
図5の説明に戻る。CPU41は、複数の部分画像61の各々の位置を、位置ずれ量の形状成分に基づいて補正する(S7)。詳細には、本実施形態では、CPU41は、複数の部分画像61の位置合わせを行った位置合わせ画像(本実施形態では、図6に示すYZ断層画像63が抽出された三次元画像)を構成する、複数の部分画像61の位置を、位置合わせされた各々の位置から累積形状成分(図9参照)だけずれた位置に補正する。
図10は、図4および図6と同一の補正対象画像について、複数の部分画像61の位置が形状成分に基づいて補正された後、図4および図6と同一の位置から抽出された、YZ断層画像64を示す。図10に示すように、複数の部分画像61の位置が形状成分に基づいて補正されることで、実際の組織50の形状に近い形状が維持された状態で、組織50の動きに起因する画像の歪みが適切に補正される。なお、CPU41は、S7で部分画像61の位置を補正した補正対象画像に対し、隣接する複数の部分画像61間のずれを平滑化する処理を行ってもよい。この場合、補正された画像がより滑らかになる。
なお、S7において、複数の部分画像61の各々の位置を、累積形状成分でなく形状成分を用いて補正することも可能である。この場合、CPU41は、位置合わせ画像を構成する各々の部分画像61の位置を、比較対象画像に対して形状成分だけずれた位置に補正する。その結果、図10に示す例と同様に、組織50の動きに起因する補正対象画像の歪みが適切に補正される。なお、形状成分を用いて部分画像61の位置を補正する場合、S5の処理を省略することも可能である。また、記憶装置に記憶された形状成分または累積形状成分を用いて補正が行われる場合等には(S2:YES,S7)、位置合わせ画像は、S3でなくS7で生成されてもよい。
次いで、CPU41は、S4で取得された形状成分、および、S5で取得された累積形状成分の少なくともいずれかを、撮影対象に対応付けて記憶装置(例えばNVM44等)に記憶させる(S8)。記憶されたパラメータは、以後に、撮影対象が同一の画像の補正を実行する際に利用することができる。
次いで、CPU41は、S7で歪みが補正された画像に対し、解析処理、検出処理、および、任意の断層画像を切り出す処理等の少なくともいずれかを実行する(S9)。処理対象となる画像の歪みは適切に補正されているので、解析等の各種処理の精度が確保される。なお、解析処理には、例えば、特定の層の厚みの分布を解析する処理等、種々の処理を採用できる。また、検出処理にも、例えば、組織50における特定の層または特定の境界を検出する処理等、種々の処理を採用できる。また、任意の画像を切り出す場合、切り出される画像は二次元画像でもよいし、三次元画像でもよい。
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。図11は、図5で例示した医療画像処理の変形例の一例を示すフローチャートである。図11に示す処理の一部には、図5で例示した医療画像処理と同様の処理を採用することができる。従って、図11に示す処理のうち、図5で例示した処理と同様に実行できる処理については、図5に付したステップ番号と同じ番号を付し、その説明を省略または簡略化する。
図11に示す医療画像処理の変形例では、CPU41は、位置ずれ量の動き成分に基づいて、補正対象画像を構成する各々の部分画像61の位置を補正する。まず、CPU41は、補正対象画像のデータを取得し(S1)、複数の部分画像61の間の位置ずれ量を検出する(S3)。次いで、CPU41は、S3で検出した位置ずれ量から、組織50の動きに起因する動き成分の推定結果を取得する(S14)。詳細には、CPU41は、S3で検出した位置ずれ量の推移に近似する関数(例えば、図8参照)を取得する。CPU41は、取得した関数の値に対する位置ずれ量の差を、位置ずれ量の動き成分の推定結果として取得する。その結果、位置ずれ量の動き成分が、関数を利用することで適切に取得される。S14で取得される動き成分は、比較対象画像に対する各々の部分画像61の、組織50の動きに起因する位置ずれ量となる。
ただし、S14で動き成分の推定結果を取得する方法を変更することも可能である。例えば、CPU41は、各種方法(例えば、後述する閾値を利用する方法、または中央値フィルタを利用する方法等)を用いて形状成分を取得し、取得した形状成分に対する位置ずれ量の差を、位置ずれ量の動き成分として取得してもよい。
次いで、CPU41は、S14で取得した動き成分を累積して、累積動き成分を取得する(S15)。累積動き成分は、比較対象画像でなく原点を基準とした、各々の部分画像61の位置ずれ量を示す。
次いで、CPU41は、複数の部分画像61の各々の位置を、S14で検出された動き成分が解消される位置に補正する(S16)。詳細には、CPU41は、補正対象画像(位置合わせ等の処理が行われていない元の画像)を構成する各々の部分画像61の位置を、比較対象画像から動き成分の正と負を逆にした量だけずれた位置に補正する。その結果、推定された動き成分が解消されて、補正対象画像の歪みが適切に補正される。
なお、S16において、複数の部分画像61の各々の位置を、動き成分でなく累積動き成分を用いて補正することも可能である。この場合、CPU41は、補正対象画像を構成する各々の部分画像61の位置を、累積動き成分の正と負を逆にした量だけずれた位置に補正する。その結果、推定された動き成分が解消される。なお、動き成分を用いて部分画像61の位置を補正する場合、S15の処理を省略することも可能である。
上記実施形態に他の変更を加えることも可能である。例えば、上記実施形態のS4(図5参照)では、CPU41は、複数の部分画像61の間の位置ずれ量の推移に近似する関数f(y)を取得することで、位置ずれ量の形状成分の推定結果を取得する。しかし、位置ずれ量の形状成分の推定結果する方法を変更することも可能である。例えば、CPU41は、複数の部分画像61の間の位置ずれ量から、他の位置ずれ量との間の差が閾値以上である値を除去することで、形状成分の推定結果を取得してもよい。
この場合、除去するか否かを判断する対象の位置ずれ量と、比較対象の位置ずれ量との関係は、適宜選択できる。例えば、比較対象の位置ずれ量は、部分画像61が並べられる方向(上記実施形態ではY方向)に沿って判断対象の位置ずれ量に隣接する位置ずれ量であってもよい。また、比較対象の位置ずれ量は、判断対象の位置ずれ量の近傍における複数の位置ずれ量であってもよい。
また、位置ずれ量の差を閾値と比較して、差が閾値以上である位置ずれ量を除去して形状成分を取得する場合、CPU41は、取得した形状成分に対し、除去された値を補間する補間処理を実行してもよい。この場合、ブランク(空の値)が無い形状成分に基づいて補正対象画像が補正されるので、補正の精度が向上する。
また、CPU41は、S3で検出された位置ずれ量に対し、外れ値を除外する処理を行うことで、位置ずれ量の形状成分の推定結果を取得してもよい。この場合、例えば中央値フィルタ等が用いられることで、外れ値を除外する処理が行われてもよい。
また、上記実施形態では、複数の二次元の部分画像61の位置ずれ量から、曲線である導関数f(y)が形状成分として取得され、取得された導関数f(y)から、曲線である原始関数F(y)が累積形状成分として取得される。しかし、部分画像61を補正する基準として使用可能な累積形状成分の情報は、曲線でなく曲面を示す情報であってもよい。例えば、三次元の補正対象画像の歪みを補正する場合に、複数の一次元の部分画像(例えば、光の光軸に沿うZ方向に延びる一次元の部分画像)の位置ずれ量に基づいて、曲面を示す累積形状成分が取得されてもよい。
また、上記実施形態では、補正対象画像は三次元画像である。しかし、二次元画像を補正対象画像としてもよい。図12は、二次元の補正対象画像70の歪みを補正する方法の一例を示す図である。図12に示す例では、補正対象画像70は、X方向に光がスキャンされることで撮影された、二次元のXZ断層画像である。二次元の補正対象画像70においても、光のスキャン中に組織が動いてしまうと、図12に示すように、画像に歪みが生じる場合がある。図12に示す補正対象画像70は、複数の部分画像をX方向に並べることで生成される。部分画像は、Z方向に延びる一次元画像(例えば、OCT測定光の光軸方向に延びる一次元画像(所謂Aスキャン画像))であってもよいし、二次元画像であってもよい。CPU41は、X方向に並べられた複数の部分画像の間の位置ずれ量を検出し(S3)、形状成分および動き成分の少なくともいずれかを取得する(S4,S14)。その後、CPU41は、取得した成分に基づいて、複数の部分画像の位置を補正する(S7,S16)。その結果、組織の動きに起因する二次元画像の歪みが適切に補正される。なお、二次元の補正対象は、断層画像でなく、光の光軸に交差する方向に広がる二次元正面画像であってもよい。
なお、図5および図11のS3で位置ずれ量を検出する処理は、「位置ずれ量検出ステップ」の一例である。図5のS4、および図11のS14、形状成分および動き成分の少なくともいずれかの推定結果を取得する処理は、「成分取得ステップ」の一例である。図5のS7図11のS16で複数の部分画像61の位置を補正する処理は、「補正ステップ」の一例である。図5のS5で累積形状成分を取得する処理は、「累積形状成分取得ステップ」の一例である。図5のS8で形状成分および累積形状成分の少なくともいずれかを記憶装置に記憶させる処理は、「成分記憶ステップ」の一例である。図5のS2:YES、S7で複数の部分画像の位置を補正する処理は、「事後補正ステップ」の一例である。
1 撮影装置
14 走査部
22 受光素子
40 医療画像処理装置
41 CPU
44 NVM
50 組織
61 部分画像
100 医療画像生成システム

Claims (15)

  1. 生体組織の画像のデータを処理する医療画像処理装置であって、
    前記画像は、
    二次元画像または三次元画像であり、生体の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得された複数の部分画像のデータを並べることで生成され、
    前記医療画像処理装置の制御部は、
    前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、
    検出した前記位置ずれ量から、前記光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、
    前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、
    を実行することを特徴とする医療画像処理装置。
  2. 請求項1に記載の医療画像処理装置であって、
    前記制御部は、
    前記成分取得ステップにおいて、前記位置ずれ量の前記形状成分の推定結果を取得し、
    前記補正ステップにおいて、前記複数の部分画像の間の位置合わせを行った位置合わせ画像を構成する、各々の前記部分画像の位置を、前記形状成分に従って補正することを特徴とする医療画像処理装置。
  3. 請求項1に記載の医療画像処理装置であって、
    前記制御部は、
    前記成分取得ステップにおいて、前記位置ずれ量の前記動き成分の推定結果を取得し、
    前記補正ステップにおいて、前記画像を構成する各々の前記部分画像の位置を、前記動き成分が解消される位置に補正することを特徴とする医療画像処理装置。
  4. 請求項1から3のいずれかに記載の医療画像処理装置であって、
    前記制御部は、前記位置ずれ量検出ステップにおいて、
    前記複数の部分画像の各々の位置合わせを行う際の、各々の前記部分画像の移動量に基づいて、前記複数の部分画像の間の位置ずれ量を検出することを特徴とする医療画像処理装置。
  5. 請求項4に記載の医療画像処理装置であって、
    前記制御部は、前記位置ずれ量検出ステップにおいて、
    各々の前記部分画像の位置を、他の前記部分画像との間の類似度が閾値以上となる位置に合わせる際の、各々の前記部分画像の移動量に基づいて、前記複数の部分画像の間の位置ずれ量を検出することを特徴とする医療画像処理装置。
  6. 請求項4に記載の医療画像処理装置であって、
    前記制御部は、前記位置ずれ量検出ステップにおいて、
    前記画像に写り込んだ前記組織のうち、複数の前記部分画像の各々に含まれる特定の組織の位置を前記位置合わせによって近づける際の、各々の前記部分画像の移動量に基づいて、前記複数の部分画像の間の位置ずれ量を検出することを特徴とする医療画像処理装置。
  7. 請求項1から6のいずれかに記載の医療画像処理装置であって、
    前記制御部は、前記成分取得ステップにおいて、
    前記複数の部分画像の間の前記位置ずれ量の推移に近似する関数を、前記位置ずれ量の前記形状成分の推定結果として取得することを特徴とする医療画像処理装置。
  8. 請求項1から6のいずれかに記載の医療画像処理措置であって、
    前記制御部は、前記成分取得ステップにおいて、
    前記複数の部分画像の間の前記位置ずれ量から、他の位置ずれ量との間の差が閾値以上である値を除去することで、前記位置ずれ量の前記形状成分の推定結果を取得することを特徴とする医療画像処理装置。
  9. 請求項8に記載の医療画像処理装置であって、
    前記制御部は、前記成分取得ステップにおいて、
    前記差が前記閾値以上である値が前記位置ずれ量から除去されることで取得された前記形状成分に対し、除去された値を補間する補間処理を実行することを特徴とする医療画像処理装置。
  10. 請求項1から9のいずれかに記載の医療画像処理装置であって、
    前記制御部は、前記成分取得ステップにおいて、
    前記複数の部分画像の間の前記位置ずれ量の推移に近似する関数を取得し、取得した前記関数の値に対する前記位置ずれ量の差を、前記位置ずれ量の前記動き成分の推定結果として取得することを特徴とする医療画像処理装置。
  11. 請求項1から10のいずれかに記載の医療画像処理装置であって、
    前記制御部は、
    前記成分取得ステップにおいて取得された前記形状成分を累積することで、推定される前記組織の形状を示す累積形状成分を取得する累積形状成分取得ステップを実行することを特徴とする医療画像処理装置。
  12. 請求項1から11のいずれかに記載の医療画像処理装置であって、
    前記制御部は、
    前記成分取得ステップにおいて取得された前記形状成分、および、前記形状成分を累積した累積形状成分の少なくともいずれかを記憶装置に記憶させる成分記憶ステップと、
    前記記憶装置に記憶された成分のうち、補正する画像と撮影対象が同一の画像に関する成分に基づいて、前記複数の部分画像の各々の位置を補正する事後補正ステップと、
    をさらに実行することを特徴とする医療画像処理装置。
  13. 請求項1から12のいずれかに記載の医療画像処理装置であって、
    前記画像は、前記光の光軸に沿うZ方向と、Z方向に垂直なX方向に広がる複数の二次元の前記部分画像を、前記Z方向および前記X方向に交差するY方向に並べることで生成された三次元画像であることを特徴とする医療画像処理装置。
  14. 参照光と、生体組織に照射された測定光の反射光との干渉光を受光することで、前記組織の画像を撮影するOCT装置であって、
    前記OCT装置の制御部は、
    生体の組織上で測定光をスキャンしつつ、前記干渉光を時間的に連続して受光することで、複数の部分画像を取得し、取得した前記複数の部分画像のデータを並べることで二次元または三次元の画像を生成すると共に、
    前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、
    検出した前記位置ずれ量から、前記測定光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、
    前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、
    を実行することを特徴とするOCT装置。
  15. 生体組織の画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
    前記画像は、
    二次元画像または三次元画像であり、生体の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得された複数の部分画像のデータを並べることで生成され、
    前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
    前記画像を構成する前記複数の部分画像の間の位置ずれ量を検出する位置ずれ量検出ステップと、
    検出した前記位置ずれ量から、前記光のスキャン中における前記組織の動きに起因する位置ずれ量の成分である動き成分と、前記組織の形状に起因する位置ずれ量の成分である形状成分の少なくともいずれかの推定結果を取得する成分取得ステップと、
    前記複数の部分画像の各々の位置を、取得された前記位置ずれ量の成分に基づいて補正する補正ステップと、
    を前記医療画像処理装置に実行させることを特徴とする医療画像処理プログラム。

JP2019066537A 2019-03-29 2019-03-29 医療画像処理装置、oct装置、および医療画像処理プログラム Pending JP2020162886A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019066537A JP2020162886A (ja) 2019-03-29 2019-03-29 医療画像処理装置、oct装置、および医療画像処理プログラム
US16/833,723 US11602276B2 (en) 2019-03-29 2020-03-30 Medical image processing device, oct device, and non-transitory computer-readable storage medium storing computer-readable instructions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019066537A JP2020162886A (ja) 2019-03-29 2019-03-29 医療画像処理装置、oct装置、および医療画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020162886A true JP2020162886A (ja) 2020-10-08
JP2020162886A5 JP2020162886A5 (ja) 2022-03-07

Family

ID=72607122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019066537A Pending JP2020162886A (ja) 2019-03-29 2019-03-29 医療画像処理装置、oct装置、および医療画像処理プログラム

Country Status (2)

Country Link
US (1) US11602276B2 (ja)
JP (1) JP2020162886A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120657A (ja) * 2009-12-08 2011-06-23 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012235835A (ja) * 2011-05-10 2012-12-06 Canon Inc 画像処理装置及び方法
JP2013525035A (ja) * 2010-04-29 2013-06-20 マサチューセッツ インスティテュート オブ テクノロジー 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
JP2017064220A (ja) * 2015-09-30 2017-04-06 株式会社ニデック 光断層像撮影装置
JP2019004956A (ja) * 2017-06-21 2019-01-17 株式会社トプコン 眼科装置、眼科画像処理方法、プログラム、及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805009B2 (en) * 2005-04-06 2010-09-28 Carl Zeiss Meditec, Inc. Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
JP4850495B2 (ja) * 2005-10-12 2012-01-11 株式会社トプコン 眼底観察装置及び眼底観察プログラム
JP5199031B2 (ja) * 2008-11-05 2013-05-15 株式会社ニデック 眼科撮影装置
JP4466968B2 (ja) * 2008-11-10 2010-05-26 キヤノン株式会社 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
DE102009041996A1 (de) * 2009-09-18 2011-03-24 Carl Zeiss Meditec Ag Ophthalmologisches Biometrie- oder Bilderzeugungssystem und Verfahren zur Erfassung und Auswertung von Messdaten
JP6039156B2 (ja) * 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9101294B2 (en) * 2012-01-19 2015-08-11 Carl Zeiss Meditec, Inc. Systems and methods for enhanced accuracy in OCT imaging of the cornea
EP2633802B1 (en) * 2012-02-29 2021-08-11 Nidek Co., Ltd. Method for taking a tomographic image of an eye
JP6025349B2 (ja) * 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
JP7027076B2 (ja) * 2017-09-07 2022-03-01 キヤノン株式会社 画像処理装置、位置合わせ方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120657A (ja) * 2009-12-08 2011-06-23 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2013525035A (ja) * 2010-04-29 2013-06-20 マサチューセッツ インスティテュート オブ テクノロジー 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
JP2012235835A (ja) * 2011-05-10 2012-12-06 Canon Inc 画像処理装置及び方法
JP2017064220A (ja) * 2015-09-30 2017-04-06 株式会社ニデック 光断層像撮影装置
JP2019004956A (ja) * 2017-06-21 2019-01-17 株式会社トプコン 眼科装置、眼科画像処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
US20200305719A1 (en) 2020-10-01
US11602276B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
US10278584B2 (en) Method and system for three-dimensional imaging
JP5685013B2 (ja) 光断層撮像装置及びその制御方法、プログラム
EP2420181B1 (en) Eyeground observation device
EP2352124B1 (en) Image processing apparatus and image processing method
JP5289219B2 (ja) 撮影装置及びその制御方法
US20130010259A1 (en) Region based vision tracking system for imaging of the eye for use in optical coherence tomography
JP6703730B2 (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP6746884B2 (ja) 眼科撮影装置及び眼科撮影プログラム
US9295382B2 (en) Ophthalmic apparatus, control method of ophthalmic apparatus and storage medium
JP6471593B2 (ja) Oct信号処理装置、およびoct信号処理プログラム
JP2017046975A (ja) 眼科撮影装置及び眼科撮影プログラム
JP2020163100A (ja) 画像処理装置および画像処理方法
US10588508B2 (en) Ophthalmic apparatus
JP2020162886A (ja) 医療画像処理装置、oct装置、および医療画像処理プログラム
JP2020022723A (ja) Oct装置及びoct画像処理プログラム
JP2019128180A (ja) 光断層画像撮影装置
JP7410481B2 (ja) 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
JP5669885B2 (ja) 画像処理装置及び画像処理方法
US10242467B2 (en) Optical tomography apparatus
US20210304427A1 (en) Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
US11849996B2 (en) Method of processing optical coherence tomography (OCT) data, method of OCT imaging, and OCT data processing apparatus
WO2023162586A1 (ja) 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
WO2021246291A1 (ja) Octデータ処理装置およびoctデータ処理プログラム
JP2023048318A (ja) 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体
JP2021119910A (ja) 眼科システム、眼科システムの作動方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231124

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240202