JP2019198475A - 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム - Google Patents

断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム Download PDF

Info

Publication number
JP2019198475A
JP2019198475A JP2018094727A JP2018094727A JP2019198475A JP 2019198475 A JP2019198475 A JP 2019198475A JP 2018094727 A JP2018094727 A JP 2018094727A JP 2018094727 A JP2018094727 A JP 2018094727A JP 2019198475 A JP2019198475 A JP 2019198475A
Authority
JP
Japan
Prior art keywords
eye
tomographic image
image
examined
tomographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018094727A
Other languages
English (en)
Other versions
JP7185255B2 (ja
Inventor
杉山 聡
Satoshi Sugiyama
聡 杉山
祐一郎 仲田
Yuichiro Nakata
祐一郎 仲田
伸頼 青木
Nobuyori Aoki
伸頼 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tomey Corp
Original Assignee
Tomey Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tomey Corp filed Critical Tomey Corp
Priority to JP2018094727A priority Critical patent/JP7185255B2/ja
Priority to US16/411,524 priority patent/US11024416B2/en
Priority to EP19174888.8A priority patent/EP3571980A1/en
Publication of JP2019198475A publication Critical patent/JP2019198475A/ja
Priority to JP2022183346A priority patent/JP7382675B2/ja
Application granted granted Critical
Publication of JP7185255B2 publication Critical patent/JP7185255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】検査者が被検眼の断層画像を用いて被検眼を診断する際に、診断を容易にするための技術を提供する。【解決手段】断層画像処理装置は、被検眼の断層画像を入力する入力部と、演算部と、を備えている。演算部は、正常な状態の眼の断層画像を取得する正常眼画像取得処理と、異常部位を有する眼の断層画像を取得する異常眼画像取得処理と、正常眼画像取得処理及び異常眼画像取得処理によって取得した断層画像から、機械学習によって異常部位の特徴量を抽出する特徴量抽出処理と、入力部に入力された被検眼の断層画像を取得する被検眼画像取得処理と、特徴量抽出処理によって抽出された前記特徴量に基づいて、被検眼画像取得処理によって取得した被検眼の断層画像から異常部位を判別する判別処理と、を実行可能に構成されている。【選択図】図6

Description

本明細書に開示する技術は、被検眼の断層画像を処理する技術に関する。
被検眼の断層画像を撮影する光断層画像撮影装置が開発されている。例えば、特許文献1の光断層画像撮影装置は、光源からの光を被検眼の内部に照射すると共にその反射光を導く測定光学系と、光源からの光を参照面に照射すると共にその反射光を導く参照光学系を備えている。測定の際には、測定光学系により導かれた反射光と参照光学系により導かれた反射光とを合成した干渉光から、被検眼内部の各部位の位置を特定する。そして、特定された被検眼の各部位の位置から被検眼の断層画像を生成する。
特開2017−176842号公報
医師等の検査者が被検眼の状態を診断するために、特許文献1に記載される撮影装置で撮影された被検眼の断層画像が用いられることがある。この場合、検査者は、被検眼の断層画像を観察して被検眼を診断する。しかしながら、撮影装置で撮影される被検眼の断層画像の枚数は膨大であり、検査者が各断層画像の全てを観察して正確に診断することは負担が大きいという問題があった。本明細書は、検査者が被検眼の断層画像を用いて被検眼を診断する際に、診断を容易にするための技術を開示する。
本明細書に開示する第1の断層画像処理装置は、被検眼の断層画像を入力する入力部と、演算部と、を備えている。演算部は、正常な状態の眼の断層画像を取得する正常眼画像取得処理と、異常部位を有する眼の断層画像を取得する異常眼画像取得処理と、正常眼画像取得処理及び異常眼画像取得処理によって取得した断層画像から、機械学習によって異常部位の特徴量を抽出する特徴量抽出処理と、入力部に入力された被検眼の断層画像を取得する被検眼画像取得処理と、特徴量抽出処理によって抽出された前記特徴量に基づいて、被検眼画像取得処理によって取得した被検眼の断層画像から異常部位を判別する判別処理と、を実行可能に構成されている。
上記の断層画像処理装置では、正常眼画像取得処理によって取得した正常眼画像と、異常眼画像取得処理によって取得した異常眼画像を用いることによって、特徴量抽出処理において異常部位の特徴量を抽出することができる。このため、判別処理では、被検眼の断層画像に異常部位が含まれる場合に、異常部位の特徴量に基づいて異常部位があるか否かを判別することができる。これによって、検査者は判別された異常部位に対して診断すればよく、被検眼の断層画像の全てを注意深く観察する必要がなくなる。このため、被検眼の診断をする際の検査者の負担を小さくすることができると共に、膨大な数の断層画像を観察することによる異常部位の見逃しを回避することができる。
また、本明細書に開示する第2の断層画像処理装置は、被検眼の断層画像を入力する入力部と、演算部と、を備えている。演算部は、眼の断層画像と当該断層画像において組織間に引かれた境界線とを備える機械学習用の画像を取得する学習用画像取得処理と、学習用画像取得処理によって取得した機械学習用の画像から、機械学習によって組織間の境界の特徴量を抽出する特徴量抽出処理と、入力部に入力された被検眼の断層画像を取得する被検眼画像取得処理と、特徴量抽出処理によって抽出された特徴量に基づいて、被検眼画像取得処理によって取得した前記被検眼の断層画像における組織間の境界を判別する判別処理と、を実行可能に構成されている。
上記の断層画像処理装置では、断層画像の組織間に境界線を引いた画像を機械学習用の画像として用いることによって、特徴量抽出処理において組織間の境界の特徴量を抽出することができる。このため、判別処理では、被検眼の断層画像における組織間の境界を判別することができる。これによって、被検眼の断層画像の全てについて検査者が組織間の境界を決定する作業を行う必要がなくなる。このため、検査者の作業負担を軽減することができ、被検眼の診断を容易にすることができる。
また、本明細書に開示する眼科装置は、被検眼の断層画像を撮影する撮影部と、撮影部から入力された被検眼の断層画像を処理する上記の第1の断像画像処理装置又は上記の第2の断像画像処理装置と、を備えている。
上記の眼科装置では、撮影部で撮影した被検眼の断層画像が、上記の第1の断像画像処理装置又は上記の第2の断像画像処理装置が備える入力部に入力される。このため、上記の第1の断像画像処理装置又は上記の第2の断像画像処理装置と同様の作用効果を奏することができる。
また、本明細書は、上記の断像画像処理を実現するためのコンピュータプログラムを開示する。
実施例に係る眼科装置の概略構成を示す図。 断層画像処理装置が機械学習により眼の断層画像における異常部位の特徴量を抽出する処理の一例を示すフローチャート。 正常眼の断層画像の一例を示す画像であり、正常な黄斑が撮影された断層画像である。 異常部位を有する眼の断層画像の一例を示す画像であり、黄斑変性が見られる断層画像である。 異常部位を有する眼の断層画像の他の一例を示す画像であり、網膜剥離が見られる断層画像である。 機械学習により抽出した特徴量に基づいて、断層画像処理装置が被検眼の断層画像における異常部位を判別する処理の一例を示すフローチャート。 断層画像処理装置により異常部位と判別された部位を有する断層画像の一例を示す画像であり、(a)は異常部位と判別された部位を有する断層画像であり、(b)は(a)の異常部位と判別された部位にマークを付加した断層画像である。 断層画像処理装置により異常部位と判別された部位を有する断層画像の他の一例を示す画像であり、(a)は異常部位と判別された部位を有する断層画像であり、(b)は(a)の異常部位と判別された部位にオーバーレイ表示を付加した断層画像である。 機械学習により眼の断層画像における組織間の境界の特徴量を抽出する処理の一例を示すフローチャート。 正常眼の断層画像(黄斑が撮影された断層画像)に対して、組織間の境界に境界線を付加した断層画像の一例を示す画像。 正常眼の断層画像(視神経乳頭が撮影された断層画像)に対して、組織間の境界に境界線を付加した断層画像の一例を示す画像。 異常部位を有する断層画像に対して、組織間の境界に境界線を付加した断層画像の一例を示す画像。 機械学習により抽出した特徴量に基づいて、断層画像処理装置が被検眼の断層画像における組織間の境界を判別する処理の一例を示すフローチャート。
以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。
(特徴1)本明細書に開示する第1の断層画像処理装置は、被検眼の画像を表示する表示部をさらに備えていてもよい。表示部は、判別処理によって被検眼の断層画像内に異常部位があると判別された場合において、当該被検眼の断層画像を表示するときに、異常部位と異常ではない部位とを異なる表示態様で表示可能となっていてもよい。このような構成によると、表示部に異常部位があると判別された被検眼の断層画像を表示することで、異常部位を検査者に報知することができる。また、異常部位と異常ではない部位とを異なる表示態様で表示することができるため、検査者は異常部位を認識し易くなる。
(特徴2)本明細書に開示する第1の断層画像処理装置では、断層画像は、被検眼に第1の偏光波を照射することで撮影された第1断層画像と、被検眼に第1の偏光波とは異なる振動方向を有する第2の偏光波を照射することで撮影された第2断層画像と、を含んでいてもよい。演算装置は、被検眼の同一断面における第1断層画像と第2断層画像に基づいてエントロピーを算出するエントロピー算出処理をさらに実行可能に構成されていてもよい。このような構成によると、同一断面に係る2つの断層画像からエントロピー(乱雑さ)を算出することによって、例えば、被検眼の組織の状態等の単一の断層画像では確認し難い状態を視覚化することができ得る。このため、検査者は、被検眼をより正確に診断することができる。
(特徴3)本明細書に開示する第2の断層画像処理装置は、被検眼の画像を表示する表示部をさらに備えていてもよい。表示部は、被検眼の画像を表示すると共に、その画像上に判別された組織間の境界に引かれた境界線を表示してもよい。このような構成によると、表示部は、被検眼の断層画像に組織間の境界線が引かれた状態の画像を表示することができる。このため、検査者は各断層画像において組織間の境界を容易に把握することができる。
(実施例1)
以下、実施例に係る眼科装置100について説明する。図1に示すように、眼科装置100は、断層画像処理装置10と、撮影部40を備えている。撮影部40は、光干渉断層法(Optical Coherence Tomography:OCT)を用いて被検眼の断層画像を撮影する。なお、撮影部40では、光干渉断層法を用いて被検眼の断層画像を撮影できればよく、光干渉断層法の種類は特に限定されない。また、撮影部40は、公知の眼科装置に用いられるものを用いることができるため、その詳細な説明は省略する。
断層画像処理装置10は、演算部12と、入力部30と、表示部32を備えている。演算部12は、例えば、CPU,ROM,RAM等を備えたコンピュータによって構成することができる。コンピュータがプログラムを実行することで、演算部12は、図1に示す特徴量抽出部18、判別部20等として機能する。特徴量抽出部18及び判別部20の処理については、後で詳述する。
また、図1に示すように、演算部12は、学習用画像記憶部14と、被検眼画像記憶部16を備えている。学習用画像記憶部14は、機械学習に用いるための眼の断層画像(以下、単に「機械学習用の断層画像」ともいう)を記憶する。機械学習用の断層画像としては、例えば、正常な状態の眼の断層画像及び異常部位を有する眼の断層画像や、眼の断層画像において組織間の境界に境界線が引かれた状態の眼の断層画像等を挙げることができる。被検眼画像記憶部16は、撮影部40で撮影された被検眼の断層画像を記憶する。
入力部30は、撮影部40で撮影された被検眼の断層画像を入力する。入力された被検眼の断層画像は、被検眼画像記憶部16に出力される。また、入力部30は、機械学習用の断層画像の入力を受け付ける。入力された機械学習用の断層画像は、学習用画像記憶部14に出力される。
表示部32は、被検眼の断層画像を表示する。また、表示部32には、被検眼の断層画像と共に、機械学習によって判別された情報(例えば、異常部位を囲むマークや、組織間の境界を示す境界線等)が付加されて表示される。なお、機械学習によって判別された情報については、後に詳述する。
図2〜図7を参照して、断層画像処理装置10が被検眼の断層画像における異常部位を判別する処理について説明する。断層画像処理装置10が被検眼の断層画像における異常部位を判別する処理は、断層画像処理装置10が機械学習により異常部位の特徴量を抽出する処理(図2参照)と、機械学習により抽出された特徴量に基づいて、断層画像処理装置10が被検眼の断層画像における異常部位を判別する処理(図6参照)によって実行される。
まず、図2〜図5を参照して、断層画像処理装置10が機械学習により眼の断層画像内に存在する異常部位の特徴量を抽出する処理について説明する。図2に示すように、まず、演算部12は、正常な状態の眼(以下、「正常眼」ともいう)の断層画像を取得する(S12)。具体的には、検査者は、入力部30に正常眼の断層画像を入力する。ここで入力される正常眼の断層画像は、1人分の正常眼についての断面の全ての画像(例えば、256枚の断層画像)であってもよいし、複数人分の正常眼の断層画像であってもよい。正常眼の断層画像には、例えば、正常な黄斑が撮影された画像(図3参照)等の特徴的な形態を有する画像が含まれる。入力部30に入力された正常眼の断層画像は、学習用画像記憶部14に記憶される。
次いで、演算部12は、異常部位を有する眼の断層画像を取得する(S14)。具体的には、検査者は、入力部30に異常部位を有する眼の断層画像を入力する。異常部位を有する眼の断層画像とは、例えば、医師等の検査者が異常部位を有すると診断した眼の断層画像である。異常部位としては、既に眼の疾患に罹患している部位だけでなく、未だ疾患に罹患しているとは言えない前駆病変も含まれる。例えば、異常部位を有する眼の断層画像としては、図4に示すような黄斑変性が見られる断層画像や、図5に示すような網膜剥離が見られる断層画像の他に、図7(a)に示すような前駆病変であるドルーゼンが見られる断層画像等が含まれる。検査者は、これらの異常部位を有する眼の断層画像を入力する際には、断層画像と共に、その断層画像内に見られる異常の種類(例えば、黄斑変性や網膜剥離等)を入力してもよい。入力部30に入力された異常部位を有する眼の断層画像は、学習用画像記憶部14に記憶される。
正常眼の断層画像及び異常部位を有する眼の断層画像を取得すると、特徴量抽出部18は、機械学習を用いて異常部位の特徴量を抽出する(S16)。すなわち、特徴量抽出部18は、機械学習によって、入力された正常眼の断層画像及び異常部位を有する眼の断層画像から異常部位の特徴量を抽出する。なお、本実施例の機械学習には、公知の機械学習のアルゴリズムを用いることができるため、その詳細な説明は省略する。抽出された異常部位の特徴量は、演算部12が備えるメモリ(図示省略)に記憶される。
次に、図6及び図7を参照して、機械学習により抽出した特徴量に基づいて、断層画像処理装置10が被検眼の断層画像に異常部位が含まれるか否かを判別する処理について説明する。図6に示すように、まず、演算部12は、被検眼の断層画像を取得する(S22)。具体的には、撮影部40において被検眼の断層画像が撮影され、撮影された断層画像が入力部30に入力される。被検眼の断層画像は、被検眼の各断面の画像であり、例えば、256枚撮影される。入力部30に入力された被検眼の断層画像は、被検眼画像記憶部16に記憶される。
被検眼の断層画像を取得すると、判別部20は、ステップS16で抽出された異常部位の特徴量に基づいて、被検眼の断層画像内に異常部位があるか否かを判別する(S24)。すなわち、入力された被検眼の断層画像の中から1つの断層画像を選択し、その選択した断層画像内に、抽出した特徴量を有する部位があるか否かを判別する。ステップS24において異常部位があると判別した場合(ステップS26でYESの場合)、演算部12は、被検眼の断層画像内の判別された異常部位に対してマークを付加する(S28)。例えば、図7(a)に示すように、判別部20がステップS24において特徴量を有する部位を判別(特定)した場合、図7(b)に示すように、演算部12は、特徴量を有する部位を囲むように丸型のマークを付加する。一方、ステップS24において被検眼の断層画像内に異常部位がないと判別した場合(ステップS26でNOの場合)、ステップS28をスキップする。
次いで、演算部12は、ステップS22で取得した被検眼の断層画像の全て(例えば、本実施例では256枚)について、ステップS24の異常部位の有無の判別を実行したか否かを判定する(S30)。被検眼の断層画像の全てについて異常部位の有無を判別していない場合(ステップS30でNOの場合)、ステップS24に戻り、ステップS24〜ステップS30の処理を繰り返す。これによって、ステップS22で取得した被検眼の断層画像の全てについて、異常部位を有するか否かが判別される。
一方、被検眼の断層画像の全てについて異常部位の有無を判別した場合(ステップS30でYESの場合)、演算部12は、表示部32に被検眼の断層画像を表示させる(S32)。このとき、ステップS28において異常部位に対してマークが付加された断層画像については、例えば、図7(b)に示すように、被検眼の断層画像と共に、ステップS28で付加されたマークを表示する。これによって、検査者に対して、断層画像処理装置10が異常部位と判別した部分を明確に報知することができる。検査者は、異常部位として示された部分を有する画像について診断すればよく、膨大な枚数の断層画像全てを注意深く観察する必要がない。このため、検査者が被検眼の断層画像を用いて被検眼を診断する際に、診断を容易にするすることができる。
なお、本実施例では、特徴量を有すると判別された部位に、その部位を囲む丸型のマークを付加しているが、このような構成に限定されない。特徴量を有する部位がその他の部位と異なる態様で表示されればよく、例えば、特徴量を有する部位を、その他の部位と異なる色で表示してもよい。また、特徴量を有する部位を点滅させてもよいし、特徴量を有する部位をオーバーレイ表示(図8(b)参照)してもよい。
本実施例では、機械学習によって抽出した異常部位の特徴量に基づいて、被検眼の断層画像に異常部位の特徴量を有する部位があるか否かを判別している。したがって、既に疾患に罹患している部位だけでなく、図7に示すような未だ疾患に罹患しているとは言えない小さい前駆病変(ドルーゼン)についても判別することができる。このため、検査者は、注意深く観察しなければ見逃してしまいがちな小さな病変についても早期に発見し易くなる。一方で、機械学習を用いる場合、疾患や病変ではない部分についても、異常部位の特徴量を有すると判別することがある。例えば、図8(a)に示すように、正常な視神経乳頭を示す部位を、陥没している部位として異常部位の特徴量を有すると判別することがある。このような場合であっても、異常部位の特徴量を有する部位として、その部位を検査者に表示(図8(b)ではオーバーレイ表示により表示)することによって、検査者が異常であるか否かを診断できる。すなわち、断層画像処理装置10は、異常部位との疑いがある部位を検査者に報知することができる。これによって、膨大な枚数の断層画像から検査者がより注意深く診断する必要がある部分を絞り込むことができ、検査者の負担を小さくすることができる。
なお、断層画像処理装置10が機械学習により異常部位の特徴量を抽出する処理は、継続的に行われてもよい。異常部位の特徴量を抽出する処理を継続的に行うことによって、当該特徴量の信頼度が高くなり、被検眼の異常部位を判別する処理の精度をより高くすることができる。また、例えば、抽出された特徴量の信頼度が十分に高くなった場合には、断層画像処理装置10は、機械学習により異常部位の特徴量を抽出する処理を停止してもよい。異常部位の特徴量を抽出する処理を継続的に行う場合には、機械学習用の画像として新たな画像を用いてもよいし、被検眼の異常部位を判別する処理によって判別された画像を用いてもよい。機械学習用の画像として被検眼の異常部位を判別する処理によって判別された画像を用いる場合には、検査者による判断結果(診断結果)を考慮して当該画像を用いるとよい。
なお、上述したように、本実施例では、被検眼の断層画像を撮影する撮影部40が採用する光干渉断層法の種類は特に限定されるものではなく、例えば、偏光感受型の光干渉断層法を用いて被検眼の断層画像を撮影してもよい。偏光感受型の光干渉断層法を用いると、被検眼に垂直波を照射することによって撮影される断層画像と、被検眼に水平波を照射することによって撮影される断層画像を同時に取得できる。これら2種類の断層画像を用いることによって、演算部12は、断層画像内のエントロピー、複屈折、血流を示す部位等を算出できる。
例えば、複屈折を示す画像は、以下の方法で取得できる。まず、偏光感受型の光干渉断層法を用いて対称部位(例えば、網膜等)を撮影する。このとき、OCT分解能以下の微細構造によって生じる散乱光が干渉し合うことによって、スペックルが発生する。発生したスペックルの偏光間の信号の位相差を表示する。これによって、複屈折を示す画像が得られる。また、血流を示す画像は、以下の方法で取得できる。まず、偏光感受型の光干渉断層法を用いて対象部位(例えば、網膜等)を複数回撮影する。このとき、OCT分解能以下の微細構造によって生じる散乱光が干渉し合うことによって、スペックルが発生する。発生したスペックルの散乱強度信号又は位相信号の分散を表示する。これによって、血流を示す画像が得られる。
例えば、算出したエントロピーを表示することで、被検眼の組織内の状態(乱雑さ)を確認することができる。また、網膜の各断面について算出したエントロピーをEn Face画像として表示することで、メラニン等の物質が網膜内にどのように分布しているのかを確認することができる。また、複屈折を示す画像を表示することで、網膜内の線維の状態を確認することができ、血流を示す画像を表示することで、網膜内を流れる血流を確認することができる。このような組織内の状態は、被検眼内の組織の位置を単純に撮影した断層画像(以下、「通常の断層画像」ともいう)では把握し難い。被検眼の通常の断層画像と偏光感受型の光干渉断層法を用いた画像(エントロピー、複屈折又は血流を示す画像)との両方を観察することによって、検査者は被検眼をより正確に診断することができる。これによって、検査者は被検眼の複数種類の疾患を早期に発見することができる。
また、断層画像内のエントロピーを示す画像、複屈折を示す画像、血流を示す部位を示す画像を用いる場合、上記と同様の方法で機械学習させ、異常部位と疑われる部位を検査者に表示する。例えば、エントロピーを示す画像を例にして説明すると、断層画像処理装置10は、正常眼のエントロピーを示す画像と異常部位を有する眼のエントロピーを示す画像を用いて、機械学習により異常部位の特徴量を抽出する。そして、抽出された特徴量に基づいて、被検眼のエントロピーを示す画像について異常部位と疑われる部位を判別し、判別した部位に上述したようにマーク等を付加して表示する。複屈折を示す画像及び血流を示す部位を示す画像についても、同様の方法で機械学習により異常部位の特徴量を抽出し、抽出された特徴量に基づいて異常部位と疑われる部位を判別する。これによって、エントロピーを示す画像、複屈折を示す画像、血流を示す部位を示す画像についても、検査者に異常部位と疑われる部位を報知することができる。
なお、検査者による被検眼の診断において、被検眼の通常の断層画像と、エントロピーを示す画像と、複屈折を示す画像と、血流を示す部位を示す画像の組み合わせ方は、特に限定されない。被検眼の通常の断層画像とエントロピーを示す画像の組み合わせの場合、例えば、被検眼の通常の断層画像について、上述の機械学習を用いた方法で異常部位と疑われる部位を検査者に表示し、表示された部位についてエントロピーを示す画像をさらに表示してもよい。すなわち、断層画像処理装置10は、上述した方法で機械学習により異常部位の特徴量を抽出し、抽出された特徴量に基づいて被検眼の通常の断層画像について異常部位と疑われる部位を判別する。そして、検査者は、被検眼の通常の断層画像において判別された部位に対応する部位について、エントロピーを示す画像をさらに確認してもよい。また、エントロピーを示す画像について、上述の機械学習を用いた方法で異常部位と疑われる部位を検査者に表示し、表示された部位についてさらに通常の断層画像(機械学習していないもの)を表示してもよい。また、断層画像処理装置10は、機械学習により抽出した特徴量に基づいて被検眼の通常の断層画像について異常部位と疑われる部位を判別すると共に、機械学習により抽出した特徴量に基づいて被検眼のエントロピーを示す画像について異常部位と疑われる部位を判別してもよい。同様に、複屈折を示す画像と血流を示す部位を示す画像を、被検眼の通常の断層画像やエントロピーを示す画像にどのように組み合わせてもよい。
(実施例2)
上記の実施例1では、機械学習を用いて被検眼の断層画像に異常部位が含まれるか否かを判別していたが、このような構成に限定されない。例えば、機械学習を用いて被検眼の断層画像における組織間の境界を判別してもよい。以下に、図9〜図13を参照して、機械学習を用いて被検眼の断層画像における組織間の境界を判別する処理について説明する。断層画像処理装置10が被検眼の断層画像における組織間の境界を判別する処理は、機械学習により眼の断層画像における組織間の境界の特徴量を抽出する処理(図9参照)と、機械学習により抽出された特徴量に基づいて、断層画像処理装置10が被検眼の断層画像における組織間の境界を判別する処理(図13参照)によって実行される。
まず、図9〜図12を参照して、機械学習により眼の断層画像における組織間の境界の特徴量を抽出する処理について説明する。図9に示すように、まず、検査者は、眼の断層画像に対し、組織間の境界に境界線を付加する(S42)。ここで境界線が付加された断層画像が、機械学習用の断層画像となる。具体的には、検査者は、眼の断層画像を観察して組織間の境界を判断する。そして、検査者は、判断した境界に手動で境界線を付加する。例えば、検査者は、図10及び図11に示すように、正常眼の断層画像において、組織間の境界と判断した部分に境界線を付加する。正常眼の断層画像としては、例えば、黄斑(図10参照)や視神経乳頭(図11参照)のように、特徴的な形態を有する画像も含まれる。また、検査者は、異常部位を有する眼の断層画像においても、組織間の境界と判断した部分に境界線を付加する。例えば、図12に示すように、異常部位を有する眼の断層画像では、組織間の境界が曖昧で判断し難くなっている場合がある。検査者は、組織間の境界を経験的に判断し、判断した境界に手動で境界線を付加する。
次いで、検査者は、ステップS42において組織間の境界に境界線を付加した眼の断層画像を入力部30に入力する(S44)。入力部30に入力された眼の断層画像は、学習用画像記憶部14に記憶される。
組織間の境界に境界線を付加した眼の断層画像が入力されると、断層画像処理装置10の特徴量抽出部18は、機械学習を用いて組織間の境界の特徴量を抽出する(S46)。なお、ステップS46の処理は、実施例1のステップS16の処理と略同一であるため、詳細な説明は省略する。抽出された組織間の境界の特徴量は、演算部12が備えるメモリ(図示省略)に記憶される。
次に、図13を参照して、機械学習により抽出した特徴量に基づいて、断層画像処理装置10が被検眼の断層画像における組織間の境界を判別する処理について説明する。図13に示すように、まず、演算部12は、被検眼の断層画像を取得する(S52)。なお、ステップS52の処理は、実施例1のステップS22の処理と略同一であるため、詳細な説明は省略する。
被検眼の断層画像を取得すると、判別部20は、被検眼の断層画像に対し、ステップS46で抽出した特徴量に基づいて組織間の境界を判別する(S54)。上述したように、被検眼の断層画像に異常部位があると、組織間の境界が判別し難くなっていることがある(図12参照)。また、断層画像の撮影条件等によって、組織間の境界が判別し難くなっていることがある。このように組織間の境界を判別し難い場合であっても、機械学習により特徴量が抽出されているため、判別部20は、組織間の境界を判別することができる。そして、組織間の境界が判別されると、演算部12は、その境界部分に境界線を付加する(S56)。
次いで、演算部12は、被検眼の断層画像の全て(例えば、本実施例では256枚)について、ステップS54の組織間の境界の判別を実行したか否かを判定する(S58)。被検眼の断層画像の全てについて、組織間の境界を判別していない場合(ステップS58でNOの場合)、ステップS54に戻り、ステップS54〜ステップS58の処理を繰り返す。一方、被検眼の断層画像の全てについて、組織間の境界を判別した場合(ステップS58でYESの場合)、演算部12は、表示部32に被検眼の断層画像を表示させる(S60)。このとき、表示部32には、被検眼の断層画像と共に、ステップS56で付加された境界線が表示される。
本実施例では、組織間の境界の特徴量を抽出し、これに基づいて被検眼の断層画像において組織間の境界を判別している。これによって、被検眼の断層画像においても、組織間の境界に図10〜図12に示すような境界線が付加できる。この際、組織間の境界を判別し難い断層画像についても、機械学習により抽出された組織間の境界の特徴量に基づいて組織間の境界に境界線が自動で付加される。このため、被検眼の断層画像の全てについて検査者が組織間の境界を決定する作業を行う必要がなくなり、検査者の作業負担を軽減することができる。
なお、本実施例では、検査者が組織間の境界に境界線を手動で付加した画像を機械学習用の画像として用いたが、このような構成に限定されない。例えば、断層画像処理装置10によって組織間の境界に境界線が付加された断層画像を、機械学習用の画像として用いてもよい。これによって、機械学習用の画像の数を容易に増加させることができる。
以上、本明細書に開示の技術の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。
10:断層画像処理装置
12:演算部
14:学習用画像記憶部
16:被検眼画像記憶部
18:特徴量抽出部
20:判別部
30:入力部
32:表示部
40:撮影部
100:眼科装置

Claims (8)

  1. 被検眼の断層画像を入力する入力部と、
    演算部と、を備えており、
    前記演算部は、
    正常な状態の眼の断層画像を取得する正常眼画像取得処理と、
    異常部位を有する眼の断層画像を取得する異常眼画像取得処理と、
    前記正常眼画像取得処理及び前記異常眼画像取得処理によって取得した断層画像から、機械学習によって前記異常部位の特徴量を抽出する特徴量抽出処理と、
    前記入力部に入力された前記被検眼の断層画像を取得する被検眼画像取得処理と、
    前記特徴量抽出処理によって抽出された前記特徴量に基づいて、前記被検眼画像取得処理によって取得した前記被検眼の断層画像から異常部位を判別する判別処理と、を実行可能に構成されている、断層画像処理装置。
  2. 前記被検眼の画像を表示する表示部をさらに備えており、
    前記表示部は、前記判別処理によって前記被検眼の断層画像内に異常部位があると判別された場合において、当該被検眼の断層画像を表示するときに、異常部位と異常ではない部位とを異なる表示態様で表示可能となっている、請求項1に記載の断像画像処理装置。
  3. 前記断層画像は、前記被検眼に第1の偏光波を照射することで撮影された第1断層画像と、前記被検眼に前記第1の偏光波とは異なる振動方向を有する第2の偏光波を照射することで撮影された第2断層画像と、を含んでおり、
    前記演算装置は、前記被検眼の同一断面における前記第1断層画像と前記第2断層画像に基づいてエントロピーを算出するエントロピー算出処理をさらに実行可能に構成されている、請求項1又は2に記載の断層画像処理装置。
  4. 被検眼の断層画像を入力する入力部と、
    演算部と、を備えており、
    前記演算部は、
    眼の断層画像と当該断層画像において組織間に引かれた境界線とを備える機械学習用の画像を取得する学習用画像取得処理と、
    前記学習用画像取得処理によって取得した前記機械学習用の画像から、機械学習によって組織間の境界の特徴量を抽出する特徴量抽出処理と、
    前記入力部に入力された前記被検眼の断層画像を取得する被検眼画像取得処理と、
    前記特徴量抽出処理によって抽出された前記特徴量に基づいて、前記被検眼画像取得処理によって取得した前記被検眼の断層画像における組織間の境界を判別する判別処理と、を実行可能に構成されている、断層画像撮処理装置。
  5. 前記被検眼の画像を表示する表示部をさらに備えており、
    前記表示部は、前記被検眼の画像を表示すると共に、その画像上に判別された組織間の境界に引かれた境界線を表示する、請求項4に記載の断像画像処理装置。
  6. 被検眼の断層画像を撮影する撮影部と、
    前記撮影部から入力された被検眼の断層画像を処理する請求項1〜5のいずれか一項の断像画像処理装置と、を備えている、眼科装置。
  7. 被検眼の断像画像を処理するためのコンピュータプログラムであって、
    コンピュータを、
    正常な状態の眼の断層画像を取得する正常眼画像取得処理部と、
    異常部位を有する眼の断層画像を取得する異常眼画像取得処理部と、
    前記正常眼画像取得処理及び前記異常眼画像取得処理によって取得した断層画像から、機械学習によって前記異常部位の特徴量を抽出する特徴量抽出処理部と、
    前記光断像画像処理装置が備える入力部に入力された前記被検眼の断層画像を取得する被検眼画像取得処理部と、
    前記特徴量抽出処理によって抽出された前記特徴量に基づいて、前記被検眼画像取得処理によって取得した前記被検眼の断層画像から異常部位を判別する判別処理部、として機能させるコンピュータプログラム。
  8. 被検眼の断像画像を処理するためのコンピュータプログラムであって、
    コンピュータを、
    眼の断層画像と当該断層画像において組織間に引かれた境界線とを備える機械学習用の画像を取得する学習用画像取得処理部と、
    前記学習用画像取得処理によって取得した前記機械学習用の画像から、機械学習によって組織間の境界の特徴量を抽出する特徴量抽出処理部と、
    前記入力部に入力された前記被検眼の断層画像を取得する被検眼画像取得処理部と、
    前記特徴量抽出処理によって抽出された前記特徴量に基づいて、前記被検眼画像取得処理によって取得した前記被検眼の断層画像における組織間の境界を判別する判別処理部、として機能させるコンピュータプログラム。
JP2018094727A 2018-05-16 2018-05-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム Active JP7185255B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018094727A JP7185255B2 (ja) 2018-05-16 2018-05-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
US16/411,524 US11024416B2 (en) 2018-05-16 2019-05-14 Tomographic image processing device, ophthalmic device comprising the same and non-transitory computer-readable recording medium storing computer-readable instructions for tomographic image processing device
EP19174888.8A EP3571980A1 (en) 2018-05-16 2019-05-16 Tomographic image processing device, ophthalmic device comprising the same and non-transitory computer-readable recording medium storing computer-readable instructions for tomographic image processing device
JP2022183346A JP7382675B2 (ja) 2018-05-16 2022-11-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094727A JP7185255B2 (ja) 2018-05-16 2018-05-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022183346A Division JP7382675B2 (ja) 2018-05-16 2022-11-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019198475A true JP2019198475A (ja) 2019-11-21
JP7185255B2 JP7185255B2 (ja) 2022-12-07

Family

ID=66589328

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018094727A Active JP7185255B2 (ja) 2018-05-16 2018-05-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
JP2022183346A Active JP7382675B2 (ja) 2018-05-16 2022-11-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022183346A Active JP7382675B2 (ja) 2018-05-16 2022-11-16 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム

Country Status (3)

Country Link
US (1) US11024416B2 (ja)
EP (1) EP3571980A1 (ja)
JP (2) JP7185255B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229881B2 (ja) 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7417981B2 (ja) * 2019-10-15 2024-01-19 株式会社トーメーコーポレーション 眼科装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JP2005253708A (ja) * 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd 特徴量選択装置、異常陰影判別装置およびプログラム
WO2010044184A1 (ja) * 2008-10-17 2010-04-22 キヤノン株式会社 眼部断層像のための画像処理装置、画像処理方怯
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
US20120184845A1 (en) * 2010-11-11 2012-07-19 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in threedimensional (3d) spectral domain optical coherence tomography (sd-oct) images
JP2016202597A (ja) * 2015-04-23 2016-12-08 株式会社トーメーコーポレーション 偏光情報を利用した光干渉断層計

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877646B2 (en) 2011-10-11 2018-01-30 Carl Zeiss Meditec, Inc. Assessment of retinal disruption
JP6061554B2 (ja) * 2012-01-20 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6086345B2 (ja) 2012-11-29 2017-03-01 国立大学法人大阪大学 眼科装置
US9526412B2 (en) 2014-01-21 2016-12-27 Kabushiki Kaisha Topcon Geographic atrophy identification and measurement
JP6418766B2 (ja) 2014-03-27 2018-11-07 キヤノン株式会社 断層画像処理装置、断層画像処理方法及びプログラム
JP2016002380A (ja) 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置、その作動方法及びプログラム
JP6503665B2 (ja) 2014-09-12 2019-04-24 株式会社ニデック 光コヒーレンストモグラフィー装置及びプログラム
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP3278720B1 (en) 2016-08-05 2019-05-29 Tomey Corporation Optical coherence tomographic device
JP2018068778A (ja) 2016-10-31 2018-05-10 株式会社ニデック 眼科oct解析装置及び眼科解析プログラム
JP6392408B2 (ja) 2017-05-01 2018-09-19 株式会社トプコン 眼科装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284090A (ja) * 1994-04-08 1995-10-27 Olympus Optical Co Ltd 画像分類装置
JP2005253708A (ja) * 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd 特徴量選択装置、異常陰影判別装置およびプログラム
WO2010044184A1 (ja) * 2008-10-17 2010-04-22 キヤノン株式会社 眼部断層像のための画像処理装置、画像処理方怯
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
US20120184845A1 (en) * 2010-11-11 2012-07-19 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in threedimensional (3d) spectral domain optical coherence tomography (sd-oct) images
JP2016202597A (ja) * 2015-04-23 2016-12-08 株式会社トーメーコーポレーション 偏光情報を利用した光干渉断層計

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229881B2 (ja) 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Also Published As

Publication number Publication date
US11024416B2 (en) 2021-06-01
JP2023009236A (ja) 2023-01-19
JP7382675B2 (ja) 2023-11-17
JP7185255B2 (ja) 2022-12-07
EP3571980A1 (en) 2019-11-27
US20190355466A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7039665B2 (ja) 情報処理装置、情報処理装置の作動方法及びプログラム
KR101373935B1 (ko) 안과 장치, 안과 장치의 제어 방법 및 컴퓨터 판독가능 저장 매체
JP5913392B2 (ja) 神経障害解析装置
JP7382675B2 (ja) 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
JP5697733B2 (ja) 3次元光コヒーレンストモグラフィを用いた視神経障害の検出
JP5767014B2 (ja) 眼科観察システム及び画像処理方法
KR20120024847A (ko) 화상처리장치, 그 제어방법 및 기억매체
JP6598466B2 (ja) 断層撮像装置、断層撮像方法、およびプログラム
KR101746763B1 (ko) 망막 또는 맥락막 내 혈관조영 광가간섭 단층촬영 장치 및 이를 이용한 질병 진단방법
JP7043759B2 (ja) 眼科装置、および白内障評価プログラム
JP7199477B2 (ja) 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム
JP2014039884A (ja) 眼科装置、眼科用処理装置、眼科システム、断層像取得方法及びプログラム
JP2018191761A (ja) 情報処理装置、情報処理方法及びプログラム
JP2017023869A (ja) 眼科装置、眼科システム、眼科装置の制御方法およびプログラム
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
JP2019193883A (ja) 眼科装置、眼科システム、眼科装置の制御方法およびプログラム
JP6898969B2 (ja) 眼科情報処理システムおよび眼科情報処理方法
JP2019092920A (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム
WO2019172043A1 (ja) 画像処理装置およびその制御方法
JP2019092921A (ja) 眼科情報処理装置、眼科システム、眼科情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221117

R150 Certificate of patent or registration of utility model

Ref document number: 7185255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150