JP2021001917A - 画像取得装置および画像処理方法 - Google Patents

画像取得装置および画像処理方法 Download PDF

Info

Publication number
JP2021001917A
JP2021001917A JP2019113881A JP2019113881A JP2021001917A JP 2021001917 A JP2021001917 A JP 2021001917A JP 2019113881 A JP2019113881 A JP 2019113881A JP 2019113881 A JP2019113881 A JP 2019113881A JP 2021001917 A JP2021001917 A JP 2021001917A
Authority
JP
Japan
Prior art keywords
subject
image
speckle
pixel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019113881A
Other languages
English (en)
Other versions
JP7071650B2 (ja
Inventor
忠明 宮田
Tadaaki Miyata
忠明 宮田
近藤 秀樹
Hideki Kondo
秀樹 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nichia Chemical Industries Ltd
Original Assignee
Nichia Chemical Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nichia Chemical Industries Ltd filed Critical Nichia Chemical Industries Ltd
Priority to JP2019113881A priority Critical patent/JP7071650B2/ja
Priority to US16/902,522 priority patent/US11593946B2/en
Publication of JP2021001917A publication Critical patent/JP2021001917A/ja
Application granted granted Critical
Publication of JP7071650B2 publication Critical patent/JP7071650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0205Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0263Diffusing elements; Afocal elements characterised by the diffusing properties with positional variation of the diffusing properties, e.g. gradient or patterned diffuser
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278Diffusing elements; Afocal elements characterized by the use used in transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

【課題】被写体の表面における状態または性質が異なる領域を、より簡単に識別するための新しい画像取得装置および画像処理方法を提供する。【解決手段】本開示の画像取得装置(1000)は、被写体(500)の少なくとも一部の領域(52B)が吸収または反射する波長域に含まれるピーク波長を有するレーザ光を出射するレーザ光源(10)と、被写体を撮像する撮像装置(200)と、撮像装置が取得する画像に含まれるスペックルパターンを時間的に変化させるスペックル可変装置(12)と、画像処理装置(32)とを備え、画像処理装置は、各画素における強度信号の時間変化を測定し、強度信号の時間変化の波形に基づいて、被写体の被撮像領域を複数の部分に分類する。【選択図】図4

Description

本開示は、スペックル可変装置を備える画像取得装置、および、スペックルパターンに基づいて被写体の領域を分類する画像処理方法に関する。
レーザ光源から出射されたレーザ光はコヒーレント光であるため、高い干渉性を有している。レーザ光が粗面などの散乱媒体によって散乱されると、散乱光にはランダムな位相分布が付与され、不規則な干渉が生じる。その結果、「スペックル」と呼ばれるコントラストの高い斑点の模様が観察される。
レーザ光源をプロジェクタのような表示装置の光源として使用したり、照明光源として使用したりする場合、スペックルは、除去または抑制されるべきノイズである。
一方、散乱媒体である血球を有する生体組織にレーザ光を照射し、その生体組織から得られるスペックルに基づいて、血球の移動速度(血流速度)を測定するレーザスペックルコントラストイメージング(LSCI)技術が開発されている。LSCI技術におけるスペックルは、ノイズではなく、血流速度の検出に必要な「信号」として利用される。
特開2014−32371号公報は、レーザ光をスクリーンで散乱させたとき、所望のスペックルコントラストを有するスペックルノイズを発生させるスペックルコントラスト発生器を開示している。
特開2014−32371号公報
レーザ光で照射される物体(被写体)から画像情報を取得するとき、被写体の表面における状態または性質が異なる領域を、より簡単に識別するための新しい画像取得装置および画像処理方法が求められている。
本開示の画像取得装置は、例示的な実施形態において、被写体を照明する照明光を出射する照明光源と、前記被写体の少なくとも一部の領域が吸収または反射する波長域に含まれるピーク波長を有するレーザ光を出射するレーザ光源と、前記被写体を撮像する撮像装置と、前記撮像装置が取得する画像に含まれるスペックルパターンを時間的に変化させるスペックル可変装置と、前記撮像装置によって取得される画像を処理する画像処理装置とを備える。前記画像処理装置は、前記画像を構成する各画素における強度信号の時間変化を測定し、前記強度信号の時間変化の波形に基づいて、前記被写体の被撮像領域を複数の部分に分類する。
本開示の画像処理方法は、例示的な実施形態において、被写体の少なくとも一部の領域が吸収または反射する波長域に含まれるピーク波長を有するレーザ光で前記被写体を照射する工程と、前記被写体を撮像する工程と、前記撮像装置が取得する画像に含まれるスペックルパターンに基づいて、前記被写体の被撮像領域を複数の領域に分割する工程とを含む。
本開示の実施形態によれば、スペックルパターンを時間的に変化させることにより、被写体の被撮像領域を複数の部分に分類することが可能な画像取得装置および画像処理方法が提供される。
図1は、レーザ光源10から出射されたレーザ光Lが被写体50の表面55によって反射される様子を模式的に示す図である。 図2は、表面55上において近接する2つの点O1、O2の像が撮像面22S上に形成される様子を模式的に示す図である。 図3は、撮像面22S上に形成され得るスペックルパターンの一例を示す図である。 図4は、本開示の実施形態における光源装置100を備える画像取得装置1000の構成例を模式的に示す図である。 図5は、人の血液に含まれるヘモグロビンの吸光係数の波長依存性を示すグラフである。 図6は、白色光で照らされている被写体500の画像と、レーザ光源10およびスペックル可変装置12によって形成されたスペックルパターンとが重畳した画像の例を模式的に示す図である。 図7は、図6の画像における異なる3種類の領域52A、52B、52Cの位置を示す図である。 図8は、スペックル可変装置12の基本的な構成例を示すブロック図である。 図9Aは、本開示の実施形態における拡散素子120の模式的な断面図である。 図9Bは、拡散素子120の模式的な平面図である。 図10は、被写体500に対する光源装置100および撮像装置200の相対的な配置関係を示し、それらの位置を変化させる移動装置128を模式的に示す図である。 図11は、本開示の実施形態におけるレーザダイオード10Bおよび駆動回路10Aを模式的に示す図である。 図12は、駆動回路10Aがレーザダイオード10Bに供給する電流波形の変調の例を模式的に示す図である。 図13Aは、撮像素子22の撮像面22Sにおける画素220の配列の一部と、幾つかの画素220から得られる信号を示す図である。 図13Bは、撮像素子22の撮像面22Sにおける画素220の他の配列の一部と、幾つかの画素220から得られる信号を示す図である。 図14は、撮像面22Sにおける画素220の配列の一部と画素ブロックの範囲の例を模式的に示す図である。 図15Aは、撮像面22Sの画素(i,j)から出力される信号の例を示す模式図である。 図15Bは、撮像面22Sの画素(i,j)から出力される信号の例を示す模式図である。 図16Aは、スペックル可変装置12の働きによってスペックルパターンが変化している場合において、画素(i,j)から出力される信号の例を示す模式図である。 図16Bは、スペックル可変装置12の働きによってスペックルパターンが変化している場合において、画素(i,j)から出力される信号の例を示す模式図である。 図17は、白色光およびレーザ光を光ファイバなどの光導波路に結合することのできる光源装置の構成例を模式的に示す図である。 図18は、内視鏡を有する画像取得装置の構成例を示す図である。 図19は、内視鏡を有する画像取得装置の他の構成例を示す図である。
本開示の実施形態を説明する前に、本発明者等が見出した知見およびその技術背景を説明する。
まず、図1および図2を参照して、コヒーレント光によるスペックルの発生原理を説明する。図1は、レーザ光源10から出射されたレーザ光Lが被写体50の表面55によって反射される様子を模式的に示す図である。レーザ光Lは、可干渉性(コヒーレンス)が高い。本開示におけるレーザ光Lの波長は、例えば可視光の範囲にある。可視光の範囲は、例えば380nmから750nmまでの範囲である。被写体50の典型例は、生体組織である。生体組織のような被写体50の表面55、および/または、表面55から内部側に位置する表層領域には、レーザ光Lの波長程度の微視的な構造が不規則に存在している。被写体50の表面55に入射したレーザ光Lの一部は、表面55によって拡散反射される。このとき、表面55から被写体50の表層領域に侵入したレーザ光Lの一部は、被写体50の表層領域で吸収されるか、多重散乱によって再び表面55から入射側の空間に戻ってくる。被写体50が生体組織である場合、表面55それ自体が平滑な粘膜で覆われていたとしても、細胞または細胞内微小粒子などによってレーザ光Lの散乱が発生し得る。以下、被写体50の表面55および表層領域をあわせて「散乱部」と称する場合がある。散乱部で散乱され、入射側の空間に戻ってきたレーザ光Lを「散乱光」と呼ぶことにする。散乱光には、表面55の微細な凹凸および多重散乱などによって空間的にランダムな位相分布が付加されるが、可干渉性は失われていない。
撮像装置200は、レンズを含む撮像光学系20と、イメージセンサなどの撮像素子22とを備えている。レーザ光Lが被写体50の表面55に入射して発生した散乱光の一部は、撮像装置200の撮像光学系20によって集められ、撮像素子22の撮像面(観測面)22S上に収束する。撮像面22Sでは、撮像光学系20の働きによって被写体50の結像が生じる。撮像面22S上の各位置に収束する光線の束は、表面55上の対応する位置およびその近傍で散乱された光波の重ね合わせである。より詳細には、表面55上の各点から出た光線の束が結像によって撮像面上に収束するとき、各点の撮像面上における像は、回折限界および収差などによって定まる「点拡がり分布」を有する。
図2は、表面55上において近接する2つの点O1、O2の像が撮像面22S上に形成される様子を模式的に示す図である。点O1、O2のそれぞれが撮像面22S上に形成する2つの像は、相互に部分的に重なり合う点拡がり分布P1、P2を有している。点拡がり分布P1、P2のそれぞれの大きさは、撮像光学系20の開口数NAおよびレーザ光Lの波長λによって決まる。2つの点拡がり分布P1、P2が重なり合うということは、点拡がりをもたらす光線の起点、すなわち点O1、O2が、撮像光学系20の解像限界以下の距離内にあることを意味する。解像限界の長さをdとする。このような解像限界dを直径とする領域を「解像領域」と称する場合がある。解像領域のひとつが、図2の表面55上における円(直径:d)によって模式的に表されている。
撮像面22S上の2つの点拡がり分布P1、P2が重なり合う領域では、被写体50の解像領域内からの散乱光が干渉して、位相差に応じた明暗の模様が形成される。このような明暗模様は、表面55の凹凸、および、被写体50の散乱部における多重散乱のランダム性に依存するため、統計量によって評価され得る不規則なスペックルパターンを形成する。
図3は、撮像面22S上に形成され得るスペックルパターンの一例を示す図である。図3では、細かい粒状の明暗模様が観察される。明るい部分では光強度が相対的に高く、暗い部分では光強度が相対的に低い。スペックルの最小寸法は、撮像光学系20の開口数NAおよびレーザ光Lの波長λによって決まる点拡がり分布の大きさ程度である。
散乱光の干渉は3次元空間内で生じる。このため、スペックルパターンを規定する「光強度振幅」の分布は、本来、3次元の位置座標に依存する。このような3次元空間内に客観的に存在するスペックルパターンは、「客観的スペックル(objective speckle)」または「非結像系スペックル」と呼ばれる。一方、撮像装置200によって観測されるスペックルパターンは、撮像光学系20の位置、向き、および開口数NAなどに依存し、「主観的スペックル(subjective speckle)」または「結像系スペックル」と呼ばれる。撮像装置200によって実際に観測されるスペックルは、撮像素子22の撮像面22S上におけるスペックルの「強度」の分布である。以下、本開示における「スペックルパターン」は、特に断らない限り、撮像装置200によって観測される主観的スペックルの二次元パターンを意味する。
図1における被写体50、レーザ光源10、および撮像装置200が静止しているとき、客観的スペックルおよび主観的スペックルも静止している。しかし、被写体50の表面55の形状、または被写体50の表層領域における細胞組織が運動している場合、散乱波の位相分布が時間的に変化するため、客観的スペックルおよび主観的スペックルも時間的に変動し得る。例えば、被写体50の表層付近に血管が存在し、血管内を赤血球が流れている場合、赤血球による散乱光の位相分布が時間的に変化するため、撮像面22S上において血管の像が形成されている領域では、スペックルが時間的に変化する。
従来、例えば、内視鏡用光源としてレーザ光源を用いる場合、スペックルパターンは画像情報に対するノイズとなるため、可能な限り除去する必要があると考えられてきた。このため、スペックルパターンを形成しないように、レーザ光源から出射されたレーザ光の可干渉性を種々の方法によって低減することが行われきた。
しかし、本開示の画像取得装置では、被写体の領域に応じて明暗の程度が異なるスペックルパターンをあえて形成し、そのスペックルパターンを時間的に変化させることにより、従来は取得できなかった画像情報の取得を可能にする。具体的には、時間的に変化するスペックルパターンに基づいて、被写体の被撮像領域を複数の部分に分類すること(セグメンテーション)が可能になる。以下、本開示の実施形態における画像取得装置の実施形態を説明する。
<実施形態>
以下、本開示の実施形態における画像取得装置および画像処理方法を説明する。
まず、図4を参照する。図4は、本実施形態における画像取得装置1000の構成例を模式的に示す図である。
図示されている画像取得装置1000は、光源装置100と、撮像装置200と、光源装置100および撮像装置200の動作を制御する制御装置300とを備えている。制御装置300は、表示装置400に接続されている。撮像装置200、制御装置300、および表示装置400の詳細については後述する。
本実施形態における光源装置100は、レーザ光源10と、撮像装置200が取得する画像に含まれるスペックルパターンを時間的に変化させるスペックル可変装置12とを備えている。レーザ光源10の典型例は、半導体レーザ素子(レーザダイオード)である。レーザ光源10は、被写体500の一部の領域52Bが、他の領域52Aに比べて、相対的に強く吸収または強く反射する光の波長域に含まれるピーク波長λを有するレーザ光を出射する。レーザ光源10は、可干渉性を有するレーザ光を出射することにより、被写体500の領域52Aおよび領域52Bに互いに異なるスペックルコントラストを有するスペックルパターンを形成することができる。ここで、例えば「領域52Aにスペックルパターンを形成する」とは、「撮像装置200が取得する画像において、領域52Aの像の部分にスペックルパターンを形成する」ことを意味する。領域52Aの像の部分に形成されるスペックルパターンは、領域52Aで生じた散乱光の干渉に基づく。このため、被写体500の領域52Aと領域52Bとの間で、ピーク波長λのレーザ光に対する吸収・反射特性および散乱特性が異なる場合、スペックルパターンから抽出される特徴量に基づいて、領域52Aと領域52Bを識別または判別することが可能になる。
図5は、ヘモグロビンの吸光係数の波長依存性を示すグラフである。ヘモグロビンは、ヒトを含む全ての脊椎動物の血液中に見られる赤血球の中に存在するタンパク質である。図5において、ヘモグロビンの吸光係数が実線Hで示されている。図5には、参考のために、ヒトの体内組織による散乱係数も破線Sによって示されている。図5に示されるように、波長が約400nm以上約600nm以下の領域では、赤外領域に比べると、ヘモグロビンによる光吸収が相対的に大きい。特に、約415nmの波長では、ヘモグロビンの吸光係数が特異的に高くなり、吸光ピークHpを示す。一方、波長が1000nmを超えると、水による吸光係数(不図示)が急激に増加する。符号Wの白抜き矢印で示される約650nm以上約1350nm以下の波長範囲内では、ヘモグロビンまたは水による光の吸収が相対的に少なく、散乱が生じやすくなる。このため、図5の白抜き矢印で示される波長範囲Wの光は、他の波長範囲に比べて生体内部の奥深くに侵入しやすく、この波長範囲Wは「生体の窓」と称されている。ヒトの生体組織の内部から情報を取得したい場合、波長範囲Wの光で生体組織を照射することが行われる。ただし、従来、このような目的のためには、スペックルノイズが発生しないように可干渉性のない光(インコヒーレント光)が用いられてきた。
本開示の実施形態では、レーザ光源10が、被写体500の一部の領域が吸収または反射する光の波長域に含まれるピーク波長λを有するレーザ光を出射する。このため、被写体500の吸収・反射特性に応じて異なるスペックルコントラストを有するスペックルパターンを形成することが可能になる。ピーク波長λは、約415nmである必要はなく、例えば410〜420nmの範囲から選択され得る。
なお、ピーク波長λのレーザ光には例えば数nm程度のスペクトル幅が存在する。ピーク波長λは、被写体の一部の領域が特異的に吸収または反射する光の波長と一致している必要はない。例えば、被写体の一部の領域が特異的に吸収または反射する光の波長が約415nmである場合において、レーザ光のピーク波長λは、例えば420nmであってもよい。そのような場合でも、被写体の当該領域はレーザ光の吸収または反射を引き起こし得るからである。人間の目の視感度は555nm付近で最も高くなる。このため、被写体の一部の領域が吸収する波長域内における吸収ピークの波長よりも555nmに近いピーク波長を有するレーザ光でスペックルパターンを形成する方が、人間の目で認識しやすい色の模様が観察される。ただし、スペックルパターンの実際の色(例えば紫色)を、画像処理により、人間の目の視感度が高い波長(555nm)に近い波長の色(例えば緑色)に変換し、スペックルを強調して表示装置400に表示させてもよい。
本開示の実施形態における光源装置100は、外部(具体的には制御装置300)からの制御信号に応答して、撮像装置200が取得する画像に含まれるスペックルパターンを時間的に変化させるスペックル可変装置12を備えている。本実施形態におけるスペックル可変装置12は、レーザ光のコヒーレンスを制御して、スペックルパターンの形成を抑制することも可能である。このため、例えば、スペックルパターンから情報を得る動作モードと、スペックルパターンを抑制して通常の観察を行う動作モードとを切り替えて実行することが可能になる。スペックルパターンから情報を得る動作モードでは、スペックル可変装置12により、スペックルパターンを時間的に変化させることができる。スペックルパターンが時間的に変化している間に、画像処理装置32は、取得した画像を構成する各画素における強度信号の時間変化を測定する。そして、画像処理装置32は、強度信号の時間変化の波形に基づいて、被写体の被撮像領域を複数の部分に分類することができる。スペックル可変装置12の具体的な構成および動作の例は、後述する。
本実施形態において、光源装置100は、照明光を出射する照明光源として、白色光源14を有している。本開示において、「白色」の光とは、赤色(R)、黄色(Y)、緑色(G)、および青色(B)の各色の波長範囲に属する波長成分を少なくとも2つ、より好ましくは全色含む光を広くカバーする。ここで、R光の波長範囲は、例えば620nmから660nmである。G光の波長範囲は、例えば500nmから540nmである。B光の波長範囲は、例えば430nmから480nmである。白色光源14からは、R光、G光、B光が同時に放射される必要はなく、例えば約33ミリ秒の期間内にR光、G光、B光が、順次、放射されていれば、目には、それらの色成分の加色混合が生じて白色を認識することが可能になる。また、B光で蛍光体を励起して、Y光を放射させてもよい。B光およびY光の混色により、白色化が生じる。CCD(Charged-Coupled Devices)またはCMOS(Complementary metal-oxide-semiconductor)イメージセンサなどの撮像素子が30フレーム毎秒(=30fps)で画像データの読み出し動作を行う場合、1フレーム期間は約33ミリ秒である。このため、1フレーム期間内において、R光、G光、B光などを、順次または同時に放射すれば、白色化が達成され得る。このため、R光、G光、B光などを、順次または同時に放射し得る光源は、「白色光源」に含まれる。本実施形態において、白色光源14の典型例は、LED(Light Emitting Diode)またはLD(Laser Diode)である。白色光源14がLDを含む場合、後述するように、スペックルを発生しないように構成される。
撮像装置200は、白色光源14から放射された光で被写体500が照らされることにより、被写体500の画像を取得することができる。内視鏡が使用される環境では、白色光源14のような照明光源がないと、被写体500の明瞭な画像を取得することは困難であるが、本開示の画像取得装置1000は、内視鏡以外の用途にも使用され得る。例えば皮膚または目の状態を観察するための装置としても利用され得る。そのような用途では、他の照明装置または太陽光によって被写体500を照らすことができるため、上記の白色光源14は必須ではなくなる。なお、内視鏡が使用される環境下において、白色化されていない光(好ましくは広帯域光)で被写体500を照らしても、画像処理によって被写体500の観察を行うことは可能である。
本実施形態では、白色光で照らされている被写体500の画像と、レーザ光源10およびスペックル可変装置12によって形成されたスペックルパターンとを重畳して表示装置400に表示させることができる。白色光だけでは病変部の見落としが発生し得るような場合に、スペックルパターンの存在が見落としの防止に寄与し得る。
図6は、白色光で照らされている被写体500の画像と、レーザ光源10およびスペックル可変装置12によって形成されたスペックルパターンとが重畳した画像(合成画像)の例を模式的に示す図である。図7は、図6の合成画像における異なる3種類の領域52A、52B、52Cの位置を示す図である。図6では、簡単のため、白色光で照らされている被写体500の画像が示す微細な構造の記載が省略されており、スペックルパターンのみが表されている。領域52A、52B、52Cは、スペックルパターンの特徴量(例えば明るさおよびコントラストなど)に基づいて、相互に判別され得る。図6の例において、領域52Bは、波長λのレーザ光を領域52Aよりも吸収しやすい。このため、領域52Bにおけるスペックルの明るさは、全体として、領域52Aにおけるスペックルの明るさに比べて相対的に減少している。これに対して、領域52Cは、波長λのレーザ光を領域52Aよりも反射しやすい。このため、領域52Cにおけるスペックルの明るさは、全体として、領域52Aにおけるスペックルの明るさに比べて相対的に増加している。このようなスペックルパターンに基づく領域の判別は、レーザ光源10から出射されるレーザ光のピーク波長λが、被写体500の一部の領域52A、52Cが特異的に吸収または反射する光の波長域に含まれ、かつ、レーザ光の可干渉性が高く維持されているために実現する。一方、白色光源14から放射された光のみで被写体500が照らされているならば、図6のスペックルパターンは観察されないため、領域52A、52B、52Cの識別が困難な場合がある。
レーザ光のピーク波長λが約415nmである場合、上記の領域52Bは、例えばヘモグロビンを含む血液成分が他の領域よりも多く存在している領域であり得る。ヘモグロビンを含有する赤血球は、本来、レーザ光を散乱してスペックルパターンの形成に寄与し得る。しかし、レーザ光がヘモグロビンに強く吸収される場合には、散乱光の強度が低下するため、スペックルの強度(明るさ)も低下してしまう。なお、赤血球を含む血液が血管内を流れている場合、赤血球による散乱光の位相が時間的に変動する。そのため、時間的に平均化されたスペックルのコントラストは低下する。
スペックルパターンに基づく上記の領域判別は、生体組織における病変などの異常を示す領域を検出することに寄与する。本実施形態では、図4の画像処理装置32を用いて、スペックルパターンに基づく領域判別を行う。後述するように、時間的に変化するスペックルパターンから種々の特徴量を抽出することができるため、これらの特徴量に基づいて、領域の分割(セグメンテーション)または分類を実行することが可能になる。
通常の白色光源による照明だけでは、生体組織における病変部と周辺部との間に明瞭なコントラスト差が発生せず、画像からは識別することが困難な場合がある。そのような場合、上記のスペックルパターンを利用することにより、見落としの発生を抑制することが可能になる。このため、本実施形態における画像取得装置は、特に内視鏡用の装置として優れた効果を発揮し得る。
図8は、スペックル可変装置12の基本的な構成例を示すブロック図である。この例におけるスペックル可変装置12は、拡散素子(Diffuser)120と、拡散素子120を運動(移動)させるアクチュエータ122とを備えている。拡散素子120の運動は、回転、搖動、または振動を含む。アクチュエータ122は、拡散素子120の移動速度または振動周波数などの運動状態を変化させたり、拡散素子120を停止させたりすることができる。拡散素子120は、レーザ光源10から出射されたレーザ光Lの光路上に配置され、レーザ光Lを散乱する。アクチュエータ122が拡散素子120を運動させることにより、拡散素子120におけるレーザ光Lの入射位置LLを時間的に変化させることができる。アクチュエータ122は、拡散素子120を透過した、または拡散素子120で反射されたレーザ光Lのコヒーレンスを時間的空間的に変化させることにより、スペックルコントラストを可変にすることができる。
図9Aは、本実施形態における拡散素子120の模式的な断面図であり、図9Bは、その平面図である。図9Aの断面は、図9BのA−A線断面に相当する。
図示される拡散素子120は、円盤形状を有し、中心軸C1の周りに回転可能に支持されている。拡散素子120は、矢印Rの方向、または矢印Rの方向とは反対の方向に回転し得る。光散乱性能を発揮するため、拡散素子120は、表面または内部に散乱のための多数の粒子(散乱粒子)を含んでいてもよいし、拡散素子120の光学厚さが場所によって異なる形状を有していてもよい。拡散素子120がレーザ光Lの強い散乱を生じさせるためには、拡散素子120のレーザ光Lが入射する領域、すなわちレーザ光Lのビーム断面内において、複数の散乱粒子または微細な表面凹凸が存在することが好ましい。図示されている拡散素子120は、透過型であるが、反射型であってもよい。
本実施形態における拡散素子120は、位置または領域に応じて異なる光散乱性能を有している。具体的には、拡散素子120は、例えば、中心軸C1の周りの円周方向に沿って散乱の程度が連続または不連続に変化する構造を有している。拡散素子120が一様な光散乱性能を有しているのではなく、位置または領域に応じて異なる光散乱性能を有していることにより、拡散素子120を透過し、または拡散素子120で反射されレーザ光Lのコヒーレンスを変化させることが容易になる。コヒーレンスは、拡散素子120の回転速度(移動速度)を調整することによっても制御することが可能である。
拡散素子120が散乱粒子を含んでいる場合、散乱粒子の大きさ、形状、粒子数密度のいずれかを拡散素子120上の位置または領域によって変化させてもよい。また、拡散素子120の光学厚さを位置または領域によって変化させてもよい。光学厚さの変化は、例えば、拡散素子120の表面および裏面の少なくとも一方に微細な凹凸を形成することによって実現し得る。
光散乱性能を有する領域を透過し、または、そのような領域で反射されたレーザ光Lには、散乱によるランダムな位相分布が与えられる。しかし、拡散素子120が静止した状態にあれば、ランダムな位相分布は時間的に変化せず、可干渉性は保持される。言い換えると、被写体の散乱部で散乱されたレーザ光がランダムな位相分布によってスペックルパターンを形成するのと同様に、拡散素子120で散乱されたレーザ光Lもスペックルパターンを形成する。このようなスペックルパターンを有するレーザ光Lが被写体500(図4)に入射すると、被写体500でも散乱が生じるため、拡散素子120および被写体500のそれぞれの散乱に起因する2つのスペックルパターンが重畳して、新たなスペックルパターンが形成される。このままで、スペックルのコントラストを変化させることはできない。スペックルコントラストを可変にするためには、拡散素子120を移動させ、拡散素子120で散乱されたレーザ光Lにおけるスペックルパターンを変化させる必要がある。このようにして互いに相関がない複数のスペックルパターンを時間的空間的に重畳すると、レーザ光Lの強度が平均化されてスペックルのコントラストは低下する。
一方、スペックルパターンを意図的に形成する場合、拡散素子120を停止すればよい。レーザ光が、停止状態の拡散素子120を透過し、または、停止状態の拡散素子120で反射されるとき、レーザ光Lの散乱が生じ得る。このような拡散素子120による散乱は、前述したように被写体500を照明するレーザ光Lそのものにスペックルパターンを形成し得る。このようなスペックルパターンの重畳は、コントラストをさらに高める場合があり、病変部の識別に寄与する。
拡散素子120は、散乱を生じさせる散乱体領域122Aとは別に、散乱を生じさせない透明部分122Bを含んでいてもよい。レーザ光源10から出射されたレーザ光Lが、停止した拡散素子120の透明部分122Bを透過する場合、散乱が生じないため、レーザ光Lの強度低下を抑制することができる。なお、レーザ光Lが透明部分122Bを通過するとき、拡散素子120は停止している必要はなく、振動していてもよいし、充分に低い速度で移動していてもよい。
本開示の実施形態によれば、被写体の観察者が、図4の表示装置400に表示される映像を視認しながら、随時、スペックルコントラストを増減させること(時間的変化)が可能になる。具体的には、図4に示される被写体500の観察者、あるいは画像取得装置1000の操作者は、不図示の入力デバイスを用いて制御装置300を操作し、スペックル可変装置12の動作を制御することが可能である。例えば、最初は、スペックルパターンを形成しない状態で被写体500の像を観察し、適宜、スペックルパターンを通常の被写体像に重畳することが可能になる。
図9Aおよび図9Bに示すような回転型の拡散素子120を利用する場合、スペックルパターンを形成しない観察モードでは、拡散素子120を高速で回転させる。一方、スペックルパターンを形成する観察モードでは、拡散素子120を低速で回転させたり、停止したりする。停止は、拡散素子120の透明部分122Bをレーザ光Lが通過するように、拡散素子120の回転位置(角度位置)を正確に制御して行うことが望ましい。このような回転動作は、アクチュエータ122としてブラシレスDCモータまたはステッピングモータなどを用いて行うことができる。拡散素子120の角度位置の制御は、例えば、回転の角度位置を検出または推定する装置をモータに組み合わせて行うことができる。
レーザ光Lの光路上に配置される拡散素子120は単数に限定されない。複数の拡散素子120が光路上に配置されていてもよい。複数の拡散素子120は、例えば、回転する拡散素子と静止している拡散素子を含んでいてもよい。また、拡散素子120の構成は、図9Aおよび図9Bに示される例に限定されず、種々の構成を備えることが可能である。アクチュエータ122は、拡散素子120を回転させる代わりに、搖動または振動させてもよい。
スペックル可変装置12がスペックルパターンを時間的に変化させる方法は、レーザ光Lが被写体500に入射する角度、または、レーザ光Lの出射位置から被写体500までの距離などを変化させることを含む。可干渉性を有するレーザ光Lが被写体500によって散乱されて3次元空間内に客観的なスペックル(objective speckle)を形成するとき、スペックルパターンは、レーザ光Lのコヒーレンスだけではなく、被写体500に対する光源装置100の相対的な配置関係(位置および向き)にも依存する。また、撮像装置200によって観測される主観的なスペックルパターンは、被写体500に対する撮像装置200の配置関係(位置および向き)にも依存する。このため、例えば拡散素子120の運動状態または停止状態を維持したまま、被写体500に対する光源装置100および撮像装置200の少なくも一方の位置または向きを時間的に変化させても、観測されるスペックルパターンを時間的に変化させることが可能である。図10は、被写体500に対する光源装置100および撮像装置200の相対的な配置関係を変化される移動装置128を模式的に示している。移動装置128は、例えば内視鏡先端部を湾曲させる可動機構であり得る。
スペックル可変装置12は、拡散素子を備える装置に限定されない。上述のように、被写体500に対する光源装置100および撮像装置200の少なくも一方の位置または向きを時間的に変化させる機構は、スペックル可変装置12の例に含まれ得る。
スペックル可変装置12の例は、図11に示されるように、高周波電流を重畳した電流をレーザ光源10内のレーザダイオード10Bに供給する駆動回路10Aを含む。図12は、駆動回路10Aがレーザダイオード10Bに供給する電流波形の変調の例を模式的に示している。図12の縦軸は駆動電流Id、横軸は時間Tである。駆動回路10Aは、このような駆動電流Idの変調により、レーザダイオード10Bから出射されるレーザ光Lの発振波長幅を拡大したり、狭めたりすることができる。レーザ光Lのコヒーレンスは、発振波長幅に依存して変化し得る。駆動回路10Aは、重畳する高周波の振幅または周波数を時間的に変化させることにより、スペックルパターンを時間的に変化させることができる。またレーザダイオードの閾値電流を跨ぐように電流を重畳させると、緩和振動が誘発されるため、その効果をさらに向上させることができる。
次に、撮像装置200によって得られる画像信号の例を説明する。撮像装置200は、図1に示されるように、撮像光学系20と撮像素子22を有している。
図13Aは、撮像素子22の撮像面22Sにおける画素220の配列の一部と、幾つかの画素220から得られる信号を示す図である。個々の画素220は、入射光量に応じた電気信号を出力する光電変換部を有している。各画素220は、不図示の配線を介して読み出し回路などに接続されている。図13Aの上段には、2行4列に配置された8個の画素220と、撮像面22S上に形成されたスペックル222とが模式的に示されている。図13Aの下段には、上段のB1−B1線が横切る4個の画素220からそれぞれ出力された信号S11、S12、S13、S14の大きさが、各バーの高さで表わされている。
図13Aから明らかなように、この例における画素220はスペックル222よりも小さい。画素220がスペックル222よりも大きい場合、スペックルパターンを明瞭に観察することは難しい。スペックルパターンが静止しているとき、各画素220からは出力される信号の大きさは、時間的に一定である。
図13Bは、図13Aの例よりも、各画素220のサイズおよび配列ピッチが小さな例を示している。図13Bの上段には、4行8列に配置された32個の画素220と、撮像面22S上に形成されたスペックル222とが模式的に示されている。図13Bの下段には、上段のB2−B2線が横ぎる8個の画素220からそれぞれ出力された信号S21、S22、S23、S24、S25、S26、S27、S28の大きさが、各バーの高さで表わされている。
図13Aおよび図13Bから明らかなように、画素220のサイズおよび配列ピッチが小さいほど、スペックルパターンを高精細に観察することが可能になる。ピーク波長λのレーザ光によって形成されるスペックルパターンを観察するには、画素220が波長λの光に応答して光電変換を行う必要がある。撮像装置200がカラーイメージセンサである場合、図13Aおよび図13Bに示されている各画素220は、例えば、Rサブ画素、Gサブ画素、およびBサブ画素を含む。これらのサブ画素は、各画素220内において、例えばベイヤ配列の位置に置かれる。この場合、画像信号は、RGBのそれぞれの信号成分を含む。レーザ光のピーク波長が例えば約415nmである場合、スペックルパターンの明るい模様は、Bサブ画素によって検知され得る。
撮像装置200に用いられ得る撮像素子(イメージセンサ)は、フレーム単位で画素信号を読み出すことができる。読み出しレートが例えば30フレーム毎秒の場合、1フレームの期間は、約33ミリ秒である。この場合、約33ミリ秒毎に画素信号が読み出される。ある画素220から得られる画素信号は、その画素220が、1フレームの期間よりも短い露光時間内に光電変換によって蓄積した電荷の量に応じた大きさを有している。従って、露光時間の間にスペックルが画素サイズよりも長い距離だけ移動したならば、スペックルパターンを明瞭に検出することは困難になる。このため、スペックルパターンを観察するモードでは、スペックルパターンが高速度で移動しないようにすることが望ましい。スペックルパターンは、図4の被写体500に対して光源装置100および撮像装置200が移動すると変化する。また、拡散素子120を回転させるなどして、光源装置100から出射されるレーザ光Lのコヒーレンスを時間的に変化させても、スペックルパターンは変化し得る。このため、スペックルパターンを静止させるには、被写体500に対して光源装置100および撮像装置200を実質的に静止し、光源装置100からコヒーレンスの高いレーザ光Lで被写体500を照射することが望ましい。
スペックルパターンを統計的に評価するための量(統計量)として、「スペックルコントラスト」が知られている。「スペックルコントラスト」は、以下の式によって定義される。
C=σ/J ・・・(式1)
ここで、Cはスペックルコントラスト、Jは光強度の空間平均値、σは光強度の標準偏差である。
図13Aおよび図13Bに示される画素220から出力される信号の大きさから、撮像面22S上における「光強度」の空間分布が測定され得る。その結果、Jおよびσを算出できる。
図14を参照して、複数の画素から構成されるブロック単位でスペックルコントラストを算出する例を説明する。図14は、撮像面22Sにおける画素220の配列の一部と画素ブロックの例を模式的に示す図である。
図14の例において、撮像面22Sの位置(i,j)にある画素(i,j)のスペックルコントラストCは、例えば、画素(i,j)を中心に含む7×7個の画素のブロックBLから得られる画素信号に基づいて決定することができる。具体的には、その画素ブロックBL内の全ての画素の信号から、平均値Jおよび標準偏差σを算出することにより、C(i,j)を取得できる。画素ブロックBLは、7×7個に限定されず、9×9個であってもよいし、他のサイズを有していてもよい。着目する中心の画素(i,j)を行方向または列方向に1画素ずつシフトするように画素ブロックBLをスライドさせながら、全ての画素についてC(i,j)を算出すれば、C(i,j)の二次元配列、すなわちコントラスト像を得ることができる。個々の画素がスペックルよりも充分に小さい場合、隣接する幾つかの画素信号を加算することにより、画素密度を実質的に低下させてから、C(i,j)を算出してもよい。このようなC(i,j)は、ローカルなスペックルコントラストと呼ぶことができる。ローカルなスペックルコントラストは、病変部を他の部分から識別するための特徴量として機能し得る。スペックルコントラストの算出は、図4の画像処理装置(演算処理回路)32によって実行され得る。画像処理装置32は、プロセッサ30とともに動作して、撮像装置200から得られる画像信号に基づいて画像データを生成する。こうして作成された画像データは、表示装置400によって表示され得る。
スペックルパターンが静止状態にあるとき、個々の画素220から出力される信号の大きさは時間的に変化しない。しかし、スペックル可変装置12の働きによってスペックルパターンが時間的に変化しているとき、個々の画素220から出力される信号の大きさは時間的に変化する。
図15Aおよび図15Bは、それぞれ、撮像面22Sの位置(i,j)にある画素(i,j)から出力される信号、および、位置(i,j)にある画素(i,j)から出力される信号の例を示す模式図である。図の縦軸は信号の強度、横軸は時間である。前述したように、読み出しレートが例えば30フレーム毎秒の場合は、約33ミリ秒毎に信号が読み出される。図15Aおよび図15Bには、それぞれ、24フレーム(約0.8秒間)の信号が模式的に示されている。この例において、スペックルパターンは、0.8秒の間にほとんど変化していないが、画素(i,j)の信号強度は、画素(i,j)の信号強度に比べて相対的に小さい。これは、被写体500において画素(i,j)に相当する領域に、スペックルの暗い部分が位置しているためかもしれないし、あるいは、被写体500のその領域がレーザ光を吸収する性質を有しているためかもしれない。個々の画素から出力される静的な信号からは、被写体500の領域を、その性質に基づいて分類することは難しい。
図16Aおよび図16Bは、それぞれ、スペックル可変装置12の働きによってスペックルパターンが変化している場合において、画素(i,j)および画素(i,j)から出力される信号の例を示す模式図である。スペックパターンの時間的変化に応じて、画素(i,j)および画素(i,j)から出力される信号は、異なる波形を有している。図16Aおよび図16Bの例では、画素(i,j)から出力される信号の変動振幅(変動量)が画素(i,j)から出力される信号の変動振幅よりも小さい。この原因は、被写体500において画素(i,j)に相当する領域がレーザ光を吸収する性質を有しているためである。なお、「変動振幅」は、所定期間(例えば1秒間)に測定される「信号の最大値」から「信号の最小値」を減算して決定することができる。このような「変動振幅」が他の領域よりも相対的に小さい領域は、そのレーザ光を他の領域よりも吸収しやすい(散乱しにくい)と認められる。例えば、約415nmのピーク波長を有するレーザ光を利用してスペックルパターンを形成する場合、被写体で出血が生じている部分では、他の領域よりも相対的に小さい変動振幅が観測される。
このように、スペックル可変装置12を用いてスペックルパターンを時間的に変化させると、被写体の領域毎に光の吸収または反射特性の違いを定量的に検出することが可能になる。より具体的には、例えば、1個または複数個の画素単位で上記の変動振幅を求め、その変動振幅の大きさに応じて、1個または複数個の画素を複数の領域に分類または識別することができる。例えば、レーザ光のピーク波長が415nmの場合、変動振幅の大きさに基づいて、例えば、その波長における光吸収率の高い領域、低い領域、および中間的な領域に区分することが可能である。このような被写体の領域分割または識別は、観察者の主観によってではなく、画像処理装置(演算処理回路)32によって行うことができる。また、区分された領域の表示は、図4の表示装置400によって実行され得る。表示に際して、強調のため色または明度を変えてもよい。このようにして、他の領域に比べて変動振幅が相対的に低い(あるいは高い)画素または画素群を含む領域を例えば強調して表示することは、被写体の画像から病変部の見落としを抑制または防止することに寄与する。
なお、撮像装置200がカラーイメージセンサであり、各画素がRサブ画素、Gサブ画素、およびBサブ画素を含む場合、上記の画素は、レーザ光のピーク波長を含む色で検出感度を有するサブ画素を意味する。レーザ光のピーク波長を有する色で検出感度を有しないサブ画素からは、スペックルパターンの時間的な変化に応答して変動するような強度信号は取得されない。このため、画像処理装置32は、Rサブ画素、Gサブ画素、およびBサブ画素のうち、レーザ光のピーク波長が属する波長域の色のサブ画素を含む一色または複数色のサブ画素から出力された信号を、各画素における強度信号として選択することができる。
本実施形態によれば、人間の目によってスペックルパターンの違いを検知しにくい場合でも、画像処理装置32が取得する変動振幅などの特徴量に基づいた定量的な評価を行うことにより、病変部などの検知が容易になる。前述したように、約415nmのピーク波長を有するレーザ光を利用してスペックルパターンを形成する場合、例えば血管内部のように血流が存在する部分では、血流速度に応じて異なるスペックルコントラストが観測され得る。従って、スペックルパターンを時間的に変化させながら、変動振幅およびスペックルコントラスの両方を計測することにより、被写体から、より多くの情報を取得することが可能になり、血管の狭窄領域または出血領域を見落しなく検知することに寄与し得る。
スペックル可変装置12を用いてスペックルパターンを時間的に変化させているときに撮像装置200の各画素から取得される強度信号の波形(スペックル信号)からは、様々な特徴量を抽出することが可能である。このような特徴量に基づく領域の分割または分類は、深層学習などの機械学習によって作成された学習済みモデルを用いても実行され得る。機械学習を利用することにより、人間の視覚および経験に頼らず、「機械的」に領域の分割、ひいては病変部の診断が可能になる。
なお、前述したように、撮像面22S上におけるスペックルの最小サイズは、撮像装置200が有する撮像光学系20の開口数NAおよびレーザ光Lの波長λに依存する。より正確には、撮像面22S上におけるスペックルの最小サイズは、2.44×λ(1+M)×Fナンバで表される。Mは、撮像光学系20による横倍率(像倍率)であり、FナンバはF値とも呼ばれ、2/NAに等しい。(1+M)×Fナンバは、「実効Fナンバ」と呼ばれる。横倍率Mを適切な範囲に設定することにより、病変部の種類に応じて検出に適した大きさのスペックルを撮像面22S上に形成することが可能である。
スペックルパターンの特徴量は、変動振幅またはスペックルコントラストに限られず、信号/ノイズ比率(SN比)などの他の特徴量であってもよい。スペックルの平均サイズまたは個数密度などを画像処理によって算出し、それらをスペックルパターンの特徴量として採用してもよい。
次に、図17を参照しながら、本開示の画像取得装置を内視鏡に使用するときの光源装置100の構成例を説明する。
図17は、白色光およびレーザ光を光ファイバなどの光導波路に結合することのできる光源装置100の構成例を模式的に示す図である。図示されている光源装置100は、スペックル可変装置12によってコヒーレンスが制御されたレーザ光を、内視鏡の光導波路60Aに光学的に結合させる集光レンズ126を有している。内視鏡の具体的な構成は任意である。内視鏡は、軟性鏡に限られず、硬性鏡であってもよい。
以下、光源装置100の詳細を説明する。図17の光源装置100は、レーザ光源10と、スペックル可変装置12と、白色光源14とを備えている。
レーザ光源10は、例えば、ピーク波長λが415nmの青紫色レーザダイオード(LD)10Vを含む。青紫色LD10Vから出射されたレーザ光は、レンズ110でコリメートされた後、集光レンズ112によってスペックル可変装置12の拡散素子120上に収束される。拡散素子120を透過したレーザ光は、集光レンズ126によって光導波路60Aの入射側端面に収束され、光ファイバなどの光導波路60Aに光学的に結合する。光導波路60Aを伝搬するレーザ光は、やがて内視鏡の先端部分から放射され、生体組織である被写体を照射する。スペックルパターンを観察するモードでは、スペックル可変装置12を通過したレーザ光のコヒーレンスは低下しておらず、コントラストの高いスペックルパターンの観察が可能になる。一方、スペックルパターンを抑制した観察を行うモードでは、スペックル可変装置12を通過したレーザ光のコヒーレンスは低下し、スペックルパターンはほとんど観察されない。上記のいずれの観察モードにおいても、被写体は、白色光源14から出射された白色光によって照らされ得る。
図17の例における白色光源14は、赤色LD14R、緑色LD14G、および青色LD14Bを有している。これらのLD14R、14G、14Bから出射されたレーザ光は、それぞれ、レンズ142によってコリメートされる。赤色LD14Rから出射されたレーザ光は、コリメートされた後、ダイクロイックミラー144Rで反射され、次にダイクロイックミラー144Bを通過して、集光レンズ146に入射する。緑色LD14Gから出射されたレーザ光は、コリメートされた後、ダイクロイックミラー144Rおよびダイクロイックミラー144Bを通過して集光レンズ146に入射する。青色LD14Bから出射されたレーザ光は、コリメートされた後、ダイクロイックミラー144Bを反射され、集光レンズ146に入射する。こうして、LD14R、14G、14Bから出射されたレーザ光は、集光レンズ146によって、回転する拡散素子148上に収束する。この回転する拡散素子148により、スペックルを形成しないレベルまでレーザ光のコヒーレンスが低減される。この拡散素子148は、スペックル可変装置12の拡散素子120とは異なり、光散乱性能が位置によって変化するような特殊な構成は備えている必要はない。拡散素子148は、例えば毎分3600回転またはそれ以上の速度で回転するようにモータによって駆動される。回転する拡散素子148を透過したレーザ光は、集光レンズ150によって光ファイバなどの光導波路60Bの入射側端面に収束され、光導波路60Bに光学的に結合する。光導波路60Bを伝搬するレーザ光(白色光)は、やがて内視鏡の先端部分から放射され、生体組織である被写体を照射する。
光導波路60Aおよび光導波路60Bは、不図示のビームコンバイナ(合波器)を介して、内視鏡内のライトガイドまたは光ファイバケーブルに結合されてもよい。このようなビームコンバイナは、光源装置100が内蔵していてもよい。
図17の例では、白色光を構成する3原色の色成分が、いずれも、LD(レーザダイオード)から出射されたレーザ光であるが、本開示の実施形態における白色光源の構成は、この例に限定されない。白色光を構成する3原色の色成分の一部または全部がLEDから放射された光であってもよいし、タングステンランプなどのランプから放射された光であってもよい。LEDまたはランプから放射される光はインコヒーレントであるため、回転する拡散素子148は必要なくなる。あるいは、青色レーザダイオードまたは紫外レーザダイオードから出射されたレーザ光で蛍光体を励起し、白色光を生成してもよい。蛍光体が発する蛍光は、インコヒーレントである。紫外のレーザ光で蛍光体を励起して白色光を形成する場合も、可視光成分の全ては蛍光によって構成されるため、回転する拡散素子148は必要なくなる。また、青色のレーザ光で蛍光体を励起する場合も、レーザ光は蛍光体を透過する過程で散乱され、黄色成分の蛍光と混色されるため、必ずしも回転する拡散素子148を使用する必要はない。
次に図18を参照して、内視鏡に適用された画像取得装置の構成例を説明する。
図18に示される画像取得装置1000は、光源装置100と、撮像装置200と、光源装置100および撮像装置200の動作を制御する制御装置300とを備えている。制御装置300は、プロセッサ30および画像処理装置32を有しており、表示装置400に接続されている。光源装置100の構成は、例えば図17を参照して説明した構成と同様であり得る。プロセッサ30は、典型的には、半導体集積回路を備えるマイクロコントローラである。不図示のROMには、プロセッサ30の動作を制御するプログラムが記憶されている。
図18の画像取得装置1000は、光源装置100および制御装置300に接続された内視鏡600を備えている。内視鏡600は、光源装置100のスペックル可変装置12から出射されたレーザ光を伝搬させる光導波路60Aを有している。同様に、内視鏡600は、白色光源14から出射された白色光を伝搬させる光導波路60Bを有している。光導波路60A、60Bは、それぞれ、照明光学系62A、62Bに光学的に接続されている。光導波路60A、60Bの典型例は、光ファイバである。照明光学系62A、62Bから、それぞれ、レーザ光および白色光が被写体に向けて放射される。
内視鏡600は、さらに撮像装置200と、撮像装置200を制御装置300に接続する信号伝送路64とを有している。撮像装置200の撮像素子は、小型のイメージセンサであり、被写体の撮像を行って画像信号を出力する。撮像素子から出力された画像信号は、信号伝送路64を通って制御装置300の画像処理装置32に与えられる。画像処理装置32は、画像信号に基づいて、被写体の画像を表示装置400に表示させる。スペックルパターンを観察するモードにおいて、画像処理装置32は、スペックルコントラストを算出し、算出値(特徴量)に基づいて特定領域の区分を強調する画像(強調画像データ)を重畳し得る。
制御装置300のプロセッサ30は、操作者による入力に従って、スペックルコントラストを変化させる制御信号をスペックル可変装置12に送る。この制御信号に応答して、スペックル可変装置12は、レーザ光のコヒーレンスを変化させる。操作者がスペックルパターンを最も明瞭に観察するモードを選択したとき、図8に示すアクチュエータ122が拡散素子120の回転を停止させる。好ましい例において、レーザ光は、静止状態の拡散素子120における透明部分122Bを透過する。その結果、コヒーレンスの高いレーザ光によって被写体が照らされ、コントラストの高いスペックルパターンが観察可能になる。図6および図7を参照しながら説明したように、被写体の領域によってレーザ光の吸収・反射特性が異なり得るため、領域によってスペックルコントラストに差異および時間変動が表れやすく、病変部の検出漏れが抑制される。
図19は、画像取得装置1000の他の構成例を示す図である。この画像取得装置1000が図18の画像取得装置1000と異なる点は、スペックル可変装置12から出力されるレーザ光、および、白色光源14から出力される白色光の両方が共通の光導波路60を伝搬し、照明光学系62から放射されことにある。
このように光源装置100から放射される光を内視鏡600の先端部分まで導く構成は多様であり、図示されている例に限定されない。内視鏡600の先端部分は、光出射部および受光部を有する。白色光は、内視鏡600内の光導波路を伝搬してきた励起光が、内視鏡600の先端部分に配置された蛍光部材に入射して形成されてもよい。
本開示の画像取得装置は、被写体から光学的に情報を取得して被写体の状態を診断する様々な用途で利用され得る。特に被写体が生体組織である場合、本開示の画像取得装置は、生体組織の表面または内部からの情報を非侵襲に取得することが可能であるため、内視鏡用として有用である。また、本開示の画像取得装置は、工業用内視鏡のように、生体組織以外の被写体から有益な情報を得る用途にも利用され得る。
10・・・レーザ光源、12・・・スペックル可変装置、14・・・白色光源、30・・・プロセッサ、32・・・画像処理装置、50・・・被写体、100・・・光源装置、200・・・撮像装置、300・・・制御装置、400・・・表示装置、500・・・被写体、600・・・内視鏡

Claims (13)

  1. 被写体を照明する照明光を出射する照明光源と、
    前記被写体の少なくとも一部の領域が吸収または反射する波長域に含まれるピーク波長を有するレーザ光を出射するレーザ光源と、
    前記被写体を撮像する撮像装置と、
    前記撮像装置が取得する画像に含まれるスペックルパターンを時間的に変化させるスペックル可変装置と、
    前記撮像装置によって取得される画像を処理する画像処理装置と、
    を備え、
    前記画像処理装置は、前記画像を構成する各画素における強度信号の時間変化を測定し、前記強度信号の時間変化の波形に基づいて、前記被写体の被撮像領域を複数の部分に分類する、画像取得装置。
  2. 前記画像処理装置は、前記強度信号の時間変化の波形から1個または複数個の画素単位でスペックル信号の特徴量を算出し、前記特徴量に基づいて、各画素を前記複数の部分のいずれかに割り当てる、請求項1に記載の画像取得装置。
  3. 前記特徴量は、スペックルコントラストである、請求項2に記載の画像取得装置。
  4. 前記画像処理装置は、前記特徴量に基づく強調画像データを生成し、前記被写体の被撮像領域の画像データとともに出力する、請求項2または3に記載の画像取得装置。
  5. 前記レーザ光のピーク波長は可視光の範囲に含まれる、請求項1から4のいずれかに記載の画像取得装置。
  6. 前記撮像装置は、各画素がRサブ画素、Gサブ画素、およびBサブ画素を含むカラーイメージセンサであり、
    前記画像処理装置は、前記Rサブ画素、Gサブ画素、およびBサブ画素のうち、前記レーザ光の前記ピーク波長が属する波長域の色のサブ画素を含む一色または複数色のサブ画素から出力された信号を、前記各画素における強度信号として選択する、請求項5に記載の画像取得装置。
  7. 前記レーザ光源は、レーザダイオードであり、
    前記スペックル可変装置は、前記レーザ光を変調するように前記レーザダイオードを駆動する駆動回路を有する、請求項1から6のいずれかに記載の画像取得装置。
  8. 前記被写体は生体組織である、請求項1から7のいずれかに記載の画像取得装置。
  9. 前記スペックル可変装置は、
    前記レーザ光の光路上に配置される拡散素子と、
    前記拡散素子を運動させ、前記拡散素子における前記レーザ光の入射位置を変化させるアクチュエータと、
    を有する、請求項1から8のいずれかに記載の画像取得装置。
  10. 前記スペックル可変装置は、前記被写体に対する前記レーザ光源および/または前記撮像装置の相対配置関係を変化させる移動装置を有する、請求項1から9のいずれかに記載の画像取得装置。
  11. 前記照明光および前記レーザ光を前記被写体に向けて照射する光出射部と、前記被写体から反射された光を前記撮像装置に導く受光部とを含む内視鏡と、
    前記内視鏡に接続され、前記画像処理装置として機能する演算処理回路と、
    前記演算処理回路に接続され、前記複数の部分に分類された前記被写体の被撮像画像を表示する表示装置と、
    を備える、請求項1から10のいずれかに記載の画像取得装置。
  12. 被写体の少なくとも一部の領域が吸収または反射する波長域に含まれるピーク波長を有するレーザ光で前記被写体を照射する工程と、
    前記被写体を撮像する工程と、
    前記撮像装置が取得する画像に含まれるスペックルパターンに基づいて、前記被写体の被撮像領域を複数の領域に分割する工程と、
    を含む、画像処理方法。
  13. 前記被写体の被撮像領域を複数の領域に分割する工程は、
    前記スペックルパターンの時間的変化に応じて前記撮像装置が出力する画素の強度信号の変動量を求める工程と、
    前記変動量に応じて前記画素を前記複数の領域のいずれかに分類する工程と
    を含む、請求項12に記載の画像処理方法。
JP2019113881A 2019-06-19 2019-06-19 画像取得装置 Active JP7071650B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019113881A JP7071650B2 (ja) 2019-06-19 2019-06-19 画像取得装置
US16/902,522 US11593946B2 (en) 2019-06-19 2020-06-16 Image-capturing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019113881A JP7071650B2 (ja) 2019-06-19 2019-06-19 画像取得装置

Publications (2)

Publication Number Publication Date
JP2021001917A true JP2021001917A (ja) 2021-01-07
JP7071650B2 JP7071650B2 (ja) 2022-05-19

Family

ID=73993880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019113881A Active JP7071650B2 (ja) 2019-06-19 2019-06-19 画像取得装置

Country Status (2)

Country Link
US (1) US11593946B2 (ja)
JP (1) JP7071650B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3838110A4 (en) * 2018-08-13 2021-09-08 Sony Group Corporation MEDICAL SYSTEM, MEDICAL LIGHT SOURCE DEVICE, AND METHOD FOR MEDICAL LIGHT SOURCE DEVICE
KR20210112525A (ko) * 2020-03-05 2021-09-15 에스케이하이닉스 주식회사 이미지 센서 및 3차원 센서를 갖는 카메라 모듈
US20220092805A1 (en) * 2020-09-23 2022-03-24 Smith & Nephew, Inc. Optical caliper for 3-d endoscopic imaging and measurement
CN117147024A (zh) * 2023-09-01 2023-12-01 天津大学 一种力传感触头及光纤末端力传感装置与三维力解算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
WO2015167005A1 (ja) * 2014-05-02 2015-11-05 興和株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
US20160104292A1 (en) * 2014-10-10 2016-04-14 Edan Instruments, Inc. Systems and methods of dynamic image segmentation
JP2016221299A (ja) * 2016-07-15 2016-12-28 ソニー株式会社 内視鏡用アダプタ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7304731B2 (en) * 2005-09-02 2007-12-04 Kla-Tencor Technologies Corp. Systems and methods for providing illumination of a specimen for inspection
JP2007125144A (ja) 2005-11-02 2007-05-24 Omega Wave Kk レーザー血流画像装置
JP5087771B2 (ja) 2007-12-04 2012-12-05 富士フイルム株式会社 撮像システム、内視鏡システム、およびプログラム
US20220007997A1 (en) * 2008-07-30 2022-01-13 Vanderbilt University Combined fluorescence and laser speckle contrast imaging system and applications of same
US8585206B2 (en) * 2010-06-29 2013-11-19 Corning Incorporated Methods for operating scanning laser projectors to reduce speckle and image flicker
JP2014032371A (ja) 2012-08-06 2014-02-20 Oxide Corp スペックルコントラスト発生器及びスペックルコントラスト評価装置
JP6507509B2 (ja) * 2014-07-18 2019-05-08 ソニー株式会社 流路撮像装置及び流路撮像方法
EP4235268A3 (en) * 2015-10-09 2023-10-04 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging
JP6798511B2 (ja) * 2016-02-18 2020-12-09 ソニー株式会社 撮像装置及び撮像システム
WO2017175470A1 (ja) 2016-04-05 2017-10-12 ソニー株式会社 スペックル測定装置およびスペックル測定方法
US11589801B2 (en) * 2016-12-27 2023-02-28 Vanderbilt University Methods and apparatus for intraoperative assessment of parathyroid gland vascularity using laser speckle contrast imaging and applications of same
EP3562386A4 (en) * 2016-12-29 2020-08-26 Vanderbilt University METHODS AND APPARATUS FOR PEROPERATIVE ASSESSMENT OF PARATHYROID GLAND VASCULARITY USING LASER GRANULARITY CONTRAST IMAGING AND THEIR APPLICATIONS
US10735675B2 (en) * 2018-04-13 2020-08-04 Cornell University Configurable image processing system and methods for operating a configurable image processing system for multiple applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
WO2015167005A1 (ja) * 2014-05-02 2015-11-05 興和株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
US20160104292A1 (en) * 2014-10-10 2016-04-14 Edan Instruments, Inc. Systems and methods of dynamic image segmentation
JP2016221299A (ja) * 2016-07-15 2016-12-28 ソニー株式会社 内視鏡用アダプタ

Also Published As

Publication number Publication date
US11593946B2 (en) 2023-02-28
US20200397269A1 (en) 2020-12-24
JP7071650B2 (ja) 2022-05-19

Similar Documents

Publication Publication Date Title
JP7071650B2 (ja) 画像取得装置
US7583380B2 (en) Spectroscopic analysis apparatus and method with excitation system and focus monitoring system
US7623907B2 (en) Endoscope for observing scattered light from living body tissue and method of observing scattered light from living body tissue
JP5628839B2 (ja) 眼球表面疾患を検出するシステムおよび眼球表面検査装置
EP2550640B1 (en) Optical tomographic imaging apparatus
US9517009B2 (en) Structured illumination ophthalmoscope
WO2004111621A1 (en) Analysis apparatus and method comprising auto-focusing means
JP7025661B2 (ja) 光源装置および画像取得装置
JP2022508237A (ja) 生物医学的パラメータを遠隔監視するためのシステムおよび方法
JP2016049255A (ja) 検眼装置
US9398849B2 (en) Ophthalmic apparatus, analysis program, optic media opacity acquiring method, and fluorescence intensity acquiring method
US10321817B2 (en) Image display apparatus, method of processing, and processing apparatus
KR20100010899A (ko) 피검체 관측 장치 및 피검체 관측 방법
JP2021191551A (ja) 眼科検査装置
JP2008237432A (ja) 眼底血流画像化装置
WO2020250922A1 (ja) 眼科装置
TW201827914A (zh) 觀察裝置及觀察方法
JP2022093867A (ja) 光源装置および画像取得装置
WO2021039441A1 (ja) 生体組織の識別方法、生体組織識別装置、および生体組織識別プログラム
JP2012225826A (ja) 干渉光計測装置
EP4166065A1 (en) Ophthalmic device, method for controlling ophthalmic device, and program
JP2023048189A (ja) 試料観察方法、試料観察装置、及び顕微鏡
JP6916006B2 (ja) 眼科装置
JP2022066299A (ja) 眼科撮影装置
JP2021154160A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7071650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150