JP2022129194A - 医療用画像処理装置、医療用画像処理方法、及びプログラム - Google Patents

医療用画像処理装置、医療用画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2022129194A
JP2022129194A JP2021027800A JP2021027800A JP2022129194A JP 2022129194 A JP2022129194 A JP 2022129194A JP 2021027800 A JP2021027800 A JP 2021027800A JP 2021027800 A JP2021027800 A JP 2021027800A JP 2022129194 A JP2022129194 A JP 2022129194A
Authority
JP
Japan
Prior art keywords
image
phosphor
depth position
fluorescence
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021027800A
Other languages
English (en)
Inventor
穂 高橋
Minoru Takahashi
健太郎 深沢
Kentaro Fukazawa
大介 菊地
Daisuke Kikuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021027800A priority Critical patent/JP2022129194A/ja
Priority to PCT/JP2022/003924 priority patent/WO2022181263A1/ja
Priority to CN202280014492.2A priority patent/CN116887760A/zh
Publication of JP2022129194A publication Critical patent/JP2022129194A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022129194000001
【課題】生体組織における観察対象部位の深さ位置に基づく情報を取得するのに有利な技術を提供する。
【解決手段】医療用画像処理装置は、蛍光体を含む生体組織に励起光を照射しつつ生体組織を撮影することで得られる蛍光画像を取得する画像取得部と、蛍光画像に基づいて、蛍光体の深さ位置に関連する深さ位置情報を取得する深さ位置情報取得部と、を備える。深さ位置情報取得部は、蛍光画像を解析して、蛍光画像における蛍光体の像強度分布を示す拡がり情報を取得し、生体組織における像強度分布を表す拡がり関数に対し、拡がり情報を照らし合わせることで、深さ位置情報を取得する。
【選択図】図11

Description

本開示は、医療用画像処理装置、医療用画像処理方法、及びプログラムに関する。
生態観察の技術分野では、生体組織を蛍光試薬によって標識し、その生体組織の蛍光画像が観察されることがある。蛍光試薬を用いることで、白色光下における肉眼での視認や撮影が難しい血管、血流、リンパ流及び腫瘍などの生体組織を、見やすく可視化することができる。術者は、白色光下で得られた通常観察画像とともに蛍光画像を確認しながら手技を行うことで、正確な手術(すなわち蛍光ガイド手術)を行うことができる。
一方、蛍光画像は生体組織中での蛍光散乱によってボケる。特に、生体組織表面から血管等の観察対象(蛍光体)までの距離が大きくなるに従って、蛍光画像のボケの程度は増大する傾向がある。そのため、蛍光画像において蛍光体の境界を明確に把握することが難しい場合がある。また、生体組織における蛍光体の深さ位置を、蛍光画像から視覚的に正確に判断することは簡単ではない。
特許文献1は、波長域が異なる複数の分光画像を用いて血管の深さ位置を判別し、当該深さ位置に応じた血管強調処理を血管の蛍光画像に施す装置を開示する。
特開2010-51350号公報
特許文献1の装置は、血管に白色光を照射して撮影された通常観察画像に基づいて分光画像を取得し、当該分光画像に基づいて血管の深さ位置を判別する。
そのため特許文献1の装置が深さ位置を判別可能な血管等の対象は、通常観察画像に写すことができる対象に限定される。すなわち特許文献1の装置は、通常観察画像に写すことができない対象の深さ位置を判別することができない。したがって特許文献1の装置では、蛍光画像に写すことができても通常観察画像に写すことができない対象については、深さ位置を判別することができない。
そのため特許文献1の装置は、例えば生体組織の表面からの距離が大きい深部組織の深さ位置を判別することはできない。
本開示は、生体組織における観察対象部位の深さ位置に基づく情報を取得するのに有利な技術を提供する。
本開示の一態様は、蛍光体を含む生体組織に励起光を照射しつつ生体組織を撮影することで得られる蛍光画像を取得する画像取得部と、蛍光画像に基づいて、蛍光体の深さ位置に関連する深さ位置情報を取得する深さ位置情報取得部と、を備え、深さ位置情報取得部は、蛍光画像を解析して、蛍光画像における蛍光体の像強度分布を示す拡がり情報を取得し、生体組織における像強度分布を表す拡がり関数に対し、拡がり情報を照らし合わせることで、深さ位置情報を取得する、医療用画像処理装置に関する。
画像取得部は、生体組織に可視光を照射しつつ生体組織を撮影することで得られる可視光画像を取得し、深さ位置情報取得部は、可視光画像を解析することで、生体組織の種類を推定し、推定された生体組織の種類に応じた拡がり関数を取得してもよい。
拡がり情報は、蛍光画像における蛍光体の輝度分布であり、拡がり関数は、蛍光体の輝度分布と、深さ位置情報と、に基づく線拡がり関数であってもよい。
拡がり関数は、蛍光体の蛍光波長に応じて定まる散乱係数をパラメータとして含み、深さ位置情報取得部は、蛍光波長に対応する散乱係数を取得し、散乱係数が反映された拡がり関数と、拡がり情報とに基づいて、深さ位置情報を取得してもよい。
生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、画像取得部は、複数の蛍光体のそれぞれの励起光を生体組織に照射して生体組織を撮影することで得られる蛍光画像を取得し、深さ位置情報取得部は、蛍光画像に基づいて、複数の蛍光体のそれぞれの深さ位置情報を取得してもよい。
深さ位置情報取得部は、複数の蛍光体のそれぞれの深さ位置情報に基づいて、複数の蛍光体間における深さ位置の相対関係を示す相対深さ位置情報を取得してもよい。
医療用画像処理装置は、深さ位置情報に応じた鮮鋭化処理を蛍光画像に対して行う画質調整部を備えてもよい。
医療用画像処理装置は、観察画像を生成する観察画像生成部を備え、画像取得部は、生体組織に可視光を照射しつつ生体組織を撮影することで得られる可視光画像を取得し、観察画像では、鮮鋭化処理を受けた後の蛍光画像の蛍光体に対応する部分が可視光画像に重畳されてもよい。
生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、画像取得部は、複数の蛍光体のそれぞれの励起光を生体組織に照射しつつ生体組織を撮影することで得られる蛍光画像を取得し、深さ位置情報取得部は、蛍光画像に基づいて、複数の蛍光体のそれぞれの深さ位置情報を取得し、観察画像生成部は、蛍光画像の複数の蛍光体に対応する部分に対し、複数の蛍光体間における相対的な明るさの調整を行い、複数の蛍光体間における相対的な明るさの調整が行われた後の蛍光画像の複数の蛍光体に対応する部分を、可視光画像に重畳して観察画像を生成してもよい。
医療用画像処理装置は、観察画像を生成する観察画像生成部を備え、画像取得部は、生体組織に可視光を照射しつつ生体組織を撮影することで得られる可視光画像を取得し、観察画像生成部は、鮮鋭化処理を受けた後の蛍光画像を解析して、生体組織における蛍光体の範囲を特定し、可視光画像において蛍光体の範囲に対応する部分が強調された観察画像を生成してもよい。
観察画像生成部は、可視光画像の蛍光体の範囲に対応する部分が、深さ位置情報に応じて強調された観察画像を生成してもよい。
本開示の他の態様は、蛍光体を含む生体組織に励起光を照射しつつ生体組織を撮影することで得られる蛍光画像を取得する工程と、蛍光画像を解析して、蛍光画像における蛍光体の像強度分布を示す拡がり情報を取得する工程と、生体組織における像強度分布を表す拡がり関数に対し、拡がり情報を照らし合わせることで、蛍光体の深さ位置に関連する深さ位置情報を取得する工程と、を含む医療用画像処理方法に関する。
本開示の他の態様は、コンピュータに、蛍光体を含む生体組織に励起光を照射しつつ生体組織を撮影することで得られる蛍光画像を取得する手順と、蛍光画像を解析して、蛍光画像における蛍光体の像強度分布を示す拡がり情報を取得する手順と、生体組織における像強度分布を表す拡がり関数に対し、拡がり情報を照らし合わせることで、蛍光体の深さ位置に関連する深さ位置情報を取得する手順と、を実行させるためのプログラムに関する。
図1は、医療用観察システムの一例を示すブロック図である。 図2は、医療用画像処理装置の一例を示すブロック図である。 図3は、生体組織の可視光画像(通常観察画像)の一例を示す。 図4は、生体組織の蛍光画像の一例を示す。 図5は、図4に示す蛍光画像に対して鮮鋭化処理を行うことで得られる蛍光画像(すなわち鮮鋭蛍光画像)の一例を示す。 図6は、生体組織の一例のXZ平面に沿う断面図である。 図7は、図6に示す生体組織のXY平面に沿う断面図である。 図8は、蛍光体の観察基準線に沿う1次元輝度分布をガウス関数に基づいて近似することで得られる関数(すなわち近似関数)の一例を示す。 図9は、第1実施形態に係る観察画像の一例を示す図である。 図10は、第1実施形態に係る観察画像の他の例を示す図である。 図11は、第1実施形態に係る医療用画像処理方法の一例を示すフローチャートである。 図12は、2種類の蛍光体(すなわち第1蛍光体及び第2蛍光体)の波長(横軸)と蛍光強度(縦軸)との間の関係例を示す。 図13は、第1蛍光試薬が血液に混入された状態で、手術前に撮影された生体組織の蛍光画像の一例を示す。 図14は、第1蛍光試薬とは異なる第2の蛍光試薬が血液に混入された状態で、手術後に撮影された生体組織の蛍光画像の一例を示す。 図15は、第2実施形態に係る医療用画像処理方法の一例を示すフローチャートである。 図16は、第2実施形態に係る観察画像の一例を示す図である。 図17は、第2実施形態に係る観察画像の他の例を示す図である。 図18は、第3実施形態に係る医療用画像処理方法の一例を示すフローチャートである。 図19は、第3実施形態に係る観察画像の一例を示す図である。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。
以下、図面を参照して、本開示の典型的な実施形態を例示的に説明する。
[第1実施形態]
[医療用観察システム]
図1は、医療用観察システム10の一例を示すブロック図である。図2は、医療用画像処理装置12の一例を示すブロック図である。図3は、生体組織200の可視光画像(通常観察画像)100の一例を示す。図4は、生体組織200の蛍光画像101の一例を示す。図5は、図4に示す蛍光画像101に対して鮮鋭化処理(散乱抑制処理)を行うことで得られる蛍光画像101(すなわち鮮鋭蛍光画像102)の一例を示す。
図1に示す医療用観察システム10は、撮影ユニット11、医療用画像処理装置12及び出力ユニット13を備える。
撮影ユニット11、医療用画像処理装置12及び出力ユニット13は、一体的に設けられてもよいし、別体として設けられてもよい。例えば、撮影ユニット11、医療用画像処理装置12及び出力ユニット13のうちの2以上のコントローラが、共通の制御ユニットにより構成されていてもよい。
撮影ユニット11、医療用画像処理装置12及び出力ユニット13は送受信部(図示省略)を具備し、有線及び/又は無線によって相互間でデータ類の送受信を行うことができる。
撮影ユニット11は、血管201等の蛍光体202を含む生体組織200に可視光を照射しつつ生体組織200を撮影することで、生体組織200の可視光画像100(図3参照)を取得する。また撮影ユニット11は、生体組織200に励起光を照射しつつ、生体組織200を撮影することで、生体組織200の蛍光画像101(図4参照)を取得する。
このように撮影ユニット11は、観察対象である生体組織200に関し、可視光画像100及び蛍光画像101の両方を取得する。
図1に示す撮影ユニット11は、カメラコントローラ21、カメラ記憶部22、撮像部23、光照射部24及び試料支持部25を備える。
カメラコントローラ21は、撮影ユニット11の構成要素を制御する。
カメラ記憶部22は、各種データ及びプログラムを記憶する。撮影ユニット11の構成要素(例えばカメラコントローラ21)は、カメラ記憶部22における各種データ及びプログラムの読み出し、書き換え更新及び削除を、適宜行うことができる。
試料支持部25は、カメラコントローラ21の制御下で、観察対象である生体組織200の試料を、所定の観察位置に位置づけつつ支持する。生体組織200の試料の観察位置への配置は、人手により手動的に行われてもよいし、移送装置(図示省略)により機械的に行われてもよい。
試料支持部25により支持される生体組織200の試料は、蛍光試薬(例えばICG(Indocyanine Green)、5-ALA或いはフルオレセイン)により標識された蛍光体202を含む。
本実施形態は、観察対象の生体組織200に蛍光体202が1つのみ含まれる場合を想定するが、後述のように生体組織200は2以上の蛍光体202を含んでもよい。
光照射部24は、カメラコントローラ21の制御下で、観察位置に位置づけられている生体組織200に対して撮影光(すなわち可視光及び励起光)を照射する。
光照射部24は、可視光照射部24a及び励起光照射部24bを有する。可視光照射部24aは、可視光(特に白色光)を、観察位置に向けて発する。励起光照射部24bは、蛍光体202を蛍光励起するための励起光を、観察位置に向けて発する。
対象部位を蛍光化するために励起波長の異なる複数種類の蛍光試薬が使われる可能性がある場合、励起光照射部24bは、それらの励起波長を持つ複数種類の励起光を発することができる。この場合、励起光照射部24bは、実際に使用される蛍光試薬に応じた波長を持つ励起光を、選択的に発することができる。
可視光照射部24a及び励起光照射部24bは、互いに別々のデバイスにより構成されてもよいし、一部又は全体が共通のデバイスにより構成されてもよい。
撮像部23は、カメラコントローラ21の制御下で、観察位置に位置づけられている生体組織200の撮影を行って撮影画像(すなわち可視光画像100及び蛍光画像101)を取得する。
撮像部23は、可視光撮像部23a及び励起光撮像部23bを有する。可視光撮像部23aは、生体組織200の可視光画像100を取得する。励起光撮像部23bは、生体組織200の蛍光画像101を取得する。
可視光撮像部23a及び励起光撮像部23bは、互いに別々のデバイスにより構成されてもよいし、一部又は全体が共通のデバイスにより構成されてもよい。
このようにして取得された生体組織200の可視光画像100及び蛍光画像101は、カメラコントローラ21の制御下で、撮影ユニット11から医療用画像処理装置12に送信される。
撮影ユニット11から医療用画像処理装置12への可視光画像100及び蛍光画像101の具体的な送信方法は、限定されない。可視光画像100及び蛍光画像101は、撮影直後に撮像部23から医療用画像処理装置12に直接的に送信されてもよいし、撮像部23以外の装置(例えばカメラコントローラ21)から医療用画像処理装置12に送信されてもよい。例えば、可視光画像100及び蛍光画像101は、一旦、カメラ記憶部22に保存された後に、カメラ記憶部22から読み出されて医療用画像処理装置12に送信されてもよい。
医療用画像処理装置12は、生体組織200の撮影画像(特に蛍光画像101)を解析して、蛍光体202の深さ位置情報を取得する。また医療用画像処理装置12は、可視光画像100及び蛍光画像101に基づいて観察画像を生成する。
本実施形態の観察画像では、生体組織200における蛍光体202の場所が視認可能に表される。ただし、観察画像に含まれる具体的な画像及びその他の情報は、限定されない。
医療用画像処理装置12の機能構成例及び画像処理例の詳細は後述する。
出力ユニット13は、出力コントローラ31、出力記憶部32及びディスプレイ装置33を有する。
出力コントローラ31は、出力ユニット13の構成要素を制御する。
出力記憶部32は、各種データ及びプログラムを記憶する。出力ユニット13の構成要素(例えば出力コントローラ31)は、出力記憶部32おける各種データ及びプログラムの読み出し、書き換え更新及び削除を、適宜行うことができる。
ディスプレイ装置33は、医療用画像処理装置12から送られてくる観察画像を表示する。術者等の観察者は、ディスプレイ装置33に表示される観察画像を見ることで、生体組織200における蛍光体202の範囲を確認することができる。
[医療用画像処理装置]
次に、医療用画像処理装置12の機能構成例及び画像処理例について説明する。
図2に示す医療用画像処理装置12は、画像処理コントローラ40、画像取得部41、深さ位置情報取得部42、画質調整部43、観察画像生成部44及び処理記憶部45を備える。医療用画像処理装置12が備えるこれらの機能部は任意のハードウェア及び/又はソフトウェアにより構成可能であり、2以上の機能部が共通の処理ユニットにより実現されてもよい。
画像取得部41は、生体組織200(蛍光体202を含む)の可視光画像100及び蛍光画像101を、撮影ユニット11から取得する。
画像取得部41は、取得した可視光画像100及び蛍光画像101を、他の処理部(画像処理コントローラ40、深さ位置情報取得部42、画質調整部43及び観察画像生成部44)に直接的に送ってもよいし、処理記憶部45に一旦保存してもよい。医療用画像処理装置12の他の処理部(画像処理コントローラ40、深さ位置情報取得部42、画質調整部43及び観察画像生成部44)は、必要に応じて、可視光画像100及び蛍光画像101を処理記憶部45から取得してもよい。
深さ位置情報取得部42は、蛍光画像101に基づいて、蛍光体202の深さ位置に関連する深さ位置情報を取得する。すなわち深さ位置情報取得部42は、蛍光画像101における蛍光体202のボケの程度に基づいて、蛍光体202の深さ位置情報を導き出す。
ここで言う深さ位置情報は、蛍光体202の深さ位置に関連づけられる情報であり、典型的には蛍光体202の深さ位置を直接的に示す情報(例えば組織表面200aからの距離(深さ)の絶対値)である。ただし深さ位置情報は、蛍光体202の深さ位置を間接的に示す情報であってもよいし、深さ位置及び他の情報から導き出される別の情報であってもよい。
本実施形態の深さ位置情報取得部42は、蛍光画像101を解析して、蛍光画像101における蛍光体202の像強度分布を示す拡がり情報を取得する。そして深さ位置情報取得部42は、生体組織200における像強度分布を表す拡がり関数に対し、蛍光体202の拡がり情報を照らし合わせることで、蛍光体202の深さ位置情報を取得する。
蛍光体202の拡がり情報は、蛍光画像101における蛍光体202の実際のボケの程度を示す。蛍光画像101における蛍光体202のボケは、生体組織200中の光散乱に起因するため、蛍光体202の深さ位置に応じて変わる。一方、拡がり関数は、蛍光画像101における蛍光体202のボケの程度が、蛍光体202の深さ位置に応じて定式化された関数である。
したがって深さ位置情報取得部42は、蛍光体202の実際のボケの程度を示す拡がり情報を、定式化された拡がり関数に照らし合わせることで、蛍光体202の深さ位置を導き出す。
図6は、生体組織200の一例のXZ平面に沿う断面図である。図7は、図6に示す生体組織200のXY平面に沿う断面図である。図8は、蛍光体202の観察基準線203に沿う1次元輝度分布をガウス関数に基づいて近似することで得られる関数(すなわち近似関数)の一例を示す。「X軸」、「Y軸」及び「Z軸」は相互に直角を成し、Z軸に沿う方向(すなわちZ軸方向)は深さ方向を示す。
図6に示すように、生体組織200の表面(すなわち「組織表面」)200aから「d」で表される深さに位置する蛍光体202から発せられた蛍光は、組織表面200aに到達するまでの間に、生体組織200により散乱される。その結果、組織表面200aにおいて観察される蛍光体202の蛍光像はボケて、蛍光体202の実際のサイズ(図7参照)よりも大きくなる。
したがって蛍光画像101において、蛍光体202は、実際の範囲よりも拡がった範囲で表れる。
深さ位置情報取得部42は、実際の蛍光体202の範囲よりも広範な「蛍光画像101における蛍光体202の範囲」の情報を「拡がり情報」として取得する。
典型的には、蛍光画像101における蛍光体202の1次元輝度分布を、「蛍光体202の拡がり情報」として取得することができる。本実施形態の深さ位置情報取得部42は、蛍光画像101の輝度分布解析を行って、図7に示すX軸方向に沿った長さLを有する蛍光体202の線状部分(すなわち観察基準線203)に関する1次元輝度分布を取得する。なお、図6及び図7に示す例では、蛍光体202のうちX軸方向に最大長さを有する線状部分が、観察基準線203に設定される。
本実施形態の深さ位置情報取得部42は、このようにして取得される蛍光体202の拡がり情報を、統計的にモデル化された関数(例えばガウス関数やローレンツ関数などの確率分布関数)を基準に近似して、近似関数を取得する。
このようにして得られる近似関数(図8参照)を「蛍光体202の拡がり情報」として使うことで、拡がり情報と拡がり関数(特に線拡がり関数)との間の照合を簡単にして、処理負荷を軽減することができる。
一方、拡がり関数は、典型的には、点光源に関する応答関数である点拡がり関数(PSF: Point Spread Function)或いは線光源に関する応答関数である線拡がり関数(LSF: Line Spread Function)によって表される。実際の蛍光体202は長さを持つため、本実施形態では拡がり関数として線拡がり関数が用いられる。
点拡がり関数(PSF(ρ))及び線拡がり関数(LSF(ρ))は、例えば以下の式により表される。
Figure 2022129194000002
Figure 2022129194000003
Figure 2022129194000004
Figure 2022129194000005
上記の点拡がり関数(PSF(ρ))及び線拡がり関数(LSF(ρ))に関する式1~式4において、「ρ」は、深さ方向(Z軸方向)に対して直角を成す平面(すなわちXY平面)における位置を表す。
「d」は、蛍光体202の深さ位置(すなわち組織表面200aから蛍光体202(特に観察基準線203)までの深さ方向の位置)を表す。
「μ」は、吸収係数を表し、生体組織200の種類(例えば肝臓等の臓器;より具体的には生体組織200を構成する媒質(組成))に応じて定められる。
「μ’」は、等価散乱係数を表し、生体組織200の種類及び蛍光体202の蛍光波長に応じて定められる。
なお、励起光の波長と蛍光体202の蛍光波長とは所定の対応関係があるため、「μ’」は励起光の波長と対応づけて定められうる。殆どの蛍光試薬に関して励起波長及び蛍光波長の差は小さく、蛍光体202のボケの程度に関して励起波長と蛍光波長との差を実質的に無視しても差し支えないこともある。そのような場合には、励起波長を蛍光波長とみなし、「μ’」を励起波長と対応づけて定めることが可能である。また、複数の蛍光試薬が使用される可能性があり且つ各蛍光試薬の蛍光波長が一意に定められる場合、「μ’」は蛍光試薬に対応づけて定められうる。この場合、「μ’」は、間接的に蛍光波長に対応づけられることになる。
このように「μ」及び「μ’」の具体的な値は、予め取得可能であり、データベースに保存しておくことが可能である。本実施形態の処理記憶部45は、多数の「μ」のデータを、生体組織200の種類に対応づけて予め記憶する。同様に処理記憶部45は、多数の「μ’」のデータを、生体組織200の種類及び蛍光体202の蛍光波長に対応づけて予め記憶する。
そのため「μ」の具体的な値は、実際の生体組織200の種類に応じて、処理記憶部45から読み出し可能である。同様に、「μ’」の具体的な値は、実際の生体組織200の種類及び実際の蛍光体202の蛍光波長に応じて、処理記憶部45から読み出し可能である。
「L」は、深さ方向に対して直角を成すXY平面における、蛍光体202の長さを表す(図7参照)。本実施形態では、蛍光体202を代表する観察基準線203のX軸方向長さによって、「L」が表される。
「κ」は、上記式2により表されるように、吸収係数(μ)及び等価散乱係数(μ’)に基づいて定められる。
上記の式1~式4から明らかなように、拡がり関数(すなわち点拡がり関数「PSF(ρ)」及び線拡がり関数「LSF(ρ)」)は、「d」、「μ」、「μ’」及び「L」をパラメータとして含む。したがって、「μ」、「μ’」及び「L」が特定の値に確定すれば、拡がり関数は「d」の関数として表され、上記の式4に示すように蛍光体202の深さ位置「d」を、蛍光体202のXY平面における位置「ρ」の関数(「f(ρ)」)により表すことができる。
本実施形態の深さ位置情報取得部42は、蛍光画像101を解析することで特定される「蛍光画像101中の蛍光体202の範囲」から、観察対象の蛍光体202の長さ「L」を取得する。また深さ位置情報取得部42は、生体組織200の種類及び蛍光体202の蛍光波長に応じて、対応の「μ」及び「μ’」を処理記憶部45から読み出して取得する。そして深さ位置情報取得部42は、「L」、「μ」及び「μ’」の対応値が反映された「LSF(ρ)」を取得し、当該「LSF(ρ)」に基づいて「f(ρ)」を導き出す。
なお深さ位置情報取得部42は、生体組織200の種類及び蛍光体202の蛍光波長を、任意の方法で取得可能である。
本実施形態の深さ位置情報取得部42は、可視光画像100を解析することで生体組織200の種類を推定し、撮影ユニット11から送られてくる情報に基づいて蛍光体202の蛍光波長を判別する。ただし深さ位置情報取得部42は、操作者によって医療用観察システム10(例えば医療用画像処理装置12)に手動的に入力される情報に基づいて、生体組織200の種類や蛍光体202の蛍光波長を取得してもよい。
このようにして深さ位置情報取得部42は、生体組織200の種類に応じて定められる「蛍光体202の輝度分布と、深さ位置情報とに基づく線拡がり関数」を「蛍光体202の深さ位置に基づく拡がり関数」として取得する。そして深さ位置情報取得部42は、蛍光体202の輝度に基づく線拡がり情報(近似関数)と、線拡がり関数とに基づいて、蛍光体202の深さ位置情報を導き出す。
画質調整部43(図2参照)は、蛍光体202の深さ位置情報に応じた鮮鋭化処理を、蛍光画像101に対して行う。
鮮鋭化処理の具体的な方法は限定されない。典型的には、蛍光体202のボケの程度を示す拡がり関数の逆関数を使った鮮鋭化処理が行われ、上述の拡がり関数から導き出される画像復元フィルタが蛍光画像101に適用される。
画質調整部43は、蛍光画像101に対して他の鮮鋭化処理を行ってもよいし、任意の画質調整処理を可視光画像100及び/又は蛍光画像101に対して行ってもよい。
観察画像生成部44は、観察画像103を生成する。観察画像103は、生体組織200における蛍光体202の場所が視認可能に表されていれば、限定されない。
図9は、第1実施形態に係る観察画像103の一例を示す図である。図10は、第1実施形態に係る観察画像103の他の例を示す図である。
一例として、観察画像生成部44は、可視光画像100において蛍光体202の範囲に対応する部分を強調することで、観察画像103を生成することができる(図9参照)。
特に、鮮鋭化処理を受けた蛍光画像101では、蛍光体202のボケが低減され、より正確な蛍光体202の範囲が表れている。そのため観察画像生成部44は、鮮鋭化処理を受けた後の蛍光画像101を解析することで、生体組織200における蛍光体202の範囲をより正確に特定することができる。そして観察画像生成部44は、可視光画像100において、蛍光体202の範囲の対応箇所を強調する処理を行うことで、観察画像103を生成することができる。
この場合、観察画像103を観察する観察者は、可視光画像100上で蛍光体202の範囲を明確に確認することができる。
他の例として、観察画像生成部44は、鮮鋭化処理を受けた後の蛍光画像101の蛍光体202に対応する部分を、可視光画像100の対応箇所に重畳することで、観察画像103を生成することができる(図10参照)。
この場合、観察画像103を観察する観察者は、可視光画像100上で蛍光体202の蛍光状態を視認することができる。なお、観察画像生成部44は、画像処理(例えば色、濃淡及び明るさの調整処理)を行った後の蛍光体202の蛍光画像101を、可視光画像100に重畳することで、観察画像103を生成してもよい。
観察画像103には、蛍光体202の深さ位置情報を直接的に又は間接的に示す情報が反映されてもよい(図9参照)。この場合、観察画像103の観察者は、蛍光体202の深さ位置情報を直感的に把握することができる。
蛍光体202の深さ位置情報を示す情報は、任意の形態で、観察画像103に反映可能である。例えば、観察画像103において、蛍光体202の範囲に対応する部分が、深さ位置情報に応じて強調されてもよい。一例として、観察画像生成部44は、観察画像103のうち蛍光体202の範囲に対応する部分の色、模様、濃淡及び/又は明るさを、対応の蛍光体202の深さ位置情報に応じて調整してもよい。
この場合、蛍光体202の強調表示と蛍光体202の深さ位置情報との関係を示す指標表示が、観察画像103に含まれてもよい。図9に示す例では、蛍光体202の塗りつぶしの濃淡によって蛍光体202の深さ位置が表されており、濃淡表示と深さ位置(すなわち組織表面200aからの距離(0mm~20mm))との関係を示すバー状指標表示が、観察画像103に含まれる。
更に、蛍光体202の深さ位置情報に応じて、生体組織200の可視光画像100及び/又は蛍光画像101の撮影条件の最適化が行われてもよい。すなわち図1に示す撮影ユニット11は、医療用画像処理装置12から送られてくる「蛍光体202の深さ位置情報」に基づいて、撮影条件を調整してもよい。この場合、撮影ユニット11は、例えばカメラ(撮像素子を含む)の駆動条件や生体組織200に照射する撮影光の状態(例えば励起光及び/又は可視光の明るさ)を調整してもよい。
次に、上述の医療用観察システム10(特に医療用画像処理装置12)を使った、医療用画像処理方法の一例を説明する。
図11は、第1実施形態に係る医療用画像処理方法の一例を示すフローチャートである。
まず、医療用画像処理装置12の画像取得部41によって、生体組織200の可視光画像100及び蛍光画像101が、撮影ユニット11から取得される(図11のS1)。
そして、深さ位置情報取得部42が可視光画像100を解析することで、生体組織200の種類が特定される(S2)。 生体組織200の種類を特定するための可視光画像100の具体的な解析方法は限定されず、既知の画像処理方法を用いることで生体組織200の種類を特定することが可能である。
そして深さ位置情報取得部42によって、生体組織200の種類に応じた線拡がり関数が取得される(S3)。本実施形態の深さ位置情報取得部42は、上述のように、処理記憶部45から読み出された対応の吸収係数及び等価散乱係数と、蛍光体202(特に観察基準線203)の長さLと、が反映された線拡がり関数を取得する。
そして深さ位置情報取得部42によって、蛍光画像101が解析されて、蛍光画像101における蛍光体202の輝度に関する線拡がり情報が取得される(S4)。蛍光体202の線拡がり情報を取得するための蛍光画像101の具体的な解析方法は限定されず、既知の画像処理方法を用いることで蛍光体202の線拡がり情報(蛍光体202の観察基準線203に関する輝度分布)を取得することが可能である。
そして深さ位置情報取得部42によって、蛍光体202の線拡がり情報が線拡がり関数に照らし合わされることで、蛍光体202の深さ位置が導き出される(S5)。
そして画質調整部43により、蛍光体202の深さ位置に基づいて最適化された鮮鋭化処理(すなわち光散乱抑制処理)が、蛍光画像101に対して行われる(S6)。これにより、ボケが抑えられた鮮明な蛍光体202の蛍光画像101を得ることができ、蛍光画像101における蛍光体202の範囲を実際の蛍光体202の範囲に近づけることができる。
そして観察画像生成部44によって、可視光画像100及び蛍光画像101(特に鮮鋭化処理後の蛍光画像101)から観察画像103が生成される(S7)。
なお、画質調整部43及び観察画像生成部44は、任意の画像処理を行って、生体組織200の可視光画像100、蛍光画像101及び/又は観察画像103の画質等の状態を調整してもよい。
その後、観察画像103が、医療用画像処理装置12から出力ユニット13に送られ、ディスプレイ装置33に表示される。また必要に応じて、蛍光体202の深さ位置を示す情報が医療用画像処理装置12から撮影ユニット11に送られる。
以上説明したように本実施形態によれば、蛍光画像101における蛍光体202の画像ボケの程度に基づいて、蛍光体202の深さ位置を取得することができる。
そのため、可視光画像100に写る蛍光体202に関してだけではなく、可視光画像100には写らない蛍光体202(例えば生体組織200の深部に位置する蛍光体202)に関しても、深さ位置を適切に取得することができる。また、特殊な装置を設けることなく、生体組織200における蛍光体202の深さ位置を取得することができる。
また、蛍光体202の深さ位置に最適化された画像処理(鮮鋭化処理など)を行うことができる。
これにより、蛍光画像101における蛍光体202の視認性を向上させることができ、生体組織200における蛍光体202のより正確な範囲を特定することができる。また、そのような蛍光画像101に基づいて観察画像103を生成することで、術者等の観察者は、観察画像103から、生体組織200における蛍光体202の状態を簡単且つ正確に把握することができる。
その結果、術者はより正確な手技で手術(例えば内視鏡手術)を行うことが可能になり、手術における癌等の取り残しや正常組織に対するダメージを、効果的に低減することができる。
[第2実施形態]
以下に説明する第2実施形態において、上述の第1実施形態と同一又は対応の要素には、同一の符号を付し、その詳細な説明は省略する。
本実施形態では、蛍光波長が相互に異なる複数の蛍光体202を、生体組織200が含む場合を想定する。例えば、2種類以上の蛍光試薬が用いられて1種類以上の組織(蛍光体202)が標識され、相互に異なる蛍光波長を有する2種類以上の蛍光体202が観察対象の生体組織200に含まれる。
以下の説明において、種類を区別することなく複数の蛍光体を総称する場合には、単に「蛍光体202」と表記する。
図12は、2種類の蛍光体202(すなわち第1蛍光体202a及び第2蛍光体202b)の波長(横軸)と蛍光強度(縦軸)との間の関係例を示す。
図12に示す第1蛍光体202a及び第2蛍光体202bは、相互に異なる波長域で励起され、それぞれのピーク蛍光波長(すなわち最大の蛍光強度を示す蛍光波長)が互いに異なる。具体的には、第1蛍光体202aのピーク蛍光波長Pw1は、第2蛍光体202bのピーク蛍光波長Pw2、Pw3よりも短い。
このように複数種類の蛍光試薬を使って複数種類の蛍光体202を蛍光発色させることにより、1つの観察画像103において複数種類の蛍光体202を、互いに区別された状態で同時に表すことが可能である。術者等の観察者は、そのような観察画像103において、複数種類の蛍光体202を互いに区別しながら同時に観察することが可能である。
このような複数種類の蛍光体202の同時観察は、様々な用途への応用が可能であり、外科手術等の分野においてニーズが今後益々高まることが予想される。
以下に、複数種類の蛍光体202の同時観察の用途例を挙げる。
第1の用途例として、生体組織200中の異なる箇所を別々の蛍光試薬で標識する用途がある。例えば、肝胆膵外科診療において、肝臓の区域同定と肝臓癌領域の同定とを区別して行うケースが挙げられる。
肝臓区域及び肝臓癌領域の両方を1種類の蛍光試薬を使って蛍光発色させる場合、蛍光箇所の境界が肝臓区域及び肝臓癌領域のいずれの境界を示すのか分からない。
一方、第1蛍光試薬により肝臓区域を標識し、第1蛍光試薬とは異なる蛍光波長(特にピーク蛍光波長)を持つ第2蛍光試薬により肝臓癌領域を標識することができる。この場合、術者等の観察者は、蛍光画像から、肝臓区域(第1蛍光体202a)及び肝臓癌領域(第2蛍光体202b)の各々を、両者の境界を明確に区別しつつ把握することができる。したがって術者は、肝臓全体における肝臓癌領域の位置及び範囲をより正確に把握することができ、組織切除範囲の拡大を抑えつつ、肝臓癌を適切に除去することが可能である。
第2の用途例として、生体組織200中の一箇所を別々の蛍光試薬で標識する用途がある。例えば、手術の前後における血流の状態を観察するケースが挙げられる。
図13は、第1蛍光試薬が血液に混入された状態で、手術前に撮影された生体組織200の蛍光画像101の一例を示す。図14は、第1蛍光試薬とは異なる第2の蛍光試薬が血液に混入された状態で、手術後に撮影された生体組織200の蛍光画像101の一例を示す。
手術前に血液に混入される蛍光試薬は、手術後においても血管(特に観察対象部位)に残留することがある。そのため手術前に血液に混入される蛍光試薬と、手術後に血液に混入される蛍光試薬とが同じ場合、手術後に観察される蛍光が、手術前に投与された蛍光試薬によるものか、手術後に投与された蛍光試薬によるものか判断できない。
一方、手術前に血液に混入される第1蛍光試薬の蛍光波長と、手術後に血液に混入される第2蛍光試薬の蛍光波長とが異なる場合、第1蛍光試薬が発する蛍光(図13参照)から、第2蛍光試薬が発する蛍光を明確に区別できる(図14参照)。そのため、第2蛍光試薬を血液に混入させる前に第1蛍光試薬を観察対象部位から取り除く処置(すなわち洗浄処置)を行うことなく、手術後における血流の状態を、蛍光画像101から迅速且つ適切に観察できる。
上記のような複数種類の蛍光体202の同時観察のニーズに応える観点からは、観察画像103における複数の蛍光体202の表示を、蛍光体202の種類(すなわち蛍光試薬の種類)に応じて変えることが好ましい。
蛍光画像101を可視光画像100に重畳することで観察画像103を生成する場合に、蛍光画像101において複数種類の蛍光体202間で明るさに大きな差があると、蛍光画像101及び観察画像103において蛍光体202を視認し難い。
そのため、蛍光画像101のうちの各蛍光体202に対応する部分に対し、蛍光体202の種類に応じた明るさ調整を行うことで、蛍光体202間での明るさの差を低減して、蛍光体202を見やすくすることが可能である。
また、蛍光画像101において第1蛍光体202a及び第2蛍光体202bが相互に重なっている場合、第1蛍光体202aと第2蛍光体202bとの間の相対的な深さ位置関係を蛍光画像101から把握することができない。特に、第1蛍光体202a及び第2蛍光体202bは、蛍光波長が互いに異なるため、生体組織200中における蛍光の散乱の仕方が互いに異なる。そのため、蛍光画像101におけるボケの程度を第1蛍光体202aと第2蛍光体202bとの間で単純に比較しても、第1蛍光体202a及び第2蛍光体202bのどちらがより上方に位置しているのかを判断することは難しい。
そこで、各蛍光体202の深さ位置に応じて、観察画像103における各蛍光体202の表示の色、模様、濃淡及び/又は明るさを、対応の蛍光体202の深さ位置情報に応じて調整してもよい。この場合、観察画像103から、各蛍光体202の深さ位置を把握することができ、また蛍光体202間の相対的な深さ位置関係を把握することができる。
また可視光画像100において蛍光体202の対応範囲を強調表示することで観察画像103を生成する場合、観察画像103において全ての蛍光体202を種類にかかわらず同じように強調表示すると、蛍光体202間の相対的な深さ位置関係を識別できない。また、観察画像103において各蛍光体202の深さ位置情報が反映されていても、全ての蛍光体202が種類によらずに同じように強調表示される場合には、観察画像103において各蛍光体202の種類を識別できない。
そのため観察画像103における各蛍光体202の表示を、深さ位置情報及び蛍光体202の種類の両方に応じて、強調してもよい。この場合、観察画像103から、各蛍光体202の深さ位置及び各蛍光体202の種類の両方を把握することができる。また観察画像103から、蛍光体202間の相対的な深さ位置関係と、蛍光体202の種類間の相対的な深さ位置関係とを把握することもできる。
次に、第2実施形態の医療用観察システム10(特に医療用画像処理装置12)を使った、医療用画像処理方法の一例を説明する。
図15は、第2実施形態に係る医療用画像処理方法の一例を示すフローチャートである。
以下では、生体組織200が2つの蛍光体202(第1蛍光体202a及び第2蛍光体202b)を含む場合について説明する。
第2実施形態では、基本的に、上述の第1実施形態において単一の蛍光体202に対して行われる処理が、複数の蛍光体202(第1蛍光体202a及び第2蛍光体202b)の各々に対して行われる。
まず医療用画像処理装置12の画像取得部41によって、生体組織200の可視光画像100及び蛍光画像101が、撮影ユニット11から取得される(図15のS11)。
生体組織200の可視光画像100は、撮影ユニット11が1回の可視光撮影を行うことによって、得られる。
一方、生体組織200の蛍光画像101は、撮影ユニット11が1回の蛍光撮影を行うことにより得られてもよいし、複数回の蛍光撮影を行うことにより得られてもよい。撮影ユニット11の光照射部24(特に励起光照射部24b)から一度に発する励起光によって第1蛍光体202a及び第2蛍光体202bの両者を適切に励起できる場合には、1回の蛍光撮影により蛍光画像101を得ることが可能である。一方、励起光照射部24bから一度に発する励起光によって第1蛍光体202a及び第2蛍光体202bの両者を適切に励起できない場合、別々の蛍光撮影により、第1蛍光体202aの蛍光画像101及び第2蛍光体202bの蛍光画像101が得られる。
そして、深さ位置情報取得部42が可視光画像100を解析することで、生体組織200の種類が特定される(S12)。
そして深さ位置情報取得部42によって、生体組織200の種類に応じた線拡がり関数が取得される(S13)。本実施形態の深さ位置情報取得部42は、第1蛍光体202aに関する線拡がり関数と、第2蛍光体202bに関する線拡がり関数とを取得する。
そして深さ位置情報取得部42によって、蛍光画像101が解析され、第1蛍光体202a及び第2蛍光体202bのそれぞれについて輝度に関する線拡がり情報が取得される(S14)。
そして深さ位置情報取得部42によって、第1蛍光体202a及び第2蛍光体202bのそれぞれの線拡がり情報が対応の線拡がり関数に照らし合わされることで、第1蛍光体202a及び第2蛍光体202bの深さ位置が導出される(S15)。このように本実施形態の深さ位置情報取得部42は、蛍光画像101に基づいて、複数の蛍光体202(第1蛍光体202a及び第2蛍光体202b)の各々の深さ位置情報を取得する。
そして画質調整部43により、第1蛍光体202a及び第2蛍光体202bの深さ位置に基づいて最適化された鮮鋭化処理が、第1蛍光体202a及び第2蛍光体202bの各々に対して行われる(S16)。
その後、蛍光画像101における第1蛍光体202a及び第2蛍光体202bの相互間の明るさを調整する処理が、蛍光画像101に対して行われる(S17)。これにより、第1蛍光体202a及び第2蛍光体202bの発光強度が大きく異なる場合であっても、第1蛍光体202a及び第2蛍光体202bの明るさが適切に調整される。
この明るさ調整処理は、画質調整部43により行われてもよいし、観察画像生成部44により行われてもよい。明るさ調整が画質調整部43により行われる場合、画質調整部43は、実質的に観察画像生成部44としても機能することになる。
このようにして蛍光画像101の複数の蛍光体202に対応する部分に対し、複数の蛍光体202間における相対的な明るさの調整が行われた後、観察画像103が生成される(S18)。すなわち観察画像生成部44によって、可視光画像100及び蛍光画像101(特に鮮鋭化処理後の蛍光画像101)から観察画像103が生成される。
観察画像103の具体的な生成方法は、特に限定されない。例えば観察画像生成部44は、複数の蛍光体202間における相対的な明るさの調整が行われた後の蛍光画像101の複数の蛍光体202に対応する部分を、可視光画像100に重畳して観察画像103を生成してもよい。また観察画像生成部44は、可視光画像100において、蛍光体202の範囲の対応箇所を強調する処理を行うことで、観察画像103を生成してもよい。
図16は、第2実施形態に係る観察画像103の一例を示す図である。図17は、第2実施形態に係る観察画像103の他の例を示す図である。図16及び図17に示す例では、観察対象の生体組織200に3つの蛍光体202(第1蛍光体202a、第2蛍光体202b及び第3蛍光体202c)が含まれる。
一例として、観察画像生成部44は、上述の図9に示す例と同様に、可視光画像100において蛍光体202a、202b、202cの範囲に対応する部分を強調することで、観察画像103を生成することができる(図16参照)。
図16に示す例では、観察画像103の蛍光体202の範囲に対応する部分の濃淡又は色が、対応の蛍光体202の深さ位置情報に応じて調整される。これにより、観察画像103において蛍光体(図16では第2蛍光体202b及び第3蛍光体202c)同士が重なっていても、重なり合う蛍光体202b、202cを区別して視認することができる。
他の例として、観察画像生成部44は、蛍光体202a、202b、202cをXZ平面に投影した状態を示す観察画像103を生成することができる(図17参照)。例えば、導出された各蛍光体202a、202b、202cの深さ位置に基づいて、観察基準線203を通るXZ平面上に各蛍光体202a、202b、202cを投影することで、図17に示すような観察画像103を生成することができる。なお各蛍光体202a、202b、202cのZ軸方向の厚みが不明の場合、各蛍光体の長さ(L)に応じて各蛍光体の厚みを仮定的に定めてもよい。
この場合、蛍光体202a、202b、202cの相対的な深さ位置関係を、観察画像103から直感的に把握することができる。
図17に示す例では、各蛍光体202a、202b、202cが深さ位置に応じた濃淡で表示されているが、他の基準(例えば蛍光体(蛍光試薬)の種類)に応じた濃淡表示や色分け表示がされてもよい。
以上説明したように本実施形態によれば、複数の蛍光体202が生体組織200に含まれる場合に、観察者は、観察画像103に表された各蛍光体202の深さ位置情報から、複数の蛍光体202間の相対的な深さ位置の関係を把握することができる。
したがって術者等の観察者は、観察画像103から、生体組織200における蛍光体202間の相対的な位置関係を簡単且つ正確に把握することができる。その結果、術者は、蛍光体202間の相対的な位置関係を把握しつつ手術を行うことができ、手技の精度及び安定性を向上させることができる。
[第3実施形態]
第3実施形態において、上述の第1実施形態及び第2実施形態と同一又は対応の要素には、同一の符号を付し、その詳細な説明は省略する。
本実施形態では、蛍光波長が異なる複数種類の蛍光体202を生体組織200が含む場合に、各蛍光体202の深さ位置を直接的に導出することなく、蛍光体202間の深さ位置の相対的な関係が導出される。すなわち、上述の第1実施形態及び第2実施形態では、各蛍光体202の深さ位置の絶対値が導出されるが、第3実施形態では蛍光体202間の相対的な深さ位置関係が導出される。
一例として、上述の拡がり関数(上記の式1~式4参照)のパラメータのうち、等価散乱係数(μ’)及び蛍光体202の長さ(L)は対応の値を取得可能であるが、吸収係数(μ)については対応の値が取得できないケースを想定する。そのようなケースとして、例えば、処理記憶部45が等価散乱係数(μ’)のデータを記憶しているが、吸収係数(μ)を記憶していない場合が考えられる。
この場合、上述の第1実施形態及び第2実施形態と同様に、深さ位置情報取得部42は、蛍光画像101を解析して、蛍光画像101における複数の蛍光体202の各々の拡がり情報を取得し、各蛍光体202の長さ「L」を取得する。
また深さ位置情報取得部42は、可視光画像100を解析して生体組織200の種類を取得し、生体組織200の種類及び各蛍光体202の蛍光波長に基づいて各蛍光体202の等価散乱係数(μ’)を処理記憶部45から取得する。
その結果、生体組織200に含まれる複数の蛍光体202の各々に関し、蛍光体202の深さ位置(d)及び吸収係数(μ)を未知のパラメータとして含む「拡がり情報及び拡がり関数に基づく関係式」を得ることができる。例えば、2つの蛍光体202(すなわち第1蛍光体202a及び第2蛍光体202b)が生体組織200に含まれる場合、拡がり情報及び拡がり関数に基づく上述の関係式が2つ得られる。
このようにして得られる複数の関係式の各々は、対応の蛍光体202の蛍光波長によることなく、対応の蛍光体202の深さ位置とボケの程度を表す。
ここで、吸収係数(μ)の値は生体組織200の種類に応じて定まる。そのため、同一の生体組織200に含まれる複数の蛍光体202の吸収係数(μ)は、同じ値を示す。
したがって、上記の「拡がり情報及び拡がり関数に基づく複数の関係式」を互いに比較することによって、それぞれの蛍光体202の深さ位置の相対関係を把握することが可能である。
例えば、第1蛍光体202a及び第2蛍光体202bに関する2つの上記関係式を比較する場合、実質的に未知のパラメータは、第1蛍光体202aの深さ位置(d)、第2蛍光体202bの深さ位置(d)、及び共通の吸収係数(μ)である。これらの3つの未知のパラメータを含む2つの関係式によれば、第1蛍光体202aの深さ位置と、第2蛍光体202bの深さ位置との間の相対関係を導き出すことが可能である。
このように本実施形態の深さ位置情報取得部42は、それぞれの蛍光体202に関して得られる上述の複数の関係式と、それぞれの蛍光体202の拡がり情報とに基づいて、複数の蛍光体202間における深さ位置の相対関係を示す相対深さ位置情報を取得する。
図18は、第3実施形態に係る医療用画像処理方法の一例を示すフローチャートである。以下では、生体組織200が2つの蛍光体202(第1蛍光体202a及び第2蛍光体202b)を含む場合について説明する。
まず医療用画像処理装置12の画像取得部41によって、生体組織200の可視光画像100及び蛍光画像101が、撮影ユニット11から取得される(図18のS21)。
そして、深さ位置情報取得部42が可視光画像100を解析することで、生体組織200の種類が特定される(S22)。
そして深さ位置情報取得部42によって、第1蛍光体202a及び第2蛍光体202bの各々に関し、生体組織200の種類に応じた線拡がり関数が取得される(S23)。
そして深さ位置情報取得部42が蛍光画像101を解析することで、第1蛍光体202a及び第2蛍光体202bの各々に関し、輝度に関する線拡がり情報が取得される(S24)。
そして深さ位置情報取得部42が、第1蛍光体202a及び第2蛍光体202bの各々の線拡がり情報を、対応の線拡がり関数に照らし合わせることで、第1蛍光体202aと第2蛍光体202bとの間の相対深さ位置情報が導出される(S25)。一例として、深さ位置情報取得部42は、蛍光画像101に基づいて、第1蛍光体202a及び第2蛍光体202bのそれぞれの深さ位置情報を取得する。そして深さ位置情報取得部42は、第1蛍光体202aの深さ位置情報と、第2蛍光体202bの深さ位置情報とを比較することで、第1蛍光体202aと第2蛍光体202bとの間の相対深さ位置情報を導き出すことができる。
その後、本実施形態の画質調整部43は、蛍光画像101における第1蛍光体202a及び第2蛍光体202bの相互間の明るさを調整する処理を、蛍光画像101に対して行う(S26)。
そして観察画像生成部44によって、可視光画像100及び蛍光画像101(特に明るさ調整後の蛍光画像101)から観察画像103が生成される(S27)。
例えば、観察画像生成部44は、複数の蛍光体202間における相対的な明るさの調整が行われた後の蛍光画像101の複数の蛍光体202に対応する部分を、可視光画像100に重畳して観察画像103を生成することができる。或いは、観察画像生成部44は、蛍光画像101から各蛍光体202の範囲を取得し、各蛍光体202の範囲に対応する可視光画像100中の部分を強調することで、観察画像103を生成することができる。
図19は、第3実施形態に係る観察画像103の一例を示す図である。
図19に示す観察画像103では、第1蛍光体202a及び第2蛍光体202bの相対深さ位置に応じて、第1蛍光体202a及び第2蛍光体202bの塗りつぶし色が変わる。第1蛍光体202aの深さ位置と第2蛍光体202b深さ位置とが近いほど、図19に示すバー状指標表示の中央に近い色で、第1蛍光体202a及び第2蛍光体202bは塗りつぶされる。一方、第1蛍光体202aの深さ位置と第2蛍光体202b深さ位置とが遠いほど、図19に示すバー状指標表示の両端に近い色で、第1蛍光体202a及び第2蛍光体202bは塗りつぶされる。
なお図19に示す例では、観察画像103中の各蛍光体202の表示濃度によって相対深さ位置が表されているが、他の表示状態(例えば濃淡や明るさ等)に基づいて蛍光体202間の相対深さ位置が観察画像103中に表されてもよい。
以上説明したように本実施形態によれば、複数の蛍光体202が生体組織200に含まれる場合に、観察者は、観察画像103に表された各蛍光体202の深さ位置情報から、複数の蛍光体202間の相対的な深さ位置の関係を把握することができる。
[応用例]
以下に、上述の医療用観察システム10、医療用画像処理装置12及び医療用画像処理方法を応用可能な顕微鏡システムの一例について説明する。なお、上述の医療用観察システム10、医療用画像処理装置12及び医療用画像処理方法は、下述の顕微鏡システム以外の任意のシステム、装置及び方法等に対しても応用可能である。
本開示の顕微鏡システムの構成例を図20に示す。図20に示される顕微鏡システム5000は、顕微鏡装置5100、制御部5110、及び情報処理部5120を含む。顕微鏡装置5100は、光照射部5101、光学部5102、及び信号取得部5103を備えている。顕微鏡装置5100はさらに、生体由来試料Sが配置される試料載置部5104を備えていてよい。なお、顕微鏡装置の構成は図20に示されるものに限定されず、例えば、光照射部5101は、顕微鏡装置5100の外部に存在してもよく、例えば顕微鏡装置5100に含まれない光源が光照射部5101として利用されてもよい。また、光照射部5101は、光照射部5101と光学部5102とによって試料載置部5104が挟まれるように配置されていてよく、例えば、光学部5102が存在する側に配置されてもよい。顕微鏡装置5100は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの1又は2以上で構成されてよい。
顕微鏡システム5000は、いわゆるWSI(Whole Slide Imaging)システム又はデジタルパソロジーシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム5000は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
例えば、顕微鏡システム5000は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置5100が、当該手術の対象者から取得された生体由来試料Sのデータを取得し、そして、当該データを情報処理部5120へと送信しうる。当該遠隔病理診断では、顕微鏡装置5100は、取得した生体由来試料Sのデータを、顕微鏡装置5100とは離れた場所(別の部屋又は建物など)に存在する情報処理装置5120へと送信しうる。そして、これらの診断において、情報処理装置5120は、当該データを受信し、出力する。出力されたデータに基づき、情報処理装置5120のユーザが、病理診断を行いうる。
(生体由来試料)
生体由来試料Sは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分(血液や尿等)、培養物、又は生細胞(心筋細胞、神経細胞、及び受精卵など)であってよい。
前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質(表面抗原など)を示すための染色であってよく、HE(Hematoxylin-Eosin)染色、免疫組織化学(Immunohistochemistry)染色を挙げることができる。前記生体由来試料は、1又は2以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
前記標本は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報(バーコード情報又はQRコード(商標)情報等)を付されて管理されてよい。
(光照射部)
光照射部5101は、生体由来試料Sを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、LEDランプ、水銀ランプ、及びキセノンランプのうちの1又は2以上であってよい。蛍光観察における光源の種類及び/又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型(同軸落射型若しくは側射型)の構成を有しうる。
(光学部)
光学部5102は、生体由来試料Sからの光を信号取得部5103へと導くように構成される。光学部は、顕微鏡装置5100が生体由来試料Sを観察又は撮像することを可能とするように構成されうる。
光学部5102は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
また、光学部5102は、生体由来試料Sからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム(ウォラストンプリズム)、及び回折格子のうちの1又は2以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
(信号取得部)
信号取得部5103は、生体由来試料Sからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部は、当該電気信号に基づき、生体由来試料Sに関するデータを取得することができるように構成されてよい。信号取得部は、生体由来試料Sの像(画像、特には静止画像、タイムラプス画像、又は動画像)のデータを取得することができるように構成されてよく、特に光学部によって拡大された画像のデータを取得するように構成されうる。信号取得部は、1次元又は2次元に並んで配列された複数の画素を備えている1つ又は複数の撮像素子、CMOS又はCCDなど、を含む。信号取得部は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、AFなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部(CPU、DSP、及びメモリのうちの1つ、2つ、又は3つを含む)、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは1チップの半導体装置として構成されうる。
(制御部)
制御部5110は、顕微鏡装置5100による撮像を制御する。制御部は、撮像制御のために、光学部5102及び/又は試料載置部5104の移動を駆動して、光学部と試料載置部との間の位置関係を調節しうる。制御部5110は、光学部及び/又は試料載置部を、互いに近づく又は離れる方向(例えば対物レンズの光軸方向)に移動させうる。また、制御部は、光学部及び/又は試料載置部を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部は、撮像制御のために、光照射部5101及び/又は信号取得部5103を制御してもよい。
(試料載置部)
試料載置部5104は、生体由来試料の試料載置部上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部5104は、生体由来試料の位置を、対物レンズの光軸方向及び/又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
(情報処理部)
情報処理部5120は、顕微鏡装置5100が取得したデータ(撮像データなど)を、顕微鏡装置5100から取得しうる。情報処理部は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
情報処理部5120は、制御部5110に撮像制御のためのデータを送信してよく、当該データを受信した制御部5110が、当該データに従い顕微鏡装置5100による撮像を制御してもよい。
情報処理部5120は、汎用のコンピュータなどの情報処理装置として構成されてよく、CPU、RAM、及びROMを備えていてよい。情報処理部は、顕微鏡装置5100の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
顕微鏡装置5100による生体由来試料Sの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
撮像方式の一つの例は以下のとおりである。顕微鏡装置は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分(目的組織切片、目的細胞、又は目的病変部が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
図21に示されるように、顕微鏡装置は、生体由来試料S全体をカバーする撮像対象領域Rを特定する。そして、顕微鏡装置は、撮像対象領域Rを16の分割領域へと分割する。そして、顕微鏡装置は分割領域R1の撮像を行い、そして次に、その分割領域R1に隣接する領域など、撮像対象領域Rに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域R以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。
或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、2次元撮像素子(エリアセンサ)又は1次元撮像素子(ラインセンサ)であってよい。信号取得部は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置及び/又は試料載置部を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置及び/又は試料載置部の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理装置は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
撮像方式の他の例は以下のとおりである。顕微鏡装置は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分(目的組織切片又は目的細胞が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置は、撮像対象領域の一部の領域(「分割スキャン領域」ともいう)を、光軸と垂直な面内における一つの方向(「スキャン方向」ともいう)へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。
図22に示されるように、顕微鏡装置は、生体由来試料Sのうち、組織切片が存在する領域(グレーの部分)を撮像対象領域Saとして特定する。そして、顕微鏡装置は、撮像対象領域Saのうち、分割スキャン領域Rsを、Y軸方向へスキャンする。顕微鏡装置は、分割スキャン領域Rsのスキャンが完了したら、次に、X軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Saの全てについてスキャンが完了するまで、この動作が繰り返しされる。
各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、1次元撮像素子(ラインセンサ)又は2次元撮像素子(エリアセンサ)であってよい。信号取得部は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置及び/又は試料載置部を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理装置は、隣り合う複数の分割スキャン領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
本明細書で開示されている実施形態及び変形例はすべての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる1又は複数の手順(ステップ)をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的(non-transitory)な記録媒体によって、上述の技術的思想が具現化されてもよい。
本開示は以下の構成を取ることもできる。
[項目1]
蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する画像取得部と、
前記蛍光画像に基づいて、前記蛍光体の深さ位置に関連する深さ位置情報を取得する深さ位置情報取得部と、を備え、
前記深さ位置情報取得部は、
前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得し、
前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記深さ位置情報を取得する、医療用画像処理装置。
[項目2]
前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
前記深さ位置情報取得部は、
前記可視光画像を解析することで、前記生体組織の種類を推定し、
推定された前記生体組織の種類に応じた前記拡がり関数を取得する項目1に記載の医療用画像処理装置。
[項目3]
前記拡がり情報は、前記蛍光画像における前記蛍光体の輝度分布であり、
前記拡がり関数は、前記蛍光体の輝度分布と、前記深さ位置情報と、に基づく線拡がり関数である項目1又は2に記載の医療用画像処理装置。
[項目4]
前記拡がり関数は、前記蛍光体の蛍光波長に応じて定まる散乱係数をパラメータとして含み、
前記深さ位置情報取得部は、
前記蛍光波長に対応する散乱係数を取得し、
前記散乱係数が反映された前記拡がり関数と、前記拡がり情報とに基づいて、前記深さ位置情報を取得する項目1~3のいずれかに記載の医療用画像処理装置。
[項目5]
前記生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、
前記画像取得部は、前記複数の蛍光体のそれぞれの前記励起光を前記生体組織に照射して前記生体組織を撮影することで得られる前記蛍光画像を取得し、
前記深さ位置情報取得部は、前記蛍光画像に基づいて、前記複数の蛍光体のそれぞれの前記深さ位置情報を取得する項目1~4のいずれかに記載の医療用画像処理装置。
[項目6]
前記深さ位置情報取得部は、前記複数の蛍光体のそれぞれの前記深さ位置情報に基づいて、前記複数の蛍光体間における前記深さ位置の相対関係を示す相対深さ位置情報を取得する項目5に記載の医療用画像処理装置。
[項目7]
前記深さ位置情報に応じた鮮鋭化処理を前記蛍光画像に対して行う画質調整部を備える項目1~6のいずれかに記載の医療用画像処理装置。
[項目8]
観察画像を生成する観察画像生成部を備え、
前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
前記観察画像では、前記鮮鋭化処理を受けた後の前記蛍光画像の前記蛍光体に対応する部分が前記可視光画像に重畳される項目7に記載の医療用画像処理装置。
[項目9]
前記生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、
前記画像取得部は、前記複数の蛍光体のそれぞれの前記励起光を前記生体組織に照射しつつ前記生体組織を撮影することで得られる前記蛍光画像を取得し、
前記深さ位置情報取得部は、前記蛍光画像に基づいて、前記複数の蛍光体のそれぞれの前記深さ位置情報を取得し、
前記観察画像生成部は、
前記蛍光画像の前記複数の蛍光体に対応する部分に対し、前記複数の蛍光体間における相対的な明るさの調整を行い、
前記複数の蛍光体間における相対的な明るさの調整が行われた後の前記蛍光画像の前記複数の蛍光体に対応する部分を、前記可視光画像に重畳して前記観察画像を生成する項目8に記載の医療用画像処理装置。
[項目10]
観察画像を生成する観察画像生成部を備え、
前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
前記観察画像生成部は、
前記鮮鋭化処理を受けた後の前記蛍光画像を解析して、前記生体組織における前記蛍光体の範囲を特定し、
前記可視光画像において前記蛍光体の範囲に対応する部分が強調された前記観察画像を生成する項目7に記載の医療用画像処理装置。
[項目11]
前記観察画像生成部は、前記可視光画像の前記蛍光体の範囲に対応する部分が、前記深さ位置情報に応じて強調された前記観察画像を生成する項目10に記載の医療用画像処理装置。
[項目12]
蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで蛍光画像を取得する撮影ユニットと、
前記蛍光画像を解析する医療用画像処理装置と、を備え、
前記医療用画像処理装置は、
前記蛍光画像を取得する画像取得部と、
前記蛍光画像に基づいて、前記蛍光体の深さ位置に関連する深さ位置情報を取得する深さ位置情報取得部と、を有し、
前記深さ位置情報取得部は、
前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得し、
前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記深さ位置情報を取得する、医療用観察システム。
[項目13]
前記生体組織における前記蛍光体の場所が視認可能に表された観察画像を表示するディスプレイ装置を備え、
前記撮影ユニットは、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで可視光画像を取得し、
前記医療用画像処理装置は、前記可視光画像及び前記蛍光画像に基づいて前記観察画像を生成する観察画像生成部を有する、項目12に記載の医療用観察システム。
[項目14]
前記撮影ユニットは、前記深さ位置情報に基づいて撮影条件を調整する、項目12又は13に記載の医療用観察システム。
[項目15]
蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する工程と、
前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得する工程と、
前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記蛍光体の深さ位置に関連する深さ位置情報を取得する工程と、
を含む医療用画像処理方法。
[項目16]
コンピュータに、
蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する手順と、
前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得する手順と、
前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記蛍光体の深さ位置に関連する深さ位置情報を取得する手順と、
を実行させるためのプログラム。
10 医療用観察システム
11 撮影ユニット
12 医療用画像処理装置
13 出力ユニット
21 カメラコントローラ
22 カメラ記憶部
23 撮像部
24 光照射部
25 試料支持部
31 出力コントローラ
32 出力記憶部
33 ディスプレイ装置
40 画像処理コントローラ
41 画像取得部
42 深さ位置情報取得部
43 画質調整部
44 観察画像生成部
45 処理記憶部
100 可視光画像
101 蛍光画像
102 鮮鋭蛍光画像
103 観察画像
200 生体組織
200a 組織表面
201 血管
202 蛍光体
203 観察基準線

Claims (13)

  1. 蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する画像取得部と、
    前記蛍光画像に基づいて、前記蛍光体の深さ位置に関連する深さ位置情報を取得する深さ位置情報取得部と、を備え、
    前記深さ位置情報取得部は、
    前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得し、
    前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記深さ位置情報を取得する、医療用画像処理装置。
  2. 前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
    前記深さ位置情報取得部は、
    前記可視光画像を解析することで、前記生体組織の種類を推定し、
    推定された前記生体組織の種類に応じた前記拡がり関数を取得する請求項1に記載の医療用画像処理装置。
  3. 前記拡がり情報は、前記蛍光画像における前記蛍光体の輝度分布であり、
    前記拡がり関数は、前記蛍光体の輝度分布と、前記深さ位置情報と、に基づく線拡がり関数である請求項1に記載の医療用画像処理装置。
  4. 前記拡がり関数は、前記蛍光体の蛍光波長に応じて定まる散乱係数をパラメータとして含み、
    前記深さ位置情報取得部は、
    前記蛍光波長に対応する散乱係数を取得し、
    前記散乱係数が反映された前記拡がり関数と、前記拡がり情報とに基づいて、前記深さ位置情報を取得する請求項1に記載の医療用画像処理装置。
  5. 前記生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、
    前記画像取得部は、前記複数の蛍光体のそれぞれの前記励起光を前記生体組織に照射して前記生体組織を撮影することで得られる前記蛍光画像を取得し、
    前記深さ位置情報取得部は、前記蛍光画像に基づいて、前記複数の蛍光体のそれぞれの前記深さ位置情報を取得する請求項1に記載の医療用画像処理装置。
  6. 前記深さ位置情報取得部は、前記複数の蛍光体のそれぞれの前記深さ位置情報に基づいて、前記複数の蛍光体間における前記深さ位置の相対関係を示す相対深さ位置情報を取得する請求項5に記載の医療用画像処理装置。
  7. 前記深さ位置情報に応じた鮮鋭化処理を前記蛍光画像に対して行う画質調整部を備える請求項1に記載の医療用画像処理装置。
  8. 観察画像を生成する観察画像生成部を備え、
    前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
    前記観察画像では、前記鮮鋭化処理を受けた後の前記蛍光画像の前記蛍光体に対応する部分が前記可視光画像に重畳される請求項7に記載の医療用画像処理装置。
  9. 前記生体組織は、蛍光波長が相互に異なる複数の蛍光体を含み、
    前記画像取得部は、前記複数の蛍光体のそれぞれの前記励起光を前記生体組織に照射しつつ前記生体組織を撮影することで得られる前記蛍光画像を取得し、
    前記深さ位置情報取得部は、前記蛍光画像に基づいて、前記複数の蛍光体のそれぞれの前記深さ位置情報を取得し、
    前記観察画像生成部は、
    前記蛍光画像の前記複数の蛍光体に対応する部分に対し、前記複数の蛍光体間における相対的な明るさの調整を行い、
    前記複数の蛍光体間における相対的な明るさの調整が行われた後の前記蛍光画像の前記複数の蛍光体に対応する部分を、前記可視光画像に重畳して前記観察画像を生成する請求項8に記載の医療用画像処理装置。
  10. 観察画像を生成する観察画像生成部を備え、
    前記画像取得部は、前記生体組織に可視光を照射しつつ前記生体組織を撮影することで得られる可視光画像を取得し、
    前記観察画像生成部は、
    前記鮮鋭化処理を受けた後の前記蛍光画像を解析して、前記生体組織における前記蛍光体の範囲を特定し、
    前記可視光画像において前記蛍光体の範囲に対応する部分が強調された前記観察画像を生成する請求項7に記載の医療用画像処理装置。
  11. 前記観察画像生成部は、前記可視光画像の前記蛍光体の範囲に対応する部分が、前記深さ位置情報に応じて強調された前記観察画像を生成する請求項10に記載の医療用画像処理装置。
  12. 蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する工程と、
    前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得する工程と、
    前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記蛍光体の深さ位置に関連する深さ位置情報を取得する工程と、
    を含む医療用画像処理方法。
  13. コンピュータに、
    蛍光体を含む生体組織に励起光を照射しつつ前記生体組織を撮影することで得られる蛍光画像を取得する手順と、
    前記蛍光画像を解析して、前記蛍光画像における前記蛍光体の像強度分布を示す拡がり情報を取得する手順と、
    前記生体組織における像強度分布を表す拡がり関数に対し、前記拡がり情報を照らし合わせることで、前記蛍光体の深さ位置に関連する深さ位置情報を取得する手順と、
    を実行させるためのプログラム。
JP2021027800A 2021-02-24 2021-02-24 医療用画像処理装置、医療用画像処理方法、及びプログラム Pending JP2022129194A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021027800A JP2022129194A (ja) 2021-02-24 2021-02-24 医療用画像処理装置、医療用画像処理方法、及びプログラム
PCT/JP2022/003924 WO2022181263A1 (ja) 2021-02-24 2022-02-02 医療用画像処理装置、医療用画像処理方法、及びプログラム
CN202280014492.2A CN116887760A (zh) 2021-02-24 2022-02-02 医用图像处理设备、医用图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021027800A JP2022129194A (ja) 2021-02-24 2021-02-24 医療用画像処理装置、医療用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022129194A true JP2022129194A (ja) 2022-09-05

Family

ID=83048098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021027800A Pending JP2022129194A (ja) 2021-02-24 2021-02-24 医療用画像処理装置、医療用画像処理方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP2022129194A (ja)
CN (1) CN116887760A (ja)
WO (1) WO2022181263A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5257891B2 (ja) * 2007-12-05 2013-08-07 富士フイルム株式会社 画像処理システムおよびプログラム

Also Published As

Publication number Publication date
WO2022181263A1 (ja) 2022-09-01
CN116887760A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
EP3540494B1 (en) Augmented reality surgical microscope and microscopy method
US10580128B2 (en) Whole slide multispectral imaging systems and methods
JP5185151B2 (ja) 顕微鏡観察システム
JP2012122852A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5498282B2 (ja) 蛍光観察装置
EP2589328B1 (en) Image processing apparatus and image processing method
JP2014212876A (ja) 腫瘍領域判別装置及び腫瘍領域判別方法
WO2022181263A1 (ja) 医療用画像処理装置、医療用画像処理方法、及びプログラム
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
KR101986658B1 (ko) 생물학적 샘플의 3차원 영상 획득방법
WO2022259647A1 (ja) 情報処理装置、情報処理方法、及び顕微鏡システム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022209262A1 (ja) 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
JP2014161500A (ja) 画像処理装置、眼科撮影装置及び方法、並びにプログラム
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022270015A1 (ja) 生体標本観察装置及び生体標本観察システム
WO2023248954A1 (ja) 生体試料観察システム、生体試料観察方法及びデータセット作成方法
JP2011244952A (ja) 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法
JP2022156634A (ja) 観察装置用照明装置、観察装置及び観察システム