JP2021003347A - 医療用画像処理装置及び医療用観察システム - Google Patents

医療用画像処理装置及び医療用観察システム Download PDF

Info

Publication number
JP2021003347A
JP2021003347A JP2019118617A JP2019118617A JP2021003347A JP 2021003347 A JP2021003347 A JP 2021003347A JP 2019118617 A JP2019118617 A JP 2019118617A JP 2019118617 A JP2019118617 A JP 2019118617A JP 2021003347 A JP2021003347 A JP 2021003347A
Authority
JP
Japan
Prior art keywords
value
image
light
pixel
wavelength band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019118617A
Other languages
English (en)
Inventor
陽久 田中
Akihisa Tanaka
陽久 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2019118617A priority Critical patent/JP2021003347A/ja
Publication of JP2021003347A publication Critical patent/JP2021003347A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】観察に適した重畳画像を生成すること。【解決手段】医療用画像処理装置9は、第1の波長帯域の光が照射された観察対象からの光を撮像した第1の撮像画像と、励起光が照射された観察対象からの蛍光を撮像した第2の撮像画像とを重畳して重畳画像を生成する重畳画像生成部934を備える。重畳画像生成部934は、重畳画像における生成対象となる対象画素のCb値及びCr値の少なくとも一方の色差値については、第1の撮像画像における対象画素に対応する第1の対応画素の色差値と既定の色差値とを第2の撮像画像における対象画素に対応する第2の対応画素のY値に基づくアルファ値を用いてアルファブレンドすることで生成し、重畳画像における対象画素のY値については、第2の対応画素のY値が最大値となった場合であっても、第1の対応画素のY値の成分、または、第2の対応画素のY値の成分を含む値とする。【選択図】図2

Description

本発明は、医療用画像処理装置及び医療用観察システムに関する。
従来、第1,第2の撮像画像をそれぞれ取得し、当該第1,第2の撮像画像を対応する画素同士で重畳して重畳画像を生成する医療用画像処理装置が知られている(例えば、特許文献1参照)。
ここで、第1の撮像画像は、第1の波長帯域の光が観察対象に照射され、当該観察対象で反射された光を撮像素子にて撮像した画像である。また、第2の撮像画像は、第1の波長帯域とは異なる第2の波長帯域の励起光が観察対象に照射され、当該励起光によって励起された当該観察対象からの蛍光を撮像素子にて撮像した画像である。
そして、特許文献1に記載の医療用画像処理装置では、重畳画像における生成対象となる対象画素の画素値(RGB値)について、第1の撮像画像における当該対象画素に対応する第1の対応画素の画素値(RGB値)と特定の擬似色のRGB値とをアルファ値を用いた比率で重畳するアルファブレンド処理により生成している。当該アルファ値は、第2の撮像画像における当該対象画素に対応する第2の対応画素の蛍光成分の強度に基づく値である。
米国特許出願公開第2014/276008号明細書
しかしながら、特許文献1に記載の医療用画像処理装置では、上述したようにアルファブレンドしているため、第2の対応画素の蛍光成分の強度が高い場合には、対象画素の画素値(RGB値)において、第1の対応画素の画素値(RGB値)の成分が含まれる割合が小さくなり、逆に特定の擬似色のRGB値の成分が含まれる割合が大きくなる。その結果、重畳画像において、蛍光成分の強度が高い領域では、観察対象の構造や輪郭の鮮明化に寄与する第1の対応画素の画素値(RGB値)の成分が含まれる割合が小さくなるため、当該観察対象の構造や輪郭が不鮮明になってしまう。すなわち、観察に適した重畳画像を生成することが難しい、という問題がある。
本発明は、上記に鑑みてなされたものであって、観察に適した重畳画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る医療用画像処理装置は、第1の波長帯域とは異なる第2の波長帯域の励起光が照射されることで蛍光を発する観察対象であり、前記第1の波長帯域の光が照射された前記観察対象からの光を撮像した第1の撮像画像と、前記励起光が照射された前記観察対象からの前記蛍光を撮像した第2の撮像画像とを取得する撮像画像取得部と、前記第1の撮像画像と前記第2の撮像画像とを対応する画素同士で重畳して重畳画像を生成する重畳画像生成部とを備え、前記重畳画像生成部は、前記重畳画像における生成対象となる対象画素のCb値及びCr値の少なくとも一方の色差値については、前記第1の撮像画像における前記対象画素に対応する第1の対応画素の色差値と既定の色差値とを前記第2の撮像画像における前記対象画素に対応する第2の対応画素のY値に基づくアルファ値を用いてアルファブレンドすることで生成し、前記重畳画像における前記対象画素のY値については、前記第2の対応画素のY値が最大値となった場合であっても、前記第1の対応画素のY値の成分、または、前記第2の対応画素のY値の成分を含む値とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記重畳画像生成部は、前記重畳画像における前記対象画素のY値については、前記第1の対応画素のY値と前記第1の対応画素のY値の成分、または、前記第2の対応画素のY値の成分を含む値とを前記アルファ値を用いてアルファブレンドすることで生成する。
また、本発明に係る医療用画像処理装置では、上記発明において、前記重畳画像生成部は、前記重畳画像における前記対象画素のY値については、前記第1の対応画素のY値とする。
また、本発明に係る医療用観察システムは、第1の波長帯域の光、及び前記第1の波長帯域とは異なる第2の波長帯域の励起光を出射する光源装置と、前記励起光が照射されることで蛍光を発する観察対象であり、前記第1の波長帯域の光が照射された前記観察対象からの光を撮像することで第1の撮像画像を生成するとともに、前記励起光が照射された前記観察対象からの前記蛍光を撮像することで第2の撮像画像を生成する撮像装置と、前記第1の撮像画像及び前記第2の撮像画像を処理する上述した医療用画像処理装置とを備える。
本発明に係る医療用画像処理装置及び医療用観察システムによれば、観察に適した重畳画像を生成することができる。
図1は、実施の形態1に係る医療用観察システムの構成を示す図である。 図2は、カメラヘッド及び制御装置の構成を示すブロック図である。 図3は、重畳画像生成部の機能を示すブロック図である。 図4は、制御装置の動作を示すフローチャートである。 図5は、制御装置の動作を説明する図である。 図6は、制御装置の動作を説明する図である。 図7は、制御装置の動作を説明する図である。 図8は、実施の形態1の効果を説明する図である。 図9は、実施の形態2に係る重畳画像生成部の機能を示すブロック図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔医療用観察システムの概略構成〕
図1は、本実施の形態1に係る医療用観察システム1の構成を示す図である。
医療用観察システム1は、医療分野において用いられ、被写体となる生体内(観察対象)を撮像(観察)するシステムである。この医療用観察システム1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
本実施の形態1では、挿入部2は、硬性内視鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内に照射する光を供給する。この光源装置3は、図1に示すように、第1の光源31と、第2の光源32とを備える。
第1の光源31は、第1の波長帯域の光を出射(発光)する。本実施の形態1では、第1の光源31は、白色光(第1の波長帯域の光)を発光するLED(Light Emitting Diode)で構成されている。
第2の光源32は、第1の波長帯域とは異なる第2の波長帯域の励起光を出射(発光)する。本実施の形態1では、近赤外の波長帯域の近赤外励起光(第2の波長帯域の励起光)を発光する半導体レーザで構成されている。
第2の光源32が発光する近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発光する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定してもよい。
そして、本実施の形態1に係る光源装置3では、制御装置9による制御の下、交互に繰り返される第1,第2の期間のうち、第1の期間において、第1の光源31が駆動する。すなわち、第1の期間では、光源装置3は、通常光(白色光)を発光する。また、光源装置3では、制御装置9による制御の下、第2の期間において、第2の光源32が駆動する。すなわち、第2の期間では、光源装置3は、近赤外励起光を発光する。
なお、本実施の形態1では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光(通常光や近赤外励起光)を一端から他端に伝達し、挿入部2に供給する。生体内に通常光(白色光)が照射された場合には、当該生体内を介した通常光(当該生体内で反射された通常光)が挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された当該通常光を第1の被写体像と記載する。また、生体内に近赤外励起光が照射された場合には、当該生体内を介した近赤外励起光(当該生体内で反射された近赤外励起光)と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が励起され、当該蛍光物質から発せられた蛍光とが挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された近赤外励起光と蛍光とを第2の被写体像と記載する。
カメラヘッド5は、本発明に係る撮像装置に相当する。このカメラヘッド5は、挿入部2の基端(接眼部21(図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された第1の被写体像(通常光)や第2の被写体像(近赤外励起光及び蛍光)を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
第1伝送ケーブル6は、一端がコネクタCN1(図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
制御装置9は、本発明に係る医療用画像処理装置に相当する。この制御装置9は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、撮像部52と、通信部53とを備える。
レンズユニット51は、1または複数のレンズを用いて構成され、挿入部2にて集光された第1の被写体像(通常光)や第2の被写体像(近赤外励起光及び蛍光)を撮像部52(撮像素子522)の撮像面に結像する。
撮像部52は、制御装置9による制御の下、生体内を撮像する。この撮像部52は、図2に示すように、励起光カットフィルタ521と、撮像素子522と、信号処理部523とを備える。
励起光カットフィルタ521は、レンズユニット51と撮像素子522との間に設けられ、特定の波長帯域を除去するバンドストップフィルタで構成されている。なお、以下では、説明の便宜上、励起光カットフィルタ521にてカット(除去)する波長帯域をカット帯域と記載し、当該カット帯域よりも短波長側であって当該励起光カットフィルタ521を透過する波長帯域を短波側透過帯域と記載し、当該カット帯域よりも長波長側であって当該励起光カットフィルタ521を透過する波長帯域を長波側透過帯域と記載する。
ここで、カット帯域は、近赤外励起光の波長帯域のうち少なくとも一部の波長帯域を含む。本実施の形態1では、カット帯域は、近赤外励起光の波長帯域の一部の波長帯域を含む。また、長波側透過帯域は、近赤外励起光の波長帯域の一部の波長帯域と蛍光の波長帯域とを含む。さらに、短波側透過帯域は、通常光(白色光)の波長帯域(第1の波長帯域)を含む。
すなわち、励起光カットフィルタ521は、レンズユニット51から撮像素子522に向かう第1の被写体像(通常光(白色光))を透過させる。一方、励起光カットフィルタ521は、レンズユニット51から撮像素子522に向かう第2の被写体像(近赤外励起光及び蛍光)については、近赤外励起光の一部と蛍光とを透過させる。
撮像素子522は、励起光カットフィルタ521を透過した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
ここで、撮像素子522の撮像面(受光面)には、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が所定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタ522a(図2)が設けられている。
具体的に、カラーフィルタ522aは、Rの波長帯域の光を主に透過させるRフィルタ群と、Bの波長帯域の光を主に透過させるBフィルタ群と、Gの波長帯域の光を主に透過させる第1Gフィルタ群(Rフィルタ群と同一の列に配列)と、Gの波長帯域の光を主に透過させる第2Gフィルタ群(Bフィルタ群と同一の列に配列)とを有する。以下では、説明の便宜上、第1,第2Gフィルタ群を纏めてGフィルタ群と記載する。
なお、R,G,Bの各フィルタ群は、近赤外励起光及び蛍光についても透過させる。そして、撮像素子522は、R,G,Bの波長帯域の光のみならず、近赤外励起光及び蛍光の波長帯域の光に対しても感度を有する。
そして、撮像素子522は、制御装置9による制御の下、光源装置3の発光タイミングに同期して、交互に繰り返される第1,第2の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子522により第1の期間において第1の被写体像(通常光)を撮像することで生成された画像を通常光画像(本発明に係る第1の撮像画像に相当)と記載し、撮像素子522により第2の期間において第2の被写体像(近赤外励起光及び蛍光)を撮像することで生成された画像を蛍光画像(本発明に係る第2の撮像画像に相当)と記載する。また、通常光画像及び蛍光画像を纏めて撮像画像と記載する。
信号処理部523は、撮像素子522にて生成された撮像画像(アナログ信号)に対して信号処理を行って撮像画像(RAW信号(デジタル信号))を出力する。
通信部53は、第1伝送ケーブル6を介して、撮像部52から出力される撮像画像(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、メモリ92と、観察画像生成部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部53)から出力される撮像画像(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。すなわち、通信部91は、本発明に係る撮像画像取得部に相当する。
メモリ92は、例えば、DRAM(Dynamic Random Access Memory)等で構成されている。このメモリ92は、カメラヘッド5(通信部53)から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
観察画像生成部93は、制御部94による制御の下、カメラヘッド5(通信部53)から順次、出力され、通信部91にて受信した撮像画像(RAW信号(デジタル信号))を処理する。この観察画像生成部93は、図2に示すように、メモリコントローラ931と、第1の画像処理部932と、第2の画像処理部933と、重畳画像生成部934と、表示制御部935とを備える。
メモリコントローラ931は、メモリ92への撮像画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ931は、カメラヘッド5(通信部53)から順次、出力され、通信部91にて受信した撮像画像(通常光画像及び蛍光画像)をメモリ92に順次、書き込む。また、メモリコントローラ931は、メモリ92から通常光画像を特定のタイミングで読み出すとともに、当該読み出した通常光画像を第1の画像処理部932に入力させる。さらに、メモリコントローラ931は、メモリ92から蛍光画像を特定のタイミングで読み出すとともに、当該読み出した蛍光画像を第2の画像処理部933に入力させる。
第1の画像処理部932は、入力した通常光画像(RAW信号(デジタル信号))に対して、第1の画像処理を実行する。
当該第1の画像処理としては、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正処理、ガンマ補正処理、RGB信号(通常光画像)を輝度信号及び色差信号(Y,Cb/Cr信号)に変換するYC処理等を例示することができる。
第2の画像処理部933は、入力した蛍光画像(RAW信号(デジタル信号))に対して、第2の画像処理を実行する。
当該第2の画像処理としては、入力した蛍光画像(RAW信号(デジタル信号))から輝度信号(Y信号)を生成する処理等を例示することができる。
重畳画像生成部934は、第1の画像処理部932にて第1の画像処理が実行された後の通常光画像と、第2の画像処理部933にて第2の画像処理が実行された後の蛍光画像とを全ての領域について対応する画素同士で重畳して重畳画像を生成する。
図3は、重畳画像生成部934の機能を示すブロック図である。
重畳画像生成部934は、第1の画像処理が実行された後の通常光画像における輝度信号(Y値(以下、WLI_Yと記載))と、当該通常光画像における色差信号(Cb値(以下、WLI_Cbと記載)、Cr値(以下、WLI_Crと記載))と、第2の画像処理が実行された後の蛍光画像における輝度信号(Y値(以下、IR_Yと記載))と、既定のCb値(以下、IR_area_Cbと記載)と、既定のCr値(以下、IR_area_Crと記載)との入力に応じて、加算、乗算、あるいは減算等の複数の機能ブロック9341(図3)によって、重畳画像におけるY値(以下、stacked_Yと記載)、Cb値(以下、stacked_Cbと記載)、及びCr値(以下、stacked_Crと記載)を出力する。
具体的に、出力される「stacked_Y」、「stacked_Cb」、及び「stacked_Cr」は、以下の式(1)〜(3)によってそれぞれ表される。
[数1]
stacked_Y=(1−α)×WLI_Y+α×IR_stack_Y ・・・(1)
[数2]
stacked_Cb=(1−α)×WLI_Cb+α×IR_area_Cb ・・・(2)
[数3]
stacked_Cr=(1−α)×WLI_Cr+α×IR_area_Cr ・・・(3)
なお、式(1)〜(3)において、αは、「IR_Y」に基づくアルファ値であり、以下の式(4)によって表される。当該αは、「0」〜「1」の値をとるものであり、「IR_Y」が最大値である場合に「1」となり、「IR_Y」が最小値である場合に「0」となる。また、式(1)において、「IR_stack_Y」は、「WLI_Y」の成分を含む値であり、以下の式(5)によって表される。
[数4]
α=alphagain×IR_Y ・・・(4)
[数5]
IR_stack_Y=irgain×WLI_Y−beta ・・・(5)
なお、式(4)中の「alphagain」と、式(5)中の「irgain」及び「beta」とは、それぞれ固定値である。
すなわち、重畳画像生成部934は、重畳画像における生成対象となる対象画素のCb値(stacked_Cb)については、第1の画像処理が実行された後の通常光画像における当該対象画素に対応する(当該対象画素と同一の画素位置となる)第1の対応画素のCb値(WLI_Cb)と既定のCb値(IR_area_Cb)とを第2の画像処理が実行された後の蛍光画像における当該対象画素に対応する(当該対象画素と同一の画素位置となる)第2の対応画素のY値(IR_Y)に基づくアルファ値(α)を用いてアルファブレンドすることで生成する。
また、重畳画像生成部934は、重畳画像における生成対象となる対象画素のCr値(stacked_Cr)についてもCb値と同様に、第1の対応画素のCr値(WLI_Cr)と既定のCr値(IR_area_Cr)とを第2の対応画素のY値(IR_Y)に基づくアルファ値(α)を用いてアルファブレンドすることで生成する。
さらに、重畳画像生成部934は、重畳画像における生成対象となる対象画素のY値(stacked_Y)については、第2の対応画素のY値(IR_Y)が最大値となった場合(α=1)であっても、第1の対応画素のY値(WLI_Y)の成分を含む値(stacked_Y=IR_stack_Y)とする。より具体的に、重畳画像生成部934は、重畳画像における生成対象となる対象画素のY値(stacked_Y)については、第1の対応画素のY値(WLI_Y)と第1の対応画素のY値(WLI_Y)の成分を含む値(IR_stack_Y)とをアルファ値(α)を用いてアルファブレンドすることで生成する。
表示制御部935は、制御部94による制御の下、重畳画像生成部934にて生成された重畳画像(stacked_Y,stacked_Cb,stacked_Cr)に基づいて、表示用の映像信号を生成する。そして、表示制御部935は、第2伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。
制御部94は、例えば、CPUやFPGA等を用いて構成され、第1〜第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部94は、図2に示すように、光源制御部941と、撮像制御部942とを備える。なお、光源制御部941及び撮像制御部942の機能については、後述する「制御装置の動作」において説明する。
入力部95は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部95は、当該ユーザ操作に応じた操作信号を制御部94に出力する。
出力部96は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部97は、制御部94が実行するプログラムや、制御部94の処理に必要な情報等を記憶する。
〔制御装置の動作〕
次に、上述した制御装置9の動作について説明する。
図4は、制御装置9の動作を示すフローチャートである。図5ないし図8は、制御装置9の動作を説明する図である。具体的に、図5は、第1の画像処理が実行された後の1フレームの通常光画像WLIを示す図である。図6は、第2の画像処理が実行された後の1フレームの蛍光画像IRを示す図である。図7は、重畳画像生成部934にて生成された1フレームの重畳画像D1を示す図である。なお、図6及び図7では、近赤外励起光及び蛍光の少なくともいずれかの成分の強度が高い(「IR_Y」が大きい)箇所をドットで表現している。
先ず、光源制御部941は、第1,第2の光源31,32の時分割駆動を実行する(ステップS1)。具体的に、光源制御部941は、ステップS1において、同期信号に基づいて、交互に繰り返される第1,第2の期間のうち、第1の期間において第1の光源31を発光させ、第2の期間において第2の光源32を発光させる。
ステップS1の後、撮像制御部942は、同期信号に基づいて、第1,第2の光源31,32の発光タイミングに同期させ、撮像素子522に第1,第2の期間において第1,第2の被写体像をそれぞれ撮像させる(ステップS2〜S4)。すなわち、撮像素子522は、第1の期間である場合(ステップS2:Yes)、言い換えれば、生体内に通常光(白色光)が照射された場合には、第1の被写体像(通常光)を撮像して通常光画像を生成する(ステップS3)。一方、撮像素子522は、第2の期間である場合(ステップS2:No)、言い換えれば、生体内に近赤外励起光が照射された場合には、第2の被写体像(近赤外励起光及び蛍光)を撮像して蛍光画像を生成する(ステップS4)。
ステップS3,S4の後、メモリコントローラ931は、同期信号に基づいて、メモリ92への撮像画像の書込み及び読出しを制御する(ステップS5)。
ステップS5の後、第1,第2の画像処理部932,933は、以下に示す処理を実行する(ステップS6)。
すなわち、第1の画像処理部932は、メモリコントローラ931によってメモリ92から順次、読み出された各通常光画像に対して順次、第1の画像処理を実行し、当該第1の画像処理を実行した後の通常光画像(例えば、図5に示した通常光画像WLI(WLI_Y,WLI_Cb,WLI_Cr、))を順次、出力する。
また、第2の画像処理部933は、メモリコントローラ931によってメモリ92から順次、読み出された各蛍光画像に対して順次、第2の画像処理を実行し、当該第2の画像処理を実行した後の蛍光画像(例えば、図6に示した蛍光画像IR(IR_Y))を順次、出力する。
ステップS6の後、重畳画像生成部934は、図3及び式(1)〜(3)で示したように、第1の画像処理部932から順次、出力される各通常光画像(例えば、図5に示した通常光画像WLI(WLI_Y,WLI_Cb,WLI_Cr))と、第2の画像処理部933から順次、出力される各蛍光画像(例えば、図6に示した蛍光画像IR(IR_Y)との対応する画像同士を全ての領域について対応する画素同士で重畳して順次、重畳画像(例えば、図7に示した重畳画像D1(stacked_Y,stacked_Cb,stacked_Cr))を生成する(ステップS7)。
ステップS7の後、表示制御部935は、重畳画像生成部934にて順次、生成された各重畳画像(例えば、図7に示した重畳画像D1)を表示するための映像信号を順次、生成し、当該映像信号を表示装置7に順次、出力する(ステップS8)。これにより、表示装置7には、重畳画像(例えば、図7に示した重畳画像D1)が順次、表示される。
以上説明した実施の形態1によれば、以下の効果を奏する。
図8は、本実施の形態1の効果を説明する図である。具体的に、図8は、図5及び図6に対応した図であって、従来のアルファブレンド(第1の対応画素の画素値(RGB値)と特定の擬似色のRGB値とをアルファ値(蛍光画像における第2の対応画素の蛍光成分の強度に基づく値)を用いてアルファブレンド)することで生成された重畳画像D2を示す図である。
従来のアルファブレンドでは、第2の対応画素の蛍光成分の強度が高い場合には、対象画素の画素値(RGB値)において、第1の対応画素の画素値(RGB値)の成分が含まれる割合が小さくなり、逆に特定の擬似色のRGB値の成分が含まれる割合が大きくなる。その結果、重畳画像D2において、蛍光成分の強度が高い領域(図8中のドットで表現した領域)では、観察対象の構造や輪郭の鮮明化に寄与する第1の対応画素の画素値(RGB値)の成分が含まれる割合が小さくなるため、図5に示した通常光画像WLIと当該重畳画像D2とを比較して分かるように、当該観察対象の構造や輪郭が不鮮明になってしまう。
これに対して、本実施の形態1に係る制御装置9では、重畳画像生成部934は、重畳画像D1における生成対象となる対象画素のY値(stacked_Y)については、第2の対応画素のY値(IR_Y)が最大値となった場合(α=1)であっても、第1の対応画素のY値(WLI_Y)の成分を含む値(stacked_Y=IR_stack_Y)とする。より具体的に、重畳画像生成部934は、重畳画像D1における生成対象となる対象画素のY値(stacked_Y)については、第1の対応画素のY値(WLI_Y)と第1の対応画素のY値(WLI_Y)の成分を含む値(IR_stack_Y)とをアルファ値(α)を用いてアルファブレンドすることで生成する。このため、重畳画像D1において、蛍光成分の強度が高い領域(図7中のドットで表現した領域)では、観察対象の構造や輪郭の鮮明化に寄与する第1の対応画素のY値(WLI_Y)の成分を含んでいるため、図5に示した通常光画像WLIと当該重畳画像D1とを比較して分かるように、当該観察対象の構造や輪郭が分かり易いものとなる。
したがって、本実施の形態1に係る制御装置9によれば、観察に適した重畳画像D1を生成することができる。
(実施の形態2)
次に、実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図9は、本実施の形態2に係る重畳画像生成部934の機能を示すブロック図である。
本実施の形態2では、図9に示すように、重畳画像生成部934の代わりに、当該重畳画像生成部934とは異なる機能を有する重畳画像生成部934Aが採用されている。
重畳画像生成部934Aは、上述した実施の形態1で説明した重畳画像生成部934と同様に、「WLI_Y」、「WLI_Cb」、「WLI_Cr」、「IR_Y」、「IR_area_Cb」、及び「IR_area_Cr」の入力に応じて、複数の機能ブロック9341(図9)によって、「stacked_Y」、「stacked_Cb」、及び「stacked_Cr」を出力する。
具体的に、重畳画像生成部934Aは、式(1)〜(3)によって「stacked_Y」、「stacked_Cb」、及び「stacked_Cr」をそれぞれ算出するが、「IR_stack_Y」を式(5)ではなく、図9にも示されているように、以下の式(6)によって算出する。
[数6]
IR_stack_Y=irgain×IR_Y−beta ・・・(6)
すなわち、重畳画像生成部934Aは、重畳画像における生成対象となる対象画素のY値(stacked_Y)については、第2の対応画素のY値(IR_Y)が最大値となった場合(α=1)であっても、第2の対応画素のY値(IR_Y)の成分を含む値(stacked_Y=IR_stack_Y)とする。より具体的に、重畳画像生成部934Aは、重畳画像における生成対象となる対象画素のY値(stacked_Y)については、第1の対応画素のY値(WLI_Y)と第2の対応画素のY値(IR_Y)の成分を含む値(IR_stack_Y)とをアルファ値(α)を用いてアルファブレンドすることで生成する。
なお、重畳画像生成部934Aは、重畳画像における生成対象となる対象画素のCb値(stacked_Cb)及びCr値(stacked_Cr)については、上述した実施の形態1で説明した重畳画像生成部934と同様に生成する。
以上説明した実施の形態2では、重畳画像における生成対象となる対象画素のY値(stacked_Y)について、第2の対応画素のY値(IR_Y)が最大値となった場合であっても(α=1)、観察対象の構造や輪郭の鮮明化に寄与する第2の対応画素のY値(IR_Y)の成分を含む値(stacked_Y=IR_stack_Y)としているため、上述した実施の形態1と同様の効果を奏する。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1,2によってのみ限定されるべきものではない。
上述した実施の形態1において、式(1)の代わりに、以下の式(7)を採用しても構わない。
[数7]
stacked_Y=WLI_Y ・・・(7)
すなわち、重畳画像生成部934は、重畳画像における対象画素のY値については、第1の対応画素のY値とする。このように構成した場合であっても、上述した実施の形態1と同様の効果を奏する。
上述した実施の形態1,2において、式(2)の「IR_area_Cb」を固定値ではなく、「WLI_Cb」を含む値としても構わない。同様に、上述した実施の形態1,2において、式(3)の「IR_area_Cr」を固定値ではなく、「WLI_Cr」を含む値としても構わない。なお、「IR_area_Cb」及び「IR_area_Cr」の少なくとも一方は、固定値である必要がある。
上述した実施の形態1,2では、第1の波長帯域の光と第2の波長帯域の励起光とを時分割で出射させていたが、これに限らない。例えば、第1の波長帯域の光と第2の波長帯域の励起光とを同時期に出射させ、撮像する側において、フィルタによって、第1の波長帯域の光と第2の波長帯域の励起光及び蛍光とを分離し、2つの撮像素子によってそれぞれ撮像する構成としても構わない。
上述した実施の形態1,2では、第1の波長帯域の光を白色光とし、第2の波長帯域の励起光を近赤外励起光としていたが、これに限らない。第1,第2の波長帯域が互いに異なる第1,第2の光源31,32としては、第1の光源31が第1の波長帯域の光を発光し、第2の光源32が第1の波長帯域とは異なる第2の波長帯域の光を発光していれば、その他の構成を採用しても構わない。この際、第1,第2の波長帯域は、一部が重複する帯域であってもよく、あるいは、全く重複しない帯域であっても構わない。また、第1の光源31は、狭帯域光を発光しても構わない。
ところで、従来、癌細胞を検出する癌診断法の一つである光線力学診断(Photo Dynamic Diagnosis:PDD)が知られている。
当該光線力学診断では、例えば5-アミノレブリン酸(以下、5-ALAと記載)等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光(例えば375nm〜445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm〜740nmの波長帯域の赤色蛍光)を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態1,2において、白色光を発光するLEDで第1の光源31を構成し、プロトポルフィリンを励起する励起光(例えば375nm〜445nmの波長帯域の青色可視光)を発光する半導体レーザで第2の光源32を構成しても構わない。このように構成した場合であっても、上述した実施の形態1,2と同様の効果を奏する。
上述した実施の形態1,2では、第1,第2の期間が交互に繰り返すように設定されていたが、これに限らず、第1,第2の期間の少なくともいずれかが連続し、第1,第2の期間の頻度の比率が1:1以外の比率となるように構成しても構わない。
上述した実施の形態1,2では、挿入部2を硬性内視鏡で構成した医療用観察システム1に本発明に係る医療用画像処理装置を搭載していたが、これに限らない。例えば、挿入部2を軟性内視鏡で構成した医療用観察システムに本発明に係る医療用画像処理装置を搭載しても構わない。また、被写体内(生体内)や被写体表面(生体表面)の所定の視野領域を拡大して観察する手術用顕微鏡(例えば、特開2016−42981号公報参照)等の医療用観察システムに本発明に係る医療用画像処理装置を搭載しても構わない。
上述した実施の形態1,2において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
1 医療用観察システム
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
31 第1の光源
32 第2の光源
51 レンズユニット
52 撮像部
53 通信部
91 通信部
92 メモリ
93 観察画像生成部
94 制御部
95 入力部
96 出力部
97 記憶部
521 励起光カットフィルタ
522 撮像素子
522a カラーフィルタ
523 信号処理部
931 メモリコントローラ
932 第1の画像処理部
933 第2の画像処理部
934,934A 重畳画像生成部
935 表示制御部
941 光源制御部
942 撮像制御部
9341 機能ブロック
CN1,CN2 コネクタ
D1,D2 重畳画像
IR 蛍光画像
WLI 通常光画像

Claims (4)

  1. 第1の波長帯域とは異なる第2の波長帯域の励起光が照射されることで蛍光を発する観察対象であり、前記第1の波長帯域の光が照射された前記観察対象からの光を撮像した第1の撮像画像と、前記励起光が照射された前記観察対象からの前記蛍光を撮像した第2の撮像画像とを取得する撮像画像取得部と、
    前記第1の撮像画像と前記第2の撮像画像とを対応する画素同士で重畳して重畳画像を生成する重畳画像生成部とを備え、
    前記重畳画像生成部は、
    前記重畳画像における生成対象となる対象画素のCb値及びCr値の少なくとも一方の色差値については、前記第1の撮像画像における前記対象画素に対応する第1の対応画素の色差値と既定の色差値とを前記第2の撮像画像における前記対象画素に対応する第2の対応画素のY値に基づくアルファ値を用いてアルファブレンドすることで生成し、
    前記重畳画像における前記対象画素のY値については、前記第2の対応画素のY値が最大値となった場合であっても、前記第1の対応画素のY値の成分、または、前記第2の対応画素のY値の成分を含む値とする医療用画像処理装置。
  2. 前記重畳画像生成部は、
    前記重畳画像における前記対象画素のY値については、前記第1の対応画素のY値と前記第1の対応画素のY値の成分、または、前記第2の対応画素のY値の成分を含む値とを前記アルファ値を用いてアルファブレンドすることで生成する請求項1に記載の医療用画像処理装置。
  3. 前記重畳画像生成部は、
    前記重畳画像における前記対象画素のY値については、前記第1の対応画素のY値とする請求項1に記載の医療用画像処理装置。
  4. 第1の波長帯域の光、及び前記第1の波長帯域とは異なる第2の波長帯域の励起光を出射する光源装置と、
    前記励起光が照射されることで蛍光を発する観察対象であり、前記第1の波長帯域の光が照射された前記観察対象からの光を撮像することで第1の撮像画像を生成するとともに、前記励起光が照射された前記観察対象からの前記蛍光を撮像することで第2の撮像画像を生成する撮像装置と、
    前記第1の撮像画像及び前記第2の撮像画像を処理する請求項1〜3のいずれか一つに記載の医療用画像処理装置とを備える医療用観察システム。
JP2019118617A 2019-06-26 2019-06-26 医療用画像処理装置及び医療用観察システム Pending JP2021003347A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118617A JP2021003347A (ja) 2019-06-26 2019-06-26 医療用画像処理装置及び医療用観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118617A JP2021003347A (ja) 2019-06-26 2019-06-26 医療用画像処理装置及び医療用観察システム

Publications (1)

Publication Number Publication Date
JP2021003347A true JP2021003347A (ja) 2021-01-14

Family

ID=74097952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118617A Pending JP2021003347A (ja) 2019-06-26 2019-06-26 医療用画像処理装置及び医療用観察システム

Country Status (1)

Country Link
JP (1) JP2021003347A (ja)

Similar Documents

Publication Publication Date Title
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
JP2021145873A (ja) 医療用画像処理装置及び医療用観察システム
US20240306883A1 (en) Medical image processing apparatus and medical observation system
JP6137892B2 (ja) 撮像システム
US12075970B2 (en) Medical control device and medical observation system
JP7551465B2 (ja) 医療用画像処理装置及び医療用観察システム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP2021003347A (ja) 医療用画像処理装置及び医療用観察システム
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
JP2021145824A (ja) 医療用制御装置及び医療用観察システム
JP2021145823A (ja) 医療用制御装置及び医療用観察システム
US20220287551A1 (en) Medical image processing apparatus and medical observation system
US10918269B2 (en) Medical light source apparatus and medical observation system
US20230112628A1 (en) Learning device and medical image processing device
CN110611779A (zh) 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
JP2022082350A (ja) 光源制御装置及び医療用観察システム
US11700456B2 (en) Medical control device and medical observation system
US11615514B2 (en) Medical image processing apparatus and medical observation system
JP2021146198A (ja) 医療用画像処理装置及び医療用観察システム