JP2015221161A - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP2015221161A JP2015221161A JP2014107262A JP2014107262A JP2015221161A JP 2015221161 A JP2015221161 A JP 2015221161A JP 2014107262 A JP2014107262 A JP 2014107262A JP 2014107262 A JP2014107262 A JP 2014107262A JP 2015221161 A JP2015221161 A JP 2015221161A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- color
- matrix coefficient
- visibility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 148
- 239000002131 composite material Substances 0.000 claims abstract description 44
- 230000005284 excitation Effects 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000002073 fluorescence micrograph Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 1
- 239000003814 drug Substances 0.000 abstract description 7
- 239000003795 chemical substances by application Substances 0.000 description 39
- 238000005286 illumination Methods 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000001444 catalytic combustion detection Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 17
- 235000019557 luminance Nutrition 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 201000005569 Gout Diseases 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 229910052724 xenon Inorganic materials 0.000 description 5
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 238000012632 fluorescent imaging Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
蛍光観察を行う場合、蛍光画像と、通常光画像とを合成する合成画像を表示する内視鏡装置も提案されている。
例えば、特開2012−217670号公報の従来例においては、画像処理部により通常光画像(参照光画像)と蛍光画像との合成画像において蛍光画像を適切に観察できるようにするために、両者の特性(γ値、輝度レベル、コントラスト等)のバランスを適切に調節する信号増幅処理等を施すことを開示している。
また、この従来例においては、蛍光の画像信号を合成画像のGチャンネル、通常光画像のRチャンネル及びBチャンネルの画像信号を、それぞれ合成画像のRチャンネル及びBチャンネルに割り当てることにより、合成画像を擬似カラー表示することを開示している。
上記視認性と安定性は、蛍光薬剤の特性によって適切な値が異なるために、蛍光薬剤が異なる場合にも適切な視認性と安定性とを確保できることが望まれる。
本発明は上述した点に鑑みてなされたもので、実際に用いられる蛍光薬剤の特性に応じて適切な視認性と安定性とを確保できる内視鏡装置を提供することを目的とする。
前記色割り当て部において割り当てられた前記異なる複数の色成分に対してマトリクス係数を乗算するマトリクス演算を行ない、観察画像を表示するための表示部に前記マトリクス演算の結果を出力する演算部と、
前記情報入力部から入力される前記蛍光薬剤の視認性に関する情報が、前記視認性の機能が高い値の場合程、前記蛍光の強度が変動した場合における前記表示部における前記観察画像の色調の変化を抑制するように、前記演算部が乗算に用いる前記マトリクス係数を決定する決定部と、を有する。
(第1の実施形態)
図1に示すように、本発明の第1の実施形態の内視鏡装置1は、被検体の内部に挿入される撮像部を内蔵した内視鏡2と、内視鏡2に照明光を供給する光源装置3と、内視鏡2の撮像部から出力される撮像信号に対する信号処理を行い、合成画像(第1の合成画像及び第2の合成画像)を生成する信号処理装置としてのビデプロセッサ4と、ビデオプロセッサ4により生成された内視鏡画像をカラー表示するカラーモニタ5と、符号化された内視鏡画像を圧縮画像として記録するファイリング装置6とを有する。
また、内視鏡装置1は、蛍光観察する場合に用いられる蛍光薬剤における視認性に関する情報を入力する情報入力部を構成するキーボード7と、キーボード7から入力された視認性に関する情報が入力されることにより、蛍光観察モードにおける蛍光画像と参照光画像とから第2の合成画像を生成する場合のマトリクス係数を決定する決定部を構成するマトリクス係数決定回路8とを有し、ビデオプロセッサ4は、(蛍光観察モードの場合において)視認性と安定性を満たす内視鏡画像としての第2の合成画像を生成する。
光源装置3から出射される照明光は、ライトガイド14の入射端面に入射(供給)され、ライトガイド14の先端面から照明レンズ15を経て体腔内の患部等に照射される。照明レンズ15は挿入部11の先端面に設けられた照明窓に取り付けられている。なお、後述するように光源装置3は、通常光観察モードにおいては、赤(R)、緑(G)、青(B)の波長帯域の面順次の照明光を出射し、蛍光観察モードにおいては蛍光撮像を行うためのRの波長帯域の励起光と、Gの波長帯域の参照光とを面順次の照明光として出射する。
また、第2の対物レンズ16bとCCD17bとの間には、バリアフィルタ(又は励起光カットフィルタ)18が配置され、バリアフィルタ18は、対物レンズ16bを通ってCCD17bに結像される入射光における励起光をカットし、かつ蛍光と参照光を透過する特性に設定されている(後述する図参照)。CCD17aは、通常光観察モードにおいて使用される通常光撮像用CCDを形成し、CCD17bは、蛍光観察モードにおいて使用される蛍光撮像用CCDを形成する。
蛍光観察モードにおいては、蛍光観察モードにおける撮像部を形成するCCD17bは、励起光が照射のされた被検体10(を構成する生体組織)から発せられる蛍光により被検体10を撮像した蛍光撮像画像(又は蛍光画像)の撮像信号(蛍光撮像信号とも言う)を出力し、参照光が照射された被検体10(の反射光)を撮像した参照光撮像画像(又は参照光画像)の撮像信号(参照光撮像信号とも言う)を出力する。
また、モータ26aは、例えば照明光路と垂直な方向に移動するラック28aに取り付けられ、このラック28aは、移動用モータ26bの回転軸に取り付けたピニオンギア28bと噛合している。また、光源装置3内に設けた電源回路29は、キセノンランプ21に点灯用の電力を供給して発光させると共に、モータ26a,26bに対しても駆動信号を供給する。なお、照明光を発光する光源としてのキセノンランプ21の代わりに、例えば白色光を発生する白色発光ダイオードを用いても良い。
また、第2のフィルタ組が照明光路上に配置された蛍光観察モードの設定状態においてモード切替スイッチ13が操作されると、モード切替信号により移動用モータ26bが逆方向に回転して、回転フィルタ23,モータ26aをラック28a毎、下方向に移動し、第1のフィルタ組が照明光路上に配置される状態になる。
回転フィルタ23は、図2に示すように、円盤状に構成され中心を回転軸とした2重構造となっており、外側の円周部分には通常光観察モードの場合の照明光を生成する第1のフィルタ組を構成するRフィルタ23R,Gフィルタ23G,Bフィルタ23Bが配置され、内側の円周部分には蛍光観察の場合の照明光を生成する第2のフィルタ組を構成する励起光を生成する色フィルタとしての2つのRフィルタ23Reと、参照光を生成する色フィルタとしてのGフィルタ23Grとが配置されている。
Rフィルタ23Reは、蛍光観察に用いられる蛍光薬剤に照射する励起光を透過するように設定されており、本実施形態においては、例えば580−645nmの波長帯域の光を透過するように設定している。また、蛍光観察の場合において、蛍光観察部位の形状、輪郭等の形態情報を取得するための参照光画像(反射光画像)成分を取得できるようにするための参照光を生成するGフィルタ23Grは、530−550nmの波長帯域の光を透過するように設定している。
また、図3においてバリアフィルタ18の透過特性を点線で示す。バリアフィルタ18は、参照光を生成するGフィルタ23Grの透過波長帯域となる530−550nmの波長帯域の光を透過すると共に、励起光の波長帯域をカットし、(複数種類の)蛍光薬剤が蛍光を発生する波長帯域を含むように例えば680−800nmの波長帯域の光を透過するように設定している。回転フィルタ23は、モータ26aにより、例えば図2の矢印Bで示すように回転される。
図1の設定状態(通常光観察モードの設定状態)では、接点aがONし、この状態においてはビデオプロセッサ4内のCCDドライバ33は、CCD17aにCCD駆動信号を印加し、CCD17aは、その撮像面に結像された光学像を光電変換した撮像信号を出力し、この撮像信号は切替回路32aの接点aを経てビデオプロセッサ4内のアンプ34に入力される。蛍光観察モードの場合には、両切替回路32a,32b、37、42a,42b,42cは、接点bがONするように設定される。
アンプ34で増幅された撮像信号は、プロセス回路35に入力され、相関二重サンプリング(CDSと略記)処理されて信号成分を有するベースバンドの画像信号が生成される。プロセス回路35の出力信号は、A/D変換回路36に入力され、A/D変換回路36は、アナログの画像信号をデジタルの画像信号に変換して出力する。なお、本明細書においては、画像と該画像を表す画像信号とは、実質的に同じ意味で用いる。
ホワイトバランス回路37は、通常光観察モードの設定状態(図1の設定状態)の場合において、白色の基準被写体を撮像した場合には、カラーモニタ5により基準被写体を内視鏡画像として表示した場合に、内視鏡画像が白色となるようにホワイトバランス回路37内のアンプのゲインを調整する。ホワイトバランス回路37から出力される画像信号は、切替回路38の接点aを経てセレクタ39に入力される。また、蛍光観察モードの場合においてホワイトバランス回路37をスルーした画像信号は接点bを経てセレクタ39に入力される。
セレクタ39は、タイミングジェネレータ(以下、TGと略記)45により、回転フィルタ23の回転に同期して入力される画像信号を3つの同時化メモリ40a,40b,40cに格納する。また、TG45は、制御回路27、CCDドライバ33、アンプ34,プロセス回路35、A/D変換回路36、ホワイトバランス回路37にタイミング信号等を印加し、それぞれがタイミング信号等に同期して動作する。
従って、同時化メモリ40a,40b,40cは、撮像部により被検体10からの蛍光を受光して生成される蛍光画像と、参照光で照明された被検体10からの光を受光して生成される参照光画像と、をそれぞれ異なる複数の色成分に割り当てる色割り当て部を形成する。
同時化メモリ40a,40b,40cに格納された画像は、1フレーム期間後に同時に読み出され、マトリクス回路41を形成する3つの乗算回路41a,41b,41cにそれぞれ入力されると共に、切替回路42a,42b,42cの接点aにそれぞれ印加される。
切替回路42a,42b,42cの各接点bには、マトリクス回路41の乗算回路41a,41b,41cで乗算された合成画像を形成する3つの色成分画像がそれぞれ印加される。切替回路42a,42b,42cもモード切替信号により連動して切り替えられる。
マトリクス回路41を形成する乗算回路41a,41b,41cには、マトリクス係数決定回路8から、キーボード7による入力情報としての(蛍光観察モードの際に被検体10に投与されている蛍光薬剤の視認性に関する情報)に対応して可変設定される3つのマトリクス係数要素Mr,Mg,Mb(図4A参照)からなるマトリクス係数Mが(乗算係数として)入力される。なお、以下に説明するようにマトリクス係数要素Mrは、視認性に関する情報が変化しても固定された値となる。
なお、式(1)と図4Aの表とから分かるように、マトリクス係数Mを形成する係数要素としてのMr,Mg,Mb(図4AではMr:Mg:Mb)は、マトリクス変換された合成画像におけるR,G,B色成分画像が生成される場合の係数要素の値で示している。
まず、色割り当て部を構成する同時化メモリ40a,40b,40cは、蛍光画像が割り当てられた第1の色(第1の色は赤色)の画像と、前記参照光画像がそれぞれ割り当てられた第2の色(第2の色は緑色)の画像及び第3の色(第3の色は青色)の画像を生成する。
マトリクス回路41は、式(1)に示すようにマトリクスの対角線に沿った係数要素が0となるマトリクス係数Mを用いて入力される(色割り当て部が出力する)複数の色成分画像から合成画像を生成するマトリクス変換を行うため、マトリクス変換により色成分画像全てに対してそれぞれ異なる色の色成分画像に色変換を行って合成画像を生成するとも言える。
マトリクス回路41は、実質的に、蛍光観察モードの場合においてのみ、入力される画像信号をマトリクス係数Mを用いてマトリクス変換した合成画像(の画像信号)を後段側に出力する。図1においてはマトリクス回路41の外部に切替回路42a,42b,42cを設けた構成を示しているが、マトリクス回路41が切替回路42a,42b,42cを含む構成にし、蛍光観察モードの場合においては入力される複数の色成分画像(の画像信号)に対してマトリクス変換を行った合成画像(の画像信号)を後段側に出力し、通常光観察モードにおいては、入力される画像(の画像信号)に対してマトリクス変換を行うことなく、入力される画像(の画像信号)をそのまま出力するようにしても良い。
従って、術者等のユーザは、キーボード7から蛍光観察に用いる蛍光薬剤の視認性に関する情報としてのTBR値をマトリクス係数決定回路8に入力することにより、マトリクス係数決定回路8は、TBR値に対応するマトリクス係数MをLUT8aから選択して決定し、マトリクス回路41に出力する。演算部を構成するマトリクス回路41は、決定されたマトリクス係数Mを用いてマトリクス回路41に入力される入力画像信号と乗算する演算を行う。
未定又は既知のTBR値を有する蛍光薬剤を投与して病変部51をCCD17bにより蛍光撮像した場合に得られる病変部51の画素値をItとし、病変部51の周辺の正常部52をCCD16bにより蛍光撮像した場合に得られる正常部52の画素値をIbとした場合、TBR(値)Vは
V=It/Ib (2)
により得られる。より単純化して、TBR(値)Vは、蛍光薬剤を投与した場合における病変部51と正常部52とを蛍光撮像した場合の輝度の比率を表すと述べても良い。このようにして、蛍光薬剤に対して予めTBR値を算出することができる。そして、LUT8aに蛍光薬剤に対応付けてTBR値を格納することができる。
また、マトリクス係数決定回路8は、LUT8aには含まれないTBR値の場合に対しても、LUT8aに格納されている代表的な情報を用いて、当該TBR値に対応するマトリクス係数を補間により決定する例えば補間回路8bを備える。
切替回路42a,42b,42cから出力される画像信号は、それぞれD/A変換回路43a,43b,43cに入力され、切替回路42a,42b,42cは、入力信号をアナログの画像信号に変換して、カラーモニタ5のR,G,Bチャンネルに出力すると共に、符号化回路44に出力する。カラーモニタ5は、R,G,Bチャンネルに入力された第2の合成画像の画像信号をそれぞれR,G,Bの色でカラー表示する。
通常光観察モードにおいては、公知のようにR,G,Bの照明光のもとで観察部位を撮像したR,G,Bの色信号の画像を通常光画像としてカラーモニタ5でカラー表示する。
これに対して、蛍光観察モードにおいては、励起光の照明の下で被検体10における患部等の観察部位から発せられる蛍光により撮像した場合の蛍光画像をRチャンネルの色に割り当て、Gの参照光による照明もとで(反射光として)撮像した場合の参照光画像をG及びBチャンネルの色に割り当てて、複数の色成分画像を生成する。
更に、Rチャンネルの色と、G及びBチャンネルの色に対してマトリクス回路41により蛍光薬剤に応じて決定したマトリクス係数Mを用いてマトリクス変換を行い、生成した合成画像の画像をカラーモニタ5に出力し、カラーモニタ5により、視認性と安定性を確保した擬似カラーの合成画像を表示する。
蛍光観察モードにおける複数の色成分画像を生成する色割り当て部を少なくとも含む画像生成回路48は、図1におけるアンプ34〜同時化メモリ40a、40b、40cにより構成される。
蛍光観察モードにおいてカラーモニタ5で表示される蛍光画像の色成分画像と参照光画像の色成分画像とを合成する合成画像は、上記のように蛍光画像の色成分画像と、蛍光画像の背景画像となる参照光画像の色成分画像とからなる複数の色成分画像からマトリクス変換により生成される。
また、本実施形態においては、マトリクス係数決定回路8は、蛍光薬剤の特性として、TBRが大きい(高い)場合には、安定性を確保する機能(要因)を大きくして、視認性と安定性を確保し、TBRが小さい(低い)場合には、視認性を確保する機能(要因)を大きくして、視認性を優先して確保するようにマトリクス係数を決定する。なお、蛍光薬剤としては、視認性が高いのもの方が望ましいが、実際には蛍光薬剤の種類によって、視認性の高いものと低いものが存在する。
LUT8aは、蛍光薬剤のTBR値が小さくなる程、視認性の機能を高めるようにマトリクス回路41に入力される蛍光画像の色成分画像(に相当する入力信号)Rinに乗算する(第1のマトリクス係数要素としての)マトリクス係数要素Mgを大きくし、蛍光薬剤のTBR値が大きくなる程、安定性の機能を高めるように蛍光画像の色成分画像(に相当する入力信号)Rinに乗算する(第2のマトリクス係数要素としての)マトリクス係数要素Mbを大きくして、合成画像の色成分画像としての緑色成分画像としてのGout、青色成分画像としてのBoutをそれぞれ生成するように、蛍光薬剤の視認性に関する情報(具体的にはTBR値)に応じて、マトリクス係数要素Mg,Mbを持つマトリクス係数Mを記憶(格納)している。
また、LUT8aは、参照光画像が割り当てられた第2の色(緑色)の画像及び前記第3の色(青色)の画像に対して、前記マトリクス係数を形成する一定の値(具体的には1)となる第3のマトリクス係数要素となるマトリクス係数要素Mrを乗算して加算したものを第1の色(赤色)に相当し、合成画像を形成する第1の画像となる色成分画像Routを生成する。
内視鏡装置1の電源が投入され、初期設定の状態で内視鏡装置1は動作状態となる。例えば通常観察モードで動作するように初期設定がされているとする。この場合には、ステップS1に示すように内視鏡装置1は、通常光観察モードで動作する。
通常光観察モードの場合には、光源装置3は図1に示す状態、つまり照明光路上に回転フィルタ23の外周側が配置された状態となり、またビデオプロセッサ4は切替回路32a,32b,38,42a,42b,42cにおける各接点aがONした状態となる。ステップS2に示すように光源装置3は、通常光としてのR,G,Bの面順次光)を発生する。また、ビデオプロセッサ4は、CCD17aにCCD駆動信号を印加し、CCD17aにより撮像した撮像画像の撮像信号に対する信号処理を行う。
ステップS3に示すようにカラーモニタ5は、通常光で撮像した通常光画像を表示する。術者等のユーザは、内視鏡2を被検体10内に挿入し、被検体10内の患部等を観察する。患部等が病変部の可能性があるような場合において、蛍光観察モードで観察することを望む場合には、ユーザはモード切替スイッチ13を操作し、蛍光観察モードに切り替える。
一方、観察モードの切替の操作が行われるとモード切替回路31は、モード切替信号を発生し、光源装置3のモータ26bを駆動し、回転フィルタ23の内周側部分が照明光路上に位置するように移動する。つまり、ステップS5に示すように光源装置3は、蛍光観察モードに対応した照明光としての励起光と参照光を発生する。
また、モード切替回路31は、モード切替信号によりビデオプロセッサ4内の切替回路32a,32b,38,42a,42b,42cにおける各接点bがONする状態に切り替える。
また、ステップS6に示すようにユーザは、キーボード7から被検体10に投与した蛍光薬剤の視認性に関する情報としての例えばTBR値を入力する。
マトリクス回路41に入力される蛍光画像と参照光画像に対してマトリクス回路41によりマトリクス変換により生成される合成画像は、蛍光画像と参照光画像とをTBR値に応じて適切な視認性と安定性を持つように合成したものとなる。
そして、ステップS8に示すようにカラーモニタ5は、蛍光画像と参照光画像を合成した合成画像を観察画像として表示する。
ステップS9に示すようにモード切替回路31は、モード切替スイッチ13の操作の有無、換言すると観察モードの切替を監視している。観察モードの切替が行われない場合には、ステップS8の処理に戻り、カラーモニタ5は、蛍光観察モードで撮像した第2の合成画像を表示する状態を継続する。
一方、観察モードの切替の操作が行われるとモード切替回路31は、モード切替信号を発生し、光源装置3のモータ26bをステップS5の場合と逆方向に移動させるように回転駆動し、図1に示す状態に設定する。つまり、ステップS10に示すように光源装置3はステップS2の場合と同様に通常光を発生する。そして、ステップS3に示す処理に戻る。
また、図5においては、キーボード7から入力されたTBR値がLUT8aに存在する(又はLUT8aに含まれる値の)場合で説明したが、入力されるTBR値が、LUT8aに含まれないTBR値の場合においても、図6に示すように補間回路8bにより補間を用いて対応するマトリクス係数を決定するようにしても良い。
図5のステップS6により、蛍光薬剤のTBR値が入力された場合、ステップS11に示すようにマトリクス係数決定回路8(の補間回路8b)は、入力されたTBR値がLUT8aに存在するか否かを判定する。以下においては入力されたTBR値をVで表す。
一方、入力されたTBR値VがLUT8aに存在しない判定結果の場合には、ステップS12に示すように補間回路8bは、LUT8aにおける既知の複数のTBR値に対するマトリクス係数Mの特性曲線を用いて入力されたTBR値Vに対応するマトリクス係数を決定する。この場合、既知の複数のTBR値に対するマトリクス係数要素Mg、Mbの各特性曲線を用いて入力されたTBR値Vに対応するマトリクス係数要素Mg,Mbを決定し、図5のステップS8の処理に移る。
本実施形態においては、実際に使用する蛍光薬剤の視認性に関する特性に応じて、マトリクス係数Mを可変決定(可変設定)するようにしているので、合成画像観察画像としてを表示する場合、視認性と安定性とを確保した状態で表示することができる。
従って、本実施形態によれば、蛍光画像の輝度レベルが変動し易い状況においても、術者等のユーザが、カラーモニタ5に表示される観察画像から、観察部位が病変であるか否かを判断し易い環境を提供できる。次に、本発明の第2の実施形態を説明する。
図7は本発明の第2の実施形態の内視鏡装置1Bを示す。内視鏡装置1Bは、図1の内視鏡装置1において、キーボード7から入力される蛍光薬剤の視認性に関する情報としての例えばTBR値を、マトリクス係数決定回路8の他に、調光回路47にも入力する構成にしている。また、マトリクス係数決定回路8から出力されるマトリクス係数Mをマトリクス回路41の他に、調光回路47にも入力する構成にしている。
第1の実施形態において説明したように、蛍光観察モードにおいては、マトリクス変換を行う。本実施形態においては、通常観察モードと蛍光観察モードにおいて、適切な明るさの内視鏡画像となるように、調光回路47を用いて照明光量を自動調整、つまり自動調光する。このために、例えば、切替回路42a, 42b, 42cの出力信号を調光回路47に入力し、調光回路47は、切替回路42a, 42b, 42cから出力される画像の明るさに応じて、自動調光する調光信号を生成する。
調光回路47は、自動調光する調光信号を生成するために切替回路42a, 42b, 42cから出力される画像の明るさに相当する明るさ信号生成部を構成する明るさ信号生成回路47aを有する。明るさ信号生成回路47aは、通常光観察モードにおいては、通常光画像の明るさに相当する輝度信号YをY=0.30R+0.59G+0.11BGにより生成する。なお、切替回路42a, 42b, 42cから出力される画像の画像信号は、(通常光画像の場合であるが)式(1)の定義に沿った表現を用いると、上記R,G,BがRout,Gout,Boutとなる。
また、調光回路47は、明るさ信号生成回路47aから出力される上記輝度信号Yの(数フレーム期間での)平均値と、通常光画像の明るさの目標値との差分に相当する差分信号を調光信号として絞り22に出力する。なお、調光回路47の内部又は外部に、この調光信号を生成して出力する調光部としての機能を持つ調光信号生成回路を設けるようにしても良い(以下の蛍光観察モードの場合にも適用しても良い)。
一方、蛍光観察モードにおいては、蛍光薬剤により蛍光画像部分が病変部や正常部により、その明るさが変動し易くなる。そのために、調光信号を生成する場合、基本的には、参照光画像による寄与に比較して蛍光画像により寄与を低く設定することにより、観察する部位が変化しても、調光信号の明るさが実質的には参照光画像の明るさで主に決定されるように、切替回路42a, 42b, 42cから出力される合成画像の明るさに相当する輝度信号Yfを生成するように設定する。
このため、蛍光観察モードにおける明るさ信号生成回路47aは、例えば調光回路47の内部に設けたLUT47bに格納されたTBR値に対応付けて変化する調光係数D(α,β)を用いて(蛍光観察モードにおける)合成画像の明るさに相当する輝度信号Yfを生成する。
具体的には、蛍光観察モードにおいては、切替回路42a, 42b, 42cの出力信号をRout,Gout,Boutとすると、明るさ信号生成回路47aは、輝度信号Yfを図8の表で示す調光係数Dを形成する、蛍光画像、参照光画像にそれぞれ乗算される調光係数要素α,βを用いて
Yf=α×Rout+β×Gout (3)
により生成する。前述したように蛍光観察モードにおいては、切替回路42a, 42b, 42cにはGの参照光で撮像した同じ画像が格納されているので、一方のみを用いることができる。勿論、GoutとBoutとを用いて輝度信号Yfを定義しても良い。
式(3)は、蛍光画像を表す色成分画像Routと参照光画像の色成分画像Goutとにそれぞれ乗算される調光係数要素α,βにおいて後者が前者よりもかなり大きく設定される。
また、調光回路47は、明るさ信号生成回路47aから出力される上記輝度信号Yfの(数フレーム期間での)平均値と、第1の合成画像の明るさの目標値との差分に相当する差分信号を調光信号として絞り22に出力する。
また、本実施形態においては、以下のようにTBR値に応じてマトリクス係数Mを変更した影響も考慮して式(3)の調光係数要素α,βを調整する。
そして、本実施形態は、蛍光観察モードにおいて、以下のように自動調光する構成及び特徴を有する。 赤色に割り当てられる蛍光画像と、緑色及び青色に割り当てられる参照光画像と、を所定の比率で加算して、合成画像の明るさに相当する明るさ信号値を生成する明るさ信号生成部としての明るさ信号生成回路47aと、明るさ信号生成部により生成された明るさ信号値と、第1の合成画像の明るさの目標値と、を比較した結果に基づき光源部が発生する光の強度を調整する調光信号を生成する調光部としての調光回路47又は、調光信号生成回路を有し、明るさ信号生成部は、蛍光薬剤の視認性に関する情報、又は演算部を構成するマトリクス回路41において乗算されるマトリクス係数Mに応じて前記所定の比を調整する。
第1の実施形態及び本実施形態においては、蛍光観察モードにおいては、色割り当て部から出力される複数の色成分画像からTBR値に応じて、マトリクス係数Mを変更して合成画像を生成し、合成画像を観察画像としてカラーモニタ5で表示する。このため、カラーモニタ5で表示される観察画像の明るさと、調光に用いる画像の明るさがTBR値に応じて異なってしまう場合が発生する。両者の画像の明るさの差異を補正するように、本実施形態においては、TBR値に応じて、輝度信号Yfを調光係数D(α,β)により補正し、両画像での明るさのずれを抑制(低減)する。 具体的には、TBR値が大きくなる場合程、蛍光画像成分による画像の明るさへの寄与が大きくなってしまう影響を補正するために、調光係数要素βの値を大きくして、蛍光画像の視認性の機能が大きくなった場合における蛍光画像成分により画像の明るさが変動し易くなることを抑制する。
逆にTBR値が小さくなる(低くなる)場合程、蛍光画像成分による画像の明るさへの寄与が小さくなってしまう影響を補正するために、調光係数要素αの値を大きくする。図7におけるその他の構成は、図1等に示す第1の実施形態と同様の構成である。
本実施形態は、内視鏡装置1Bの電源が投入されると図5のステップS1〜S3と同様の処理を行う。また、ステップS3の処理と共に、ステップS11に示すように調光回路47は、切替回路42a, 42b, 42cから出力される色成分画像から通常光画像の明るさの調光信号を生成し、絞り22の開口量を調整して自動調光する。
ステップS11の後のステップS4からステップS7までは、図5の場合と同様の処理となる。ステップS7においてマトリクス係数決定回路8がTBR値に対応したマトリクス係数を決定する。また、ステップS12に示すように調光回路47は、蛍光観察モードにおいて、TBR値に対応した調光信号を生成し、自動調光を行う。ステップS12の処理の後、ステップS8の処理が行われる。その他の動作は第1の実施形態と同様である。
なお、上述した実施形態においては、通常光観察用の撮像素子と蛍光観察用の撮像素子との2つを備えた内視鏡2の場合で説明したが、蛍光観察用の撮像素子を形成するCCD17b側のバリアフィルタ18の特性を変更して、通常光観察用の撮像素子の機能を持たせるようにしても良い。
Claims (7)
- 蛍光薬剤が与えられた被検体を照明するために、前記蛍光薬剤を励起して蛍光を発生させる励起光と、前記被検体の形態情報を取得するための参照光とを発生させる光源部と、
前記被検体からの光を受光して撮像画像を生成する撮像部と、
前記蛍光薬剤の視認性に関する情報を入力する情報入力部と、
前記撮像部において前記被検体からの蛍光を受光して生成される蛍光画像と、前記撮像部において前記参照光で照明された前記被検体からの光を受光して生成される参照光画像と、をそれぞれ異なる複数の色成分に割り当てる色割り当て部と、
前記色割り当て部において割り当てられた前記異なる複数の色成分に対してマトリクス係数を乗算するマトリクス演算を行ない、観察画像を表示するための表示部に前記マトリクス演算の結果を出力する演算部と、
前記情報入力部から入力される前記蛍光薬剤の視認性に関する情報が、前記視認性の機能が高い値の場合程、前記蛍光の強度が変動した場合における前記表示部における前記観察画像の色調の変化を抑制するように、前記演算部が乗算に用いる前記マトリクス係数を決定する決定部と、
を有することを特徴とする内視鏡装置。 - 前記蛍光薬剤の視認性の機能が異なる複数の情報と、該複数の情報にそれぞれ対応する複数の前記マトリクス係数とを対応付けた対応付け情報として記憶する記憶部を有し、
前記決定部は、前記情報入力部から入力された前記情報に基づき、前記記憶部に記憶された前記対応付け情報から前記演算部が乗算に用いる前記マトリクス係数を選択し、
前記演算部は、選択された前記マトリクス係数を用いて乗算することにより前記第2の合成画像を生成することを特徴とする請求項1に記載の内視鏡装置。 - 前記色割り当て部は、前記蛍光画像を赤色に、前記参照光画像を緑色と青色とに割り当て、
前記決定部は、前記蛍光薬剤の視認性の機能が低い値の場合程、前記赤色の蛍光画像に対して乗算する第1のマトリクス係数要素の値を大きくし、前記蛍光薬剤の視認性の機能が高い値の場合程、前記赤色の蛍光画像に乗算す第2のマトリクス係数要素の値を大きくするようにして、前記表示部に表示される観察画像の色成分画像としての緑色成分画像と青色成分画像とをそれぞれ生成するように蛍光薬剤の視認性に関する情報に応じて、前記第1、第2のマトリクス係数要素を持つ前記マトリクス係数を決定することを特徴とする請求項1に記載の内視鏡装置。 - 更に、前記赤色に割り当てられる前記蛍光画像信号と、前記緑色及び前記青色に割り当てられる前記参照光画像信号と、を所定の比率で加算して明るさ信号値を生成する明るさ信号生成部と、
前記明るさ信号生成部により生成された明るさ信号値と、前記明るさの目標値と、を比較した結果に基づき前記光源部が発生する光の強度を調整する調光信号を生成する調光部と、を有し、
前記明るさ信号生成部は、前記蛍光薬剤の視認性に関する情報、又は前記演算部において乗算される前記マトリクス係数に応じて前記所定の比を調整することを特徴とする請求項3に記載の内視鏡装置。 - 前記記憶部は、前記蛍光薬剤の視認性に関する前記情報として、複数種類の前記蛍光薬剤を投与した場合における病変部と正常部とを蛍光により撮像した場合の輝度の比率を表すTBRの値にそれぞれ対応付けて前記マトリクス係数を記憶し、
前記情報入力部から前記蛍光薬剤の視認性に関する前記情報としての前記TBRの値が入力されることにより、前記決定部は、前記TBRの値に対応付けられた前記マトリクス係数を前記演算部に出力すること特徴とする請求項1に記載の内視鏡装置。 - 前記色割り当て部は、前記蛍光画像を第1の色成分に割り当て、前記参照光画像を第2の色成と第3の色成分とに割り当て、
前記演算部は、前記第1の色成分に割り当てられた前記蛍光画像に対して、前記マトリクス係数をそれぞれ形成する第1のマトリクス係数要素、第2のマトリクス係数要素それぞれを乗算して前記視認性の機能に対応した前記第2の色成分、前記蛍光の強度が変動した場合における該変動を抑制して知覚させる前記第3の色成分にそれぞれ相当し、前記表示部に表示される前記観察画像を形成する第2の画像、第3の画像をそれぞれ生成し、
前記第2の色成分に割り当てられた前記参照光画像及び前記第3の色成分に割り当てられた前記参照光画像に対して、前記マトリクス係数を形成する一定の値となる第3のマトリクス係数要素を乗算して加算し、前記表示部において表示される前記観察画像を形成する前記第1の色成分に対応する第1の画像を生成することを特徴とする請求項1に記載の内視鏡装置。 - 前記決定部は、前記情報入力部から入力される前記蛍光薬剤の視認性に関する情報が、前記視認性の機能が低い値の場合程、前記第1の色成分に乗算される前記第1のマトリクス係数要素の値を大きくし、
前記視認性の機能が高い値の場合程、前記第1の色成分に乗算される前記第2のマトリクス係数要素の値を大きくするように前記マトリクス係数を決定することを特徴とする請求項6に記載の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014107262A JP6261446B2 (ja) | 2014-05-23 | 2014-05-23 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014107262A JP6261446B2 (ja) | 2014-05-23 | 2014-05-23 | 内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015221161A true JP2015221161A (ja) | 2015-12-10 |
JP6261446B2 JP6261446B2 (ja) | 2018-01-17 |
Family
ID=54784568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014107262A Active JP6261446B2 (ja) | 2014-05-23 | 2014-05-23 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6261446B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109219385A (zh) * | 2016-06-21 | 2019-01-15 | 奥林巴斯株式会社 | 内窥镜系统、图像处理装置、图像处理方法以及程序 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011048886A1 (ja) * | 2009-10-20 | 2011-04-28 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
WO2012147820A1 (ja) * | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 蛍光観察装置とその画像表示方法 |
-
2014
- 2014-05-23 JP JP2014107262A patent/JP6261446B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011048886A1 (ja) * | 2009-10-20 | 2011-04-28 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
WO2012147820A1 (ja) * | 2011-04-28 | 2012-11-01 | オリンパス株式会社 | 蛍光観察装置とその画像表示方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109219385A (zh) * | 2016-06-21 | 2019-01-15 | 奥林巴斯株式会社 | 内窥镜系统、图像处理装置、图像处理方法以及程序 |
Also Published As
Publication number | Publication date |
---|---|
JP6261446B2 (ja) | 2018-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5326065B2 (ja) | 内視鏡装置 | |
JP5308815B2 (ja) | 生体観測システム | |
JPWO2007116663A1 (ja) | 内視鏡装置 | |
JP2008043604A (ja) | 内視鏡装置 | |
JP6437943B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
WO2016121556A1 (ja) | 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム | |
WO2018066347A1 (ja) | 内視鏡システム及びその作動方法 | |
US10165934B2 (en) | Endoscope apparatus with addition of image signals | |
JP6581952B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
JP2007264537A (ja) | 内視鏡装置 | |
JP5041936B2 (ja) | 生体観測装置 | |
JP5747362B2 (ja) | 内視鏡装置 | |
JP6616071B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム | |
JP6261446B2 (ja) | 内視鏡装置 | |
JP5764472B2 (ja) | 内視鏡診断装置 | |
JP2016158837A (ja) | 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法 | |
JP5856943B2 (ja) | 撮像システム | |
JP2013094489A (ja) | 内視鏡装置 | |
JP6203124B2 (ja) | 内視鏡装置、内視鏡装置の作動方法 | |
JP6113033B2 (ja) | 内視鏡装置 | |
JP6242558B2 (ja) | 撮像システム及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6261446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |