JP2020146405A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2020146405A
JP2020146405A JP2019049084A JP2019049084A JP2020146405A JP 2020146405 A JP2020146405 A JP 2020146405A JP 2019049084 A JP2019049084 A JP 2019049084A JP 2019049084 A JP2019049084 A JP 2019049084A JP 2020146405 A JP2020146405 A JP 2020146405A
Authority
JP
Japan
Prior art keywords
image information
unit
observation image
drug
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019049084A
Other languages
English (en)
Other versions
JP7257829B2 (ja
Inventor
陽久 田中
Akihisa Tanaka
陽久 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2019049084A priority Critical patent/JP7257829B2/ja
Priority to US16/729,523 priority patent/US11321814B2/en
Publication of JP2020146405A publication Critical patent/JP2020146405A/ja
Priority to JP2023060973A priority patent/JP7459342B2/ja
Application granted granted Critical
Publication of JP7257829B2 publication Critical patent/JP7257829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

【課題】画像の劣化を防止するとともに、残像が目に付くことを防止することができる画像処理装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理部９３は、外部から入力された薬剤観察画像情報であって、被検体に投与された薬剤に赤外光または励起光を照射することによって被検体を撮像する薬剤観察モードにおいて生成された薬剤観察画像情報に対して複数の画素の画素値を増幅する第１のゲイン処理を行い、第１のゲイン処理が行われた薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う。【選択図】図２

Description

本開示は、薬剤観察画像情報に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
従来、内視鏡では、白色画像および蛍光画像の各々に対して、画像処理を行うプロセッサに出力する前段階で、互いに異なるノイズ除去度合いでノイズ除去を行うことで、画質の劣化を防止する技術が知られている（例えば特許文献１参照）。この技術では、白色画像の場合と比べて、蛍光画像の場合、ノイズ除去度合いを大きくするとともに、時間的に連続する複数の蛍光画像の各々に重み付け係数を乗算した後に平均化を行うことによってノイズ除去を行う。また、白色画像や蛍光画像の各画素において近傍画素の画素値との平均値を算出することでノイズ除去を行う技術も知られている。
特開２００９−９５５２５号公報
しかしながら、上述した特許文献１では、ノイズの平均化を行うまでに時間的に連続する複数の蛍光画像が必要となるため、動画像としての応答性が悪くなることで、残像が目に付くという問題点があった。
また、上述した従来の各画素において近傍画素の画素値との平均値を算出する方法では、解像度の低下を招くという問題点もあった。
本開示は、上記に鑑みてなされたものであって、解像度の低下を抑制するとともに、残像が目に付くことを防止することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置であって、前記プロセッサは、所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して前記複数の画素の画素値を増幅する第１のゲイン処理を行い、前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記薬剤観察画像情報における前記複数の画素の画素値から前記薬剤観察画像情報の明るさを検出し、前記明るさが小さいほど、前記第１のゲイン処理におけるゲイン量を大きくし、前記ゲイン量が大きいほど、前記所定の閾値を大きくすることによって前記低減処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、画素値をパラメータとする関数またはルックアップテーブルにより前記所定の閾値よりも低い画素の画素値を低減させる前記低減処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記被検体からの反射光を撮像して得られる複数の画素を有する被検体観察画像情報に対して、前記被検体観察画像情報が有する複数の画素の画素値を増幅する第２のゲイン処理を行い、かつ、前記低減処理を行わず外部へ出力する。
また、本開示に係る画像処理装置は、上記開示において、前記被検体観察画像情報が有する複数の画素の画素値から前記被検体観察画像情報の明るさを検出し、前記被検体観察画像情報の明るさが小さいほど、前記第２のゲイン処理におけるゲイン量を大きくする。
また、本開示に係る画像処理方法は、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置が実行する画像処理方法であって、前記プロセッサが、所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して前記複数の画素の画素値を増幅する第１のゲイン処理を行い、前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う。
また、本開示に係るプログラムは、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置が実行するプログラムであって、前記プロセッサに、所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して、前記複数の画素の画素値を増幅する第１のゲイン処理を行わせ、前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行わせる。
本開示によれば、解像度の低下を抑制するとともに、残像が目に付くことを防止することができるという効果を奏する。
図１は、実施の形態１に係る内視鏡システムの概略構成を示す図である。 図２は、実施の形態１に係る内視鏡システムが備える光源装置、カメラヘッドおよび制御装置の機能構成を示すブロック図である。 図３は、実施の形態１に係る制御装置が実行する処理の概要を示すフローチャートである。 図４は、実施の形態１に係る低減処理部が行う低減処理前の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を模式的に示す図である。 図５は、実施の形態１に係る低減処理部が行う低減処理後の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を模式的に示す図である。 図６は、実施の形態１に係る低減処理部が低減処理を行った薬剤観察画像情報を模式的に示す図である。 図７は、実施の形態１に係る低減処理部が低減処理を行っていない薬剤観察画像情報を模式的に示す図である。 図８は、被検体観察画像情報に低減処理部が低減処理を行った薬剤観察画像情報を重畳した重畳画像を模式的に示す図である。 図９は、被検体観察画像情報に低減処理部が低減処理を行っていない薬剤観察画像情報を重畳した重畳画像を模式的に示す図である。 図１０は、実施の形態１の変形例に係るγ補正部が行う通常のγ補正のトーンカーブを模式的に示す図である。 図１１は、実施の形態１の変形例に係るγ補正部が行うγ補正のトーンカーブを模式的に示す図である。 図１２は、実施の形態１の変形例に係るγ補正部が行う別のγ補正のトーンカーブを模式的に示す図である。 図１３は、実施の形態２に係る内視鏡システムの概略構成を示す図である。 図１４は、実施の形態３に係る手術用顕微鏡システムの概略構成を示す図である。
以下、本開示を実施するための形態（以下、「実施の形態」という）を図面とともに詳細に説明する。なお、以下の実施の形態により、本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示しているに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、内視鏡システムについて説明する。また、図面の記載において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
図１は、実施の形態１に係る内視鏡システムの概略構成を示す図である。図１に示す内視鏡システム１は、医療分野に用いられ、人や動物の生体等の被検体の内部（生体内）に挿入され、内部を撮像した画像を表示することによって被検体を観察する装置である。なお、実施の形態１では、内視鏡システム１として、図１に示す硬性鏡（挿入部２）を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性内視鏡システムであってもよい。
図１に示す内視鏡システム１は、挿入部２（内視鏡）と、光源装置３と、ライトガイド４と、カメラヘッド５（内視鏡用撮像装置）と、第１の伝送ケーブル６と、表示装置７と、第２の伝送ケーブル８と、制御装置９と、第３の伝送ケーブル１０と、を備える。
挿入部２は、硬質または少なくとも一部が軟性で細長形状を有し、患者等の被検体内に挿入される。挿入部２の内部には、１または複数のレンズを用いて構成され、観察像を結合する光学系が設けられている。
光源装置３は、ライトガイド４の一端が接続される。光源装置３は、制御装置９による制御のもと、ライトガイド４の一端に被検体内を照明するための白色光、被検体に投与または散布された薬剤に励起光または赤外光を出射（供給）する。光源装置３は、ＬＥＤ（Light Emitting Diode）光源やＬＤ（Laser Diode）等の半導体レーザ素子を用いて構成される。光源装置３と制御装置９とは、図１に示すように個別で通信する構成をしてもよいし、一体化した構成であってもよい。
ライトガイド４は、一端が光源装置３に着脱自在に接続され、かつ、他端が挿入部２に着脱自在に接続される。ライトガイド４は、光源装置３から出射された光を一端から他端に導光し、挿入部２へ供給する。
カメラヘッド５は、挿入部２の接眼部２１が着脱自在に接続される。カメラヘッド５は、制御装置９の制御のもと、挿入部２によって結像された観察像を撮像することによって撮像信号を生成し、この撮像信号（電気信号）を出力する。また、カメラヘッド５は、円周方向に回転可能に設けられた操作リング部５１と、内視鏡システム１の各種の操作を指示する指示信号の入力を受け付ける複数の入力部５２と、を備える。
第１の伝送ケーブル６は、一端が第１のコネクタ部６１を介して制御装置９に着脱自在に接続され、他端が第２のコネクタ部６２を介してカメラヘッド５に接続される。第１の伝送ケーブル６は、カメラヘッド５から出力される撮像信号を制御装置９へ伝送し、かつ、制御装置９から出力される制御信号、同期信号、クロック信号および電力等をカメラヘッド５へ伝送する。
表示装置７は、第２の伝送ケーブル８を介して制御装置９に接続可能であり、制御装置９の制御のもと、制御装置９において処理された薬剤観察画像情報または被検体観察画像情報に基づく表示画像を表示する。
第２の伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。第２の伝送ケーブル８は、制御装置９において処理された薬剤観察画像情報または被検体観察画像情報に基づく表示画像を表示装置７に伝送する。
制御装置９は、メモリと、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを有するプロセッサを用いて構成され、メモリに記録されたプログラムに従って、第１の伝送ケーブル６、第２の伝送ケーブル８および第３の伝送ケーブル１０の各々を介して、光源装置３、カメラヘッド５および表示装置７の動作を統括的に制御する。
第３の伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端側が制御装置９に着脱自在に接続される。第３の伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
〔光源装置、カメラヘッドおよび制御装置の詳細な構成〕
次に、光源装置３、カメラヘッド５および制御装置９の機能構成について説明する。図２は、内視鏡システム１が備える光源装置３、カメラヘッド５および制御装置９の機能構成を示すブロック図である。なお、図２においては、説明の便宜上、挿入部２、ライトガイド４、第１の伝送ケーブル６、第２の伝送ケーブル８および第３の伝送ケーブル１０を省略している。
〔光源装置の構成〕
まず、光源装置３の構成について説明する。
光源装置３は、第１の光源部３１と、第２の光源部３２と、光源制御部３３と、を備える。
第１の光源部３１は、パルス発光可能であり、挿入部２を介して被検体に照射される白色光を発光することによって挿入部２へ供給する。具体的には、第１の光源部３１は、光源制御部３３の制御のもと、被検体からの反射光を撮像する被検体観察モードの白色光を発光することによって挿入部２へ供給する。第１の光源部３１は、赤色（波長帯域６００ｎｍ〜７００ｎｍ）の光を照射可能な赤色の半導体レーザ素子と、青色（波長帯域４００ｎｍ〜５００ｎｍ）の光を照射可能な青色の半導体レーザ素子と、緑色（波長帯域５００ｎｍ〜６００ｎｍ）の光を照射可能な緑色の半導体レーザ素子と、を用いて構成される。なお、第１の光源部３１は、赤色、青色および緑色の半導体レーザ素子を用いて構成しているが、これに限定されることなく、白色光を照射可能な白色の半導体レーザ素子を用いてもよい。また、第１の光源部３１は、パルス発光ができれば、半導体レーザ素子である必要はなく、例えば発光ＬＥＤ（Light Emitting Diode）等であってもよい。
第２の光源部３２は、パルス発光可能であり、挿入部２を介して被検体に照射される赤外光を発光する。具体的には、第２の光源部３２は、光源制御部３３の制御のもと、被検体に投入された薬剤（蛍光物質）を励起させ、薬剤の発光を撮像する薬剤観察モードの赤外光（波長帯域７００〜１０００ｎｍ）を発光することによって挿入部２へ供給する。第２の光源部３２は、蛍光物質を励起する光（７００〜１０００ｎｍ）を照射可能な半導体レーザ素子と所定の波長帯域のみを透過させるフィルタ等を用いて構成される。なお、以下においては、第２の光源部３２が発光する光を赤外光として説明するが、これに限定されることなく、例えば、ヘマトポルフィリン誘導体等の光感受性物質を腫瘍組織に予め蓄積させて蛍光を観察させるＰＤＤ（Photo Dynamic Diagnosis）観察に用いられる光（波長帯域４０５ｎｍ近傍）、およびコラーゲン等の蛍光物質からの自家発光を観察するＡＦＩ（Auto Fluorescence Imaging）観察に用いられる光（波長帯域３９０〜４７０ｎｍ＋波長帯域５４０〜５６０ｎｍ）等であってもよい。
光源制御部３３は、制御装置９の制御のもと、第１の光源部３１および第２の光源部３２の発光を制御する。光源制御部３３は、メモリと、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ等のハードウェアを有するプロセッサを用いて構成される。
〔カメラヘッドの構成〕
次に、カメラヘッド５の構成について説明する。
カメラヘッド５は、レンズユニット５０１と、撮像部５０２と、通信モジュール５０３と、カメラヘッドメモリ５０４と、カメラヘッド制御部５０５と、を備える。
レンズユニット５０１は、１または複数のレンズを用いて構成され、撮像部５０２の受光面に被写体像を結像する。また、レンズユニット５０１は、カメラヘッド制御部５０５の制御のもと、図示しない駆動部がレンズを光軸方向に沿って移動させることによって焦点位置を変化させるＡＦ（Auto Focus）および焦点距離を変化させる光学ズームを行う。なお、本実施の形態１では、レンズユニット５０１に絞り機構および光軸上に挿脱可能な光学フィルタ機構を設けてもよい。
撮像部５０２（撮像素子）は、カメラヘッド制御部５０５の制御のもと、挿入部２およびレンズユニット５０１が結像した被写体像を受光して光電変換を行うことによって撮像信号（ＲＡＷデータ）を生成し、この撮像信号を通信モジュール５０３へ出力する。撮像部５０２は、第２の光源部３２が被検体に投与された薬剤に赤外光を照射することによって撮像する薬剤観察モード時に生成した撮像信号を薬剤観察画像情報として通信モジュール５０３へ出力する。また、撮像部５０２は、第１の光源部３１が被検体に照射し、被検体からの反射光を撮像する被検体観察モード時に生成した撮像信号を被検体観察画像情報として通信モジュール５０３へ出力する。撮像部５０２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等用いて構成される。
通信モジュール５０３は、第１の伝送ケーブル６を介して制御装置９から送信された各種の信号をカメラヘッド５内の各部に出力する。また、通信モジュール５０３は、第１の伝送ケーブル６を介して、撮像部５０２が生成した薬剤観察画像情報、被検体観察画像情報、カメラヘッド５の現在の状態に関する情報等に対してパラレルシリアル変換処理等を行って制御装置９へ出力する。
カメラヘッドメモリ５０４は、カメラヘッド５を識別するカメラヘッド情報およびカメラヘッド５が実行する各種のプログラムを記憶する。ここで、カメラヘッド情報には、撮像部５０２の画素数、画素ピッチおよびカメラヘッド５の識別ＩＤ等が含まれる。カメラヘッドメモリ５０４は、揮発性メモリおよび不揮発性メモリ等を用いて構成される。
カメラヘッド制御部５０５は、通信モジュール５０３から入力された各種信号に基づいて、カメラヘッド５を構成する各部の動作を制御する。カメラヘッド制御部５０５は、メモリとＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。
〔制御装置の構成〕
次に、制御装置９の構成について説明する。
制御装置９は、通信モジュール９１と、信号処理部９２と、画像処理部９３と、入力部９４と、メモリ９５と、出力部９６と、制御部９７と、を備える。
通信モジュール９１は、カメラヘッド５から入力された撮像信号を含む各種信号を制御部９７や信号処理部９２へ出力する。また、通信モジュール９１は、制御部９７から入力された各種信号をカメラヘッド５へ送信する。具体的には、通信モジュール９１は、制御部９７から入力された信号に対してパラレルシリアル変換処理等を行ってカメラヘッド５へ出力する。さらに、通信モジュール９１は、カメラヘッド５から入力された信号に対して、シリアルパラレル変換処理等を行って制御装置９を構成する各部に出力する。
信号処理部９２は、通信モジュール９１を介してカメラヘッド５から入力された薬剤観察画像情報または被検体観察画像情報に対して、ノイズ低減処理やＡ／Ｄ変換処理等の信号処理を行って画像処理部９３へ出力する。
画像処理部９３は、制御部９７の制御のもと、信号処理部９２から入力される薬剤観察画像情報または被検体観察画像情報に対して、各種の画像処理を行って表示装置７へ出力する。ここで、所定の画像処理としては、補間処理、色補正処理、色強調処理および輪郭強調処理等の各種の公知の画像処理である。画像処理部９３は、メモリと、ＧＰＵ、ＦＰＧＡまたはＣＰＵ等のハードウェアを有するプロセッサと、を用いて構成される。また、実施の形態１では、画像処理部９３が画像処理装置として機能する。また、画像処理部９３は、少なくとも、検出部９３１と、クランプ処理部９３２と、ゲイン調整部９３３と、低減処理部９３４と、γ補正部９３５と、重畳部９３６と、を有する。
検出部９３１は、信号処理部９２から入力される薬剤観察画像情報または被検体観察画像情報の各々の明るさを検出し、この検出結果を制御部９７へ出力する。具体的には、検出部９３１は、薬剤観察画像情報における複数の画素の画素値から薬剤観察画像情報の明るさとして制御部９７へ出力するとともに、被検体観察画像情報における複数の画素の画素値から被検体観察画像情報の明るさとして制御部９７へ出力する。具体的には、検出部９３１は、薬剤観察画像情報の各画素の輝度値の平均値を薬剤観察画像情報の明るさとして制御部９７へ出力するとともに、被検体観察画像情報の各画素の輝度値の平均値を被検体観察画像情報の明るさとして制御部９７へ出力する。
クランプ処理部９３２は、制御部９７の制御のもと、信号処理部９２から入力される薬剤観察画像情報または被検体観察画像情報に対して、黒レベルを固定するクランプ処理を行ってゲイン調整部９３３へ出力する。
ゲイン調整部９３３は、制御部９７の制御のもと、薬剤観察画像情報に対して、薬剤観察画像情報を構成する複数の画素の画素値を増幅する第１のゲイン処理を行って低減処理部９３４へ出力する。具体的には、ゲイン調整部９３３は、制御部９７の制御のもと、検出部９３１が検出した薬剤観察画像情報の明るさが小さいほど、薬剤観察画像情報に対して、薬剤観察画像情報を構成する複数の画素の画素値を増幅する第１のゲイン処理におけるゲイン量を大きくして低減処理部９３４へ出力する。また、ゲイン調整部９３３は、制御部９７の制御のもと、被検体観察画像情報を構成する複数の画素の画素値を増幅する第２のゲイン処理を行ってγ補正部９３５へ出力する。具体的には、ゲイン調整部９３３は、制御部９７の制御のもと、検出部９３１が検出した被検体観察画像情報の明るさが小さいほど、被検体観察画像情報を構成する複数の画素の画素値を増幅する第２のゲイン処理におけるゲイン量を大きくしてγ補正部９３５へ出力する。
低減処理部９３４は、低減処理部９３４は、制御部９７の制御のもと、ゲイン調整部９３３によって第１のゲイン処理を行った薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う。具体的には、低減処理部９３４は、ゲイン調整部９３３による第１のゲイン処理のゲイン量が大きいほど、所定の閾値を大きくし、薬剤観察画像情報の各画素の画素値から所定の閾値を減算することによって、所定の閾値よりも低い画素の画素値を低減する。
γ補正部９３５は、制御部９７の制御のもと、低減処理部９３４によって低減処理が行われた薬剤観察画像情報に対して、γ補正処理を行って表示装置７または重畳部９３６へ出力する。また、γ補正部９３５は、制御部９７の制御のもと、ゲイン調整部９３３によって第２のゲイン処理が行われた被検体観察画像情報に対して、γ補正処理を行って表示装置７へ出力する。
重畳部９３６は、制御部９７の制御もと、被検体観察画像情報に薬剤観察画像情報を重畳して表示装置７へ出力する。
入力部９４は、キーボード、マウスおよびタッチパネル等を用いて構成される。入力部９４は、ユーザの操作による各種情報の入力を受け付ける。
メモリ９５は、揮発性メモリ、不揮発性メモリおよびフレームメモリ等を用いて構成される。メモリ９５は、内視鏡システム１が実行する各種のプログラムや処理中に使用される各種のデータを記憶する。なお、メモリ９５は、制御装置９に対して装着自在なメモリカード等をさらに備えてもよい。
出力部９６は、スピーカ、プリンタおよびディスプレイ等を用いて構成される。出力部９６は、内視鏡システム１に関する各種情報を出力する。
制御部９７は、内視鏡システム１を構成する各部を統括的に制御する。制御部９７は、メモリおよびＣＰＵ等のハードウェアを用いて構成される。
〔制御装置の処理〕
次に、制御装置９が実行する処理について説明する。図３は、制御装置９が実行する処理の概要を示すフローチャートである。
図３に示すように、まず、制御部９７は、通信モジュール９１を介してカメラヘッド５からカメラヘッド情報、およびメモリ９５から内視鏡システム１の現在の観察モードを示す観察モード情報を取得する（ステップＳ１０１）。
続いて、制御部９７は、内視鏡システム１が薬剤観察モードに設定されているか否かを判断する（ステップＳ１０２）。制御部９７によって内視鏡システム１が薬剤観察モードに設定されていると判断された場合（ステップＳ１０２：Ｙｅｓ）、制御装置９は、後述するステップＳ１０３へ移行する。これに対して、制御部９７によって内視鏡システム１が薬剤観察モードに設定されていないと判断された場合（ステップＳ１０２：Ｎｏ）、制御装置９は、後述するステップＳ１１４へ移行する。なお、制御部９７は、入力部９４から入力される観察モードを指示する指示信号に応じて、内視鏡システム１が薬剤観察モードに設定されているか否かを判断してもよい。
ステップＳ１０３において、画像処理部９３は、制御部９７の制御のもと、通信モジュール５０３、通信モジュール９１および信号処理部９２を介して、第２の光源部３２が赤外光を照射することによって撮像部５０２が被検体に投与された薬剤からの発光を撮像して生成した薬剤観察画像情報を取得する。
続いて、検出部９３１は、制御部９７の制御のもと、薬剤観察画像情報の明るさを検出する（ステップＳ１０４）。具体的には、検出部９３１は、薬剤観察画像情報の各画素の画素値（出力値）の平均値を薬剤観察画像情報の明るさとして検出し、この検出結果を薬剤観察画像情報の明るさ情報として制御部９７へ出力する。
その後、クランプ処理部９３２は、制御部９７の制御のもと、薬剤観察画像情報に対して、黒レベルを固定するクランプ処理を行う（ステップＳ１０５）。具体的には、クランプ処理部９３２は、薬剤観察画像情報に含まれるオプティカルブラック領域（撮像部５０２の遮光領域）の出力値（画素値）に基づいて、黒レベルを示すクランプ値が目標値となるように調整し、この調整したクランプ値に基づいた薬剤観察画像情報をゲイン調整部９３３へ出力する。
図３に戻り、ステップＳ１０６以降の説明を続ける。
ステップＳ１０６において、ゲイン調整部９３３は、制御部９７の制御のもと、検出部９３１が検出した薬剤観察画像情報の明るさ情報に基づいて、薬剤観察画像情報の各画素の画素値（出力値）を増幅する第１のゲイン処理を行う。具体的には、ゲイン調整部９３３は、薬剤観察画像情報の明るさが小さいほど、ゲイン処理におけるゲイン量を大きくすることによって薬剤観察画像情報の各画素の画素値を増幅する第１のゲイン処理を行う。
続いて、低減処理部９３４は、制御部９７の制御のもと、ゲイン調整部９３３によって第１のゲイン処理が行われた薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う（ステップＳ１０７）。
図４は、低減処理部９３４が行う低減処理前の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を模式的に示す図である。図５は、低減処理部９３４が行う低減処理後の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を模式的に示す図である。図６は、低減処理部９３４が低減処理を行った薬剤観察画像情報を模式的に示す図である。図７は、低減処理部９３４が低減処理を行っていない薬剤観察画像情報を模式的に示す図である。図４および図５において、横軸が薬剤観察画像情報における所定の水平ラインにおける各画素の座標を示し、縦軸が薬剤観察画像情報における各画素の画素値（出力値）を示す。また、図４において、曲線Ｌ１が低減処理前の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を示し、直線ＬBがクランプ値を示す。直線ＬＴが閾値を示す。さらに、図５において、曲線Ｌ２が低減処理後の薬剤観察画像情報における所定の水平ラインにおける各画素の画素値を示す。
図４に示すように、低減処理部９３４は、薬剤観察画像情報の各画素に対して、閾値ＬＴを減算することによって（図４の曲線Ｌ１→図５の曲線Ｌ２）、閾値ＬＴよりも低い画素の画素値を低減する。この場合、低減処理部９３４は、制御部９７の制御のもと、ゲイン調整部９３３によるゲイン量に基づいて、閾値ＬＴを変更する。具体的には、低減処理部９３４は、制御部９７の制御のもと、ゲイン調整部９３３によるゲイン量が大きいほど、閾値ＬＴを大きくし、薬剤観察画像情報の各画素の画素値から閾値ＬＴを減算することによって、閾値ＬＴよりも低い画素の画素値を低減する。これにより、図６に示す薬剤観察画像情報Ｐ１は、蛍光領域Ｗ１がノイズに埋もれることなく、蛍光領域Ｗ１と他の領域とを識別することができる。これに対して、図７に示す薬剤観察画像情報Ｐ２は、低減処理部９３４が低減処理を行っていないため、ノイズによって全体的に白い画像となり、蛍光領域Ｗ１がノイズに埋もれてしまうことで、蛍光領域Ｗ１と他の領域とを識別することが難しく、蛍光が発せられているように視認されてしまう。なお、図６および図７では、ノイズを表現するため、ハッチングの密度で模式的に表現した。
図３に戻り、ステップＳ１０８以降の説明を続ける。
ステップＳ１０８において、γ補正部９３５は、制御部９７の制御のもと、薬剤観察画像情報に対して、γ補正処理を行って出力する（ステップＳ１０８）。
その後、制御部９７は、内視鏡システム１が薬剤観察画像情報と被検体観察画像情報とを重畳して表示する重畳表示モードが設定されているか否かを判断する（ステップＳ１０９）。制御部９７によって内視鏡システム１が重畳表示モードに設定されていると判断された場合（ステップＳ１０９：Ｙｅｓ）、制御装置９は、後述するステップＳ１１０へ移行する。これに対して、制御部９７によって内視鏡システム１が重畳表示モードに設定されていないと判断された場合（ステップＳ１０９：Ｎｏ）、制御装置９は、後述するステップＳ１１３へ移行する。
ステップＳ１１０において、重畳部９３６は、制御部９７の制御のもと、薬剤観察画像情報に被検体観察画像情報を重畳する重畳処理を実行する。
続いて、画像処理部９３は、制御部９７の制御のもと、重畳部９３６が生成した重畳画像を表示装置７へ出力する（ステップＳ１１１）。図８は、被検体観察画像情報に低減処理部９３４が低減処理を行った薬剤観察画像情報を重畳した重畳画像を模式的に示す図である。図９は、被検体観察画像情報に低減処理部９３４が低減処理を行っていない薬剤観察画像情報を重畳した重畳画像を模式的に示す図である。図８に示すように、重畳画像Ｐ１０は、蛍光領域Ｗ１がノイズに埋もれることなく、蛍光領域Ｗ１と他の領域とを識別することができる。これに対して、図９に示すように、重畳画像Ｐ１１は、低減処理部９３４が低減処理を行っていないため、蛍光領域Ｗ１がノイズに埋もれてしまうことで、蛍光領域Ｗ１と他の領域とを識別することが難しい。なお、図９では、ノイズを表現するため、ハッチングで模式的に表現した。
その後、入力部９４から被検体の観察を終了する指示信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、制御装置９は、本処理を終了する。これに対して、入力部９４から被検体の観察を終了する指示信号が入力されていない場合（ステップＳ１１２：Ｎｏ）、制御装置９は、上述したステップＳ１０２へ戻る。
ステップＳ１１３において、画像処理部９３は、制御部９７の制御のもと、γ補正部９３５によってγ補正された薬剤観察画像情報を表示装置７へ出力する。ステップＳ１１３の後、制御装置９は、ステップＳ１１２へ移行する。
ステップＳ１１４において、画像処理部９３は、制御部９７の制御のもと、通信モジュール５０３、通信モジュール９１および信号処理部９２を介して撮像部５０２が生成した被検体観察画像情報を取得する。
続いて、検出部９３１は、制御部９７の制御のもと、被検体観察画像情報の明るさを検出する（ステップＳ１１５）。
その後、クランプ処理部９３２は、制御部９７の制御のもと、被検体観察画像情報に対して、黒レベルを固定するクランプ処理を実行する（ステップＳ１１６）。
続いて、ゲイン調整部９３３は、制御部９７の制御のもと、被検体観察画像情報の各画素の画素値を増幅する第２のゲイン処理を行う（ステップＳ１１７）。具体的には、ゲイン調整部９３３は、被検体観察画像情報の明るさが小さいほど、ゲイン処理におけるゲイン量を大きくすることによって被検体観察画像情報の各画素の画素値を増幅する第２のゲイン処理を行う。
その後、γ補正部９３５は、ゲイン調整部９３３から入力された被検体観察画像情報に対して、γ補正を行う（ステップＳ１１８）。
続いて、画像処理部９３は、制御部９７の制御のもと、γ補正部９３５によってγ補正された被検体観察画像情報を表示装置７へ出力する（ステップＳ１１９）。ステップＳ１１９の後、制御装置９は、ステップＳ１１２へ移行する。
以上説明した実施の形態１によれば、画像処理部９３が薬剤観察モードにおいて生成された薬剤観察画像情報に対して、画素値を増幅する第１のゲイン処理を行い、この薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行うので、画像の劣化を防止するとともに、残像が目に付くことを防止することができる。
また、実施の形態１によれば、画像処理部９３が薬剤観察画像情報の明るさを検出し、この明るさが小さいほど、第１のゲイン処理におけるゲイン量を大きくし、第１のゲイン処理におけるゲイン量が大きいほど、低減処理時における所定の閾値を大きくすることによって低減処理を行うことによって、ゲインに応じて画素値が持ち上がったノイズに対して低減することができるため、画像の劣化を防止することができる。
また、実施の形態１によれば、画像処理部９３が被検体観察モードで生成された被検体観察画像情報に対して、第２のゲイン処理を行い、かつ、低減処理を行わず表示装置７へ出力するので、被検体観察モード時に画像が劣化することを防止することができる。
また、実施の形態１によれば、画像処理部９３が検体観察画像の明るさを検出し、被検体観察画像情報の明るさが小さいほど、第２のゲイン処理におけるゲイン量を大きくするので、被写体からの反射光が小さい場合であっても、明るさが調整された画像を得ることができる。
なお、実施の形態１では、低減処理部９３４が薬剤観察画像情報に対して、所定の閾値以下の画素値を削除することによって薬剤観察画像情報に含まれるノイズを低減していたが、例えば所定の閾値以下の画素値に対して所定の係数、具体的には０．１を乗じることによって薬剤観察画像情報に含まれるノイズを低減してもよい。また、所定の係数は、画素値をパラメータとする関数やルックアップテーブルによって決められてもよい。
また、実施の形態１では、低減処理部９３４がゲイン調整部９３３による第１のゲイン処理のゲイン量に応じて閾値を変更していたが、カメラヘッド情報に含まれる撮像部５０２の種別または検出部９３１が検出した薬剤観察画像情報の明るさ、光源装置３が供給する赤外光等の強度、撮像部５０２のシャッタスピード等のゲイン量と相関するパラメータに応じて閾値を変更してもよい。
また、実施の形態１では、低減処理部９３４がゲイン調整部９３３による第１のゲイン処理のゲイン量に応じて閾値を変更することによって、薬剤観察画像情報に含まれるノイズを低減していたが、例えばクランプ処理部９３２のクランプ値を変更することによって薬剤観察画像情報に含まれるノイズを低減してもよい。この場合、クランプ処理部９３２は、ゲイン調整部９３３による第１のゲイン処理のゲイン量が大きいほど、クランプ値を大きくしてノイズを低減する低減処理を行うことによって、ゲインに応じて画素値が持ち上がるノイズに対して低減することができるので、画像の劣化を防止することができる。また、さらに、クランプ処理部９３２は、ゲイン調整部９３３による第１のゲイン処理のゲイン量だけではなく、撮像部５０２の温度または撮像部５０２の種別を考慮してクランプ値を変更してもよい。
（実施の形態１の変形例１）
また、実施の形態１では、低減処理部９３４がゲイン調整部９３３による第１のゲイン処理のゲイン量に応じて閾値を変更することによって、薬剤観察画像情報に含まれるノイズを低減していたが、例えばγ補正部９３５がγ補正のトーンカーブを変更することによって薬剤観察画像情報に含まれるノイズを低減してもよい。
図１０は、γ補正部９３５が行う通常のγ補正のトーンカーブを模式的に示す図である。図１１は、実施の形態１の変形例に係るγ補正部９３５が行うγ補正のトーンカーブを模式的に示す図である。図１０および図１１において、横軸が薬剤観察画像情報の補正前データ（入力データ）を示し、縦軸が薬剤観察画像情報の補正後データ（出力データ）を示す。図１０において、曲線Ｌ１０が通常のγ補正のトーンカーブを示す。また、図１１において、曲線Ｌ１１がγ補正のトーンカーブを示す。
図１０の曲線Ｌ１０に示すように、通常、γ補正部９３５は、制御部９７の制御のもと、薬剤観察画像情報に対してγ補正を行って出力する。これに対して、図１１の曲線Ｌ１１に示すように、γ補正部９３５は、制御部９７の制御のもと、薬剤観察画像情報において、ノイズと想定される画素値の範囲Ｄ１を除去するγ補正を行って出力する。なお、γ補正部９３５は、制御部９７の制御のもと、範囲Ｄ１をゲイン調整部９３３による第１のゲイン処理のゲイン量に応じて変更する。これにより、薬剤観察画像情報に含まれるノイズを低減することができる。
以上説明した実施の形態１の変形例１によれば、γ補正部９３５が薬剤観察画像情報においてノイズと想定される画素値の範囲Ｄ１を除去するγ補正を行って出力するので、薬剤観察画像情報に含まれるノイズを低減することができる。
なお、実施の形態１の変形例１では、γ補正部９３５が薬剤観察画像情報においてノイズと想定される画素値の範囲Ｄ１を除去するトーンカーブによって薬剤観察画像情報に含まれるノイズを低減していたが、例えば図１２の曲線Ｌ１２に示すようにＳ字のトーンカーブによって薬剤観察画像情報に含まれるノイズを低減してもよい。
また、実施の形態１の変形例１では、γ補正部９３５がゲイン調整部９３３による第１のゲイン処理のゲイン量に応じて、ノイズと想定される画素値の範囲Ｄ１を変更していたが、カメラヘッド情報に含まれる撮像部５０２の種別、検出部９３１が検出した薬剤観察画像情報の明るさ、または光源装置３が照射する赤外光の強度に応じてノイズと想定される画素値の範囲Ｄ１を変更してもよい。また、γ補正部９３５は、ゲイン調整部９３３による第１のゲイン処理のゲイン量だけではなく、さらに撮像部５０２の温度や撮像部５０２の種別を考慮してノイズと想定される画素値の範囲Ｄ１を変更してもいい。
（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、硬性鏡を用いた硬性内視鏡システムに適用した場合について説明したが、実施の形態２では、軟性の内視鏡を用いた軟性内視鏡システムに適用した場合について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明は省略する。
〔内視鏡システムの概略構成〕
図１３は、実施の形態２に係る内視鏡システムの概略構成を示す図である。図１３に示す内視鏡システム２００は、被検体内に挿入部２０２を挿入することによって観察部位の体内画像を撮像して撮像信号を生成する内視鏡２０１と、内視鏡２０１に白色光または赤外光を供給する光源装置２１０と、内視鏡２０１が取得した撮像信号に所定の画像処理を施すとともに、内視鏡システム２００全体の動作を統括的に制御する制御装置２２０と、制御装置２２０が画像処理を施した体内画像を表示する表示装置２３０と、を備える。
内視鏡２０１は、少なくとも、上述したレンズユニット５０１と、撮像部５０２と、を有する。
光源装置２１０は、少なくとも、上述した第１の光源部３１と、第２の光源部３２と、光源制御部３３と、を有する。
制御装置２２０は、少なくとも、上述した通信モジュール９１と、信号処理部９２と、画像処理部９３と、入力部９４と、メモリ９５と、出力部９６と、制御部９７と、を有する。
以上説明した実施の形態２によれば、軟性の内視鏡システム２００であっても、上述した実施の形態１と同様の効果を得ることができる。
（実施の形態３）
次に、実施の形態３について説明する。上述した実施の形態１，２では、内視鏡システムであったが、実施の形態３では、手術用顕微鏡システムに適用した場合について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明は省略する。
〔手術用顕微鏡システムの構成〕
図１５は、実施の形態３に係る手術用顕微鏡システムの概略構成を示す図である。図１５に示す手術用顕微鏡システム３００は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置３１０と、顕微鏡装置３１０が撮像した画像を表示する表示装置３１１と、を備える。なお、表示装置３１１と顕微鏡装置３１０とを一体に構成することも可能である。
顕微鏡装置３１０は、被写体の微小部位を拡大して撮像する顕微鏡部３１２と、顕微鏡部３１２の基端部に接続し、顕微鏡部３１２を回動可能に支持するアームを含む支持部３１３と、支持部３１３の基端部を回動可能に保持し、床面上を移動可能なベース部３１４と、を有する。ベース部３１４は、手術用顕微鏡システム３００の動作を制御する制御装置３１５と、顕微鏡装置３１０から被写体に照射する白色光または赤外光等を生成する光源装置３１６と、を有する。なお、制御装置３１５は、少なくとも、上述した通信モジュール９１と、信号処理部９２と、画像処理部９３と、入力部９４と、メモリ９５と、出力部９６と、制御部９７と、を有する。また、光源装置３１６は、少なくとも、上述した第１の光源部３１と、第２の光源部３２と、光源制御部３３と、を有する。また、ベース部３１４は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部３１３を支持する構成としてもよい。
顕微鏡部３１２は、例えば、円柱状をなして、その内部に上述したレンズユニット５０１および撮像部５０２を有する。顕微鏡部３１２の側面には、顕微鏡装置３１０の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部３１２の下端部の開口面には、内部を保護するカバーガラスが設けられている（図示せず）。
このように構成された手術用顕微鏡システム３００は、術者等のユーザが顕微鏡部３１２を把持した状態で各種スイッチを操作しながら、顕微鏡部３１２を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。なお、顕微鏡部３１２の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部３１２の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
以上説明した実施の形態３によれば、手術用顕微鏡システム３００においても、上述した実施の形態１と同様の効果を得ることができる。
（その他の実施の形態）
上述した本開示の実施の形態１〜３に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１〜３に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１〜３に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態１〜３に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態１〜３に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の実施の形態１〜３に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，２００ 内視鏡システム
２，２０２ 挿入部
３，２１０，３１６ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１の伝送ケーブル
７ 表示装置
８ 第２の伝送ケーブル
９，２２０，３１５ 制御装置
１０ 第３の伝送ケーブル
９１ 通信モジュール
９２ 信号処理部
９３ 画像処理部
９４ 入力部
９５ メモリ
９６ 出力部
９７ 制御部
３００ 手術用顕微鏡システム
５０１ レンズユニット
５０２ 撮像部
５０３ 通信モジュール
５０４ カメラヘッドメモリ
５０５ カメラヘッド制御部
９３１ 検出部
９３２ クランプ処理部
９３３ ゲイン調整部
９３４ 低減処理部
９３５ γ補正部
９３６ 重畳部

Claims (7)

  1. メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置であって、
    前記プロセッサは、
    所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して前記複数の画素の画素値を増幅する第１のゲイン処理を行い、
    前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う、
    画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記プロセッサは、
    前記薬剤観察画像情報における前記複数の画素の画素値から前記薬剤観察画像情報の明るさを検出し、
    前記明るさが小さいほど、前記第１のゲイン処理におけるゲイン量を大きくし、
    前記ゲイン量が大きいほど、前記所定の閾値を大きくすることによって前記低減処理を行う、
    画像処理装置。
  3. 請求項１に記載の画像処理装置であって、
    前記プロセッサは、
    画素値をパラメータとする関数またはルックアップテーブルにより前記所定の閾値よりも低い画素の画素値を低減させる前記低減処理を行う、
    画像処理装置。
  4. 請求項１〜３のいずれか一つに記載の画像処理装置であって、
    前記プロセッサは、
    前記被検体からの反射光を撮像して得られる複数の画素を有する被検体観察画像情報に対して、前記被検体観察画像情報が有する複数の画素の画素値を増幅する第２のゲイン処理を行い、かつ、前記低減処理を行わず外部へ出力する、
    画像処理装置。
  5. 請求項４に記載の画像処理装置であって、
    前記被検体観察画像情報が有する複数の画素の画素値から前記被検体観察画像情報の明るさを検出し、
    前記被検体観察画像情報の明るさが小さいほど、前記第２のゲイン処理におけるゲイン量を大きくする、
    画像処理装置。
  6. メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置が実行する画像処理方法であって、
    前記プロセッサが、
    所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して前記複数の画素の画素値を増幅する第１のゲイン処理を行い、
    前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行う、
    画像処理方法。
  7. メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置が実行するプログラムであって、
    前記プロセッサに、
    所定の波長帯域を有する励起光が照射されることで蛍光を発する薬剤が投与された被検体からの蛍光を撮像して得られる複数の画素を有する薬剤観察画像情報が入力され、前記薬剤観察画像情報に対して、前記複数の画素の画素値を増幅する第１のゲイン処理を行わせ、
    前記第１のゲイン処理が行われた前記薬剤観察画像情報に対して、所定の閾値よりも低い画素の画素値を低減させる低減処理を行わせる、
    プログラム。
JP2019049084A 2019-03-15 2019-03-15 画像処理装置、画像処理方法およびプログラム Active JP7257829B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019049084A JP7257829B2 (ja) 2019-03-15 2019-03-15 画像処理装置、画像処理方法およびプログラム
US16/729,523 US11321814B2 (en) 2019-03-15 2019-12-30 Image processing device, image processing method, and computer readable recording medium
JP2023060973A JP7459342B2 (ja) 2019-03-15 2023-04-04 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049084A JP7257829B2 (ja) 2019-03-15 2019-03-15 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023060973A Division JP7459342B2 (ja) 2019-03-15 2023-04-04 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020146405A true JP2020146405A (ja) 2020-09-17
JP7257829B2 JP7257829B2 (ja) 2023-04-14

Family

ID=72423494

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019049084A Active JP7257829B2 (ja) 2019-03-15 2019-03-15 画像処理装置、画像処理方法およびプログラム
JP2023060973A Active JP7459342B2 (ja) 2019-03-15 2023-04-04 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023060973A Active JP7459342B2 (ja) 2019-03-15 2023-04-04 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11321814B2 (ja)
JP (2) JP7257829B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2017022324A1 (ja) * 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006225662B2 (en) 2005-03-22 2009-08-13 Olympus Corporation Image processing device and endoscope
FR2978273B1 (fr) * 2011-07-22 2013-08-09 Thales Sa Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5901854B2 (ja) * 2013-12-05 2016-04-13 オリンパス株式会社 撮像装置
JP2017153748A (ja) 2016-03-02 2017-09-07 株式会社ニデック 光断層像撮影装置
IL254896B (en) * 2017-10-03 2019-03-31 Visionsense Ltd Fluorescent camera with limited variable praise

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2017022324A1 (ja) * 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム

Also Published As

Publication number Publication date
JP2023076608A (ja) 2023-06-01
JP7257829B2 (ja) 2023-04-14
US11321814B2 (en) 2022-05-03
JP7459342B2 (ja) 2024-04-01
US20200294200A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US9900484B2 (en) White balance adjustment method and imaging device for medical instrument
WO2013175908A1 (ja) 撮像システム
JP2007054342A (ja) 電子内視鏡システム
JP2010125270A (ja) 内視鏡装置
JP6129731B2 (ja) 内視鏡システム及びその作動方法
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
JP6355531B2 (ja) 内視鏡用光源装置、内視鏡システム及びその作動方法
JP6137892B2 (ja) 撮像システム
JP7459342B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP7399151B2 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP2021145824A (ja) 医療用制御装置及び医療用観察システム
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
WO2021039870A1 (ja) 医療用画像処理装置および医療用観察システム
US11582427B2 (en) Medical image processing apparatus and medical observation system
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method
WO2021186803A1 (ja) 医療用観察システム、制御装置および制御方法
US20210290037A1 (en) Medical image processing apparatus and medical observation system
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
WO2020230332A1 (ja) 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6312254B2 (ja) 内視鏡システム及びその作動方法
JP2021146198A (ja) 医療用画像処理装置及び医療用観察システム
JP6386889B2 (ja) 内視鏡用光源装置、内視鏡システム及びその作動方法
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R151 Written notification of patent or utility model registration

Ref document number: 7257829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151