JP2021126153A - 医療用画像処理装置および医療用観察システム - Google Patents

医療用画像処理装置および医療用観察システム Download PDF

Info

Publication number
JP2021126153A
JP2021126153A JP2020020775A JP2020020775A JP2021126153A JP 2021126153 A JP2021126153 A JP 2021126153A JP 2020020775 A JP2020020775 A JP 2020020775A JP 2020020775 A JP2020020775 A JP 2020020775A JP 2021126153 A JP2021126153 A JP 2021126153A
Authority
JP
Japan
Prior art keywords
image
image processing
light
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020020775A
Other languages
English (en)
Inventor
公 後田
Akira Nochida
公 後田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2020020775A priority Critical patent/JP2021126153A/ja
Priority to US17/134,521 priority patent/US11582427B2/en
Publication of JP2021126153A publication Critical patent/JP2021126153A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/00078Insertion part of the endoscope body with stiffening means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00105Constructional details of the endoscope body characterised by modular construction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00114Electrical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00117Optical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】簡易な処理によって可視光画像および蛍光画像を知覚させることができる医療用画像処理装置および医療用観察システムを提供すること。
【解決手段】本開示の医療用画像処理装置は、互いに異なる時刻に撮像され、第1の波長帯域の光の照明によって生成される複数の第1の画像データが順次入力されるとともに、互いに異なる時刻に撮像され、第1の波長帯域とは異なる第2の波長帯域の光の照明によって生成される複数の第2の画像データが順次入力され、入力された第1および第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した第1の画像および第2の画像を、各画像の時系列の順、かつ予め設定された、第1および第2の画像の表示パターンにしたがって表示装置に出力する画像処理部、を備える。
【選択図】図2

Description

本開示は、外部から入力される画像データに対して画像処理を行う医療用画像処理装置および医療用観察システムに関する。
医療もしくは産業用カメラにおいて、第1の撮像手段によって励起光帯域の光像を撮像することによって取得した特定部位が写る蛍光画像と、第2の撮像手段によって可視光領域の光像を撮像することによって取得した可視光画像と、を所定の割合で画素毎に加算することによって、例えば可視光画像に蛍光画像を重畳した重畳画像を生成する技術が知られている(例えば特許文献1参照)。
特許第6110887号公報
しかしながら、特許文献1は、可視光画像に、別で画像処理した蛍光画像を重畳処理するため、処理が複雑になるという問題があった。
本開示は、上記に鑑みてなされたものであって、簡易な処理によって可視光画像および蛍光画像を知覚させることができる医療用観察システムおよび医療用画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示にかかる医療用画像処理装置は、互いに異なる時刻に撮像され、第1の波長帯域の光の照明によって生成される複数の第1の画像データが順次入力されるとともに、互いに異なる時刻に撮像され、前記第1の波長帯域とは異なる第2の波長帯域の光の照明によって生成される複数の第2の画像データが順次入力され、入力された前記第1および第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって表示装置に出力する画像処理部、を備える。
また、本開示にかかる医療用画像処理装置は、上記開示において、同時に出射された白色光と励起光とによって、前記白色光に基づいて前記第1の画像データが生成され、前記励起光、および、該励起光による蛍光によって第2の画像データが生成され、前記画像処理部は、前記第1および第2の画像データに基づいて、前記第1および第2の画像をそれぞれ生成する。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記画像処理部は、前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、前記第1および第2の画像が入力され、前記第1および第2の画像のうち、前記表示パターンにしたがって前記表示装置に表示させる画像を選択して、選択した前記第1または前記第2の画像を出力する画像選択部と、を有する。
また、本開示にかかる医療用画像処理装置は、上記開示において、外部から入力される前記第1および前記第2の画像データを互いに異なる時刻に、前記画像処理部に入力するデータ選択部、をさらに備える。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記画像処理部は、前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、を有する。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記画像処理部は、120Hz以上で駆動する。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記第1の画像を連続的に表示する通常観察モードと、前記第1および第2の画像を交互に表示する特殊観察モードとを切り替える制御部、をさらに備え、前記特殊観察モードにおける駆動周波数は、前記通常観察モードにおける駆動周波数よりも大きい。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記画像処理部は、前記第1の画像および前記第2の画像を交互に表示装置に出力する。
また、本開示にかかる医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画像における、被写体以外の背景領域を、前記第1の画像の対応する領域に置き換えた置換画像を、前記第2の画像として生成する。
また、本開示にかかる医療用観察システムは、蛍光物質が導入された被検体に対して白色光および励起光を照射可能な光源装置と、前記白色光が照射された際に前記被検体からの反射光を受光することによって第1の画像データを生成し、かつ、前記励起光が照射された際に前記蛍光物質から発せられた発光を受光することによって第2の画像データを生成する観察装置と、前記観察装置から入力される、互いに異なる時刻に撮像された複数の前記第1の画像データ、および、互いに異なる時刻に撮像された複数の第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって出力する画像処理部と、前記画像処理部から出力された前記第1および第2の画像を表示する表示装置と、を備える。
本発明によれば、簡易な処理によって可視光画像および蛍光画像を知覚させることができるという効果を奏する。
図1は、本開示の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、図1に示したカメラヘッド、制御装置および光源装置の構成を示すブロック図である。 図3は、本開示の実施の形態1にかかる内視鏡システムが実行する処理の概要を示すフローチャートである。 図4は、第1の光源部の光によって観察される第1の画像の一例を模式的に示す図である。 図5は、第2の光源部の光によって観察される第2の画像の一例を模式的に示す図である。 図6は、第1および第2の画像の表示順の一例を説明する図である。 図7は、表示装置によって表示される第1および第2画像の視覚画像である。 図8は、本開示の実施の形態2にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。 図9は、本開示の実施の形態3にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。 図10は、本開示の実施の形態4にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。 図11は、実施の形態5にかかる内視鏡システムの概略構成を示す図である。 図12は、実施の形態6にかかる手術用顕微鏡システムの概略構成を示す図である。 図13は、その他の実施の形態にかかる第2の画像の一例を模式的に示す図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる医療用画像処理装置を備えるシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。図1に示す内視鏡システム1は、医療分野に用いられ、人や動物の生体等の被検体の生体内に挿入され、内部を撮像した画像を表示することによって被検体を観察するシステムである。なお、実施の形態1では、内視鏡システム1として、図1に示す硬性鏡(挿入部2)を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性内視鏡システムであってもよい。
図1に示す内視鏡システム1は、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5(内視鏡用撮像装置)と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10と、を備える。
挿入部2は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部2は、患者等の被検体内に挿入される。挿入部2は、内部に1または複数のレンズを用いて構成され、観察像を結合する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続される。光源装置3は、制御装置9による制御のもと、ライトガイド4の一端に被検体内を照明するための白色光、被検体に投与または散布された薬剤に励起光または赤外光を出射(供給)する。光源装置3は、LED(Light Emitting Diode)光源やLD(Laser Diode)等の半導体レーザ素子を用いて構成される。光源装置3と制御装置9とは、図1に示すように個別で通信する構成をしてもよいし、一体化した構成であってもよい。
ライトガイド4は、一端が光源装置3に着脱自在に接続され、かつ、他端が挿入部2に着脱自在に接続される。ライトガイド4は、光源装置3から出射された光を一端から他端に導光し、挿入部2へ供給する。
カメラヘッド5は、挿入部2の接眼部21が着脱自在に接続される。カメラヘッド5は、制御装置9の制御のもと、挿入部2によって結像された観察像を撮像することによって画像データ(撮像信号)を生成し、この画像データを出力する。また、カメラヘッド5は、円周方向に回転可能に設けられた操作リング部51と、内視鏡システム1の各種の操作を指示する指示信号の入力を受け付ける複数の入力部52と、を備える。
第1の伝送ケーブル6は、一端が第1のコネクタ部61を介して制御装置9に着脱自在に接続され、他端が第2のコネクタ部62を介してカメラヘッド5に接続される。第1の伝送ケーブル6は、カメラヘッド5から出力される画像データを制御装置9へ伝送し、かつ、制御装置9から出力される制御信号、同期信号、クロック信号および電力等をカメラヘッド5へ伝送する。
表示装置7は、第2の伝送ケーブル8を介して制御装置9に接続可能であり、制御装置9の制御のもと、制御装置9において処理された画像データに基づく表示画像を表示する。
第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第2の伝送ケーブル8は、制御装置9において処理された画像データに基づく表示画像を表示装置7に伝送する。
制御装置9は、メモリと、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)等のハードウェアを有するプロセッサを用いて構成される。制御装置9は、メモリに記録されたプログラムに従って、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10の各々を介して、光源装置3、カメラヘッド5および表示装置7の動作を統括的に制御する。また、制御装置9は、第1の伝送ケーブル6を経由してカメラヘッド5から入力された画像データに対して、各種の画像処理を行って第2の伝送ケーブル8へ出力する。
第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端側が制御装置9に着脱自在に接続される。第3の伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
次に、光源装置3、カメラヘッド5および制御装置9の機能構成について説明する。図2は、内視鏡システム1が備える光源装置3、カメラヘッド5および制御装置9の機能構成を示すブロック図である。なお、図2においては、説明の便宜上、挿入部2、ライトガイド4、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10を省略している。
まず、光源装置3の構成について説明する。
光源装置3は、第1の光源部31と、第2の光源部32と、光源制御部33と、を備える。
第1の光源部31は、光源制御部33の制御のもと、白色光をパルス発光することによって、被検体に照射される白色光を挿入部2へ供給する。第1の光源部31は、赤色(波長帯域600nm〜700nm)の光を照射可能な赤色の半導体レーザ素子と、緑色(波長帯域500nm〜600nm)の光を照射可能な緑色の半導体レーザ素子と、青色(波長帯域400nm〜500nm)の光を照射可能な青色の半導体レーザ素子と、を用いて構成される。なお、第1の光源部31は、赤色、緑色および青色の半導体レーザ素子を用いて構成しているが、これに限定されることなく、白色光を照射可能な白色の半導体レーザ素子を用いてもよい。また、第1の光源部31は、半導体レーザ素子である必要はなく、例えば発光LED等であってもよい。さらに、第1の光源部31は、赤色、緑色および青色の各々の光を同時に照射する同時式に限定されることなく、赤色、緑色および青色の各々の光を順次照射する面順式であってもよい。また、上述した波長帯域は一例であり、波長範囲を適宜変更することが可能である。
第2の光源部32は、光源制御部33の制御のもと、挿入部2を介して被検体に照射される赤外光をパルス発光する。具体的には、第2の光源部32は、光源制御部33の制御のもと、被検体に投入された薬剤(蛍光物質)を励起させる赤外光(波長帯域700〜1000nm)を発光することによって挿入部2へ供給する。第2の光源部32は、蛍光物質を励起する光(700〜1000nm)を照射可能な半導体レーザ素子と所定の波長帯域のみを透過させるフィルタ等を用いて構成される。なお、以下においては、第2の光源部32が発光する光を赤外光として説明するが、これに限定されることなく、例えば、ヘマトポルフィリン誘導体等の光感受性物質を腫瘍組織に予め蓄積させて蛍光を観察させるPDD(Photo Dynamic Diagnosis)観察に用いられる光(波長帯域405nm近傍)、およびコラーゲン等の蛍光物質からの自家発光を観察するAFI(Auto Fluorescence Imaging)観察に用いられる光(波長帯域390〜470nm+波長帯域540〜560nm)等であってもよい。
光源制御部33は、制御装置9の制御のもと、第1の光源部31および第2の光源部32の発光を制御する。光源制御部33は、メモリと、CPU、ASIC、FPGA等のハードウェアを有するプロセッサを用いて構成される。
次に、カメラヘッド5の構成について説明する。
カメラヘッド5は、第1フィルタ501と、第1撮像部502と、第2フィルタ503と、第2撮像部504と、通信モジュール505と、カメラヘッドメモリ506と、カメラヘッド制御部507と、を備える。カメラヘッド5は、これらのほか、カメラヘッド制御部507の制御のもと、図示しない駆動部がレンズを光軸方向に沿って移動させることによって焦点位置を変化させるAF(Auto Focus)および焦点距離を変化させる光学ズームを行うレンズユニットを備える。
第1フィルタ501は、第1の光源部31が出射する波長帯域の光を透過するとともに、この波長帯域以外の帯域の光を遮光(反射)する。
第2フィルタ503は、第2の光源部32が出射する波長帯域の光、および、励起された蛍光物質が発する蛍光の波長帯域の光を透過するとともに、これら波長帯域以外の帯域の光を遮光(反射)する。この際、第2の光源部32が出射する波長帯域と、励起された蛍光物質が発する蛍光の波長帯域とが重複する場合がある。
なお、各フィルタは、透過する波長帯域の光の一部を遮光する場合がある。また、各フィルタは、遮光する波長帯域の光の一部を透過する場合がある。
第1撮像部502および第2撮像部504は、カメラヘッド制御部507の制御のもと、各フィルタを通過した光(被写体像)を受光して光電変換を行うことによって画像データ(RAWデータ)を生成し、この画像データを通信モジュール505へ出力する撮像素子を用いて構成される。第1撮像部502および第2撮像部504は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等用いて構成される。
第1撮像部502は、第1の光源部31が被検体に白色光を照射する通常観察モード時に、第1フィルタ501を通過した光を撮像することによって生成した第1の画像データに基づく第1の画像(以下、単に「第1の画像」という)を通信モジュール505へ出力する。
第2撮像部504は、第2の光源部32が被検体に投与された薬剤に赤外光を照射することによって撮像する特殊観察モード時に、第2フィルタ503を通過した光を撮像することによって生成した第2の画像データに基づく第2の画像(以下、単に「第2の画像」という)を通信モジュール505へ出力する。
通信モジュール505は、第1の伝送ケーブル6を介して制御装置9から送信された各種の信号をカメラヘッド5内の各部に出力する。また、通信モジュール505は、第1の伝送ケーブル6を介して、撮像部が生成した第1の画像、第2の画像、カメラヘッド5の現在の状態に関する情報等に対してパラレルシリアル変換処理等を行って制御装置9へ出力する。
カメラヘッドメモリ506は、カメラヘッド5を識別するカメラヘッド情報およびカメラヘッド5が実行する各種のプログラムを記憶する。ここで、カメラヘッド情報には、撮像部の画素数、画素ピッチおよびカメラヘッド5の識別ID等が含まれる。カメラヘッドメモリ506は、揮発性メモリおよび不揮発性メモリ等を用いて構成される。
カメラヘッド制御部507は、通信モジュール505から入力された各種信号に基づいて、カメラヘッド5を構成する各部の動作を制御する。なお、カメラヘッド制御部507は、第1の画像撮像時と第2の画像撮像時とにおいて、撮像条件(シャッター速度等)を変えてもよい。カメラヘッド制御部507は、メモリとCPU等のハードウェアを有するプロセッサを用いて構成される。
次に、制御装置9の構成について説明する。
制御装置9は、通信モジュール91と、データ選択部92と、画像処理部93と、入力部94と、メモリ95と、出力部96と、制御部97と、を備える。
通信モジュール91は、カメラヘッド5から入力された撮像信号を含む各種信号を制御部97やデータ選択部92へ出力する。また、通信モジュール91は、制御部97から入力された各種信号をカメラヘッド5へ送信する。具体的には、通信モジュール91は、制御部97から入力された信号に対してパラレルシリアル変換処理等を行ってカメラヘッド5へ出力する。さらに、通信モジュール91は、カメラヘッド5から入力された信号に対して、シリアルパラレル変換処理等を行って制御装置9を構成する各部に出力する。
データ選択部92は、制御部97の制御のもと、通信モジュール91を介してカメラヘッド5から入力された第1の画像または第2の画像のいずれかを選択し、選択した画像(画像データ)を画像処理部93へ出力する。
画像処理部93は、データ選択部92が選択した第1の画像または第2の画像に対して、ノイズ低減処理やA/D変換処理等の信号処理を行う。また、画像処理部93は、制御部97の制御のもと、入力された第1の画像または第2の画像に対して、各種の画像処理を行って表示装置7へ出力する。ここで、所定の画像処理としては、補間処理、色補正処理、色強調処理および輪郭強調処理等の各種の公知の画像処理である。なお、画像処理部93は、第1の画像と第2の画像とにおいて、処理条件(ゲイン、色相、彩度等)を変えてもよい。画像処理部93は、メモリと、GPU、FPGAまたはCPU等のハードウェアを有するプロセッサと、を用いて構成される。
入力部94は、キーボード、マウスおよびタッチパネル等を用いて構成される。入力部94は、ユーザの操作による各種情報の入力を受け付ける。
メモリ95は、揮発性メモリ、不揮発性メモリおよびフレームメモリ等を用いて構成される。メモリ95は、内視鏡システム1が実行する各種のプログラムや処理中に使用される各種のデータを記憶する。また、メモリ95は、第1の画像と第2の画像とを、表示タイミング(フレーム番号)と対応付けて記憶してもよい。なお、メモリ95は、制御装置9に対して装着自在なメモリカード等をさらに備えてもよい。
出力部96は、スピーカ、プリンタおよびディスプレイ等を用いて構成される。出力部96は、内視鏡システム1に関する各種情報を出力する。
制御部97は、内視鏡システム1を構成する各部を統括的に制御する。制御部97は、入力部94における指示入力に基づいて、観察モード(通常観察モードまたは特殊観察モード)を設定し、設定したモードに関する情報をメモリ95に記憶させる。制御部97は、メモリおよびCPU等のハードウェアを用いて構成される。
次に、内視鏡システム1が実行する処理について説明する。図3は、内視鏡システム1が実行する処理の概要を示すフローチャートである。
まず、制御部97は、通信モジュール91を介してカメラヘッド5からカメラヘッド情報、および、メモリ95から内視鏡システム1の現在の観察モードを示す観察モード情報を取得する(ステップS101)。
続いて、制御部97は、メモリ95から取得した観察モード情報に基づいて、内視鏡システム1が特殊観察モードであるか否かを判断する(ステップS102)。制御部97によって内視鏡システム1が特殊観察モードであると判断された場合(ステップS102:Yes)、内視鏡システム1は、後述するステップS103へ移行する。これに対して、制御部97によって内視鏡システム1が特殊観察モードでないと判断された場合(ステップS102:No)、内視鏡システム1は、後述するステップS108へ移行する。
ステップS103において、制御部97は、光源装置3に白色光および赤外光を照射させる。この場合、光源装置3では、第1の光源部31から白色光が出射され、第2の光源部32から赤外光が出射される。
ステップS104において、第1撮像部502は、被写体から発せられる光のうち、第1フィルタ501を通過した白色光の成分の光を受光し、光電変換を行うことによって画像信号を生成する。この画像信号は、第1の画像データを含む信号である。この際、データ選択部92が第1撮像部502から入力された画像信号を選択して、画像処理部93に出力する。
画像処理部93は、制御部97の制御のもと、通信モジュール505、通信モジュール91およびデータ選択部92を介して第1撮像部502から画像信号を取得する。図4は、第1の光源部の光によって観察される第1の画像の一例を模式的に示す図である。例えば、画像処理部93は、図4に示すような第1の画像IWを取得する。
また、ステップS105において、第2撮像部504は、被写体から発せられる光のうち、第2フィルタ503を通過した赤外光の成分の光を受光し、光電変換を行うことによって画像信号を生成する。この画像信号は、第2の画像データを含む信号である。この際、データ選択部92が第2撮像部504から入力された画像信号を選択して、画像処理部93に出力する。
画像処理部93は、制御部97の制御のもと、通信モジュール505、通信モジュール91およびデータ選択部92を介して第2撮像部504から画像信号を取得する。図5は、第2の光源部の光によって観察される第2の画像の一例を模式的に示す図である。例えば、画像処理部93は、図5に示すような第2の画像IIRを取得する。本実施の形態において、第2の画像は、赤外光によって励起された蛍光像を撮像した画像である。
画像処理部93には、データ選択部92の信号選択によって、第1撮像部502が生成した画像信号、および第2撮像部504が生成した画像信号が交互に入力される。この際に入力される第1撮像部502による画像信号は、互いに異なる時刻に撮像された画像データ(第1の画像データ)を含み、第2撮像部504による画像信号は、互いに異なる時刻に撮像された画像データ(第2の画像データ)を含む。画像処理部93には、これらの画像データ(第1および第2の画像データ)が、時系列に沿って、予め設定された表示パターンに応じた順で入力される。本実施の形態1では、画像処理部93が、白色光による画像(第1の画像)と、赤外光による画像(第2の画像)とが、交互に表示される表示パターンに対応して画像を表示装置7へ出力する。
画像処理部93は、第1の画像を表示装置7へ出力する(ステップS106)。その後、画像処理部93は、第2の画像を表示装置7へ出力する(ステップS107)。画像処理部93が第1の画像と第2の画像とを異なる時刻に交互に出力することによって、表示装置7では第1の画像と第2の画像とが異なる時刻に順次表示される。
図6は、第1および第2の画像の表示順の一例を説明する図である。画像処理部93は、表示装置7に表示させるフレーム番号Fn、Fn+2、Fn+4、・・・として第1の画像(例えば図4に示す第1の画像IW)を出力し、フレーム番号Fn+1、Fn+3、・・・として第2の画像(例えば図5に示す第2の画像IIR)を出力する。各第1の画像は、互いに異なる時刻に撮像されたものであり、それぞれ時系列の順に出力される。第2の画像についても同様である。表示装置7には、例えば、図6の(a)、(b)、(c)、(d)、(e)、・・・の順に画像が表示される。これにより、表示装置7には、第1の画像と第2の画像とが交互に表示される。この際、カメラヘッド5、制御装置9および表示装置7は、表示によって視覚的に残像が残る程度の周波数、例えば120Hz以上の周波数で駆動する。また、第1の画像を表示する第1の表示時間と、第2の画像を表示する第2の表示時間とが異なる設定としてもよいし、同じ画像(例えば第1の画像)を数フレーム連続して表示する表示パターンを設定してもよい。例えば、数フレーム連続させて表示する場合、第1の画像を2フレーム表示した後、第2の画像を1フレーム表示する処理を繰り返す。この際、制御部97は、画像処理部93の表示装置7への画像出力タイミング、および表示装置7における表示タイミングの少なくとも一方を制御する。
図7は、表示装置によって表示される第1および第2画像の視覚画像である。前フレームの画像(例えば第1の画像IW)が残像として残っている状態で、現在のフレームの画像(例えば第2の画像IIR)をみると、観察者は、図7に示す視覚画像IVを見ているように知覚する。視覚画像IVは、第1の画像IWと第2の画像IIRとを合成したような画像であり、画像処理部93において合成せずに、観察者に合成画像を知覚させることができる。
一方、ステップS108において、制御部97は、光源装置3に白色光を照射させる。この場合、光源装置3では、第1の光源部31から白色光が出射される。
ステップS109において、第1撮像部502は、被写体から発せられる光のうち、第1フィルタ501を通過した白色光の成分の光を受光し、光電変換を行うことによって画像信号を生成する。
画像処理部93は、制御部97の制御のもと、通信モジュール505、通信モジュール91およびデータ選択部92を介して第1撮像部502から画像信号を取得する。例えば、画像処理部93は、図4に示すような第1の画像IWを取得する。
画像処理部93は、第1の画像を表示装置7へ出力する(ステップS110)。特殊観察モードではない(通常観察モードである)場合は、第1の画像が表示装置に表示される。通常観察モードでは、第1の画像が連続的に表示される。
なお、特殊観察モード設定時の画像の明るさが、通常観察モード設定時の明るさよりも明るくなるように表示条件を設定してもよい。これは、特殊観察モード時は、第2の画像の明るさが第1の画像の明るさよりも暗いため、通常観察モード時よりも暗くなる表示画像を明るくすることが好ましい。これに対し、画像処理部93によって、特殊観察モード時の画像の信号レベル(輝度値)を上げるようにしてもよい。
ステップS107またはステップS110の処理後、入力部94から被検体の観察を終了する指示信号が入力された場合(ステップS111:Yes)、内視鏡システム1は、本処理を終了する。これに対して、入力部94から被検体の観察を終了する指示信号が入力されていない場合(ステップS111:No)、内視鏡システム1は、上述したステップS102へ戻る。
上述した実施の形態1では、白色光に基づく第1の画像(可視光画像)と、赤外光による蛍光に基づく第2の画像(蛍光画像)とを互いに異なる時刻に表示することによって、観察者に、第1の画像と第2の画像とが混在した画像を知覚させるようにした。実施の形態1によれば、簡易な処理によって可視光画像および蛍光画像を知覚させることができる。
(実施の形態2)
続いて、本開示の実施の形態2について説明する。図8は、実施の形態2にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。本実施の形態2にかかる内視鏡システムは、上述した実施の形態1の制御装置9に代えて制御装置9Aを備える。本実施の形態2において、制御装置9Aの構成以外は、上述した実施の形態1の内視鏡システム1と同じであるため、説明を省略する。
制御装置9Aは、通信モジュール91と、入力部94と、メモリ95と、出力部96と、制御部97と、画像処理部98と、を備える。画像処理部98は、第1画像処理部98Aと、第2画像処理部98Bと、画像選択部98Cとを有する。本実施の形態2において、通信モジュール91は、制御部97の制御のもと、第1の画像に対応する画像信号を第1画像処理部98Aに出力し、第2の画像に対応する画像信号を第2画像処理部98Bに出力する。
第1画像処理部98Aは、通信モジュール91が受信した第1の画像に対応する画像信号に対して、ノイズ低減処理やA/D変換処理等の信号処理を行う。また、第1画像処理部98Aは、制御部97の制御のもと、入力された画像信号に対して、各種の画像処理を行って表示装置7へ出力する。第1画像処理部98Aは、第1の画像を生成し、生成した第1の画像を表示装置7に出力する。第1画像処理部98Aは、メモリと、GPU、FPGAまたはCPU等のハードウェアを有するプロセッサと、を用いて構成される。
第2画像処理部98Bは、通信モジュール91が受信した第2の画像に対応する画像信号に対して、ノイズ低減処理やA/D変換処理等の信号処理を行う。また、第2画像処理部98Bは、制御部97の制御のもと、入力された画像信号に対して、各種の画像処理を行って表示装置7へ出力する。第2画像処理部98Bは、第2の画像を生成し、生成した第2の画像を表示装置7に出力する。第2画像処理部98Bは、メモリと、GPU、FPGAまたはCPU等のハードウェアを有するプロセッサと、を用いて構成される。
画像選択部98Cは、制御部97の制御のもと、第1画像処理部98Aおよび第2画像処理部98Bから入力される画像のうち、表示装置7に表示させる画像を選択して表示装置7に出力する。画像選択部98Cは、互いに異なる時刻に、第1の画像(可視光画像)と、第2の画像(蛍光画像)とを表示装置7に出力する。画像選択部98Cは、メモリと、GPU、FPGAまたはCPU等のハードウェアを有するプロセッサと、を用いて構成される。
実施の形態2において、内視鏡システムは、上述したフローチャート(図3参照)にしたがって処理を実行する。この際、第1の画像に関する画像処理は第1画像処理部98Aが実行し、第2の画像に関する画像処理は第2画像処理部98Bが実行する。
上述した実施の形態2では、白色光に基づく第1の画像(可視光画像)と、赤外光による蛍光に基づく第2の画像(蛍光画像)とを互いに異なる時刻に表示することによって、観察者に、第1の画像と第2の画像とが混在した画像を知覚させるようにした。実施の形態2によれば、簡易な処理によって可視光画像および蛍光画像を知覚させることができる。
また、実施の形態2では、第1の画像(可視光画像)と、第2の画像(蛍光画像)との画像処理を互いに異なる処理部において実施するようにしたので、実施の形態1と比して、表示装置7における表示のフレームレートを速くすることができる。
(実施の形態3)
続いて、本開示の実施の形態3について説明する。図9は、実施の形態3にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。本実施の形態3にかかる内視鏡システムは、上述した実施の形態1のカメラヘッド5および制御装置9に代えてカメラヘッド5Aおよび制御装置9Bを備える。本実施の形態3において、カメラヘッド5Aおよび制御装置9Bの構成以外は、上述した実施の形態1の内視鏡システム1と同じであるため、説明を省略する。
制御装置9Bは、通信モジュール91と、画像処理部93と、入力部94と、メモリ95と、出力部96と、制御部97と、を備える。
通信モジュール505と、カメラヘッドメモリ506と、カメラヘッド制御部507と、フィルタ508と、撮像部509と、を備える。
フィルタ508は、第1の光源部31が出射する波長帯域の光、および、第2の光源部32が出射した光によって生じる蛍光に対応する波長帯域の光を透過するとともに、これらの波長帯域以外の帯域の光を遮光(反射)する。
撮像部509は、カメラヘッド制御部507の制御のもと、フィルタ508を通過した光(被写体像)を受光して光電変換を行うことによって画像データ(RAWデータ)を生成し、この画像データを通信モジュール505へ出力する撮像素子を用いて構成される。撮像部509は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等用いて構成される。
実施の形態3において、光源装置3は、制御部97の制御のもと、第1の光源部31よび第2の光源部32を交互に制御して、白色光または赤外光を出射する。
また、実施の形態3において、内視鏡システムは、上述したフローチャート(図3参照)にしたがって処理を実行する。この際、第1の画像を取得する場合は光源装置3から白色光が出射され、第2の画像を取得する場合は光源装置3から赤外光が出射される。
上述した実施の形態3では、白色光に基づく第1の画像(可視光画像)と、赤外光による蛍光に基づく第2の画像(蛍光画像)とを互いに異なる時刻に表示することによって、観察者に、第1の画像と第2の画像とが混在した画像を知覚させるようにした。実施の形態3によれば、簡易な処理によって可視光画像および蛍光画像を知覚させることができる。
また、実施の形態3では、第1の画像(可視光画像)取得時は白色光のみが被検体に照射され、第2の画像(蛍光画像)取得時は赤外光のみが被検体に照射されるようにしたので、実施の形態1と比して、第1の画像の成分と、第2の画像の成分とが、画像上で混在することを抑制できる。
(実施の形態4)
続いて、本開示の実施の形態4について説明する。図10は、実施の形態4にかかる内視鏡システムが備えるカメラヘッド、制御装置および光源装置の構成を示すブロック図である。本実施の形態3にかかる内視鏡システムは、上述した実施の形態1のカメラヘッド5および制御装置9に代えてカメラヘッド5Aおよび制御装置9Aを備える。本実施の形態4において、カメラヘッド5Aは実施の形態3と同じ構成であり、制御装置9Aは実施の形態2と同じ構成である。
実施の形態4において、内視鏡システムは、上述したフローチャート(図3参照)にしたがって処理を実行する。この際、第1の画像を取得する場合は光源装置3から白色光が出射され、第2の画像を取得する場合は光源装置3から赤外光が出射される。また、第1の画像に関する画像処理は第1画像処理部98Aが実行し、第2の画像に関する画像処理は第2画像処理部98Bが実行する。
上述した実施の形態4では、白色光に基づく第1の画像(可視光画像)と、赤外光による蛍光に基づく第2の画像(蛍光画像)とを互いに異なる時刻に表示することによって、観察者に、第1の画像と第2の画像とが混在した画像を知覚させるようにした。実施の形態4によれば、簡易な処理によって可視光画像および蛍光画像を知覚させることができる。
また、実施の形態4では、実施の形態2と同様に、第1の画像(可視光画像)と、第2の画像(蛍光画像)との画像処理を互いに異なる処理部において実施するようにしたので、実施の形態1と比して、表示装置7における表示のフレームレートを速くすることができる。
また、実施の形態4では、実施の形態3と同様に、第1の画像(可視光画像)取得時は白色光のみが被検体に照射され、第2の画像(蛍光画像)取得時は赤外光のみが被検体に照射されるようにしたので、実施の形態1と比して、第1の画像の成分と、第2の画像の成分とが、画像上で混在することを抑制できる。
(実施の形態5)
次に、本開示の実施の形態5について説明する。上述した実施の形態1では、硬性鏡を用いた硬性内視鏡システムに適用した場合について説明したが、実施の形態2では、軟性の内視鏡を用いた軟性内視鏡システムに適用した場合について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
図11は、実施の形態5にかかる内視鏡システムの概略構成を示す図である。図11に示す内視鏡システム200は、被検体内に挿入部202を挿入することによって観察部位の体内画像を撮像して画像データを生成する内視鏡201と、内視鏡201に白色光または赤外光を供給する光源装置210と、内視鏡201が取得した撮像信号に所定の画像処理を施すとともに、内視鏡システム200全体の動作を統括的に制御する制御装置220と、制御装置220が画像処理を施した体内画像を表示する表示装置230と、を備える。
内視鏡201は、少なくとも、上述したフィルタおよび撮像部を有する。
光源装置210は、少なくとも、上述した第1の光源部31と、第2の光源部32と、光源制御部33と、を有する。
制御装置220は、少なくとも、上述した通信モジュール91と、画像処理部(画像処理部93、または、第1画像処理部98A、および第2画像処理部98B)と、入力部94と、メモリ95と、出力部96と、制御部97と、を有する。
以上説明した実施の形態5によれば、軟性の内視鏡システム200であっても、上述した実施の形態1と同様の効果を得ることができる。
(実施の形態6)
次に、本開示の実施の形態6について説明する。上述した実施の形態1〜3では、内視鏡システムであったが、実施の形態6では、手術用顕微鏡システムに適用した場合について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
図12は、実施の形態6に係る手術用顕微鏡システムの概略構成を示す図である。図12に示す手術用顕微鏡システム300は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置310と、顕微鏡装置310が撮像した画像を表示する表示装置311と、を備える。なお、表示装置311と顕微鏡装置310とを一体に構成することも可能である。
顕微鏡装置310は、被写体の微小部位を拡大して撮像する顕微鏡部312と、顕微鏡部312の基端部に接続し、顕微鏡部312を回動可能に支持するアームを含む支持部313と、支持部313の基端部を回動可能に保持し、床面上を移動可能なベース部314と、を有する。ベース部314は、手術用顕微鏡システム300の動作を制御する制御装置315と、顕微鏡装置310から被写体に照射する白色光または赤外光等を生成する光源装置316と、を有する。なお、制御装置315は、少なくとも、上述した通信モジュール91と、画像処理部(画像処理部93、または、第1画像処理部98A、および第2画像処理部98B)と、入力部94と、メモリ95と、出力部96と、制御部97と、を有する。また、光源装置316は、少なくとも、上述した第1の光源部31と、第2の光源部32と、光源制御部33と、を有する。また、ベース部314は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部313を支持する構成としてもよい。
顕微鏡部312は、例えば、円柱状をなして、その内部に上述したフィルタおよび撮像部を有する。顕微鏡部312の側面には、顕微鏡装置310の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部312の下端部の開口面には、内部を保護するカバーガラスが設けられている(図示せず)。
このように構成された手術用顕微鏡システム300は、術者等のユーザが顕微鏡部312を把持した状態で各種スイッチを操作しながら、顕微鏡部312を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。なお、顕微鏡部312の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部312の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
以上説明した実施の形態6によれば、手術用顕微鏡システム300においても、上述した実施の形態1と同様の効果を得ることができる。
(その他の実施の形態)
上述した本開示の実施の形態1〜6に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1〜6に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1〜6に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態1〜6に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態1〜6に係る医療用観察システムにおいて、画像処理部93が、第2の画像における蛍光像(被写体)を抽出し、蛍光像以外の部分を第1の画像に置き換えた画像を第2の画像としてもよい。蛍光像の抽出は、エッジ検出等による輪郭抽出等の公知の手法、又は、術者の入力指示によって行うことができる。図13は、その他の実施の形態にかかる第2の画像の一例を模式的に示す図である。この置き換えによって、蛍光像以外の領域が、第1の画像と同等の明るさとなった置換画像である第2の画像IIR´が生成される。この第2の画像IIR´を表示することにより、蛍光を発していない部分を、第1の画像における対応部分と比して暗く知覚させてしまうことを抑制し、この対応部分を、元の第1の画像と同等の明るさで知覚させることができる。
また、本開示の実施の形態1〜6に係る医療用観察システムにおいて、第1の画像および第2の画像を撮像する撮像部をそれぞれ二つ設けるなどして、三次元の画像データを生成する構成としてもよい。
また、本開示の実施の形態1〜6に係る医療用観察システムにおいて、第1の画像および第2の画像に加えて、処置を案内するナビ画像を、交互に表示する構成としてもよい。
また、本開示の実施の形態1〜6に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の実施の形態1〜6に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
互いに異なる時刻に撮像され、第1の波長帯域の光の照明によって生成される複数の第1の画像データが順次入力されるとともに、互いに異なる時刻に撮像され、前記第1の波長帯域とは異なる第2の波長帯域の光の照明によって生成される複数の第2の画像データが順次入力され、入力された前記第1および第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって表示装置に出力する画像処理部、
を備える医療用画像処理装置。
(2)
同時に出射された白色光と励起光とによって、前記白色光に基づいて前記第1の画像データが生成され、前記励起光、および、該励起光による蛍光によって第2の画像データが生成され、
前記画像処理部は、前記第1および第2の画像データに基づいて、前記第1および第2の画像をそれぞれ生成する、
前記(1)に記載の医療用画像処理装置。
(3)
前記画像処理部は、
前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、
前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、
前記第1および第2の画像が入力され、前記第1および第2の画像のうち、前記表示パターンにしたがって前記表示装置に表示させる画像を選択して、選択した前記第1または前記第2の画像を出力する画像選択部と、
を有する前記(1)または(2)に記載の医療用画像処理装置。
(4)
外部から入力される前記第1および前記第2の画像データを互いに異なる時刻に、前記画像処理部に入力するデータ選択部、
をさらに備える前記(2)に記載の医療用画像処理装置。
(5)
前記画像処理部は、
前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、
前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、
を有する前記(4)に記載の医療用画像処理装置。
(6)
前記画像処理部は、120Hz以上で駆動する、
前記(1)〜(5)のいずれか一つに記載の医療用画像処理装置。
(7)
前記第1の画像を連続的に表示する通常観察モードと、前記第1および第2の画像を交互に表示する特殊観察モードとを切り替える制御部、
をさらに備え、
前記特殊観察モードにおける駆動周波数は、前記通常観察モードにおける駆動周波数よりも大きい、
前記(1)〜(6)のいずれか一つに記載の医療用画像処理装置。
(8)
前記画像処理部は、前記第1の画像および前記第2の画像を交互に表示装置に出力する、
前記(1)〜(7)のいずれか一つに記載の医療用画像処理装置。
(9)
前記画像処理部は、前記第2の画像における、被写体以外の背景領域を、前記第1の画像の対応する領域に置き換えた置換画像を、前記第2の画像として生成する、
前記(1)〜(8)のいずれか一つに記載の医療用画像処理装置。
(10)
蛍光物質が導入された被検体に対して白色光および励起光を照射可能な光源装置と、
前記白色光が照射された際に前記被検体からの反射光を受光することによって第1の画像データを生成し、かつ、前記励起光が照射された際に前記蛍光物質から発せられた発光を受光することによって第2の画像データを生成する観察装置と、
前記観察装置から入力される、互いに異なる時刻に撮像された複数の前記第1の画像データ、および、互いに異なる時刻に撮像された複数の第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって出力する画像処理部と、
前記画像処理部から出力された前記第1および第2の画像を表示する表示装置と、
を備える医療用観察システム。
以上のように、本発明にかかる医療用画像処理装置および医療用観察システムは、簡易な構成によって可視光画像および蛍光画像を知覚させるのに有用である。
1、200 内視鏡システム
2、202 挿入部
3、210、316 光源装置
4 ライトガイド
5 カメラヘッド
6 第1の伝送ケーブル
7、230、311 表示装置
8 第2の伝送ケーブル
9、220、315 制御装置
10 第3の伝送ケーブル
21 接眼部
31 第1の光源部
32 第2の光源部
33 光源制御部
51 操作リング部
52 入力部
61 第1のコネクタ部
62 第2のコネクタ部
91、505 通信モジュール
92 データ選択部
93、98 画像処理部
94 入力部
95 メモリ
96 出力部
97 制御部
98A 第1画像処理部
98B 第2画像処理部
98C 画像選択部
201 内視鏡
300 手術用顕微鏡システム
310 顕微鏡装置
312 顕微鏡部
313 支持部
314 ベース部
501 第1フィルタ
502 第1撮像部
503 第2フィルタ
504 第2撮像部
506 カメラヘッドメモリ
507 カメラヘッド制御部

Claims (10)

  1. 互いに異なる時刻に撮像され、第1の波長帯域の光の照明によって生成される複数の第1の画像データが順次入力されるとともに、互いに異なる時刻に撮像され、前記第1の波長帯域とは異なる第2の波長帯域の光の照明によって生成される複数の第2の画像データが順次入力され、入力された前記第1および第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって表示装置に出力する画像処理部、
    を備える医療用画像処理装置。
  2. 同時に出射された白色光と励起光とによって、前記白色光に基づいて前記第1の画像データが生成され、前記励起光、および、該励起光による蛍光によって第2の画像データが生成され、
    前記画像処理部は、前記第1および第2の画像データに基づいて、前記第1および第2の画像をそれぞれ生成する、
    請求項1に記載の医療用画像処理装置。
  3. 前記画像処理部は、
    前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、
    前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、
    前記第1および第2の画像が入力され、前記第1および第2の画像のうち、前記表示パターンにしたがって前記表示装置に表示させる画像を選択して、選択した前記第1または前記第2の画像を出力する画像選択部と、
    を有する請求項1に記載の医療用画像処理装置。
  4. 外部から入力される前記第1および前記第2の画像データを互いに異なる時刻に、前記画像処理部に入力するデータ選択部、
    をさらに備える請求項2に記載の医療用画像処理装置。
  5. 前記画像処理部は、
    前記第1の画像データに基づいて、前記第1の画像を生成する第1画像処理部と、
    前記第2の画像データに基づいて、前記第2の画像を生成する第2画像処理部と、
    を有する請求項4に記載の医療用画像処理装置。
  6. 前記画像処理部は、120Hz以上で駆動する、
    請求項1に記載の医療用画像処理装置。
  7. 前記第1の画像を連続的に表示する通常観察モードと、前記第1および第2の画像を交互に表示する特殊観察モードとを切り替える制御部、
    をさらに備え、
    前記特殊観察モードにおける駆動周波数は、前記通常観察モードにおける駆動周波数よりも大きい、
    請求項1に記載の医療用画像処理装置。
  8. 前記画像処理部は、前記第1の画像および前記第2の画像を交互に表示装置に出力する、
    請求項1に記載の医療用画像処理装置。
  9. 前記画像処理部は、前記第2の画像における、被写体以外の背景領域を、前記第1の画像の対応する領域に置き換えた置換画像を、前記第2の画像として生成する、
    請求項1に記載の医療用画像処理装置。
  10. 蛍光物質が導入された被検体に対して白色光および励起光を照射可能な光源装置と、
    前記白色光が照射された際に前記被検体からの反射光を受光することによって第1の画像データを生成し、かつ、前記励起光が照射された際に前記蛍光物質から発せられた発光を受光することによって第2の画像データを生成する観察装置と、
    前記観察装置から入力される、互いに異なる時刻に撮像された複数の前記第1の画像データ、および、互いに異なる時刻に撮像された複数の第2の画像データに基づいて第1および第2の画像をそれぞれ生成し、生成した前記第1の画像および前記第2の画像を、各画像の時系列の順、かつ予め設定された、前記第1および第2の画像の表示パターンにしたがって出力する画像処理部と、
    前記画像処理部から出力された前記第1および第2の画像を表示する表示装置と、
    を備える医療用観察システム。
JP2020020775A 2020-02-10 2020-02-10 医療用画像処理装置および医療用観察システム Pending JP2021126153A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020020775A JP2021126153A (ja) 2020-02-10 2020-02-10 医療用画像処理装置および医療用観察システム
US17/134,521 US11582427B2 (en) 2020-02-10 2020-12-28 Medical image processing apparatus and medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020020775A JP2021126153A (ja) 2020-02-10 2020-02-10 医療用画像処理装置および医療用観察システム

Publications (1)

Publication Number Publication Date
JP2021126153A true JP2021126153A (ja) 2021-09-02

Family

ID=77177168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020020775A Pending JP2021126153A (ja) 2020-02-10 2020-02-10 医療用画像処理装置および医療用観察システム

Country Status (2)

Country Link
US (1) US11582427B2 (ja)
JP (1) JP2021126153A (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US6527708B1 (en) * 1999-07-02 2003-03-04 Pentax Corporation Endoscope system
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US7697975B2 (en) * 2003-06-03 2010-04-13 British Colombia Cancer Agency Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
JP4723281B2 (ja) * 2005-05-16 2011-07-13 Hoya株式会社 電子内視鏡システム
US9111343B2 (en) * 2011-01-18 2015-08-18 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
US10231626B2 (en) * 2013-03-15 2019-03-19 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
US10602918B2 (en) * 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
JP6110887B2 (ja) 2015-03-17 2017-04-05 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成装置の作動方法
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
US11582427B2 (en) 2023-02-14
US20210244261A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6956805B2 (ja) 内視鏡システム、内視鏡システムの制御方法
JP5259882B2 (ja) 撮像装置
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
JPWO2019176253A1 (ja) 医療用観察システム
JP6137892B2 (ja) 撮像システム
JP6205531B1 (ja) 内視鏡システム
JP6863787B2 (ja) 内視鏡システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP7399151B2 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
US11582427B2 (en) Medical image processing apparatus and medical observation system
JP6937902B2 (ja) 内視鏡システム
WO2021039870A1 (ja) 医療用画像処理装置および医療用観察システム
WO2018211600A1 (ja) 撮像装置、内視鏡システム、制御方法およびプログラム
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
CN113557462B (zh) 医疗控制装置和医疗观察装置
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method
US20230066301A1 (en) Medical observation system, control device, and control method
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
JP6242558B2 (ja) 撮像システム及び画像処理装置
JP2021146198A (ja) 医療用画像処理装置及び医療用観察システム
JPWO2020003601A1 (ja) 光源装置、光源の制御方法および内視鏡システム
JP2020146405A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022080732A (ja) 医療用画像処理装置及び医療用観察システム
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム