JP2019041946A - プロセッサ装置とその作動方法、および内視鏡システム - Google Patents

プロセッサ装置とその作動方法、および内視鏡システム Download PDF

Info

Publication number
JP2019041946A
JP2019041946A JP2017166388A JP2017166388A JP2019041946A JP 2019041946 A JP2019041946 A JP 2019041946A JP 2017166388 A JP2017166388 A JP 2017166388A JP 2017166388 A JP2017166388 A JP 2017166388A JP 2019041946 A JP2019041946 A JP 2019041946A
Authority
JP
Japan
Prior art keywords
light
image
correction
unit
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017166388A
Other languages
English (en)
Other versions
JP6891076B2 (ja
Inventor
崇弘 三島
Takahiro Mishima
崇弘 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017166388A priority Critical patent/JP6891076B2/ja
Publication of JP2019041946A publication Critical patent/JP2019041946A/ja
Application granted granted Critical
Publication of JP6891076B2 publication Critical patent/JP6891076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】違和感を与えることなく、適切に観察対象の画像の色調の変化を補正することが可能なプロセッサ装置とその作動方法、および内視鏡システムを提供する。
【解決手段】プロセッサ装置12の画像処理部59は、観察対象の画像を取得する。また、温度センサ85〜88から、各LED70〜73の温度TR〜TVを取得する。導出部102は、取得した温度TR〜TVに基づいて、各LED70〜73の温度変化に応じた各色光の波長変動に起因する画像の色調の変化を補正する色調補正マトリックスCを導出する。補正部103は、導出した色調補正マトリックスCに基づいて補正を行う。
【選択図】図18

Description

本発明は、プロセッサ装置とその作動方法、および内視鏡システムに関する。
医療分野において、被検体(患者)の胃や大腸の表面といった観察対象を内視鏡で観察する内視鏡検査が行われている。内視鏡は、被検体内に挿入される挿入部と、挿入部の基端側に設けられ、内視鏡検査技師等のオペレータが操作する操作部とを有している。挿入部先端には、観察対象を撮像する撮像素子が配されている。操作部には、観察対象の画像(静止画像)を記録するためのレリーズボタンが配されている。
内視鏡は、光源装置とプロセッサ装置に接続される。これら内視鏡、光源装置、およびプロセッサ装置で内視鏡システムを構成する。光源装置は、観察対象を照明する照明光を発する光源を内蔵している。光源には、半導体光源、例えば発光ダイオード(以下、LED(Light Emitting Diode)と略す)が用いられる。半導体光源には、従来光源として用いられていたキセノンランプやメタルハライドランプのような、可視光波長帯域の全体をカバーするブロードな分光特性をもつものがない。このため、半導体光源を採用した光源装置には、白色光を生成するための波長帯域が異なる複数の半導体光源、例えば赤色、緑色、青色の3つの半導体光源が搭載される。
光源装置には、先の赤色、緑色、青色の3つの半導体光源に加えて、例えば観察対象の表層血管を強調して観察するための紫色の半導体光源が搭載されたものもある。こうした光源装置を備えた内視鏡システムでは、観察対象の全体的な性状を観察するための通常観察モードと、観察対象の表層血管を強調して観察するための特殊観察モードとを有し、これらの観察モードの切り替え可能である。
通常観察モードと特殊観察モードとでは、各半導体光源から発せられる赤色、緑色、青色、紫色の各色光の光量の比率が異なる。例えば通常観察モードでは、比視感度が比較的高い緑色光の光量の比率が高く設定される。一方特殊観察モードでは、表層血管の吸収率が高い紫色光の光量の比率が高く設定され、表層血管の観察の邪魔になる中層血管の吸収率が高い緑色光の光量の比率が低く設定される。
各色光の光量は、半導体光源に与える電流量に応じて増減する。この電流量は、各観察モードで設定された光量の比率や画像の輝度値に応じて、各色光の光量が、観察に適した所定の強度および比率となる値にリアルタイムで変更される。
内視鏡の撮像素子は、複数色、例えば赤色、緑色、青色の各色カラーフィルタを備え、各色の撮像信号を所定のフレームレートで順次プロセッサ装置に向けて出力する。プロセッサ装置は、撮像素子からの各色の撮像信号に各種処理を施す。そして、処理済みの撮像信号を観察対象の動画像として逐次モニタに出力する。オペレータはモニタで動画像を観察し、必要に応じてレリーズボタンを操作して、静止画像を記録する。
この種の内視鏡システムでは、従来、画像の色調が変化するという問題があった。その原因は、LED等の半導体光源の温度に応じた照明光の波長の変動である。照明光の波長が変動すると、当然ながら照明光の色調も変化し、ひいては画像の色調が変化してしまう。
こうした画像の色調が変化するという問題に対して、特許文献1が提案されている。特許文献1では、照明光の色調の変化に相関がある、半導体光源に与える電流量に応じて、画像の色調の変化を補正する色調補正マトリックスを導出している。そして、導出した色調補正マトリックスを、撮像素子から順次出力される各色の撮像信号にリアルタイムで乗算することで、照明光の色調の変化に伴う画像の色調の変化を補正している。
特開2016−174921号公報
特許文献1では、半導体光源に与える電流量に応じて色調補正マトリックスを導出し、これを各色の撮像信号にリアルタイムで適用して、画像の色調の変化を補正している。しかしながら、半導体光源に与える電流量は、観察モードを切り替えた場合や画像の輝度値が変化した場合等、比較的頻繁に変更される。このため、特許文献1のように半導体光源に与える電流量を用いる場合は、補正も頻繁に行われてしまう。補正が頻繁に行われると、補正が撮像信号の更新に追いつかずに補正遅れが生じたり、補正が効きすぎて色調が過度に補正されたりして、動画像として見た場合に、かえって違和感を与えるものとなるおそれがあった。
本発明は、違和感を与えることなく、適切に観察対象の画像の色調の変化を補正することが可能なプロセッサ装置とその作動方法、および内視鏡システムを提供することを目的とする。
上記課題を解決するために、本発明のプロセッサ装置は、分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡が接続されるプロセッサ装置であって、照明光における、複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替部と、観察対象の画像を取得する画像取得部と、複数の半導体光源の各々に配された温度センサから、複数の半導体光源の各々の温度を取得する温度取得部と、取得した温度に基づいて、複数の半導体光源の各々の温度変化に応じた、複数の半導体光源からそれぞれ発せられる光の波長変動に起因する画像の色調の変化を補正する補正プロファイルを導出する導出部と、導出した補正プロファイルに基づいて補正を行う補正部とを備える。
画像の輝度値に応じて、照明光の光量を制御する光量制御部を備えることが好ましい。
画像取得部は、画像として観察対象の動画像を取得し、補正部は、動画像に逐次補正を行うことが好ましい。
複数の観察モード毎に設けられ、複数の観察モードの各々に応じた画像処理を画像に対して施す複数の画像処理部を備え、複数の画像処理部はそれぞれ補正部を有していることが好ましい。
補正プロファイルは、観察対象を撮像する撮像素子から出力される複数色の撮像信号のそれぞれに乗算されるマトリックス係数を含むことが好ましい。
半導体光源は発光ダイオードであることが好ましい。
温度変化は、観察モードの切り替えに起因することが好ましい。あるいは、温度変化は、内視鏡の先端部と観察対象との距離の変化に起因することが好ましい。もしくは、温度変化は、観察モードの切り替え、かつ内視鏡の先端部と観察対象との距離の変化に起因することが好ましい。
本発明のプロセッサ装置の作動方法は、分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡が接続されるプロセッサ装置の作動方法であって、照明光における、複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替ステップと、観察対象の画像を取得する画像取得ステップと、複数の半導体光源の各々に配された温度センサから、複数の半導体光源の各々の温度を取得する温度取得ステップと、取得した温度に基づいて、複数の半導体光源の各々の温度変化に応じた、複数の半導体光源からそれぞれ発せられる光の波長変動に起因する画像の色調の変化を補正する補正プロファイルを導出する導出ステップと、導出した補正プロファイルに基づいて補正を行う補正ステップとを備える。
本発明の内視鏡システムは、分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡と、複数の半導体光源が内蔵された光源装置と、内視鏡および光源装置が接続されるプロセッサ装置とを備える内視鏡システムにおいて、プロセッサ装置は、照明光における、複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替部と、観察対象の画像を取得する画像取得部と、複数の半導体光源の各々に配された温度センサから、複数の半導体光源の各々の温度を取得する温度取得部と、取得した温度に基づいて、複数の半導体光源の各々の温度変化に応じた、複数の半導体光源からそれぞれ発せられる光の波長変動に起因する画像の色調の変化を補正する補正プロファイルを導出する導出部と、導出した補正プロファイルに基づいて補正を行う補正部とを有する。
本発明によれば、複数の半導体光源の各々に配された温度センサから、複数の半導体光源の各々の温度を取得し、取得した温度に基づいて、分光特性が異なる複数の半導体光源からそれぞれ発せられる光の波長変動に起因する画像の色調の変化を補正する補正プロファイを導出し、導出した補正プロファイルに基づいて補正を行うので、違和感を与えることなく、画像の色調の変化を適切に補正することが可能なプロセッサ装置とその作動方法、および内視鏡システムを提供することができる。
内視鏡システムの外観図である。 内視鏡の先端部の正面図である。 内視鏡システムのブロック図である。 光源ユニットを示す図である。 赤色LEDが発する赤色光の分光特性を示すグラフである。 緑色LEDが発する緑色光の分光特性を示すグラフである。 青色LEDが発する青色光の分光特性を示すグラフである。 紫色LEDが発する紫色光の分光特性を示すグラフである。 赤色光、緑色光、青色光、紫色光により構成される混合光の分光特性を示すグラフである。 赤色光、緑色光、青色光、紫色光により構成される混合光の分光特性を示すグラフである。 観察モードを切り替えた場合の各色光の光量変化およびピーク波長変化、並びに各LEDの温度変化を示す表であり、図11Aは通常観察モードから特殊観察モードに切り替えた場合、図11Bは特殊観察モードから通常観察モードに切り替えた場合をそれぞれ示す。 内視鏡の先端部の先端面と観察対象との距離が変化した場合の各色光の光量変化およびピーク波長変化、並びに各LEDの温度変化を示す表であり、図12Aは遠距離撮影から近距離撮影に切り替えた場合、図12Bは近距離撮影から遠距離撮影に切り替えた場合をそれぞれ示す。 カラーフィルタの配列を示す図である。 カラーフィルタの分光特性を示すグラフである。 照明光の照射タイミングおよび撮像素子の動作タイミングを示す図である。 通常画像処理部のブロック図である。 特殊画像処理部のブロック図である。 温度情報に基づいて補正プロファイルを導出する様子を示す図である。 画像処理部の処理手順を示すフローチャートである。 LEDに関係するパラメータの時間変化を示すグラフであり、図20AはLEDに与える電流量の時間変化、図20BはLEDの温度の時間変化をそれぞれ示す。
図1において、内視鏡システム10は、内視鏡11、プロセッサ装置12、および光源装置13を備えている。内視鏡11は、被検体内の観察対象を撮像し、プロセッサ装置12に撮像信号を出力する。プロセッサ装置12は、内視鏡11からの撮像信号に基づいて観察対象の画像を生成し、生成した画像をモニタ14に出力する。光源装置13は、観察対象を照明する照明光を内視鏡11に供給する。
プロセッサ装置12には、モニタ14の他に、キーボードやマウス等の入力部15が接続されている。入力部15は、被検体の情報を入力する際等にオペレータにより操作される。
内視鏡11は、被検体内に挿入される挿入部16と、挿入部16の基端側に設けられ、オペレータが操作する操作部17と、操作部17の下端から延びたユニバーサルコード18とを備えている。
挿入部16は、先端部19、湾曲部20、および可撓管部21で構成されており、この順番に先端側から連結されている。湾曲部20は、連結された複数の湾曲駒で形成され、上下左右方向に湾曲する。図1では上方向への湾曲を破線で示している。可撓管部21は、食道や腸等の曲がりくねった管道に挿入可能な可撓性を有している。
挿入部16には、撮像素子46(図3参照)を駆動するための基準クロック信号や撮像素子46が出力する撮像信号を伝達する通信ケーブル、光源装置13から供給される照明光を照明窓31(図2参照)に導光するライトガイド45(図3参照)等が挿通されている。
操作部17には、アングルノブ22、モード切替ボタン23、送気・送水ボタン24、および鉗子口25等が設けられている。アングルノブ22は、オペレータが所望する方向に先端部19を向けるために湾曲部20を上下左右方向に湾曲させる際に回動操作される。モード切替ボタン23は、後述する通常観察モードと特殊観察モードの2つの観察モードを切り替える際に操作される。送気・送水ボタン24は、送気・送水ノズル32(図2参照)から送気・送水を行う際に操作される。鉗子口25には、電気メス等の各種処置具が挿入される。なお、操作部17には、これらの他にも、観察対象の画像(静止画像)を記録する際に押圧操作されるレリーズボタンや、対物光学系50(図4参照)のズームレンズを光軸に沿って移動させ、光学ズームを行うためのズーム操作ボタン等が設けられている。
ユニバーサルコード18には、挿入部16から延設された通信ケーブルやライトガイド45が挿通されている。操作部17とは反対側のプロセッサ装置12および光源装置13側のユニバーサルコード18の一端には、コネクタ26が設けられている。コネクタ26は、通信用コネクタ26Aと光源用コネクタ26Bとからなる複合タイプのコネクタである。通信用コネクタ26Aはプロセッサ装置12に、光源用コネクタ26Bは光源装置13に、それぞれ着脱自在に接続される。
図2において、観察対象と対向する先端部19の先端面には、上側中央に位置する観察窓30と、観察窓30を挟んだ位置に配された一対の照明窓31と、観察窓30に開口が向けられた送気・送水ノズル32と、鉗子出口33とが設けられている。光源装置13からの照明光は、照明窓31を介して観察対象に照射される。照明光が照射された観察対象の像は、観察窓30から取り込まれる。観察窓30には、送気・送水ノズル32の開口から空気および水が噴射され、これにより観察窓30が洗浄される。鉗子口25から挿入された各種処置具の先端は、鉗子出口33から突出される。
図3において、内視鏡11は、ライトガイド45、撮像素子46、撮像制御部47、および信号送受信部48を備えている。ライトガイド45は、複数本の光ファイバをバンドル化してなり、光源装置13からの照明光を照明窓31に向けて導光する。光源用コネクタ26Bが光源装置13に接続された場合に、光源用コネクタ26Bに配置されたライトガイド45の入射端は、光源装置13の光源ユニット65と対向する。一方、先端部19に位置するライトガイド45の出射端は、一対の照明窓31に照明光が導光されるように、照明窓31の手前で2本に分岐している。
照明窓31の奥には、照射レンズ49が配置されている。この照射レンズ49と対向する位置に、ライトガイド45の出射端が配置されている。光源装置13から供給された照明光は、ライトガイド45により照射レンズ49に導光されて照明窓31から観察対象に向けて照射される。照射レンズ49は凹レンズからなり、ライトガイド45から出射する光の発散角を広げる。これにより、観察対象の広い範囲に照明光を照射することができる。
観察窓30の奥には、対物光学系50と撮像素子46が配置されている。観察対象の像は、観察窓30を通して対物光学系50に入射し、対物光学系50によって撮像素子46の撮像面46Aに結像される。
撮像素子46は例えばCCD(Charge Coupled Device)型である。撮像素子46の撮像面46Aには、画素を構成するフォトダイオード等の複数の光電変換素子がマトリックス状に配列されている。各画素の光電変換素子は、受光した光を光電変換して、それぞれの受光量に応じた信号電荷を蓄積する。信号電荷は、アンプによって電圧信号に変換されて読み出される。電圧信号は、ノイズ除去やアナログ/デジタル変換等が施されて、デジタルの撮像信号として信号送受信部48に入力される。
撮像制御部47は、撮像素子46の駆動を制御する。具体的には、撮像制御部47は、信号送受信部48を介して入力されるプロセッサ装置12の制御部55からの基準クロック信号に同期して、撮像素子46に対して駆動信号を入力する。撮像素子46は、撮像制御部47からの駆動信号に基づいて、所定のフレームレート、例えば60フレーム/秒で撮像信号を順次出力する。
信号送受信部48は、通信用コネクタ26A内に設けられている。信号送受信部48は、例えば赤外光を利用した光伝送方式により、プロセッサ装置12との各種信号の送受信を行う。各種信号には、上述の基準クロック信号や撮像信号の他に、モード切替スイッチ23の操作信号であるモード切替信号、あるいはレリーズボタンの操作により発せられる静止画像の記録指示信号、さらにはズーム操作ボタンの操作信号であるズーム操作信号等も含まれる。なお、通信用コネクタ26Aには、信号送受信部48の他に、例えば磁界共振を利用した無線電力伝送方式で、プロセッサ装置12から送電される電力を受電する受電部が設けられている。
プロセッサ装置12は、制御部55、信号送受信部56、DSP(Digital Signal Processor)57、フレームメモリ58、通常画像処理部59A、特殊画像処理部59B、および表示制御部60を備えている。制御部55は、CPU(Central Processing Unit)、制御プログラムや制御に必要な設定データを記憶するROM(Read Only Memory)、プログラムをロードして作業メモリとして機能するRAM(Random Access Memory)等を有し、CPUが制御プログラムを実行することにより、プロセッサ装置12の各部を制御する。なお、以下では、通常画像処理部59Aおよび特殊画像処理部59Bを、まとめて画像処理部59と表記する場合がある。
信号送受信部56は、内視鏡11の信号送受信部48と同じものであり、光伝送方式により内視鏡11との各種信号の送受信を行う。信号送受信部56は、制御部55からの基準クロック信号を信号送受信部48に送信する。また、信号送受信部56は、撮像素子46からの撮像信号およびモード切替ボタン23からのモード切替信号を信号送受信部48から受信し、撮像信号をDSP57に、モード切替信号を制御部55に、それぞれ出力する。信号送受信部56は、記録指示信号、ズーム操作信号等も制御部55に出力する。
DSP57は、撮像信号に対して、画素補間、階調変換、ガンマ補正、ホワイトバランス補正等の周知の信号処理を施す。DSP57は、処理済みの撮像信号をフレームメモリ58に出力する。
また、DSP57は、撮像信号に基づいて画像の輝度値を算出する。DSP57は、算出した輝度値を制御部55に出力する。DSP57は、この輝度値の算出および出力を、フレームレートと同じかそれよりも長い所定のサンプリング周期で行う。制御部55は、DSP57からの輝度値に応じた光量制御信号を光源装置13の光源制御部66に送信する。画像の輝度値は、画像全体の平均的な輝度値を採用してもよいし、画像中央の輝度値を採用してもよいし、画像の最大の輝度値を採用してもよい。また輝度値は、赤色、緑色、青色の各色の撮像信号をR、G、Bとし、輝度値をYとした場合、Y=0.299×R+0.587×G+0.114×Bを用いて算出することができるが、この算出方法に限定するものではなく、撮像信号のうち明るさ成分の多いG信号のみを用いて輝度値を算出してもよい。
フレームメモリ58は、DSP57が出力する撮像信号や、画像処理部59が各種画像処理を施した後の撮像信号を記憶する。表示制御部60は、フレームメモリ58から画像処理済みの撮像信号を読み出して、コンポジット信号やコンポーネント信号等のビデオ信号に変換して、観察対象の画像としてモニタ14に出力する。
制御部55は、信号送受信部56からのモード切替信号に基づき、通常観察モードと特殊観察モードの2つの観察モードを切り替えるモード切替部として機能する。ここで、通常観察モードは、観察対象の全体的な性状を観察するためのモードであり、特殊観察モードは、観察対象の表層血管を強調して観察するためのモードである。通常観察モードにおいては、制御部55は通常画像処理部59Aを稼働させる。一方、特殊観察モードにおいては、制御部55は特殊画像処理部59Bを稼働させる。
画像処理部59は、DSP57で処理が施されてフレームメモリ58に出力された撮像信号に対して、色調補正、色彩強調処理、構造強調処理等の各種画像処理を施し、観察対象の画像を生成する。画像処理部59は、フレームメモリ58内の撮像信号がDSP57により更新される毎に、画像を生成する。この画像処理部59が生成した画像が、表示制御部60を通じてモニタ14に動画像として逐次出力される。
制御部55は、信号送受信部56から記録指示信号が入力された場合、DSP57によるフレームメモリ58への撮像信号の書き換えを一時停止させる。表示制御部60は、この書き換えが一時停止された撮像信号(画像処理済み)をフレームメモリ58から読み出し、観察対象の静止画像としてモニタ14に出力する。なお、撮像信号の書き換えを一時停止させる時間は、例えば1〜3秒である。
観察対象の静止画像は、例えば制御部55のROMに一時記憶される。そして、内視鏡検査終了時等の適当なタイミングで、画像蓄積サーバ等の外部ストレージに送信され、外部ストレージで蓄積、管理される。
光源装置13は、光源ユニット65と光源制御部66とを備えている。光源ユニット65は、詳しくは図4で後述するが、半導体光源に相当する、分光特性が異なる4つのLED70、71、72、73を有している。光源制御部66は、制御部55からの光量制御信号を受信する。光量制御信号は、具体的には各LED70〜73の駆動電流量である。この電流量は、各LED70〜73の光の光量が、観察対象の観察に適した所定の強度および比率となる値である。すなわち、光量制御信号を光源制御部66に送信する制御部55は、画像の輝度値に応じて、照明光の光量を制御する光量制御部に相当する。
光源制御部66は、受信した光量制御信号で表される電流量を連続的に各LED70〜73に与えることで、各LED70〜73を点灯させる。なお、電流量を連続的に与えるのではなくパルス状に与え、パルスの振幅を変化させるPAM(Pulse Amplitude Modulation)制御や、パルスのデューティ比を変化させるPWM(Pulse Width Modulation)制御を行ってもよい。
図4において、光源ユニット65は、赤色、緑色、青色、紫色の各色LED70〜73と、光源光学系74とで構成される。赤色LED70は赤色の波長帯域の光(赤色光RL、図5参照)、緑色LED71は緑色の波長帯域の光(緑色光GL、図6参照)、青色LED72は青色の波長帯域の光(青色光BL、図7参照)、紫色LED73は紫色の波長帯域の光(紫色光VL、図8参照)をそれぞれ発する。
各LED70〜73は、周知のようにP型半導体とN型半導体を接合したものである。そして、電圧を掛けるとPN接合部付近においてバンドギャップを超えて電子と正孔が再結合して電流が流れ、再結合時にバンドギャップに相当するエネルギーを光として放出する。各LED70〜73は、供給電力(ここでは電流量)の増減に応じて発する光の光量が増減する。
また、各LED70〜73は、温度変化に応じて発する光の波長が変動する。例えば温度上昇によって、発する光のピーク波長が長波長側にシフトする(図11および図12参照)。各LED70〜73の温度変化は、各LED70〜73への供給電力の増減によりもたらされる。すなわち、各LED70〜73から発せられる光の波長は、各LED70〜73への供給電力に応じて変動する。
光源光学系74は、赤色光RL、緑色光GL、青色光BL、紫色光VLの各色光の光路を1つの光路に結合し、各色光を内視鏡11のライトガイド45の入射端に集光する。光源光学系74は、各色光をそれぞれライトガイド45の入射端へと導光するコリメートレンズ75、76、77、78と、各コリメートレンズ75〜78を透過した各色光の光路を結合するダイクロイックミラー79、80、81と、各色光をライトガイド45の入射端に集光する集光レンズ82とで構成される。
コリメートレンズ75〜78は、各色光を透過させて各色光を略平行光化する。ダイクロイックミラー79〜81は、透明なガラス板に所定の透過特性を有するダイクロイックフィルタを形成した光学部材である。
緑色LED71は、その光軸がライトガイド45の光軸と一致する位置に配置されている。そして、赤色LED70と緑色LED71は、互いの光軸が直交するように配置されている。これら赤色LED70と緑色LED71の光軸が直交する位置に、ダイクロイックミラー79が設けられている。同様に、青色LED72も、緑色LED71の光軸と直交するように配置され、これらの光軸が直交する位置に、ダイクロイックミラー80が設けられている。さらに、青色LED72と紫色LED73は、互いの光軸が直交するように配置され、これらの光軸が直交する位置に、ダイクロイックミラー81が設けられている。
ダイクロイックミラー79は、赤色LED70の光軸および緑色LED71の光軸に対して、それぞれ45°傾けた姿勢で配置されている。ダイクロイックミラー80は、緑色LED71の光軸および青色LED72の光軸に対して、それぞれ45°傾けた姿勢で配置されている。ダイクロイックミラー81は、青色LED72の光軸および紫色LED73の光軸に対して、それぞれ45°傾けた姿勢で配置されている。
ダイクロイックミラー79のダイクロイックフィルタは、例えば約600nm以上の赤色の波長帯域の光を反射し、約600nm未満の青色、緑色の波長帯域の光を透過する特性を有している。このため、ダイクロイックミラー79は、赤色LED70からの赤色光RLを集光レンズ82に向けて反射し、緑色LED71からの緑色光GLを集光レンズ82に向けて透過する。このダイクロイックミラー79の作用により、緑色光GLと赤色光RLの光路が結合される。
ダイクロイックミラー80のダイクロイックフィルタは、例えば約480nm未満の青色の波長帯域の光を反射し、約480nm以上の緑色、赤色の波長帯域の光を透過する特性を有している。このため、ダイクロイックミラー80は、ダイクロイックミラー79を透過した緑色光GL、およびダイクロイックミラー79で反射した赤色光RLを集光レンズ82に向けて透過する。また、ダイクロイックミラー80は、青色LED72からの青色光BLを集光レンズ82に向けて反射する。
ダイクロイックミラー81のダイクロイックフィルタは、例えば約430nm未満の紫色の波長帯域の光を反射し、それ以上の青色、緑色、赤色の波長帯域の光を透過する特性を有している。このため、ダイクロイックミラー81は、青色LED72からの青色光BLを集光レンズ82に向けて透過し、紫色LED73からの紫色光VLを集光レンズ82に向けて反射する。このダイクロイックミラー81の作用により、青色光BLと紫色光VLの光路が結合される。ダイクロイックミラー81で反射した紫色光VLは、ダイクロイックミラー80が前述のように約480nm未満の青色の波長帯域の光を反射する特性を有するので、ダイクロイックミラー80で反射して集光レンズ82に向かう。これにより、赤色光RL、緑色光GL、青色光BL、および紫色光VLの全ての光の光路が結合される。
各LED70〜73には、温度センサ85、86、87、88が取り付けられている。より具体的には、温度センサ85〜88は、各LED70〜73を覆うケースの外面等に取り付けられている。温度センサ85は赤色LED70の温度TRを、温度センサ86は緑色LED71の温度TGを、温度センサ87は青色LED72の温度TBを、温度センサ88は紫色LED73の温度TVを、それぞれ測定する。温度センサ85〜88は、測定した温度TR〜TV(以下、まとめて温度情報という)を光源制御部66に出力する。光源制御部66は、温度情報を制御部55に送信する。なお、温度センサ85〜88は、LED70〜73に直接取り付けられていなくてもよく、LED70〜73に触れずにその近傍に配され、LED70〜73の近傍の温度をLED70〜73の温度として測定するものであってもよい。
図5に示すように、赤色LED70は、例えば赤色の波長帯域である600nm〜650nm付近の波長成分を有し、中心波長625±10nm、半値幅20±10nmの赤色光RLを発光する。図6に示すように、緑色LED71は、例えば緑色の波長帯域である480nm〜600nm付近の波長成分を有し、中心波長550±10nm、半値幅100±10nmの緑色光GLを発光する。
図7に示すように、青色LED72は、例えば青色の波長帯域である420nm〜500nm付近の波長成分を有し、中心波長460±10nm、半値幅25±10nmの青色光BLを発光する。図8に示すように、紫色LED73は、例えば紫色の波長帯域である380nm〜420nm付近の波長成分を有し、中心波長405±10nm、半値幅20±10nmの紫色光VLを発光する。なお、中心波長は各色光の分光特性(発光スペクトルともいう)の幅の中心の波長を示し、半値幅は、各色光の分光特性のピークの半分を示す波長の範囲である。
光源光学系74で光路が結合された、赤色光RL、緑色光GL、青色光BL、紫色光VLを混合した混合光ML1、ML2の分光特性を、図9および図10に示す。これらの混合光ML1、ML2は観察対象への照明光として利用される。混合光ML1、ML2は、キセノンランプが発する白色光と同等の演色性を維持するために、光強度成分がない波長帯域が生じないよう構成されている。
図9に示す混合光ML1は、通常観察モードの場合に照射されるものである。通常観察モードは観察対象の全体的な性状を観察するモードである。このため、モード切替部として機能する制御部55は、光源制御部66に送信する光量制御信号を通じて、比視感度が比較的高い緑色光GLの光量の比率を高く設定する。これにより、通常観察モードでは、十分な光量の疑似白色光が観察対象に照射され、明るい画像を得ることができる。
一方、図10に示す混合光ML2は、特殊観察モードの場合に照射されるものである。特殊観察モードは観察対象の表層血管を強調して観察するモードである。このため、制御部55は、光量制御信号を通じて、表層血管の吸収率が高い紫色光VLの光量の比率を高く設定する。そして、表層血管の観察の邪魔になる中層血管の吸収率が高い緑色光GLの光量の比率を低く設定する。同様にして、赤色光RL、青色光BLの光量の比率も低く設定する。これにより、特殊観察モードでは、腫瘍等の病変に密接な関係のある表層血管構造を強調した画像を得ることができる。なお、図10では、比較のために混合光ML1を破線で示している。
特殊観察モードにおいて、緑色光GLの光量の比率を、紫色光VLと同等に高く設定し、表層血管構造の描出と明るさを両立した画像を得るようにしてもよい。なお、以下では、特に区別する必要がない場合は、混合光ML1、ML2を、まとめて混合光MLと表記する。
このように、各LED70〜73は、通常観察モード、特殊観察モードの各モードに関わらず、全て点灯する。ただし、照明光としての混合光ML1、ML2における各色光RL〜VLの光量の比率が異なる。
ここで、図11および図12を用いて、各LED70〜73が発する光の波長が温度によって変動する具体例を説明する。
まず、図11は、観察モードを切り替えた場合の各色光RL〜VLの光量変化およびピーク波長変化、並びに各LED70〜73の温度変化を示す表である。図11Aは通常観察モードから特殊観察モードに切り替えた場合、図11Bは特殊観察モードから通常観察モードに切り替えた場合をそれぞれ示す。
図11Aにおいて、通常観察モードから特殊観察モードに切り替えた場合は、赤色光RL、緑色光GL、青色光BLの光量は下がり、赤色LED70、緑色LED71、青色LED72の温度は下がる。そして、赤色光RL、緑色光GL、青色光BLのピーク波長は短波長側にシフトする。一方、紫色光VLの光量は上がり、紫色LED73の温度は上がる。そして、紫色光VLのピーク波長は長波長側にシフトする。
対して図11Bに示すように、特殊観察モードから通常観察モードに切り替えた場合は、図11Aの場合とは逆に、赤色光RL、緑色光GL、青色光BLの光量は上がり、赤色LED70、緑色LED71、青色LED72の温度は上がる。そして、赤色光RL、緑色光GL、青色光BLのピーク波長は長波長側にシフトする。一方、紫色光VLの光量は下がり、紫色LED73の温度は下がる。そして、紫色光VLのピーク波長は短波長側にシフトする。このように、観察モードを切り替えた場合には、各色光RL〜VLの光量、および各LED70〜73の温度が変化し、これに伴い各色光RL〜VLのピーク波長も変化する。
図12は、内視鏡11の先端部19の先端面と観察対象との距離が変化した場合の各色光RL〜VLの光量変化およびピーク波長変化、並びに各LED70〜73の温度変化を示す表である。図12Aは先端面と観察対象との距離が近付いた場合(遠距離撮影から近距離撮影に切り替えた場合)、図12Bは先端面と観察対象との距離が遠ざかった場合(近距離撮影から遠距離撮影に切り替えた場合)をそれぞれ示す。
遠距離撮影から近距離撮影に切り替えた場合は、その分観察対象が明るく照らされるので、画像の輝度値は一時的に高くなる。逆に近距離撮影から遠距離撮影に切り替えた場合は、画像の輝度値は一時的に低くなる。
制御部55は、この先端面と観察対象との距離の変化に伴って画像の輝度値が所定の値となるように光量制御信号を生成し、この光量制御信号を通じて各LED70〜73の駆動を制御する。遠距離撮影から近距離撮影に切り替えた場合、前述のように画像の輝度値は一時的に高くなるので、これを目標値まで下げるために制御部55は光量制御信号で表される電流量を下げる。逆に近距離撮影から遠距離撮影に切り替えた場合は、一時的に低くなった画像の輝度値を目標値まで高めるために制御部55は光量制御信号で表される電流量を上げる。
このため、遠距離撮影から近距離撮影に切り替えた場合は、図12Aに示すように、各色光RL〜VLの全ての光量は下がり、各LED70〜73の温度は下がる。そして、各色光RL〜VLのピーク波長は短波長側にシフトする。
対して近距離撮影から遠距離撮影に切り替えた場合は、図12Aの場合とは逆に、図12Bに示すように、各色光RL〜VLの全ての光量は上がり、各LED70〜73の温度は上がる。そして、各色光RL〜VLのピーク波長は長波長側にシフトする。このように、先端面と観察対象との距離が変化した場合も、各色光RL〜VLの光量、および各LED70〜73の温度が変化し、これに伴い各色光RL〜VLのピーク波長も変化する。
観察モードが切り替えられ、かつ先端面と観察対象との距離が変化された場合も、当然ながら各色光RL〜VLのピーク波長は変化する。なお、観察モードが切り替えられ、かつ先端面と観察対象との距離が変化されるシチュエーションとしては、湾曲部20がストレートの状態で、特殊観察モードにて胃を見下ろして遠距離撮影している状態で、通常観察モードに切り替えて、かつ湾曲部20を上に向けて胃壁を見上げて近距離撮影する場合等が考えられる。
図13において、撮像素子46の撮像面46Aには、赤色、緑色、青色の各色カラーフィルタ(赤色フィルタ90、緑色フィルタ91、青色フィルタ92)が設けられている。これら各色カラーフィルタ90〜92はいわゆるベイヤー配列であり、緑色フィルタ91が市松状に1画素おきに配置され、残りの画素上に、赤色フィルタ90と青色フィルタ92がそれぞれ正方格子状となるように配置されている。以下では、赤色フィルタ90が割り当てられた画素をR画素、緑色フィルタ91が割り当てられた画素をG画素、青色フィルタ92が割り当てられた画素をB画素という。
図14は、各色カラーフィルタ90〜92の分光特性(分光透過特性ともいう)を示す。これによれば、赤色フィルタ90が割り当てられたR画素は、約580nm〜800nmの波長帯域の光に感応し、緑色フィルタ91が割り当てられたG画素は、約450nm〜630nmの波長帯域の光に感応する。また、青色フィルタ92が割り当てられたB画素は、約380nm〜560nmの波長帯域の光に感応する。混合光MLを構成する赤色光RL、緑色光GL、青色光BL、紫色光VLは、赤色光RLに対応する反射光が主としてR画素、緑色光GLに対応する反射光が主としてG画素、青色光BLおよび紫色光VLに対応する反射光が主としてB画素で、それぞれ受光される。
図15において、撮像素子46は、1フレームの撮像信号の取得期間内で、画素に信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読出動作とを行う。各LED70〜73は、撮像素子46の蓄積動作のタイミングに合わせて点灯する。これにより混合光ML(RL+GL+BL+VL)が照明光として観察対象に照射され、その反射光が撮像素子46に入射する。撮像素子46は、混合光MLの反射光を各カラーフィルタ90〜92で色分離する。すなわち、赤色光RLに対応する反射光をR画素が、緑色光GLに対応する反射光をG画素が、青色光BLおよび紫色光VLに対応する反射光をB画素がそれぞれ受光する。撮像素子46は、信号電荷の読み出しのタイミングに合わせて、1フレーム分の撮像信号をフレームレートにしたがって順次出力する。
図16において、通常画像処理部59Aは、画像取得部100A、温度取得部101A、導出部102A、補正部103A、色彩強調処理部104A、および構造強調処理部105Aを備えている。
画像取得部100Aは、DSP57がフレームメモリ58に出力した撮像信号を、更新される毎にフレームメモリ58から読み出す。すなわち、画像取得部100Aは、観察対象の動画像を取得する。画像取得部100Aは、取得した動画像を補正部103Aに出力する。
温度取得部101Aは、制御部55から温度情報を取得する。温度情報は、図4で説明した通り、各温度センサ85〜88で測定した各LED70〜73の温度TR〜TVである。温度取得部101Aは、取得した温度情報を導出部102Aに出力する。
導出部102Aは、温度取得部101Aからの温度情報に基づいて補正プロファイルを導出する。補正プロファイルは、各LED70〜73の温度変化に応じた各色光RL〜VLの波長変動に起因する画像の色調の変化を補正するためのものである。より詳しくは、補正プロファイルは、画像取得部100Aで取得した画像の色調が基準の色調からずれていた場合に、画像取得部100Aで取得した画像の色調を基準の色調に補正するためのものである。導出部102Aは、導出した補正プロファイルを補正部103Aに出力する。
補正部103Aは、導出部102Aからの補正プロファイルに基づいて、画像取得部100Aからの画像に、画像の色調の変化を補正する色調補正を行う。画像取得部100Aからの画像は動画像であるため、補正部103Aは、動画像に逐次色調補正を行う。補正部103Aは、色調補正後の画像を色彩強調処理部104Aに出力する。
色彩強調処理部104Aは、補正部103Aからの色調補正後の画像に対して、通常観察モードに適した色彩強調処理を施す。通常観察モードに適した色彩強調処理は、例えば、緑色の撮像信号に適当なゲイン値を乗算する処理である。色彩強調処理部104Aは、処理後の画像を構造強調処理部105Aに出力する。
構造強調処理部105Aは、色彩強調処理部104Aからの画像に対して、通常観察モードに適した構造強調処理を施す。通常観察モードに適した構造強調処理は、例えば、観察対象の全体的な輪郭を強調する処理である。構造強調処理部105Aは、処理後の画像をフレームメモリ58に書き戻す。
図17は、特殊画像処理部59Bのブロック図を示す。特殊画像処理部59Bも通常画像処理部59Aと同じく、画像取得部100B、温度取得部101B、導出部102B、補正部103B、色彩強調処理部104B、および構造強調処理部105Bを備えている。
画像取得部100B、温度取得部101B、導出部102B、および補正部103Bは、通常画像処理部59Aの画像取得部100A、温度取得部101A、導出部102A、および補正部103Aと全く同じ機能である。このため説明を省略する。なお、以下では、これらの各部100A〜103A、100B〜103Bについては、特に区別する必要がない場合は、添え字のA、Bを省略して表記する。
対して色彩強調処理部104Bおよび構造強調処理部105Bは、特殊観察モードに適した色彩強調処理および構造強調処理を画像に施す点が、通常画像処理部59Aの色彩強調処理部104Aおよび構造強調処理部105Aとは異なる。特殊観察モードに適した色彩強調処理は、例えば、表層血管を表す青色の撮像信号に適当なゲイン値を乗算する処理である。特殊観察モードに適した構造強調処理は、例えば、表層血管の輪郭を強調する処理である。
図18に示すように、導出部102には、温度取得部101からの温度情報と、変換情報とが入力される。変換情報は、例えば光源装置13の記憶部(図示せず)に予め記憶されている。変換情報は、プロセッサ装置12に光源装置13が接続された場合に、光源装置13からプロセッサ装置12に送信され、例えば制御部55のROMに書き込まれる。制御部55は、ROMに書き込まれた変換情報を導出部102に受け渡す。
変換情報は、赤色、緑色、青色、紫色の各変換関数F(TR)、F(TG)、F(TB)、F(TV)である。赤色変換関数F(TR)は赤色色調補正マトリックスCRを、緑色変換関数F(TG)は緑色色調補正マトリックスCGを、青色変換関数F(TB)は青色色調補正マトリックスCBを、紫色変換関数F(TV)は紫色色調補正マトリックスCVを、それぞれ求めるための関数である。赤色変換関数F(TR)は赤色LED70の温度TRを、緑色変換関数F(TG)は緑色LED71の温度TGを、青色変換関数F(TB)は青色LED72の温度TBを、紫色変換関数F(TV)は紫色LED73の温度TVを、それぞれ変数とする。
導出部102は、変換情報の各変換関数F(TR)〜F(TV)に、温度情報の各温度TR〜TVを代入して計算することで、各色の色調補正マトリックスCR〜CVを導出する。そして、これらの色調補正マトリックスCR〜CVを乗算して、色調補正マトリックスCを求める。色調補正マトリックスCは、マトリックス係数MR1〜MR3、MG1〜MG3、MB1〜MB3が配された3×3の行列である。導出部102は、導出した色調補正マトリックスCを、補正プロファイルとして補正部103に出力する。
なお、変換関数ではなく、各LED70〜73の温度TR〜TVに応じた各色調補正マトリックスCR〜CVが登録されたデータテーブルを用いてもよい。
補正部103が行う色調補正は、具体的には、補正前の画像をBIとした場合、下記式(1)に示すように、色調補正マトリックスCと補正前の画像BIを乗算して補正後の画像AIとする処理である。
AI=C・BI・・・(1)
ここで、補正後の画像AIの赤色、緑色、青色の各色の撮像信号をAIR、AIG、AIB、補正前の静止画像BIの赤色、緑色、青色の各色の撮像信号をBIR、BIG、BIBとした場合、上記式(1)は、下記式(2)に書き換えられる。
Figure 2019041946
このように、マトリックス係数MR1〜MR3、MG1〜MG3、MB1〜MB3は、赤色、緑色、青色の各色の撮像信号BIR、BIG、BIBのそれぞれに乗算される。こうした補正を画像BIに施すことで、色調が基準の色調に補正された画像AIを得ることができる。
なお、画像取得部100で取得した画像の色調が基準の色調であり、色調補正の必要がない場合は、マトリックス係数MR1、MG2、MB3に1が設定され、その他のマトリックス係数には0が設定される。すなわち、この場合はAIR=BIR、AIG=BIG、AIB=BIBとなって、結局は色調補正マトリックスCを用いた色調補正は行われなかったと同じになる。
次に、上記構成による作用について、図19のフローチャートを参照して説明する。内視鏡検査を行う場合には、内視鏡11をプロセッサ装置12と光源装置13に接続し、プロセッサ装置12と光源装置13の電源を投入して、内視鏡システム10を起動する。そして、内視鏡11の挿入部16を被検体内に挿入して、被検体内の観察を開始する。なお、起動時は通常観察モードが自動的に選択され、通常画像処理部59Aが制御部55により稼働される。
光源装置13において、各LED70〜73に与える電流量が光源制御部66から各LED70〜73に設定され、これにより各LED70〜73の点灯が開始される。そして、図9で示したような目標とする分光特性を維持すべく、光源制御部66で各色光RL〜VLの光量制御が行われる。
各LED70〜73による各色光RL〜VLは、光源光学系74で光路を結合されて混合光ML1となる。混合光ML1はライトガイド45で照明窓31に導光されて、照明窓31から照明光として観察対象に照射される。観察対象で反射した混合光ML1の反射光は、観察窓30から撮像素子46に入射する。撮像素子46では、各色カラーフィルタ90〜92によって反射光が色分離される。その結果、撮像素子46から赤色、緑色、青色の各色の撮像信号が出力される。これらの撮像信号は、信号送受信部48からプロセッサ装置12に出力される。
プロセッサ装置12において、撮像信号は信号送受信部56で受信されてDSP57に出力される。DSP57では撮像信号に対して各種信号処理が施される。その後、撮像信号はDSP57によってフレームメモリ58に書き込まれる。
DSP57では、撮像信号に基づいて輝度値が算出される。この輝度値に応じた光量制御信号が制御部55で生成され、光源制御部66に送信される。各LED70〜73は、光量制御信号で表される電流量にて駆動される。これにより、各LED70〜73による、照明光としての混合光ML1を構成する赤色光RL、緑色光GL、青色光BL、紫色光VLの光量を、観察に適した強度および比率に一定に保つことができる。
フレームメモリ58の撮像信号は、通常画像処理部59Aに読み出されて各種画像処理が施された後、表示制御部60を通じてモニタ14に観察対象の画像として出力される。画像は撮像素子46のフレームレートにしたがって表示が更新される。
通常観察モードにおいて、オペレータは、モニタ14の観察対象の動画像を観察する。オペレータは、観察対象に腫瘍等の病変が見つかった場合、当該観察対象の表層血管の観察を意図して、モード切替ボタン23を押圧操作する。これによりモード切替ボタン23からモード切替信号が発せられる。モード切替信号は、信号送受信部48から信号送受信部56に送信され、信号送受信部56から制御部55に入力される。
制御部55にモード切替信号が入力された場合、観察モードが通常観察モードから特殊観察モードに切り替えられる(モード切替ステップ)。制御部55により、通常画像処理部59Aは非稼働とされ、替って特殊画像処理部59Bが稼働される。また、混合光ML1に替って、図10で示した混合光ML2が光源装置13から発せられ、観察対象に照射される。
図19に示すように、画像処理部59では、画像取得部100で観察対象の動画像が取得され、かつ温度取得部101で温度情報が取得される(ステップST100、画像取得ステップ、温度取得ステップ)。画像は画像取得部100から補正部103に、温度情報は温度取得部101から導出部102に、それぞれ出力される。
導出部102では、図18で示したように、温度取得部101からの温度情報、並びに変換情報に基づいて、補正プロファイルとして色調補正マトリックスCが導出される(ステップST110、導出ステップ)。補正プロファイルは導出部102から補正部103に出力される。
補正部103では、補正プロファイルに基づいて、画像取得部100からの画像に色調補正が行われる(ステップST120、補正ステップ)。これらステップST100〜ステップST120に示す一連の処理は、内視鏡検査が終了されるまで(ステップST130でYES)繰り返し続けられる。
なお、図19では図示を省略したが、画像処理部59においては、補正部103による色調補正だけでなく、色彩強調処理部104A、104Bによる色彩強調処理、構造強調処理部105A、105Bによる構造強調処理といった各種画像処理が画像に対して施される。
以上説明したように、温度センサ85〜88から各LED70〜73の温度TR〜TVを取得し、温度TR〜TVに基づいて画像の色調の変化を補正する補正プロファイを導出し、導出した補正プロファイルに基づいて補正を行うので、各LED70〜73に与える電流量に基づいて補正プロファイルを導出し、導出した補正プロファイルに基づいて補正を行う従来技術と比べて、違和感を与えることなく、画像の色調の変化を適切に補正することが可能となる。
というのは、各LED70〜73に与える電流量は、図20Aに示すように、比較的頻繁に変更される。対して、各LED70〜73の温度は、図20Bに示すように、電流量に連動して変化はするが、電流量の小幅な変動に対してはさほど変化せず、略一定を保つ。したがって、従来技術のように電流量の頻繁な変更に応じて色調補正も頻繁に行われるということがなくなり、動画像として見た場合に、違和感を与えるものとなるおそれがない。
図11で示したように、観察モードを切り替えた場合には、各色光RL〜VLのピーク波長が変化する。このため、本例のように複数の観察モードを有し、これらを切り替える態様では、画像の色調の変化を補正する必要性が高い。
また、図12で示したように、内視鏡11の先端部19の先端面と観察対象との距離が変化した場合にも、各色光RL〜VLのピーク波長が変化する。このため、本例のように画像の輝度値に応じて、照明光の光量を制御する態様では、複数の観察モードを切り替える態様と同じく、画像の色調の変化を補正する必要性が高い。
通常画像処理部59Aおよび特殊画像処理部59Bを備え、これらはそれぞれ補正部103A、103Bを有している。このため、各撮影モードに適した色調補正を行うことができる。
式(2)で示したように、補正プロファイルは、各色の撮像信号BIR、BIG、BIBのそれぞれに乗算されるマトリックス係数MR1〜MR3、MG1〜MG3、MB1〜MB3を含むので、画像の色域全体の色調を補正することができる。
なお、半導体光源および光の種類は、上記実施形態の各LED70〜73に限らない。例えば赤外光を発する赤外LEDを加えてもよい。
同様に、観察モードは、上記実施形態の通常観察モードおよび特殊観察モードの2つに限らない。特殊観察モードを、観察対象の表層血管を強調して観察するための第1特殊観察モードと、観察対象の中層血管を強調して観察するための第2特殊観察モードと、観察対象の深層血管を強調して観察するための第3特殊観察モードの3つとし、通常観察モードと合わせて計4つの観察モードを用意してもよい。
通常画像処理部59Aと特殊画像処理部59Bを統合して1つの画像処理部としてもよい。
上記実施形態では、補正プロファイルとして色調補正マトリックスCを例示したが、色調補正マトリックスCに加えて、ホワイトバランス補正係数、階調変換係数、3次元ルックアップテーブル等を補正プロファイルに含めてもよい。
カラーフィルタは、上記実施形態の赤色、緑色、青色の原色の組み合わせに限らず、シアン、マゼンタ、イエローの補色の組み合わせでもよい。また、光源は、上記実施形態のLEDに限らず、レーザダイオード(LD;Laser Diode)でもよい。
上記実施形態において、例えば、モード切替部および光量制御部に相当する制御部55、通常画像処理部59Aおよび特殊画像処理部59B(画像取得部100A、100B、温度取得部101A、101B、導出部102A、102B、補正部103A、103B、色彩強調処理部104A、104B、および構造強調処理部105A、105B)といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
上記記載から、以下の付記項1に記載のプロセッサ装置、並びに付記項2に記載の内視鏡システムを把握することができる。
[付記項1]
分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡が接続されるプロセッサ装置であって、
前記照明光における、前記複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替プロセッサと、
前記観察対象の画像を取得する画像取得プロセッサと、
前記複数の半導体光源の各々に配された温度センサから、前記複数の半導体光源の各々の温度を取得する温度取得プロセッサと、
取得した前記温度に基づいて、前記複数の半導体光源の各々の温度変化に応じた、前記複数の半導体光源からそれぞれ発せられる光の波長変動に起因する前記画像の色調の変化を補正する補正プロファイルを導出する導出プロセッサと、
導出した前記補正プロファイルに基づいて前記補正を行う補正プロセッサとを備えるプロセッサ装置。
[付記項2]
分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡と、前記複数の半導体光源が内蔵された光源装置と、前記内視鏡および前記光源装置が接続されるプロセッサ装置とを備える内視鏡システムにおいて、
前記プロセッサ装置は、
前記照明光における、前記複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替プロセッサと、
前記観察対象の画像を取得する画像取得プロセッサと、
前記複数の半導体光源の各々に配された温度センサから、前記複数の半導体光源の各々の温度を取得する温度取得プロセッサと、
取得した前記温度に基づいて、前記複数の半導体光源の各々の温度変化に応じた、前記複数の半導体光源からそれぞれ発せられる光の波長変動に起因する前記画像の色調の変化を補正する補正プロファイルを導出する導出プロセッサと、
導出した前記補正プロファイルに基づいて前記補正を行う補正プロセッサとを有する内視鏡システム。
本発明は、観察対象の像をイメージガイドで接眼部に導光するファイバスコープや、撮像素子に加えて超音波トランスデューサが先端部に内蔵された超音波内視鏡が接続されるプロセッサ装置、および内視鏡システムにも適用可能である。
本発明は、上記実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
10 内視鏡システム
11 内視鏡
12 プロセッサ装置
13 光源装置
14 モニタ
15 入力部
16 挿入部
17 操作部
18 ユニバーサルコード
19 先端部
20 湾曲部
21 可撓管部
22 アングルノブ
23 モード切替ボタン
24 送気・送水ボタン
25 鉗子口
26 コネクタ
26A 通信用コネクタ
26B 光源用コネクタ
30 観察窓
31 照明窓
32 送気・送水ノズル
33 鉗子出口
45 ライトガイド
46 撮像素子
46A 撮像面
47 撮像制御部
48 信号送受信部
49 照射レンズ
50 対物光学系
55 制御部
56 信号送受信部
57 DSP
58 フレームメモリ
59 画像処理部
59A 通常画像処理部
59B 特殊画像処理部
60 表示制御部
65 光源ユニット
66 光源制御部
70 赤色LED
71 緑色LED
72 青色LED
73 紫色LED
74 光源光学系
75〜78 コリメートレンズ
79〜81 ダイクロイックミラー
82 集光レンズ
85〜88 温度センサ
90 赤色フィルタ
91 緑色フィルタ
92 青色フィルタ
100、100A、100B 画像取得部
101、101A、101B 温度取得部
102、102A、102B 導出部
103、103A、103B 補正部
104A、104B 色彩強調処理部
105A、105B 構造強調処理部
RL 赤色光
GL 緑色光
BL 青色光
VL 紫色光
ML1、ML2 混合光
TR 赤色LEDの温度
TG 緑色LEDの温度
TB 青色LEDの温度
TV 紫色LEDの温度
F(TR) 赤色変換関数
F(TG) 緑色変換関数
F(TB) 青色変換関数
F(TV) 紫色変換関数
CR 赤色色調補正マトリックス
CG 緑色色調補正マトリックス
CB 青色色調補正マトリックス
CV 紫色色調補正マトリックス
MR1〜MR3、MG1〜MG3、MB1〜MB3 マトリックス係数
C 色調補正マトリックス
AI 補正後の画像
AIR、AIG、AIB 補正後の画像の赤色、緑色、青色の各色の撮像信号
BI 補正前の画像
BIR、BIG、BIB 補正前の画像の赤色、緑色、青色の各色の撮像信号
ST100〜ST130 ステップ

Claims (11)

  1. 分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡が接続されるプロセッサ装置であって、
    前記照明光における、前記複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替部と、
    前記観察対象の画像を取得する画像取得部と、
    前記複数の半導体光源の各々に配された温度センサから、前記複数の半導体光源の各々の温度を取得する温度取得部と、
    取得した前記温度に基づいて、前記複数の半導体光源の各々の温度変化に応じた、前記複数の半導体光源からそれぞれ発せられる光の波長変動に起因する前記画像の色調の変化を補正する補正プロファイルを導出する導出部と、
    導出した前記補正プロファイルに基づいて前記補正を行う補正部とを備えるプロセッサ装置。
  2. 前記画像の輝度値に応じて、前記照明光の光量を制御する光量制御部を備える請求項1に記載のプロセッサ装置。
  3. 前記画像取得部は、前記画像として前記観察対象の動画像を取得し、
    前記補正部は、前記動画像に逐次前記補正を行う請求項1または2に記載のプロセッサ装置。
  4. 前記複数の観察モード毎に設けられ、前記複数の観察モードの各々に応じた画像処理を前記画像に対して施す複数の画像処理部を備え、
    前記複数の画像処理部はそれぞれ前記補正部を有している請求項1ないし3のいずれか1項に記載のプロセッサ装置。
  5. 前記補正プロファイルは、前記観察対象を撮像する撮像素子から出力される複数色の撮像信号のそれぞれに乗算されるマトリックス係数を含む請求項1ないし4のいずれか1項に記載のプロセッサ装置。
  6. 前記半導体光源は発光ダイオードである請求項1ないし5のいずれか1項に記載のプロセッサ装置。
  7. 前記温度変化は、前記観察モードの切り替えに起因する請求項1ないし6のいずれか1項に記載のプロセッサ装置。
  8. 前記温度変化は、前記内視鏡の先端部と前記観察対象との距離の変化に起因する請求項1ないし6のいずれか1項に記載のプロセッサ装置。
  9. 前記温度変化は、前記観察モードの切り替え、かつ前記内視鏡の先端部と前記観察対象との距離の変化に起因する請求項1ないし6のいずれか1項に記載のプロセッサ装置。
  10. 分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡が接続されるプロセッサ装置の作動方法であって、
    前記照明光における、前記複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替ステップと、
    前記観察対象の画像を取得する画像取得ステップと、
    前記複数の半導体光源の各々に配された温度センサから、前記複数の半導体光源の各々の温度を取得する温度取得ステップと、
    取得した前記温度に基づいて、前記複数の半導体光源の各々の温度変化に応じた、前記複数の半導体光源からそれぞれ発せられる光の波長変動に起因する前記画像の色調の変化を補正する補正プロファイルを導出する導出ステップと、
    導出した前記補正プロファイルに基づいて前記補正を行う補正ステップとを備えるプロセッサ装置の作動方法。
  11. 分光特性が異なる複数の半導体光源からそれぞれ発せられる光を混合した混合光を、照明光として観察対象に照射する内視鏡と、前記複数の半導体光源が内蔵された光源装置と、前記内視鏡および前記光源装置が接続されるプロセッサ装置とを備える内視鏡システムにおいて、
    前記プロセッサ装置は、
    前記照明光における、前記複数の半導体光源からそれぞれ発せられる光の光量の比率が異なる複数の観察モードを切り替えるモード切替部と、
    前記観察対象の画像を取得する画像取得部と、
    前記複数の半導体光源の各々に配された温度センサから、前記複数の半導体光源の各々の温度を取得する温度取得部と、
    取得した前記温度に基づいて、前記複数の半導体光源の各々の温度変化に応じた、前記複数の半導体光源からそれぞれ発せられる光の波長変動に起因する前記画像の色調の変化を補正する補正プロファイルを導出する導出部と、
    導出した前記補正プロファイルに基づいて前記補正を行う補正部とを有する内視鏡システム。
JP2017166388A 2017-08-31 2017-08-31 プロセッサ装置とその作動方法、および内視鏡システム Active JP6891076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017166388A JP6891076B2 (ja) 2017-08-31 2017-08-31 プロセッサ装置とその作動方法、および内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017166388A JP6891076B2 (ja) 2017-08-31 2017-08-31 プロセッサ装置とその作動方法、および内視鏡システム

Publications (2)

Publication Number Publication Date
JP2019041946A true JP2019041946A (ja) 2019-03-22
JP6891076B2 JP6891076B2 (ja) 2021-06-18

Family

ID=65814992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017166388A Active JP6891076B2 (ja) 2017-08-31 2017-08-31 プロセッサ装置とその作動方法、および内視鏡システム

Country Status (1)

Country Link
JP (1) JP6891076B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183528A1 (ja) * 2019-03-08 2020-09-17 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置、内視鏡装置の作動方法及びプログラム
JPWO2021065939A1 (ja) * 2019-10-04 2021-04-08

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11137517A (ja) * 1997-11-14 1999-05-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2010136775A (ja) * 2008-12-10 2010-06-24 Fujifilm Corp 画像取得方法および内視鏡装置
JP2012071020A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡装置
JP2015061569A (ja) * 2013-09-23 2015-04-02 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2015133528A1 (ja) * 2014-03-06 2015-09-11 オリンパス株式会社 光源装置、内視鏡装置及び光源制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11137517A (ja) * 1997-11-14 1999-05-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2010136775A (ja) * 2008-12-10 2010-06-24 Fujifilm Corp 画像取得方法および内視鏡装置
JP2012071020A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 内視鏡装置
JP2015061569A (ja) * 2013-09-23 2015-04-02 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2015133528A1 (ja) * 2014-03-06 2015-09-11 オリンパス株式会社 光源装置、内視鏡装置及び光源制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183528A1 (ja) * 2019-03-08 2020-09-17 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置、内視鏡装置の作動方法及びプログラム
US11889988B2 (en) 2019-03-08 2024-02-06 Olympus Corporation Endoscope apparatus, endoscope image processing apparatus, endoscope apparatus actuation method, and recording medium
JPWO2021065939A1 (ja) * 2019-10-04 2021-04-08
WO2021065939A1 (ja) * 2019-10-04 2021-04-08 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7344976B2 (ja) 2019-10-04 2023-09-14 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
JP6891076B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
JP5371946B2 (ja) 内視鏡診断装置
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5997676B2 (ja) 内視鏡用光源装置、およびこれを用いた内視鏡システム
JP5355799B2 (ja) 内視鏡装置および内視鏡装置の作動方法
US20200397266A1 (en) Apparatus and method for enhanced tissue visualization
JP5976045B2 (ja) 内視鏡用光源装置、およびこれを用いた内視鏡システム
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
JP6100674B2 (ja) 内視鏡用光源装置及び内視鏡システム
US10944947B2 (en) Processor device, method of operating processor device, endoscope system, image display device, method of operating image display device, operating program for image display device
CN111295124B (zh) 内窥镜系统、内窥镜图像的生成方法和处理器
JP5539841B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US20120259174A1 (en) Endoscopic diagnosis system
US10631721B2 (en) Living body observation system
US11684238B2 (en) Control device and medical observation system
JP5558331B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP6891076B2 (ja) プロセッサ装置とその作動方法、および内視鏡システム
CN108778088B (zh) 活体观察系统
JP6325707B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5734060B2 (ja) 内視鏡システム及びその駆動方法
JP7163487B2 (ja) 内視鏡用光源装置、及び、内視鏡システム
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
US20230233070A1 (en) Endoscope light source device, endoscope system, and method of changing illumination light in endoscope light source device
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
JP6227077B2 (ja) 内視鏡システム及びその作動方法
JP6005794B2 (ja) 内視鏡システム及びその駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250