JP2017113185A - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

Abstract

【課題】照明光を変えて、異なるタイミングにおいて観察対象を撮影して得る２つの画像を用いて得る演算画像を色調に反映した表示画像を生成する際に、ハレーション領域の偽色を低減する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。
【解決手段】内視鏡システムは、第１照明光を用いて得る第１画像と、第２照明光を用いて、第１画像とは異なるタイミングにおいて得る第２画像と、を取得する画像取得部５４と、ハレーション領域を検出するハレーション領域検出部７４と、第１画像と第２画像を用いて演算し、演算画像を生成する演算画像生成部７３と、演算画像を色調に反映した表示画像を生成する表示画像生成部７７と、表示画像のハレーション領域の色調を変更する色調変更部７５と、を備える。
【選択図】図３

Description

本発明は、異なるタイミングにおいて撮影した２つの画像を用いて表示用の画像を生成する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて、観察対象をほぼリアルタイムに動画を用いて観察しながら診断することが一般的になっている。また、観察対象を自然に観察するだけでなく、青色及び緑色のごく狭い波長帯域の光（以下、狭帯域光という）を照明光に利用することで、血管等の注目する組織や腺管構造（いわゆるピットパターン）等の注目する構造を強調した画像を得る内視鏡システムが知られている。

注目する組織や構造を強調した画像を得る際には、多くの場合、異なるタイミングにおいて観察対象を撮影して得た２つの画像を利用することがある。例えば、照明光を変えて観察対象を撮影して２つの画像を取得し、これらの画像の一方に、これら２つの画像の差分画像を合成することで、血管の深さを、明るさを用いて表現した画像を生成及び表示する内視鏡システムが知られている（特許文献１）。また、注目する組織や構造を抽出したり強調したりする際や、酸素飽和度等の生体機能情報を算出する際にも、異なるタイミングにおいて観察対象を撮影して得た２つの画像を利用する場合がある。

この他、内視鏡システムにおいては、彩度を上げて血管を強調し、粘膜に対して血管の視認性を向上する血管の強調方法が知られている（特許文献２）。また、複数色の画像を同時に取得する場合でも、画素値が大きい画素を色ごとに補正すると偽色が発生するので、色のバランスを保ったまま画素値を低減（抑圧）する内視鏡システムが知られている（特許文献３）。色ずれ（偽色）を検出し、補正する内視鏡システムも知られている（特許文献４）。

特開２０１５−０６６０５０号公報 特開２００３−０９３３３８号公報 特開２０００−１１５７９２号公報 特開平０３−２６１２９５号公報

２つの画像を用いて注目する組織を強調等した表示用の画像（以下、表示画像という）を生成する場合、通常は、使用する２つの画像間において各画像が表す観察対象の位置合わせをすることにより、注目する組織等を正確に強調等する。

一方、観察対象の形状と照明光の照射向きに起因して、照明光の反射率が部分的に極端に大きくなることがあり、撮影した画像には、画素値が飽和したいわゆるハレーション領域が発生することがある。観察対象のごく僅かな動きでも、ハレーション領域の位置は比較的大きく移動するので、観察対象の位置合わせでは、通常は、ハレーション領域の位置まで正確に位置合わせすることはできない。したがって、色が異なる（すなわち照明光が異なる）２つの画像を使用して表示画像を生成する際に、使用する２つの画像にハレーションがあると、ハレーション領域に色ずれに起因する偽色が発生するという問題がある。このハレーション領域の偽色は、使用する画像を用いて演算をした結果（例えば差分）を色調に反映した表示画像を生成する場合に特に顕著であり、観察対象の観察に支障をきたすこともあるので、ハレーション領域においても偽色が発生しないようにすることが望まれている。

特許文献３は、位置合わせの必要がない同時に撮影した色が異なる３つの画像を用いて表示画像を生成する際に、偽色を発生させないように各色の画像を補正しているが、上記のように、異なるタイミングにおいて取得する色が異なる２つの画像を使用して表示画像を生成する際の偽色は防止できない。また、特許文献４は、異なるタイミングにおいて取得する色が異なる３つの画像を使用して表示画像を生成する際に、偽色を検出して補正する旨を開示しているが、これは上記観察対象の位置合わせに相当する。したがって、特許文献４の方法を用いた場合には、観察対象の位置合わせをした後にもハレーション領域の位置ずれが残るので、ハレーション領域の偽色を低減することはできない。

本発明は、照明光を変えて、異なるタイミングにおいて観察対象を撮影して得る２つの画像を用いて演算して得る演算画像を色調に反映した表示画像を生成する際に、ハレーション領域の偽色を低減する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得する画像取得部と、少なくとも第１画像または第２画像のいずれか一方からハレーション領域を検出するハレーション領域検出部と、第１画像と第２画像とを用いて演算し、演算画像を生成する演算画像生成部と、演算画像を色調に反映した表示画像を生成する表示画像生成部と、表示画像のハレーション領域の色調を変更する色調変更部と、を備える。

色調変更部は、少なくとも演算画像の画素値を補正することで、表示画像の色調を変更することが好ましい。

色調変更部は、彩度、色相、または明度のうち少なくとも１つを変更することが好ましい。

色調変更部は、表示画像のハレーション領域の彩度を抑制することが好ましい。

色調変更部は、表示画像のハレーション領域を無彩色にすることが好ましい。

色調変更部は、演算画像の画素値の大きさを閾値の値に抑制することが好ましい。

表示画像生成部は、表示画像を生成する際に、演算画像に重みを付けて色差チャンネルに割り当て、色調変更部は、差分画像の重みを用いて、閾値を調整することが好ましい。

表示画像生成部は、第１画像または第２画像のうちいずれか一方を輝度チャンネルに割り当て、かつ、演算画像を色差チャンネルに割り当てることにより表示画像を生成し、ハレーション領域検出部は、第１画像または第２画像のうち輝度チャンネルに割り当てる一方の画像からハレーション領域を検出し、色調変更部は、少なくとも第１画像または第２画像のうち輝度チャンネルに割り当てる一方の画像から検出したハレーション領域について、表示画像の色調を変更することが好ましい。

色調変更部は、第１画像のハレーション領域と、第２画像のハレーション領域の両方のハレーション領域について色調を変更することが好ましい。

演算画像生成部は、演算画像として、第１画像と第２画像の差分画像を生成することが好ましい。

ハレーション領域検出部は、画素値の出現頻度を表すヒストグラムを用いてハレーション領域を検出することが好ましい。

ハレーション領域検出部は、最大画素値から特定の範囲内においてハレーション領域を検出することが好ましい。

ハレーション領域検出部は、特定の範囲内においてヒストグラムの谷の頂点を検出し、谷の頂点の画素値以上最大画素値以下の画素値を有する画素の集合をハレーション領域として検出することが好ましい。

表示画像生成部が表示画像の生成に使用する演算画像を平滑化する平滑化部を備えることが好ましい。

本発明のプロセッサ装置は、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得する画像取得部と、少なくとも第１画像または第２画像のいずれか一方からハレーション領域を検出するハレーション領域検出部と、第１画像と第２画像とを用いて演算し、演算画像を生成する演算画像生成部と、演算画像を色調に反映した表示画像を生成する表示画像生成部と、表示画像のハレーション領域の色調を変更する色調変更部と、を備える。

本発明の内視鏡システムの作動方法は、画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得するステップと、ハレーション領域検出部が、少なくとも第１画像または第２画像のいずれか一方からハレーション領域を検出するステップと、演算画像生成部が、第１画像と第２画像とを用いて演算し、演算画像を生成するステップと、表示画像生成部が、演算画像を色調に反映した表示画像を生成するステップと、色調変更部が、表示画像のハレーション領域の色調を変更するステップと、を備える。

本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、照明光を変えて、異なるタイミングにおいて観察対象を撮影して得る２つの画像を用い、これら２つの画像の差分を色調に反映した表示画像を生成する際に、ハレーション領域の色調を変更することで、ハレーション領域の偽色を低減することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 特殊処理部のブロック図である。 血管の深さと血管のコントラストの関係を模式的に表すグラフである。 ハレーション領域の検出に使用するヒストグラムである。 ハレーション領域の画素値を示すグラフである。 差分画像におけるハレーション領域の画素値を示すグラフである。 彩度抑制処理をした差分画像の画素値を示すグラフである。 表示画像の生成方法を示す説明図である。 特殊観察モードの動作の流れを示すフローチャートである。 Ｖ画像の模式図である。 Ｂ画像の模式図である。 差分画像の模式図である。 彩度抑制処理をした差分画像の模式図である。 平滑化した差分画像の模式図である。 表示画像の模式図である。 比較例の表示画像及びその生成過程を示す説明図である。 第１画像及び第２画像のハレーション領域の画素値を零にした場合の差分画像の画素値の分布を示すグラフである。 第１画像及び第２画像のハレーション領域の画素値を零にした場合の差分画像の模式図である。 第１画像及び第２画像のハレーション領域の画素値を零にした場合の表示画像の模式図である。 表示画像のハレーション領域周辺の拡大図である。 カプセル内視鏡の概略図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続するとともに、プロセッサ装置１６に電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。この湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切り替えスイッチ１３ａ、ズーム操作部１３ｂが設けられている。モード切り替えスイッチ１３ａは、観察モードの切り替え操作に用いる。内視鏡システム１０は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する観察モードである。特殊観察モードは、観察対象を撮影して得た画像を用いて観察対象に含まれる血管のうち、特定の深さにある血管を強調した画像を表示する観察モードである。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備えている。

光源部２０は、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄの４個の光源を備える。本実施形態においては、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄはいずれもＬＥＤ(Light Emitting Diode)である。光源部２０には、これらのＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタとの組み合わせ等を用いることができる。

Ｖ光源２０ａは、中心波長が約４０５ｎｍ、波長帯域が約３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発光する紫色光源である。Ｂ光源２０ｂは、中心波長が約４６０ｎｍ、波長帯域が約４２０ｎｍ〜５００ｎｍの青色光Ｂを発光する青色光源である。Ｇ光源２０ｃは、波長帯域が約４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発光する緑色光源である。Ｒ光源２０ｄは、中心波長が約６２０ｎｍ〜６３０ｎｍ、波長帯域が約６００ｎｍ〜６５０ｎｍに及ぶ赤色光Ｒを発光する赤色光源である。なお、Ｖ光源２０ａ及びＢ光源２０ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。

光源制御部２２は、光源部２０を構成する各光源２０ａ〜２０ｄの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。通常観察モードの場合、光源制御部２２は、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及びＲ光源２０ｄを全て点灯する。このため、通常観察モードにおいては、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む白色光が照明光になる。

一方、特殊観察モードの場合、第１照明光と、第１照明光とは異なる第２照明光とを、設定により選択して使用する。このため、特殊観察モードの場合、光源制御部２２は、第１照明光を発光する発光パターンと、第２照明光を発光する発光パターンで各色の光源２０ａ〜２０ｄを制御する。

例えば、設定により選択した第１照明光及び第２照明光が紫色光Ｖ及び青色光Ｂである場合、光源制御部２２は、Ｖ光源２０ａだけを点灯する発光パターンと、Ｂ光源２０ｂだけを点灯する発光パターンを交互に繰り返す。また、設定により選択した第１照明光及び第２照明光が青色光Ｂと緑色光Ｇである場合、光源制御部２２は、Ｂ光源２０ｂだけを点灯する発光パターンと、Ｇ光源２０ｃだけを点灯する発光パターンを交互に繰り返す。

もちろん、赤色光Ｒは、第１照明光または第２照明光に使用できる。また、各色の光源２０ａ〜２０ｄのうちのいずれか１つを用いて発光する単色の光を第１照明光または第２照明光として使用できる他、各色の光源２０ａ〜２０ｄのうち２以上の光源を点灯して発光する光を第１照明光または第２照明光として使用することもできる。複数の光源を点灯して第１照明光または第２照明光を発光する場合には、点灯する光源の光量のバランスを調節して全体としての分光スペクトルを変えることで、点灯する光源の組み合わせ同じ場合でも様々な色の光を第１照明光または第２照明光として使用することができる。帯域制限フィルタを用いて、各色の光源２０ａ〜２０ｄが発光する各色光の波長帯域や光量の一部を制限した光も第１照明光または第２照明光として使用可能である。したがって、本明細書において、照明光が「異なる」とは、２つの照明光を比較した場合に、波長帯域または分光スペクトルの少なくとも一方が同一でないことを意味する。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に照射される。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光や散乱光（観察対象が発する蛍光や観察対象に投与等した薬剤に起因する蛍光を含む）等を用いて観察対象を撮影する。なお、ズームレンズ４７は、ズーム操作部１３ｂの操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。

イメージセンサ４８は、原色系のカラーセンサであり、主に紫色から青色の波長帯域の光を透過する青色カラーフィルタが設けられたＢ画素（青色画素）、主に緑色の波長帯域の光を透過する緑色カラーフィルタが設けられたＧ画素（緑色画素）、及び、主に赤色の波長帯域の光を透過する赤色カラーフィルタが設けられたＲ画素（赤色画素）の３種類の画素を有する。このため、イメージセンサ４８を用いて観察対象を撮影すると、Ｂ画像（青色画像）、Ｇ画像（緑色画像）、及びＲ画像（赤色画像）の３種類の画像が得られる。

通常観察モードの場合、照明光は白色光であるため、上記の通り、Ｂ画像、Ｇ画像、及びＲ画像がそれぞれ得られる。具体的には、Ｂ画素は、白色光の反射光等のうち、紫色から青色の波長帯域の光を受光して観察対象を撮影し、Ｂ画像を出力する。Ｇ画素は緑色の波長帯域の光を受光してＧ画像を出力し、Ｒ画素は赤色の波長帯域の光を受光してＲ画像を出力する。

一方、特殊観察モードにおいては、照明光は第１照明光と第２照明光とで交互に切り替わる。このため、第１照明光を用いて観察対象を撮影して得るＢＧＲ各色の画像（以下、第１画像という）と、第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得るＢＧＲ各色の画像（以下、第２画像という）が得られる。例えば、紫色光Ｖを第１照明光に使用し、かつ、青色光Ｂを第２照明光に使用する場合、実質的に、紫色光Ｖの反射光等に対応するＢ画像（以下、Ｖ画像という）が第１画像であり、青色光Ｂに対応するＢ画像が第２画像である。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換することができる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用することができる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。

制御部５２は、モード切り替えスイッチ１３ａからモード切り替え信号の入力を受けて、光源制御部２２及びイメージセンサ４８に制御信号を入力することにより、観察モードを切り替える。また、制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。

画像取得部５４は、イメージセンサ４８から各色の画像を取得する。具体的には、通常観察モードの場合、画像取得部５４は、イメージセンサ４８からＢ画像、Ｇ画像、及びＲ画像を取得する。一方、特殊観察モードの場合、画像取得部５４は、イメージセンサ４８から、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得する。例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂの場合には、画像取得部５４は、Ｖ画像とＢ画像を順次取得する。

また、画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に各種処理を施す。

ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ４８において他の色の画素を配置しているために、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮影して得る画像なので、イメージセンサ４８のＧ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

画像処理部６１は、通常処理部６２と、特殊処理部６３とを有する。通常処理部６２は、通常観察モード時に作動し、ＢＧＲ各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部６６は、通常処理部６２から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察することができる。

特殊処理部６３は、特殊観察モード時に作動し、特殊観察モードにおいて取得した画像を用いて、特定深さ（例えば、観察対象の粘膜の表面を基準とした深さが特定の深さ）にある血管を、他の血管に対して色の違いを用いて表す画像を生成する。図３に示すように、特殊処理部６３は、位置合わせ部７１、明るさ補正部７２、演算画像生成部７３、ハレーション領域検出部７４、色調変更部７５、平滑化部７６、及び、表示画像生成部７７を備える。

位置合わせ部７１は、第１画像と第２画像の位置合わせを行う。第１画像と第２画像の位置合わせ（以下、単に位置合わせという）とは、第１画像が表す観察対象と第２画像が表す観察対象の対応する部分の位置（座標）を概ね一致させる処理である。例えば、位置合わせは、第１画像及び第２画像のマッチングにより両画像が表す観察対象の動きベクトルを推定し、推定した動きベクトルに基づいて第１画像及び第２画像のうち少なくとも一方を変形して行うことができる。

明るさ補正部７２は、位置合わせ部７１が位置合わせした第１画像または第２画像のうち少なくとも一方の明るさを補正し、第１画像及び第２画像の明るさを特定の比率にする。例えば、明るさ補正部７２は、第１照明光と第２照明光の光量比を用いて、第１画像または第２画像のうち少なくともいずれか一方をゲイン補正することにより、第１画像及び第２画像の相対的な明るさを補正する。

第１画像を得たときの第１照明光の光量と、第２画像を得たときの第２照明光の光量は、第１画像及び第２画像を得た時点でいずれも既知であるから、第１照明光と第２照明光の光量比は、明るさ補正部７２が明るさの補正をする段階で既知である。このため、例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂであり、紫色光Ｖの光量と青色光Ｂの光量が２：１の場合、明るさ補正部７２は、Ｖ画像（第１画像）の明るさをゲイン補正により１／２倍にし、または、Ｂ画像（第２画像）の明るさをゲイン補正により２倍にして、Ｖ画像（第１画像）の明るさとＢ画像（第２画像）の明るさの比率を１：１（特定の比率）にする。

また、第１画像の輝度の平均値は、第１画像が表す観察対象の粘膜の明るさに概ね相当する。第２画像においても同様である。このため、上記のように、第１照明光と第２照明光の比を用いる代わりに、明るさ補正部７２は、第１画像及び第２画像の輝度の平均値を算出し、これらの比を用いて、第１画像または第２画像のうち少なくとも一方にゲイン補正をして、第１画像及び第２画像の相対的な明るさを特定の比率に補正することもできる。

演算画像生成部７３は、明るさを補正した第１画像及び第２画像を用いて演算し、演算画像を生成する。本実施形態においては、演算画像生成部７３は、第１画像と第２画像の差をとり、演算画像として差分画像Δを生成する。より具体的には、演算画像生成部７３は、第１画像及び第２画像を対数変換し、対数変換後の第１画像及び第２画像の差を表す差分画像Δ（より具体的には第２画像から第１画像を減算した差分画像Δ）を生成する。第１画像及び第２画像の各画素の画素値は受光量を表すが、対数変換をすると、画素値は濃度を表すことになるので、各画像を得たときの照明光の照度によらず、安定した演算結果を得ることができる。なお、対数変換に限らず、γ変換でも良い。

上記のように演算画像生成部７３が、演算画像として差分画像Δを生成することは、第１画像と第２画像を用いて特定深さにある血管を強調することに相当する。例えば、図４に示すように、紫色光Ｖ及び青色光Ｂを第１照明光及び第２照明光に使用すると、どちらの照明光の場合も、粘膜下の比較的浅い深さ範囲にあるいわゆる表層血管（Ａｓ及びＡｄの全深さ範囲の血管）を観察可能である。しかし、紫色光Ｖは、青色光Ｂと比較して波長が短いので光の深達度が小さい。このため、紫色光Ｖを照明光に使用すると、青色光Ｂを照明光に使用する場合と比較して、表層血管の中でも特に浅い深さ範囲Ａｓにある血管（以下、極表層血管という）がよく写るが、表層血管の中でも比較的深い深さ範囲Ａｄにある血管の写りが良くない。その代わり、深さ範囲Ａｓにある極表層血管のコントラスト（周辺の粘膜からの反射光量に対する血管からの反射光量の比）は、青色光Ｂを照明光に使用する場合よりも大きい。逆に、青色光Ｂは、紫色光Ｖと比較して波長が長いので光の深達度が大きい。このため、青色光Ｂを照明光に使用すると、紫色光Ｖを照明光に使用する場合と比較して、相対的に深い深さ範囲Ａｄにある血管をよく写し出せる。その代わり、特に浅い深さ範囲Ａｓにある極表層血管のコントラストは紫色光Ｖを使用した場合よりも小さい。

したがって、紫色光Ｖを照明光に使用して得るＶ画像から、青色光Ｂを照明光に使用して得るＢ画像を減算して差分画像Δを生成すると、この差分画像Δは、表層血管のなかでも特に粘膜下の浅い深さ範囲Ａｓにある極表層血管を表す画素の画素値は小さい値（黒色）になり、表層血管の中でも深い深さ範囲Ａｄにある血管を表す画素の画素値は大きい値（白色）になる。このため、注目する組織が極表層血管の場合には、第１照明光を紫色光Ｖにし、第２照明光を青色光Ｂにすることで、Ｖ画像からＢ画像を減算して差分画像Δを生成すると、この差分画像Δは、コントラストを用いて特定の深さ範囲Ａｓにある極表層血管を強調した画像となる。

なお、上記とは逆にＢ画像からＶ画像を減算して差分画像Δを生成すると、この差分画像Δは、深さ範囲Ａｓにある極表層血管を表す画素の画素値は大きい値（白色）になり、深さ範囲Ａｄにある血管を表す画素の画素値が小さい値（黒色）になる。このため、上記と同じ紫色光Ｖ及び青色光Ｂの組み合わせを第１照明光及び第２照明光にする場合でも、第１照明光を青色光Ｂにし、第２照明光を紫色光Ｖにして、Ｖ画像からＢ画像を減算して差分画像Δを生成すると、この差分画像Δは、コントラストを用いて特定の深さ範囲Ａｄにある血管を強調した画像となる。

ハレーション領域検出部７４は、例えば、画像取得部５４から第１画像または第２画像を取得し、少なくとも第１画像または第２画像のいずれか一方からハレーション領域を検出する。本実施形態においては、ハレーション領域検出部７４は、第１画像または第２画像のうち一方のみからハレーション領域を検出する。また、ハレーション領域検出部７４は、第１画像と第２画像から任意にハレーションを検出する画像を選択するのではなく、第１画像と第２画像のうち、表示画像生成部７７が表示画像を生成する際に使用する画像からハレーションを検出する。具体的には、表示画像生成部７７は第１画像または第２画像のいずれかを表示画像の輝度チャンネルに割り当てて使用するので、ハレーション領域検出部７４は、第１画像と第２画像のうち表示画像生成部７７が輝度チャンネルに割り当てる方の画像からハレーションを検出する。

また、ハレーション領域の検出には、図５に示すように、画素値の出現頻度を表すヒストグラムを用いる。ハレーション領域検出部７４は、ハレーション領域の検出を最大画素値Ｐ_Ｍからはじめる。これは、ハレーション領域においては、画素値が飽和状態に、あるいは、画素値が飽和に近い状態にあるからである。また、このハレーション領域の特性上、ハレーション領域の検出は、ヒストグラムの全範囲において行う必要はない。このため、ハレーション領域検出部７４は、最大画素値Ｐ_Ｍから画素値が小さくなる方向に特定の範囲Ｒ０内においてハレーション領域を検出する。ハレーション領域検出部７４は、上記のように最大画素値Ｐ_Ｍから特定の範囲Ｒ０内において、ヒストグラムの谷の頂点（いわゆるボトム）の画素値Ｐ_Ｂを検出する。これにより、ハレーション領域検出部７４は、谷の頂点の画素値Ｐ_Ｂから最大画素値Ｐ_Ｍの画素値を有する画素の集合を、ハレーション領域として検出する。なお、特定の範囲Ｒ０は、ハレーション領域の検出に過不足がない程度に比較的画素値が大きく、経験的にハレーション領域の検出に必要十分な画素値の範囲である。

また、ハレーション領域検出部７４は、上記のように検出したハレーション領域のエッジを平滑化（いわゆるスムージング）することが好ましい。ハレーション領域の周囲は、ハレーション領域に関連して画素値に異常がある可能性があるので、ハレーション領域の周囲の画素も含めてハレーション領域を検出するためである。この平滑化は、平滑化部７６と同様にして行うことができる。ハレーション領域のエッジを平滑化する平滑化部を、ハレーション領域検出部７４とは別に設けても良い。この場合、ハレーション領域のエッジの平滑化には平滑化部７６を使用できる。

色調変更部７５は、表示画像生成部７７が生成する表示画像のハレーション領域の色調を変更する。色調変更部７５が変更する色調とは、表示画像の彩度、色相、または明度である。色調変更部７５は表示画像の彩度、色相、または明度のうち少なくとも１つを変更する。本実施形態においては、表示画像生成部７７は、演算画像である差分画像Δを色調に反映した表示画像を生成するので、色調変更部７５は、差分画像Δの少なくともハレーション領域の画素値を補正する。これにより、色調変更部７５は、結果として、表示画像の色調を変更する。

また、本実施形態においては、色調変更部７５は、表示画像のハレーション領域の彩度を抑制する。具体的には、表示画像生成部７７は、差分画像Δを色差チャンネルに割り当てて表示画像を生成するので、色調変更部７５が差分画像Δのハレーション領域の画素値を抑制する。その結果、色調変更部７５は、表示画像生成部７７が生成する表示画像のハレーション領域を無彩色にする。

色調変更部７５が行う上記の彩度抑制処理は、第１彩度抑制処理と第２彩度抑制処理の２つの彩度抑制処理を含む。第１彩度抑制処理は、差分画像Δのうち、ハレーション領域検出部７４が検出したハレーション領域の画素値をほぼ零にする部分的な画素値の置換処理である。第２彩度抑制処理は、差分画像Δの全体において、閾値Ｔｈ以上の画素値を±Ｔｈにする全体的なクリップ処理である。

例えば、図６に示すように、第１画像のある部分にハレーション領域Ｈ１があるとする。また、第１画像とは異なるタイミングにおいて撮影したために、第２画像のハレーション領域Ｈ２は第１画像のハレーション領域Ｈ１に対して位置がずれたとする。この場合、図７に示すように、差分画像Δは、第１画像のハレーション領域Ｈ１のうち、第２画像のハレーション領域Ｈ２と重複しない部分の画素値が大きくなる。同様に、差分画像Δは、第２画像のハレーション領域Ｈ２のうち、第１画像のハレーション領域Ｈ１と重複しない部分の画素値は小さくなる。また、差分画像Δは、第１画像のハレーション領域Ｈ１と第２画像のハレーション領域Ｈ２が重複する部分については、画素値が概ね零になる。

このため、図８に示すように、色調変更部７５は、差分画像Δに第１彩度抑制処理を施すことで、第１画像のハレーション領域Ｈ１のうち、第２画像のハレーション領域Ｈ２と重複しない部分の画素値をほぼ零にする。この結果、表示画像においては、第１画像のハレーション領域Ｈ１の彩度が抑制される。さらに、色調変更部７５は、差分画像Δに第２彩度抑制処理を施すことで、±Ｔｈを超える画素値は全て±Ｔｈにクリップする。これにより、ハレーション領域検出部７４は、第１画像のハレーション領域Ｈ１だけを検出し、第２画像のハレーション領域Ｈ２を検出しないが、色調変更部７５は、第２画像のハレーション領域Ｈ２についても画素値を低減する。このように、色調変更部７５が第２彩度抑制処理をすることで、表示画像においては、第２画像のハレーション領域Ｈ２の彩度も抑制される。

平滑化部７６は、いわゆるローパスフィルタ（以下、ＬＰＦという）であり、表示画像生成部７７が表示画像の生成に使用する演算画像を平滑化する。本実施形態においては、演算画像生成部７３は演算画像として差分画像Δを生成し、さらに色調変更部７５が補正した差分画像Δを表示画像の生成に使用する。このため、平滑化部７６は、色調変更部７５が補正した補正後の差分画像Δを平滑化する。これにより、少なくともハレーション領域検出部７４が検出したハレーション領域Ｈ１が平滑化される。平滑化部７６が差分画像Δに施す平滑化の処理強度は、ＬＰＦのカットオフ周波数で定まる。ＬＰＦのカットオフ周波数は予め設定され、少なくとも、元の差分画像Δよりは平滑化する。この他、平滑化部７６は、例えば縮小処理後に拡大処理をする等、拡大処理と縮小処理を組み合わせて差分画像Δを平滑化することができる。

表示画像生成部７７は、演算画像を色調に反映した表示画像を生成する。具体的には、表示画像生成部７７は、第１画像または第２画像のうちのいずれかと、平滑化した演算画像とを用いて、輝度チャンネルＹと、２つの色差チャンネルＣｂ，Ｃｒとを有する表示画像を生成する。本実施形態においては、表示画像生成部７７は、第１画像と第２画像のうち、注目する組織等のコントラストがより高い方の画像を輝度チャンネルＹに割り当てる。また、演算画像生成部７３は演算画像として差分画像Δを生成するので、表示画像生成部７７は、平滑化したした差分画像Δを２つの色差チャンネルＣｂ，Ｃｒに割り当てる。これにより、表示画像生成部７７は、注目する組織等を、色調を用いて強調した表示画像を生成する。

例えば、注目する組織が極表層血管であり、第１照明光に紫色光Ｖを使用し、第２照明光に青色光Ｂを使用する場合、Ｖ画像（第１画像）とＢ画像（第２画像）を比較すると、相対的にＶ画像の方が極表層血管のコントラストが高い。このため、図９に示すように、表示画像生成部７７は、相対的に極表層血管のコントラストが高いＶ画像を輝度チャンネルＹに割り当てる。また、差分画像Δを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数α（例えばα＝０．１６９）と係数β（例えばβ＝０．５）を乗じて重みを付けることで、表層血管等を強調観察する他の内視鏡システムが表示する画像と色味を揃える。このようにして生成した表示画像は、全体としての色味が従来の内視鏡システムが生成する血管等を強調した画像とほぼ同じであり、かつ、粘膜や深さ範囲Ａｄ等の他の血管に対して、極表層血管を色の違いを用いて強調した画像になる。なお、係数α及び係数βは、注目する組織等に応じて、すなわち使用する照明光の組み合わせに応じて異なる。このため、色調変更部７５は、差分画像Δの上記係数βを用いて、第２彩度抑制処理に使用する閾値Ｔｈの大きさを調整する。

表示制御部６６は、特殊観察モードの場合、表示画像生成部７７から上記表示画像を順次取得し、モニタ１８への表示に適した形式に変換して順次出力する。これにより、特殊観察モードの場合、医師等は、動画を用いて観察対象を観察することができる。

次に、特殊観察モードにおける内視鏡システム１０の画像処理の流れを図１０に沿って説明する。内視鏡システム１０を特殊観察モードに切り替えると、光源部２０は、設定にしたがって第１照明光を発光する（Ｓ１０）。そして、イメージセンサ４８は第１照明光が照射された観察対象を撮像することにより、画像取得部５４が第１照明光に対応した第１画像を取得する（Ｓ１１）。次いで、光源制御部２２は照明光を切り替え、光源部２０は第２照明光を発光する（Ｓ１２）。そして、イメージセンサ４８は第２照明光が照射された観察対象を撮像することにより、画像取得部５４が第１照明光に対応した第２画像を取得する（Ｓ１３）。その後、位置合わせ部７１が第１画像及び第２画像の位置合わせし（Ｓ１４）、明るさ補正部７２が第１画像と第２画像の明るさを補正する（Ｓ１５）。

本実施形態においては、注目する組織等が極表層血管であり、第１照明光は紫色光Ｖに、第２照明光は青色光Ｂに設定されているとする。この場合、第１画像はＶ画像１１０であり、第２画像はＢ画像１２０である。

図１１に示すように、第１画像であるＶ画像１１０は、極表層血管１２４が観察可能である。また、極表層血管１２４よりも粘膜下の深い位置にある表層血管１２３も、Ｖ画像１１０を用いて観察可能である。さらに、このＶ画像１１０には、ハレーション領域Ｈ１があるとする。

一方、図１２に示すように、第２画像であるＢ画像１２０は、比較的深い位置にある表層血管１２３が観察可能である。また、極表層血管１２４もＢ画像１２０を用いて観察可能である。但し、Ｖ画像１１０とＢ画像１２０を比較すると、Ｖ画像１１０の方が極表層血管１２４のコントラストが高く、Ｂ画像１２０の方が極表層血管１２４よりも深い位置にある表層血管１２３のコントラストが高い。さらに、Ｂ画像１２０にはハレーション領域Ｈ２があるが、Ｖ画像１１０とＢ画像１２０の位置合わせ後でも、Ｖ画像１１０のハレーション領域Ｈ１の位置に対してＢ画像１２０のハレーション領域Ｈ２がずれているとする。

第１画像及び第２画像を取得し、これらの位置合わせ及び明るさ補正が完了すると、演算画像生成部７３は、第１画像と第２画像とを用いて演算し、演算画像を生成する（Ｓ１６）。本実施形態においては、演算画像生成部７３は、第１画像から第２画像を減算して差分画像Δを生成する。また、注目する構造が極表層血管１２４であり、かつ、第１画像はＶ画像１１０であり、第２画像はＢ画像１２０なので、演算画像生成部７３は、Ｖ画像１１０からＢ画像１２０を減算し、図１３に示す差分画像Δを生成する。この差分画像Δは、元のＶ画像１１０及びＢ画像１２０に対して、粘膜下の比較的深い位置にある表層血管１２３の画素値は大きくなり、かつ、極表層血管１２４の画素値は小さくなる。このため、極表層血管１２４と、粘膜下の比較的深い位置にある表層血管１２３の違いが、Ｖ画像１１０よりも顕著になる。

これはハレーション領域Ｈ１及びＨ２についても同様である。すなわち、演算画像生成部７３は、Ｖ画像１１０からＢ画像１２を減算するので、ハレーション領域Ｈ１のうち、ハレーション領域Ｈ２と重複しない領域Ａ１（以下、単に領域Ａ１という）の画素値は、極表層血管１２４よりもさらに大きい値になる。また、ハレーション領域Ｈ２のうち、ハレーション領域Ｈ１と重複しない領域Ａ２（以下、単に領域Ａ２という）の画素値は、表層血管１２３よりもさらに小さい値になる。そして、ハレーション領域Ｈ１とハレーション領域Ｈ２が重複する領域ＩＳ（以下、重複領域ＩＳという）の画素値は、観察対象の粘膜等と同様にほぼ零に近い値になる。

上記のように、演算画像生成部７３が差分画像Δを生成する一方で、ハレーション領域検出部７４は、画像取得部５４から第１画像または第２画像を取得してハレーション領域を検出する（Ｓ１７）。本実施形態においては、注目する組織等が極表層血管１２４であり、表示画像生成部７７は第１画像であるＶ画像１１０を輝度チャンネルＹに割り当てるので、ハレーション領域検出部７４は、第１画像であるＶ画像１１０からハレーション領域Ｈ１を検出する。

ハレーション領域検出部７４がハレーション領域Ｈ１を検出すると、色調変更部７５は、差分画像Δに対して第１彩度抑制処理及び第２彩度抑制処理を施す（Ｓ１８）。具体的には、色調変更部７５は、差分画像Δ（図１３）に第１彩度抑制処理を施し、ハレーション領域検出部７４が検出したハレーション領域Ｈ１の画素値をほぼ零に置換する。このため、図１４に示すように、領域Ａ１及び重複領域ＩＳの画素値が、粘膜等と同様、ほぼ零になる。また、色調変更部７５は、差分画像Δ（図１３）に第２彩度抑制処理を施し、閾値Ｔｈ以上の画素値を±Ｔｈにする。これにより、領域Ａ２の画素値が、表層血管１２３と同程度（あるいは表層血管１２３をやや上回る程度）になる。

色調変更部７５が第１彩度抑制処理及び第２彩度抑制処理をした差分画像Δ（図１４）は、平滑化部７６が平滑化する（Ｓ１９）。図１５に示すように、平滑化後の差分画像Δは、極表層血管１２４や表層血管１２３は周囲の粘膜等との境界が曖昧になり、ぼやけた状態になる。領域Ａ２についても同様である。また、領域Ａ１や重複領域ＩＳは、第１彩度抑制処理に起因してほぼ粘膜等と同程度の画素値になっているが、平滑化に起因してさらに粘膜等との違いがなくなる。このため、平滑化後の差分画像Δ（図１５）は、ハレーションに関連する部分は、ほぼ領域Ａ２だけが残る。

平滑化部７６が差分画像Δを平滑化すると、表示画像生成部７７が、第１画像または第２画像と、平滑化後の差分画像Δ（図１５）を用いて、図１６に示す表示画像１３０を生成する（Ｓ２０）。本実施形態においては、注目する組織が極表層血管１２４なので、表示画像生成部７７は、第１画像であるＶ画像１１０と第２画像であるＢ画像１２０のうち、極表層血管１２４のコントラストがより高いＶ画像１１０を輝度チャンネルＹに割り当てて表示画像１３０を生成する。また、色差チャンネルＣｂ，Ｃｒには、それぞれ重み付けの係数αまたは係数βを乗じて、平滑化後の差分画像Δ（図１５）を割り当てる。このため、表示画像１３０においては、差分画像Δの画素値に応じて、極表層血管１２４はマゼンタ系色に着色し、表層血管１２３はシアン系色に着色する。このため、表示画像１３０は、極表層血管１２４を、表層血管１２３に対して色の違いを用いて強調しており、極表層血管１２４が識別しやすくなっている。

ハレーション領域Ｈ１及びＨ２に関連する部分については、領域Ａ１及び重複領域ＩＳは差分画像Δの当該部分の画素値がほぼ零なので、色付きはなく、ほぼ無彩色になる。この領域Ａ１及び重複領域ＩＳは、第１画像であるＶ画像１１０のハレーション領域Ｈ１なので、色はほぼ白色である。一方、領域Ａ２については、差分画像Δの画素値が−Ｔｈに抑制されているので、表層血管１２３と同程度（あるいは表層血管１２３よりも若干強い程度）のマゼンタ系色に着色する。

ここで、ハレーション領域Ｈ１及びＨ２に関連する部分を比較するために、差分画像Δに色調変更部７５の第１彩度抑制処理及び第２彩度抑制処理を施さずに、表示画像１５０を生成する場合を考える。この場合、図１７にハレーション領域Ｈ１及びＨ２に関連する部分のみを模式的に示す通り、演算画像生成部７３が差分画像Δを生成するところまでは、上記内視鏡システム１０と同様であり、生成する差分画像Δも図１３に示すものと同じである。しかし、差分画像Δを、色調変更部７５を用いて処理せずに、平滑化して表示画像１５０を生成する。このため、表示画像１５０のハレーション領域Ｈ１及びＨ２に関連する部分は、彩度抑制をする前の差分画像Δの領域Ａ１、重複領域ＩＳ、及び領域Ａ２の画素値に応じて着色する。具体的には、領域Ａ１はマゼンタ系色になり、重複領域ＩＳは白色になり、かつ、領域Ａ２はシアン系色になる。また、差分画像Δにおいて領域Ａ１及び領域Ａ２の画素値も抑制されていないので、領域Ａ１は極表層血管１２４よりもはるかに強くマゼンタ系色に着色し、領域Ａ２は表層血管１２３よりも遥かに強くシアン系色に着色する。すなわち、ハレーション領域Ｈ１及びＨ２に関連する部分は、３色に着色する。また、他の血管等と比較して、ハレーション領域Ｈ１及びＨ２が最も強く着色し、しかもその配色は極表層血管１２４や表層血管１２３が色分けと同じであるから、表示画像１５０のなかでも、ハレーション領域Ｈ１及びＨ２が非常に目立つ。

色調変更部７５を用いて差分画像Δに第１彩度抑制処理及び第２彩度抑制処理を施して生成する表示画像１３０（図１６）は、領域Ａ１及び重複領域ＩＳは元のＶ画像１１０（第１画像）と同様に高輝度な白色であり、領域Ａ２はマゼンタ系色であるから、ハレーション領域Ｈ１及びＨ２に関連する部分の着色は２色で済む。特に、また、元のＶ画像１１０またはＢ画像１２０にはない偽色になるのは、マゼンタ系色１色であり、その範囲もハレーション領域Ｈ１及びＨ２の一部である領域Ａ２に限られる。すなわち、色調変更部７５で差分画像Δに第１彩度抑制処理及び第２彩度抑制処理を施さない場合に比べれば、偽色が低減する。

しかも、領域Ａ１及び重複領域ＩＳは白色であるから、ハレーション領域Ｈ１であることを認識しやすい。また、領域Ａ２はマゼンタ系色に着色すると言っても、表層血管１２３と同程度の強さのマゼンタ色であるから、極表層血管１２４の観察の妨げにもなりにくい。この点においても、色調変更部７５を用いて差分画像Δに第１彩度抑制処理及び第２彩度抑制処理を施して生成する表示画像１３０（図１６）は、色調変更部７５を用いて差分画像Δに第１彩度抑制処理及び第２彩度抑制処理を施さない場合に比べて、実質的に偽色を低減していると言える。

上記のように、内視鏡システム１０及びプロセッサ装置１６は、照明光を変えて、異なるタイミングにおいて観察対象を撮影して得る第１画像及び第２画像を用いて得る演算画像（差分画像Δ）を色調に反映した表示画像１３０を生成する。このとき、色調変更部７５が、差分画像Δに第１彩度抑制処理を施し、表示画像１３０の少なくともハレーション領域Ｈ１の彩度を抑制するので、ハレーション領域Ｈ１の偽色を低減することができる。さらに、色調変更部７５は、差分画像Δに第２彩度抑制処理を施し、領域Ａ２の彩度も抑制するので、ハレーション領域Ｈ１及びＨ２全体としても、偽色を低減することができる。

なお、上記実施形態において、Ｂ画像１２０（第２画像）のハレーション領域Ｈ２を検出せず、Ｖ画像１１０（第１画像）のハレーション領域Ｈ１を検出し、差分画像Δのハレーション領域Ｈ１の画素値だけを零に置換しているのは次の理由である。

まず、検出方法から分かる通り、ハレーション領域検出部７４は、ある一定値（画素値Ｐ_Ｂ）以上の画素の集合をハレーション領域として検出する。このため、差分画像Δ（図７）のハレーション領域Ｈ１の画素値をほぼ零にする第１彩度抑制処理をしても、より厳密に見れば、図１８に示すように、ハレーション領域Ｈ１の端部２０１が残る。同様に、ハレーション領域Ｈ２を検出して、差分画像Δ（図７）ハレーション領域Ｈ２の画素値をほぼ零にしたとしても、ハレーション領域Ｈ２の端部２０２が残る。これらの端部２０１及び２０２は、画素値としては極表層血管１２４や表層血管１２３と同程度であるため、太さ等にもよるが、平滑化部７６において平滑化してもなくならない場合がある。

例えば、ハレーション領域Ｈ１とハレーション領域Ｈ２を両方とも検出し、差分画像Δ（図１３）のハレーション領域Ｈ１及びＨ２の画素値を全てほぼ零にすると、図１９に示す差分画像２００のように、領域Ａ１、重複領域ＩＳ、及び、領域Ａ２の画素値がほぼ零になっても、領域Ａ１の周囲２１１と領域Ａ２の周囲２１２には、極表層血管１２４や表層血管１２３と同程度の輪郭が残る。したがって、図２０に示すように、上記差分画像２００を用いて生成する表示画像２３０は、上記実施形態の表示画像１３０（図１６）と比較して、領域Ａ２のマゼンタ系色への着色がなくなるのは良いが、領域Ａ２の周囲２１２が着色し、領域Ａ２がマゼンタ系色に縁取られるので、極めて不自然になる。しかも、領域Ａ２の周囲２１２のマゼンタ系色は表層血管１２３と同程度のマゼンタ系色であるから、表層血管１２３があると誤認してしまう可能性もある。

一方、上記実施形態において生成する表示画像１３０は、図２１に示すように、領域Ａ１及び領域Ａ２の周囲２１１及び２１２が着色することを考慮しても、ハレーション領域Ｈ１及びＨ２の着色の特徴は、前述の通りであり、ほとんど変わりはない。このため、内視鏡システム１０及びプロセッサ装置１６においては、表示画像１３０の輝度チャンネルＹに割り当てるＶ画像１１０（第１画像）だけから、ハレーション領域Ｈ１を検出し、このハレーション領域Ｈ１だけを、第１彩度抑制処理の対象としているのである。これにより、内視鏡システム１０及びプロセッサ装置１６は、偽色を低減するための彩度抑制をしたために、却ってハレーション領域Ｈ１及びＨ２が不自然になってしまうことを防止している。

なお、上記実施形態においては、ハレーション領域検出部７４は、第１画像または第２画像からハレーション領域Ｈ１またはＨ２を検出するが、ハレーション領域検出部７４は、差分画像Δ等の演算画像からハレーション領域Ｈ１またはＨ２に関連する部分を検出することができる。例えば、差分画像Δの画素値が極端に大きい部分（領域Ａ１）、または、差分画像Δの画素値が極端に小さい部分（領域Ａ２）を直接検出することで、ハレーション領域Ｈ１を検出することができる。ハレーション領域Ｈ２についても同様である。

上記実施形態においては、色調変更部７５は、ハレーション領域Ｈ１及びＨ２について、表示画像１３０の彩度を抑制しているが、色調変更部７５は、表示画像１３０の彩度を変更する代わりに、色相または明度を変更できる。また、彩度、色相、または明度のうち２以上を変更することもできる。上記実施形態の場合、色相は、例えば係数α及びβの値を調整すれば、変更することができる。また、上記実施形態の場合、明度は、例えば輝度チャンネルＹに割り当てる第１画像の画素値を補正すれば、変更することができる。

上記実施形態においては、第１画像（Ｖ画像１１０）のハレーション領域Ｈ１のみを検出するので、第１画像（Ｖ画像１１０）のハレーション領域Ｈ１は第１彩度抑制処理を用いて色調を変更し、第２画像（Ｂ画像１２０）のハレーション領域Ｈ２は第２彩度抑制処理を用いて色調を変更しているが、第２画像のハレーション領域Ｈ２を検出し、第２画像のハレーション領域Ｈ２は第１彩度抑制処理を用いて色調を変更し、第１画像のハレーション領域Ｈ１は第２彩度抑制処理を用いて色調を変更することができる。また、第１画像のハレーション領域Ｈ１と第２画像のハレーション領域Ｈ２を両方検出し、ハレーション領域Ｈ１及びＨ２の両方を、第１彩度抑制処理を用いて色調変更することができる。これは、注目する組織のサイズ等との関係において、ハレーション領域Ｈ１及びＨ２の周囲２１１及び２１２が偽色によって縁どりされても、観察に対する影響が少ない場合に有用である。いずれにしても、色調変更部７５は、第１画像のハレーション領域Ｈ１と、第２画像のハレーション領域Ｈ２の両方のハレーション領域Ｈ１及びＨ２について色調を変更することができる。

上記実施形態においては、演算画像生成部７３は、演算画像として第１画像と第２画像の差分画像Δを生成しているが、この代わりに、演算画像生成部７３は、第１画像と第２画像の比を算出しても良い。比は対数変換をすれば、差に変換可能できるので、第１画像と第２画像の比を算出するのは、実質的に上記実施形態の差分画像Δを求めるのと実質的に同じだからである。また、上記実施形態においては、極表層血管１２４を強調するので、演算画像生成部７３は上記のように第１画像と第２画像の差分画像Δを生成しているが、注目する組織等が異なる場合には、演算画像生成部７３は、注目する組織等に合わせて、差や比以外の演算（関数やルックアップテーブルを用いた処理を含む）をする処理を行うことができる。

上記実施形態においては、注目する組織（極表層血管１２４）を強調した表示画像１３０を生成及び表示しているが、本発明は、注目する組織等を強調する場合の他、注目する組織等を抽出する場合や、注目する組織等に関する生体機能情報（酸素飽和度等）を算出する場合にも好適である。すなわち、本発明は、強調や抽出または算出等の最終的に目的とする処理の種類によらず、異なるタイミングにおいて観察対象を撮影して得る第１画像と第２画像の差分を表示画像の色調に反映する場合に全て好適である。この場合、演算画像生成部７３は、生体機能情報の算出に必要な演算画像を生成する。

また、本発明は、観察対象が動きやすく、ハレーション領域Ｈ１とハレーション領域Ｈ２の位置ずれが起きやすい場合に好適である。例えば、観察対象を拡大して観察する場合や、拍動の影響を受けやすい食道の粘膜等を観察する場合に好適である。

上記実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図２２に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を用いて通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、生成した表示画像１３０等は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ スイッチ
１３ｂ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０，７０２ 光源部
２０ａ Ｖ光源
２０ｂ Ｂ光源
２０ｃ Ｇ光源
２０ｄ Ｒ光源
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８，７０４ イメージセンサ
５２，７０３ 制御部
５４，７０６ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６２ 通常処理部
６３ 特殊処理部
６６ 表示制御部
７１ 位置合わせ部
７２ 明るさ補正部
７３ 演算画像生成部
７４ ハレーション領域検出部
７５ 色調変更部
７６ 平滑化部
７７ 表示画像生成部
１１０ Ｖ画像
１２０ Ｂ画像
１２３ 表層血管
１２４ 極表層血管
１３０，１５０，２３０ 表示画像
２００ 差分画像
２０１，２０２ 端部
２１１，２１２ 周囲
７００ カプセル内視鏡
７０８ 送受信アンテナ
Ａ１，Ａ２ 領域
Ａｄ，Ａｓ 深さ範囲
Ｈ１，Ｈ２ ハレーション領域
ＩＳ 重複領域
Ｒ０ 範囲

Claims (16)

1. 第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像と、を取得する画像取得部と、
   少なくとも前記第１画像または前記第２画像のいずれか一方からハレーション領域を検出するハレーション領域検出部と、
   前記第１画像と前記第２画像とを用いて演算し、演算画像を生成する演算画像生成部と、
   前記演算画像を色調に反映した表示画像を生成する表示画像生成部と、
   前記表示画像の前記ハレーション領域の色調を変更する色調変更部と、
   を備える内視鏡システム。
2. 前記色調変更部は、少なくとも前記演算画像の画素値を補正することで、前記表示画像の色調を変更する請求項１に記載の内視鏡システム。
3. 前記色調変更部は、彩度、色相、または明度のうち少なくとも１つを変更する請求項１または２に記載の内視鏡システム。
4. 前記色調変更部は、前記表示画像の前記ハレーション領域の彩度を抑制する請求項３に記載の内視鏡システム。
5. 前記色調変更部は、前記表示画像の前記ハレーション領域を無彩色にする請求項４に記載の内視鏡システム。
6. 前記色調変更部は、前記演算画像の画素値の大きさを閾値の値に抑制する請求項４または５に記載の内視鏡システム。
7. 前記表示画像生成部は、前記表示画像を生成する際に、前記演算画像に重みを付けて色差チャンネルに割り当て、
   前記色調変更部は、前記演算画像の前記重みを用いて、前記閾値を調整する請求項６に記載の内視鏡システム。
8. 前記表示画像生成部は、前記第１画像または前記第２画像のうちいずれか一方を輝度チャンネルに割り当て、かつ、前記演算画像を色差チャンネルに割り当てることにより前記表示画像を生成し、
   前記ハレーション領域検出部は、前記第１画像または前記第２画像のうち前記輝度チャンネルに割り当てる一方の画像から前記ハレーション領域を検出し、
   前記色調変更部は、少なくとも前記第１画像または前記第２画像のうち前記輝度チャンネルに割り当てる一方の画像から検出した前記ハレーション領域について、前記表示画像の色調を変更する請求項１〜７のいずれか１項に記載の内視鏡システム。
9. 前記色調変更部は、前記第１画像の前記ハレーション領域と、前記第２画像の前記ハレーション領域の両方の前記ハレーション領域について色調を変更する請求項１に記載の内視鏡システム。
10. 前記演算画像生成部は、前記演算画像として、前記第１画像と前記第２画像の差分画像を生成する請求項１〜８のいずれか１項に記載の内視鏡システム。
11. 前記ハレーション領域検出部は、画素値の出現頻度を表すヒストグラムを用いて前記ハレーション領域を検出する請求項１〜１０のいずれか１項に記載の内視鏡システム。
12. 前記ハレーション領域検出部は、最大画素値から特定の範囲内において前記ハレーション領域を検出する請求項１１に記載の内視鏡システム。
13. 前記ハレーション領域検出部は、前記特定の範囲内において前記ヒストグラムの谷の頂点を検出し、前記谷の頂点の画素値以上前記最大画素値以下の画素値を有する画素の集合を前記ハレーション領域として検出する請求項１２に記載の内視鏡システム。
14. 前記表示画像生成部が前記表示画像の生成に使用する前記演算画像を平滑化する平滑化部を備える請求項１〜１３のいずれか１項に記載の内視鏡システム。
15. 第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像と、を取得する画像取得部と、
    少なくとも前記第１画像または前記第２画像のいずれか一方からハレーション領域を検出するハレーション領域検出部と、
    前記第１画像と前記第２画像とを用いて演算し、演算画像を生成する演算画像生成部と、
    前記演算画像を色調に反映した表示画像を生成する表示画像生成部と、
    前記表示画像の前記ハレーション領域の色調を変更する色調変更部と、
    を備えるプロセッサ装置。
16. 画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像と、を取得するステップと、
    ハレーション領域検出部が、少なくとも前記第１画像または前記第２画像のいずれか一方からハレーション領域を検出するステップと、
    演算画像生成部が、前記第１画像と前記第２画像とを用いて演算し、演算画像を生成するステップと、
    表示画像生成部が、前記演算画像を色調に反映した表示画像を生成するステップと、
    色調変更部が、前記表示画像の前記ハレーション領域の色調を変更するステップと、
    を備える内視鏡システムの作動方法。
    

Images