JP2005124756A

JP2005124756A - 内視鏡用画像処理装置

Info

Publication number: JP2005124756A
Application number: JP2003362522A
Authority: JP
Inventors: Kazumasa Kaneko; 和真金子
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-10-22
Filing date: 2003-10-22
Publication date: 2005-05-19

Abstract

【課題】無効領域の大きさが適切な範囲を超える場合には、画像処理を禁止したり、報知する等して画像処理をより適正に行う内視鏡用画像処理装置を提供する。
【解決手段】電子内視鏡２のＣＣＤ３０で撮像された信号はビデオプロセッサ６内の映像信号処理ブロック４で処理された後、画像処理ブロック５のＩＨｂ処理ブロック４４の関心領域設定回路６３により設定される関心領域内での画像信号の輝度値が輝度検出回路６７で検出され、無効領域検出回路６８で閾値と比較されて無効領域か否かの判断が行われ、さらにそのサイズが所定の閾値以下か否かの判断結果により、ＣＰＵ５６は画像処理を禁止したり、報知してより適正な状態で画像処理を行う構成にした。
【選択図】図２

Description

本発明は、内視鏡の画像信号に対して画像処理する内視鏡用画像処理装置に関する。

近年、内視鏡より得られた内視鏡画像に対して画像処理を行うことにより、被検体内の正常部位と病変部などとの識別を容易に行えるようにする内視鏡用画像処理装置が用いられるようになった。

このような内視鏡用画像処理装置の従来例として、例えば特許第３２１７３４３号公報には、ハレーションや暗部などを無効領域として、適正な明るさの有効領域と明確に区別して表示することが開示されている。
特許第３２１７３４３号公報

しかしながら、上記従来例は、ハレーションや暗部が多くなると、無効領域が大部分を占めて所定の精度を保った状態での解析結果を得るには不十分となる場合があった。

（発明の目的）
本発明は、上述した点に鑑みてなされたもので、画像処理をより適正に行うことができる内視鏡用画像処理装置を提供することを目的とする。

発明は、内視鏡により被検体の体腔内を撮像して得られる画像信号を処理する内視鏡用画像処理装置において、
前記内視鏡により得られた画像信号の信号レベルに基づき、この画像信号に所定の画像処理を施す画像処理手段と、
内視鏡により得られた画像信号により形成される画像領域に対して前記画像処理手段が処理する関心領域を設定する関心領域設定手段と、
前記関心領域内の画像の輝度を検出する輝度検出手段と、
前記検出した輝度と所定の基準信号レベルを比較して、輝度が画像処理に不適切な領域を無効領域として検出する無効領域検出手段と、
前記無効領域の大きさを算出して所定の閾値と比較することにより前記画像処理手段による画像処理を適正化するための画像処理適正化手段と、
を備えたことを特徴とする。

この構成により、無効領域の大きさが所定の閾値より越える場合には、画像処理適正化手段により画像処理を禁止したり、ユーザに報知する等して、画像処理をより適正に行うことができるようにしている。

また、請求項４に記載の発明においては、画像処理適正化手段は、無効領域の大きさが所定の閾値より越える場合には、調光手段により照明光量を調光して無効領域の大きさが所定の閾値以下になるように制御するので、自動的に適正化された画像処理を行える状態に設定できるようになる。

本発明によれば、無効領域の大きさが所定の閾値より越える場合には、画像処理を禁止したり、報知する等して、画像処理をより適正に行うようにできる。

以下、図面を参照して本発明の実施例を説明する。

図１ないし図１６は本発明の実施例１に係り、図１は実施例１を備えた内視鏡装置の全体構成を示し、図２は図１における内部構成を示し、図３は回転フィルタ及び回転フィルタに設けられたＲＧＢフィルタ等の透過特性等を示を示し、図４はメニュー画面の表示例を示し、図５はモニタ画面に表示される内視鏡画像表示領域と表示位置及びサイズを変更して可能な関心領域を示し、図６は内視鏡画像表示領域に設定した関心領域に処理画像を擬似カラーで表示する表示例を示し、図７は図６とは異なる表示例を示し、図８はＣＣＤのタイプを検出して対応するマスク信号を生成する動作を示し、図９は図８におけるタイプ１用マスク信号生成の処理動作を示し、図１０は画像処理を行った場合に関心領域のサイズに応じて関心領域内での画像処理を行うか否かの閾値を変更する動作を示し、図１１は擬似カラー処理と原画像表示の処理動作を示し、図１２は図１１における擬似カラー処理の表示の処理動作を示し、図１３は第１変形例の処理動作を示し、図１４は第２変形例の処理動作を示し、図１５は図１４における関心領域のサイズ及び位置を変更する処理動作を示し、図１６は第３変形例の処理動作を示す。

図１に示すように、本実施例を備えた内視鏡装置１は、撮像手段を備えた電子内視鏡２と、この電子内視鏡２に照明光を供給する光源部３と、撮像手段に対して映像信号処理（画像信号処理）する映像信号処理ブロック４及びこの映像信号処理ブロック４からの出力信号に対して画像処理する画像処理ブロック５とを内蔵したビデオプロセッサ６と、このビデオプロセッサ６から出力される画像信号を表示するモニタ７と、モニタ７に表示されるモニタ画像（内視鏡画像）を写真撮影するモニタ画像撮影装置８Ａと、このビデオプロセッサ６に接続され、画像情報等の記録を行う画像ファイリング装置８Ｂと、画像処理のＯＮ／ＯＦＦの指示信号を送ったり、患者データの入力等を行うキーボード９と、を有する。

電子内視鏡２は、細長で例えば可動性の挿入部１１を有し、この挿入部１１の後端に太幅の操作部１２が連設されており、この操作部１２の後端側の側部から可撓性のユニバーサルコード１３が延設され、このユニバーサルコード１３の端部のコネクタ１４は、ビデオプロセッサ６のコネクタ受け部１５に着脱自在で接続される。

電子内視鏡２の挿入部１１には、先端側から硬性の先端部１６、この先端部１６に隣接する湾曲自在の湾曲部１７、可撓性を有する長尺の可撓部１８とが順次設けられている。また、ユーザは、電子内視鏡２の操作部１２に設けられた湾曲操作ノブ１９を回動操作する事によって、湾曲部１７を左右方向あるいは上下方向に湾曲できるようになっている。また、この電子内視鏡２の操作部１２には、挿入部１１内に設けられた処置具チャンネルに連通する挿入口２０が設けられている。

また、電子内視鏡２の操作部１２の頂部には、フリーズ指示を行うフリーズスイッチ、レリーズ指示を行うレリーズスイッチ、観察モード切替スイッチ等のスコープスイッチ１０が設けてある。そして、ユーザは、スコープスイッチ１０を操作して例えばフリーズ指示を行うと、その指示信号は、ビデオプロセッサ６内部の制御回路４０（図２参照）に入力され、制御回路４０はフリーズ画像が表示されるようにメモリ部３９（のＲ、Ｇ、Ｂ用メモリ３９ｒ、３９ｇ、３９ｂ）を制御する。

また、ユーザは、キーボード９やビデオプロセッサ６のフロントパネル５５（図２参照）からフリーズ指示操作を行うことにより、その指示信号は、ＣＰＵ５６（図２参照）を介して制御回路４０に送られ、制御回路４０は、対応する制御を行う。

また、ユーザがレリーズ指示操作を行うと、ＣＰＵ５６は、まずフリーズ画像の表示状態でなければ、制御回路４０を介してフリーズ画像の表示状態にする制御を行い、モニタ画像撮影装置８Ａにレリーズの制御信号を送り、モニタ画像撮影装置８Ａは、その制御信号により写真撮影を行う。

また、ユーザが、キーボード９やビデオプロセッサ６のフロントパネル５５を操作して、画像処理を行うＯＮ及び画像処理を停止するＯＦＦの指示入力を行うこともでき、この指示信号が入力されると、ＣＰＵ５６は、ＩＨｂ処理ブロック４４のＩＨｂ算出回路６１、ＩＨｂ平均値算出回路６２、輝度検出回路６７、無効領域検出回路６８等を制御して対応する画像処理を行うように制御する。

また、ユーザが、観察モード切替スイッチを操作して観察モード切替指示を行うと、その指示信号は、ビデオプロセッサ６内部の制御回路４０に入力され、制御回路４０は、後述する移動用モータ３１により、回転フィルタ２７を移動して通常観察から蛍光観察に観察モードを切り替える等の制御を行う。

図２に示すように、先端部１６における照明窓及び観察窓には、照明レンズ２１と対物光学系２２とがそれぞれ取り付けてある。対物光学系２２の結像位置には、固体撮像素子として、例えば電荷結合素子（ＣＣＤと略記）３０が配置されている。

照明レンズ２１の後端側には、ファイババンドルからなるライトガイド２３が配置され、このライトガイド２３は、挿入部１１、操作部１２、ユニバーサルコード１３内を挿通され、コネクタ１４に接続されている。

そして、ユーザは、このコネクタ１４をビデオプロセッサ６に接続する事により、このビデオプロセッサ６内の光源部３から出射される照明光が、前記ライトガイド２３の入射端に入射されるようになっている。

光源部３は、照明光を発生するランプ２４を有する。このランプ２４の照明光は、その光路中に配設された絞り２５を経て、モータ２６によって回転される回転フィルタ２７に入射され、この回転フィルタ２７を透過した光は、集光レンズにより集光されてライトガイド２３の入射端に入射される。

ランプ２４は、可視光を含む照明光を出射する。また、絞り２５は、制御回路４０により制御される絞りモータ２５ａにより駆動される。

回転フィルタ２７は、内周側に通常観察用のＲＧＢフィルタ２８が配置され、外周側に蛍光観察用フィルタ２９が配置されている。この回転フィルタ２７は、この回転フィルタ２７を回転するモータ２６と共に、移動用モータ３１により、光路と直交する方向(図１の符号Ｐ参照）に移動される。

例えばモータ２６には、ラックが取り付けてあり、ピニオンギヤを設けた移動用モータ３１により、回転フィルタ２７及びモータ２６は、光路と直交する方向(図１の符号Ａ参照）に移動される。つまり、観察モード切替の指示が行われると、移動用モータ３１は回転フィルタ２７等を移動し、光路中に配置されるフィルタを切り替える。

図３（Ａ）に示すようにこの回転フィルタ２７には、通常観察のためのＲＧＢフィルタ２８が同心円状の内周側に、蛍光観察用フィルタ２９が同心円状の外周側に配置されている。そして、通常モード、蛍光モードの切替に応じ、内周側のＲＧＢフィルタ２８と外周側の蛍光観察用フィルタ２９とが選択される。

内周側の通常観察用のＲＧＢフィルタ２８は、その透過特性は図３（Ｂ）に示すような特性である。つまり、Ｒフィルタ２８ａは、６００−７００ｎｍの赤の波長帯域、Ｇフィルタ２８ｂは５００−６００ｎｍの緑の波長帯域、Ｂフィルタ２８ｃは４００−５００ｎｍの青の波長帯域をそれぞれ透過するように設定されている。

また、外周側に設けた蛍光観察用フィルタ２９はＲ２、Ｇ２、Ｅフィルタ２９ａ、２９ｂ、２９ｃからなり、その透過特性は図３（Ｃ）に示すような特性に設定されている。つまり、Ｒ２フィルタ２９ａは、６００−６６０ｎｎｎｍ、Ｇ２フィルタ２９ｂは、５４０−５６０ｎｍ、Ｅフィルタ２９ｃは、４００−４７０ｎｍの各波長帯を透過するように設定されている。なお、Ｒ２フィルタ２９ａとＧ２フィルタ２９ｂとの透過特性は低いレベルに設定されており、これらの狭帯域の照明光のもとで撮像された赤及び緑の色信号（簡単化のため、それぞれＲ２，Ｇ２信号と略記）と蛍光信号とで合成して蛍光観察用に擬似カラー表示できるようにしている。

また、図２に示すようにＣＣＤ３０の前には、励起光をカットする励起光カットフィルタ３２が配置されており、この励起光カットフィルタ３２は図３（Ｄ）に示すような透過特性に設定されている。具体的にはこの励起光カットフィルタ３２は、４９０−７００ｎｍの波長帯域の光、つまり、青色帯域の短波長側の一部を除いた可視光を透過する。

ランプ２４から出射された光は、回転フィルタ２７により、各波長領域に時系列的に分離されて、ライトガイド２３の入射端に入射されるようになっている。

この照明光は、ライトガイド２３によって先端部１６に導かれて先端面の照明窓に取り付けた照明レンズ２１を通って被検査部位等の被写体に面順次の照明光が照射される。この場合、通常観察モードでは、Ｒ、Ｇ、Ｂの通常観察用の面順次の照明光となる。また、蛍光観察モードでは、Ｒ２、Ｇ２、Ｅの面順次の照明光となる。

前記対物光学系２２の結像位置に配置されたＣＣＤ３０には、面順次の照明光によって照明された被写体像が、対物光学系２２によってその光電変換面に結像され、このＣＣＤ３０により電気信号に変換される。このＣＣＤ３０は、ＣＣＤドライバ３３によりＣＣＤドライブ信号が印加されることにより、ＣＣＤ３０により光電変換されて蓄積された信号電荷が読み出されて出力される。なお、制御回路４０（或いはＣＰＵ５６）は、ＣＣＤドライバ３３を制御して、ＣＣＤ３０による電荷蓄積時間を可変制御する電子シャッタの動作をさせることができるようにしている。

このＣＣＤ３０から光電変換されて出力される時系列の画像信号（撮像信号）は、映像信号処理ブロック４内に入力され、所定の範囲の電気信号（例えば、０〜１ボルト）に増幅するためのアンプ３４に入力される。

この場合、時系列の画像信号は、通常観察モードでは、Ｒ、Ｇ、Ｂの色信号となり、蛍光観察モードではＲ２、Ｇ２の照明の下で撮像された信号（Ｒ２、Ｇ２と記す）と、Ｅの励起光のもとで撮像した蛍光信号となる。

このアンプ３４の出力信号は、Ａ／Ｄコンバータ３５でディジタル信号に変換され、さらにオートゲインコントロール回路（ＡＧＣ回路と略記）３６に入力され、このＡＧＣ回路３６により適正なレベルになるようにゲインが自動制御される。このＡＧＣ回路３６を経た信号は、１入力３出力のセレクタ３７に入力される。

そして、時系列的に送られてくる撮像信号は、このセレクタ３７によって、Ｒ，Ｇ，Ｂの各色信号或いはＲ２、Ｇ２、蛍光信号に切り換えられて、ホワイトバランス調整回路３８に入力される。このホワイトバランス調整回路３８は、基準となる白の被写体を撮像した場合、Ｒ，Ｇ，Ｂの各色信号のレベルが等しくなるように各色信号に対するゲインが調整、つまりホワイトバランス調整される。このホワイトバランス調整回路３８の出力信号は、メモリ部３９に入力される。

そして、Ｒ，Ｇ，Ｂの各色信号等の時系例に入力される信号は、メモリ部３９を構成するＲ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂに格納されるようになっている。

つまり、通常観察のモードでは、Ｒ，Ｇ，Ｂの各色信号は、メモリ部３９を構成するＲ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂにそれぞれ格納される。また、蛍光観察モードの場合には、Ｒ２、Ｇ２、蛍光信号がＲ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂにそれぞれ格納される。

なお、Ａ／Ｄコンバータ３５によるＡ／Ｄ変換、セレクタ３７の切り換え、ホワイトバランス調整の際の制御およびメモリ部３９のＲ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂへの色信号の記憶（書き込み）及び読み出しは、制御回路４０により制御される。

また、制御回路４０は、同期信号発生回路（図２ではＳＳＧと略記）４１に基準信号を送り、同期信号発生回路４１は、それに同期した同期信号を発生する。

なお、ここでのＲ、Ｇ、Ｂ用メモリ３９ｒ，３９ｇ，３９ｂに書き込みを禁止する状態にすることにより、静止画を表示する状態にすることができる（後述の同時化回路５３での内部のメモリでも可能となる）。

また、上記Ａ／Ｄコンバータ３５の出力信号は、測光を行う測光回路４２に入力され、測光された信号は制御回路４０に入力される。そして、制御回路４０は、測光された信号を積分した平均値を（適切な明るさの場合の）基準の値と比較することにより、その差を小さくするように調光信号として絞りモータ２５ａを駆動し、この絞りモータ２５ａで駆動される絞り２５における（照明光路上の）開口量を可変して適切な照明光量に調整する。

なお、絞りモータ２５ａには、絞り２５の（開口量に対応する）絞り位置を検出する位置検出手段としての図示しないロータリエンコーダ等が取り付けてあり、このロータリエンコーダの検出信号は制御回路４０に入力される。この検出信号により、制御回路４０は、絞り２５の位置を検出できる。また、この制御回路４０は、ＣＰＵ５６と双方向に信号を送る信号線で接続されており、ＣＰＵ５６も絞り２５の位置を確認することができるようになっている。

上記通常観察モードの場合には、Ｒ、Ｇ、Ｂ用メモリ３９ｒ，３９ｇ，３９ｂから読み出された色信号Ｒ，Ｇ，Ｂ信号は、画像処理ブロック５を構成する血液情報量となる色素量としてのヘモグロビン量に相関する値（以下、ＩＨｂと略記）の算出等の処理を行うＩＨｂ処理ブロック４４に入力される。

本実施例では、このＩＨｂ処理ブロック４４は、設定された関心領域内で、各画素でのＩＨｂの量（値）の算出及びその平均値算出や各画素でのＩＨｂの値を元に擬似カラー画像として表示する擬似画像生成処理を行うＩＨｂ処理回路部４５と、設定された関心領域に対して画像処理に適しない無効領域を検出する無効領域検出部４６とを備えた構成となっている。

また、本実施例では、ＩＨｂの擬似カラー画像をフリーズ画像で表示する場合、色ずれの少ない状態で表示できるように色ずれ検出を行う色ずれ検出回路４７も備えている。また、電子内視鏡２内には、情報記憶部４８が設けてある。

上記ＩＨｂ処理ブロック４４から出力される面順次の信号はγ補正回路５０でγ補正され、さらに後段画像処理回路５１で構造強調が行われる。その後、文字重畳回路５２で、患者データや算出されたＩＨｂの平均値が重畳された後、同時化回路５３で面順次信号から同時化された信号に変換される。

同時化回路５３は、内部に３つのフレームメモリを有し、面順次の信号データを一時３つのフレームメモリに順次書き込み、同時に読み出すことにより、同時化されたＲＧＢ信号等の同時化された信号を出力する。

同時化された信号は、Ｄ／Ａ変換部５４の３つのＤ／Ａコンバータにそれぞれ入力され、アナログのＲＧＢ信号等に変換されてモニタ７、モニタ画像撮影装置８Ａ及び画像ファイリング装置８Ｂに入力される。なお、同時化回路５３内部のフレームメモリの書き込み及び読み出しやＤ／Ａ変換部５４のＤ／Ａ変換は、制御回路４０により制御される。

また、ＣＰＵ５６は、γ補正回路５０、後段画像処理回路５１、文字重畳回路５２の動作を制御する。

なお、モニタ画像撮影装置８Ａは、モニタ７と同様に画像等を表示する図示しないモニタとそのモニタに表示される画像等を写真撮影で画像記録を行う写真撮影装置（具体的にはカメラ）とから構成される。

そして、ユーザは通常の可視光で照明及び撮像した通常画像（原画像ともいう）をモニタ７に表示させたり、ビデオプロセッサ６のフロントパネル５５に設けたスイッチやキーボード９からの指示操作により、ＩＨｂ画像の表示の指示等を行うと、その指示信号はＣＰＵ５６に入力され、ＣＰＵ５６は指示信号に対応してＩＨｂ処理ブロック４４等の制御を行う。

なお、蛍光観察モードに設定された場合には、Ｒ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂから読み出されたＲ２、Ｇ２、蛍光信号は、画像合成回路６５，面順次回路６６等を経て後段側の処理回路に送られ、例えばＲ２，Ｇ２による赤及び緑の色信号と、青色の色信号に着色された蛍光信号とで擬似カラー表示される。

また、本実施例では、内視鏡固有の識別情報（図２において符号４３で示す）が異なる電子内視鏡２が装着された場合でも、これら異なる種別の電子内視鏡２に対して的確な信号処理を行えるようになっている。

ここで内視鏡固有の情報とは、例えば、画角及び光学ズーム等の光学的種別情報、用途情報（上部消化管用あるいは下部消化管用等の用途情報）の他、内設されるＣＣＤ３０の画素数等の情報である。

そして本実施例においては、これらの識別情報４３は、コネクタ１４、コネクタ受け部１５及び検出回路５７等により検出するようになっている。

なお、内視鏡固有識別情報４３の格納手段としての最適な例としては、ＲＡＭ、ＲＯＭ等の記憶手段を用いた例、あるいは抵抗素子等の抵抗値の違い等に拠り固有情報を区別する例等が考えられる。

また、本実施例では、これら識別情報のうち電子内視鏡２に設けられた撮像素子（ＣＣＤ３０）の画素数等の種別情報を、ＣＣＤ３０に係る信号経路から直接検出する機能も有する。

例えば、検出回路５７は、ＣＣＤ３０からの信号をその後の増幅部へと導く信号経路上において、例えばコネクタ１４のピン数等の違いをコネクタ受け部１５を介して検出することで、ビデオプロセッサ６に実際に接続された電子内視鏡２に内蔵されている当該ＣＣＤ３０の画素数等の種別タイプを検出することを可能としている。すなわち、このコネクタ１４のピン数等の違いによりＣＣＤ３０の画素数等の種別を判定するようになっている。

なお、ＣＣＤ３０の画素数等の種別を検出する手段は、ＣＣＤ３０の画素数等の種別に対応するコネクタ１４のピン数等により検出するものに限定されるものでなく、ＣＣＤ駆動信号を印加して、その出力信号の波形数から画素数（水平画像数、垂直画像数）を検出するものでも良い。

次にＩＨｂ処理ブロック４４の構成を説明する。図２に示すようにＲメモリ３９ｒからのＲ信号とＧメモリ３９ｇからのＧ信号とは、ＩＨｂ処理ブロック４４内のＩＨｂ算出回路６１に入力され、ＩＨｂの算出が行われる。そして、ＩＨｂ算出回路６１の出力信号は、ＩＨｂ平均値を算出するＩＨｂ平均値算出回路６２に入力される。

また、検出回路５７により検出されたＣＣＤタイプの情報は、関心領域を設定する関心領域設定回路６３に入力され、この関心領域設定回路６３は、ＣＣＤタイプの情報に応じて、擬似画像を表示する場合、適切なサイズで表示するように擬似画像の表示領域を設定する。

また、関心領域設定回路６３により設定された関心領域の情報は、ＩＨｂ算出回路６１とＩＨｂ平均値算出回路６２に送られ、その関心領域において無効領域を除く領域における画素でＩＨｂを算出する。

ＩＨｂ算出回路６１は、具体的には以下の（１）式の演算を行って、各画素におけるＩＨｂの値を算出する。

ＩＨｂ＝３２×ｌｏｇ_２（Ｒ／Ｇ）・・・（１）
Ｒ：関心領域内における無効領域を除くＲ画像のデータ
Ｇ：関心領域内における無効領域を除くＧ画像のデータ
この式（１）を回路によって実現することは容易であり、例えば、入力されるＲ画像のデータとＧ画像のデータを図示しない除算器を用いて演算し、その出力結果をＲＯＭなどで構成した図示しないＬｏｇ変換テーブルで変換することで実現できる。また、ＣＰＵなどを用いて上記（１）式の演算を行っても良い。

ＩＨｂ算出回路６１により算出されたＩＨｂは、ＩＨｂ平均値算出回路６２に出力され、ＩＨｂ平均値算出回路６２は入力されるＩＨｂに対して、関心領域設定回路６３で設定された関心領域における無効領域を除いた領域で平均化してＩＨｂ平均値を算出する。なお、後段画像処理回路５１は、色調調整や色彩強調であってもよい。

また、このＩＨｂ算出回路６１により算出されたＩＨｂは、擬似画像生成回路６４に入力される。擬似画像生成回路６４は、ＩＨｂの値から擬似カラーで表示する擬似画像を生成し、画像合成を行う画像合成回路６５に出力する。また、この擬似画像生成回路６４には、無効領域表示回路６９からの無効領域に対応する信号も入力される。

画像合成回路６５には、擬似画像生成回路６４で生成された擬似画像データと、Ｒ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂからのＲ，Ｇ，Ｂ画像データとが入力され、画像合成回路６５は関心領域設定回路６３からのマスク信号に基づいて両画像データを合成する処理を行い、合成した画像データを面順次の信号に変換する面順次回路６６に出力する。具体的には画像合成回路６５は、マスク信号が“０”の期間では、原画像に相当するＲ，Ｇ，Ｂ画像データを出力し、マスク信号が“１”の期間では、擬似画像データと無効領域を示す画像データを出力するようにして合成した画像データを後段の面順次回路６６に出力する。この場合の無効領域を示す画像データは、無彩色で表示されるものとなる。面順次回路６６は、合成された画像データのＲ、Ｇ、Ｂ成分をそれぞれ面順次で出力する処理を行う。つまり、γ補正回路５０側には、Ｒ，Ｇ，Ｂ成分の画像データが面順次で出力される。

なお、本実施例では、関心領域設定回路６３による関心領域の情報（具体的にはマスク信号）はγ補正回路５０と後段画像処理回路５１に送られ、ユーザの選択により、関心領域の周囲の原画像部分に対してはγ補正や構造強調を行うこともできるようにしている。また、ＩＨｂ平均値算出回路６２で算出されたＩＨｂ平均値は、文字重畳回路５２に送られ、モニタ画面上に算出されたＩＨｂ平均値を表示することができるようにしている。この場合にも、ユーザの選択により、ＣＰＵ５６を介して表示／非表示を選択できるようにしている。

また、上記Ｒ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂからのＲ，Ｇ，Ｂの画像データは、無効領域検出部４６を構成する輝度検出回路６７に入力される。この輝度検出回路６７は、関心領域内のＲ，Ｇ，Ｂの画像データに対して、その輝度レベルを検出し、その検出結果を無効領域検出回路６８に出力する。

この無効領域検出回路６８は、予め設定された閾値と比較することにより、無効領域か否かを検出（判断）する。

この無効領域検出回路６８は、輝度検出回路６７により検出された輝度レベルを２つの閾値と比較する。この２つの閾値はハレーション検出用の閾値と、暗部検出用の閾値とであり、ハレーション検出用の閾値は、２００／２５５に設定されており、暗部検出用の閾値は、２０／２５５に設定されている。ここで、２５５は８ビットで量子化した場合の飽和レベルを示す。

そして、輝度レベルが暗部検出用の閾値以下である場合と、ハレーション検出用の閾値以上である場合には、無効領域と判断される。

この無効領域検出回路６８は、無効領域の検出結果を無効領域表示回路６９に出力すると共に、ＩＨｂ算出回路６１、ＩＨｂ平均値算出回路６２及びＣＰＵ５６に出力する。そして無効領域表示回路６９は、無効領域部分であることを示す０あるいは１の信号を擬似画像生成回路６４に出力し、この無効領域では例えば無彩色（グレイ）等で表示されるようにする。

また、ＩＨｂ算出回路６１は、無効領域検出回路６８から無効領域の検出情報が入力されることにより、関心領域におけるＩＨｂの算出を行わないようにし、ＩＨｂ平均値算出回路６２は、関心領域における無効領域を除いた領域でＩＨｂ平均値を算出する。

また、ＣＰＵ５６は、無効領域の検出情報により、このＣＰＵ５６は無効領域の大きさ（サイズ）を計数（カウント）し、画像処理を行うか否かを（閾値と比較して）判断すると共に、このＣＰＵ５６に接続されたスピーカ７０による音声やモニタ７での表示などで、ユーザに報知を行うことができるようにしている。

つまり、ＣＰＵ５６は、無効領域の画素数を計数する無効領域画素数計数機能５６ａと、計数結果により特に無効領域が閾値より大きい場合には、画像処理を行うことが適切でないことや、無効領域の発生原因や属性（暗過ぎる暗部のためのか、或いは逆に明る過ぎるハレーションか）をスピーカ７０やモニタ７での表示等により報知（告知）して、その原因を解消して適正化するための画像処理適正化機能５６ｂとを備えている。

より具体的には、検出された無効領域の割合あるいは画素数が画像処理を行うには適しない閾値以上である場合には、暗部やハレーションであることを報知したり、無効領域の主原因が例えばハレーションの場合には、光量を下げて下さい等の報知を行い、この報知に従った操作を行うことにより、適正化することができるようにしている。

また、ＣＰＵ５６は、例えばその内部にこのような画像処理方法を行う制御プログラムが書き込まれた記録手段として、例えばＲＯＭ５６ｃを内蔵しており、ＣＰＵ５６は、起動時にこのＲＯＭ５６ｃの制御プログラムを読み込んで上記のような画像処理を行う。具体的には、図９から図１６に示すフローチャートの画像処理の動作を行うように制御する。

ユーザは、通常の可視光で照明及び撮像した通常画像（原画像ともいう）をモニタ７に表示させたり、ビデオプロセッサ６のフロントパネル５５に設けた指示スイッチやキーボード９からの指示操作により、ＩＨｂ画像の表示の指示等を行うと、その指示信号はＣＰＵ５６に入力され、ＣＰＵ５６は指示信号に対応してＩＨｂ処理ブロック４４等の制御を行う。

この場合、ユーザは、フロントパネル５５に設けたスイッチやキーボード９からＩＨｂ画像（擬似画像）の表示のＯＮ／ＯＦＦや色彩強調のＯＮ／ＯＦＦの指示を行うと、ＣＰＵ５６はその指示に対応してＯＮ／ＯＦＦの制御を行う。

また、Ｒ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂからのＲ，Ｇ，Ｂの画像データは、色ずれ検出回路４７に入力され、Ｒ，Ｇ，Ｂの画像データの相関量等の検出により色ずれ量を検出する。

そして、画像のフリーズ指示がされた場合、設定された時間内等で色ずれ最小の画像を検出してその色ずれ最小の画像を検出したフィールドの画像を表示するように制御回路４０に信号を送り、制御回路４０はメモリ部３９のＲ，Ｇ，Ｂ用メモリ３９ｒ，３９ｇ，３９ｂへの書き込みを禁止状態にして表示手段としてのモニタ７に表示される画像及びモニタ画像撮影装置８Ａのモニタに表示される画像を静止画状態にする。

図４はフロントパネル５５やキ−ボード９から各種の設定を行うメニュー画面を示す。メニュー画面を表示させることにより、図４（Ａ）に示すように内視鏡画像の表示サイズ、関心領域の表示サイズ、処理画像としてのＩＨｂレンジにおけるＮｏｒｍａｌ／Ｗｉｄｅの選択、ＩＨｂ平均値の表示のＯＮ／ＯＦＦや、図４（Ｂ）に示すように例えば１〜７から選択するフリーズレベル、プリフリーズ／色ズレ防止フリーズによる色ズレ検出、フル／ライトの文字表示、平均／オート／ピークによる測光方式等を選択設定できるようにしている。

ここで、内視鏡画像の表示サイズは、例えば大、中、小から選択でき、また関心領域の表示サイズも、大、中、小から選択設定できる。また、ＩＨｂレンジがＮｏｒｍａｌの場合には、ＩＨｂの値が３０から７０までのものを１６段階の擬似カラーで表示し、Ｗｉｄｅの場合には、ＩＨｂの値が１０から９０までのものを１６段階の擬似カラーで表示する。

また、フリーズレベルは、色ズレ検出の検出対象の画像枚数を可変する。その枚数は、フリーズスイッチが押される前か、後のいずれかであり、所定の時間分、メモリに取り込まれる画像によって決まる。そのレベルの値は、例えば１〜７から設定でき、レベル１では、約５０ｍｓｅｃ、レベル７では、約１ｓｅｃになる。

また、色ズレ検出は、色ズレ検出の対象画像について、フリーズスイッチが押される前とするのがプリフリーズで、後とするのが色ズレ防止フリーズである。また、文字表示におけるフルは、必要な項目を全て表示し、ライトは一部の情報に限定して表示する。さらに測光は、内視鏡画像の明るさを好みの状態になるように光源の光量を調整するもので、測光における平均は、画像全体が明るくなるように調整し、オートは処置具等が画像に現れても、それによるハレーションを無視して暗くならないように調整し、ピークはハレーションが起こらないように調整する。

図５は、内視鏡画像表示領域７ａのみ（図５（Ａ））の場合から関心領域７ｃを例えば５つの異なる位置に設定した様子（図５（Ｂ）の中央位置から図５（Ｆ）の右側の位置まで）と、例えば図５（Ｅ）に示す関心領域７ｃを大の状態から中の状態（図５（Ｇ））及び小（図５（Ｈ））に設定した様子を示す。

本実施例では、内視鏡画像に対してＩＨｂ処理等の画像処理を行う関心領域を設定できるようにすると共に、その関心領域内での画像処理を行う場合に輝度レベルにより輝度が画像処理に不適切な無効領域か否かの無効領域の検出（判定）を行うようにしている。また、無効領域を表示すると共に、前記無効領域の大きさに応じて画像処理を禁止したり、報知する等して画像処理の適正化を行うようにしていることが特徴となっている。

図５により、関心領域の位置やサイズを選択設定できることを説明したが、図６は、内視鏡画像表示領域７ａに内視鏡画像を表示した状態から関心領域に画像処理した処理画像としてのＩＨｂの値に応じて擬似カラー化して表示する擬似カラー画像を表示する場合の説明図を示す。

例えば通常の動作状態では、モニタ７の表示面には図６（Ａ）に示すように八角形の内視鏡画像表示領域７ａに、内視鏡画像が動画で表示される。また、この内視鏡画像表示領域７ａの左側には、患者データ等の他に、ＩＨｂ平均値表示準備の表示がされる。

具体的にはＩＨｂ＝−−−（７ｂで示す）と表示され、ＩＨｂ平均値を表示する準備がされている。なお、このＩＨｂ平均値表示準備の表示は、選択により非表示にすることもできる。なお、ＩＨｂ平均値の値により、病変部分か健常部分（正常部分）かを診断する目安となる情報を得ることができる。

そして、ユーザは、擬似カラー画像の表示をＯＮする指示操作を行うと、例えば図６（Ｂ）に示すように内視鏡画像表示領域７ａにおける設定された関心領域７ｃに画像処理画像としての擬似カラー画像を表示する。この場合、関心領域７ｃに画像処理画像を表示する場合、その輝度レベルが検出されて、無効領域検出回路６８により無効領域か否かの判定が行われる。

そして、無効領域７ｄの大きさが画像処理を行うのに適する大きさの場合には、モニタ７は、無効領域７ｄを除く部分で擬似カラー画像７ｅを表示する状態になると共に、無効領域７ｄを無彩色で表示する。また、図６（Ａ）におけるＩＨｂ平均値表示準備の表示からＩＨｂ平均値の表示（７ｆで示す）も行えるようにしている。なお、図６（Ｂ）及び図６（Ｃ）は、関心領域７ｃを大に設定した状態で示している。なお、図１０を参照して後述するように関心領域７ｃを大に設定した場合には、無効領域７ｄが関心領域７ｃの４０％以下であるかにより画像処理を実行するか否かを判断する。

図６（Ｂ）の場合には無効領域７ｄが関心領域７ｃの４０％以下であるので、画像処理が実行され、画像処理結果として、関心領域７ｃには擬似カラー画像７ｅの表示がおこなわれると共に、ＩＨｂの平均値の表示７ｆが行われる。

一方、無効領域７ｄの大きさが画像処理を行うのに適さない大きさ以上の場合、具体的に図６（Ｃ）に示す場合には、無効領域７ｄが関心領域７ｃの４０％を越える場合には、画像処理は実行されないことになり、擬似カラー画像７ｅは表示されないし、ＩＨｂの平均値の表示７ｆも行われない。図６（Ｃ）の場合には、無効領域７ｄが暗部の場合であり、この場合には、（無効領域７ｄは、主に）暗部です。光量を上げて下さいの報知をして、ユーザは、この報知に従った操作を行うことにより、無効領域７ｄを減らして画像処理を行えるようにする画像処理の適正化をすることができるようにする。この場合、内視鏡画像表示領域７ａと関心領域７ｃと無効領域７ｄが表示されなくても良い。

また、内視鏡画像表示領域７ａの右側には擬似カラー画像で表示した場合のレンジを示すカラーバー７ｇが表示される。この場合には、標準（Ｎｏｒｍａｌ）のレンジの場合で示している（但し、図５中では簡略化してＮｏｒｍで示している）。

また、図７（Ａ）は関心領域７ｃを中のサイズに設定した場合の表示例を示し、図７（Ｂ）は関心領域７ｃを小に設定した場合で、暗い場合の表示例を示す。図１０で説明するように関心領域７ｃを中、小の各サイズに設定した場合には、無効領域７ｄが関心領域７ｃの３０％、２０％以下であると、それぞれ画像処理を実行し、３０％、２０％を越えると画像処理は実行されない。図７（Ａ）では無効領域７ｄが関心領域７ｃの３０％以下であり、画像処理が実行された場合の表示例となり、図７（Ｂ）は無効領域７ｄが関心領域７ｃの２０％を越え、画像処理が実行されない場合の表示例である。また、報知を行い、ユーザは、この報知に従った操作を行うことにより画像処理を適正化することができるようにする。

また、図７（Ｃ）は、関心領域が大であり、無効領域７ｄの割合が小さい場合（図６（Ｂ）の場合とほぼ同様）であり、これに対して、図７（Ｄ）は、擬似カラー表示のレンジをＮｏｒｍａｌからＷｉｄｅに変更した例を示す。

本実施例では、図６（Ｂ）等に示すように内視鏡画像表示領域７ａ内に設定した関心領域７ｃ部分のみに擬似カラー画像や無効領域を表示する場合、関心領域設定回路６３は、図８に示すような作用によってマスク信号を発生して、画素数等が異なるＣＣＤ３０の場合にも、擬似カラー画像等の処理画像を適切なサイズで表示できるようにしている。

例えば、処理画像として擬似カラー画像の表示を行う場合、関心領域設定回路６３は、検出回路５７からの検出信号により、図８のステップＳ１に示すように実際に使用されているＣＣＤ３０がタイプ１の種類か否かを判断し、これに該当すると判断した場合には、ステップＳ２に示すようにタイプ１用のマスク信号を発生し、このマスク信号を画像合成回路６５に出力する。

タイプ１用のマスク信号は擬似カラー画像等の処理画像の表示を行うタイミングで“１”となり、それ以外の期間では“０”となる２値のマスク信号を出力し、画像合成回路６５は、このマスク信号により原画像に擬似カラー画像等の処理画像を部分的にはめ込むような画像合成を行って後段側に出力する。そして、モニタ７の表示面には図６（Ｂ）に示すように擬似カラー画像が部分表示される。

一方、図８のステップＳ１に該当しない場合には、ステップＳ３に進み、ＣＣＤ３０がタイプ２のものか否かを判断する。このタイプ２の種類に該当すると判断した場合には、関心領域設定回路６３は、ステップＳ４に示すようにタイプ２用のマスク信号を発生し、このマスク信号を画像合成回路６５に出力する。そして、この場合にも、図６（Ｂ）とほぼ同じように擬似カラー画像が表示される。

一方、ステップＳ３の条件にも該当しない場合には、ステップＳ５に進み、その他のタイプに応じたマスク信号を発生する。このようにして、複数種類のＣＣＤ３０の場合にも、そのＣＣＤ３０の画素数等に適切なサイズで擬似カラー画像の部分表示を行えるようにしている。

具体的な例を挙げて説明すると、例えばタイプ１のＣＣＤ３０では、その画素数が４００×４００であり、関心領域の大きさが大で位置が中央部であれば、中央部で２００×２００の画素領域（つまり１／４のサイズ）で“１”となり、それ以外の期間では“０”となる２値のマスク信号を発生する。また、タイプ２のＣＣＤ３０では、その画素数が８００×６００であり、この場合にはその中央部で４００×３００の画素領域（やはり１／４のサイズ）で“１”となり、それ以外の期間では“０”となる２値のマスク信号を発生する。

従って、タイプ１或いはタイプ２のいずれの場合にも、原画像の中央部等でその１／４の表示サイズで擬似カラー画像の表示が行われるようになる。

また、タイプ１或いはタイプ２のいずれの場合にも、関心領域の大きさに対応したマスク信号を生成する。図９は、例えばタイプ１用マスク信号生成の処理内容を示す。

この処理がスタートすると、ステップＳ６で、関心領域設定回路６３は、設定あるいは選択される関心領域が大かの判断を行う。そして、これに該当する場合には、ステップＳ８ａに進み、大用の関心領域に相当するマスク信号を生成し、さらに次のステップＳ９ａで、無効領域の閾値の設定を行う。

ステップＳ６の判断において、関心領域が大でない場合には、次のステップＳ７に移り、関心領域設定回路６３は、関心領域が中かの判断を行う。そして、これに該当する場合には、ステップＳ８ｂに進み、中用の関心領域に相当するマスク信号を生成し、さらに次のステップＳ９ｂで、無効領域の閾値の設定を行う。

ステップＳ７の判断において、関心領域が中でない場合には、ステップＳ８ｃに進み、小用の関心領域に相当するマスク信号を生成し、さらに次のステップＳ９ｃで、無効領域の閾値の設定を行う。

このように本実施例では、関心領域の大きさに応じて閾値を設定して、より適切に、つまり所定の精度を保持できるように画像処理を行うようにしている。

このように関心領域の大きさに応じて閾値を設定する動作を図１０を参照して説明する。なお、以下に説明するように関心領域の大きさに応じて閾値を可変設定しているのは、関心領域が大きく設定されている場合には、無効領域の（関心領域に占める）相対的な割合が大きくても、残りの領域の画素数が十分に大きくなる。従って、その場合には十分に精度を保って解析結果が得られることになるので、関心領域が大きい程、閾値を大きく設定している。

図１０に示すように画像処理がスタートすると、ステップＳ１１に示すように関心領域の位置とサイズの設定を行う処理となる。この場合ユーザは、キーボード９等から関心領域の位置とサイズの設定を行う入力操作を行う。

次のステップＳ１２において、ＣＰＵ５６は、このように設定された関心領域のサイズが大であるか否かの判断を行う。そして、大であると判断した場合には、ステップＳ１４ａに示すように閾値を４０％として、ステップＳ１５に移る。

一方、ステップＳ１２において、ＣＰＵ５６は、関心領域のサイズが大でないと判断すると、次のステップＳ１３に進み、関心領域のサイズが中であるか否かの判断を行う。そして、中であると判断した場合には、ステップＳ１４ｂに示すように閾値を３０％として、ステップＳ１５に移る。

また、ステップＳ１３において、ＣＰＵ５６は、関心領域のサイズが中でないと判断すると、ステップＳ１４ｃに進み、関心領域のサイズが小であると判断し、閾値を２０％として、ステップＳ１５に移る。

ステップＳ１５において、輝度検出回路６７は、関心領域内の各画素毎の輝度計算を行い、その計算結果をＣＰＵ５６に送る。

ＣＰＵ５６は、次のステップＳ１６において、輝度計算結果からハレーションと暗部を判別する閾値を用いてその画素数を計算する。

そして、次のステップＳ１７において、ＣＰＵ５６は、ステップＳ１４ａ、１４ｂ、１４ｃにより設定した閾値を用いて、無効領域の画素数が閾値以下か否かの判断を行う。そして、その判断において、無効領域の画素数が閾値以下の場合には、ステップＳ１８に示すようにＣＰＵ５６は、関心領域内の画像処理をＯＮにして、画像処理を行わせる。

一方、ステップＳ１７の判断において、無効領域の画素数が閾値を超える場合には、ステップＳ１９に示すようにＣＰＵ５６は、関心領域内の画像処理をＯＦＦにする。

つまり、無効領域が多い場合には、画像処理を禁止することになる。このため、無効領域が多い場合には不適当な処理結果が得られないこととなり、処理結果が所定の精度を有するか否かの確認等を行わなくても済むように画像処理の適正化をしている。

また、この禁止の他に、ＣＰＵ５６は、さらにステップＳ２０に示すように、画像処理を行うことが適当でないことの報知を行う。例えば、「明るさが適切でありません」との報知メッセージや報知音をモニタ７やスピーカ７０で行う。このため、ユーザは、明るさが適切でないために、画像処理が行われないことを容易に知ることができる。そして、明るさを調整することにより、画像処理が行えるように適正化することもできる。

以上では、ビデオプロセッサ６に装着される電子内視鏡２に搭載されているＣＣＤ３０の画素数が異なる例について説明したが、本実施例はこれに限らず、上述したように他の要素により装着される内視鏡の種別を判定し、この装着された電子内視鏡に適した画像処理を行うよう各条件を設定することも可能である。

すなわち、識別情報４３（図２参照）に基づいて、画角や光学ズーム等の光学的な要素が異なる電子内視鏡が装着されたことが検出された場合、適切なサイズでの表示を行うよう各条件を設定する。例えば、光学ズーム機能を有する電子内視鏡が装着された場合、ＣＣＤ３０から得られる画像は全体的に重要な意味を持つので、関心領域のサイズを大きくするよう設定し、一方で光学ズーム機能を備えない電子内視鏡が装着された場合には、当該サイズを小さく設定しても良い。

また、主に胃の観察等に用いる上部消化管用内視鏡と異なり、大腸観察等に用いる下部消化管用内視鏡が装着された場合、管腔が多く比較的暗い部位を観察するため、的確な画像処理を行い易いように関心領域のサイズを大きく設定しても良い。

次にこの内視鏡装置１を動作状態に設定して、ＩＨｂ分布の擬似カラー表示等を行う作用を図１１を参照して説明する。

内視鏡装置１の電源を投入して動作状態に設定すると、ビデオプロセッサ６内のＣＰＵ５６はキーボード９等からの指示入力を監視しており、ステップＳ２１に示すように擬似カラーがＯＮの指示入力がされたか否かを判断する。

そして、擬似カラーがＯＮにされていないと、ステップＳ２２の原画像表示を行う。例えば、図６（Ａ）に示すような状態で、モニタ７の表示面に内視鏡画像を動画で表示する。

なお、本実施例では、原画像表示の場合には、後段画像処理回路５１の構造強調をＯＮにして構造強調された画像を表示するようにしている。また、擬似カラー表示する場合には、自動的に構造強調をＯＦＦに設定して、擬似カラー表示の色調等が変化してしまわないようにしている。

このため、一旦、擬似カラー表示にされた後に、擬似カラーＯＦＦにされた場合にはステップＳ２２では擬似カラー画像時の構造強調ＯＦＦ処理を解除し、構造強調ＯＮの状態で原画像を表示するようになる。

一方、ステップＳ２１で擬似カラーＯＮと判断された場合には、ＣＰＵ５６は、ステップＳ２３のレンジチェックを行う。つまり、擬似カラーで表示する場合の色割り当てをノーマル（Ｎｏｒｍａｌ）とワイド（Ｗｉｄｅ）かの判断を行う。

そして、ノーマル或いはワイドに該当する色割り当てのカラーバーの表示の指示制御を行う。そして、ステップＳ２４でマスク信号が１か否かの判断を行う。

マスク信号が１の場合には、ＣＰＵ５６は、関心領域設定回路６３に対して関心領域設定の信号を画像合成回路６５に出力するように制御する。そして、擬似画像生成回路６４による擬似画像は画像合成回路６５により原画像と合成してステップＳ２５に示すように擬似カラー処理の表示の処理を行い、ステップＳ２７に進む。例えば図６（Ｂ）に示すように内視鏡画像表示領域７ａの原画像における関心領域７ｃに擬似カラー画像を表示する。なお、無効領域７ｄの部分に対しては無彩色で表示する。この内視鏡画像表示領域７ａの右側にはカラーバーが表示される。

一方、マスク信号が１でない場合には、ステップＳ２６に示すように原画像を表示する処理を行い、ステップＳ２７に進む。

擬似カラー画像表示の処理の後、ＣＰＵ５６は、ステップＳ２７において後段画像処理回路５１での構造強調がＯＮか否かの判断を行う。そして、ＯＮにされている場合には、構造強調をＯＦＦにしてステップＳ２１に戻る。

一方、構造強調がＯＮにされていない場合には、構造強調をＯＦＦのままにしてステップＳ２１に戻る。

このように（擬似カラー画像を表示する場合には）、構造強調を自動的にＯＦＦにする処理をして、擬似カラー画像の表示を行うようにしているので、ＩＨｂによる擬似カラー表示を行った場合、構造強調によりその擬似カラー表示が変化してしまうことを有効に防止できる。

上記ステップＳ２５の擬似カラー処理の表示の処理の詳細を図１２に示す。

擬似カラー処理の表示の処理が開始すると、ステップＳ３０に示すようにＣＰＵ５６は、関心領域７ｃ内かの判断を行う。そして、これに該当しない場合には、ステップＳ３１に示すように通常画像を表示することになる。

一方、ステップＳ３０の判断において、関心領域７ｃ内であると判断されると、ステップＳ３２に示すように輝度検出回路６７により輝度計算が行われる。

この輝度計算の結果は無効領域検出回路６８に送られ、この無効領域検出回路６８は、ステップＳ３３に示すように無効領域７ｄか否かの判断を行う。この判断結果はＩＨｂ算出回路６１と無効領域表示回路６９とＣＰＵ５６とに送られる。

そして、無効領域７ｄでないと判断された場合には、ステップＳ３４に示すようにＩＨｂ算出回路６１は、ＩＨｂ算出を行う。そして、ＩＨｂ算出結果により、ステップＳ３５に示すように、関心領域において、擬似カラー表示される。

一方、ステップＳ３３において、無効領域７ｄと判断された場合には、ステップＳ３６に示すように無効領域表示回路６９により無効領域表示の処理が行われる。さらにステップＳ３７により、無効領域７ｄの大きさ算出の処理が行われる。

例えばＣＰＵ５６は、無効領域検出回路６８から無効領域７ｄと判断された画素をカウントし、その大きさを算出する。そして、ＣＰＵ５６は、ステップＳ３８において、算出された無効領域７ｄの大きさが閾値以下か否かの判断を行う。この判断において、算出された無効領域７ｄの大きさが閾値以下の場合には、ステップＳ３９に示すように画像処理を継続する。これに対して、算出された無効領域７ｄの大きさが閾値を超える場合には、ステップＳ４０に示すようにＣＰＵ５６は画像処理は中止される。

次に図１０の処理の変形例を図１３を参照して説明する。図１０では、無効領域７ｄの画素数が閾値を超えた場合には、画像処理をＯＦＦにして、画像処理を禁止し、画像処理が明るさの点で適正でないことを報知するようにしているが、図１３では、さらに無効領域７ｄが明るすぎるハレーションあるいは暗部のいずれであるかを判定して、それを解消或いは減らして画像処理ができるように適正化するための報知をするようにしている。つまり、この変形例は、図１０のステップＳ１９の代わりにステップＳ１９′に示すように画像処理をＯＦＦ或いはＯＮのままとする（ＯＦＦにすると、ステップＳ１９となる）。その後、ステップＳ４１において、ＣＰＵ５６は、ハレーションの無効領域７ｄが暗部の無効領域７ｄより大きいか否かの判断を行う。

この判断により、ハレーションの無効領域７ｄが暗部の無効領域７ｄより大きいと判断した場合には、ＣＰＵ５６はステップＳ４２に示すように「光量を下げて下さい」と表示する報知メッセージを行う。なお、スピーカ７０で、音声や報知音でも報知を行うようにしても良い。

一方、ステップＳ４１において、ハレーションの無効領域７ｄが暗部の無効領域７ｄ以下と判断した場合には、ＣＰＵ５６はステップＳ４３に示すように「光量を上げて下さい」と表示する報知メッセージを行う。なお、スピーカ７０で、音声でも報知を行うようにしても良い。このよに報知を行う場合の表示例は、図６（Ｃ）や図７（Ｂ）となり、符号７ｈで示す報知メッセージで示している。この表示例では無効領域７ｄが主に暗部に形成されていることも示している。

本変形例によれば、ユーザは、報知内容に沿って光量を調整することにより、無効領域７ｄの発生原因を解消ないしは軽減できる。

次に図１４を参照して第２変形例の画像処理を説明する。本変形例は、関心領域７ｃの位置とサイズを設定した場合に、無効領域７ｄの画素数が閾値以下にならない場合に、関心領域７ｃのサイズと位置を変更することにより、より無効領域７ｄの画素数を閾値以下にしやすくするものである。

図１４に示すように画像処理がスタートした場合、最小のステップＳ５１において、ユーザは、キーボード９等を操作してを関心領域７ｃの位置とサイズを設定する。

すると、次のステップＳ５２において、輝度検出回路６７は、関心領域７ｃ内の各画素毎の輝度を計算する。そして、無効領域検出回路６８に送る。無効領域検出回路６８は、閾値と比較することにより、無効領域７ｄか否かを判断し、その判断結果をＣＰＵ５６に送る。ＣＰＵ５６は、次のステップＳ５３において、無効領域７ｄと判断された画素をカウントして、無効領域７ｄの画素数を計算する。

さらに、このＣＰＵ５６は、次のステップＳ５４において、無効領域７ｄの画素数が閾値以下であるか否かの判断を行う。そして、ＣＰＵ５６は、その無効領域７ｄの画素数が閾値以下であると判断した場合には、ステップＳ５５に示すように関心領域７ｃ内の画像処理をＯＮにする。

一方、無効領域７ｄの画素数が閾値を越えると判断された場合には、ステップＳ５６に示すようにＣＰＵ５６の制御により関心領域設定回路６３は、関心領域７ｃのサイズと位置を変更する処理を行う。

そして、次のステップＳ５７においてＣＰＵ５６は、無効領域７ｄの画素数が閾値以下であるか否かの判断を行う。そして、無効領域７ｄの画素数が閾値以下であると判断すると、ＣＰＵ５６は、ステップＳ５８に移り関心領域７ｃ内の画像処理をＯＮにする。

一方、ステップＳ５７において、無効領域７ｄの画素数が閾値を越えると判断された場合には、ステップＳ５６に戻り、再度関心領域７ｃのサイズと位置を変更する処理を行うことになる。

次に図１４のステップＳ５６周辺の処理の詳細を図１５を参照して説明する。関心領域７ｃのサイズ及び位置を変更する処理がスタートとすると、ステップＳ６１に示すように関心領域７ｃのサイズの変更を行う。具体的には、関心領域７ｃのサイズが中、或いは小である場合には、大に変更する。

その次のステップＳ６２でＣＰＵ５６は、無効領域７ｄの画素数が閾値以下であるか否かの判断を行う。そして、ＣＰＵ５６は、その無効領域７ｄの画素数が閾値以下であると判断した場合には、ステップＳ６３に示すように関心領域７ｃ内の画像処理をＯＮにする。

一方、ステップＳ６２において、無効領域７ｄの画素数が閾値を越えると判断された場合には、ステップＳ６４に移り、関心領域７ｃの位置を中心にするように変更する。その後、ＣＰＵ５６は、ステップＳ６５において、無効領域７ｄの画素数が閾値以下であるか否かの判断を行う。

そして、無効領域７ｄの画素数が閾値以下であると判断した場合には、ステップＳ６３に示すように関心領域７ｃ内の画像処理をＯＮにする。

一方、ステップＳ６５において、無効領域７ｄの画素数が閾値を越えると判断された場合には、ステップＳ６６に移り、関心領域７ｃの位置を順次変更する。例えば、図５における図５（Ｂ）から図５（Ｆ）の順序で１つ変更する毎にステップＳ６７により、無効領域７ｄの画素数が閾値以下であるか否かの判断を行うようにする。そして、無効領域７ｄの画素数が閾値以下になると、ステップＳ６３に示すように関心領域７ｃ内の画像処理をＯＮにし、無効領域７ｄの画素数が閾値を越える場合にはステップＳ６６に戻り、次の位置に変更する。

このように本変形例によれば、無効領域７ｄの画素数が閾値を越えると判断された場合には、ＣＰＵ５６は、関心領域７ｃのサイズを変更したり、位置を変更するように制御するようになり、従って多くの場合、無効領域７ｄの画素数を閾値以下に設定できるようにして、処理画像が得られるようにできる。

次に第３変形例を図１６を参照して説明する。本変形例は画像処理としてＩＨｂを算出してその擬似カラー表示を行う代わりに、色調調整を行うものである。このため、本変形例は、図２の画像処理ブロック５におけるＩＨｂ処理回路部４５の代わりに色調調整回路部が設けてある。

この場合、図２のＩＨｂ処理回路部４５内のＩＨｂ算出回路６１の代わりにＲＧＢレベルを算出するＲＧＢ算出回路が設けられ、またＩＨｂ平均値算出回路６２の代わりにＲＧＢ平均値算出回路を設け、さらにＲＧＢ算出回路の出力信号をＲＧＢゲインを設定するＲＧＢゲイン設定回路を介して擬似画像生成回路６４に出力する構成にして色調調整ブロックを形成している。この場合、ＲＧＢ算出回路には、ＲＧＢ信号が入力されるようにしている。

この変形例による色調調整の動作を図１６を参照して説明する。

この場合の動作は図１４と類似しているので、同じ処理は同じ符号を用いて説明する。図１６の画像処理がスタートすると、ステップＳ５１からステップＳ５４までは同じように処理する。そして、ステップＳ５４において、無効領域７ｄの画素数が閾値以下であるか否かの判断を行い、無効領域７ｄの画素数が閾値以下であると判断した場合にはステップＳ７１に示すようにＣＰＵ５６は、色調調整を実施しないように制御する。

一方、ステップＳ５４において、ＣＰＵ５６は、無効領域７ｄの画素数が閾値を超えると判断した場合には、ステップＳ７２に移り、関心領域７ｃ内のＲＧＢ信号レベルのそれぞれの平均値を算出する。

さらに次のステップＳ７３において、ＲＧＢの各平均値から色調調整するＲＧＢの各ゲインを決定し、決定されたゲインでＲＧＢゲイン設定回路のＲＧＢゲインを設定する。そして、次のステップＳ７４において、ＲＧＢゲイン設定回路を通すことにより、ＩＨｂ算出による擬似カラーの場合と同様に処理して、関心領域７ｃ内における無効領域７ｄを除く領域で色調調整を実行する。

本変形例によれば、ユーザが望む色調に色調調整した処理画像を得ることもできる。

次に本発明の実施例２を図１７を参照して説明する。実施例１の例えば図１０に示す画像処理では、無効領域７ｄの画素数が閾値を超えた場合には画像処理をＯＦＦにするようにしていたが、本実施例では無効領域７ｄの画素数が閾値を超えた場合には、主に無効領域７ｄがハレーション或いは暗部のいずれが原因かに応じて自動的に光量制御を行うようにして、その無効領域７ｄの発生を解消ないしは軽減する制御動作を行うようにするものである。

この場合の動作を図１７を参照して説明する。なお、図１７の動作において、図１０の処理と同じ処理には同じ符号を付け、その説明を省略する。

画像処理がスタートして、ステップＳ１１の関心領域７ｃの位置とサイスを設定する処理からステップＳ１７の無効領域７ｄの画素数が閾値以下であるかの判断の処理までは図１０の場合と同じであり、また無効領域７ｄの画素数が閾値以下であるとステップＳ１８に示すように関心領域７ｃの画像処理をＯＮにする。

一方、ステップＳ１７の判断において、無効領域７ｄの画素数が閾値を越える場合には、ステップＳ８１に移る。

ステップＳ８１では、ＣＰＵ５６は、ステップＳ１６において、ハレーションと暗部とでの画素数の計算を行っているので、その計算結果から、その無効領域７ｄがハレーションによる無効領域７ｄの方が暗部による無効領域７ｄより大きいかの判断を行う。

そして、ハレーションによる無効領域７ｄの方が暗部による無効領域７ｄより大きいと判断した場合には、ＣＰＵ５６は、光量を下げるための制御信号を制御回路４０に送り、ステップＳ８２に示すように制御回路４０は、この制御信号を受けて絞りモータ２５ａを回転させて絞り２５の開口量を所定量だけ小さくする調光動作を行う。そして、ステップＳ１６の処理に戻る。

一方、ステップＳ８１の判断において、ハレーションによる無効領域７ｄが暗部による無効領域７ｄ以下であると判断した場合には、ＣＰＵ５６は、光量を上げるための制御信号を制御回路４０に送り、ステップＳ８３に示すように制御回路４０は、この制御信号を受けて絞りモータ２５ａを前記の場合とは逆方向に回転させて絞り２５の開口量を所定量だけ大きくする調光動作を行う。そして、ステップＳ１６の処理に戻る。

ステップＳ１６では、ステップＳ８１での判断結果に応じて光量が増大或いは減少された後、ＣＰＵ５６は、再度ハレーションと暗部との画素数の計算を行い、さらにステップＳ１７において、無効領域７ｄの画素数が閾値以下であるかの判断の処理を行う。

このような調光制御を行うことにより、多くの場合に、無効領域７ｄが発生する状態が軽減され、無効領域７ｄの画素数が閾値以下に設定されて、関心領域７ｃでの画像処理をＯＮにすることができる。

このため、実施例１とほぼ同様の効果を有すると共に、より使い勝手（操作性）を向上できる。

上記の調光動作の説明では、絞り２５を採用して説明したが、ＣＣＤドライバ３３によりＣＣＤ３０による電荷蓄積時間を可変制御する電子シャッタ手段を採用しても良い。つまり、図１７におけるステップＳ８２の処理を行う場合には、制御回路４０からＣＣＤドライバ３３に電荷蓄積時間を短くするように制御する。

一方、図１７におけるステップＳ８３の処理を行う場合には、制御回路４０からＣＣＤドライバ３３に電荷蓄積時間を長くするように制御する。

このように制御することにより、絞り２５を用いて光量制御を行った場合とほぼ同様に調光を行うことができる。

また、絞り２５や、電子シャッタを用いる代わりに、ＡＧＣ回路３６によって調光を行った場合と類似の制御を行うようにしても良い。つまり、図１７におけるステップＳ８２の処理を行う場合には、制御回路４０（或いはＣＰＵ５６）からＡＧＣ回路３６にＡＧＣのゲインを下げるように制御し、ステップＳ８３の処理を行う場合には、制御回路４０（或いはＣＰＵ５６）からＡＧＣ回路３６にＡＧＣのゲインを上げるように制御する。

このように制御することにより、絞り２５や電子シャッタを用いて制御を行った場合とほぼ同様の効果が得られる。なお、絞り２５と電子シャッタとＡＧＣとを併用しても良い。

本実施例によれば、無効領域７ｄの画素数が閾値を越える場合には、照明光量を調整したり、電子シャッタによる撮像時間（露光時間）の調整したり、ＡＧＣのゲイン調整を行うようにしているので、無効領域７ｄの少ない状態に設定して適正な処理画像を得ることができる。また、ユーザが、無効領域７ｄを減らす操作を行わなくても済み、操作性を向上できる。

なお、上述の説明においては、通常観察モードの他の例として、蛍光観察を行う場合を説明したが、本発明はこれに限定されるものでなく、例えば赤外光を照射して、その赤外光の照明下で赤外観察用の画像を得るようにすることもできるし、帯域制限した照明光を照射して、その帯域制限された照明光の下で撮像した画像を得るようにすることもできる。また、赤外観察用の画像を得た場合にも、その赤外観察用の画像に対して、その信号レベルに応じてＩＨｂの場合と同様に、表示色を割り付けて擬似カラーの処理を施し、モニタ７に擬似カラー表示するようにしても良い。

また、これらの画像に対して、色調調整したり、色彩強調を行うようにしても良い。

なお、光源部３のランプ２４が点灯していない場合には、光源がＯＦＦであることを報知するようにしても良い。例えば「ランプを点灯して下さい」と報知するようにしても良い。また、光源部３がビデオプロセッサ６と別体の光源装置の場合にも同様に報知しても良いし、光源装置の電源をＯＮにして下さいと報知するようにしても良い。

なお、上述の説明では、固体撮像素子を内蔵した内視鏡としては、挿入部の先端部等にＣＣＤ３０等を内蔵したものに限定されるものでなく、光学式内視鏡の接眼部にＣＣＤ３０等を内蔵したテレビカメラを装着したテレビカメラ装着内視鏡による電子式内視鏡でも良い。

また、上述の実施例では、肉眼で観察したものと同様に表示できるように通常の画像処理（映像処理）を行う通常画像処理装置（具体的にはビデオプロセッサ）の内部に、血流量に関する所定の画像処理を行う画像処理装置を設けた場合で説明したが、通常画像処理装置と別体の構成にしても良い。

また、上述の説明では、ＣＣＤ３０の画素数等の種別を検出するようにしていたが、画像処理装置に入力される画像データの画素サイズを検出して、その検出結果に応じて適切な表示サイズとなるように画像処理装置による処理画像の表示領域を設定するようにしても良い。

なお、上述した各実施例等を部分的等で組み合わせたものも本発明に属する。

内視鏡により被検体内を撮像した画像信号に対して、ＩＨｂの算出による擬似カラー表示等の画像処理をするために関心領域を設定した場合、その関心領域での画像処理が所定の精度を保つことができない場合には、画像処理を禁止や報知をしたり、光量調整等して画像処理ができるように適正化する等して、より精度の良い画像処理を行えるようにしている。

［付記］
１．前記無効領域検出手段は、不適正な輝度として、前記検出した輝度が所定の上限基準信号レベルよりも高い場合をハレーション、所定の下限基準信号レベルよりも低い場合を暗部と区別し、前記無効領域が関心領域の中でハレーションと暗部のどちらかが多いかを報知するか、ハレーション又は暗部のどちらかを減少させる方法を報知するかのいずれか少なくとも１つを報知する報知手段を有することを特徴とする請求項１〜３記載の内視鏡用画像処理装置。

（効果）適正な画像処理を得るための操作を容易に知ることができる。

２．前記調光手段の制御の代わりに、電子シャッタ手段及びＡＧＣ手段における少なくとも１つを有することを特徴とする請求項４又は付記１記載の内視鏡用画像処理装置。

（効果）無効領域の少ない画像処理を容易に実現できる。また、無効領域を減らす操作をしなくても済む。

３．前記画像処理手段は、血液情報量を算出して画像化又は数値化の少なくとも１つを行う血液情報量算出手段であることを特徴とする請求項１〜４、付記１、２記載の内視鏡用画像処理装置。

（効果）適正な解析で血液情報を得ることができる。

４．前記画像処理手段は、関心領域の画像から情報を得ることによって、画像全体の色調調整又は、関心領域内の画像の色調調整を行うことを特徴とする請求項１〜４、付記１，２記載の内視鏡用画像処理装置。

（効果）適正な情報を取得して最適な色調に合わせることもできる。

５．前記無効領域の大きさを算出して比較する為の所定の閾値は、前記関心領域の大きさによって、異なる閾値に切り替わることを特徴とする請求項１〜４、付記１〜４記載の内視鏡用画像処理装置。

（効果）画像処理の解析結果において、適正な情報量が得られる。

６．前記関心領域設定手段は、前記無効領域の大きさが所定の閾値以下となるように、関心領域の位置及び大きさの少なくとも一方を変更することを特徴とする請求項１〜４、付記１〜５記載の内視鏡用画像処理装置。

７．可視光領域を含む照明光を供給する照明光供給手段と、前記照明光の複数の波長域の少なくとも１つの波長域を制限する帯域制限手段を有する請求項１〜４，付記１〜６記載の内視鏡用画像処理装置。

（効果）容易に適正な情報量が得られる。

８．蛍光観察を特徴とし、画像処理において、色調調整又は色彩強調の少なくとも１つがなされることを特徴とする請求項１記載の内視鏡用画像処理装置。

９．赤外観察を特徴とし、画像処理において、色彩強調または疑似カラーの少なくとも１つがなされることを特徴とする請求項１記載の内視鏡用画像処理装置。

１０．内視鏡により被検体の体腔内を撮像して得られる画像信号を処理する内視鏡用画像処理方法において、
前記内視鏡により得られた画像信号の信号レベルに基づき、この画像信号に所定の画像処理を施す画像処理ステップと、
内視鏡により得られた画像信号により形成される画像領域に対して前記画像処理ステップで処理する関心領域を設定する関心領域設定ステップと、
前記関心領域内の画像の輝度を検出する輝度検出ステップと、
前記検出した輝度と所定の基準信号レベルを比較して、輝度が画像処理に不適切な領域を無効領域として検出する無効領域検出ステップと、
前記無効領域の大きさを算出して所定の閾値と比較することにより前記画像処理ステップによる画像処理を適正化するための画像処理適正化ステップと、
を備えたことを特徴とする内視鏡用画像処理方法。

本発明の第１の実施例を備えた内視鏡装置の全体構成図。図１における内部構成を示すブロック図。図３は回転フィルタ及び回転フィルタに設けられたＲＧＢフィルタ等の透過特性等を示す図。メニュー画面の表示例を示す図。モニタ画面に表示される内視鏡画像表示領域と表示位置及びサイズを変更して可能な関心領域を示す図。内視鏡画像表示領域に設定した関心領域に処理画像を擬似カラーで表示する表示例を示す図。図６とは異なる表示例を示す図。ＣＣＤのタイプを検出して対応するマスク信号を生成する処理動作を示すフローチャ−ト図。図８におけるタイプ１用マスク信号生成の処理動作を示すフローチャート図。画像処理を行った場合に関心領域のサイズに応じて関心領域内での画像処理を行うか否かの閾値を変更する動作を示すフローチャート図。原画像と画像処理した処理画像との表示を行う処理動作を示すフローチャート図。図１１における擬似カラー処理の表示の処理動作を示すフローチャート図。第１変形例の処理動作を示すフローチャート図。第２変形例の処理動作を示すフローチャート図。図１４における関心領域のサイズ及び位置を変更する処理動作のフローチャート図。第３変形例の処理動作を示すフローチャート図。本発明の実施例２における画像処理の処理動作を示すフローチャート図。

符号の説明

１…内視鏡装置
２…電子内視鏡
３…光源部
４…映像信号処理ブロック
５…画像処理ブロック
６…ビデオプロセッサ
７…モニタ
７ａ…内視鏡画像表示領域
７ｃ…関心領域
７ｄ…無効領域
８Ａ…モニタ画像撮影装置
８Ｂ…画像ファイリング装置
９…キーボード
１０…スコープスイッチ
１１…挿入部
１２…操作部
１３…ユニバ−サルコード
１４…コネクタ
１５…コネクタ受け部
１６…先端部
１７…湾曲部
１８…可撓部
２１…照明レンズ
２２…対物光学系
２３…ライトガイド
２４…ランプ
２５…絞り
２５ａ…絞りモータ
２６…モータ
２７…回転フィルタ
２８…ＲＧＢフィルタ
２９…蛍光観察用フィルタ
３０…ＣＣＤ
３１…移動用モータ
３２…励起光カットフィルタ
３９…メモリ部
４０…制御回路
４４…ＩＨｂ処理ブロック
４５…ＩＨｂ処理回路部
４６…無効領域検出部
４７…色ずれ検出回路
５１…後段画像処理回路
５６…ＣＰＵ
５７…検出回路
６１…ＩＨｂ算出回路
６２…ＩＨｂ平均値算出回路
６３…関心領域設定回路
６４…擬似画像生成回路
６５…画像合成回路
６６…面順次回路
６７…輝度検出回路
６８…無効領域検出回路
６９…無効領域表示回路
７０…スピーカ
代理人弁理士伊藤進

Claims

内視鏡により被検体の体腔内を撮像して得られる画像信号を処理する内視鏡用画像処理装置において、
前記内視鏡により得られた画像信号の信号レベルに基づき、この画像信号に所定の画像処理を施す画像処理手段と、
内視鏡により得られた画像信号により形成される画像領域に対して前記画像処理手段が処理する関心領域を設定する関心領域設定手段と、
前記関心領域内の画像の輝度を検出する輝度検出手段と、
前記検出した輝度と所定の基準信号レベルを比較して、輝度が画像処理に不適切な領域を無効領域として検出する無効領域検出手段と、
前記無効領域の大きさを算出して所定の閾値と比較することにより前記画像処理手段による画像処理を適正化するための画像処理適正化手段と、
を備えたことを特徴とする内視鏡用画像処理装置。
前記画像処理適正化手段は、前記無効領域の大きさが所定の閾値を越えているときに、前記画像処理を禁止する画像処理禁止手段であることを特徴とする請求項１記載の内視鏡用画像処理装置。
前記画像処理適正化手段は、前記無効領域の大きさが所定の閾値を越えているときに、報知する報知手段であることを特徴とする請求項１又は２記載の内視鏡用画像処理装置。
前記画像信号を得る為の可視光領域を含む照明光を供給する照明光供給手段と、前記照明光の明るさを制御する調光手段とを有し、前記画像適正化手段は、前記無効領域の大きさが所定の閾値を越えている場合、所定の閾値以下にするように前記調光手段を制御することを特徴とする請求項１又は２記載の内視鏡用画像処理装置。