JP2009219573A - 内視鏡用画像処理装置及び内視鏡用画像処理方法 - Google Patents

Abstract

【課題】内視鏡画像が見辛くなることを防止しつつ、ＰｉｎＰ処理機能と解像度変換処理機能とを安価に構成する。
【解決手段】プロセッサ装置には、内視鏡から出力される画像データに各種の画像処理を施す画像処理部３６が設けられている。画像処理部３６は、Ａ／Ｄ３５から出力された画像データに対してマスク処理を施す第１マスク処理部５０と、マスク処理が施された画像データに対して解像度変換処理とＰｉｎＰ処理とを行なうＰｉｎＰ処理回路５１と、ＰｉｎＰ処理回路５１から出力された画像データに対して再度マスク処理を施す第２マスク処理部５２とからなる。これにより、ＰｉｎＰ処理回路５１に汎用のビデオ出力用ＩＣを用いることができるので、ＰｉｎＰ処理と解像度変換処理とを安価に構成することができる。また、解像度変換後の画像データにマスク処理を施すので、内視鏡画像が見辛くなることもない。
【選択図】図４

Description

本発明は、内視鏡から出力される画像データに画像処理を施す内視鏡用画像処理装置、及びその画像処理方法に関する。

内視鏡システムは、患者の体腔内に挿入される挿入部の先端にＣＣＤなどの撮像素子を備えた内視鏡（スコープ）と、内視鏡から出力される画像データに画像処理を施してモニタに出力する内視鏡用画像処理装置（プロセッサ装置）とからなる。こうした内視鏡システムは、体腔内の所定の部位を詳細に観察したい場合などに観察画像を静止させる、いわゆるフリーズ機能を有している。

フリーズ機能を用いた際、静止画像だけをモニタに表示していると、挿入部がどのような状態になっているか把握できないため、挿入部の先端で体腔内を傷付けてしまう恐れがある。これを防止するため、プロセッサ装置は、静止画像の中に子画面領域を形成し、その中に観察画像を表示する、いわゆるＰｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ（以下、ＰｉｎＰと称す）機能を有している。

例えば、特許文献１では、色変換やγ補正を行なった画像データを２つに分け、一方の画像データに対して縮小処理を行うことにより、親画面用の画像データと子画面用の画像データとを生成している。そして、親画面用と子画面用とのそれぞれの画像データにマスク処理を施した後、親画面の上に子画面をオーバーレイ合成することにより、ＰｉｎＰ画面を構成している。マスク処理とは、画像データのうち、被写体像が結像しない周縁部分、いわゆる無効領域を覆い隠して内視鏡画像を見易くする処理である。従って、特許文献１のようにＰｉｎＰ処理を行うことで、各画像データの無効領域を覆った見易いＰｉｎＰ画面を構成することができる。

ＰｉｎＰ機能は、内視鏡システムに限ることなく、テレビやビデオプレイヤなどの一般的なＡＶ機器でも用いられている。このため、ＰｉｎＰ機能を実現するための回路一式を実装した汎用のビデオ出力用ＩＣが比較的安価に市販されている。しかしながら、マスク処理は、内視鏡システムにおいてのみ必要となる処理であるため、汎用のビデオ出力用ＩＣを用いてマスク処理を行うことはできない。このため、特許文献１の手順でＰｉｎＰ処理を行おうとすると、専用の回路を設計・製造しなければならず、多大な費用が必要になるという問題が生じる。

この問題の解決策として、撮像素子から出力された画像データに対して先にマスク処理を行い、マスク処理後の画像にＰｉｎＰ処理を行うことが考えられる。この順番で各処理を行うようにすれば、汎用のビデオ出力用ＩＣを用いて見易いＰｉｎＰ画面を安価に構成することができる。
特開平１０−１５５７３７号公報

近年、内視鏡システムでは、より高精細な画像を表示するため、モニタの高解像度化が進んでいる。これに合わせて、内視鏡の撮像素子も高解像度モニタに応じたものが用いられてきている。ところで、多数の内視鏡が必要になる医療現場では、全ての内視鏡をモニタに合わせて高解像度対応のものに替えようとすると、コスト的な負担が大きくなってしまう。このため、高解像度モニタに変更した後にも、低解像度の撮像素子を備えた内視鏡を使用したいという要望がある。

低解像度の撮像素子から出力された画像データを高解像度モニタにそのまま表示させると、アスペクト比が狂って内視鏡画像が見辛くなったり、モニタ画面に無用な余白が生じて見栄えが悪くなったりしてしまう。これを防止するためには、撮像素子から出力された画像データの解像度を高解像度モニタに対応した解像度に変換する解像度変換処理を行う必要がある。解像度変換処理機能は、ＰｉｎＰ処理を行う汎用のビデオ出力用ＩＣに含まれていることが多い。従って、プロセッサ装置を安価に提供するためには、ＰｉｎＰ処理機能を備えた汎用のビデオ出力用ＩＣを用いて解像度変換処理を行うことが好ましい。

汎用のビデオ出力用ＩＣを用いる場合、マスク処理後の画像に対して解像度変換処理を行わなければならない。しかしながら、マスク処理後の画像に対して解像度を高くする解像度変換処理を行うと、マスク開口部の形状が粗くなってギザギザになり、内視鏡画像が見辛くなってしまうという問題が生じる。さりとて、汎用のビデオ出力用ＩＣとは別の回路で解像度変換処理を行おうとすると、その分だけ余計なコストが掛かってしまう。

本発明は、上記課題を鑑みてなされたものであって、内視鏡画像が見辛くなることを防止しつつ、ＰｉｎＰ処理機能と解像度変換処理機能とを安価に構成することを目的とする。

上記目的を達成するため、内視鏡から出力される画像データに画像処理を施してモニタに出力する本発明の内視鏡用画像処理装置は、前記内視鏡に設けられた撮像素子の撮像面上に結像された被写体像を示す画像表示領域と、前記撮像面の前記被写体像が結像されなかった部分を示す無効領域とを有する前記画像データに対して、前記画像表示領域のみを露呈させる第１露呈部が設けられた第１マスク画像を用いてマスク処理を施し、第１観察画像を生成する第１マスク処理手段と、前記第１観察画像に縮小処理を施して生成した第２観察画像を前記第１観察画像に合成する処理と、前記第１観察画像よりも解像度が高くなる解像度変換をする処理とを施し、合成観察画像を生成する合成観察画像生成手段と、前記解像度変換処理が施された前記第１観察画像の前記第１露呈部よりも小さく形成され、前記第１観察画像の前記画像表示領域のみを露呈させる第２露呈部が設けられた第２マスク画像を用いて前記合成観察画像にマスク処理を施す第２マスク処理手段とを備えたことを特徴とする。

なお、前記第２マスク画像には、前記第２観察画像を露呈させる第３露呈部が設けられていることが好ましい。

また、前記合成観察画像生成手段は、前記第１観察画像に縮小処理を施して第２観察画像を生成する縮小処理部と、前記第１観察画像に対して前記解像度変換処理を施す第１解像度変換処理部と、前記第２観察画像に対して前記解像度変換処理を施す第２解像度変換処理部と、前記解像度変換処理後の前記第１観察画像上に前記解像度変換処理後の前記第２観察画像を重ねて合成し、前記合成観察画像を生成する画像合成部とからなることが好ましい。

さらに、前記第１露呈部は、略円形に形成された開口であり、前記第２露呈部は、前記解像度変換処理によって粗くなる前記第１観察画像の前記第１露呈部の内接円の形状に形成された開口であることが好ましい。

なお、前記合成観察画像生成手段は、矩形状に形成される前記第１観察画像の四隅のいずれかに前記第２観察画像を重ね、前記第３露呈部は、前記第１観察画像に応じて矩形状に形成される前記第２マスク画像の前記第２観察画像に対応する隅部を切り欠いた切欠であることが好ましい。

また、前記合成観察画像生成手段は、１つの汎用のビデオ出力用ＩＣで構成されることが好ましい。

さらに、内視鏡から出力される画像データに画像処理を施してモニタに出力する本発明の内視鏡用画像処理方法は、前記内視鏡に設けられた撮像素子の撮像面上に結像された被写体像を示す画像表示領域と、前記撮像面の前記被写体像が結像されなかった部分を示す無効領域とを有する前記画像データに対して、前記画像表示領域のみを露呈させる第１露呈部が設けられた第１マスク画像を用いてマスク処理を施し、第１観察画像を生成する第１マスク処理ステップと、前記第１観察画像に縮小処理を施して生成した第２観察画像を前記第１観察画像に合成する処理と、前記第１観察画像よりも解像度が高くなる解像度変換をする処理とを施し、合成観察画像を生成する合成観察画像生成ステップと、前記解像度変換処理が施された前記第１観察画像の前記第１露呈部よりも小さく形成され、前記第１観察画像の前記画像表示領域のみを露呈させる第２露呈部が設けられた第２マスク画像を用いて前記合成観察画像にマスク処理を施す第２マスク処理ステップとを有することを特徴とする。

本発明では、解像度変換処理と合成観察画像の生成とを合成観察画像生成手段で行なう。合成観察画像生成手段は、汎用のビデオ出力用ＩＣとして市販されているので、ＰｉｎＰ処理機能と解像度変換処理機能とを安価に構成することができる。また、合成観察画像に対してさらにマスク処理を施すようにしたので、内視鏡画像が見辛くなることも防止することができる。

図１は、内視鏡システム２の構成を概略的に示すブロック図である。内視鏡システム２は、患者の体腔内を撮影する電子内視鏡１０と、内視鏡画像を生成するプロセッサ装置１２（内視鏡用画像処理装置）と、内視鏡画像を表示するモニタ１４とからなる。電子内視鏡１０は、コネクタを介してプロセッサ装置１２、及び図示を省略した光源装置に着脱自在に接続される。モニタ１４には、例えば、１０２４ｐｉｘｅｌ×７６８ｌｉｎｅのＸＧＡの解像度を有する液晶モニタが用いられる。

電子内視鏡１０には、ＣＣＤ（撮像素子）２０とフリーズボタン２２とが設けられている。ＣＣＤ２０は、患者の体腔内に挿入される挿入部の先端に配置され、観察窓及び光学系を介して入射した被写体像を撮像する。このＣＣＤ２０には、例えば、７２０ｐｉｘｅｌ×２４２ｌｉｎｅの解像度を有するＮＴＳＣ出力用のものが用いられる。フリーズボタン２２は、電子内視鏡１０の手元操作部に配置され、プロセッサ装置１２と電気的に接続される。フリーズボタン２２は、モニタ１４に動画像で表示される内視鏡画像の静止をプロセッサ装置１２に指示するためのものである。内視鏡検査を実施する術者は、例えば、患部を詳細に観察したい場合などにフリーズボタン２２を押圧し、内視鏡画像を静止表示させる。

内視鏡システム２で検査を開始すると、モニタ１４には、図２に示す通常観察画面４０が表示される。通常観察画面４０には、ＣＣＤ２０が撮影した内視鏡画像を表示する画像表示領域４０ａと、画像データの余分な部分を覆い隠すマスク領域４０ｂとが形成されている。画像表示領域４０ａには、リアルタイムの内視鏡画像が動画像として表示される。

フリーズボタン２２を押圧すると、モニタ１４の表示が通常観察画面４０から図３に示すＰｉｎＰ画面４２に切り替えられる。ＰｉｎＰ画面４２には、親画面４３と子画面４４とが設けられている。親画面４３と子画面４４とには、通常観察画面４０と同様に、それぞれ画像表示領域４３ａ、４４ａ、及びマスク領域４３ｂ、４４ｂが形成されている。

親画面４３の画像表示領域４３ａには、フリーズボタン２２を押圧した時点で撮影された内視鏡画像が静止表示される。一方、子画面４４の画像表示領域４４ａには、リアルタイムの内視鏡画像が動画像として表示される。このように、子画面４４を形成して静止画と動画とを同時に表示することにより、静止画を表示している間に電子内視鏡１０の挿入部で患者の体腔内を傷付けてしまうことを防止することができる。

プロセッサ装置１２には、ＣＰＵ３０、フラッシュメモリ３１、タイミングジェネレータ（以下、ＴＧと称す）３２、ＣＣＤドライバ３３、相関二重サンプリング／プログラマブルゲインアンプ（以下、ＣＤＳ／ＰＧＡと称す）３４、Ａ／Ｄ変換器（以下、Ａ／Ｄと称す）３５、画像処理部３６、表示制御部３７が設けられている。

不揮発性の半導体メモリであるフラッシュメモリ３１には、プロセッサ装置１２を制御するための各種のプログラムが記憶されている。ＣＰＵ３０は、フラッシュメモリ３１から各プログラムを読み出し、それを逐次処理することによってプロセッサ装置１２の各部を統括的に制御する。また、ＣＰＵ３０には、電子内視鏡１０に設けられたユニバーサルコード、及びコネクタなどを介してフリーズボタン２２が接続されている。

ＴＧ３２は、ＣＰＵ３０の制御の下、タイミング信号（クロックパルス）をＣＣＤドライバ３３に入力する。ＣＣＤドライバ３３は、入力されたタイミング信号に基づいて駆動信号をＣＣＤ２０に入力し、ＣＣＤ２０の蓄積電荷の読み出しタイミングやＣＣＤ２０の電子シャッタのシャッタ速度などを制御する。

ＣＤＳ／ＰＧＡ３４は、ＣＣＤドライバ３３の制御に基づいてＣＣＤ２０から出力される撮像信号に対し、ノイズ除去と増幅とを行い、Ａ／Ｄ３５に出力する。Ａ／Ｄ３５は、ＣＤＳ／ＰＧＡ３４から出力されたアナログの撮像信号をデジタルの画像データに変換し、画像処理部３６に出力する。

画像処理部３６は、Ａ／Ｄ３５でデジタル化された画像データに対し、ＣＰＵ３０からの指示に応じて各種の画像処理を施す。そして、画像処理後の画像データを表示制御部３７に出力する。表示制御部３７は、画像処理部３６から出力された画像データをモニタ１４の形式に対応したビデオ信号（コンポーネント信号、コンポジット信号など）に変換し、そのビデオ信号をモニタ１４に出力する。これにより、通常観察画面４０、又はＰｉｎＰ画面４２がモニタ１４に表示される。

図４は、画像処理部３６の構成を概略的に示すブロック図である。画像処理部３６には、Ａ／Ｄ３５から出力された画像データに対してマスク処理を施す第１マスク処理部（第１マスク処理手段）５０と、第１マスク処理部５０から出力された画像データに対してＰｉｎＰ処理を施すＰｉｎＰ処理回路（合成観察画像生成手段）５１と、ＰｉｎＰ処理回路５１から出力された画像データに対して再度マスク処理を施す第２マスク処理部（第２マスク処理手段）５２とが設けられている。

図５に示すように、Ａ／Ｄ３５から出力される原画像７０は、電子内視鏡１０の光学系によってＣＣＤ２０の撮像面上に結像された被写体像（内視鏡画像）を示す画像表示領域７０ａと、被写体像が結像されなかった部分を示す無効領域７０ｂ（斜線で示す部分）とを有している。無効領域７０ｂは、電子内視鏡１０の光学系がＣＣＤ２０の撮像面に対して略円形に被写体像を結像することによって生じる、いわゆるケラレである。

画像表示領域７０ａと無効領域７０ｂとの境界は、滑らかな曲線ではなく、光学系の鏡胴枠内での光の反射具合などによってギザギザに粗くなる。このため、原画像７０をそのままモニタ１４に表示してしまうと、境界部分がちらつき、画像表示領域７０ａに示される内視鏡画像が見辛くなってしまう。このため、第１マスク処理部５０は、第１マスク画像７１を用いて原画像７０にマスク処理を施すことにより、内視鏡画像を見易くする。

第１マスク画像７１は、原画像７０と同一サイズの矩形に形成されている。また、第１マスク画像７１は、略円形に形成された開口（第１露呈部）７１ａを有している。開口７１ａは、図中二点鎖線で示すように、画像表示領域７０ａと無効領域７０ｂとの境界よりも僅かに小さく形成されるとともに、その中心と画像表示領域７０ａの中心とが一致するように配置されている。

第１マスク処理部５０は、Ａ／Ｄ３５から原画像７０を受け取ると、その原画像７０に第１マスク画像７１を重ねて合成し、内視鏡画像を示す画像表示領域７２ａと、開口７２ｃが形成されたマスク領域７２ｂとからなる第１観察画像７２を生成する。第１観察画像７２では、原画像７０の無効領域７０ｂ、及び画像表示領域７０ａと無効領域７０ｂとの境界がマスク領域７２ｂによって覆われるので、内視鏡画像を見易くすることができる。また、第１マスク処理部５０は、生成した第１観察画像７２をＰｉｎＰ処理回路５１に出力する。

ＰｉｎＰ処理回路５１は、縮小処理部５４、第１解像度変換処理部５５、第２解像度変換処理部５６、第１画像メモリ５７、第２画像メモリ５８、画像合成部５９で構成されている。このＰｉｎＰ処理回路５１には、市販されている汎用のビデオ出力用ＩＣが用いられる。

ＰｉｎＰ処理回路５１は、第１マスク処理部５０から出力された第１観察画像７２を縮小処理部５４と第１解像度変換処理部５５とに入力する。第１解像度変換処理部５５は、入力された第１観察画像７２の解像度がモニタ１４の解像度よりも低い場合に、図６に示すように、第１観察画像７２に対して解像度が高くなる解像度変換処理を施し、第１観察画像７２の解像度をモニタ１４の解像度に対応させる。本実施形態では、モニタ１４とＣＣＤ２０とが上述のように解像度を有しているので、第１解像度変換処理部５５は、７２０ｐｉｘｅｌ×２４２ｌｉｎｅの第１観察画像７２を１０２４ｐｉｘｅｌ×７６８ｌｉｎｅの第１観察画像７２Ｒに解像度変換する。そして、第１解像度変換処理部５５は、解像度変換処理後の第１観察画像７２Ｒを第１画像メモリ５７に書き込む。

縮小処理部５４は、入力された第１観察画像７２に対して縮小処理を施し、図７に示すように、第２観察画像７３を生成する。第２観察画像７３は、第１観察画像７２を縦横等倍に縮小したものであり、ＰｉｎＰ画面４２の子画面４４を表示するために用いられる。また、この第２観察画像７３も、第１観察画像７２と同様に、内視鏡画像を示す画像表示領域７３ａと、開口７３ｃが形成されたマスク領域７３ｂとを有している。縮小処理部５４は、第２観察画像７３を生成すると、その第２観察画像７３を第２解像度変換処理部５６に出力する。

第２解像度変換処理部５６は、第２観察画像７３に対して解像度が高くなる解像度変換処理を施し、第２観察画像７３の解像度をモニタ１４の解像度に対応させる。そして、解像度変換処理後の第２観察画像７３Ｒを第２画像メモリ５８に書き込む。

画像合成部５９は、所定のタイミングで各画像メモリ５７、５８にアクセスし、各画像メモリ５７、５８に記憶された各観察画像７２Ｒ、７３Ｒを読み出す。画像合成部５９は、各観察画像７２Ｒ、７３Ｒを読み出すと、図８に示すように、第１観察画像７２Ｒの左下隅に第２観察画像７３Ｒを重ねて合成し、第１観察画像７２Ｒに基づく親画像７５と、第２観察画像７３Ｒに基づく子画像７６とを有するＰｉｎＰ画像（合成観察画像）７４を生成する。各画像７５、７６には、内視鏡画像を示す画像表示領域７５ａ、７６ａと、開口７５ｃ、７６ｃが形成されたマスク領域７５ｂ、７６ｂが、それぞれ形成されている。

このように、ＰｉｎＰ処理回路５１は、第１マスク処理部５０から出力された第１観察画像７２に対して解像度変換処理とＰｉｎＰ処理とを行なう。また、ＰｉｎＰ処理回路５１が各処理を実行するか否かは、ＣＰＵ３０によって制御される。

ＣＰＵ３０は、フリーズボタン２２によって内視鏡画像の静止表示が指示された際に、解像度変換処理とＰｉｎＰ処理とを行わせるようにＰｉｎＰ処理回路５１を制御する。従って、内視鏡画像の静止表示が指示された場合には、ＰｉｎＰ画像７４がＰｉｎＰ処理回路５１から第２マスク処理部５２に出力される。一方、フリーズボタン２２によって内視鏡画像の静止表示が指示されていない場合、ＣＰＵ３０は、解像度変換処理のみを行わせるようにＰｉｎＰ処理回路５１を制御する。この場合、ＰｉｎＰ処理回路５１は、縮小処理部５４による第２観察画像７３の生成、及び画像合成部５９による画像合成などを行なわずに、第１解像度変換処理部５５によって解像度変換処理が施された第１観察画像７２Ｒを第２マスク処理部５２に出力する。

また、ＣＰＵ３０は、内視鏡画像の静止表示が指示された場合、第１解像度変換処理部５５による第１画像メモリ５７への第１観察画像７２Ｒの書き込みを禁止する。これにより、画像合成部５９がＰｉｎＰ画像７４を生成する際に、フリーズボタン２２の押圧時に撮影された同じ第１観察画像７２Ｒを第１画像メモリ５７から読み出し、第２観察画像７３Ｒのみを現在撮影されているものに更新するので、ＰｉｎＰ画面４２の親画面４３に静止画が、子画面４４に動画が、それぞれ表示される。

図６に示すように、第１観察画像７２に対して解像度が高くなる解像度変換処理を施すと、画素の輪郭が目立つようになるため、開口７２Ｒｃの形状がギザギザに粗くなって内視鏡画像が見辛くなってしまう。第２マスク処理部５２は、これを改善して内視鏡画像を見易くするため、ＰｉｎＰ処理回路５１から出力される第１観察画像７２Ｒ、又はＰｉｎＰ画像７４に対して再度マスク処理を施す。

第２マスク処理部５２は、ＰｉｎＰ処理回路５１からＰｉｎＰ画像７４を受け取ると、図９に示すように、そのＰｉｎＰ画像７４に第２マスク画像７７を重ねて合成し、モニタ１４に表示する表示用ＰｉｎＰ画像７８を生成する。第２マスク画像７７は、ＰｉｎＰ画像７４と同一サイズの矩形に形成されている。また、第２マスク画像７７は、開口（第２露呈部）７７ａと、切欠（第３露呈部）７７ｂ（図中破線で示す部分）とを有している。開口７７ａは、図中二点鎖線で示すように、解像度変換処理によって粗くなった親画像７５の開口７５ｃの内接円の形状に形成されている。切欠７７ｂは、子画像７６に応じて第２マスク画像７７の左下隅部を切り欠いたものである。この切欠７７ｂによって、子画像７６が露呈される。

表示用ＰｉｎＰ画像７８は、親画像７９と子画像８０とを有している。そして、各画像７９、８０には、画像表示領域７９ａ、８０ａと、開口７９ｃ、８０ｃが形成されたマスク領域７９ｂ、８０ｂが、それぞれ形成されている。ＰｉｎＰ画像７４の親画像７５の開口７５ｃは、第２マスク画像７７によって覆われる。これにより、表示用ＰｉｎＰ画像７８では、親画像７９の画像表示領域７９ａに表示される内視鏡画像を見易くすることができる。第２マスク処理部５２は、生成した表示用ＰｉｎＰ画像７８を表示制御部３７に出力する。これにより、ＰｉｎＰ画面４２がモニタ１４に表示される。

一方、第２マスク処理部５２は、ＰｉｎＰ処理回路５１から第１観察画像７２Ｒを受け取ると、図１０に示すように、その第１観察画像７２Ｒに第３マスク画像８１を重ねて合成し、モニタ１４に表示する表示用観察画像８２を生成する。第３マスク画像８１は、第１観察画像７２Ｒと同一サイズの矩形に形成されている。また、第３マスク画像８１は、開口８１ａを有している。開口８１ａは、第２マスク画像７７の開口７７ａと同様に、解像度変換処理によって粗くなった第１観察画像７２Ｒの開口７２Ｒｃの内接円の形状に形成されている。

表示用観察画像８２には、画像表示領域８２ａと、開口８２ｃが形成されたマスク領域８２ｂとが形成されている。第１観察画像７２Ｒの開口７２Ｒｃは、第３マスク画像８１によって覆われる。これにより、表示用観察画像８２では、画像表示領域８２ａに表示される内視鏡画像を見易くすることができる。第２マスク処理部５２は、生成した表示用観察画像８２を表示制御部３７に出力する。これにより、通常観察画面４０がモニタ１４に表示される。

次に、図１１に示すフローチャートを参照しながら、上記構成による内視鏡システム２の作用について説明する。内視鏡システム２で検査を実施する際には、先ず洗浄・消毒などが施された清潔な電子内視鏡１０をプロセッサ装置１２に接続する。そして、プロセッサ装置１２に設けられた検査開始ボタンを押圧し、検査を開始する。

プロセッサ装置１２のＣＰＵ３０は、検査開始が指示されると、ＴＧ３２を制御し、ＣＣＤドライバ３３によるＣＣＤ２０の駆動を開始させる。ＣＣＤ２０は、ＣＣＤドライバ３３からの駆動信号に応じて被写体像を撮像し、撮像信号をＣＤＳ／ＰＧＡ３４に出力する。ＣＣＤ２０から出力された撮像信号は、ＣＤＳ／ＰＧＡ３４によるノイズ除去と増幅とが行なわれた後、Ａ／Ｄ３５に入力され、Ａ／Ｄ３５によってデジタルの画像データに変換される。Ａ／Ｄ３５は、変換した画像データを画像処理部３６の第１マスク処理部５０に入力する。

第１マスク処理部５０は、Ａ／Ｄ３５から出力された画像データが示す原画像７０に対してマスク処理を施し、第１観察画像７２を生成する。生成された第１観察画像７２は、ＰｉｎＰ処理回路５１の縮小処理部５４、及び第１解像度変換処理部５５に入力される。

フリーズボタン２２によって内視鏡画像の静止表示が指示されていない場合、ＰｉｎＰ処理回路５１は、第１マスク処理部５０から入力された第１観察画像７２に対して第１解像度変換処理部５５による解像度変換処理のみを行う。第１解像度変換処理部５５は、第１観察画像７２に対して解像度が高くなる解像度変換処理を施し、処理後の第１観察画像７２Ｒを第１画像メモリ５７に書き込む。書き込まれた第１観察画像７２Ｒは、画像合成部５９に読み出され、第２マスク処理部５２に入力される。

第２マスク処理部５２は、入力された第１観察画像７２Ｒに対してマスク処理を施し、表示用観察画像８２を生成する。表示用観察画像８２では、解像度変換処理によって粗くなった第１観察画像７２Ｒの開口７２Ｒｃが第３マスク画像８１によって覆われるので、画像表示領域８２ａに表示される内視鏡画像が見易くなる。

表示用観察画像８２は、表示制御部３７に入力される。表示制御部３７は、表示用観察画像８２をモニタ１４の形式に対応したビデオ信号に変換し、モニタ１４に出力する。これにより、通常観察画面４０がモニタ１４に表示される。

内視鏡検査を実施する術者は、通常観察画面４０の画像表示領域４０ａに動画像で表示される内視鏡画像を見ながら患者の体腔内を観察する。そして、より詳細に観察したい場合などにフリーズボタン２２を押圧し、内視鏡画像の静止表示をプロセッサ装置１２に指示する。プロセッサ装置１２のＣＰＵ３０は、静止表示の指示を受けると、解像度変換処理とＰｉｎＰ処理とを行わせるようにＰｉｎＰ処理回路５１を制御する。また、この際、ＣＰＵ３０は、第１解像度変換処理部５５による第１画像メモリ５７への第１観察画像７２Ｒの書き込みを禁止させる。

ＰｉｎＰ処理回路５１は、内視鏡画像の静止表示の指示を受けると、縮小処理部５４に第１観察画像７２の縮小処理を行わせる。縮小処理部５４は、第１観察画像７２に対して縮小処理を施し、第２観察画像７３を生成する。生成された第２観察画像７３は、第２解像度変換処理部５６に入力され、第２解像度変換処理部５６で解像度が高くなる解像度変換処理が施される。解像度変換処理後の第２観察画像７３Ｒは、第２画像メモリ５８に書き込まれた後、画像合成部５９に読み出される。

画像合成部５９は、第２観察画像７３Ｒを読み出すとともに、フリーズボタン２２の押圧時に撮影された第１観察画像７２Ｒを第１画像メモリ５７から読み出す。そして、第１観察画像７２Ｒの左下隅に第２観察画像７３Ｒを重ねて合成し、ＰｉｎＰ画像７４を生成する。生成されたＰｉｎＰ画像７４は、第２マスク処理部５２に入力される。第２マスク処理部５２は、入力されたＰｉｎＰ画像７４に対してマスク処理を施し、表示用ＰｉｎＰ画像７８を生成する。表示用ＰｉｎＰ画像７８では、解像度変換処理によって粗くなったＰｉｎＰ画像７４の親画像７５の開口７５ｃが第２マスク画像７７によって覆われるので、親画像７９の画像表示領域７９ａに表示される内視鏡画像が見易くなる。

表示用ＰｉｎＰ画像７８は、表示制御部３７に入力される。表示制御部３７は、表示用ＰｉｎＰ画像７８をモニタ１４の形式に対応したビデオ信号に変換し、モニタ１４に出力する。これにより、ＰｉｎＰ画面４２がモニタ１４に表示される。ＰｉｎＰ画面４２で詳細な観察を行なった術者は、再びフリーズボタン２２を押圧し、内視鏡画像の静止表示の解除をプロセッサ装置１２に指示する。静止表示の解除が指示されると、モニタ１４の表示がＰｉｎＰ画面４２から通常観察画面４０に戻る。

このように、本実施形態によれば、解像度変換処理と合成観察画像の生成とを行なうＰｉｎＰ処理回路５１に汎用のビデオ出力用ＩＣを用いて、ＰｉｎＰ処理機能と解像度変換処理機能とを安価に構成することができる。また、第２マスク処理部５２でＰｉｎＰ画像７４に対してさらにマスク処理を施すようにしたので、内視鏡画像が見辛くなることも防止することができる。

ところで、解像度を高くする解像度変換処理によってマスク開口の形状が粗くなるのは、第１観察画像７２に限ることなく、第２観察画像７３でも同様に生じる。上記実施形態では、表示用ＰｉｎＰ画像７８を生成する際に、開口７７ａと切欠７７ｂとが形成された第２マスク画像７７によってマスク処理を行っているため、子画像８０にはマスクが掛けられず、粗くなった開口８０ｃがそのまま表示されてしまう。

このため、図１２に示すように、ＰｉｎＰ画像７４に対し、親画像７５の画像表示領域７５ａのみを露呈させる第１開口８４ａと、子画像７６の画像表示領域７６ａのみを露呈させる第２開口８４ｂとが形成されたマスク画像８４を用いてマスク処理を行うことにより、表示用ＰｉｎＰ画像８５を生成するようにしてもよい。

表示用ＰｉｎＰ画像８５は、親画像８６と子画像８７とを有している。また、各画像８６、８７には、内視鏡画像を示す画像表示領域８６ａ、８７ａと、開口８６ｃ、８７ｃが形成されたマスク領域８６ｂ、８７ｂが、それぞれ形成されている。この表示用ＰｉｎＰ画像８５では、合成前のＰｉｎＰ画像７４の各開口７５ｃ、７６ｃが覆われるので、各画像表示領域８６ａ、８７ａに表示される内視鏡画像を見易くすることができる。

但し、マスク画像８４のように複雑な形状のマスクを用いてマスク処理を行うと、処理時間が長くなってしまったり、マスク画像８４や表示用ＰｉｎＰ画像８５の容量が大きくなってしまうといった問題が生じる。また、第２観察画像７３のサイズが十分小さい場合には、図９に示すようにマスク処理を行った場合にも、解像度変換処理にともなう開口８０ｃの粗さは、さほど目立たない。従って、親画像７５の開口７５ｃのみにマスク処理を行うか、親画像７５の開口７５ｃと子画像７６の開口７６ｃとの双方にマスク処理を行うかは、第２マスク処理部５２の処理能力、画像容量、第２観察画像７３のサイズなどに応じて適宜決定すればよい。

なお、上記実施形態では、第１観察画像７２Ｒの左下隅に第２観察画像７３Ｒを重ねてＰｉｎＰ画像７４を生成したが、第２観察画像７３Ｒを重ねる位置は、これに限ることなく、右上隅、右下隅、左上隅など第１観察画像７２Ｒの観察の邪魔にならない位置であれば、何処に配置してもよい。また、上記実施形態では、第１観察画像７２Ｒに第２観察画像７３Ｒを重ねて合成したＰｉｎＰ画像７４を合成観察画像として示したが、合成観察画像は、これに限ることなく、第１観察画像７２Ｒと第２観察画像７３Ｒとを並べて合成したものでもよい。

また、上記実施形態では、第２観察画像の生成処理、各観察画像の解像度変換処理、各画像の合成処理の手順で合成観察画像を生成したが、合成観察画像の生成手順は、これに限定されるものではない。例えば、第２観察画像の生成処理、各画像の合成処理、合成した画像の解像度変換処理といったように、解像度変換処理の前に合成処理を行って合成観察画像を生成してもよい。さらには、第１観察画像に解像度変換処理を行い、変換処理後の第１観察画像に縮小処理を施して第２観察画像を生成し、各画像を合成して合成観察画像を生成するといったように、最初に解像度変換処理を行って合成観察画像を生成してもよい。

なお、上記実施形態では、電子内視鏡１０を内視鏡として示したが、内視鏡は、これに限ることなく、例えば、超音波内視鏡などでもよい。また、上記実施形態では、患者を被検体とする医療用の内視鏡を示したが、内視鏡は、これに限ることなく、配管などを被検体とする工業用のものでもよい。また、上記実施形態では、撮像素子としてＣＣＤ２０を示したが、撮像素子は、これに限ることなく、例えば、ＣＭＯＳイメージセンサなどであってもよい。

内視鏡システムの構成を概略的に示すブロック図である。 通常観察画面の一例を示す説明図である。 ＰｉｎＰ画面の一例を示す説明図である。 画像処理部の構成を概略的に示すブロック図である。 第１マスク処理部におけるマスク処理の概念を示す説明図である。 第１解像度変換処理部における解像度変換処理の概念を示す説明図である。 縮小画像生成部における縮小処理、及び第２解像度変換処理部における解像度変換処理の概念を示す説明図である。 画像合成部における合成処理の概念を示す説明図である。 第２マスク処理部におけるＰｉｎＰ画像へのマスク処理の概念を示す説明図である。 第２マスク処理部における第１観察画像へのマスク処理の概念を示す説明図である。 通常観察画面とＰｉｎＰ画面との表示手順を概略的に示すフローチャートである。 親画面の開口と子画面の開口との双方にマスク処理を行う例を示す説明図である。

符号の説明

２ 内視鏡システム
１０ 電子内視鏡
１２ プロセッサ装置（内視鏡用画像処理装置）
１４ モニタ
２０ ＣＣＤ（撮像素子）
５０ 第１マスク処理部（第１マスク処理手段）
５１ ＰｉｎＰ処理回路（合成観察画像生成手段）
５２ 第２マスク処理部（第２マスク処理手段）
５４ 縮小処理部
５５ 第１解像度変換処理部
５６ 第２解像度変換処理部
５９ 画像合成部
７０ 原画像
７０ａ 画像表示領域
７０ｂ 無効領域
７１ 第１マスク画像
７１ａ 開口（第１露呈部）
７２ 第１観察画像
７３ 第２観察画像
７４ ＰｉｎＰ画像（合成観察画像）
７７ 第２マスク画像
７７ａ 開口（第２露呈部）
７７ｂ 切欠（第３露呈部）

Claims (7)

1. 内視鏡から出力される画像データに画像処理を施してモニタに出力する内視鏡用画像処理装置において、
   前記内視鏡に設けられた撮像素子の撮像面上に結像された被写体像を示す画像表示領域と、前記撮像面の前記被写体像が結像されなかった部分を示す無効領域とを有する前記画像データに対して、前記画像表示領域のみを露呈させる第１露呈部が設けられた第１マスク画像を用いてマスク処理を施し、第１観察画像を生成する第１マスク処理手段と、
   前記第１観察画像に縮小処理を施して生成した第２観察画像を前記第１観察画像に合成する処理と、前記第１観察画像よりも解像度が高くなる解像度変換をする処理とを施し、合成観察画像を生成する合成観察画像生成手段と、
   前記解像度変換処理が施された前記第１観察画像の前記第１露呈部よりも小さく形成され、前記第１観察画像の前記画像表示領域のみを露呈させる第２露呈部が設けられた第２マスク画像を用いて前記合成観察画像にマスク処理を施す第２マスク処理手段とを備えたことを特徴とする内視鏡用画像処理装置。
2. 前記第２マスク画像には、前記第２観察画像を露呈させる第３露呈部が設けられていることを特徴とする請求項１記載の内視鏡用画像処理装置。
3. 前記合成観察画像生成手段は、前記第１観察画像に縮小処理を施して第２観察画像を生成する縮小処理部と、前記第１観察画像に対して前記解像度変換処理を施す第１解像度変換処理部と、前記第２観察画像に対して前記解像度変換処理を施す第２解像度変換処理部と、前記解像度変換処理後の前記第１観察画像上に前記解像度変換処理後の前記第２観察画像を重ねて合成し、前記合成観察画像を生成する画像合成部とからなることを特徴とする請求項１又は２記載の内視鏡用画像処理装置。
4. 前記第１露呈部は、略円形に形成された開口であり、
   前記第２露呈部は、前記解像度変換処理によって粗くなる前記第１観察画像の前記第１露呈部の内接円の形状に形成された開口であることを特徴とする請求項１から３のいずれか１項に記載の内視鏡用画像処理装置。
5. 前記合成観察画像生成手段は、矩形状に形成される前記第１観察画像の四隅のいずれかに前記第２観察画像を重ね、
   前記第３露呈部は、前記第１観察画像に応じて矩形状に形成される前記第２マスク画像の前記第２観察画像に対応する隅部を切り欠いた切欠であることを特徴とする請求項２から４のいずれか１項に記載の内視鏡用画像処理装置。
6. 前記合成観察画像生成手段を１つの汎用のビデオ出力用ＩＣで構成することを特徴とする請求項１から５のいずれか１項に記載の内視鏡用画像処理装置。
7. 内視鏡から出力される画像データに画像処理を施してモニタに出力する内視鏡用画像処理方法において、
   前記内視鏡に設けられた撮像素子の撮像面上に結像された被写体像を示す画像表示領域と、前記撮像面の前記被写体像が結像されなかった部分を示す無効領域とを有する前記画像データに対して、前記画像表示領域のみを露呈させる第１露呈部が設けられた第１マスク画像を用いてマスク処理を施し、第１観察画像を生成する第１マスク処理ステップと、
   前記第１観察画像に縮小処理を施して生成した第２観察画像を前記第１観察画像に合成する処理と、前記第１観察画像よりも解像度が高くなる解像度変換をする処理とを施し、合成観察画像を生成する合成観察画像生成ステップと、
   前記解像度変換処理が施された前記第１観察画像の前記第１露呈部よりも小さく形成され、前記第１観察画像の前記画像表示領域のみを露呈させる第２露呈部が設けられた第２マスク画像を用いて前記合成観察画像にマスク処理を施す第２マスク処理ステップとを有することを特徴とする内視鏡用画像処理方法。

Images