JP2010051372A - 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法 - Google Patents

内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法 Download PDF

Info

Publication number
JP2010051372A
JP2010051372A JP2008216815A JP2008216815A JP2010051372A JP 2010051372 A JP2010051372 A JP 2010051372A JP 2008216815 A JP2008216815 A JP 2008216815A JP 2008216815 A JP2008216815 A JP 2008216815A JP 2010051372 A JP2010051372 A JP 2010051372A
Authority
JP
Japan
Prior art keywords
image
mask
data
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008216815A
Other languages
English (en)
Inventor
Kotaro Hitani
康太郎 檜谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008216815A priority Critical patent/JP2010051372A/ja
Publication of JP2010051372A publication Critical patent/JP2010051372A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】データサイズの大きいマスク画像のビットマップデータをメモリに格納することなく、内視鏡画像にマスク処理を施す。
【解決手段】プロセッサ装置12のROM38に、マスク画像46のマスク部46a及び露呈部52のそれぞれの画素数を、マスク画像46の水平ライン毎に所定の基準位置からカウントして求めた画素数データ55を記憶しておく。プロセッサ装置12の電源がONされた時に、ROM38から画素数データ55を読み出し、この画素数データ55をマスク画像46のビットマップデータ54に変換する。ビットマップデータ54に基づき、電子内視鏡11で得られた原画像44にマスク画像46を合成してモニタ27へ出力する。
【選択図】図5

Description

本発明は、電子内視鏡で得られた内視鏡画像にマスク処理を施す内視鏡のプロセッサ装置、及び内視鏡画像のマスク処理方法に関するものである。
医療分野において、電子内視鏡システムを利用した医療診断が盛んに行われている。電子内視鏡システムは、体腔内に挿入される挿入部を有する電子内視鏡と、この電子内視鏡に接続されたプロセッサ装置とから構成される。プロセッサ装置は、電子内視鏡の挿入部先端部に取り付けられた撮像素子から画像信号を受信し、この画像信号に基づき生成した内視鏡画像にマスク処理等の各種画像処理を施してモニタに出力する。
マスク処理は、電子内視鏡で得られた内視鏡画像(原画像)にマスク画像を合成して、この内視鏡画像内における、被写体像が結像しない或いは結像するものの像の歪みが大きく観察に適さない周縁部分(いわゆるケラレによる無効領域)を隠して画像を見易くする処理である。マスク画像には、内視鏡画像の無効領域を隠して有効領域(中央部)のみを露呈させる露呈部が設けられている。
プロセッサ装置は、マスク画像をビットマップデータとしてメモリに記憶している(特許文献1及び2参照)。また、内視鏡画像中に生じる無効領域の位置や大きさは、電子内視鏡の種類により異なるので、前述のメモリには、露呈部の大きさや形状が異なる複数のマスク画像のビットマップデータが記憶されている。プロセッサ装置は、電子内視鏡から入力される識別情報等に基づいて、メモリから適切なビットマップデータを読み出し、このビットマップデータに基づき、内視鏡画像にマスク処理を施す。
特開2001−169276号公報 特開2003−265411号公報
近年、プロセッサ装置用のモニタとして、高解像度表示可能なモニタが使用されている。このように高解像度表示可能なモニタに対応したマスク画像は画素数が増加するため、マスク画像のビットマップデータのデータ量が増加してしまう。このため、電子内視鏡の種類に応じた複数のマスク画像のビットマップデータを持つ場合にはデータ量の増加が特に顕著となるので、メモリの容量を増加させる必要があり、プロセッサ装置の製造コストが増加してしまう。
また、ビットマップデータのデータ量が増加すると、プロセッサ装置のCPUが、メモリからビットマップデータを読み出し、このビットマップデータをマスク処理用の画像処理回路へ出力するのに時間が掛かってしまう。その結果、プロセッサ装置の電源がONされてから、内視鏡検査が可能となるまでの起動時間が長くなってしまうという問題も発生する。
本発明は上記問題を解決するためのものであり、データサイズの大きいマスク画像のビットマップデータをメモリに格納することなく、内視鏡画像にマスク処理を施すことができる内視鏡のプロセッサ装置、及び内視鏡画像のマスク処理方法を提供することを目的とする。
上記目的を達成するため、本発明のプロセッサ装置は、電子内視鏡で得た内視鏡画像と、その無効領域を覆って有効領域のみを露呈させるマスク画像とを合成する合成手段と、前記無効領域に対応するマスク部と前記有効領域に対応する露呈部のそれぞれの画面内の位置、形状、大きさを含む前記マスク画像のプロファイルを表し、データサイズが前記内視鏡画像の画素数よりも少ないビット数であるプロファイルデータを、データ格納手段から取得するデータ取得手段と、前記プロファイルデータを、画素毎に前記露呈部か前記マスク部かを識別するための1ビットの識別情報を持ち、データサイズが内視鏡画像の画素数と同数のビット数であるビットマップ形式のビットマップデータに変換するビットマップ変換手段とを備えたことを特徴とする。
前記プロファイルデータは、前記マスク部及び前記露呈部の画素数を、前記マスク画像の水平ライン毎に所定の基準位置からカウントして求めた画素数データであることが好ましい。
前記マスク画像が左右対称または上下対称な場合には、前記マスク部の画素数データは、前記マスク画像の片側分だけ持つことが好ましい。これにより、データ格納手段に格納するプロファイルデータ(マスク画像)のデータ量をより減らすことができる。
前記マスク画像が上下左右対称な場合には、前記マスク部の画素数データは、前記マスク画像の1/4分だけ持つことが好ましい。これにより、データ格納手段に格納するプロファイルデータのデータ量をより更に減らすことができる。
前記プロファイルデータは、前記マスク部と前記露呈部の境界位置を表す境界位置データを前記マスク画像の水平ライン毎に持つことが好ましい。
前記内視鏡画像の拡大/縮小に応じて前記マスク画像を拡大/縮小するための演算処理を前記プロファイルデータに施す演算処理手段を備えており、前記ビットマップ変換手段は、演算処理済みのプロファイルデータに対してビットマップ変換を行って、拡大/縮小された前記内視鏡画像の画像サイズに対応するビットマップデータを生成することが好ましい。
前記ビットマップ変換手段によって生成されたビットマップデータに基づいて、親画面内に子画面を挿入するPinP処理を施すPinP処理手段を備えていることが好ましい。
また、本発明の電子内視鏡で得た内視鏡画像と、その無効領域を覆って有効領域のみを露呈させるマスク画像とを合成する合成処理を施すためのプロファイルデータであり、無効領域に対応するマスク部と有効領域に対応する露呈部のそれぞれの画面内の位置、形状、大きさを含む前記マスク画像のプロファイルを表し、データサイズが前記内視鏡画像の画素数よりも少ないビット数であるプロファイルデータを、データ格納手段から取得するデータ取得ステップと、前記プロファイルデータを、画素毎に露呈部かマスク部かを識別するための1ビットの識別情報を持ち、データサイズが内視鏡画像の画素数と同数のビット数であるビットマップ形式のビットマップデータに変換するビットマップ変換ステップと、前記ビットマップデータに基づいて前記合成処理を実行する合成処理ステップとを備えたことを特徴とする。
本発明のプロセッサ装置及び内視鏡画像のマスク処理方法は、マスク画像のプロファイルデータをデータ格納手段から取得し、このプロファイルデータをビットマップデータに変換して、このビットマップデータに基づいて内視鏡画像にマスク画像を合成するようにしたので、従来のように、データ格納手段にビットマップデータを格納する必要がなくなる。プロファイルデータはビットマップデータよりもデータ量が減少するため、複数種類の電子内視鏡に対応するプロファイルデータをデータ格納手段に記憶する場合でも、記憶容量の小さいデータ格納手段を用いることができる。その結果、装置の製造コストを下げることができる。
また、ビットマップデータよりもデータ量が少ないプロファイルデータをデータ格納手段に格納しておくことで、プロセッサ装置のCPUが、データ格納手段からプロファイルデータを読み出してマスク処理用の画像処理回路へ出力するのに掛かる時間を従来よりも短くすることができる。これにより、CPUに他の処理を実行させることができる。
図1に示すように、電子内視鏡システム10は、電子内視鏡11、プロセッサ装置12、光源装置13などから構成される。電子内視鏡11は、体腔内に挿入される挿入部14と、電子内視鏡11の把持及び挿入部14の操作に用いられる操作部15と、プロセッサ装置12及び光源装置13に接続するユニバーサルコード16とを備えている。
挿入部14は、可撓性を有する棒状体であり、根元側から可撓管14a、湾曲部14b、挿入部先端部14cを備えている。可撓管14aは、挿入部14の大半を占める長さを有している。湾曲部14bは、操作部15の操作と連動して湾曲し、これにより挿入部先端部14cの向きが自在に変えられる。
挿入部先端部14cには、観察窓18(図2参照)、照明窓19(図2参照)、及び空気や水等を管腔内及び観察窓18に供給するための送気・送水用ノズル(図示せず)等が設けられている。観察窓18の後方には、CCD型固体撮像素子(以下、CCDという、図2参照)20が配置されている。なお、CCD20の代わりにCMOS型固体撮像素子を用いてもよい。照明窓19の後方には、ライトガイド21(図2参照)が設けられている。
操作部15は、アングルノブ23、操作ボタン24、フリーズボタン25等を備えている。アングルノブ23は、湾曲部14bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン24は、送気・送水や吸引等の各種の操作に用いられる。フリーズボタン25は、モニタ27に動画表示される観察画像の静止をプロセッサ装置12に指示するためのものである。内視鏡検査をする術者は、例えば、患部を詳細に観察したい場合などにフリーズボタン25を押下し、観察画像を静止表示させる。また、操作部15には、ユニバーサルコード16が接続されている。
ユニバーサルコード16には、送気・送水チャンネルと、撮像信号出力用配線及びライトガイド21(図2参照)とが組み込まれている。このユニバーサルコード16の先端部には、コネクタ部29aが設けられている。このコネクタ部29aは、ライトガイド21に照明光を導光する光源を有する光源装置13に接続する。また、コネクタ部29aからは、コネクタ部29bが分岐しており、このコネクタ部29bはプロセッサ装置12に接続する。
プロセッサ装置12は、電子内視鏡11(CCD20)から入力される画像信号から原画像を生成し、生成した原画像に前述のマスク処理を含む各種画像処理を施す。画像処理済みの画像は、プロセッサ装置12にケーブル接続されたモニタ27に表示される。モニタ27は、1920画素×1080ラインのサイズの画像が表示可能である。
図2に示すように、電子内視鏡11の挿入部先端部14cには、前述したようにCCD20が内蔵されており、このCCD20は、観察窓18の後方に設けられた対物レンズ31の結像位置に配設されている。CCD20は、1920×1080画素の有効画素を有するものが用いられる。また、電子内視鏡11には、内視鏡用CPU32、ROM33、TG34、アナログ信号処理回路(AFE)35等が設けられている。
内視鏡用CPU32は、プロセッサ装置12のプロセッサ用CPU37と通信を行って、電子内視鏡11の各部の動作を制御する。ROM33は、電子内視鏡11の種類を識別するための識別情報を記憶している。内視鏡用CPU32は、プロセッサ用CPU37からの情報配信要求に基づき、ROM33に格納されている識別情報を読み出して、プロセッサ用CPU37に送る。また、内視鏡用CPU32は、フリーズボタン25が押下された時に、フリーズ操作情報をプロセッサ用CPU37に送る(図11参照)。
TG34は、内視鏡用CPU32の制御に基づき、CCD20の駆動パルス(垂直/水平走査パルス、リセットパルス等)とAFE35用の同期パルスとを発生する。CCD20は、TG34から入力される駆動パルスにより駆動され、対物レンズ31を介して結像された光学像を光電変換し、画像信号として出力する。
AFE35は、相関二重サンプリング(CDS)回路、プログラマブルゲインアンプ(PGA)、及びA/D変換器により構成されている。CDS回路は、CCD20から出力された画像信号に対して相関二重サンプリング処理を施し、CCD20で生じるリセット雑音及びアンプ雑音の除去を行う。PGAは、CDS回路によりノイズ除去が行われた画像信号を、内視鏡用CPU32から指定された所定の増幅率で増幅する。A/D変換器は、PGAにより増幅された画像信号を、所定のビット数のデジタル信号に変換する。AFE35から出力されたデジタル形式の画像信号は、前述のコネクタ部29bを介してプロセッサ装置12に入力される。
プロセッサ装置12は、プロセッサ用CPU37(データ取得手段)、ROM38(データ格納手段)、RAM39、デジタル信号処理回路(DSP)40、画像処理回路41、D/A変換器42等から構成されている。プロセッサ用CPU37は、ROM38から必要なプログラムやデータを読み出してRAM39に展開し、読み出したプログラムを逐次処理することで、プロセッサ装置12の各部を制御するとともに、電子内視鏡システム10の全体を統括的に制御する。
DSP40は、プロセッサ用CPU37の制御に基づき、電子内視鏡11のAFE35から入力された1フレーム分の画像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等を行い、原画像(内視鏡画像、図3(A)参照)44を生成する。DSP40は、生成した原画像44を画像処理回路41に出力する。
画像処理回路41は、プロセッサ用CPU37の制御に基づき、DSP40から入力される原画像44にマスク処理を施す。このマスク処理により、原画像44にマスク画像46(図3(B)参照)を合成した合成観察画像47(図3(C)参照)がモニタ27に表示される。
図3(A)に示すように、原画像44は、1920画素(H:水平方向画素数)×1080ライン(V:垂直方向ライン数)のサイズの矩形画像である。この原画像44は、体腔内の観察画像の有効領域48が、前述の対物レンズ31を保持する鏡胴枠(図示せず)と共に映し出されたものとなる。有効領域48の周囲には、鏡胴枠による凹凸部分49が略円状に生じるとともに、凹凸部分49の外側にケラレによる無効領域50が生じている。
図3(B)に示すように、マスク画像46は、原画像44と同一サイズの矩形画像である。マスク画像46は、有効領域48のみを露呈する露呈部52を有している。露呈部52は、凹凸部分49の内接円であり、その直径は凹凸部分49を隠す大きさである。なお、符号46aは、無効領域50(凹凸部分49を含む)に対応するマスク画像46のマスク部である。図3(C)に示すように、合成観察画像47は、マスク画像46により原画像44の凹凸部分49及び無効領域50が隠され、且つ露呈部52から有効領域48のみが映し出されたものとなる。
マスク処理は、画像処理回路41内で原画像44を1画素ずつ流しながら、マスク画像46のマスクビットマップデータ(図4参照)54に基づき、有効領域48の原画像画素はそのままD/A変換器42に出力するとともに、無効領域50(凹凸部分49を含む)の原画像画素は破棄して、その代わりにマスク画像46のマスク画素をD/A変換器42(図2参照)に出力する方法で行われる。マスク画素は、マスク画像46の色に対応するビデオ信号である。
D/A変換器42は、画像処理回路41から1画素ずつ逐次入力される原画像画素・マスク画素を逐次アナログ信号に変換してモニタ27に表示する。すなわち、モニタ27には、合成観察画像47が周知のように水平周期信号、及び垂直周期信号に基づいて走査表示される。
図4に示すように、マスクビットマップデータ54は、1920画素×1080ライン=2073600画素のそれぞれに対応して設けられたマスクデータ(1ビットの識別情報:「0」or「1」)からなるビットマップ形式のデータである。各マスクデータには、それぞれアドレス(Ax,Ay)が与えられている。アドレスAxは水平方向の画素位置を示し、アドレスAyは垂直方向のライン位置を示している。例えばアドレス(1,1)は左上隅(左から数えて1番目、上から数えて1ライン目)に位置する画素に対応し、アドレス(3,4)は左から数えて3番目、上から数えて4ライン目の画素に対応する。
各マスクデータは、「1」or「0」のいずれかで表される。マスクデータ「1」は、露呈部52内の画素(以下、露呈部画素という)であることを示し、マスクデータ「0」の場合は、マスク画像46のマスク領域内の画素、すなわち、前述のマスク画素であること示す。従って、画像処理回路41は、マスクデータが「1」の場合に、そのアドレスに対応する原画像画素をD/A変換器42に出力する。また、マスクデータが「0」の場合は、そのアドレスに対応する原画像画素を破棄してマスク画素をD/A変換器42に出力する。
このようなマスクビットマップデータ54は、マスク画像46の画素数が増加するのに従ってデータ量が大きくなり、前述したようにROM38の容量増加、ROM38からの読出し時間の増加等の問題が発生する。そこで、本発明では、マスクビットマップデータ54よりもデータ量を大幅に減らすことができる記憶形式でマスク画像46をROM38に記憶している。
図5に示すように、ROM38には、マスク画像46として画素数データ(プロファイルデータ)55が格納されている。画素数データ55は、マスク画像46のプロファイルを表したデータである。このプロファイルは、無効領域50に対応するマスク画像46のマスク部46a、及び有効領域48に対応するマスク画像46の露呈部52のそれぞれの画面内の位置、形状、大きさを含むものである。なお、ROM38には、複数種類の電子内視鏡11に対応する画素数データ55がそれぞれ格納されている。
図6及び図7に示すように、画素数データ55は、マスク画像46のマスク部46a及び露呈部52のそれぞれの画素数を、マスク画像46の水平ライン毎に所定の基準位置からカウントして求めたデータであり、より具体的には、各水平ラインに含まれるマスク画素の画素数を示すマスク画素数A,Cと、露呈部画素の画素数を示す露呈部画素数Bとを求めたデータである。
図6において、符号P1,P2は、それぞれマスク画像46内の任意の水平ラインにおけるマスク部46aと露呈部52との境界を示している。境界P1,P2は、それぞれ各ラインの垂直2等分線L(図中1点鎖線)の左側、右側に位置している。なお、露呈部52の最上点、最下点を通る水平ラインでは、水平ライン画素数が奇数の場合は境界P1,P2は一致する。
マスク画素数Aは、垂直2等分線Lまたは境界P1よりも左側のマスク画素数である。このマスク画素数Aは、各水平ラインの左端側を基準位置として、この位置から境界P1又は垂直2等分線Lまでのマスク画素数をカウントして求められる。露呈部画素数Bは、境界P1,P2間の画素数である。この露呈部画素数Bは、境界P1を基準位置として、この位置から境界P2までの露呈部画素数をカウントして求められる。マスク画素数Cは、垂直2等分線Lまたは境界P2よりも右側のマスク画素数である。このマスク画素数Cは、各水平ラインの右端側を基準位置として、この位置から境界P2又は垂直2等分線Lまでのマスク画素数をカウントして求められる。
画素数データ55の一例を示す図7において、画素数データ55は、マスク画像46の各水平ラインにおけるマスク画素数A,C、及び露呈部画素数Bの数値データからなる。各数値データには、それぞれアドレスAyが与えられている。アドレスAyは各水平ラインの垂直方向位置を示している。例えばアドレスAy=1は、上から数えて1ライン目に対応し、アドレスAy=1080は上から数えて1080ライン目に対応する。
また、マスク画像46は、前述の垂直2等分線L(図6参照)に対して左右対称な形状を有しているので、各水平ラインにおけるマスク画素数Aとマスク画素数Cは共通の値になる。このため、画素数データ55には、マスク画素数Aの値だけを記憶している。なお、図7では、露呈部画素数Bとして、各水平ラインに含まれる全ての露呈部画素の数を記憶しているが、露呈部52の片側の露呈部画素の数だけを記憶してもよい。
画素数データ55のアドレスAy=1の数値データは、マスク画素数A(=C)=960、露呈部画素数B=0であるため、マスク画像46の上から1ライン目は、1920個のマスク画素が配列されていることが分かる。また、アドレスAy=5の数値データは、マスク画素数A(=C)=700、露呈部画素数B=520であるため、マスク画像46の上から5ライン目は、左から順に700個のマスク画素、520個の露呈部画素、700個のマスク画素が配列されていることが分かる。
このように画素数データ55は、マスク画像46の各水平ラインの画素配列、すなわち、前述のマスク画像46のプロファイルをA,Bの数値で表すことができる。A,Bの数値(画素数)は、最大でも1920(ただし、本実施形態ではAは最大960)であるので、両者は11ビット(211=2048)の情報で表すことができる。このため、画素数データ55のデータ量は、下記式(1)に示す値となる。
式(1)=11(ビット)×2(A,B)×1080(ライン)
=23760(ビット)≒3(キロバイト)
なお、マスク画像46が、前述の垂直2等分線Lに対して対称な形状を有していない場合には、画素数データ55のデータ量は、下記式(2)に示す値となる。
式(2)=11(ビット)×3(A,B,C)×1080(ライン)
=35640(ビット)≒4.5(キロバイト)
これに対して、前述のマスクビットマップデータ54のデータ量は、下記式(3)に示す値となる。
式(3)=1920(画素)×1080(ライン)
--=2073600(ビット)≒260(キロバイト)
式(1)及び式(2)と、式(3)とを比較すると、画素数データ55は、マスクビットマップデータ54と比較してデータ量が大幅に減少する。このため、ROM38に、電子内視鏡11の種類に応じて複数の画素数データ55を記憶する場合でも、このROM38の容量を増加させる必要はなくなる。
なお、マスク画像46が左右対称でなく上下対称の場合には、画素数データ55は、マスク画像46の例えば上半分だけ(1ライン目〜540ライン目の数値データ(A,B,C))だけ持てばよい。この場合も画素数データ55のデータ量をより減らすことができる。更に、マスク画像46が上下左右対称の場合には、画素数データ55は、マスク画像46の1/4分だけ、例えば1ライン目〜540ライン目の数値データ(A,B)だけ持てばよい。これにより、画素数データ55のデータ量をより更に減らすことができる(データ量は上記式(1)の1/2の値)。
図5に戻って、プロセッサ用CPU37は、プロセッサ装置12の電源がONされた時に、ROM38に格納されている全ての画素数データ55を読み出して、RAM39に格納する。次いで、プロセッサ用CPU37は、電子内視鏡11(内視鏡用CPU32)から入力される識別情報に基づき、RAM39内から適切な画素数データ55を選択して、画像処理回路41に供給する。
画像処理回路41は、フレームメモリ57、画素数カウント回路58、ビットマップ変換回路(ビットマップ変換手段)59、合成回路(合成手段)60などから構成される。
フレームメモリ57は、DSP40から逐次入力される原画像44を一旦格納する。プロセッサ用CPU37は、フレームメモリ57に格納された原画像44を1画素ずつ合成回路60に出力する。具体的には、モニタ27の表示方式に合わせて、原画像44の原画像画素を左上隅〜右上隅、・・・左下隅〜右下隅の順番で出力する。原画像44の左上隅の原画像画素が第1番目に出力され、右下隅の原画像画素が第2073600(=1920×1080)番目に出力される。
画素数カウント回路58は、プロセッサ用CPU37の制御に基づき、フレームメモリ57から出力される原画像画素の数をカウントし、このカウント結果を合成回路60へ逐次出力する。フレームメモリ57からの原画像画素の出力と、画素数カウント回路58によるカウント結果の出力とは、同期して行われる。これにより、合成回路60は、フレームメモリ57から入力された原画像画素のアドレス(Ax,Ay:前述のマスク画像46のアドレスと同じ)を判別することができる。例えば、カウント結果が1、・・・1920、1921、・・・2073600の場合は、アドレス(Ax,Ay)は、それぞれ(1,1)、・・・(1920,1)、(1、2)、・・・(1920,1080)になる。
ビットマップ変換回路59は、プロセッサ用CPU37の制御に基づき、RAM39から入力される画素数データ55(図7参照)をマスクビットマップデータ54(図4参照)に変換する。前述したように、画素数データ55の各数値データ(マスク画素数A、露呈部画素数B)から、マスク画像46の各水平ラインの画素配列(プロファイル)が分かるので、マスクビットマップデータ54への変換処理も容易に行うことができる。ビットマップ変換回路59は、変換したマスクビットマップデータ54を合成回路60へ出力する。
合成回路60は、プロセッサ用CPU37の制御により、画素数カウント回路58からのカウント結果に基づき、ビットマップ変換回路59からのマスクビットマップデータ54を参照して、フレームメモリ57から1画素ずつ入力される原画像画素のうち、有効領域48の原画像画素をD/A変換器42へ出力するとともに、無効領域50(凹凸部分49を含む)の原画像画素を破棄してマスク画素をD/A変換器42に出力する。この合成回路60は、原画像画素及びマスク画素のいずれか一方を選択的に出力するためのセレクタ(スイッチ)部60aを有している。
なお、図示は省略するが、合成回路60は、ビットマップ変換回路59からのマスクビットマップデータ54を記憶するキャッシュメモリを有している。このキャッシュメモリからのデータの読み出し速度は、ROM38やRAM39からの読み出し速度よりも十分に速くなっている。
セレクタ部60aは、フレームメモリ57からの入力線とD/A変換器42とを電気的に接続する「ON」状態と、両者の接続を解除した「OFF」状態とに切替可能である。合成回路60は、フレームメモリ57から原画像画素が入力された時に、前述のカウント結果に基づき、キャッシュメモリから読み出したマスクビットマップデータ54を参照して、この原画像画素のアドレスAx,Ayを判別する。次いで、合成回路60は、判別した原画像画素のアドレスAx,Ayに基づき、マスクビットマップデータ54から、原画像画素と同じアドレスAx,Ayのマスクデータを読み出す。
マスクデータが「1」の場合には、そのアドレスの画素は露呈部画素になるので、合成回路60は、フレームメモリ57から入力された原画像画素が有効領域48内(露呈部52内)の画素と判定する。合成回路60は、セレクタ部60aをON状態に切り替えて、入力された原画像画素をそのままD/A変換器42に出力する。
逆にマスクデータが「0」の場合には、そのアドレスの画素はマスク画素になるので、合成回路60は、フレームメモリ57から入力された原画像画素が無効領域50内(露呈部52外)の画素と判定する。この場合には、合成回路60は、セレクタ部60aをOFF状態に切り替えて、合成回路60に入力された原画像画素を破棄する。これと同時に、合成回路60は、図示しない内部メモリ等に記憶されているマスク画素(マスク画素に対応するビデオ信号)をD/A変換器42に出力する。
以下同様にして、合成回路60は、フレームメモリ57から原画像画素が入力される度に、入力された原画像画素が有効領域48或いは無効領域50内の画素であるかを判定し、この判定結果に基づき、セレクタ部60aをON・OFF状態に切り替えて、原画像画素或いはマスク画素をD/A変換器42へ出力する。
図2に戻って、光源装置13は、光源用CPU63、光源64、光源ドライバ65、絞り機構66、集光レンズ67から構成されている。光源用CPU63は、プロセッサ用CPU37と通信し、光源ドライバ65及び絞り機構66の制御を行う。光源64は、キセノンランプやハロゲンランプなどからなり、光源ドライバ65により駆動制御される。絞り機構66は、光源64の光射出側に配置され、集光レンズ67に入射される光量を増減させる。集光レンズ67は、絞り機構66を通過した光を集光して、光源装置13に接続された電子内視鏡11のライトガイド21の入射端に導く。ライトガイド21は、電子内視鏡11の基端から挿入部先端部14cまで挿通され、出射端が前述の照明窓19に接続されている。
次に、図8及び図9に示すフローチャートを用いて、上記構成の内視鏡システム10(プロセッサ装置12)の作用について説明する。図8において、術者は、電子内視鏡11をプロセッサ装置12及び光源装置13に接続して、プロセッサ装置12、光源装置13の電源を順番にONする。プロセッサ装置12のプロセッサ用CPU37は、電源がONされると、ROM38に記憶されている全画素数データ55を読み出し、RAM39に格納する。
また、プロセッサ用CPU37は、電子内視鏡11の内視鏡用CPU32に対して識別情報の配信要求を行う。内視鏡用CPU32は、プロセッサ用CPU37からの配信要求に応じてROM33から識別情報を読み出し、これをプロセッサ用CPU37へ出力する。プロセッサ用CPU37は、内視鏡用CPU32からの識別情報に基づき、RAM39内から適切な画素数データ55を選択して、画像処理回路41のビットマップ変換回路59に出力する。ビットマップ変換回路59は、入力された画素数データ55をマスクビットマップデータ54に変換して合成回路60に出力する。合成回路60は、ROM38やRAM39よりも高速読み出し可能な前述のキャッシュメモリにマスクビットマップデータ54を格納する。
電子内視鏡11の挿入部14を患者の体腔内に挿入し、光源装置13からの照明光で体腔内を照明しながら、この体腔内をCCD20により撮像する。CCD20から出力された画像信号は、AFE35でデジタル信号に変換された後、プロセッサ装置12に入力される。
プロセッサ装置12のDSP40は、電子内視鏡11のAFE35から入力された1フレーム分の画像信号から原画像44を生成し、生成した原画像44を画像処理回路41に出力する。DSP40から画像処理回路41に入力された原画像44は、フレームメモリ57に一旦格納される。
図9において、プロセッサ用CPU37は、フレームメモリ57に格納された原画像44の各原画像画素を左上隅〜右下隅の順番で1画素ずつ合成回路60へ出力する。また、プロセッサ用CPU37は、原画像画素の出力前に画素数カウント回路58を作動させ、フレームメモリ57から逐次出力される原画像画素をカウントさせる。これにより、フレームメモリ57から第1番目の原画像画素が合成回路60に出力された時に、画素数カウント回路58からカウント結果「1」が合成回路60に出力される。
合成回路60は、画素数カウント回路58から入力されるカウント結果に基づき、フレームメモリ57から入力される第1番目の原画像画素のアドレスを判別する。この場合は、カウント結果が「1」であるので、アドレス(Ax,Ay)=(1,1)となる。次いで、合成回路60は、キャッシュメモリから読み出したマスクビットマップデータ54から、アドレス(1,1)のマスクデータを読み出す。
合成回路60は、マスクデータが「1」の場合に、フレームメモリ57から入力された第1番目の原画像画素を有効領域48内の画素と判定し、セレクタ部60aをON状態に切り替えて、第1番目の原画像画素をD/A変換器42に出力する。
逆に、合成回路60は、マスクデータが「0」の場合に、フレームメモリ57から入力された第1番目の原画像画素を無効領域50内の画素と判定し、セレクタ部60aをOFF状態に切り替えて第1番目の原画像画素を破棄するとともに、マスク画素をD/A変換器42に出力する。
合成回路60は、フレームメモリ57より第N番目(2番目、・・・第1920番目、第1921番目、・・・第2073600番目)の原画像画素が順次入力された時も同様に、マスクビットマップデータ54から、アドレス[(2,1)、・・・(1920,1)、(1、2)、・・・(1920,1080)]のマスクデータを逐次読み出す。次いで、合成回路60は、マスクデータから第N番目の原画像画素が有効領域48内の画素であるか否か判定するとともに、この判定結果に基づき、セレクタ部60aをON状態・OFF状態に切替制御して、第N番目の原画像画素或いはマスク画素をD/A変換器42に出力する。
画像処理回路41は、DSP40から新たな原画像44が入力される度に、上述の処理を繰り返し実行する。D/A変換器42は、画像処理回路41から逐次入力される原画像画素・マスク画素を逐次アナログ信号に変換してモニタ27に出力する。モニタ27は、アナログ信号に基づいて、合成観察画像47を走査表示する。以下、内視鏡検査が終了するまで、上述の合成観察画像47の走査表示処理が継続する。
なお、電子内視鏡11のフリーズボタン25が押下された場合には、この押下時にフレームメモリ57に格納されている原画像44を静止画像69(図11参照)として、この静止画像69の各画素(静止画像画素という)の出力を繰り返し実行(第1番目、・・・第2073600番目、第1番目、・・・)するとともに、前述したように、有効領域48外の静止画像画素は破棄してマスク画素を出力する。これにより、静止画像69にマスク画像46を合成した静止合成観察画像70(図10(A)参照)がモニタ27に走査表示される。
以上のように本発明の電子内視鏡システム10(プロセッサ装置12)では、マスク画像46のマスクビットマップデータ54をROM38に記憶する代わりに、画素数データ55を記憶することにより、複数種類の電子内視鏡11に対応する画素数データをROM38に記憶する場合でも、記憶容量の小さいROM38を用いることができる。その結果、プロセッサ装置12の製造コストを下げることができる。
また、本実施形態では、プロセッサ装置12の電源ON時にROM38に記憶されている全画素数データ55を読み出してRAM39に格納しているが、各画素数データ55のデータ量は小さいので、プロセッサ用CPU37が、各画素数データをROM38から読み出してRAM39に格納するのに要する時間を短縮することができる。これにより、例えばプロセッサ用CPU37に他の処理を実行させることができる。また、プロセッサ装置12の電源がONされてから、内視鏡検査が可能となるまでに要する起動時間を短くすることができる。なお、画素数データ55のビットマップ変換処理は、本実施形態のようにハードウェア(ビットマップ変換回路59)で行うようにすると、プロセッサ用CPU37によるソフトウェア処理でビットマップ変換処理を行う場合よりも高速に行うことができる。
また、画素数データ55を、モニタ27の表示方式(左上隅の画素〜右下隅の画素の順に1画素ずつ表示する走査表示)に沿ったデータ(図7参照)にすることで、画素数カウント値のうちライン数を扱う個所をそのままキャッシュメモリアドレス(不要な場合はRAM39アドレス)に対応付けることが可能、モニタ27出力に同期して処理させることが容易、など、ビットマップ変換処理及び周辺回路を簡素化することができる。これにより、ビットマップ変換回路59として安価なものを用いることができる。
次に、本発明の第2実施形態の電子内視鏡システム(プロセッサ装置)について説明を行う。第2実施形態のプロセッサ装置71(図11参照)は、静止合成観察画像70(図10(A)参照)の中にリアルタイムの合成観察画像47を縮小処理した縮小合成観察画像72(図10(B)参照)を表示する、所謂Picture in Picture(以下、PinPと称す)機能を有している。
図10(A)に示すように、静止合成観察画像70は、体腔内のリアルタイムの画像が映し出されないという点を除けば、前述の合成観察画像47と同じ(サイズ)であり、原画像44と同一ものについて同一符号を付してその説明は省略する。この静止合成観察画像70の左下隅の領域は、縮小合成観察画像72が表示される縮小表示領域73(2点鎖線表示)である。
図10(B)に示すように、縮小合成観察画像72は、リアルタイムの原画像44を1/n(nは正の実数)倍縮小処理して生成した縮小原画像75に、この縮小原画像75と同じ縮小倍率(1/n倍)でマスク画像46を縮小処理した縮小マスク画像76を合成した画像である。このため、縮小合成観察画像72は、静止合成観察画像70(合成観察画像47)の1/n倍のサイズの画像、すなわち、H/n画素×V/nラインの矩形画像になる。
なお、縮小マスク画像76は、マスク画像46と同形状である。また、符号75a,75bはそれぞれ縮小原画像75の有効領域、無効領域であり、符号76aは縮小マスク画像76の露呈部である。
図10(C)に示すように、PinP画像77は、静止合成観察画像70の縮小表示領域73(図10(A)参照)にリアルタイムの縮小合成観察画像72が映し出された画像である。このPinP画像77は、プロセッサ装置71(図11参照)により、前述の合成観察画像47と同様にモニタ27に走査表示される。
図11において、プロセッサ装置71は、基本的には上記第1実施形態のプロセッサ装置12と同じ構成である。ただし、プロセッサ装置71には、PinP画像77をモニタ27に走査表示するための画像処理回路(PinP処理手段)79が設けられている。なお、画像処理回路79以外の回路等については、第1実施形態の画像処理回路41と同じ構成であるため、その構成については前述の図5を参照されたい。プロセッサ用CPU37は、内視鏡用CPU32からフリーズボタン25が押下操作されたことを示すフリーズ操作情報が入力された時に、プロセッサ装置71を通常表示モードからPinP表示モードに切り替える。
画像処理回路79は、PinP表示モード時に下記(1)、(2)の処理を行う。
(1)縮小表示領域73以外の領域については、前述の合成観察画像47の走査表示と同様に静止画像69を1画素ずつ流しながら、その有効領域48の静止画像画素をD/A変換器42に出力するとともに、無効領域50内の静止画像画素を破棄してマスク画素をD/A変換器42に出力する。
(2)上記(1)の処理において、縮小表示領域73内については、縮小原画像75を1画素ずつ流しながら、その有効領域75a内の縮小原画像画素をD/A変換器42に出力するとともに、無効領域75b内の縮小原画像画素は破棄してマスク画素をD/A変換器42に出力する。
画像処理回路79は、大別して、第1画像処理回路80と、第2画像処理回路81と、画素出力切替回路82とから構成される。第1画像処理回路80は、通常表示モード時には、前述の第1実施形態の画像処理回路41と同じ処理を行って、原画像画素またはマスク画素を画素出力切替回路82へ出力する。また、第1画像処理回路80は、PinP表示モード時には上記(2)の縮小原画像画素またはマスク画素を画素出力切替回路82へ出力する。
第1画像処理回路80は、第1フレームメモリ84と、第1画素数カウント回路85と、第1ビットマップ変換回路86と、第1合成回路87と、画像縮小回路89と、演算処理回路(演算処理手段)90とを備えている。これらのうち、第1フレームメモリ84、第1画素数カウント回路85、第1ビットマップ変換回路86、第1合成回路87は、前述の画像処理回路41のメモリ・回路と同じものである。
画像縮小回路89及び演算処理回路90は、通常表示モード時には作動を停止している。演算処理回路90は、通常表示モード時には演算処理を行わず、RAMから入力された画素数データ55をそのまま第1ビットマップ変換回路86へ出力する。なお、PinP表示モード時における第1画像処理回路80の各部の動作については、第2画像処理回路81について説明した後に説明する。
第2画像処理回路81は、PinP表示モード時に作動し、上記(1)の処理(静止画像画素またはマスク画素の出力)を行う。この第2画像処理回路81は、原画像44の代わりに静止画像69を扱う以外は、上記第1実施形態の画像処理回路41と同じ処理を行う。従って、第2画像処理回路81は、上記第1実施形態の画像処理回路41と同じ構成であり、第2フレームメモリ92と、第2画素数カウント回路93と、第2ビットマップ変換回路94と、第2合成回路95とで構成される。
第2フレームメモリ92は、第1フレームメモリ84と接続している。プロセッサ用CPU37は、通常表示モード時において内視鏡用CPU32からフリーズ操作情報が入力された時に、第1フレームメモリ84に格納されている原画像44を静止画像69として第2フレームメモリ92に格納する。次いで、プロセッサ用CPU37は、前述の第1実施形態で説明したように、静止画像69の各静止画像画素を左上隅〜右下隅、左上隅〜右下隅、・・・の順番で1画素ずつ第2合成回路95へ出力する。
第2画素数カウント回路93は、第2フレームメモリ92から逐次出力される静止画像画素の数をカウントし、このカウント結果をプロセッサ用CPU37、第2合成回路95、及び画素出力切替回路82へ逐次出力する。これにより、プロセッサ用CPU37、第2合成回路95、及び画素出力切替回路82は、第2フレームメモリ92から出力された静止画像画素が有効領域48内の画素か否か、及び縮小表示領域73内の画素か否かを判別することができる。
第2ビットマップ変換回路94は、RAM39から入力される画素数データ55をマスクビットマップデータ54に変換し、このマスクビットマップデータ54を第2合成回路95へ出力する。
第2合成回路95はセレクタ部95aを備えている。このセレクタ部95aの出力線は、画素出力切替回路82に接続されている。第2合成回路95は、上記第1実施形態の合成回路60と同様に、第2画素数カウント回路93からのカウント結果に基づき、第2ビットマップ変換回路94からのマスクビットマップデータ54を参照して、セレクタ部95aをON状態・OFF状態に切替制御する。これにより、第2フレームメモリ92から入力される静止画像画素のうち、有効領域48内の静止画像画素はそのまま画素出力切替回路82へ出力され、無効領域50の静止画像画素は破棄されてマスク画素が画素出力切替回路82へ出力される。
次に、PinP表示モード時における第1画像処理回路80の各部の動作について説明する。画像縮小回路89は、プロセッサ用CPU37からの制御に基づき、プロセッサ装置71がPinP表示モードに切り替えられた時に作動する。画像縮小回路89は、第1フレームメモリ84に新たな原画像44が格納される度に、この原画像44を第1フレームメモリ84から読み出すとともに、所定の縮小倍率(1/n倍)に縮小する縮小処理を施して、縮小原画像75を生成する。次いで、画像縮小回路89は、生成した縮小原画像75を第1フレームメモリ84に格納する。
プロセッサ用CPU37は、第2画素数カウント回路93から逐次入力されるカウント結果に基づき、第2フレームメモリ92から出力された静止画像画素が縮小表示領域73内の画素であると判別する度に、第1フレームメモリ84から縮小原画像75の各縮小原画像画素を左上隅〜右下隅の順番で1画素ずつ第1合成回路87へ出力する。これにより、例えば、第2フレームメモリ92から縮小表示領域73の左上隅、・・・右上隅、・・・左下隅、・・・右下隅の静止画像画素がそれぞれ第2合成回路95へ出力された時に、第1フレームメモリ84から縮小原画像75の左上隅、・・・右上隅、・・・左下隅、・・・右下隅の縮小原画像画素がそれぞれ第1合成回路87へ出力される。
第1画素数カウント回路85は、第1フレームメモリ84から出力される縮小原画像画素の数をカウントし、このカウント結果を第1合成回路87へ逐次出力する。これにより、第1合成回路87は、第1フレームメモリ84から入力された縮小原画像画素のアドレス(Ax,Ay)を判別することができる。
演算処理回路90は、プロセッサ用CPU37からの制御に基づき、プロセッサ装置71がPinP表示モードに切り替えられた時に作動する。演算処理回路90は、RAM39に接続されており、このRAM39から電子内視鏡11の種類に対応した画素数データ55が入力される。演算処理回路90は、画素数データ55を、縮小原画像75の縮小倍率に応じて1/n倍する縮小演算処理を行って縮小画素数データ97(図12参照)を生成し、この縮小画素数データ97を第1ビットマップ変換回路86へ出力する。
縮小画素数データ97は、第1ビットマップ変換回路86において、縮小マスク画像76(図10(B)参照)の縮小マスクビットマップデータ98(図12参照)を生成するための数値データである。
図12に示すように、演算処理回路90は、縮小原画像75の縮小倍率が例えば1/5倍に設定された時に、画素数データ55を1/5倍する縮小演算処理(イ)を行う。具体的には、縮小マスク画像76のライン数は、マスク画像46のライン数の1/5、すなわち、216ラインになる。このため、演算処理回路90は、画素数データ55からアドレスAy=1、5、・・・5α(αは2以上且つ215以下の自然数)、・・・1080にそれぞれ対応する数値データを順番に読み出すとともに、この読み出し順に新たなアドレスAy=1、2、・・・216を割り当てる。つまり、ラインの間引き処理を行うことで、画素数データ55のライン数を1/5に減らす。
また、演算処理回路90は、画素数データ55から読み出した各数値データ(マスク画素数A(=C)、露呈部画素数B)をそれぞれ1/5倍する。これにより、各アドレスAy(1〜216)のそれぞれの画素数の総計は、1920(画素)の1/5である384(画素)となる。これら間引き処理及び数値データの割り算処理により、縮小画素数データ97が生成される。
第1ビットマップ変換回路86は、縮小画素数データ97をビットマップ変換処理(ロ)して、縮小マスクビットマップデータ98を生成する。縮小マスクビットマップデータ98は、384画素×216ライン=82944(画素)のそれぞれに対応して設けられたマスクデータ(「0」or「1」)からなり、各マスクデータにはそれぞれアドレスが割り当てられている。第1ビットマップ変換回路86は、生成した縮小マスクビットマップデータ98を第1合成回路87へ出力する。
図11に戻って、第1合成回路87はセレクタ部87aを備えており、このセレクタ部87aの出力線は、画素出力切替回路82に接続されている。第2合成回路95は、上記合成回路60及び第2合成回路95と同様に、第1画素数カウント回路85からのカウント結果に基づき、第1ビットマップ変換回路86からの縮小マスクビットマップデータ98を参照して、セレクタ部87aをON状態・OFF状態に切替制御する。これにより、第1フレームメモリ84から入力される縮小原画像画素のうち、有効領域75aの縮小原画像画素はそのまま画素出力切替回路82へ出力され、無効領域75bの縮小原画像画素は破棄されて代わりにマスク画素が画素出力切替回路82へ出力される。
画素出力切替回路82は、セレクタ部82aを備えている。セレクタ部82aは、第1合成回路87の出力線とD/A変換器42とを電気的に接続する「ON」状態、及び第2合成回路95の出力線とD/A変換器42とを電気的に接続する「OFF」状態に切替可能である。画素出力切替回路82は、通常表示モード時には、セレクタ部82aを常時ON状態に設定する。これにより、第1合成回路87から出力される原画像画素・マスク画素がそのままD/A変換器42へ出力される。
PinP表示モード時に、画素出力切替回路82は、第2画素数カウント回路93から入力されるカウント結果に基づき、第2フレームメモリ92から出力された静止画像画素が縮小表示領域73内の画素か否かを判別する。画素出力切替回路82は、縮小表示領域73外の画素であると判別した時は、セレクタ部82aをOFF状態に設定する。これにより、第2合成回路95で選択・出力した静止画像画素・マスク画素がD/A変換器42へ出力される。
また、画素出力切替回路82は、縮小表示領域73内の画素であると判別した時は、セレクタ部82aをON状態に設定する。この時には、前述したように、第1フレームメモリ84からの縮小原画像画素の出力が開始されるため、第1合成回路87で選択・出力した縮小原画像画素・マスク画素がD/A変換器42へ出力される。なお、この場合には第2合成回路95で選択・出力した静止画像画素・マスク画素は破棄される。
このように、第2フレームメモリ92から出力された静止画像画素が縮小表示領域73内の画素であるか否かに基づいて、セレクタ部82aをON状態・OFF状態に切り替えることで、モニタ27にPinP画像77が走査表示される。
PinP表示モードは、術者が電子内視鏡11の操作部15で所定の終了操作(例えば、フリーズボタン25の再押下)を行った時に終了する。この終了後、プロセッサ装置71は通常表示モードに切り替わる。
次に、図13及び図14に示すフローチャートを用いて、第2実施形態の内視鏡システム(プロセッサ装置71)の作用について説明する。なお、図13において、通常表示モードのプロセッサ装置71により合成観察画像47がモニタ27に走査表示されるまでの処理は、上記第1実施形態の図8及び図9で説明した処理と基本的に同じであるため、説明は省略する。
術者は、モニタ27に表示される合成観察画像47を観察し、患部を詳細に観察したい場合にはフリーズボタン25を押下操作する。この押下操作がなされると、電子内視鏡11の内視鏡用CPU32からプロセッサ用CPU37へフリーズ操作情報が入力される。
プロセッサ用CPU37は、内視鏡用CPU32からフリーズ操作情報が入力された時に、プロセッサ装置71を通常表示モードからPinP表示モードへ切り替える。これと同時に、プロセッサ用CPU37は、第1フレームメモリ84に格納されている原画像44を静止画像69として、第2フレームメモリ92に格納する。また、第2ビットマップ変換回路94は、RAM39からの画素数データ55をビットマップ変換して生成したマスクビットマップデータ54を第2合成回路95へ出力する。
プロセッサ装置71がPinP表示モードに切り替えられると、プロセッサ用CPU37は、第1画像処理回路80の演算処理回路90を作動させる。演算処理回路90は、前述の図12を用いて説明したように、RAM39から入力された画素数データ55に対して1/n倍縮小演算処理を行って縮小画素数データ97を生成し、この縮小画素数データ97を第1ビットマップ変換回路86へ出力する。第1ビットマップ変換回路86は、縮小画素数データ97を縮小マスクビットマップデータ98に変換して第1合成回路87へ出力する。
また、PinP表示モードへの切替時に、プロセッサ用CPU37は、第1画像処理回路80の画像縮小回路89も作動させる。画像縮小回路89は、第1フレームメモリ84に新たな原画像44が格納される度に、この原画像44を所定の縮小倍率(1/n)に縮小処理した縮小原画像75を生成し、この縮小原画像75を第1フレームメモリ84に格納(縮小処理前の原画像44に上書き)する。
図14において、プロセッサ用CPU37は、第2フレームメモリ92に格納された静止画像69の各静止画像画素を左上隅〜右下隅、左上隅・・・の順番で1画素ずつ第2合成回路95へ出力する。そして、第2画素数カウント回路93は、静止画像画素のカウント結果をプロセッサ用CPU37、第2合成回路95、及び画素出力切替回路82へ逐次出力する。なお、カウント結果が2073600に達した時は、このカウント結果の出力後にカウンタを0にリセットする。
第2合成回路95は、前述したように、第2フレームメモリ92から入力した静止像画素が有効領域48内の画素であればそのまま画素出力切替回路82へ出力し、無効領域50内の画素であれば代わりにマスク画素を画素出力切替回路82へ出力する。以下同様にして、PinP表示モードが終了するまで、第2画像処理回路81から静止画像画素またはマスク画素が画素出力切替回路82へ出力される。
これと同時に、プロセッサ用CPU37は、第2画素数カウント回路93から逐次入力されるカウント結果に基づき、第2フレームメモリ92から出力された静止画像画素が縮小表示領域73内の画素であると判定する度に、第1フレームメモリ84から縮小原画像75の各縮小画像画素を左上隅〜右下隅の順番で1画素ずつ第1合成回路87へ出力する。そして、第1画素数カウント回路85は、第1フレームメモリ84から出力される縮小原画像画素のカウント結果を第1合成回路87へ逐次出力する。
第1合成回路87は、前述したように、第1フレームメモリ84から入力した縮小原像画素が有効領域75a内の画素であればそのまま画素出力切替回路82へ出力し、無効領域75b内の画素であれば代わりにマスク画素を画素出力切替回路82へ出力する。以下同様にして、PinP表示モードが終了するまで、第1画像処理回路80から縮小原画像画素またはマスク画素が1画素ずつ画素出力切替回路82へ出力される。
画素出力切替回路82は、第2画素数カウント回路93から入力されるカウント結果に基づき、第2フレームメモリ92から出力された静止画像画素が縮小表示領域73外の画素であると判別した場合には、第2合成回路95で選択・出力した静止画像画素・マスク画素をD/A変換器42へ出力する。逆に、画素出力切替回路82は、縮小表示領域73内の画素であると判別した場合には、第1合成回路87で選択・出力した縮小原画像画素・マスク画素をD/A変換器42へ出力する。
D/A変換器42は、画素出力切替回路82から逐次出力される静止画像画素、縮小原画像画素、マスク画素を逐次アナログ信号に変換してモニタ27へ出力する。これにより、モニタ27にPinP画像77が走査表示される。以下、術者が電子内視鏡11の操作部15で所定の終了操作を行うまで、上述のPinP画像77の走査表示処理が継続する。そして、この終了操作が行われると、プロセッサ用CPU37は、プロセッサ装置71を通常表示モードに切り替える。以下、内視鏡検査が終了するまで、上記第1実施形態で説明した合成観察画像47の走査表示が行われる。
以上のように本発明のプロセッサ装置71では、マスク画像46をその形状を変えないで1/nに縮小処理する際に、画素数データ55に対して1/n倍演算処理(ライン間引き処理、数値データの割り算処理)するので、画素数データ55に対してデータサイズが大きいマスクビットマップデータ54に対して演算処理を行うのに比べて、取り扱うデータ量が減る分、プロセッサ用CPU37や画像処理回路79の負荷を低減することができる。
また、縮小画面用のマスク画像数データを別途必要としないため、ROM38やRAM39の容量を減らすことができ、なおかつ、取り扱うデータ量が減る分、プロセッサ用CPU37や画像処理回路79の負荷を低減することができる。
上記第1実施形態(第2実施形態も同様)では、画素数データ55をビットマップ変換処理して生成したマスクビットマップデータ54を参照して、フレームメモリ57から入力される原画像画素が有効領域48内の画素であるか否かを判別しているが、本発明はこれに限定されるものではない。前述したように、画素数データ55の各数値データ(マスク画素数A、露呈部画素数B)から、マスク画像46の各水平ラインの画素配列情報が分かるので、直接画素数データ55から原画像画素が有効領域48内の画素であるか否かを判別するようにしてもよく、その場合は合成回路60内のキャッシュメモリが不要となる。
上記各実施形態では、プロセッサ用CPU37が、ROM38から全画素数データ55を読み出してRAM39に格納しているが、本発明はこれに限定されるものではなく、電子内視鏡11の識別情報に対応する画素数データのみをROM38から読み出して、RAM39に格納してもよい。
上記第1実施形態(第2実施形態も同様)では、モニタ27への画素毎の出力タイミングに同期して原画像44とマスク画像46の合成を行っているが、予め原画像44とマスク画像46とを合成して合成観察画像47を生成した後に、ビデオ信号の出力を開始してもよい。
上記第2実施形態では、マスク画像46を1/nに縮小処理する際に、画素数データ55を1/n倍演算処理する場合を例に挙げて説明を行ったが、これとは逆にマスク画像46をその形状を変えないでn倍に拡大する際には、前述の演算処理回路90で画素数データ55をn倍演算処理すればよい。このn倍演算処理は、前述の1/n倍演算処理とは逆の処理、すなわち、ライン数の増加処理(ライン数n倍)と数値データの掛け算処理(A、B×n)とを行えばよい。
上記各実施形態では、マスク画像46として画素数データ55をROM38に格納しているが、本発明はこれに限定されるものではなく、前述のマスク画像46のプロファイル(位置、大きさ、形状)を表した各種のプロファイルデータを用いることができる。
例えば、図15に示すプロファイルデータ100は、マスク画像46の水平ライン毎に求められ、前述の図6で説明した境界P1,P2の位置を数値化した境界位置データと、マスク画像46の各水平ラインの画素数を示すライン画素数データ(すなわち、1920)とから構成される。
各境界位置データには、垂直方向のライン位置を示すアドレスAyが与えられている。そして、各水平ラインにおける境界位置データは、例えば、境界P1,P2がそれぞれラインの左側から何番目の画素であるかを示す境界位置AP1,BP1からなる。境界位置AP1,BP1は、1番目〜1920番目のうちのいずれかの数値で表される。なお、水平ライン中に境界P1,P2が存在しない場合には、境界位置データは「−」となる。また、露呈部52の最上点、最下点を通るラインでは、境界P1,P2は一致するので、境界位置AP1,BP1は同じ値になる。
例えば、プロファイルデータ100のアドレスAy=3の境界位置データは、境界位置AP1=950、境界位置BP2=970であるため、マスク画像46の上から3ライン目は、左側から順に950個のマスク画素、20個の露呈部画素、950個のマスク画素が配列された構成になる。このように、プロファイルデータ100からも、マスク画像46の各水平ラインの画素配列情報が分かる。このため、前述の画素数データ55と同様に、マスクビットマップデータ54への変換処理も容易に行うことができる。
上記各実施形態では、マスク画像46(縮小マスク画像76)が矩形画像であり、露呈部52(76a)が円状である場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、これは別の形状であってもよい。
上記各実施形態では、画素数データ55がプロセッサ装置12,71のROM38に格納されている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、画素数データ55が電子内視鏡11のROM33や、プロセッサ装置12,71に接続された各種外部記憶装置に格納されていてもよい。プロセッサ用CPU37は、電源ON時にこれらから画素数データ55を読み出す。
上記各実施形態では、前述のマスク画像46のプロファイルデータとして、画素数データ55やプロファイルデータ100を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、例えば演算式等を用いてもよい。
上記各実施形態では、CCD20の有効画素、原画像44のサイズ、マスクビットマップデータ54、を1920×1080画素としているが、本発明はこれに限定されるものではなく、どんな画素数であってもよい。記載はないが当然モニタ27の表示画素についても同様である。
上記各実施形態では、マスクデータ「1」は露呈部画素、マスクデータ「0」はマスク画素としているが、本発明はこれに限定されるものではなく、論理は問わない。
上記各実施形態では、フレームメモリ57からの原画像画素の出力順、RAM39からのプロファイルデータの出力順、合成回路60内キャッシュメモリからのマスクビットマップデータ54の出力順はプログレッシブ処理を想定して連続としているが、本発明はこれに限定されるものではなく、例としてインターレース処理を施す場合はAyは1、3、5、・・・1079、2、4、・・・1080、となる。
上記第2実施形態では、第2フレームメモリ92と第1フレームメモリ84は接続しているが、本発明はこれに限定されるものではなく、各画像を該当フレームメモリへ格納する際の格納先を切替えて実施してもよい。
上記第2実施形態では、PinP表示モードに切替えた時に原画像44を第1フレームメモリ84から読み出して縮小処理を施して縮小原画像75を生成して再度同一フレームメモリに格納するが、本発明はこれに限定されるものではなく、原画像44をそのまま縮小処理を施しながら縮小原画像75のみを第1フレームメモリ84に格納してもよいし、また、原画像44を第1フレームメモリ84から読み出しながら縮小処理を施して縮小原画像75を生成して後段処理に送ってもよい。
上記実施形態では、電子内視鏡での事例としているが、本発明はこれに限定されるものではなく、工業用内視鏡、デジタルスチルカメラ、ビデオカメラ、車載用カメラ、監視用カメラ、携帯電話カメラ、に適用してもよい。
第1実施形態の内視鏡システムの概略図である。 電子内視鏡システムの電気的構成を示すブロック図である。 (A)は原画像、(B)はマスク画像、(C)は原画像にマスク画像を合成した合成観察画像を説明するための説明図である。 マスクビットマップデータの一例を示した説明図である。 プロセッサ装置の画像処理回路のブロック図である。 マスク画素数A(=C)、露呈部画素数Bを説明するための説明図である。 画素数データの一例を示した説明図である。 内視鏡検査時におけるプロセッサ装置の動作を説明するためのフローチャートである。 合成観察画像の走査表示処理の流れを説明するためのフローチャートである。 (A)は静止合成観察画像、(B)は縮小合成観察画像、(C)はPinP画像を説明するための説明図である。 第2実施形態のプロセッサ装置の画像処理回路のブロック図である。 (イ)画素数データの縮小演算処理、(ロ)縮小画素数データのビットマップ変換処理を説明するための説明図である。 内視鏡検査時における第2実施形態のプロセッサ装置の動作を説明するためのフローチャートである。 PinP画像の走査表示処理の流れを説明するためのフローチャートである。 プロファイルデータの他の例を説明するための説明図である。
符号の説明
10 内視鏡システム
11 電子内視鏡
12,71 プロセッサ装置
25 フリーズボタン
27 モニタ
32 内視鏡用CPU
37 プロセッサ用CPU
38 ROM
41,79 画像処理回路
44 原画像
46 マスク画像
47 合成観察画像
48 有効領域
50 無効領域
52 露呈部
54 マスクビットマップデータ
55 画素数データ
75 縮小原画像
76 縮小マスク画像
77 PinP画像
97 縮小画素数データ
98 縮小マスクビットマップデータ
100 プロファイルデータ

Claims (8)

  1. 電子内視鏡で得た内視鏡画像と、その無効領域を覆って有効領域のみを露呈させるマスク画像とを合成する合成手段と、
    前記無効領域に対応するマスク部と前記有効領域に対応する露呈部のそれぞれの画面内の位置、形状、大きさを含む前記マスク画像のプロファイルを表し、データサイズが前記内視鏡画像の画素数よりも少ないビット数であるプロファイルデータを、データ格納手段から取得するデータ取得手段と、
    前記プロファイルデータを、画素毎に前記露呈部か前記マスク部かを識別するための1ビットの識別情報を持ち、データサイズが内視鏡画像の画素数と同数のビット数であるビットマップ形式のビットマップデータに変換するビットマップ変換手段とを備えたことを特徴とする内視鏡のプロセッサ装置。
  2. 前記プロファイルデータは、前記マスク部及び前記露呈部の画素数を、前記マスク画像の水平ライン毎に所定の基準位置からカウントして求めた画素数データであることを特徴とする請求項1記載の内視鏡のプロセッサ装置。
  3. 前記マスク画像が左右対称または上下対称な場合には、前記マスク部の画素数データは、前記マスク画像の片側分だけ持つことを特徴とする請求項2記載の内視鏡のプロセッサ装置。
  4. 前記マスク画像が上下左右対称な場合には、前記マスク部の画素数データは、前記マスク画像の1/4分だけ持つことを特徴とする請求項2記載の内視鏡のプロセッサ装置。
  5. 前記プロファイルデータは、前記マスク部と前記露呈部の境界位置を表す境界位置データを前記マスク画像の水平ライン毎に持つことを特徴とする請求項1記載の内視鏡のプロセッサ装置。
  6. 前記内視鏡画像の拡大/縮小に応じて前記マスク画像を拡大/縮小するための演算処理を前記プロファイルデータに施す演算処理手段を備えており、
    前記ビットマップ変換手段は、演算処理済みのプロファイルデータに対してビットマップ変換を行って、拡大/縮小された前記内視鏡画像の画像サイズに対応するビットマップデータを生成することを特徴とする請求項1〜5いずれか記載の内視鏡のプロセッサ装置。
  7. 前記ビットマップ変換手段によって生成されたビットマップデータに基づいて、親画面内に子画面を挿入するPinP処理を施すPinP処理手段を備えていることを特徴とする請求項6記載の内視鏡のプロセッサ装置。
  8. 電子内視鏡で得た内視鏡画像と、その無効領域を覆って有効領域のみを露呈させるマスク画像とを合成する合成処理を施すためのプロファイルデータであり、無効領域に対応するマスク部と有効領域に対応する露呈部のそれぞれの画面内の位置、形状、大きさを含む前記マスク画像のプロファイルを表し、データサイズが前記内視鏡画像の画素数よりも少ないビット数であるプロファイルデータを、データ格納手段から取得するデータ取得ステップと、
    前記プロファイルデータを、画素毎に露呈部かマスク部かを識別するための1ビットの識別情報を持ち、データサイズが内視鏡画像の画素数と同数のビット数であるビットマップ形式のビットマップデータに変換するビットマップ変換ステップと、
    前記ビットマップデータに基づいて前記合成処理を実行する合成処理ステップとを備えたことを特徴とする内視鏡画像のマスク処理方法。
JP2008216815A 2008-08-26 2008-08-26 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法 Pending JP2010051372A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008216815A JP2010051372A (ja) 2008-08-26 2008-08-26 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008216815A JP2010051372A (ja) 2008-08-26 2008-08-26 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法

Publications (1)

Publication Number Publication Date
JP2010051372A true JP2010051372A (ja) 2010-03-11

Family

ID=42067935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008216815A Pending JP2010051372A (ja) 2008-08-26 2008-08-26 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法

Country Status (1)

Country Link
JP (1) JP2010051372A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017638A (ja) * 2011-07-11 2013-01-31 Olympus Corp 画像処理装置、内視鏡装置及びプログラム
JP2013202138A (ja) * 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
WO2016199735A1 (ja) * 2015-06-12 2016-12-15 オリンパス株式会社 画像処理システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017638A (ja) * 2011-07-11 2013-01-31 Olympus Corp 画像処理装置、内視鏡装置及びプログラム
JP2013202138A (ja) * 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
WO2016199735A1 (ja) * 2015-06-12 2016-12-15 オリンパス株式会社 画像処理システム
JPWO2016199735A1 (ja) * 2015-06-12 2017-09-07 オリンパス株式会社 画像処理システム
US10491814B2 (en) 2015-06-12 2019-11-26 Olympus Corporation Image processing apparatus

Similar Documents

Publication Publication Date Title
US20090213211A1 (en) Method and Device for Reducing the Fixed Pattern Noise of a Digital Image
JP6104493B1 (ja) 撮像システム
WO2012033200A1 (ja) 撮像装置
JP6109456B1 (ja) 画像処理装置および撮像システム
JP2004321244A (ja) 電子内視鏡システム
JP5308884B2 (ja) 内視鏡用プロセッサ装置、およびその作動方法
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JP2009219573A (ja) 内視鏡用画像処理装置及び内視鏡用画像処理方法
JP6779367B2 (ja) 電子内視鏡装置
JP2010051372A (ja) 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
JP6489644B2 (ja) 撮像システム
JP6137892B2 (ja) 撮像システム
JP2010017452A (ja) 電子内視鏡用プロセッサ装置及び画像処理システム
JP6937902B2 (ja) 内視鏡システム
JPH11341485A (ja) 電子内視鏡装置
JP4214060B2 (ja) 撮像装置
JP2020141853A (ja) 画像処理装置、画像処理方法およびプログラム
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
JP3288412B2 (ja) 内視鏡システム
JP2010004980A (ja) 電子内視鏡用プロセッサ装置
JP6412361B2 (ja) 内視鏡用撮像装置
JPH1147089A (ja) 内視鏡撮像装置
JPH07313450A (ja) 内視鏡装置