JP2011087793A - 電子内視鏡用プロセッサ - Google Patents

Abstract

【課題】病変部の位置を自動認識し、病変部の位置を示すマークを自動的に内視鏡画像に重畳させることが可能な電子内視鏡用プロセッサを提供する。
【解決手段】電子内視鏡用プロセッサが、撮像素子が撮像した画像をデジタル画像データに変換する画像変換手段と、デジタル画像データを処理して該デジタル画像データに対応する画像に含まれる粘膜のピットパターンの形状に基づいて該デジタル画像データに対応する画像に含まれる病変部を推定するとともに該病変部の座標を特定する病変部位置特定手段と、病変部位置特定手段によって特定された座標に基づいてデジタル画像データに病変部の位置を示すマークを示す画像データを重畳するマーキング手段を有する。
【選択図】 図７

Description

本発明は、電子内視鏡と接続され、電子内視鏡が撮影した画像を処理してモニタ等に表示させる電子内視鏡用プロセッサに関する。

挿入管の先端に内蔵された固体撮像素子によって挿入管先端部周囲を撮像する電子内視鏡と、固体撮像素子から出力される映像信号を処理してモニタ等に表示させる電子内視鏡用プロセッサが、消化器等の体腔内の観察及び診断に広く利用されている。このような電子内視鏡用プロセッサにおいて、内視鏡画像中の病変部に、病変部の位置を示す矢印等のマークを重畳可能とすることは、診断に有用である。

上記の「内視鏡画像中の病変部にマークを重畳可能とする」という目的のため、特許文献１に記載されている電子内視鏡用プロセッサが提案されている。特許文献１に記載の電子内視鏡用プロセッサは、キーボード操作によって、モニタに表示される内視鏡画像に、病変部の位置を示す矢印を重畳することが可能となっている。

特開平１−２９７０３８号公報

上記のように、特許文献１に記載の電子内視鏡装置は、病変部の位置を示すマークをモニタに表示することは可能ではあるが、病変部のモニタの画面内における所在は、術者の手動操作によって指示される。例えば、術者のキーボード操作によってマークの表示位置が調整される。そのため、内視鏡処置中における術者の負担が大きなものとなっていた。

本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、病変部の位置を自動認識し、病変部の位置を示すマークを自動的に内視鏡画像に重畳させることが可能な電子内視鏡用プロセッサを提供することを目的とする。

上記の目的を達成するため、本発明の電子内視鏡用プロセッサは、撮像素子が撮像した画像をデジタル画像データに変換する画像変換手段と、デジタル画像データを処理して該デジタル画像データに対応する画像に含まれる粘膜のピットパターンの形状に基づいて該デジタル画像データに対応する画像に含まれる病変部を推定するとともに該病変部の座標を特定する病変部位置特定手段と、病変部位置特定手段によって特定された座標に基づいてデジタル画像データに病変部の位置を示すマークを示す画像データを重畳するマーキング手段を有する。

上記の構成によれば、自動的に病変部の位置が特定されるため、病変部の位置を手動で指定することなく病変部の位置を示すマークを画像中に記入することができる。

また、病変部位置特定手段は、例えばデジタル画像データに二値化及びラベリング処理を行ってピットパターン中の非染色部の抽出を行い、各非染色部の真円度に基づいて該デジタル画像データに対応する画像中の病変部の座標を特定する。

また、病変部位置特定手段は、例えば、デジタル画像データに対応する画像を複数の領域に分割し、複数の領域に含まれる非染色部の真円度の平均値を該複数の領域毎に演算し、非染色部の真円度の平均値が最も小さい領域が病変部であると推定し、病変部であると推定された領域に含まれる座標を病変部の座標とする。

また、病変部位置特定手段は、分割された複数の領域の各々に含まれる非染色部の真円度の平均値を、該分割された複数の領域毎に異なる重み付け係数を掛けることによって補正し、重み付け係数は、デジタル画像データに対応する画像の中心に近い領域程小さく設定されている構成とすることが好ましい。

一般に、電子内視鏡用プロセッサの使用者は、内視鏡観察中に病変部を発見したときに、病変部が画像の中央に来るように電子内視鏡を操作する。従って、病変部にマークを付与しようとする時は、画像の中心部が病変部である可能性が比較的高い。このため、病変部により確実にマークが付与されるようになる。

また、病変部位置特定手段は、例えば病変部であると推定された領域の中心点の座標を前記病変部の座標とする。

また、病変部位置特定手段は、デジタル画像データに対応する画像に含まれる病変部を複数箇所推定して、該複数箇所の病変部毎に該病変部の座標を特定し、電子内視鏡用プロセッサは、複数箇所の病変部の座標のうち、どの病変部の座標に基づいたマークを画面上に描画するのかの選択を受け付ける病変部選択手段を有し、マーキング手段は、複数箇所の病変部の座標のうち、病変部選択手段によって選択された座標に基づいて、デジタル画像データに病変部の位置を示すマークを示す画像データを重畳する構成とすることが好ましい。

このような構成とすると、電子内視鏡用プロセッサの使用者は、病変部位置特定手段が推定した複数の病変部の候補の中から病変部を選択し、選択された病変部の位置にマークを重畳させることが可能となる。病変部位置特定手段が病変部の候補を１つしか推定しない構成では、病変部位置特定手段が病変部以外の部位を病変部であると判断したときに、手動で病変部の位置を入力する必要があるが、本構成によれば、複数の病変部の候補の中から適切なものが選択されるので、病変部により確実にマークが付与されるようになる。

また、電子内視鏡用プロセッサに、デジタル画像データに対応する画像を表示可能なタッチパネルモニタが内蔵されている構成としてもよい。

また、この構成においては、病変部選択手段が前記タッチパネルモニタであることが好ましい。

このような構成とすると、タッチパネルモニタに表示された画像から目を離すことなく、タッチパネルを操作して病変部の選択操作を行うことが可能となる。

また、病変部位置特定手段によって特定された座標に基づいてコメント記入欄を示す画像データをマークを示す画像データが重畳されたデジタル画像データに重畳するコメント描画手段と、文字の入力を受け付ける文字入力手段と、文字入力手段によって入力された文字を示す画像データをコメント記入欄を示す画像データが重畳されたデジタル画像データに重畳する文字描画手段とをさらに有する構成としてもよい。

このような構成とすると、例えば、マークが示す病変部がどのような病変部であるか等の情報を示す文字情報を内視鏡画像に重畳させることができる。

また、文字入力手段がタッチパネルモニタを含む構成としてもよい。例えば、タッチパネルモニタの画面に文字入力の為のソフトウェアキーボードが表示可能である。好ましくは、ソフトウェアキーボードは、タッチパネルの画面に選択的に表示又は非表示されるものである。或いは、タッチパネルモニタの画面には文字入力の為の手書き入力パッドが表示可能である。

また、電子内視鏡用プロセッサが、ストレージと、少なくとも病変部の位置を示すマークを示す画像データが重畳されたデジタル画像データを画像データファイルとしてストレージに保存する画像保存手段とを有する構成としてもよい。

以上のように、本発明の電子内視鏡用プロセッサによれば、病変部の位置を自動認識し、病変部の位置を示すマークを自動的に内視鏡画像に重畳させることが可能となる。

図１は、本発明の実施の形態の電子内視鏡システムのブロック図である。 図２は、本発明の実施の形態のタッチパネルモニタの画面の表示内容の一例を示したものである。 図３は、円及びコメント部が表示されたタッチパネルモニタの画面の表示内容の一例を示したものである。 図４は、大型のソフトウェアキーボードが表示されたタッチパネルモニタの画面の表示内容の一例を示したものである。 図５は、ソフトウェアキーボードの代わりに手書き入力パッドが表示されたタッチパネルモニタの画面の表示内容の一例を示したものである。 図６は、文字色設定のためのサブメニューが表示されたタッチパネルモニタの画面の表示内容の一例を示したものである。 図７は、本発明の実施の形態の電子内視鏡用プロセッサの主コントローラによって実行されるプログラムのフローチャートである。 図８は、大腸の健常な部位のピットパターンの一例である。 図９は、大腸の病変部のピットパターンの一例である。

以下、本発明の実施の形態について図面を用いて説明する。図１は、本実施形態の電子内視鏡システムのブロック図である。本実施形態の電子内視鏡システム１は、電子内視鏡１００と、電子内視鏡用プロセッサ２００を有する。

電子内視鏡１００は、図１に示す如く、その先端にＣＣＤ等の撮像素子１０１を内蔵した挿入管１００ａと、該挿入管１００ａの基端に接続され患者の体腔内の対象部位を観察したり撮像したりする為の複数の操作ボタン（図１においては、１つに省略されている。）１０４や挿入管１００ａを湾曲操作する為の操作レバー（図示せず）等が設けられた操作部１００ｂと、該操作部に続き電子内視鏡１００を電子内視鏡プロセッサ２００に接続する為の接続部１００ｃとから構成される。撮像素子１０１によって撮像された画像は、挿入管１００ａ、操作部１００ｂ並びに接続部１００ｃ内を挿通する画像信号ケーブル１０２を介して、電子内視鏡用プロセッサ２００に送信される。また、電子内視鏡用プロセッサ２００は、電子内視鏡１００の撮像素子１０１によって撮像された画像を処理するビデオプロセッサとしての機能と、電子内視鏡１００に照明光を供給するための光源装置としての機能を備えた装置である。

電子内視鏡用プロセッサ２００の光源装置としての機能について以下に説明する。図１に示されるように、照明光の伝播経路であるライトガイド１０３が、電子内視鏡１００の挿入管１００ａ、操作部１００ｂ並びに接続部１００ｃ内に挿通されている。また、電子内視鏡用プロセッサ２００は、光源部２２０を有する。電子内視鏡１００が電子内視鏡用プロセッサ２００に接続されている状態では、ライトガイド１０３の基端部は、電子内視鏡用プロセッサ２００の内部に配置されており、光源部２２０は、ＬＥＤやランプ等の光源によって生成された照明光を電子内視鏡１００のライトガイド１０３の基端部に入射させるものである。ライトガイド１０３の基端部に入射した照明光は、ライトガイド１０３によって電子内視鏡１００の挿入管１００ａの先端部まで導かれ、該先端部付近を照明する。

光源部２２０は電子内視鏡用プロセッサ２００のペリフェラルコントローラ２１２に接続されている。ペリフェラルコントローラ２１２は、電子内視鏡用プロセッサ２００の主コントローラ２１１に接続されている。主コントローラ２１１は、ペリフェラルコントローラ２１２を介して光源部２２０の光源の点灯及び消灯を制御することが可能である。

次に電子内視鏡用プロセッサ２００のビデオプロセッサとしての機能について以下に説明する。電子内視鏡用プロセッサ２００は、前段ビデオコントローラ２３１と、第１ビデオメモリ２３２と、第１後段ビデオコントローラ２３３と、第２ビデオメモリ２３４と、第２後段ビデオコントローラ２３５を有する。電子内視鏡１００の撮像素子１０１によって撮像された画像の画像信号は、前段ビデオコントローラ２３１によってホワイトバランス調整及びデジタル信号への変換が行われ、デジタルの画像データとして第１ビデオメモリ２３２及び第２ビデオメモリ２３４に記憶される。第１後段ビデオコントローラ２３３は、第１ビデオメモリ２３２に記憶された画像データを周期的に読み出してビデオ信号に変換する。第１後段ビデオコントローラ２３３によって生成されるビデオ信号は、ビデオケーブル２３６を介して電子内視鏡用プロセッサ２００の外部に設けられた外部モニタ３１０に送られる。この結果、外部モニタ３１０には、電子内視鏡１００の撮像素子１０１によって撮像された内視鏡画像が動画として表示される。

また、第２後段ビデオコントローラ２３５は、第２ビデオメモリ２３４に記憶された画像データを周期的に読み出してビデオ信号に変換する。変換されたビデオ信号は、電子内視鏡用プロセッサ２００に内蔵されたタッチパネルモニタ２４０に送られるようになっている。この結果、タッチパネルモニタ２４０には、電子内視鏡１００の撮像素子１０１によって撮像された内視鏡画像が動画として表示される。

また、主コントローラ２１１は、前段ビデオコントローラ２３１に信号を送ることによって、前段ビデオコントローラ２３１から第２ビデオメモリ２３４への画像データの送信を停止することができる。前段ビデオコントローラ２３１から第２ビデオメモリ２３４への画像データの送信が停止した状態では、第２ビデオメモリ２３４には画像データの送信が停止する直前の画像データが保持され続けることになる。そして、第２後段ビデオコントローラ２３５によってこの画像データが繰り返し読み出され、ビデオ信号に変換され、タッチパネルモニタ２４０に送信される。この結果、タッチパネルモニタ２４０には、画像データの送信が停止する直前の内視鏡画像が静止画像として表示され続ける。第２ビデオメモリ２３４への画像データの送信が停止した状態であっても、前段ビデオコントローラ２３１から第１ビデオメモリ２３２への画像データの送信は引き続き行われるため、外部モニタ３１０には内視鏡画像が動画として表示され続ける。

また、第２ビデオメモリ２３４は、２フレームの画像データを記憶可能となっている。一方のフレーム（主フレーム）には、前段ビデオコントローラ２３１によって生成される画像データが記憶されている。また、電子内視鏡用プロセッサ２００の主コントローラ２１１は、第２ビデオメモリ２３４の他方のフレーム（オーバーレイフレーム）に画像データを書き込むことができるようになっている。第２後段ビデオコントローラ２３５は、第２ビデオメモリ２３４の主フレームの画像データとオーバーレイフレームの画像データの両方を読み出して、主フレームの画像にオーバーレイフレームの画像が重ね合わされた画像を生成し、生成された画像をビデオ信号に変換してタッチパネルモニタ２４０に出力する。すなわち、主コントローラ２１１は、タッチパネルモニタ２４０上に内視鏡画像の上に他の画像が重ね合わされた画像を、タッチパネルモニタ２４０に表示させることが可能である。例えば、電子内視鏡システム１を操作するためのメニュー画面の画像データをオーバーレイフレームに書き込み、内視鏡画像にメニュー画面が重ね合わされた画像をタッチパネルモニタ２４０上に表示させることが可能である。或いは、撮像素子１０１によって撮像された画像とともに、操作メニューや付加情報（日時、患者名等）をタッチパネルモニタ２４０上に表示させることが可能である。

タッチパネルモニタ２４０は、指やスタイラス等が画面のどの位置（座標）に触れたかを検知し、その座標情報をペリフェラルコントローラ２１２に送信する。なお、タッチパネルモニタ２４０は、感圧方式、静電容量方式等、様々な方式のタッチパネルの中から適宜選択されるものである。電子内視鏡用プロセッサ２００の主コントローラ２１１は、ペリフェラルコントローラ２１２を介して、タッチパネルモニタ２４０から出力された座標情報を得ることができる。電子内視鏡システム１の使用者は、指やスタイラス等でタッチパネルモニタ２４０に触れることによって、電子内視鏡用プロセッサ２００を操作する、或いは電子内視鏡用プロセッサ２００に情報を入力することができる。

電子内視鏡用プロセッサ２００には、キーボード３２０が接続されている。キーボード３００を操作することによってキーボード３２０から出力されるキー入力信号は、ペリフェラルコントローラ２１２を介して主コントローラ２１１に送信される。電子内視鏡システム１の使用者は、キーボード３２０を操作することによっても、電子内視鏡用プロセッサ２００を操作する、或いは電子内視鏡用プロセッサ２００に情報を入力することができる。

また、ペリフェラルコントローラ２１２は、制御信号ケーブル１０５を介して電子内視鏡１００の操作ボタン１０４と接続されている。電子内視鏡システム１の使用者は、操作ボタン１０４を押すことによって、電子内視鏡用プロセッサ２００を操作することができる。本実施形態においては、操作ボタン１０４は、内視鏡画像を静止画像としてタッチパネルモニタ２４０に表示させる際に操作される。すなわち、タッチパネルモニタ２４０に内視鏡画像が動画として表示されている状態で操作ボタン１０４が押されると、ペリフェラルコントローラ２１２を介して主コントローラ２１１に操作に関する制御信号が送信される。主コントローラ２１１は、前段ビデオコントローラ２３１に制御信号を送信する。上記制御信号を受信した前段ビデオコントローラ２３１は、第２ビデオメモリ２３４への画像データの送信を停止する。これにより、タッチパネルモニタ２４０には内視鏡画像が静止画として表示される。

本実施形態の電子内視鏡システム１では、タッチパネルモニタ２４０やキーボード３２０を操作することによって、タッチパネルモニタ２４０に表示されている内視鏡画像にコメントを重畳することが可能である。また、タッチパネルモニタ２４０やキーボード３２０を操作することによって、撮像素子１０１によって撮像された画像及びコメントを画像データとしてストレージ２５０に保存することが可能である。そして、タッチパネルモニタ２４０やキーボード３２０を操作することによってストレージ２５０に保存された画像データをタッチパネルモニタ２４０に表示させることができる。タッチパネルモニタ２４０に表示された画像は、例えば診断結果を患者に説明する際に参照される。

撮像素子１０１によって撮像された画像にコメントを重畳するための機構について以下に説明する。図２は、本実施形態のタッチパネルモニタ２４０の画面２４１の表示内容の一例を示したものである。図２に示されるように、画面２４１の左側部分は内視鏡画像が表示される画像表示エリア２４２となっており、画面２４１の右側部分はメニューボタンＭ１〜Ｍ５やソフトウェアキーボードＫ１が配置されるメニューエリア２４３となっている。

電子内視鏡１００の操作ボタン１０４（図１）が押されて静止画像の内視鏡画像がタッチパネルモニタ２４０に表示されると、主コントローラ２１１（図１）は、第２ビデオメモリ２３４の主フレームに記憶されている内視鏡画像の画像データの画像解析を行って、病変部である可能性が高い領域を抽出し、病変部である可能性が高い領域にマーキングを行うようになっている。すなわち、図３に示されるように、主コントローラ２１１は、病変部の可能性が高いものと判断された領域が円Ｃで囲われるよう、オーバーレイフレームに円Ｃの画像データを書き込む。この結果、病変部を示すマークとしての円Ｃがタッチパネルモニタ２４０に表示される。さらに、主コントローラ２１１は、円Ｃの外周に吹き出し状のコメント部Ｐが表示されるよう、第２ビデオメモリ２３４のオーバーレイフレームにコメント部Ｐの画像データを書き込む。また、コメント部Ｐが表示されている状態で、指又はスタイラスでソフトウェアキーボードＫ１に触れると、主コントローラ２１１は、コメント部Ｐ内に文字が記入されるよう、第２ビデオメモリ２３４のオーバーレイフレームに文字の画像データを書き込む。なお、コメント部Ｐの枠の部分以外の部分は、背景の内視鏡画像が透過している。

また、メニューボタンＭ２を操作することによって、コメント部Ｐ内に表示される文字の色を変更することができる。具体的には、メニューボタンＭ２が押されると、図６に示されるように、画面２４１上に文字色選択用のパレットＳＭ２を含むサイドメニューＳＭが表示されるように、主コントローラ２１１は第２ビデオメモリのオーバーレイフレームの書き換えを行う。タッチパネルモニタ２４０にメニューＳＭが表示されている状態で、指やスタイラスでパレットＳＭ２に触れることによって文字色を選択することが可能となっている。また、サイドメニューＳＭには文字色を自動的に設定するためのボタンＳＭ１が配置されている。指やスタイラスでボタンＳＭ１に触れると、文字色はコメント部Ｐ内の画像の補色となるよう設定される。文字色を自動的に設定する場合は、文字とコメント部Ｐ内の画像が互いに補色の関係となり、見やすい色の文字色となる。ボタンＳＭ１パレットＳＭ２のいずれかに指やスタイラスが触れると、主コントローラ２１１は、文字色の設定変更を行い、次いで、サイドメニューＳＭの画像データを第２ビデオメモリ２３４から消去する。

電子内視鏡１００の操作ボタン１０４（図１）が押されると、主コントローラ２１１（図１）は、病変部である可能性が高い領域を複数抽出し（すなわち、複数箇所の病変部を推定する）、最も可能性の高いものにマーキングを行う。病変部である可能性が高い領域にマーキングが行われた状態で、指又はスタイラスがメニューボタンＭ３に触れると、主コントローラ２１１は、円Ｃ及びコメント部Ｐを一旦消去し、それまでマーキングされていた領域の次に病変部である可能性の高い領域に円Ｃ及びコメント部Ｐが表示されるよう、第２ビデオメモリ２３４のオーバーレイフレームの内容を書き換える。このように、メニューボタンＭ３を操作することによって、複数抽出された領域のうち操作者がマーキングを行いたい領域に円Ｃ及びコメント部Ｐを移動させることができる。

なお、メニューボタンＭ４を操作することによって、上記の病変部の自動検出機能を使用しないようにすることも可能である。病変部の自動検出機能を使用しない場合に、電子内視鏡１００の操作ボタン１０４（図１）が押されると、内視鏡画像は静止画としてタッチパネルモニタ２４０に表示されるが、円Ｃ及びコメント部Ｐは重畳表示されない。電子内視鏡１００の操作ボタン１０４が押された後に、指又はスタイラスで画像表示エリア２４２に触れると、主コントローラ２１１は、触れた位置を中心とする円Ｃの画像データを第２ビデオメモリ２３４のオーバーレイフレームに書き込み、さらに、オーバーレイフレームの円Ｃの外周の位置にコメント部Ｐの画像データを書き込む。この結果、タッチパネル２４０に円Ｃ及びコメント部Ｐが表示され、コメント部Ｐへのコメントの記入が可能な状態となる。

なお、ソフトウェアキーボードＫ１の代わりに、キーボード３２０（図１）を操作することによって、コメント部Ｐ内に文字を記入することも可能である。また、指やスタイラスでメニューボタンＭ５に触れることによって、コメント部Ｐへの文字の入力方法を変更することが可能である。具体的には、図３の状態でメニューボタンＭ５に触れると、図４のように、ソフトウェアキーボードＫ１よりも大きいソフトウェアキーボードＫ２が、画像表示エリア２４２に表示される。そして、ソフトウェアキーボードＫ２に触れることによって、コメント部Ｐに文字を入力することができる。また、図４の状態でメニューボタンＭ５に触れると、図５のように、手書き入力パッドＦがメニューエリア２４３に表示されるように、主コントローラ２１１が第２ビデオメモリ２３４のオーバーレイフレームを書き換える。そして、手書き入力パッドＦ上で文字を描くように指やスタイラスを動かすことによって、手書き文字認識によりコメント部Ｐに文字を入力することができる。なお、図５の状態でメニューボタンＭ５に触れると、手書き入力パッドＦの代わりにソフトウェアキーボードＫ１がメニューエリア２４３に表示された、図３の状態に戻る。

また、指又はスタイラスにてメニューボタンＭ１に触れると、主コントローラ２１１は、主フレームに記憶された内視鏡画像に、オーバーレイフレームに記憶された円Ｃ及びコメント部Ｐの画像が重ね合わされた画像データを生成し、生成された画像データを画像データファイルに変換し、得られた画像データファイルをストレージ２５０（図１）に保存する。

以上説明した内視鏡画像へのコメント記入及び内視鏡画像の保存機能は、主コントローラ２１１が図７のフローチャートで示されるプログラムを実行することによって実現される。

本プログラムは、内視鏡画像を静止画としてタッチパネルモニタ２４０に表示させる処理が行われた、すなわち、電子内視鏡１００の操作ボタン１０４が押された時に実行される。本プログラムが実行されると、ステップＳ１が最初に実行される。ステップＳ１では、主コントローラ２１１は、病変部の自動検出機能がオンに設定されているかどうかの判断を行う。自動検出機能がオンに設定されているのであれば（Ｓ１：ＹＥＳ）、ステップＳ２に進む。

ステップＳ２では、病変部の中心座標を検出する。病変部の中心座標の検出機能は、染色された大腸の粘膜の内視鏡画像から病変部を自動検出するものである。

大腸の病変部の有無は、ピットパターンの形状を解析することによって行われる。ピットパターンとは粘膜をメチレンブルーやクレシールバイオレット、ピオクタニン等の色素によって染色したときに現れる模様のことである。健常な部位では、図８に示されるように、アスペクト比の小さい楕円状の非染色部ｎが多数配列されたピットパターンが得られる。一方、病変部では、図９に示されるように、アスペクト比の大きな形状の非染色部ｎが多数配列されたピットパターンが得られる。

そこで、主コントローラ２１１は、内視鏡画像の二値化及びラベリング処理によって非染色部ｎの抽出を行い、抽出された非染色部ｎの夫々について、周長ｓと面積ａを演算し、下記の数１に基づいて非染色部ｎの真円度ｃを算出する。

数１に示されるように、アスペクト比が大きい非染色部ｎ程、真円度ｃは小さな値となる。一方、非染色部ｎの形状が真円に近ければ、真円度ｃは１に近づく。そこで、本実施形態においては、主コントローラ２１１は、内視鏡画像を、例えば水平５マス、垂直５マスの２５マスに分割し、各マスに含まれる非染色部ｎの真円度の平均値を計算し、平均値の最も小さくなるマスの中心座標を病変部（円Ｃ）の中心座標とする。また、主コントローラ２１１が、画像表示エリア２４２の中心に最も近いマスで最小の値を取り、画像表示エリア２４２の中心から離れるほど値が大きくなるような重み付け係数を非染色部ｎの真円度の平均値に掛けて平均値の補正を行い、補正された平均値が最も小さくなるマスを病変部（円Ｃ）の中心座標とする構成としてもよい。一般に内視鏡システム１の操作者は、病変部を画像表示エリア２４２（図２〜５）の略中心に来るように電子内視鏡１００を操作した後に電子内視鏡１００の操作ボタン１０４を押して静止画をタッチパネル２４０に表示させるので、このような重み付け係数で非染色部ｎの真円度の平均値を補正することによって、病変部をより確実にマーキングすることができる。

次いで、非染色部ｎの真円度の平均値が小さい順を優先順位として、この優先順位が高いものから順に１番目から５番目のマスの座標（すなわち、非染色部ｎの真円度の平均値が最も小さい５つのマスの座標）を、優先順位と関連づけて記憶する。なお、記憶されるマスの座標の数は、５つに限定されるものではなく、５より多くの数のマスの座標を記憶してもよく、或いは、５より少ない数のマスの座標を記憶する構成としてもよい。次いで、ステップＳ３に進む。

一方、ステップＳ１にて、病変部の自動検出機能がオフに設定されているのであれば（Ｓ１：ＮＯ）、ステップＳ１１に進む。ステップＳ１１では、主コントローラ２１１は、タッチパネルモニタ２４０（図１〜６）からの入力を受け付ける。タッチパネルモニタ２４０に指やスタイラスが触れると、ステップＳ１２に進む。

ステップＳ１２は、ステップＳ１１においてタッチパネルモニタ２４０の画面２４１のどの座標に指やスタイラスが触れたのかに応じて、異なるステップに分岐する分岐ステップである。指やスタイラスが触れたのが画像表示エリア２４２であるならば、ステップＳ１３に進む。

ステップＳ１３では、主コントローラ２１１は、ステップＳ１１で指やスタイラスが触れた部分の座標を、病変部の座標として記憶する。次いで、ステップＳ３に進む。

また、ステップＳ１１で指やスタイラスが触れた部分の座標がメニューボタンＭ１であるならば、ステップＳ１２からステップＳ６に分岐して内視鏡画像の保存が行われる（後述）。また、ステップＳ１１で指やスタイラスが触れた部分の座標が画像表示エリア２４２でもメニューボタンＭ１でもないのであれば、ステップＳ１２からステップＳ１１に分岐する。

以上のように、ステップＳ１２及びＳ１３が実行されると、内視鏡システム１の使用者によって病変部の座標が指示される。また、ステップＳ１２及びＳ６が実行されると、病変部のマーキングを行うことなく内視鏡画像のストレージ２５０（図１）への保存が行われる。

ステップＳ３では、主コントローラ２１１は、ステップＳ２又はＳ１３で設定された病変部の座標に基づいて、円Ｃ及びコメント部Ｐ（図３〜６）が重畳されるよう、第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。なお、病変部の座標がステップＳ２で設定されたものであれば、優先順位の最も高い病変部の座標に基づいて円Ｃ及びコメント部Ｐの重畳を行う。次いで、ステップＳ４に進む。

ステップＳ４では、主コントローラ２１１は、キーボード３２０（図１）又はタッチパネルモニタ２４０からの入力を受け付ける。タッチパネルモニタ２４０に指やスタイラスが触れるか、キーボード３２０によるキー入力が発生すると、ステップＳ５に進む。

ステップＳ５は、ステップＳ４でどのような入力があったかに応じて、異なるステップに分岐する分岐ステップである。キーボード３２０によるキー入力が発生したか、指やスタイラスが触れたのがソフトウェアキーボードＫ１（図２、３、６）、Ｋ２（図４）又は手書き入力パッドＦ（図５）であるならば、ステップＳ２１に進む。

ステップＳ２１では、主コントローラ２１１は、ソフトウェアキーボードＫ１、Ｋ２、手書き入力パッドＦ、又はキーボード３２０にて入力された文字をビットマップで表現した画像データを、第２ビデオメモリ２３４のオーバーレイフレームのコメント部Ｐ（図３〜６）内の位置に追記する。次いでステップＳ４に戻る。

ステップＳ４においてメニューボタンＭ２が操作されたのであれば、ステップＳ５からＳ２２に分岐する。ステップＳ２２では、主コントローラ２１１は、サブメニューＳＭ（図６）が画面２４１上に表示されるよう、第２ビデオメモリ２３４のオーバーレイフレームの画像データを書き換える。次いで、サブメニューＳＭでの入力内容に応じてコメント部Ｐ内の文字の色が変更されるよう、第２ビデオメモリ２３４のオーバーレイフレームの画像データを書き換える。次いでステップＳ４に戻る。

また、ステップＳ４においてメニューボタンＭ３が操作されたのであれば、ステップＳ５からＳ２３に分岐する。ステップＳ２３では、主コントローラ２１１は、一旦円Ｃ及びコメント部Ｐが消去されるよう第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行うとともに、病変部候補の座標の優先順位を入れ換える。具体的には、それまで優先順位が１位だった座標（すなわち、現在表示されている円Ｃに対応する座標）の優先順位を最下位とし、優先順位２〜最下位の座標の優先順位を１つずつ繰り上げる。なお、記憶されている座標が１つのみ、すなわち病変部の座標がステップＳ１３で指定されたものである場合は、上記の優先順位入れ替えの処理は行われない。次いで、ステップＳ３に戻る。ステップＳ３では、優先順位が１位の座標（すなわち、ステップＳ２３の実行前は優先順位が２位であった座標）に基づいて円Ｃ及びコメント部Ｐが表示されるよう、主コントローラ２１１は第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。このように、ステップＳ２３が実行されることによって、タッチパネルモニタ２４０上に表示される円Ｃの位置が切り換えられる。

また、ステップＳ４においてメニューボタンＭ４が操作されたのであれば、ステップＳ５からステップＳ２４に分岐する。ステップＳ２４では、主コントローラ２１１は、円Ｃ及びコメント部Ｐが消去されるよう、第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。次いで、ステップＳ１１に進み、電子内視鏡システム１の使用者による病変部の座標指定が行われる。

また、ステップＳ４においてメニューボタンＭ５が操作されたのであれば、ステップＳ５からステップＳ２５に分岐する。ステップＳ２５にて、ソフトウェアキーボードＫ１が現在画面２４１に表示されているのであれば、主コントローラ２１１（図１）は、ソフトウェアキーボードＫ１の代わりにソフトウェアキーボードＫ２を画面２４１に表示させるよう、第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。また、ソフトウェアキーボードＫ２が現在画面２４１に表示されているのであれば、主コントローラ２１１（図１）は、ソフトウェアキーボードＫ２の代わりに手書き入力パッドＦを画面２４１に表示させるよう、第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。また、手書き入力パッドＦが現在画面２４１に表示されているのであれば、主コントローラ２１１（図１）は、手書き入力パッドの代わりにソフトウェアキーボードＫ１を画面２４１に表示させるよう、第２ビデオメモリ２３４のオーバーレイフレームの書き換えを行う。このように、本ステップが実行されると、画面２４１に表示されている文字入力のためのインターフェースが切り換わるようになっている。

また、ステップＳ４においてメニューボタンＭ１が操作されたのであれば、ステップＳ６に進む。

ステップＳ４においてメニューボタンＭ１〜Ｍ５、ソフトウェアキーボードＫ１、Ｋ２及び手書き入力パッドＦ以外の画面２４１上の部分に指又はスタイラスが触れた時は、何も処理を行わず、ステップＳ４に戻る。

ステップＳ６では、主コントローラ２１１は、第２ビデオメモリ２３４の主フレームに記憶されている内視鏡画像の画像データと、オーバーレイフレームに記憶されている円Ｃ及びコメントＰの画像データとを結合し、円Ｃ及びコメントＰが含まれる内視鏡画像を示す一枚の画像データを生成する。次いで、ステップＳ７に進む。

ステップＳ７では、主コントローラ２１１は、ステップＳ６で生成された画像データを、画像データファイルとしてストレージ２５０に保存する。次いで、ステップＳ８に進む。

ステップＳ８では、主コントローラ２１１（図１）は前段ビデオコントローラ２３１（図１）に制御信号を送り、前段ビデオコントローラ２３１から第２ビデオメモリ２３４に画像データが再び送信されるようにする。これにより、タッチパネルモニタ２４０には再び内視鏡画像が動画として表示されるようになる。次いで、本プログラムを終了する。

以上のように、本プログラムが実行されることによって、病変部を示す円Ｃ及びコメント部Ｐが追加された内視鏡画像が、画像データファイルとしてストレージ２５０に保存される。

本実施形態においては、染色された大腸の粘膜の内視鏡画像から病変部の位置を自動検出するものである。しかしながら、本発明は上記の構成に限定されるものではなく、ピットパターンの形状に基づいて病変部の抽出が可能な他の器官の粘膜の内視鏡画像から、病変部の位置を自動検出する構成も又、本発明に含まれる。

また、本実施形態においては、タッチパネルモニタ２４０の画面上に、各種操作を行うための５つのボタンＭ１〜Ｍ５が表示されている。しかしながら、画面上に表示されるボタンの数、ボタンの表示位置、ボタンの大きさ、ボタンの配列（複数のボタンを垂直方向に並べるか、或いは水平方向に並べるか等）、及びボタンの夫々に割り当てられる機能については、内視鏡システム１の使用者によって、適宜設定変更を行うことが可能である。

また、本実施形態においては、初期状態ではソフトウェアキーボードＫ１が文字入力のためのインターフェースとして画面上に表示されており、ボタンＭ５が操作されると、文字入力のためのインターフェースが切り換わるようになっている。しかしながら、初期状態で表示される文字入力のためのインターフェースを、ソフトウェアキーボードＫ２または手書き入力パッドＦとするよう、内視鏡システムの使用者が適宜設定変更を行うことが可能である。また、ボタンＭ５が操作されたときに文字入力のためのインターフェースを切り換える順番もまた、内視鏡システムの使用者が適宜設定変更を行うことが可能である。

１ 電子内視鏡システム
１００ 電子内視鏡
１０１ 撮像素子
１０４ 操作ボタン
２００ 電子内視鏡用プロセッサ
２１１ 主コントローラ
２１２ ペリフェラルコントローラ
２３１ 前段ビデオコントローラ
２３２ 第１ビデオメモリ
２３３ 第１後段ビデオコントローラ
２３４ 第２ビデオメモリ
２３５ 第２後段ビデオコントローラ
２４０ タッチパネルモニタ
２５０ ストレージ
３１０ 外部モニタ
３２０ キーボード

Claims (14)

1. 電子内視鏡と接続されて該電子内視鏡の撮像素子が撮像した画像をビデオ信号に変換して表示手段に表示させる電子内視鏡用プロセッサであって、
   前記撮像素子が撮像した画像をデジタル画像データに変換する画像変換手段と、
   前記デジタル画像データを処理して、該デジタル画像データに対応する画像に含まれる粘膜のピットパターンの形状に基づいて、該デジタル画像データに対応する画像に含まれる病変部を推定するとともに該病変部の座標を特定する病変部位置特定手段と、
   前記病変部位置特定手段によって特定された座標に基づいて、前記デジタル画像データに病変部の位置を示すマークを示す画像データを重畳するマーキング手段と
   を有することを特徴とする電子内視鏡用プロセッサ。
2. 前記病変部位置特定手段は、前記デジタル画像データに二値化及びラベリング処理を行って前記ピットパターン中の非染色部の抽出を行い、各非染色部の真円度に基づいて該デジタル画像データに対応する画像中の病変部の座標を特定することを特徴とする請求項１に記載の電子内視鏡用プロセッサ。
3. 前記病変部位置特定手段は、
   前記デジタル画像データに対応する画像を複数の領域に分割し、
   前記複数の領域に含まれる非染色部の真円度の平均値を該複数の領域毎に演算し、
   前記非染色部の真円度の平均値が最も小さい領域が前記病変部であると推定し、
   前記病変部であると推定された領域に含まれる座標を前記病変部の座標とする
   ことを特徴とする請求項２に記載の電子内視鏡用プロセッサ。
4. 前記病変部位置特定手段は、前記分割された複数の領域の各々に含まれる非染色部の真円度の平均値を、該分割された複数の領域毎に異なる重み付け係数を掛けることによって補正し、
   前記重み付け係数は、前記デジタル画像データに対応する画像の中心に近い領域程小さく設定されている
   ことを特徴とする請求項３に記載の電子内視鏡用プロセッサ。
5. 前記病変部位置特定手段は、前記病変部であると推定された領域の中心点の座標を前記病変部の座標とすることを特徴とする請求項３又は４に記載の電子内視鏡用プロセッサ。
6. 前記病変部位置特定手段は、前記デジタル画像データに対応する画像に含まれる病変部を複数箇所推定して、該複数箇所の病変部毎に該病変部の座標を特定し、
   前記電子内視鏡用プロセッサは、前記複数箇所の病変部の座標のうち、どの病変部の座標に基づいたマークを画面上に描画するのかの選択を受け付ける病変部選択手段を有し、
   前記マーキング手段は、前記複数箇所の病変部の座標のうち、前記病変部選択手段によって選択された座標に基づいて、前記デジタル画像データに前記病変部の位置を示すマークを示す画像データを重畳する
   ことを特徴とする請求項１から５のいずれか一項に記載の電子内視鏡用プロセッサ。
7. 前記電子内視鏡用プロセッサに、前記デジタル画像データに対応する画像を表示可能なタッチパネルモニタが設けられていることを特徴とする請求項１から請求項６のいずれか一項に記載の電子内視鏡用プロセッサ。
8. 前記病変部選択手段が前記タッチパネルモニタであることを特徴とする請求項６を引用する請求項７に記載の電子内視鏡用プロセッサ。
9. 前記病変部位置特定手段によって特定された座標に基づいてコメント記入欄を示す画像データを前記マークを示す画像データが重畳されたデジタル画像データに重畳するコメント描画手段と、
   文字の入力を受け付ける文字入力手段と、
   前記文字入力手段によって入力された文字を示す画像データを、前記コメント記入欄を示す画像データが重畳されたデジタル画像データに重畳する文字描画手段と
   をさらに有することを特徴とする請求項１から８のいずれか一項に記載の電子内視鏡用プロセッサ。
10. 前記文字入力手段が前記タッチパネルモニタを含むことを特徴とする請求項７または８を引用する請求項９に記載の電子内視鏡用プロセッサ。
11. 前記タッチパネルモニタの画面には文字入力の為のソフトウェアキーボードが表示可能であることを特徴とする請求項１０に記載の電子内視鏡用プロセッサ。
12. 前記ソフトウェアキーボードは、前記タッチパネルモニタの画面に選択的に表示又は非表示されるものであることを特徴とする請求項１１に記載の電子内視鏡用プロセッサ。
13. 前記タッチパネルモニタの画面には文字入力の為の手書き入力パッドが表示可能であることを特徴とする請求項９から請求項１２のいずれか一項に記載の電子内視鏡用プロセッサ。
14. ストレージと、
    少なくとも前記病変部の位置を示すマークを示す画像データが重畳されたデジタル画像データを画像データファイルとして前記ストレージに保存する画像保存手段と
    をさらに有することを特徴とする請求項１から１３のいずれか一項に記載の電子内視鏡用プロセッサ。
    

Images