JP2006271870A - 内視鏡用画像処理装置 - Google Patents

内視鏡用画像処理装置 Download PDF

Info

Publication number
JP2006271870A
JP2006271870A JP2005099321A JP2005099321A JP2006271870A JP 2006271870 A JP2006271870 A JP 2006271870A JP 2005099321 A JP2005099321 A JP 2005099321A JP 2005099321 A JP2005099321 A JP 2005099321A JP 2006271870 A JP2006271870 A JP 2006271870A
Authority
JP
Japan
Prior art keywords
image
recording
moving image
moving
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005099321A
Other languages
English (en)
Inventor
Kazumasa Kaneko
和真 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2005099321A priority Critical patent/JP2006271870A/ja
Publication of JP2006271870A publication Critical patent/JP2006271870A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】 所望とする処理画像部分での動画記録を確実に行い、過大なデータ量とならないように動画記録データの適正化ができる内視鏡用画像処理装置を提供する。
【解決手段】 通常観察モード時において、ユーザからの録画指示の有無に対応するフラグ情報を格納してから録画を開始し、観察モードの切替等により処理画像に切り替えられた場合には、それ以前に作成したチャプタ番号と異なるチャプタで処理画像の動画記録を行い、動画記録の終了後に、前記フラグ情報に応じて通常観察モード時に記録した原画像を削除するしないの処理を行って、過大にならないように適正化した動画記録データを作成する。
【選択図】 図7

Description

本発明は、内視鏡を用いて得られる画像信号に対して画像処理を行う内視鏡用画像処理装置に関する。
近年、内視鏡は医療用分野等において広く採用されるようになった。また、内視鏡より得られた内視鏡画像に対して関心領域を設定して画像処理を行うことにより、被検体内の正常部位と病変部などとの識別を容易に行えるようにする内視鏡用画像処理装置が用いられるようになった。
また、記録機器の発展と共に、内視鏡画像を動画で記録するニーズも増えてきた。
例えば、特開2001−128098号公報の従来例には、動画形式の医療画像を記録再生可能で、動画における所望の場面を、動画の記録中及び再生中に指定可能とした医療情報記録再生装置が開示されている。
特開2001−128098号公報
動画記録は記録に必要な容量が大きくなるため、ユーザは慎重に動画記録の必要性を判断してわざわざ動画記録を開始しており面倒な作業となっていた。
また、通常の内視鏡画像を原画像としてその原画像に対して画像処理した処理画像や、通常の内視鏡画像の場合とは異なる照明光の下で撮像して得られる処理画像のように、ユーザが所望とする処理画像のような画像部分を確実に記録するために、所望とする画像部分の以前に動画の記録を開始させることを行うことができるが、所望とする画像部分以外の画像部分を録画するために動画データの容量が増大し、画像記録装置の容量を圧迫する。
また、この場合には、所望とする画像部分以外の画像部分が録画されているために、処理画像のようなユーザが所望とする画像部分を検索することが困難になる。また、この場合には1回で記録に必要となる記録容量が増大し、記録装置の容量を圧迫したり、記録を望む画像部分で記録容量が不足する事態が発生する可能性がある。
また、ユーザによっては、処理画像を記録すると共に原画像も記録することを望む要請もあり、このような場合にも適切に対応できる装置が望まれる。
(発明の目的)
本発明は上述した点に鑑みてなされたもので、所望とする処理画像部分での動画記録を確実に行えると共に、記録の必要性の少ない部分で過大になり過ぎないように動画記録データの適正化ができる内視鏡用画像処理装置を提供することを目的とする。
本発明は、撮像素子が搭載された内視鏡により被検体の体腔内を撮像して得られる画像信号を処理する内視鏡用画像処理装置において、
前記内視鏡により通常観察用の波長帯域の照明光のもとで得られた画像信号を表示可能な内視鏡の原画像とする原画像生成手段と、
前記原画像に対する所定の処理又は前記原画像の場合とは波長帯域が異なる照明光のもとで得られる画像信号に対して所定の処理を施して、表示可能な内視鏡画像の処理画像とする複数種類の画像処理手段と、
前記原画像又は前記処理画像の少なくとも1つを動画で一時的に記録する動画一時記録手段と、
前記画像処理手段により動作した画像処理の種類に応じて前記動画一時記録手段に、処理画像を含むように記録容量を適正化した動画記録データを生成可能とする制御を行う動画記録制御手段と、
を具備したことを特徴とする。
上記構成により動画記録制御手段は、動作した画像処理の種類に応じて前記動画一時記録手段に、処理画像のみを含むように記録の必要性の低い部分を削除したり、処理画像と共に原画像が含まれるようにする等、適正化された動画記録データの生成を可能にしている。
本発明によれば、所望とする処理画像を含むように記録容量が適正化された動画記録データの生成ができる。
以下、図面を参照して本発明の実施例を説明する。
図1ないし図8は本発明の実施例1に係り、図1は本発明の実施例1を備えた内視鏡装置1の全体構成を示し、図2は実施例1を構成するビデオプロセッサの内部構成を示し、図3は電子内視鏡2で使用されるフィルタの構造と、各フィルタの特性について説明する図であって、図3(A)は回転フィルタ27の構造を説明する図、図3(B)はRGBフィルタの透過特性を説明する図、図3(C)は蛍光観察用フィルタの透過特性を説明する図、図3(D)は励起光カットフィルタの透過特性を説明する図、図3(E)は帯域切替フィルタの構造を説明する図、図3(F)、図3(G)は帯域切替フィルタに配置された各フィルタの透過特性の説明図である。
また、図4は各種設定を行うためのメニュー画面を示し、図5はモニタに表示される観察画像を説明する図であって、図5(A)は内視鏡画像の表示例、図5(B)は擬似カラー画像の表示例、図5(C)は無効領域の大きさが画像処理に適さない場合の画像の表示例を示し、図6は実施例1における動作の概要を示し、図7は本実施例における処理画像の動画記録を適正化して行う動作内容を示し、図8は画像の種類に応じて圧縮率を変更して動画記録を行う動作を示す。
図1に示すように、本実施例を備えた内視鏡装置1は、撮像手段を備えた電子内視鏡2と、内視鏡用画像処理装置としてのビデオプロセッサ6と、このビデオプロセッサ6から出力される画像信号を表示するモニタ7と、モニタ7に表示されるモニタ画像(内視鏡画像)を写真撮影する画像記録手段としてのモニタ画像撮影装置8Aと、このビデオプロセッサ6に接続され、画像情報等の記録を行う画像ファイリング装置8Bと、画像処理のON/OFFの指示信号を送ったり、患者データの入力等を行ったりするキーボード9とを有する。
また、ビデオプロセッサ6には、電子内視鏡2に照明光を供給する光源部3と、撮像手段に対して映像信号(画像信号)を処理する原画像生成手段としての映像信号処理ブロック4と、この映像信号処理ブロック4からの出力信号に対して画像処理を施す処理画像生成手段としての画像処理ブロック5とが内蔵されている。すなわち、ビデオプロセッサ6は、ここでは原画像と、複数の処理画像を生成する画像生成手段を有している。
また、ビデオプロセッサ6は、外部のサーバ8Cと接続され、例えば画像処理ブロック5内に配置した一時記録装置59(図2参照)に記録した画像情報をサーバ8Cの記録媒体に転送或いは移動することができるようにしている。
電子内視鏡2は、細長で例えば可動性の挿入部11を有し、この挿入部11の後端に太幅の操作部12が連設されている。この操作部12の後端側側部から可撓性のユニバーサルコード13が延設され、このユニバーサルコード13の端部のコネクタ14はビデオプロセッサ6のコネクタ受け部15に着脱自在で接続することができる。
挿入部11には、先端側から硬性の先端部16と、この先端部16に隣接する後端に湾曲自在の湾曲部17と、可撓性を有する長尺の可撓部18とが順次設けられている。ユーザは、操作部12に設けられた湾曲操作ノブ19を回動操作する事によって、湾曲部17を左右方向あるいは上下方向に湾曲できるようになっている。
また、操作部12には、挿入部11内に設けられた処置具チャンネル(導通管)に連通する挿入口20が設けられており、実施例2で説明するプローブユニット等を挿通することにより、その先端部を処置具チャンネルの先端から突出させて、処置或いは拡大観察等を行うことができるようにしている。更に、操作部12の頂部にはフリーズ指示を行うフリーズスイッチ、レリーズ指示を行うレリーズスイッチ、観察モード切替スイッチ等のスコープスイッチ10が設けられている。
また、このスコープスイッチ10には、動画記録を行った場合に、所望とするシーンのインデックス画像(サムネイル画像)を生成する指示操作を行うインデックス画像スイッチ10aも設けてある。なお、このインデックス画像スイッチ10aは、術者等が手動(マニュアル)で、インデックス画像指示の指示操作を行うものである。後述するようにCPU56は、観察モードの切替に応じて自動でインデックス画像生成の制御を行うようにすることもできる。
モニタ画像撮影装置8Aは、モニタ7と同様に、画像等を表示する図示しないモニタと、そのモニタに表示される画像等を写真撮影によって記録する写真撮影装置(具体的には、カメラ)とから構成される。
また、サーバ8C或いはDVD−RAM、画像ファイリング装置8B等の外部記録装置は、後述するようにビデオプロセッサ6内部に設けられた一時記録装置59に一時的に記録された画像情報等が最終的に記録される。また、画像検索等に利用することもできるようにしている。
次に、図2を用いて、内視鏡装置1の内部構成について説明する。図2は、内視鏡装置1における主にビデオプロセッサ6の内部構成を示すブロック図である。図2に示すように、電子内視鏡2の先端部16における照明窓及び観察窓には、照明レンズ21と対物光学系22とがそれぞれ取り付られている。
照明レンズ21の後端側には、ファイババンドルからなるライトガイド23が配置され、このライトガイド23は、挿入部11、操作部12、ユニバーサルコード13内を挿通され、その後端の入射端は、コネクタ14に至る。このコネクタ14をビデオプロセッサ6のコネクタ受け部15に接続する事により、このビデオプロセッサ6内の光源部3から出射される照明光が、ライトガイド23の入射端に入力されるようになっている。
光源部3は、可視光を含む照明光を発生するランプ24を有する。ランプ24から射出された照明光は、その光路中に配置され、絞りモータ25aにより駆動される絞り25を経て、帯域切替フィルタ80に入射される。帯域切替フィルタ80を透過した光は、回転フィルタ27に入射される。回転フィルタ27を透過した光は、図示しない集光レンズによって集光され、ライトガイド23の入射端に入射される。
回転フィルタ27は、回転フィルタ27を照明光の光軸周りに回転させるモータ26と共に、移動用モータ31によって照明光の光路と直交する方向(図2の符号Pの矢印で示す方向)に移動される。例えば、モータ26にはラックが取り付けられており、ピニオンギアが設けられた移動用モータ31により、回転フィルタ27とモータ26とが照明光の光路と直交する方向(図2の符号Pの矢印で示す方向)に移動される。
ここで、回転フィルタ27及び帯域切替フィルタ80の構造と特性について、図3を参照して説明する。図3は、電子内視鏡2で使用されるフィルタの構造と、各フィルタの特性についての説明図である。
図3(A)に示すように、回転フィルタ27は、同心円状の内周側に通常観察用のRGBフィルタ28が配置され、同心円状の外周側に蛍光観察用フィルタ29が配置されており、観察モードに応じていずれかのフィルタが選択されて、照明光の光路上に挿入される。
内周側に配置された、通常観察用のRGBフィルタ28は、Rフィルタ28aと、Gフィルタ28bと、Bフィルタ28cとから構成され、各フィルタは図3(B)に示すような透過特性を有している。
すなわち、Rフィルタ28aは、600nm−700nmの赤の波長帯域、Gフィルタ28bは500nm−600nmの緑の波長帯域、Bフィルタ28cは400nm−500nmの青の波長帯域を透過するように、それぞれ設定されている。
また、RGBフィルタ28は、赤外光観察用にも使用されるため、Rフィルタ28aとGフィルタ28bとは790nm−820nmの波長帯域、Bフィルタ28cは900nm−980nmの波長帯域も透過するように、それぞれ設定されている。
外周側に配置された、蛍光観察用の蛍光観察用フィルタ29は、G2フィルタ29aと、Eフィルタ29bとから構成され、各フィルタは図3(C)に示すような透過特性を有している。
すなわち、G2フィルタ29aは、540nm−560nmの波長帯域、Eフィルタ29bは400nm−470nmの波長帯域を透過するように、それぞれ設定されている。尚、G2フィルタ29aの透過特性は低いレベルに設定されており、これらの狭帯域の照明光のもとで撮像された緑の色信号(以下、G2信号)と蛍光信号とを合成することで、蛍光観察用にカラー表示できるようにしている。
また、図3(E)に示すように、帯域切替フィルタ80は、同心円上に通常・蛍光観察用フィルタ80a、狭帯域光観察用フィルタ80b、赤外光観察用フィルタ80cが配置されており、観察モードに応じていずれかのフィルタが選択され、照明光の光路上に挿入される。
図3(F)に示すように、通常・蛍光観察用フィルタ80aは、400nm−660nm付近の波長帯域を透過するように設定されており、赤外光観察用フィルタ80cは、780nm−950nm付近の波長帯域を透過するように設定されている。また、狭帯域光観察用フィルタ80bは三峰性のフィルタで構成されており、図3(G)に示すように、400nm−430nm付近、530nm−550nm付近、600nm−630nm付近の、三つの離散的な波長帯域を透過するように設定されている。
本実施例を備えた内視鏡装置1では、照射光の波長帯域を調整することで、通常観察、狭帯域光観察、赤外光観察、及び蛍光観察の4種類の観察モードで被写体を観察することが可能である。より具体的には、通常観察の場合には、R,G,Bによる可視光領域の面順次光のもとで撮像を行い、撮像された信号に対して通常の内視鏡画像(原画像)を生成する。
これに対して、狭帯域光観察、赤外光観察、及び蛍光観察の場合には、帯域制限して処理画像を生成する。なお、通常観察の場合においても、その原画像に対して所定の画像処理を行うことにより、後述するようにIHb色彩強調した処理画像を生成する。
それぞれの観察モードは、ユーザ(使用者)がスコープスイッチ10の観察モード切替スイッチを操作することで設定される。観察モード切替スイッチが操作されると、スコープスイッチ10から制御回路40へ指示信号が出力される。
制御回路40は移動用モータ31を制御して回転フィルタ27等を移動させ、光路中に配置されるフィルタをRGBフィルタ28もしくは蛍光観察用フィルタ29へ切り替える。
具体的には、通常観察モード、狭帯域光観察モード、及び赤外光観察モードに設定された場合、回転フィルタ27の内周側に配置されたRGBフィルタ28が照明光の光路上に挿入され、蛍光観察モードが設定された場合、回転フィルタ27の外周側に配置された蛍光観察用フィルタ29が照明光の光路上に挿入される。
制御回路40は、移動用モータ31と同時に、帯域切替フィルタ80を駆動するモータ81も制御して、光路上に配置されるフィルタを切り替える。具体的には、通常観察モード及び蛍光観察モードに設定された場合、通常・蛍光観察用フィルタ80aが照明光の光路上に挿入され、狭帯域光観察モードに設定された場合、狭帯域光観察用フィルタ80bが照明光の光路上に挿入され、赤外光観察モードに設定された場合、赤外光観察用フィルタ80cが照明光の光路上に挿入される。
すなわち、通常観察モードにおいては、ランプ24から射出された照明光が、図3(F)に示す特性を有する通常・蛍光観察用フィルタ80aと、図3(B)に示す特性を有するRGBフィルタ28とを透過することで、赤、緑、青の波長帯域の光のみがフィルタリングされて、光源部3からライトガイド23へ順次射出される。
また、狭帯域光観察モードにおいては、ランプ24から射出された照明光が、図3(G)に示す特性を有する狭帯域光観察用フィルタ80bと、図3(B)に示す特性を有するRGBフィルタ28とを透過することで、600nm−630nm、530nm−560nm、400nm−430nmの波長帯域の光のみがフィルタリングされて、光源部3からライトガイド23へ順次射出される。
また、赤外光観察モードにおいては、ランプ24から射出された照明光が、図3(F)に示す特性を有する赤外光観察用フィルタ80cと、図3(B)に示す特性を有するRGBフィルタ28とを透過することで、790nm−820nm、790nm−820nm、900nm−980nmの波長帯域の光のみがフィルタリングされて、光源部3からライトガイド23へ順次射出される。
また、蛍光観察モードにおいては、ランプ24から射出された照明光が、図3(F)に示す特性を有する通常・蛍光観察用フィルタ80aと、図3(C)に示す特性を有する蛍光観察用フィルタ29とを透過することで、540nm−560nm、390nm−450nm、600nm−620nmの波長帯域の光のみがフィルタリングされて、光源部3からライトガイド23へ順次射出される。ここで、390nm−450nmの波長帯域の光は、生体組織から自家蛍光を励起するための励起光である。
ライトガイド23に入射された照明光は、先端部16に導かれて、先端面の照明窓に取り付けられた照明レンズ21を通り、被検査対象部位等の被写体を照射する。通常観察モードにおいては、R、G、Bの面順次の照明光が被写体に照射され、蛍光観察モードにおいては、G2、Eの面順次の照明光が被写体に照射される。
一方、対物光学系22の結像位置には、固体撮像素子として、例えば電荷結合素子(以下、CCDと略記)30が配置されている。このCCD30と、対物光学系22との間の光路上には励起光カットフィルタ32が配置されており、被写体からの反射光のうち390nm−450nmの励起光を遮断して蛍光を抽出する。
励起光カットフィルタ32は、図3(D)に示すように、470nm以上の波長帯域を透過するように設定されており、Eフィルタ29bの透過特性と重ならないように設定されている。尚、観察モードとして狭帯域光観察が選択された場合、400nm−430nmの波長の光を利用するため、励起光カットフィルタ32がCCD30の前面に配置されていない別の電子内視鏡2をビデオプロセッサ6に接続して使用する。
面順次の照明光が照射されて、被写体から散乱光、反射光、或いは蛍光が発生する。これらの光は、励起光カットフィルタ32を透過し、対物光学系22によってCCD30の光電変換面に結像され、CCD30において光電変換される。
CCDドライバ33は、CPU56もしくは制御回路40によって制御され、CCD30での電荷蓄積時間を可変制御する電子シャッタの機能を有しており、このCCDドライバ33によってCCD30へCCDドライブ信号が印加されることで、回転フィルタ27の回転に同期してCCD30から光電変換されて蓄積された信号電荷が画像信号として出力される。
すなわち、回転フィルタ27のそれぞれのフィルタを通過した照射光に対応する画像信号が、CCD30からビデオプロセッサ6へ時系列で順次出力される。
尚、時系列で出力される画像信号(撮像信号)は、通常観察モードにおいてはR、B、Gの色信号となり、蛍光観察モードにおいてはG2の照明光の下で撮像されたG2信号、Eの励起光の下で撮像された蛍光信号、R2信号の照明光の下で撮像された信号となる。また、狭帯域光観察モードと赤外光観察モードとにおいては、それぞれの照明光の順番に応じた信号となる。
CCD30から光電変換されて出力される時系列の画像信号は、映像信号処理ブロック4内に入力され、所定の範囲の電気信号(例えば、0〜1ボルト)に増幅するためのアンプ34に入力される。
このアンプ34の出力信号は、A/Dコンバータ35に入力され、デジタル信号に変換され、さらにオートゲインコントロール回路(以下、AGC回路と示す)36において適正なレベルになるようにゲインが自動制御される。
AGC回路36から出力された信号は、1入力3出力のセレクタ37に入力される。時系列に送られてくる画像信号は、セレクタ37によってR、G、Bの各色信号、もしくはG2信号、蛍光信号に分離されて、順番にホワイトバランス調整回路38へ入力される。 ホワイトバランス調整回路38では、ホワイトバランス調整、すなわち、光学系の透過特性などの機種ばらつき(機種による差や個体差を含む)から生じた色調のばらつきを補正するために、基準となる白の被写体を撮像した場合にR、G、Bの各色信号のレベルが等しくなるように、各色信号に対してゲイン調整がなされる。
尚、電子内視鏡2にはスコープIDメモリ48が設けられており、ホワイトバランス調整用のデータ、電子内視鏡2が対応可能な観察モード(通常観察、自家蛍光観察、狭帯域光観察、赤外観察)、電子内視鏡2の適応部位(上部消化管、下部消化管、気管支)、電子内視鏡2の機種バラツキに関する補正パラメータ、などが記憶されている。
このスコープIDメモリ48からホワイトバランス調整回路38へホワイトバランス用の調整値を読み込むことで、自動的にホワイトバランスを調整することも可能である。ホワイトバランス調整がなされた、R、G、Bの各色信号等の時系列に入力される信号は、メモリ部39を構成するR、G、B用メモリ39r、39g、39bにそれぞれ格納される。
つまり、通常観察モードでは、R、G、Bの各色信号は、メモリ部39を構成するR、G、B用メモリ39r、39g、39bにそれぞれ格納される。また、赤外観察モードでは、さらに赤外観察用フィルタ80bが光路中に配置された状態で、通常観察モードの場合のR,G,Bフィルタが順次光路中に配置された状態で撮像された赤外撮像信号がR、G、B用メモリ39r、39g、39bにそれぞれ格納される。
また、狭帯域光観察モードにおいても、狭帯域光観察用フィルタ80bにおけるR,G,Bのフィルタを通して撮像された狭帯域R,G,B信号は、メモリ部39を構成するR、G、B用メモリ39r、39g、39bにそれぞれ格納される。
また、蛍光観察モードでは、G2信号及び蛍光信号の各信号が、G、B用メモリ39g、39bにそれぞれ格納される。
尚、A/Dコンバータ35によるA/D変換、セレクタ37の切り換え、ホワイトバランス調整回路38でのホワイトバランス調整、メモリ部39のR、G、B用メモリ39r、39g、39bへの信号の記憶(書き込み)及び読み出しは、制御回路40によって制御される。
また、制御回路40は、同期信号発生回路(図2ではSSGと略記)41に基準信号を送り、同期信号発生回路41は、それに同期した同期信号を発生する。尚、制御回路40により、R、G、B用メモリ39r、39g、39bに書き込みを禁止する状態に制御することで、静止画表示状態にすることができる(後述する、同時化回路57における内部メモリによっても可能となる)。
また、制御回路40は、絞りモータ25aを駆動して、照明光量の制御も行う。すなわち、A/Dコンバータ35の出力信号は、AGC回路36の他に測光回路42へ出力されて測光され、測光された信号は制御回路40へ出力される。制御回路40では、測光された信号を積分した平均値を(適切な明るさの場合の)基準の値と比較し、その差を小さくするように調光信号を出力して絞りモータ25aを駆動する。
絞りモータ25aは、受信した調光信号に従って絞り25を駆動し、絞り25の(照明光路上の)開口量を調整して適切な照明光量が照射されるようにする。尚、絞りモータ25aには、絞り25の(開口量に対応する)絞り位置を検出する位置検出手段としての図示しないロータリエンコーダ等が取り付けてあり、ロータリエンコーダの検出信号は制御回路40へ出力される。
制御回路40は、この検出信号によって絞り25の位置を検出する。また、制御回路40とCPU56とは、双方向に信号を送受信可能な信号線で接続されており、制御回路40からの信号によって、CPU56も絞り25の位置を確認することができるように構成されている。
通常観察モードの場合、R、G、B用メモリ39r、39g、39bにそれぞれ格納されたR、G、Bの各色信号は、画像処理を行う画像処理ブロック5を構成する主にIHb色彩強調を行うIHb処理ブロック44へ出力される。IHb処理ブロック44は、血液情報量となる色素量としてのヘモグロビン量に相関する値(以下、IHbと示す)の算出等の処理を行う。
本実施例においては、IHb処理ブロック44は、IHb処理回路部45と、無効領域検出部46とから構成されている。
IHb処理回路部45は、設定された関心領域内における、各画素のIHbの量(値)とIHbの量(値)の平均値との算出、及び、各画素におけるIHbの値を元にIHb色彩強調した擬似カラー画像として表示するための擬似画像生成処理を行う。
無効領域検出部46は、設定された関心領域に対して画像処理に適さない無効領域を検出する。IHb処理ブロック44の構成については、後に詳述する。
また、本実施例においては、フリーズ画像を表示する場合に色ずれが少ない状態で画像を表示するために、色ずれを検出する色ずれ検出回路47を備えている。R、G、B用メモリ39r、39g、39bから、R、G、Bの各画像データが色ずれ検出回路47に出力されて、色ずれ検出回路47では受信したR、G、Bの各画像データの相関量等を算出することによって、色ずれ量を検出する。
また、画像のフリーズ指示がなされた場合、設定された時間内で色ずれ最小の画像を検出し、色ずれ最小の画像が検出されたフィールドの画像を表示させるように制御回路40へ信号を出力する。制御回路40は、メモリ部39のR、G、B用メモリ39r、39g、39bへの書き込みを禁止状態に制御し、モニタ7の表示される画像と、モニタ画像撮影装置8Aのモニタに表示される画像とを静止画状態にする。
IHb処理ブロック44から出力される面順次の信号は、γ補正回路50でγ補正され、更に後段画像処理回路51において構造強調処理がなされる。尚、後段画像処理回路51で行われる処理は構造強調処理でなくてもよく、例えば、色調調整処理や色彩強調処理であってもよい。
後段画像処理回路51で構造強調処理等の画像処理がなされた画像信号は、標準の映像表示用のCCD30の場合には、文字重畳回路52に出力される。一方、ハイビジョン用のCCD30の場合にはハイビジョン用処理部53内の文字重畳回路52aに出力される。また、レリーズ指示がなされている場合、画像処理後の画像信号は、インデックス画像生成部(図2ではIND画像生成と略記)54にも出力される。
インデックス画像生成部54は、メモリ等で構成され、静止画のレリーズ指示によって記録された画像を元にして、インデックス画像を生成する。インデックス画像生成部54へ信号を書き込む際の画像の縮小率と、インデックス画像用マスクサイズとは、電子内視鏡2の種類、電子内視鏡2内のCCD30の種類、及び、後段画像処理回路51での処理において使用された画像の拡大率によって決定される。
インデックス画像生成部54において生成されたインデックス画像の画像信号は、画像合成手段としての標準の映像用のインデックス画像重畳回路55において、後段画像処理回路51から出力された画像信号と重畳されて、文字重畳回路52に出力される。 また、インデックス画像生成部54は、動画記録を行った際には、動画記録により生成される動画ファイルをチャプタと呼ばれる複数に区分けする際の各区分けの開始位置の静止画のインデックス画像(サムネイル画像)を生成する場合にも利用される。
また、インデックス画像スイッチ10aの指示操作によっても、所望とするシーンでのインデックス画像を生成するようにすることができる。
一方、ハイビジョン用のCCD30の場合には、インデックス画像の画像信号は、ハイビジョン用処理部53内のハイビジョン用インデックス画像重畳回路55aにおいて、後段画像処理回路51から出力された画像信号と重畳されて、文字重畳回路52aに出力される。
文字重畳回路52、52aは、患者のデータやIHb処理回路部45で算出されたIHbの平均値が、入力される画像信号に重畳された後、それぞれ同時化回路57,57aにおいて面順次信号から同期化された信号へ変換される。
同時化回路57,57aは、それぞれ内部に3つのフレームメモリを有する。そして、面順次の信号データをこれらの3つのフレームメモリに順次書き込み、3つのフレームメモリに書き込まれた信号データを同時に読み出すことにより、同時化された信号を出力する。
例えば、通常観察モードの場合、R、G、Bの面順次の色信号を3つのフレームメモリのそれぞれに書き込み、同時に読み出すことで、同期化されたRGB信号を出力する。 同時化された信号は、D/A変換部58、58aの3つのD/Aコンバータにそれぞれ入力されると共に、静止画を含む動画を一時的に記録する動画一時記録手段としての一時記録装置59にも入力される。D/A変換部58、58aは、アナログ信号に変換して、出力端からアナログの映像信号を出力する。
そして、出力端に接続されたモニタ7、モニタ画像撮影装置8A、及び画像ファイリング装置8Bに映像信号を出力する。そして、モニタ7には、通常の可視光で照明及び撮像された通常画像(原画像)、処理画像等を表示することができる。
動画を記録する一時記録装置59は、ハードディスク或いはハードディスクよりも高速の記録及び読み出しやランダムアクセスが可能な半導体メモリ等により構成され、外部の動画記録手段としての画像ファイリング装置8B等に転送されるまでの間の一時的な画像の記録などに使用される。この一時記録装置59は、インデックス画像生成部54と共に、動画記録制御手段としての機能を持つCPU56によりその動作が制御される。
より具体的に説明すると、この一時記録装置59は、CPU56の制御下で、記録、読み出し(或いはデータの移動ないしは転送)、記録される動画ファイルにチャプタを設ける等の編集の動作が制御される。
また、CPU56の制御により、一時記録装置59に記録されたデジタルの画像データ(映像データ)を、D/A変換部58、58aを経て出力させることができると共に、通信インタフェース(図2ではI/F)59aを介して外部のサーバ8Cや外部の大容量の画像記録装置にデジタルの画像データを転送或いは移動することができるようにしている。
蛍光観察モードの場合、G、B用メモリ39g、39bから読み出されたG2信号、蛍光信号の各信号は、IHb処理回路部45の画像合成/マトリクス回路65、面順次回路66等を経て後段側の処理回路へ送られ、例えばG2信号による緑の色信号と、青色の色信号に着色された蛍光信号とで、モニタ7に蛍光画像が反射光による画像と合成されて擬似カラー表示される。赤外光観察モードにおいては、それぞれの色信号で、モニタ7に画像が擬似カラー表示される。
また、後述するように狭帯域光観察モードでは、短波長側となる狭帯域B信号を強調するマトリクス変換や視認性を向上する色変換が行われてモニタ7に狭帯域光の画像が擬似カラー表示される。
また、赤外観察モードでは、通常観察モードの場合の画像処理を当てはめたような処理画像として、モニタ7に例えば擬似カラー表示する。
尚、同時化回路57、57a内部のフレームメモリへの書き込み及び読み出しや、D/A変換部58、58aにおけるD/A変換は、制御回路40によって制御される。また、γ補正回路50、後段画像処理回路51、及び文字重畳回路52,52aの動作は、CPU56によって制御される。また、制御回路40やCPU56は(例えばCPU56がメインになって)、ユーザによる各種操作指示等に対応して内視鏡装置1の各部位を制御する。
ユーザは、スコープスイッチ10を操作して、フリーズ指示や静止画レリーズ指示、動画レリーズ指示をすることができる。スコープスイッチ10のフリーズスイッチが操作されると、フリーズ指示信号がCPU56を介して制御回路40へ出力され、制御回路40はモニタ7にフリーズ画像(静止画)が表示されるように、メモリ部39のR、G、B用メモリ39r、39g、39bを制御する。
尚、フリーズ指示は、キーボード9や、ビデオプロセッサ6のフロントパネル60から行うこともできる。スコープスイッチ10の静止画レリーズスイッチが操作されると、レリーズ信号がCPU56へ出力される。
CPU56は、フリーズ画像が表示されている状態でなければ、制御回路40を介してメモリ部39のR、G、B用メモリ39r、39g、39bを制御し、フリーズ画像が表示される状態にする。また、CPU56は、モニタ画像撮影装置8Aに静止画レリーズ制御信号を出力し、モニタ画像撮影装置8Aはレリーズ制御信号に従って写真撮影を行う。 また、スコープスイッチ10等から動画レリーズ(動画記録)指示を行うと、CPU56は、一時記録装置59にその指示信号を送り、一時記録装置59は、同時化回路57或いは57aから入力される同時化されたデジタルの画像信号の記録の動作を行う。
また、ユーザは、キーボード9や、ビデオプロセッサ6のフロントパネル60を操作して、画像処理の実行(画像処理ON)や、画像処理の停止(画像処理OFF)を指示することもできる。
画像処理の実行や画像処理の停止の指示がなされると、指示信号がCPU56へ出力され、CPU56はIHb処理ブロック44のIHb算出回路61、IHb平均値算出回路62、輝度検出回路67、無効領域検出回路68等を制御して、指示信号に従って画像処理を実行または停止させる。
更に、ユーザは、キーボード9や、ビデオプロセッサ6のフロントパネル60に設けられた図示しないスイッチを操作して、処理画像であるIHb画像を表示するよう指示することもできる。ユーザによりIHb画像の表示指示がなされると、指示信号がCPU56へ出力され、CPU56はIHb処理ブロック44等を制御してIHb画像をモニタ7に表示させる。
また、CPU56は、例えばCPU56の内部のROM56cに格納されたプログラムにより後述する一時記録装置59に対する制御動作を行うと共に、メニュー画面(図4参照)に示すようにユーザなどにより選択或いは設定された情報(内容)に沿って制御動作を行う。
本実施例を備えた内視鏡装置1では、上述した電子内視鏡2のみならず、異なる種別の電子内視鏡2をビデオプロセッサ6に接続して使用することもできる。異なる種別の電子内視鏡2に対してもビデオプロセッサ6が信号処理を行えるように、電子内視鏡2には内視鏡固有の識別情報43が格納されている。
内視鏡固有の識別情報(以下、内視鏡識別情報という)43とは、例えば、画角及び光学ズーム等の光学種別情報、用途情報(例えば、上部消化管用、あるいは下部消化管用等、電子内視鏡2の使用用途に関する情報)、内設されるCCD30の画素数情報等である。
本実施例においては、これらの内視鏡識別情報43は、内視鏡装置2とビデオプロセッサ6が接続されると、コネクタ14、コネクタ受け部15、及び映像信号処理ブロック4に設けられた検出回路71などによって検出され、検出した情報をもとに、ビデオプロセッサ6は信号処理を行う。
内視鏡識別情報43の検出方法としては、ROM等の記憶手段に内視鏡識別情報43を格納し、これを読み出すことで検出する方法、あるいは、抵抗素子等を用いて電子内視鏡2の種別毎に異なる抵抗値を持たせ、抵抗値の違いに拠って内視鏡識別情報43を検出する方法などが挙げられる。
また、本実施例においては、これらの内視鏡識別情報43のうち、電子内視鏡2に設けられたCCD30の画素数等の種別情報を、CCD30に係わる信号経路から直接検出することもできる。
例えば、検出回路71は、CCD30から出力される信号を増幅部へと導く信号経路上において、コネクタ14のピン数等をコネクタ受け部15を介して検出し、ビデオプロセッサ6に接続された電子内視鏡2に内蔵されているCCD30の画素数等の種別タイプを検出することができる。
尚、コネクタ14のピン数からCCD30の画素数等の種別を検出するのではなく、CCD駆動信号を印加して、その出力信号の波形数から画素数(水平画素数、垂直画素数)を検出するなどの方法を用いてもよい。
また、電子内視鏡2とビデオプロセッサ6との接続時には、電子内視鏡2のスコープIDメモリ48に格納されている、電子内視鏡2が対応可能な観察モード、電子内視鏡2の適応部位、電子内視鏡2の機種バラツキに関する補正パラメータ、などのデータが、CPU56へ送信される。尚、スコープIDメモリ48は、EEPROMやフラッシュメモリ等の記憶手段で形成されている。
次に、IHb色彩強調を行うIHb処理ブロック44の構成を説明する。IHb処理ブロック44のIHb処理回路部45は、IHb算出回路61と、IHb平均値算出回路62と、関心領域設定回路63と、擬似画像生成回路64と、画像合成/マトリクス回路65と、面順次回路66とから構成される。また、IHb処理ブロック44の無効領域検出部46は、輝度検出回路67と、無効領域検出回路68と、無効領域表示回路69とから構成される。
まず、IHb処理回路部45について説明する。関心領域設定回路63は、検出回路71により検出されたCCD30の種別タイプを受信し、擬似画像が適切なサイズで表示されるように、CCD30の種別タイプに応じて擬似画像の表示領域、すなわち関心領域を設定する。関心領域設定回路63で設定された関心領域の情報は、IHb算出回路61と、IHb平均値算出回路62と、画像合成/マトリクス回路65とに出力される。
IHb算出回路61は、関心領域の情報の他に、図2に示すように、Rメモリ39rから出力されるR信号と、Gメモリ39gから出力されるG信号とを受信し、受信した関心領域から無効領域を除いた領域に存在する画素についてIHbを算出する。尚、無効領域は、後述する無効領域検出回路68において設定され、IHb算出回路61と、IHb平均値算出回路62とに出力される。IHb算出回路61では、具体的に以下の(1)式の演算が行われて、各画素におけるIHbの値が算出される。
IHb=32×log(R/G)・・・(1)
R:関心領域内における無効領域を除くR画像のデータ
G:関心領域内における無効領域を除くG画像のデータ
この(1)式を回路によって実現することは容易であり、例えば、入力されるR画像のデータとG画像のデータとを図示しない除算器を用いて演算し、その出力結果をROMなどで構成した図示しない対数のlog変換テーブルで変換することによって実現できる。また、CPU56などを用いて上記(1)式の演算を行ってもよい。
IHb算出回路61によって算出されたIHbの値は、IHb平均値算出回路62に出力される。IHb平均値算出回路62は、受信したIHbの値を、関心領域設定回路63で設定された関心領域から無効領域を除いた領域で平均化し、IHb平均値を算出する。IHb算出回路61によって算出されたIHbの値は、擬似画像生成回路64にも出力される。
擬似画像生成回路64は、IHbの値から擬似カラー画像を生成し、画像合成或いはマトリクス変換を行う画像合成/マトリクス回路65へ出力する。擬似画像生成回路64は、無効領域表示回路69から無効領域に対応する信号も受信し、無効領域は例えば無彩色(グレー)等で表示されるように画像データを生成する。
画像合成/マトリクス回路65には、擬似画像生成回路64で生成された擬似画像データと、R、G、B用メモリ39r、39g、39bから出力されたR、G、B画像データとが入力される。そして、関心領域設定回路63から出力された、関心領域の情報(具体的にはマスク信号)に基づいて両画像データを合成し、合成した画像データを面順次の信号に変換する面順次回路66へ出力する。
具体的には、マスク信号が“0”の期間では、原画像に相当するR、G、B画像データが出力され、マスク信号が“1”の期間では、擬似画像データと無効領域を示す画像データとが出力されるように画像データを合成し、合成した画像データを面順次回路66へ出力する。尚、無効領域を示す画像データは無彩色で表示されるものとなる。
また、蛍光観察モード及び狭帯域光観察モードにおいては、画像合成/マトリクス回路65には、メモリ部39におけるR,G,B用メモリ39r、39g、39bからの信号データが入力される。
この場合、蛍光観察モードの場合には、G,B用メモリ39g、39bには、例えばG2フィルタ29aの照明光の下で撮像された反射光画像データと、蛍光画像データとがそれぞれ格納される。
また、狭帯域光観察モードの場合には、R,G,B用メモリ39r、39g、39bには、図3(G)の狭帯域光観察フィルタ80bと図3(A)のR,G,Bフィルタ28a、28b、28cとの透過特性により狭帯域で撮像されたR,G,B画像がそれぞれ格納される。
そして、画像合成/マトリクス回路65において、狭帯域で撮像されたR,G,B画像における短波長の画像、つまり狭帯域で撮像されたB画像を強調し、狭帯域で撮像された長波長側の画像、つまりR画像を抑圧するようにマトリクス変換される。
そして、上記のように狭帯域で撮像されたB画像を強調することにより、粘膜組織を観察したような場合、表層の血管の走行を視認できるようにする。
また、この画像合成/マトリクス回路65は、特に狭帯域で撮像されたR,G,B画像の場合には、視認性を向上するための色変換の処理も行う。つまり、モニタ7で表示する場合、表示色が人間の目で識別し易い色調となるように表示色を変換する等して表示する。
面順次回路66は、合成された画像データのR、G、B成分等の画像データをそれぞれ面順次で出力する処理を行う。つまり、γ補正回路50には、R、G、B成分等の画像データが面順次で出力される。
尚、本実施例においては、関心領域設定回路63により設定された関心領域の情報(具体的にはマスク信号)は、γ補正回路50と、後段画像処理回路51とにも出力される。よって、ユーザによって指定された場合、関心領域の周囲の原画像部分に対してγ補正や構造強調を行うことが可能である。
また、IHb平均値算出回路62で算出されたIHb平均値は文字重畳回路52に出力され、IHb平均値をモニタ7画面上に表示できるようにしている。ユーザはCPU56を介してIHb平均値の表示/非表示を選択することができる。
次に、無効領域検出部46について説明する。輝度検出回路67は、R、G、B用メモリ39r、39g、39bから出力されたR、G、B画像データを受信し、関心領域内のR、G、B画像データに対して輝度レベルを検出し、検出結果を無効領域検出回路68に出力する。無効領域検出回路68では、予め設定されている閾値と、輝度検出回路67から受信した輝度レベルとを比較することによって、無効領域か否かを検出(判断)する。無効領域検出回路68には二つの閾値が設定されており、一つはハレーション検出用の閾値であり、もう一つは暗部検出用の閾値である。
ハレーション検出用の閾値は200/255に設定されており、暗部検出用の閾値は20/255に設定されている。ここで、両閾値の分母である255という値は、8ビットで量子化した場合の飽和レベルを示している。輝度レベルが暗部検出用の閾値以下である領域、及び、ハレーション検出用の閾値以上である領域は、どちらも無効領域と判断される。
無効領域検出回路68は、無効領域の検出結果を無効領域表示回路69に出力する。無効領域表示回路69は、無効領域部分であることを示す0あるいは1の信号を擬似画像生成回路64へ出力し、無効領域が例えば無彩色(グレー)等で表示されるようにする。 また、無効領域検出回路68は、無効領域の検出結果を、IHb算出回路61と、IHb平均値算出回路62とにも出力する。無効領域の検出情報に基づき、IHb算出回路61では、無効領域に存在する画素については、当該画素が関心領域に含まれていても、IHbを算出しないようにし、また、IHb平均値算出回路62では、関心領域から無効領域を除いた領域でIHb平均値を算出する。
ユーザは、通常の可視光で照明及び撮像した内視鏡画像(原画像)をモニタ7に表示させたり、IHb画像(擬似カラー画像)をモニタ7に表示させたりすることができる。
ユーザは、ビデオプロセッサ6のフロントパネル60に設けられた図示しない指示スイッチやキーボード9を操作して、IHb画像(擬似カラー画像)の表示のON/OFFや、色彩強調処理のON/OFFを指示する。指示信号はCPU56に入力され、CPU56は指示信号に対応してIHb処理ブロック44等を制御し、指示されたON/OFF処理を実行させる。
なお、CPU56には、例えば音声による告知を行うためのスピーカ70が接続されており、CPU56は、例えば一時記録装置59による記録容量が少なくなったような場合には、スピーカ70でユーザに告知することができるようにしている。
ユーザは、図4に示すようにモニタ7にメニュー画面を表示させ、フロントパネル60やキーボード9を操作することで、関心領域のサイズ選択等の各種設定を行うことができる。図4は、各種設定を行うためのメニュー画面を説明する図である。
メニュー画面は3枚の画面から構成されており、1枚目の画面からは図4(A)に示すように、内視鏡画像の表示サイズ、関心領域のサイズ、IHbのレンジ、IHbの平均値の表示/非表示、の4項目が設定でき、2枚目の画面からは図4(B)に示すように、フリーズレベル、色ずれ検出対象画像、画面への文字表示項目、測光方式、の4項目が設定できる。
また、3枚目の画面からは図4(C)に示すように録画開始を自動(Auto)と手動(Man)とから選択することができる。また、チャプタ作成を自動(Auto)と手動(Man)とから選択することができるようにしている。
内視鏡画像の表示サイズは、例えばフルハイト、セミフルハイト、ミディアムの3種類から選択することができる。関心領域のサイズも、大、中、小の3種類から選択することができる。また、IHbレンジはNormalとWideとから選択することができ、Normalを選択した場合はIHbの値が30から70までのものが16段階の擬似カラーで表示され、Wideを選択した場合は10から90までのものが16段階の擬似カラーで表示される。
フリーズレベルは、色ずれを検出するために検出対象となる画像をメモリに取り込む時間を決めるものであり、1〜7の7段階から選択することができる。レベル1の値は約50msecであり、レベル7の値は約1secである。検出対象となる画像は、フリーズスイッチが押される前か後かのいずれかに、選択されたレベルに対応する時間だけメモリに取り込まれる。
色ずれ検出対象画像は、プリフリーズと色ずれ防止フリーズとから選択することができ、プリフリーズを選択した場合はフリーズスイッチが押される前の画像が対象となり、色ずれ防止フリーズを選択した場合はフリーズスイッチが押された後の画像が対象となる。画面への文字表示項目は、フルとライトとから選択することができ、フルを選択した場合は必要な項目が全て表示され、ライトを選択した場合は一部の情報に限定して表示される。
測光方式とは、内視鏡画像の明るさを好みの状態になるように光源の光量を調整する方式であり、平均とオートとピークとから選択することができる。平均を選択した場合は、画像全体が明るくならないように光量が調整され、オートを選択した場合は、処置具等が画面に現れてもそれによるハレーションを無視して暗くならないように光量が調整され、ピークを選択した場合は、処置具等が画面に現れた場合にハレーションが起こらないように光量が調整される。
次に、図4(C)の内容を説明する。図4(C)は、動画記録手段の動画記録の制御方法を設定或いは選択する内容に関係しており、ユーザはこの設定を変更することによりCPU56による制御方法を変更することができる。
図4(C)に示すように録画開始を自動で行うようにしたい場合には、ユーザは、患者識別情報(患者IDと略記)入力とホワイトバランス(図4(C)ではWBと略記)調整と処理画像とから選択設定することができる。図4(C)に示した例では、患者IDの入力後に自動で録画を開始する設定を行った場合を示している。自動で行わないで手動を選択した場合には、キーボード9等から録画開始の指示操作を手動で行うことになる。
なお、この録画開始における患者ID入力とホワイトバランス調整とは、通常観察モードにおいて録画を自動で開始させるか否かに相当する。これらを選択しないで、処理画像にチェックを入れて選択すると、原画像から処理画像に切り替えられた場合、自動で録画を開始させることができる。
また、処理画像を選択した場合には、処理画像として複数の処理画像があるので、ユーザは個々の処理画像において録画を自動で行うか否かを選択設定することができるようにしている。
また、チャプタ作成の項目においては、観察モードの切替(或いは処理画像ON)により自動でチャプタ作成を行うようにすることができる。その場合、切替操作前に任意の時間遡って設定したり、切替操作の後(0を含む)任意の時間経過後にチャプタを設定することができる。図4(C)では切替操作から30秒の時間遡った位置をチャプタ開始位置とする設定の場合を示している。また、切替操作に同期させる場合には、0秒を入力する。
また、図4(C)では、例えば通常観察モードから処理画像モード(原画像から処理画像ON)への切替の例を示しており、この他に処理画像ONから通常観察モード(原画像)に切り替えた場合にも同様にチャプタ作成を自動で行ったり、手動でチャプタ作成を行うようにすることができるようにしている。
また、あるチャプタにおいて、術者が後で検索等に利用したいようなシーンがある場合にはインデックス画像スイッチ10aを操作してそのシーンのインデックス画像を生成できるようにして検索を効率良く行うことができるようにしている。
本実施例では、動画記録手段の記録などの動作をCPU56により自動的に制御できるようにして操作性を向上すると共に、図4(C)に示したようにCPU56による制御動作方法(制御動作内容)をユーザが選択設定或いは規定することができる制御動作設定手段を設けることにより、個々のユーザ或いは内視鏡検査に適した制御動作を行えるようにして操作性をより向上している。
図5は、ユーザの指示によって、モニタ7に表示される画像の代表例を示す。図5(A)は内視鏡画像の表示例、図5(B)は擬似カラー画像の表示例、図5(C)は無効領域の大きさが画像処理に適さない場合の画像の表示例である。
まず、通常の動作状態では、図5(A)に示すように、モニタ7上の八角形の内視鏡画像表示領域7aに、内視鏡画像が動画で表示される。また、内視鏡画像表示領域7aの左側には、IHb平均値表示準備の表示7bがなされる。具体的には、IHb=−−−と表示され、IHb平均値を表示する準備がなされている。尚、このIHb平均値表示準備の表示7bは非表示にすることもできる。
次に、ユーザが、ビデオプロセッサ6のフロントパネル60に設けられた図示しない指示スイッチやキーボード9を操作して、IHb画像(擬似カラー画像)の表示をONにするよう指示すると、関心領域の位置とサイズの設定が行われ、さらに画像処理可否の判定が行われる。
この場合、キーボード9等の操作により、関心領域の位置とサイズとを設定することができる。関心領域のサイズは、大、中、小の3種類のサイズから選択することができる。そして、設定された関心領域に応じて、関心領域内で画像処理が可能か否かの判定が行われる。
つまり、設定された関心領域内に含まれる各画素について、輝度が計算される。輝度の計算は輝度検出回路67において行われる。輝度検出回路67では、R、G、B用メモリ39r、39g、39bから出力されたR、G、B画像データを受信し、関心領域内のR、G、B画像データに対して輝度レベルを検出し、検出結果を無効領域検出回路68に出力する。引き続き、ハレーション及び暗部の画素数を算出する。ハレーション及び暗部の画素、すなわち、無効領域の画素数は、無効領域検出回路68において算出される。
そして、算出された無効領域の画素数と、設定された閾値とを比較する。無効領域の画素数が、閾値以下である場合、関心領域内の画像処理が可能であると判定し、IHb処理回路部45における関心領域内の画像処理を引き続き実行する。
一方、無効領域の画素数が、関心領域に含まれる画素数に閾値を乗じた画素数より多い場合、関心領域内の画像処理が不可であると判定し、関心領域内の画像処理を中止し、引き続き、ユーザに対して「明るさが適正ではありません」などの告知メッセージをモニタ7等に表示する。
上述したように画像処理が可能であると判定された場合は、引き続き関心領域内の画像処理が行われ、図5(B)に示すように、モニタ7には画像処理を行って得られた擬似カラー画像が表示される。すなわち、内視鏡画像表示領域7aの関心領域7cに、関心領域内の擬似カラー画像7eが表示され、無効領域部分は無効領域画像7dとして無彩色で表示される。
内視鏡画像表示領域7aの関心領域7c以外の部分は、図5(A)と同様に原画像が表示される。また、図5(A)におけるIHb平均値表示準備の表示7bから、IHb平均値の表示7fも行えるようになっている。更に、内視鏡画像表示領域7aの右側には、擬似カラー画像7eの擬似カラーのレンジを示すカラーバー7gが表示される。
図5(B)は、標準(Normal)レンジの場合について示している。但し、図5(B)においては、簡略化してNormと示している。尚、無効領域が大きいために画像処理が不可であると判定された場合は、図5(C)に示すように、モニタ7には、内視鏡画像表示領域7aに無効領域部分が無効領域画像7dとして無彩色で表示され、擬似カラー画像7eは表示されない。また、無効領域が大きく画像処理ができなかったことを示す告知メッセージ7hも表示される。
図5(B)に示すように、内視鏡画像表示領域7a内に設定した関心領域7cにのみ、擬似カラー画像7eを表示したり、無効領域画像7dを表示したりする場合、関心領域設定回路63は、マスク信号を発生させ、画素数等が異なるCCD30を有する電子内視鏡2がビデオプロセッサ6に装着された場合にも、擬似カラー画像等の処理画像を適切なサイズで表示できるようにしている。
次に本実施例における処理画像について説明する。本実施例においては、通常のRGB照明光のもとで撮像した内視鏡画像(原画像)が表示される通常観察モードの状態において、IHb色彩強調スイッチを操作して、通常観察モードのままの状態において、画像処理ブロック5における画像処理方法を切り替えて処理画像を得る場合と、スコープスイッチ10における観察モード切替スイッチ等の操作による観察モードの切替により照明状態も切り替えて処理画像を得る2種類がある。観察モードの切替により処理画像を得る(生成する)場合には、上述したように通常観察用の照明光から切り替えられた観察モードに対応した照明光に切り替えられる。
図5においては血液情報量に対応するIHb値を基に、IHb色彩強調した場合の処理画像について説明したので、他の観察モード、すなわち、蛍光観察モードと、狭帯域光観察モードと、赤外光観察モードによる処理画像について以下に説明する。
まず、蛍光観察モードの画像処理について説明する。スコープスイッチ10の中の観察モード切替スイッチを操作して蛍光観察モードに設定されると、制御回路40は移動用モータ31を制御して回転フィルタ27等を移動させ、回転フィルタ27の外周側に配置された蛍光観察用フィルタ29を照明光の光路上に挿入させる。
制御回路40は、移動用モータ31と同時に、帯域切替フィルタ80を駆動するモータ81も制御して、通常・蛍光観察用フィルタ80aを照明光の光路上に挿入させる。これらのフィルタ29、80aを透過して、照明光を被写体に照射して、被写体の生体組織から自家蛍光を発光させるための励起を行う。そして、自家蛍光をCCD30で受光し、ビデオプロセッサ6での処理を経て、蛍光画像を得る。
この場合、蛍光画像のみでは、生体組織の位置等が分かりにくくなるため、G2フィルタ29aを用いた場合の反射光による画像も得て、蛍光画像と擬似カラー化などして処理画像を得る。また、この場合には、蛍光画像の信号レベルは、G2フィルタ29aにより得られる反射光の画像よりも遙かに弱いため、信号レベルの強度を概略合わせるように処理する。
或いは蛍光画像を表示する場合、被写体からの蛍光をCCD30で受光した信号に対して、信号レンジに応じて擬似カラーデータを生成して、擬似カラーで表示するようにしても良い。
次に、狭帯域光観察モードによる画像処理について説明する。スコープスイッチ10の中の観察モード切替スイッチを操作して狭帯域光観察モードに設定されると、制御回路40は移動用モータ31を制御して回転フィルタ27等を移動させ、回転フィルタ27の内周側に配置されたRGBフィルタ28を照明光の光路上に挿入させる。
制御回路40は、移動用モータ31と同時に、帯域切替フィルタ80を駆動するモータ81も制御して、狭帯域光観察用フィルタ80bを照明光の光路上に挿入させる。これらのフィルタ28、80bを透過して、照明光が被写体に照射されると、被写体からの反射光や散乱光などがCCD30で受光され、ビデオプロセッサ6での処理を経て、狭帯域光画像を得ることができる。
この場合には、特に生体粘膜における表層の血管走行を確認したいような場合に有効となる。
また、赤外光観察モードによる画像処理について説明する。スコープスイッチ10の中の観察モード切替スイッチを操作して赤外光観察モードに設定されると、制御回路40は移動用モータ31を制御して回転フィルタ27等を移動させ、回転フィルタ27の内周側に配置されたRGBフィルタ28を照明光の光路上に挿入させる。
制御回路40は、移動用モータ31と同時に、帯域切替フィルタ80を駆動するモータ81も制御して、赤外光観察用フィルタ80cを照明光の光路上に挿入させる。これらのフィルタ28、80cを透過して、照明光が被写体に照射されると、被写体からの反射光や散乱光などがCCD30で受光され、ビデオプロセッサ6での処理を経て、赤外光画像を得ることができる。
この場合には、生体粘膜の深部側の情報を得たいような場合に有効となる。
各種の観察モードを備えた本実施例においては、動画記録制御手段としてのCPU56は、動画記録手段としての一時記録装置59の動画の記録開始(ON)と記録停止(OFF)等の制御を行う。
この場合、CPU56は、患者IDの入力又はホワイトバランスの調整(取得)時において、一時記録装置59の動画の記録開始を自動的に行わせる機能、つまり動画記録制御機能56aを持つ。また、スコープスイッチ10或いはキーボード9等からの手動による動画記録指示の場合にも、一時記録装置59の動画の記録開始を行わせることができる。 この場合、CPU56は、通常観察モードにおいて、自動で録画を開始するか或いは手動の録画指示により録画を開始するかのフラグ情報(具体的にはデータ削除フラグ)をCPU56内のフラグ情報格納部56dに格納する。このフラグ情報格納部56dをCPU56のレジスタ(或いはメモリ)、或いはCPU56の制御方法のプログラム等を格納したROM56c等により形成しても良い。
また、記録を開始した場合、CPU56は、生成される動画ファイルにおける通常観察モードの区分け部分(区分け単位)としてのチャプタ番号が1のチャプタ1を作成する機能、つまりチャプタ化処理機能56bを持つ。また、後述するように観察モード等が切り替えられて、通常画像から処理画像に画像処理が切り替えられた場合にも、チャプタ化して、次のチャプタ番号のチャプタ2を作成する。
また、CPU56は、録画終了時にはそのフラグ情報に応じて一時記録装置59に記録される動画記録データの適正化ないしは最適化、より具体的には動画の処理画像が含まれ、記録の必要性の低いものを削除する適正化処理機能56eを持つ。なお、動画記録制御機能56aは、広義の意味においてこの適正化処理機能56eを含むとも言える。
この適正化処理機能56eとして、具体的には、動画記録が終了した場合、CPU56は、上記フラグ情報により、一時記録装置59に記録された動画ファイルにおけるチャプタ1部分をフラグ情報が自動で記録された場合には削除する処理を行い、逆に手動指示で記録された場合には残す処理を行う。
つまり、この適正化処理機能56eは、処理画像が動作する前に、すでにユーザの意思で動画記録の指示が行われている場合には、その指示で記録された記録部分となるチャプタ1の部分の削除は行わない。また、ユーザの積極的な意思でなく自動で動画記録に設定されているために処理画像が動作する前に既に動画記録された部分となるチャプタ1の部分は自動的に削除して、処理画像部分が確実に動画記録データとして保存され、記録の必要性の低い部分で動画記録データが過大にならないように適正化する機能である。
このように記録容量の適正化をすることにより、ユーザによるニーズの高い処理画像は一時記録装置59に確実に保存し、これに比較して記録する必要性が低い原画像は、フラグ情報に応じて削除或いは保存し、一時記録装置59での記録容量が過大にならないようにする。この適正化する動作の説明は、図7を参照して後述する。
また、CPU56には、このような動画記録制御機能56a、チャプタ化処理機能56b、適正化処理機能56e等を行う制御方法のプログラムが格納されたROM56cが内蔵されており、CPU56は起動時にこのROM56cのプログラムを読み込んで以下に説明するような作用を行う。
なお、このROM56cは、例えば電気的に書き換え可能なフラッシュメモリ或いはEEPROMで構成され、図4に示したメニューで設定或いは選択された内容もこのROM56cに格納される。このROM56cに格納しないで、一時記録装置59等の他の記録装置にプログラムや設定或いは選択された内容を格納しても良い。
このような構成の内視鏡装置1の作用について、図6及び図7を用いて説明する。図6における最上段(A)は、内視鏡検査を通常観察モードで自動的に録画させた場合における代表的な観察モードの画像表示の時間的な変化の様子を示し、中段(B)は(A)の観察モードの切替に応じてチャプタが順次作成される様子の概要を示し、下段(C)は録画終了時における動画ファイルが適正化された後、その適正化された動画ファイルが一時記録装置59から外部記録装置に移される様子を示す。
内視鏡検査を開始して通常観察モードの状態において、患者IDの入力又はホワイトバランスの調整等を行う。図4(C)に示すように患者IDの入力等で通常画像での動画記録を開始する状態に設定されていると、患者ID入力操作後には録画が開始し、一時記録装置59においては、動画ファイルの生成が開始する。つまり図6(B)の左側の画像で示すようにタイトルスタートとなる。
また、CPU56は、そのチャプタ化処理機能56bにより、動画ファイルの最初のシーンとなる静止画の位置に、その動画ファイルにおける1区切りとなるチャプタの開始位置を示す指標或いは目印、つまり最初のチャプタ1の開始位置を示すマーキングの設定を行う。そして、そのマーキングがされたシーンがそのチャプタ1の開始位置となり、次にマーキングがされたシーンの手前までがチャプタ1となり、このようにして、チャプタが順次作成される。
また、本実施例では、マーキングされたシーンの静止画に対して、インデックス画像生成部54により、その静止画のインデックス画像(或いはサムネイル画像)が生成され、インデックス画像の表示ONを選択すると、そのインデックス画像を表示させることができるようにしている(図示略)。
また、術者等のユーザは、通常画像から処理画像に切り替える操作を行うと、通常画像の表示から処理画像の表示に遷移する。図6(A)或いは(B)では、処理画像と通常画像をPinPで表示している例で示している。
この場合、その切り替えの操作から、予め図4(C)のように設定された時間だけ(図6(B)では30秒)遡って、CPU56は、そのチャプタ化処理機能56bにより、チャプタ2の開始位置のマーキングを行う処理を行う。
そして、ユーザがこの処理画像の状態において、診断等を行う。そして、その診断が終了して、ユーザがその処理画像から通常画像の表示へと切り替えの操作を行うと、通常画像の表示状態に遷移すると共に、CPU56は、そのチャプタ化処理機能56bにより、遷移の際の最初のシーンにチャプタ3の開始位置のマーキングを行う。
そして、内視鏡検査の終了ボタン等を操作すると、動画記録が終了して動画ファイルがクローズされ、タイトルエンドとなる。
また、動画記録が終了すると、一時記録装置59に記録された動画ファイルに対して、図6の場合のように通常観察モードにおいて自動で録画を開始させた場合には、一時記録装置59に記録された動画ファイルにおけるチャプタ1の部分が削除され、記録情報の適正化が行われる。そして、その後、チャプタ1が削除されたその動画ファイルはサーバ8C等の外部記録装置に移される。
次に図7のフローチャートを参照して本実施例の動作をより詳細に説明する。図7の動作としては、例えば図4(C)にチャプタ作成は、通常モードから処理画像モードへの切替操作に対して、例えば30秒遡ってチャプタ作成を行う設定がしてあり、処理画像モードから通常モードへの切替操作に対しては、その切替操作の同期したタイミングでチャプタ作成をする設定がしてある場合で説明する。
この図7に示す動作の概要は、処理画像に設定される前に、通常画像(原画像)の記録動作を開始することによりその後の処理画像に切り替えられた場合には、処理画像を確実に保存すると共に、原画像が録画される記録モードに対応するフラグ情報に応じてその原画像を削除/保存を決定して、適正な動画記録データが生成されるように制御する。
内視鏡検査を行うために内視鏡装置1の電源スイッチが投入されると、ステップS1に示すように通常観察モードで動作するようになる。この場合、制御回路40、CPU56が動作状態となり、CPU56は、通常画像を表示する通常モードの動作状態になるように(制御回路40を介して)光源部3と画像処理ブロック5とを設定する。
そして、ステップS2に示すようにCPU56は、手動で録画指示がされるかの判定を行う。手動で録画指示がされない場合にはステップS3に示すようにCPU56は、患者IDの入力等により自動録画の開始待ちとなる。
手動で録画指示がされた場合には、ステップS4に示すようにCPU56は、データ削除フラグを0に設定してステップS6の録画開始の制御処理に移る。また、自動録画の開始待ちの状態において、患者IDの入力或いはホワイトバランス調整作業が行われるとCPU56は自動録画の開始と判定し、ステップS5のデータ削除フラグを1に設定した後、ステップS6に進む。
ステップS6においてCPU56は、その動画記録制御機能56aにより、一時記録装置59を記録状態に設定する。そして、通常観察モードで動画の記録が開始する。
また、この場合、ステップS7に示すようにCPU56は、そのチャプタ化処理機能56bにより、一時記録装置59に記録される動画ファイルの最初のシーンにフラグ等を付けてチャプタ化する。この場合、動画記録の最初であるので、チャプタ番号Ncが1のチャプタ1の作成開始となる。また、CPU56は、動画記録の観察モード(この場合、通常観察モード)のモード情報と、最新のチャプタ番号Ncの情報をその内部のレジスタ等に記憶する。
次のステップS8においてCPU56は、観察モードの切替操作待ち(或いは画像処理による処理画像のON動作待ち)の状態となる。そして、観察モードの切替操作が行われると、ステップS9に示すようにCPU56は、そのチャプタ化処理機能56bにより、チャプタ化する。このチャプタ化を行う場合、観察モードの切替状態に応じて、実際にチャプタ化するタイミング(チャプタ化するシーン)を変更する。
具体的には、この場合のように通常観察モードから処理画像モードに変更された場合には、図4(C)での設定、具体的には例えば図6に示したように設定された時間だけ過去に遡って、その時間に対応するシーンにフラグを付ける等してチャプタ化する。また、チャプタ化する場合、ステップS10に示すようにその前に使用したチャプタ番号Ncを1つ増やして次のチャプタ番号Ncを2としてチャプタ2を作成する。
次のステップS11において、CPU56は、この処理画像モードにおいて、インデックイス画像作成指示の操作が有りか否かの判定を行う。術者は、処理画像モード中において、さらに後で検索等を行いたいシーンがある場合には、インデックイス画像作成の操作を行えば良い。この操作が行われると、ステップS12においてCPU56は、インデック画像作成の処理を行った後、次のステップS13に進む。また、インデック画像作成指示の操作が行わない場合にも、ステップS13に移る。
ステップS13においてCPU56は、観察終了か否かの判定を行う。そして、観察終了でない場合には、ステップS8に戻り、逆に観察終了の指示操作が行われた場合には、次のステップS14に進む。
ステップS14においてCPU56は、一時記録装置59による録画を停止させて録画を終了させる。その後ステップS15に示すようにCPU56は、データ削除フラグが1か否かの判定を行う。そして、このデータ削除フラグが1の場合にはステップS16に示すように記録された動画ファイルのチャプタ1部分を削除して、ステップS17に進む。 一方、データ削除フラグが1でない場合にはステップS16の処理を行わないで、ステップS17に移る。
このステップS17においてCPU56は、一時記録装置59の動画ファイルをサーバ8C等の外部記録装置に移動してこの処理を終了する。
このような動作を行うことにより、術者等のユーザは、動画記録の操作を行うことなく、自動的に動画の記録を行わせることができ、操作性を向上できる。また、観察モードを切り替えると、自動的にその切替のタイミング或いはそのタイミング近傍で1区切りの位置の目印となるチャプタが生成されるため、後で観察したい部分を検索する場合、チャプタのシーンから所望とする画像部分の検索が容易にできるようになる。また、記録された動画ファイルを編集する場合の作業も容易となる。
また、自動で録画開始を行った場合には録画終了時に、処理画像の前の通常画像のチャプタ部分を自動的に削除するようにしているので、通常画像により記録容量が増大していまうことを防止することができる。また、ユーザが手動指示で録画開始させた場合には、その通常画像のチャプタ部分に対しては削除しないように制御動作を行う、つまりユーザのニーズに対応して、処理画像を含む適正化された動画記録データを生成することができる。
なお、図7に示したように通常観察モードにおける動画記録を手動指示で行うような場合には、動画記録終了後においてもチャプタ1の部分を削除しない。このような場合には、図8に示すように通常観察モードの通常画像(原画像)の動画記録と処理画像の動画記録とにおける記録時における圧縮率を変更して記録するようにしても良い。
以下、図8を参照してその場合の動作を説明する。図8に示すようにステップS21に示すように通常観察モードで録画指示が行われると録画が開始する。
この場合には、通常観察モードの通常画像であるので、ステップS22に示すようにCPU56は、単位時間当たり或いは画像データ量当たりの圧縮率を高く設定した状態で、一時記録装置59により動画データの記録を行わせる。その後、ステップS23においてCPU56は、処理画像モードに切り替えられたの判定を行う。この場合、処理画像モードに切り替えられないと判定した場合には、ステップS24に示すようにCPU56は、圧縮率を高く設定した状態で録画を行うように制御する。
一方、処理画像モードに切り替えられたと判定した場合には、ステップS25に示すようにCPU56は、圧縮率を低く設定した状態で録画を行うように制御する。
ステップS24或いはS25の処理の後、ステップS26においてCPU56は、観察終了の指示操作が行われたか否かの判定を行い、指示操作が行われない場合にはステップS23に戻る。
一方、観察終了の指示操作が行われると、ステップS27に示すようにCPU56は、録画を終了させる制御を行ってこの処理を終了する。
図8に示すように処理画像を録画する場合には、処理画像の場合には低い圧縮率で記録を行い、原画像の録画の場合にはより高い圧縮率で記録を行うようにできるので、ユーザのニーズに対応して処理画像を画質が良い状態で保存できる。また、原画像により記録された画像データの容量が増大し過ぎるのを防止(適正化)できる。
なお、本実施例における代表的な動作を図7により説明したが、本実施例における図7では示していない(少し異なる)動作について補足説明する。
図7に示したフローチャートにおいて、自動録画の設定が行われていない場合には、観察モードの切替操作前に(通常観察モードで)手動による録画指示の操作が行われていないと、観察モードの切替に同期して一時記録装置59で録画を開始するようにCPU56は記録制御を行う。
この場合には、観察モードの切替以前に遡ってチャプタ化することができない。このため、本実施例では、一時記録装置59内部に設定した例えばバッファ領域において常時、一時的な記録を行うようにして、以下のように過去に遡ってチャプタ化或いは録画することができるようにしている。
このバッファ領域は、例えば60秒程度等、所定時間内の動画データを常時記録可能とするメモリ等で構成されており、このバッファ領域の画像データは、バッファ領域の容量を超える動画データが入力されると、最も古い動画データが最新の動画データで順次オーバライトされる。このようにして、バッファ領域には常時、所定時間内の動画データが格納されている。
このため、動画記録の指示が行われないと、オーバライトにより一時記録装置59にはその動画データは記録されなくなるが、動画記録の指示が行われると、動画記録のタイミングから60秒遡ったタイミングまでの動画データを記録することができる。
また、図7では通常画像(原画像)の観察モード、つまり処理画像の動作に切り替えられる前に手動指示或いは自動で録画を開始させた状態で、処理画像に切り替えられた動作を説明した。
この他に、通常画像の観察モードでは手動指示に設定された状態で、かつその録画指示が行われない状態で、通常観察モードから処理画像への切り替え或いは原画像に対する画像処理ONによる処理画像への切り替えの操作が行われる場合がある。本実施例では、この場合には、CPU56はその切り替えのタイミング付近において、録画開始を行う制御動作を行う。
そして、処理画像から通常画像への切り替えが行われると、録画を停止(終了)する。 このようにして、本実施例では、少なくとも処理画像に設定された或いは切り替えられた場合には、確実にその処理画像の動画記録を行い、その処理画像が保存されるように適正化された動画記録データを生成する。
また、ユーザにより、保存したい処理画像の種類を設定した場合には、保存の設定がされた処理画像に切り替えられた場合に、その処理画像の動画記録を行い、保存の設定が行われない処理画像に対しては、その動画記録を行わない(或いは保存しない)ようにすることもできる。
例えば、IHb色彩強調の画像処理の動作の際にはCPU56による動画記録手段は、録画動作をOFF、蛍光観察、狭帯域光観察、赤外観察の画像処理の動作の際には、前記動画記録手段の録画動作をONにしても良い。
本実施例によれば、画像処理の種類に応じて、処理画像を含むように所望とする画像部分での動画記録を確実に行え、かつユーザのニーズに対応して原画像を削除する等、適正化された動画記録データを生成することが可能となる。
なお、図7の処理手順では、録画終了した後に、フラグ情報により原画像を削除しているが、処理画像の動画記録を行う際に、記録されている原画像をオーバライトしてその原画像を削除するようにしても良い。
次に本発明の実施例2を図9及び図10を参照して以下に説明する。本実施例のビデオプロセッサ6は、図2に示すビデオプロセッサ6において、CPU56は、さらに一時記録装置59における残存容量(記録されていない空き容量)を検出する機能を備え、この残存容量が閾値以下になるか否かをモニタする。
そして、閾値以下になった場合には、残存容量が少なくなったことをスピーカ70等により告知すると共に、一時記録装置59の動画データをサーバ8C等の外部記録装置に移動するか否かの判断をユーザに委ねる。そして、ユーザが移動する選択を行った場合には、動画データをサーバ8Cに移動し、移動を選択しない場合にはこの処理を終了する。 次に本実施例の動作を図9を参照して説明する。図9は初期設定状態において、残存容量を検出して、その残存容量に対応した処理を行う動作を示す。
電源が投入されて内視鏡装置1が動作状態になると、CPU56等は、ステップS31に示すように初期設定を行う。この初期設定において、通常観察モードの照明及び画像処理状態に設定され、通常観察画像がモニタ7に表示される。
また、この初期設定の際に、ステップS32に示すようにCPU56は、その残存容量検出機能により、一時記録装置59の残存容量が閾値以下か否かの判定を行う。そして、 この残存容量が閾値より大きい場合には、この処理を終了する。
一方、残存容量が閾値以下の場合には、ステップS33に示すようにCPU56は、残存容量が(動画記録には)不足する旨をスピーカ70等で告知する。
さらに次のステップS34に示すようにCPU56は、一時記録装置59に記録されている過去の動画データ等をサーバ8C等の外部記録装置に移動するかの判断をユーザに求める処理を行う。ユーザが移動を選択しない場合には、この処理を終了する。
これに対してユーザが移動を選択した場合には、ステップS35に示すようにCPU56は、一時記録装置59に記録されている過去の動画データ等をサーバ8C等の外部記録装置に移動する処理を行い、この初期設定による処理を終了する。
一時記録装置59に記録されている過去の動画データ等を外部記録装置に移動する場合、一時記録装置59に記録されている全てのデータを移動しても良いが、一部のデータのみを移動しても良い。
また、ステップS35の処理の後、ステップS31に戻すようにして、閾値以上の残存容量が確保できた時点でデータの移動を停止させるようにしても良い。
図9に示した処理は、動画記録を行う前に残存容量の不足を解消するための処理であたが、図10は録画開始中に残存容量の不足が発生した場合の処理動作を示す。
初期設定が終了すると、ステップS41に示すようにCPU56は、録画待ちの状態となる。そして、手動で録画開始指示がされたり、患者IDの入力等、自動で録画開始を行う操作が行われると、ステップS42に示すようにCPU56は、録画開始させる。つまり、一時記録装置59は動画の記録を開始する。
そして、次のステップS43においてCPU56は、一時記録装置59の残存容量が閾値以下か否かの判定を行う。通常では、一時記録装置59の残存容量は、閾値以上であり、この場合にはステップS48に移る。
一方、一時記録装置59の残存容量が閾値以下になったと判定した場合には、ステップS43に示すようにCPU56は、残存容量が(動画記録を続行するには)不足する旨をスピーカ70等で告知する。
さらに次のステップS44に示すようにCPU56は、一時記録装置59に記録されている動画データ等のデータをサーバ8C等の外部記録装置に移動するかの判断をユーザに求める処理を行う。
これに対してユーザが移動を選択した場合には、ステップS45に示すようにCPU56は、一時記録装置59に記録されているデータをサーバ8C等の外部記録装置に移動するデータ移動処理を行い、その後にステップS48に進む。
ステップS48においてCPU56は、観察終了かの判定を行う。そして、ユーザから観察終了の指示操作を行われると、ステップS49に示すようにCPU56は、録画を終了させて、この処理を終了する。
一方、ステップS44において、データを外部記録装置に移動することを選択しない場合には、ステップS46に示すようにCPU56は、一時記録装置59で記録する動画データを途中から代替の記録装置により、その動画記録を続行するかの選択を求める。
そして、代替の記録装置により動画記録を続行する選択が行われた場合には、ステップS47に示すようにCPU56は、代替の記録装置により動画記録を続行させ、ステップS47に進む。
一方、代替の記録装置で記録することも選択されない場合には、ステップS49に移り、録画を終了してこの処理を終了する。
本実施例によれば、一時記録装置59の残存容量の検出する検出手段を備えているので、残存容量が少なくなったような場合にもより適切な対応ができる。つまり、ユーザに告知することにより、ユーザ側で適切に対応したり、一時記録装置59のデータを外部の大容量の記録装置やDVD−RAM等他の記録媒体等に移動したり、一時記録装置59以外の代替の記録装置等で記録する等の対応ができる。その他は、実施例1と同様の効果を有する。
[付記]
1.請求項1において、前記動画記録制御手段は、前記画像処理手段の動作がONにされる前に動画記録を自動的に開始し、前記画像処理手段の動作がONにされたタイミング付近より以前に記録されている動画部分を自動で削除する。
2.請求項1において、前記動画記録制御手段は、使用者による録画指示で原画像の動画記録が開始されたか否かに対応するフラグ情報を保持し、前記画像処理手段の動作がONにされた場合には、前記ONにされたタイミング付近より以前に前記動画一時記録手段に記録されている前記原画像の動画記録部分を、前記フラグ情報に応じて自動的に削除する。
3.請求項1において、前記動画記録制御手段は、患者識別情報の入力又はホワイトバランス調整時に前記動画記録手段の動画記録を開始させる記録制御モードを有する。
4.付記3において、前記動画記録制御手段は、前記記録制御モードにより原画像の動画記録部分を自動的に削除する。
5.請求項1において、前記動画記録制御手段は、使用者による動画記録の指示操作により前記動画記録手段の動画記録を開始させると共に、
さらに前記動画記録制御手段は、前記画像処理手段の動作をONすると、既に開始済みの動画記録において、0を含む所定の時間だけ遡るか又は経過後に、記録した動画データに目印を付ける処理を行う。
6.前記請求項1において、画像信号を得る為の可視光領域を含む照明光を供給する照明光供給手段と、前記照明光の複数の波長域の少なくとも1つの波長域を制限する帯域制限手段とを有し、前記画像処理手段が動作した場合は前記帯域制限手段を移動して照明光の波長域を制限して観察モードを変更する。
7.付記6において、前記画像処理手段は、前記波長域を制限する蛍光観察、狭帯域光観察、赤外観察と、前記波長域を制限しないIHb色彩強調であり、前記動画記録制御手段は、前記IHb色彩強調の画像処理の動作の際には前記動画記録手段の録画動作をOFF、前記蛍光観察、鏡体域光観察、赤外観察の画像処理の動作の際には、前記動画記録手段の録画動作をONすることを特徴とする請求項1記載の内視鏡用画像処理装置。
8.請求項3において、前記動画記録制御手段は、前記原画像の動画記録データに対しては単位時間当たりのデータ量を前記処理画像の動画記録データ量より小さくなるように、記録時の圧縮率を変更する。
9.請求項1において、前記動画一時記録手段は、所定時間内の動画データを常時格納する動画データ一時格納領域を有する。
10.請求項1において、前記動画記録制御手段は、前記動画記録手段により生成される少なくとも処理画像の動画ファイルにおける任意のシーンのインデックス画像を生成する制御を行う。
内視鏡検査を行うために撮像素子を搭載した内視鏡を被検体内に挿入し、通常観察用の照明光の下で内視鏡画像を表示し、患部等をより詳細に観察するためにIHb色彩強調した処理画像や蛍光観察モード等による処理画像に切り替えた場合、切り替えた処理画像に応じて動画を記録し、処理画像を確実に保存すると共に、不必要な原画像を削除する等して、動画記録データ量が過大になりすぎないように適正化する。
図1は本実施例を備えた内視鏡装置1の全体構成を説明する概略図。 図2は実施例1を構成するビデオプロセッサの内部構成を示すブロック図。 図3は光源部に設けられたフィルタの構造や各フィルタの透過特性等を示す図。 図4は各種設定を行うためのメニュー画面を示す図。 図5はモニタに表示される観察画像を説明する図であって、図5(A)は内視鏡画像の表示例、図5(B)は擬似カラー画像の表示例、図5(C)は無効領域の大きさが画像処理に適さない場合の画像の表示例。 図6は実施例1における動作の概要を示す説明図。 図7は本実施例における処理画像の動画記録を適正化して行う動作を示すフローチャート図。 図8は画像の種類に応じて圧縮率を変更して動画の録画動作を示すフローチャート図。 図9は本発明の実施例2の初期状態における一時記録装置の残存容量を検出する動作内容を示すフローチャート図。 図10は録画動作中における一時記録装置の残存容量を検出する動作内容を示すフローチャート図。
符号の説明
1…内視鏡装置
2…電子内視鏡
3…光源部
4…映像信号処理ブロック
5…画像処理ブロック
6…ビデオプロセッサ
7…モニタ
8A…モニタ画像撮影装置
8B…画像ファイリング装置
9… キーボード
10…スコープスイッチ
10a…インデックス画像スイッチ
11…挿入部
14…コネクタ
24…ランプ
27…回転フィルタ
28…RGBフィルタ
29…蛍光観察用フィルタ
30…CCD
37…セレクタ
38…ホワイトバランス調整回路
39…メモリ部
39r…R用メモリ
39g…G用メモリ
39b…B用メモリ
40…制御回路
44…IHb処理ブロック
45…IHb処理回路部
46…無効領域検出部
48…スコープIDメモリ
51…後段画像処理回路
52,52a…文字重畳回路
53…ハイビジョン用処理部
54…インデックス画像生成部
56…CPU
56a…動画記録制御機能
56b…チャプタ化処理機能
56c…ROM
56d…フラグ情報格納部
56e…適正化処理機能
57、57a…同時化回路
59…一時記録装置
61…IHb算出回路
62…IHb平均値算出回路
63…関心領域設定回路
64…擬似画像生成回路
65…画像合成/マトリクス回路
66…面順次回路
67…輝度検出回路
68…無効領域検出回路
69…無効領域表示回路
80…帯域切替フィルタ
80a…通常・蛍光観察用フィルタ
80b…狭帯域光観察用フィルタ
80c…赤外光観察用フィルタ
代理人 弁理士 伊 藤 進

Claims (4)

  1. 撮像素子が搭載された内視鏡により被検体の体腔内を撮像して得られる画像信号を処理する内視鏡用画像処理装置において、
    前記内視鏡により通常観察用の波長帯域の照明光のもとで得られた画像信号を表示可能な内視鏡の原画像とする原画像生成手段と、
    前記原画像に対する所定の処理又は前記原画像の場合とは波長帯域が異なる照明光のもとで得られる画像信号に対して所定の処理を施して、表示可能な内視鏡画像の処理画像とする複数種類の画像処理手段と、
    前記原画像又は前記処理画像の少なくとも1つを動画で一時的に記録する動画一時記録手段と、
    前記画像処理手段により動作した画像処理の種類に応じて前記動画一時記録手段に、処理画像を含むように記録容量を適正化した動画記録データを生成可能とする制御を行う動画記録制御手段と、
    を具備したことを特徴とする内視鏡用画像処理装置。
  2. 前記動画記録制御手段は、画像処理手段の動作をONにすると、前記ONのタイミングから0を含む所定時間だけ遡るか又は経過後に処理画像部分に対応する処理画像用チャプタの動画記録データを生成すると共に、この処理画像用チャプタ以前に生成されているチャプタの動画記録データを自動で削除することにより適正化された動画記録データを生成することを特徴とする請求項1に記載の内視鏡用画像処理装置。
  3. 前記動画記録制御手段は、前記原画像の動画記録データと処理画像の動画記録データを記録するように制御する場合には、それぞれ単位時間当たりのデータ量を変更することを特徴とする請求項1に記載の内視鏡画像処理装置。
  4. 前記動画の一時記録手段の空き容量を検出する容量検出手段を有し、前記容量検出手段が、前記動画一時記録手段の空き容量が閾値以下であることを検出した場合、前記動画記録制御手段は、前記空き容量が少ないことを告知するか又は記録可能時間が少ないことを告知することと、前記一時記録手段以外の他の記録媒体に動画記録データを移動することの少なくとも1つを実行することを特徴とする請求項1に記載の内視鏡画像処理装置。
JP2005099321A 2005-03-30 2005-03-30 内視鏡用画像処理装置 Pending JP2006271870A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005099321A JP2006271870A (ja) 2005-03-30 2005-03-30 内視鏡用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005099321A JP2006271870A (ja) 2005-03-30 2005-03-30 内視鏡用画像処理装置

Publications (1)

Publication Number Publication Date
JP2006271870A true JP2006271870A (ja) 2006-10-12

Family

ID=37207168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005099321A Pending JP2006271870A (ja) 2005-03-30 2005-03-30 内視鏡用画像処理装置

Country Status (1)

Country Link
JP (1) JP2006271870A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509003A (ja) * 2007-12-20 2011-03-17 トムソン ライセンシング 画像取り込み支援装置
JP2012217632A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 画像診断装置及び画像処理装置
JP2014113212A (ja) * 2012-12-06 2014-06-26 Hoya Corp 内視鏡
CN104684452A (zh) * 2012-12-26 2015-06-03 奥林巴斯医疗株式会社 图像记录装置以及图像记录方法
WO2015111292A1 (ja) * 2014-01-27 2015-07-30 オリンパス株式会社 内視鏡用画像圧縮システム
WO2018043585A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 内視鏡装置、情報処理装置およびプログラム
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
JPWO2019123827A1 (ja) * 2017-12-19 2020-07-09 オリンパス株式会社 内視鏡システム及び内視鏡プロセッサ
JP2020146274A (ja) * 2019-03-14 2020-09-17 富士フイルム株式会社 超音波診断システムおよび超音波診断システムの作動方法
CN113365545A (zh) * 2019-02-13 2021-09-07 奥林巴斯株式会社 图像记录装置、图像记录方法和图像记录程序
US20210298584A1 (en) * 2018-12-10 2021-09-30 Olympus Corporation Image recording apparatus, image recording method, and endoscope system
US11483515B2 (en) 2018-08-24 2022-10-25 Olympus Corporation Image recording and reproduction apparatus, image recording method, and endoscope system

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509003A (ja) * 2007-12-20 2011-03-17 トムソン ライセンシング 画像取り込み支援装置
JP2012217632A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 画像診断装置及び画像処理装置
JP2014113212A (ja) * 2012-12-06 2014-06-26 Hoya Corp 内視鏡
US10426322B2 (en) 2012-12-26 2019-10-01 Olympus Corporation Image recording apparatus
EP2881030A4 (en) * 2012-12-26 2016-03-09 Olympus Corp IMAGE RECORDING DEVICE AND IMAGE RECORDING METHOD
CN104684452A (zh) * 2012-12-26 2015-06-03 奥林巴斯医疗株式会社 图像记录装置以及图像记录方法
WO2015111292A1 (ja) * 2014-01-27 2015-07-30 オリンパス株式会社 内視鏡用画像圧縮システム
JPWO2015111292A1 (ja) * 2014-01-27 2017-03-23 オリンパス株式会社 内視鏡用画像圧縮システム
WO2018043585A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 内視鏡装置、情報処理装置およびプログラム
CN109310300A (zh) * 2016-08-31 2019-02-05 Hoya株式会社 内窥镜装置、信息处理装置以及程序
JPWO2018043585A1 (ja) * 2016-08-31 2019-03-07 Hoya株式会社 内視鏡装置、内視鏡装置の記録・再生方法、情報処理装置およびプログラム
JPWO2019123827A1 (ja) * 2017-12-19 2020-07-09 オリンパス株式会社 内視鏡システム及び内視鏡プロセッサ
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
US11483515B2 (en) 2018-08-24 2022-10-25 Olympus Corporation Image recording and reproduction apparatus, image recording method, and endoscope system
US20210298584A1 (en) * 2018-12-10 2021-09-30 Olympus Corporation Image recording apparatus, image recording method, and endoscope system
CN113365545A (zh) * 2019-02-13 2021-09-07 奥林巴斯株式会社 图像记录装置、图像记录方法和图像记录程序
JPWO2020165978A1 (ja) * 2019-02-13 2021-12-02 オリンパス株式会社 画像記録装置、画像記録方法および画像記録プログラム
JP7270658B2 (ja) 2019-02-13 2023-05-10 オリンパス株式会社 画像記録装置、画像記録装置の作動方法および画像記録プログラム
JP2020146274A (ja) * 2019-03-14 2020-09-17 富士フイルム株式会社 超音波診断システムおよび超音波診断システムの作動方法
JP7094237B2 (ja) 2019-03-14 2022-07-01 富士フイルム株式会社 超音波診断システムおよび超音波診断システムの作動方法

Similar Documents

Publication Publication Date Title
JP2006271871A (ja) 内視鏡用画像処理装置
JP2006271870A (ja) 内視鏡用画像処理装置
JP4643481B2 (ja) 画像処理装置
EP2926717B1 (en) Endoscope system
EP2366327B1 (en) An electronic endoscope system and a method of acquiring blood vessel information
JP4315489B2 (ja) 内視鏡装置
KR20040069332A (ko) 내시경 화상 처리 장치
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2003334163A (ja) 内視鏡画像処理装置
JP2010063589A (ja) 内視鏡システム、およびその駆動制御方法
JPH04341232A (ja) 電子内視鏡システム
JP2005124756A (ja) 内視鏡用画像処理装置
JPH0761309B2 (ja) 内視鏡装置
JPWO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP5841494B2 (ja) 内視鏡システム
JP2005124823A (ja) 内視鏡装置
JP2006340855A (ja) 画像処理装置
JP2006116153A (ja) 内視鏡用画像処理装置及び内視鏡装置
JP2005124755A (ja) 内視鏡用画像処理装置
JP3373055B2 (ja) X線透視診断装置を有する内視鏡検査システム
JP2006223481A (ja) 内視鏡用画像処理装置、及び内視鏡装置
JP2009039561A (ja) 内視鏡装置
JP2003032529A (ja) 信号処理装置
US20210298584A1 (en) Image recording apparatus, image recording method, and endoscope system
JP4555012B2 (ja) 電子内視鏡システム