JP2010004979A - 画像処理装置、および内視鏡用プロセッサ装置 - Google Patents

Abstract

【課題】作業効率の低下を防止する。
【解決手段】内視鏡システム２のプロセッサ装置１１は、デジタル画像処理回路（ＤＩＰ）４６、異常検出回路４９、初期化回路５０、代替デジタル画像処理回路（代替ＤＩＰ）４３、および表示制御回路４７を備える。ＤＩＰ４６は、電子内視鏡１０の固体撮像素子２３で得られた撮像信号から生成された画像データに画像処理を施す。代替ＤＩＰ４３は、ＤＩＰ４６と全く同じ、もしくはＤＩＰ４６よりも劣るが略同じ処理能力を有する。表示制御回路４７は、異常検出回路４９でＤＩＰ４６の動作異常が検出されてから、ＤＩＰ４６が初期化回路５０で初期化されて正常動作に復帰するまでの間、代替ＤＩＰ４３を選択して代替ＤＩＰ４３に画像処理を代行させる。ＤＩＰ４６が正常動作に復帰したら、ＤＩＰ４６による画像処理が再開される。
【選択図】図２

Description

本発明は、画像データに各種画像処理を施す画像処理手段を備える画像処理装置、および内視鏡用プロセッサ装置に関する。

ＣＣＤやＣＭＯＳといった固体撮像素子の登場以来、固体撮像素子で得られた撮像信号から画像データを生成し、生成した画像データに各種画像処理を施す画像処理装置が様々な分野で活用されている。画像処理装置には、装置全体を統括的に制御するＣＰＵや、画像処理を実行する画像処理回路、モニタ等の表示装置への表示制御を担う表示制御回路等が搭載されている（特許文献１〜４参照）。

特許文献１に記載の画像処理装置は、各部を幾つかの機能ブロックに分けて、それらの動作状態を自己診断している。予め用意されたテストパターンを各ブロックに入力し、各ブロックからの実際の出力と期待値との比較結果に基づいて、各ブロックが正常に動作しているか動作異常かを判断する。動作異常と判断した場合には、その旨を外部に通知する。

特許文献２、３には、ハードウェアである画像処理回路の動作状態を定期的に監視する画像処理装置が開示されている。画像処理回路が動作異常であると判断した場合、自動的にＣＰＵのソフトウェアによる画像処理に切り替え、画像処理を継続する。ＣＰＵが実行可能な画像処理は、基本的なものに限られており、画像処理回路が実行可能な応用的な画像処理を実行することはできない。

特許文献４には、監視カメラを備えた監視システムが記載されている。監視システムの制御用ＰＣがフリーズしたときに、制御用ＰＣにリセット信号を自動的に出力し、制御用ＰＣを再起動させている。
特開平０５−１８３６７３号公報 特開平０８−２７２６３８号公報 特開平１１−０３９４６０号公報 特開２００２−３４４９５１号公報

画像処理装置として、医療分野や工業分野で利用される内視鏡のプロセッサ装置がある。内視鏡検査中にプロセッサ装置の画像処理回路が動作異常を起こすと、内視鏡画像が表示されなくなる。このため内視鏡検査を中断せざるを得ず、内視鏡を被検体内から引き抜かなければならなくなり、作業効率が著しく低下する。

特許文献１に記載の発明は、画像処理回路が動作異常を起こしたことを外部に通知するだけであり、上記の作業効率が低下する問題を防止する対策とはならない。

特許文献２、３に記載の発明では、画像処理回路の動作異常時に画像処理を代行するＣＰＵは、基本的な画像処理のみを実行する。このため、内視鏡を被検体内から引き抜くために支障とならない程度の視野は確保することができるものの、正常動作時と変哲ない状態で内視鏡検査を続行することはできない。

特許文献４に記載の発明は、制御用ＰＣを自動的に再起動してフリーズを解除しているが、この方法を内視鏡用プロセッサ装置に適用した場合、再起動して正常動作に復帰するまでの間は内視鏡画像が表示されない。その間は内視鏡検査が中断されるので、作業効率が低下することには変わりない。特に、画像処理回路がオペレーティングシステム（ＯＳ）に組み込まれたソフトウェアとして動作する場合、ＯＳおよびソフトウェアの再起動には数十秒から数分の時間が掛かる。

本発明は、上記課題を鑑みてなされたものであり、その目的は、作業効率の低下を防止することにある。

上記目的を達成するために、本発明の画像処理装置は、固体撮像素子で得られた撮像信号から生成された画像データに画像処理を施す第一画像処理手段と、前記第一画像処理手段の動作状態を検出する検出手段と、前記検出手段で前記第一画像処理手段の動作異常が検出された場合、前記第一画像処理手段を初期化する初期化手段と、前記第一画像処理手段と同等の処理能力を有する第二画像処理手段と、前記第一画像処理手段、または前記第二画像処理手段で画像処理された画像データのうち、いずれを用いるかを選択する選択手段であり、少なくとも前記第一画像処理手段の動作異常が前記検出手段で検出されてから、前記第一画像処理手段が前記初期化手段で初期化されて正常動作に復帰するまでの間、前記第二画像処理手段を選択して前記第二画像処理手段に画像処理を代行させる選択手段とを備えることを特徴とする。

なお、「同等の処理能力」とは、前記第一画像処理手段と全く同じ、もしくは前記第一画像処理手段よりも劣るが略同じ処理能力という意である。「処理能力」には、処理の内容、処理速度等が含まれる。

前記選択手段は、前記第一画像処理手段が正常動作に復帰したら、前記第一画像処理手段を選択して前記第一画像処理手段による画像処理を再開させる。

画像処理に関わる設定データを保持するための保持手段を備えることが好ましい。この場合、前記第一画像処理手段は、前記検出手段で前記第一画像処理手段の動作異常が検出される直前の設定データ、または装置起動時に前記保持手段に書き込まれるデフォルトの設定データに基づいて、画像処理を再開する。

また、前記第二画像処理手段は、前記検出手段で前記第一画像処理手段の動作異常が検出される直前の設定データ、または装置起動時に前記保持手段に書き込まれるデフォルトの設定データに基づいて、画像処理を代行する。

前記選択手段は、前記第一画像処理手段と前記第二画像処理手段の画像データの出力端、および外部出力装置への画像データの入力端と接続している。前記第一画像処理手段、または前記第二画像処理手段のうち、前記選択手段で選択された方で画像処理された画像データが外部出力装置へ入力される。

前記第二画像処理手段で画像処理を代行している旨を示す警告情報を画像に合成表示させる合成手段を備えることが好ましい。

本発明の好ましい実施形態では、前記第一画像処理手段はソフトウェアであり、前記第二画像処理手段はハードウェアである。別の実施形態では、少なくとも前記第一画像処理手段と前記第二画像処理手段の機能は、ハイパーバイザによって一つのハードウェアリソースから分割され、各々独立して動作可能な複数の仮想マシンに割り当てられている。

あるいは、前記検出手段、および前記第二画像処理手段を除く各手段を有する複数の装置本体と、前記検出手段、および前記第二画像処理手段を少なくとも一つずつ有し、前記装置本体とネットワークを介して接続されるサーバとからなることが好ましい。

本発明の内視鏡用プロセッサ装置は、内視鏡の固体撮像素子で得られた撮像信号から生成された画像データに画像処理を施す第一画像処理手段と、前記第一画像処理手段の動作状態を検出する検出手段と、前記検出手段で前記第一画像処理手段の動作異常が検出された場合、前記第一画像処理手段を初期化する初期化手段と、前記第一画像処理手段と同等の処理能力を有する第二画像処理手段と、前記第一画像処理手段、または前記第二画像処理手段で画像処理された画像データのうち、いずれを用いるかを選択する選択手段であり、少なくとも前記第一画像処理手段の動作異常が前記検出手段で検出されてから、前記第一画像処理手段が前記初期化手段で初期化されて正常動作に復帰するまでの間、前記第二画像処理手段を選択して前記第二画像処理手段に画像処理を代行させる選択手段とを備えることを特徴とする。

本発明によれば、第一画像処理手段が動作異常を起こしたときに、第一画像処理手段を初期化するとともに、第一画像処理手段と同等の処理能力を有する第二画像処理手段で画像処理を代行するので、正常動作時と変哲ない画像を出力することができる。従って、第一画像処理手段の動作異常に起因する作業効率の低下を防止することができる。

［第一実施形態］
図１において、内視鏡システム２は、電子内視鏡１０、プロセッサ装置１１、および光源装置１２からなる。電子内視鏡１０は、周知の如く、患者の体腔内に挿入される可撓性の挿入部１３と、挿入部１３の基端部分に連設された操作部１４と、プロセッサ装置１１および光源装置１２に接続されるコネクタ１５と、操作部１４、コネクタ１５間を繋ぐユニバーサルコード１６とを有する。

挿入部１３の先端には、観察窓２０、照明窓２１（ともに図２参照）等が設けられている。観察窓２０の奥には、対物光学系２２を介して、体腔内撮影用の固体撮像素子２３が配されている（いずれも図２参照）。照明窓２１は、ユニバーサルコード１６や挿入部１３に配設されたライトガイド６４、および照明レンズ２４（ともに図２参照）で導光される光源装置１２からの照明光を、被観察部位に照射する。

操作部１４には、挿入部１３の先端を上下左右方向に湾曲させるためのアングルノブや、挿入部１３の先端からエアー、水を噴出させるための送気・送水ボタンの他、内視鏡画像を静止画記録するためのレリーズボタン等が設けられている。

また、操作部１４の先端側には、電気メス等の処置具が挿通される鉗子口が設けられている。鉗子口は、挿入部１３内の鉗子チャンネルを通して、挿入部１３の先端に設けられた鉗子出口に連通している。

プロセッサ装置１１は、光源装置１２と電気的に接続され、内視鏡システム２の動作を統括的に制御する。プロセッサ装置１１は、ユニバーサルコード１６や挿入部１３内に挿通された伝送ケーブルを介して、電子内視鏡１０に給電を行い、固体撮像素子２３の駆動を制御する。また、プロセッサ装置１１は、伝送ケーブルを介して、固体撮像素子２３から出力された撮像信号を受信し、受信した撮像信号に各種処理を施して画像データを生成する。プロセッサ装置１１で生成された画像データは、プロセッサ装置１１にケーブル接続されたモニタ１７に内視鏡画像として表示される。

図２において、電子内視鏡１０は、前述の観察窓２０、照明窓２１、対物光学系２２、固体撮像素子２３、および照明レンズ２４が挿入部１３の先端に設けられ、アナログ信号処理回路（以下、ＡＦＥと略す）２５、ＣＣＤ駆動回路２６、およびＣＰＵ２７が操作部１４に設けられている。

固体撮像素子２３は、インターライントランスファ型のＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等からなる。固体撮像素子２３は、観察窓２０、対物光学系２２（レンズ群およびプリズムからなる）を経由した体腔内の被観察部位の像光が、撮像面に入射するように配置されている。固体撮像素子２３の撮像面には、複数の色セグメントからなるカラーフィルタ（例えば、ベイヤー配列の原色カラーフィルタ）が形成されている。

ＡＦＥ２５は、相関二重サンプリング回路（以下、ＣＤＳと略す）２８、自動ゲイン制御回路（以下、ＡＧＣと略す）２９、およびアナログ／デジタル変換器（以下、Ａ／Ｄと略す）３０から構成されている。ＣＤＳ２８は、固体撮像素子２３から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子２３で生じるリセット雑音およびアンプ雑音の除去を行う。ＡＧＣ２９は、ＣＤＳ２８によりノイズ除去が行われた撮像信号を、プロセッサ装置１１から指定されるゲイン（増幅率）で増幅する。Ａ／Ｄ３０は、ＡＧＣ２９により増幅された撮像信号を、所定のビット数のデジタル信号に変換する。Ａ／Ｄ３０でデジタル化された撮像信号は、ユニバーサルコード１６、コネクタ１５を介してプロセッサ装置１１に入力され、デジタル信号処理回路（以下、ＤＳＰと略す）４０の作業用メモリ（図示せず）に一旦格納される。

ＣＣＤ駆動回路２６は、固体撮像素子２３の駆動パルス（垂直／水平走査パルス、リセットパルス等）とＡＦＥ２５用の同期パルスとを発生する。固体撮像素子２３は、ＣＣＤ駆動回路２６からの駆動パルスに応じて撮像動作を行い、撮像信号を出力する。ＡＦＥ２５の各部２８〜３０は、ＣＣＤ駆動回路２６からの同期パルスに基づいて動作する。

ＣＰＵ２７は、電子内視鏡１０とプロセッサ装置１１とが接続された後、プロセッサ装置１１のＣＰＵ４１からの動作開始指示に基づいて、ＣＣＤ駆動回路２６を駆動させるとともに、ＡＧＣ２９のゲインを調整する。

ＤＳＰ４０は、ＡＦＥ２５からの撮像信号を作業用メモリから読み出す。ＤＳＰ４０は、読み出した撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施し、画像データを生成する。ＤＳＰ４０で生成された画像データは、ＣＰＵ４１に接続されたＲＡＭ４２、および代替デジタル画像処理回路（第二画像処理手段に相当、以下、代替ＤＩＰと略す）４３の作業用メモリ（図示せず）に入力される。

ＣＰＵ４１は、ＲＯＭ４４に記憶されたオペレーティングシステム（以下、ＯＳと略す）等の各種プログラムを実行することにより、プロセッサ装置１１全体の動作を統括的に制御する制御部４５と、デジタル画像処理回路（第一画像処理手段に相当、以下、ＤＩＰと略す）４６として機能する。

ＤＩＰ４６は、制御部４５の制御に従って各種画像処理をソフトウェアによって実行する。一方、代替ＤＩＰ４３は、論理回路プログラムを読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）等のハードウェアからなる。代替ＤＩＰ４３は、ＤＩＰ４６と全く同じ、もしくはＤＩＰ４６よりも劣るが略同じ処理能力（処理の内容、処理速度等を含む）を有する。

ＤＩＰ４６、および代替ＤＩＰ４３は、ＤＳＰ４０で処理された画像データを、ＲＡＭ４２、および作業用メモリからそれぞれ読み出す。ＤＩＰ４６、および代替ＤＩＰ４３は、読み出した画像データに対して、電子変倍、あるいは色強調、エッジ強調、分光特性抽出等の各種画像処理を施す。ＤＩＰ４６、および代替ＤＩＰ４３で各種画像処理を施された画像データは、表示制御回路（選択手段、合成手段に相当）４７に入力される。

ＤＩＰ４６には、保持部４８、異常検出回路４９、および初期化回路５０が接続されている。保持部４８は、ＤＩＰ４６の画像処理の状態を示す設定データを一時的に保持する。設定データには、電子変倍率、色、エッジ強調の度合い等の各種画像処理の条件、および代替ＤＩＰ４３に読み込まれる論理回路プログラムが含まれている。各種画像処理の条件は、操作部５１を操作することにより設定変更が可能である。

設定データは、元々ＲＯＭ４４に記憶されており、制御部４５によってＲＯＭ４４から適当な設定データが読み出され、保持部４８に書き込まれる。操作部５１が操作されて条件が設定変更されると、設定データが設定変更の内容に対応したものに書き換えられる。保持部４８は、代替ＤＩＰ４３にも接続されており、ＤＩＰ４６、および代替ＤＩＰ４３は、保持部４８の設定データに基づいた画像処理を実行する。

異常検出回路４９は、ＤＩＰ４６の動作異常を検出する。ＤＩＰ４６の動作異常を検出する方法としては、例えば、ＤＳＰ４０とＤＩＰ４６の間で画像データに検出用データを付加する。そして、ＤＩＰ４６から実際に出力された画像データと、動作異常がない場合に出力されるべき画像データとを照合する。二つの画像データが一致した場合は、ＤＩＰ４６の動作に異常はないと検出し、一致しない場合は、異常があると検出する。異常検出回路４９は、検出結果を初期化回路５０、および表示制御回路４７に出力する。

初期化回路５０は、プロセッサ装置１１の電源投入時に、ＣＰＵ４１に対してリセット信号を出力する初期化回路（図示せず）とは別に設けられており、異常検出回路４９がＤＩＰ４６の動作異常を検出したときに、ＤＩＰ４６にリセット信号を出力する専用の回路である。なお、初期化回路５０とＣＰＵ４１に対してリセット信号を出力する初期化回路とを兼用してもよい。

初期化回路５０からリセット信号が入力されると、ＤＩＰ４６が動作しているＣＰＵ４１は、リセットが掛けられて、ＣＰＵ４１、ＯＳ、ＤＩＰ４６の順に再起動される。ＤＩＰ４６が再起動されるまでの間は、当然ながらＤＩＰ４６による画像処理は中断される。この間、代替ＤＩＰ４３は、ＤＩＰ４６の動作異常が検出される直前に保持部４８に保持されていた設定データに基づいて、画像処理を実行する。また、再起動後のＤＩＰ４６は、動作異常が検出される直前の設定データを保持部４８から読み込み、読み込んだ設定データに基づいて、画像処理を再開する。

表示制御回路４７は、ＤＩＰ４６、または代替ＤＩＰ４３からの処理済みの画像データを格納するＶＲＡＭを有する。異常検出回路４９でＤＩＰ４６の動作異常が検出されていない場合、表示制御回路４７のＶＲＡＭには、ＤＩＰ４６からの画像データが入力される。

一方、異常検出回路４９でＤＩＰ４６に動作異常が検出され、初期化回路５０からＤＩＰ４６にリセット信号が出力されたときには、ＶＲＡＭへの画像データの入力元が切り替えられ、代替ＤＩＰ４３からの画像データがＶＲＡＭに入力される。その後、ＤＩＰ４６が再起動され、ＤＩＰ４６による画像処理が再開されると、再びＶＲＡＭへの画像データの入力元がＤＩＰ４６に切り替えられる。つまり、ＤＩＰ４６に動作異常が検出されて、ＤＩＰ４６が再起動している間だけ、ＤＩＰ４６の動作異常が検出される直前の設定データに基づいて、代替ＤＩＰ４３で画像処理が代行される。

表示制御回路４７は、ＣＰＵ４１からグラフィックデータを受け取る。グラフィックデータには、内視鏡画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは患者や検査医の情報等の文字情報、グラフィカルユーザインターフェース（ＧＵＩ；Graphical User Interface）といったものがある。表示制御回路４７は、ＤＩＰ４６、または代替ＤＩＰ４３からの画像データに対して、表示用マスク、文字情報、ＧＵＩの合成処理、モニタ１７の表示画面への描画処理といった各種表示制御処理を施す。

表示制御回路４７は、ＶＲＡＭから画像データを読み出し、読み出した画像データをモニタ１７の表示形式に応じたビデオ信号（コンポーネント信号、コンポジット信号等）に変換する。これにより、モニタ１７に内視鏡画像が表示される。なお、以下の説明では、ＤＩＰ４６からの画像データによる内視鏡画像を通常画像、代替ＤＩＰ４３からの画像データによる内視鏡画像を代替画像と表現する。

図３（Ａ）に示すように、表示制御回路４７は、通常画像７０をモニタ１７に表示させるときには、通常画像７０と、それ以外の情報として文字情報およびＧＵＩ（ともに図示せず）との他は何も表示させない。一方、（Ｂ）に示すように、表示制御回路４７は、代替画像７１をモニタ１７に表示させるときには、その旨を示す警告マーク（本例ではエクスクラメーションマーク）７２をモニタ１７の右下隅に合成表示させる。なお、警告マークは、代替画像７１がモニタ１７に表示されていることを検査医に報せることができるものであれば、如何なるものでもよく、その表示位置や表示形態（点滅表示等）も本例に限定されるものではない。代替画像７１が表示されている旨のメッセージ（例えば、「現在の表示は代替画像です」等）でもよい。

図２に戻って、ＣＰＵ４１は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ＲＯＭ４４には、プロセッサ装置１１の動作を制御するための各種プログラム（ＯＳ、アプリケーションプログラム等）やデータ（前述の設定データ、グラフィックデータ等）が記憶されている。ＣＰＵ４１は、ＲＯＭ４４から必要なプログラムやデータを読み出して、作業用メモリであるＲＡＭ４２に展開し、読み出したプログラムを逐次処理する。

操作部５１は、プロセッサ装置１１の筐体に設けられる操作パネル、あるいは、マウスやキーボード等の周知の入力デバイスである。ＣＰＵ４１は、操作部５１からの操作信号に応じて、各部を動作させる。

プロセッサ装置１１には、上記の他にも、画像データに所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す圧縮処理回路や、圧縮された画像データを、ＣＦカード、光磁気ディスク（ＭＯ）、ＣＤ−Ｒ等のリムーバブルメディアに記憶するメディアＩ／Ｆ、ＬＡＮ(Local Area Network)等のネットワークとの間で各種データの伝送制御を行うネットワークＩ／Ｆ等が設けられている。これらはデータバス等を介してＣＰＵ４１と接続されている。

光源装置１２は、キセノンランプやハロゲンランプからなる光源６０を有する。光源６０は、光源ドライバ６１によって駆動される。絞り機構６２は、光源６０の光射出側に配置され、集光レンズ６３に入射される光量を増減させる。集光レンズ６３は、絞り機構６２を通過した光を集光して、ライトガイド６４の入射端に導光する。ＣＰＵ６５は、プロセッサ装置１１のＣＰＵ４１と通信し、光源ドライバ６１および絞り機構６２の動作制御を行う。ライトガイド６４の出射端に導かれた照明光は、照明レンズ２４で拡散され、照明窓２１を介して体腔内の被観察部位に照射される。

次に、上記のように構成された内視鏡システム２の作用について説明する。電子内視鏡１０で患者の体腔内を観察する際、検査医は、電子内視鏡１０と各装置１１、１２とを繋げ、各装置１１、１２の電源をオンする。そして、操作部５１を操作して、患者に関する情報等を入力し、検査開始を指示する。

検査開始を指示した後、検査医は、挿入部１３を体腔内に挿入し、光源装置１２からの照明光で体腔内を照明しながら、固体撮像素子２３による体腔内の内視鏡画像をモニタ１７で観察する。

固体撮像素子２３から出力された撮像信号は、ＡＦＥ２５の各部２８〜３０で各種処理を施された後、プロセッサ装置１１のＤＳＰ４０に入力される。ＤＳＰ４０では、入力された撮像信号に対して各種信号処理が施され、画像データが生成される。ＤＳＰ４０で生成された画像データは、ＤＩＰ４６、および代替ＤＩＰ４３に出力される。

ＤＩＰ４６、および代替ＤＩＰ４３では、保持部４８に保持された設定データに基づいて、ＤＳＰ４０からの画像データに各種画像処理が施される。ＤＩＰ４６、および代替ＤＩＰ４３で処理された画像データは、詳しくは図４を用いて後述するように、表示制御回路４７のＶＲＡＭに選択的に入力される。表示制御回路４７では、ＣＰＵ４１からのグラフィックデータに応じて、各種表示制御処理が実行される。これにより、画像データがモニタ１７に内視鏡画像として表示される。

図４のステップ（以下、Ｓと略す）１０において、各装置１１、１２の電源が投入されると、プロセッサ装置１１のＲＯＭ４４に記憶されたプログラムがＣＰＵ４１によって実行される。これにより内視鏡システム２の各部が起動し、検査を行える状態となる。

Ｓ１１において、異常検出回路４９によって、ＤＩＰ４６の動作異常の監視が開始される。異常検出回路４９でＤＩＰ４６の動作異常が検出されない間（Ｓ１２でｎｏ）は、ＤＩＰ４６からの画像データが表示制御回路４７のＶＲＡＭに入力され、モニタ１７には通常画像７０が表示される（Ｓ１３）。

異常検出回路４９でＤＩＰ４６の動作異常が検出された場合（Ｓ１２でｙｅｓ）、ＶＲＡＭへの画像データの入力元がＤＩＰ４６から代替ＤＩＰ４３に切り替えられる（Ｓ１４）。これにより、代替ＤＩＰ４３からの画像データがＶＲＡＭに入力され、モニタ１７には代替画像７１が表示される（Ｓ１５）。このとき、モニタ１７には、代替画像７１であることを示す警告マーク７２が表示される。

次いで、初期化回路５０からＤＩＰ４６にリセット信号が出力される（Ｓ１６）。初期化回路５０からリセット信号が入力されると、ＤＩＰ４６が動作しているＣＰＵ４１にリセットが掛かり、ＣＰＵ４１、ＯＳ、ＤＩＰ４６の順に再起動される（Ｓ１７）。ＣＰＵ４１にリセットが掛かってＤＩＰ４６が再起動されるまでの間は、ＤＩＰ４６による画像処理は中断されて通常画像７０は表示されなくなるが、代わりに代替画像７１がモニタ１７に表示される。

その後、ＤＩＰ４６が再起動され、ＤＩＰ４６による画像処理が再開されると、再びＶＲＡＭへの画像データの入力元がＤＩＰ４６に切り替えられる（Ｓ１８）。これら一連の処理は、電源がオフされる（Ｓ１９でｙｅｓ）まで繰り返し実行される。

以上説明したように、ＤＩＰ４６の動作異常が検出されたときに、ＣＰＵ４１にリセットを掛けて再起動するとともに、ＤＩＰ４６が再起動するまでの間は、代替ＤＩＰ４３による代替画像７１をモニタ１７に表示させるので、通常時と変わりなく検査を続行することができる。

ＤＩＰ４６が正常動作に復帰したら、ＤＩＰ４６による画像処理を再開させて自動的に通常画像７０の表示に戻すので、ＤＩＰ４６によるフルスペックの画像処理性能に手間を掛けることなく復帰することができる。

設定データを保持部４８に保持するので、ＤＩＰ４６の動作異常が検出される直前の設定データに基づいて、ＤＩＰ４６で画像処理を再開したり、代替ＤＩＰ４３で画像処理を代行したりすることができる。従って、ＤＩＰ４６の動作異常が検出される前と、ＤＩＰ４６で画像処理が再開された後で、モニタ１７に表示される内視鏡画像の見た目が極端に変わることがなく、患者や検査医に違和感や不安感を与えることがない。

なお、ＤＩＰ４６で色強調、分光特性抽出等の特殊な画像処理を実行していた場合は、ＤＩＰ４６の動作異常が検出される直前の設定データに基づいて、ＤＩＰ４６で画像処理を再開したり、代替ＤＩＰ４３で画像処理を代行したりすると、逆に内視鏡画像が観察し難いものとなることがある。

このような場合は、ＤＩＰ４６の動作異常が検出される直前の設定データを踏襲するのではなく、プロセッサ装置１１の起動時に保持部４８に書き込まれるデフォルトの設定データに基づいて、ＤＩＰ４６で画像処理を再開したり、代替ＤＩＰ４３で画像処理を代行したりすることが好ましい。デフォルトの設定データは、上記のような特殊な画像処理を画像データに施さず、ＤＳＰ４０からの画像データを略そのまま表示制御回路４７に横流しする設定となっている。この場合、異常検出回路４９でＤＩＰ４６の動作異常が検出されたときに、保持部４８に書き込まれている設定データをデフォルトの設定データに書き換える。そして、ＤＩＰ４６で画像処理を再開するときも、保持部４８にデフォルトの設定データをそのまま保持させる。

なお、画像処理を代行または再開する際の設定データを、ＤＩＰ４６の動作異常が検出される直前の設定データとするか、デフォルトの設定データとするかを、操作部５１等で選択可能に構成してもよい。あるいは、この設定データの選択を、ＣＰＵ４１が判断してもよい。後者の場合は判断材料となるデータ（設定データ毎にいずれの態様を選択するかを定めたデータ）をＤＩＰ４６経由で保持部４８に記憶しておく。そして、ＤＩＰ４６の動作異常が検出されたときに、該データを参照しながら代替ＤＩＰ４３が判断を下す。

上記実施形態では、異常検出回路４９と初期化回路５０を、ＣＰＵ４１とは別の回路として構成したが、ＣＰＵ４１上で動作するＯＳに異常検出回路４９と初期化回路５０を組み込んでもよい。この場合、ＯＳに組み込まれた異常検出回路４９がＤＩＰ４６の動作異常を検出した際には、初期化回路５０は、ＤＩＰ４６のみの再起動を行う。

上記実施形態では、ＤＩＰ４６がソフトウェア、代替ＤＩＰ４３がハードウェアの場合を例示して説明したが、ＤＩＰ４６がハードウェアであってもよいし、代替ＤＩＰ４３がソフトウェアであってもよい。また、両方がハードウェア、またはソフトウェアであってもよい。

［第二実施形態］
図５に示すプロセッサ装置８０は、周知の仮想化技術を用いて、第一実施形態の各部を仮想マシンで賄う例である。プロセッサ装置８０は、ＤＳＰ４０（図５では図示省略）、仮想マシンのハードウェアリソース８１と、ハイパーバイザ８２と、第一、第二、第三ＯＳ８３、８４、８５とを備える。なお、電子内視鏡１０、光源装置１２は、第一実施形態と同様の構成であるので、説明を省略する。

ＤＳＰ４０とハードウェアリソース８１は、プロセッサ装置８０の具体的な構成要素である。ハードウェアリソース８１は、前述のＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４４、保持部４８、操作部５１等を含む。ハイパーバイザ８２は、周知の如く、ハードウェアリソース８１を複数の仮想マシンに割り振り、一つのハードウェアリソース８１上で複数のＯＳを同時に実行することを可能にする、仮想プラットフォームの一つである。

第一〜第三ＯＳ８３〜８５は、ハイパーバイザ８２によって各々独立した仮想マシン上で動作する。第一ＯＳ８３上で前述のＤＩＰ４６に相当するソフトウェア（ＤＩＰ８６）が動作し、第二ＯＳ８４上で代替ＤＩＰ４３に相当するソフトウェア（代替ＤＩＰ８７）が動作する。また、第三ＯＳ８５上で異常検出回路４９、初期化回路５０、および表示制御回路４７に相当するソフトウェア（異常検出回路８８、初期化回路８９、表示制御回路９０）が動作する。なお、各ＯＳ８３〜８５は、同じものでもよいし、異なるものであってもよい。各部の動作手順については、各部が異なるＯＳ８３〜８５上でソフトウェア的に動作する他は、第一実施形態で示したものと同じであるため、説明を省略する。

ハイパーバイザ８２でハードウェアリソース８１を複数の仮想マシンに分割し、複数の仮想マシンに上記各部の機能を割り当てるので、第一実施形態のように代替ＤＩＰとして専用のハードウェアを設ける必要がなく、実質的に一台のＣＰＵ４１のみで構成することができる。従って、部品コストを抑えることができる。また、ハイパーバイザ８２を用いることで、各ＯＳ８３〜８５の個々の処理負担を分散、軽減させることができる。

本実施形態では、第三ＯＳ８５に異常検出回路８８と初期化回路８９を持たせたが、これに限らず、第二ＯＳ８４に持たせてもよい。また、異常検出回路８８と初期化回路８９をハイパーバイザ８２内に持たせてもよい。

上記各実施形態では、内視鏡システムが一セットの場合を例示して説明したが、本発明はこれに限定されない。

［第三実施形態］
図６に示す管理システム１００は、複数の内視鏡システム１０１と代替画像処理サーバ１０２とを備える。各内視鏡システム１０１のプロセッサ装置１０３は、医療施設内のＬＡＮ１０４を介して、代替画像処理サーバ１０２と相互通信可能に接続されている。なお、電子内視鏡１０、光源装置１２は、第一実施形態と同様の構成であるので、説明を省略する。

図７において、プロセッサ装置１０３は、代替ＤＩＰ４３、および異常検出回路４９がなく、ネットワークＩ／Ｆ１０５にＤＳＰ４０、ＤＩＰ４６、表示制御回路４７、保持部４８、および初期化回路５０が接続されている他は、第一実施形態のプロセッサ装置１１と同様の構成を有する。ネットワークＩ／Ｆ１０５は、ＬＡＮ１０４を通じた代替画像処理サーバ１０２とのデータの遣り取りを媒介する。

図８において、代替画像処理サーバ１０２は、ＣＰＵ１１０、メモリ１１１、ストレージデバイス１１２、ネットワークＩ／Ｆ１１３、およびコンソール１１４を備えている。これらはデータバス１１５を介して相互接続されている。

ストレージデバイス１１２は、例えば、ＨＤＤ（Hard Disk Drive）である。ストレージデバイス１１２には、制御プログラムやサーバアプリケーションプログラムが格納される。メモリ１１１は、ＣＰＵ１１０が処理を実行するための作業用メモリである。ＣＰＵ１１０は、ストレージデバイス１１２に格納された制御プログラムをメモリ１１１へロードして、プログラムに従った処理を実行することにより、代替画像処理サーバ１０２の各部を統括的に制御する。

ネットワークＩ／Ｆ１１３は、ＬＡＮ１０４を通じた各プロセッサ装置１０３とのデータの遣り取りを媒介する。コンソール１１４は、ディスプレイ１１６と、キーボードやマウス等の入力デバイス１１７とからなる。

代替画像処理サーバ１０２のＣＰＵ１１０は、ストレージデバイス１１２の各種プログラムを実行することにより、代替ＤＩＰ１１８、および異常検出回路１１９として機能する。代替ＤＩＰ１１８、および異常検出回路１１９は、上記各実施形態の代替ＤＩＰ、および異常検出回路と基本的には同じものである。代替ＤＩＰ１１８、および異常検出回路１１９の機能は、ＣＰＵ１１０によってソフトウェア処理される。このため、代替ＤＩＰ１１８、および異常検出回路１１９は、各プロセッサ装置１０３からの要求に対して、並列的に処理を実行することが可能である。

ＤＳＰ４０、ＤＩＰ４６で処理された画像データ、および保持部４８に保持された設定データは、ネットワークＩ／Ｆ１０５を通じて各プロセッサ装置１０３から代替画像処理サーバ１０２に出力される。一方、代替ＤＩＰ１１８で処理された画像データ、および異常検出回路１１９の検出結果は、ネットワークＩ／Ｆ１１３を通じて代替画像処理サーバ１０２から各プロセッサ装置１０３に出力される。

各部の動作手順については、代替画像処理サーバ１０２、各プロセッサ装置１０３の間で、ネットワークＩ／Ｆ１１３、１０５を介してデータの遣り取りを行う他は、第一実施形態で示したものと同じであるため、説明を省略する。要するに、代替ＤＩＰと異常検出回路の機能を代替画像処理サーバ１０２が一手に担い、複数のプロセッサ装置１０３のＤＩＰ４６の動作状態の検出と画像処理の代行とを代替画像処理サーバ１０２一台で行う点が、各実施形態との相違点である。

第三実施形態によれば、全てのプロセッサ装置１０３に代替ＤＩＰや異常検出回路の機能を付加する必要がないので、プロセッサ装置のコスト上昇を抑えることができる。また、既存のプロセッサ装置を管理システム１００に組み込む際、プロセッサ装置の改造を最小限に留めることができる。さらに、大学病院等の比較的大規模な医療施設では、内視鏡システムを複数セット所有しているため、これらを個別に管理しようとすると膨大な費用が掛かる懸念がある。第三実施形態によれば、複数セットの内視鏡システムの管理を一台の代替画像処理サーバに担わせるため、医療施設の費用負担を減らすことができる。

上記各実施形態では、ＤＩＰ、または代替ＤＩＰで画像処理された画像データのうち、いずれを用いるかを、ＤＩＰ、代替ＤＩＰの出力端側の表示制御回路で選択しているが、ＤＳＰの後段の、ＤＩＰ、代替ＤＩＰの入力端側で上記選択をしてもよい。また、外部出力装置としてモニタを例に挙げて説明したが、プリンタ、リムーバブルメディア、ネットワーク接続された外部記憶装置等、他の外部出力装置であってもよい。

上記各実施形態では、ＤＩＰの正常動作時も代替ＤＩＰを作動させて画像処理を実行しているが、ＤＩＰの動作異常が検出されてから復帰するまでの間に限って代替ＤＩＰを作動させてもよい。この場合は、異常検出回路の検出結果を代替ＤＩＰにも出力し、代替ＤＩＰを作動させるためのトリガとする。

なお、代替ＤＩＰの処理能力がＤＩＰと全く同じであれば、ＤＩＰが正常動作に復帰した後にＤＩＰを選択せずに、引き続き代替ＤＩＰを選択して画像処理を実行させてもよい。また、代替ＤＩＰに対しても異常検出回路、初期化回路を接続し、ＤＩＰ、代替ＤＩＰの一方に動作異常が検出された場合、一方の初期化、再起動をしている間に他方で画像処理を代行してもよい。さらに、ＤＩＰを所定回数再起動してもＤＩＰが復帰しない場合は、取り敢えず代替ＤＩＰで画像処理を実行し、検査終了時等にＤＩＰの交換や修理を促すメッセージをモニタに表示させてもよい。

なお、ＲＯＭ４４は記憶媒体であればよく、リードオンリーメモリである必要はない。例えば、ハードディスクドライブ、シリコンディスクドライブ、ＭＯ、ＣＤやＤＶＤ記録メディア、コンパクトフラッシュ（登録商標）やＳＤカード等のメモリカード類であってもよい。さらに、ＬＡＮを介して接続された外部記憶装置やサーバ等であってもよい。

上記各実施形態では、画像処理装置としてプロセッサ装置１１を例に挙げて説明したが、本発明はこれに限定されない。例えば、超音波プローブが接続され、医用画像として超音波画像を生成する超音波観測装置、蛍光内視鏡が接続され、蛍光内視鏡画像を生成する蛍光内視鏡用プロセッサ装置、あるいは、ＯＣＴ（Optical Coherence Tomography）プローブが接続され、ＯＣＴ画像を生成するＯＣＴ用プロセッサ装置等、他の画像処理装置でもよい。

上記各実施形態では、内視鏡として電子内視鏡１０を例示したが、超音波内視鏡であってもよい。また、上記各実施形態では、患者を被検体とする医療用の電子内視鏡１０を例示したが、配管等を被検体とする工業用のものでもよい。さらに、上記各実施形態では、プロセッサ装置と光源装置が別体である例を挙げたが、プロセッサ装置と光源装置とは一体であってもよい。

内視鏡システムの構成を示す外観図である。 内視鏡システムの構成を示すブロック図である。 内視鏡画像の表示形態を示す図であり、（Ａ）はＤＩＰによる通常画像、（Ｂ）は代替ＤＩＰによる代替画像の表示形態をそれぞれ示す。 内視鏡検査における処理の流れを示すフローチャートである。 別実施形態を示すブロック図である。 さらに別実施形態を示す外観図である。 図６の態様における内視鏡システムの構成を示すブロック図である。 代替画像処理サーバの構成を示すブロック図である。

符号の説明

２、１０１ 内視鏡システム
１０ 電子内視鏡
１１、８０、１０３ プロセッサ装置
１７ モニタ
２３ 固体撮像素子
２５ アナログ信号処理回路（ＡＦＥ）
２７ ＣＰＵ
４０ デジタル信号処理回路（ＤＳＰ）
４１ ＣＰＵ
４３、８７、１１８ 代替デジタル画像処理回路（代替ＤＩＰ）
４６、８６ デジタル画像処理回路（ＤＩＰ）
４７、９０ 表示制御回路
４８ 保持部
４９、８８、１１９ 異常検出回路
５０、８９ 初期化回路
７１ 代替画像
７２ 警告マーク
８２ ハイパーバイザ
８３〜８５ 第一〜第三オペレーティングシステム（ＯＳ）
１００ 管理システム
１０２ 代替画像処理サーバ
１０５、１１３ ネットワークＩ／Ｆ

Claims (11)

1. 固体撮像素子で得られた撮像信号から生成された画像データに画像処理を施す第一画像処理手段と、
   前記第一画像処理手段の動作状態を検出する検出手段と、
   前記検出手段で前記第一画像処理手段の動作異常が検出された場合、前記第一画像処理手段を初期化する初期化手段と、
   前記第一画像処理手段と同等の処理能力を有する第二画像処理手段と、
   前記第一画像処理手段、または前記第二画像処理手段で画像処理された画像データのうち、いずれを用いるかを選択する選択手段であり、少なくとも前記第一画像処理手段の動作異常が前記検出手段で検出されてから、前記第一画像処理手段が前記初期化手段で初期化されて正常動作に復帰するまでの間、前記第二画像処理手段を選択して前記第二画像処理手段に画像処理を代行させる選択手段とを備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記第一画像処理手段が正常動作に復帰したら、前記第一画像処理手段を選択して前記第一画像処理手段による画像処理を再開させることを特徴とする請求項１に記載の画像処理装置。
3. 画像処理に関わる設定データを保持するための保持手段を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記第一画像処理手段は、前記検出手段で前記第一画像処理手段の動作異常が検出される直前の設定データ、または装置起動時に前記保持手段に書き込まれるデフォルトの設定データに基づいて、画像処理を再開することを特徴とする請求項３に記載の画像処理装置。
5. 前記第二画像処理手段は、前記検出手段で前記第一画像処理手段の動作異常が検出される直前の設定データ、または装置起動時に前記保持手段に書き込まれるデフォルトの設定データに基づいて、画像処理を代行することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記選択手段は、前記第一画像処理手段と前記第二画像処理手段の画像データの出力端、および外部出力装置への画像データの入力端と接続しており、
   前記第一画像処理手段、または前記第二画像処理手段のうち、前記選択手段で選択された方で画像処理された画像データが外部出力装置へ入力されることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記第二画像処理手段で画像処理を代行している旨を示す警告情報を画像に合成表示させる合成手段を備えることを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。
8. 前記第一画像処理手段はソフトウェアであり、前記第二画像処理手段はハードウェアであることを特徴とする請求項１ないし７のいずれかに記載の画像処理装置。
9. 少なくとも前記第一画像処理手段と前記第二画像処理手段の機能は、ハイパーバイザによって一つのハードウェアリソースから分割され、各々独立して動作可能な複数の仮想マシンに割り当てられていることを特徴とする請求項１ないし８のいずれかに記載の画像処理装置。
10. 前記検出手段、および前記第二画像処理手段を除く各手段を有する複数の装置本体と、
    前記検出手段、および前記第二画像処理手段を少なくとも一つずつ有し、前記装置本体とネットワークを介して接続されるサーバとからなることを特徴とする請求項１ないし９のいずれかに記載の画像処理装置。
11. 内視鏡の固体撮像素子で得られた撮像信号から生成された画像データに画像処理を施す第一画像処理手段と、
    前記第一画像処理手段の動作状態を検出する検出手段と、
    前記検出手段で前記第一画像処理手段の動作異常が検出された場合、前記第一画像処理手段を初期化する初期化手段と、
    前記第一画像処理手段と同等の処理能力を有する第二画像処理手段と、
    前記第一画像処理手段、または前記第二画像処理手段で画像処理された画像データのうち、いずれを用いるかを選択する選択手段であり、少なくとも前記第一画像処理手段の動作異常が前記検出手段で検出されてから、前記第一画像処理手段が前記初期化手段で初期化されて正常動作に復帰するまでの間、前記第二画像処理手段を選択して前記第二画像処理手段に画像処理を代行させる選択手段とを備えることを特徴とする内視鏡用プロセッサ装置。

Images