JP2011254381A - 画像処理装置 - Google Patents

Abstract

【課題】連続運転中のシステムの回路の故障に対して、画像処理回路を最適化し、画像が表示される状態にまで容易に復帰し、かつダウンタイムを最小限にすることができる。
【解決手段】ＲＯＭ２６に格納したコンフィグレーションデータにより、複数の画像処理を実現するように設計されたＦＰＧＡ２４を備え、コンフィグレーションデータは、個々の画像処理を実現する画像処理回路２４３〜２４６を構成するためのデータと、画像処理回路２４３〜２４６間の接続回路を構成するためのデータとに分離して記憶されており、さらに画像処理回路２４３〜２４６の動作を解析して画像処理回路２４３〜２４６の故障の有無を判定する故障検知回路２４７を備える。
【選択図】図２

Description

本発明は、画像処理装置に関する。

内視鏡のシステムなどの動画像を表示する装置は、ビデオプロセッサ（プロセッサ装置）とスコープ（撮像手段）、光源装置、モニタなどを備え、これらの装置を構成するコンピュータの暴走など、何らかの異常が生じた場合においても、速やかに内視鏡画像を観察できる状態に設定できるように構成されていることが望ましい。

プロセッサ装置は、内視鏡の撮像手段（ＣＣＤ等の固体撮像素子）で被検体内を撮像した撮像信号を取り込み、この撮像信号から画像データを形成し、さらに形成した画像データにノイズ軽減やブレ補正、色補正や、ホワイトバランス補正などの画像処理、あるいは輪郭強調、色強調などの特殊な画像処理を複数ブロックで行って処理し、モニタに画像を表示させる。

プロセッサ装置では、上述した画像データの形成や画像処理を実行するために、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのプログラマブル集積回路を用いている。プログラマブル集積回路は、予めＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などに記憶された論理回路プログラムを読み込むことで論理回路が自由に書き換えられ、上述した複数種の処理を即座にワンチップで実行することができる。

プログラマブル集積回路を有する内視鏡のプロセッサ装置が知られている（例えば、特許文献１参照）。図８は、従来知られている内視鏡のプロセッサ装置の構成例を示した図である。図示する内視鏡のプロセッサ装置は、画像データに検出データを付加する検出データ付加回路８１と、画像データに画像処理を施す画像処理回路８２と、画像処理された画像データを判定データと照合して画像データに異常があるか否かを判定する判定回路８３と、判定回路で異常ありと判定されたとき、画像処理回路を構成するＦＰＧＡ８２１を初期化する初期化回路８４とを備える。

初期化回路で初期化されたＦＰＧＡ８２１は、ＲＯＭ８２２から論理回路プログラムが再読み込みされて論理回路が再構築される。このような論理回路プログラムを、ここでは、再構成可能な集積回路のコンフィグレーションデータと呼ぶことにする。

また、再構成可能な集積回路として、論理構成要素から成る所定の機能を備える複数の機能回路部と複数の機能回路部の夫々の機能が構成可能に予め論理構成要素を備える少なくとも一つの予備機能回路部とを備える機能構成部と、複数の機能回路部及び予備機能回路部の相互間を接続し、機能構成部の外部との入出力信号をインタフェースする共通バスとを備えるものが知られている（例えば、特許文献２参照）。

この集積回路は、機能回路部と予備機能回路部が、再構成可能な集積回路である構成となっており、再構成可能な集積回路を複数用いて自己修復システムを構成し、夫々の再構成可能な集積回路の各機能回路部の１つの目の故障に対して自己修復が可能とするとともに、さらに、２つ目の故障が当該機能回路部のいずれかに発生した場合には、故障した集積回路を再構成可能な集積回路を複数用いて再構成し、自己修復し正常運転を再開する。

特開２００９−２２５８５１号公報 特開２００９−１４０３５３号公報

しかしながら、特許文献１に記載されている内視鏡のプロセッサ装置は、ＦＰＧＡ全体を再構築している為にコンフィグレーションデータの容量に応じて再構成に時間がかかってしまい、画像を出力できない時間が長くなるという問題がある。

また、特許文献２に記載されている再構成可能な集積回路では、個々の機能回路部は同じ回路規模であることは希である為に、故障時に予備機能回路部で代替する為にはそれぞれの機能回路部の最大の回路規模と同等の規模の予備機能回路部をそれぞれ用意する必要がある。その為、正常運転時にもより大きい再構成可能な集積回路を複数備えた状態となり、回路規模が増大しコスト面や消費電力面で不利である。

また、機能回路部の処理が高度化したり、機能回路部間のデータの往来が増加し、高速な処理を要求されるシステムになってくると、それぞれの機能回路部と予備機能回路部は共通バスに接続されているため、機能回路部間のデータの往来が煩雑になってしまう。したがって、共通バスと、機能回路部と予備機能回路部間の通信速度や接続線数が増大し、さらにコスト面や消費電力面で不利となる。

本発明は、上記事情に鑑みてなされたものであり、連続運転中のシステムの回路の故障に対して、画像処理回路を最適化し、画像が表示される状態にまで容易に復帰し、かつダウンタイムを最小限にした画像処理装置を提供することを目的とする。

本発明は、半導体メモリに格納したコンフィグレーションデータにより、複数の画像処理を実現するように設計された再構成可能な集積回路を備え、前記コンフィグレーションデータは、個々の画像処理を実現する機能回路を構成するためのデータと、前記機能回路間を接続する接続回路を構成するためのデータとに分離して記憶されており、さらに前記機能回路の動作を解析して当該機能回路の故障の有無を判定する故障検知回路を備えることを特徴とする画像処理装置である。

また、本発明は、現在実行中の動作モードにおいて必要の無い前記機能回路を特定する不必要回路特定部と、前記集積回路から前記不必要回路特定部が特定した前記機能回路を削除し、前記集積回路に前記故障検知回路を追加するようにコンフィグレーションを実施する制御部と、を備えたことを特徴とする画像処理装置である。

また、本発明は、前記故障検知回路が前記機能回路を故障と判定した場合、当該機能回路に信号を入力する接続回路と、当該機能回路が信号を出力する接続回路とを切り離すと共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号を、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する接続回路を追加するようにコンフィグレーションを実施する制御部を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記制御部は、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号の形式と、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路の入力信号の形式とが異なっている場合、前記出力信号を前記入力信号の形式に変換して出力するフォーマット変換回路を追加すると共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の前記出力信号を前記フォーマット変換回路に入力する前記接続回路と、前記フォーマット変換回路の出力信号を前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する前記接続回路とを追加するようにコンフィグレーションを行うことを特徴とする。

また、本発明の画像処理装置において、前記不必要回路特定部は、前記動作モードが変更される毎に、変更後の前記動作モードにおいて必要の無い前記機能回路を特定し、前記制御部は、前記不必要回路特定部が必要の無い前記機能回路を特定した場合、前記集積回路から前記不必要回路特定部が特定した前記機能回路を削除し、前記集積回路に前記故障検知回路を追加するようにコンフィグレーションを実施することを特徴とする。

また、本発明の画像処理装置において、前記制御部は、前記故障検知回路が前記機能回路を故障と判定した場合、当該機能回路に信号を入力する接続回路と、当該機能回路が信号を出力する接続回路とを削除すると共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号を、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する接続回路を追加するようにコンフィグレーションを実施し、その後に前記故障検知回路が故障と判定した前記機能回路の再コンフィグレーションを実施し、前記故障検知回路は、前記機能回路の再コンフィグレーションが完了した後に再度前記機能回路の動作を解析して当該機能回路の故障の有無を判定し、前記制御部は、前記故障検知回路が、再コンフィグレーションされた前記機能回路を正常と判定した場合、追加した前記接続回路を削除すると共に、当該機能回路に信号を入力する前記接続回路と、当該機能回路が信号を出力する前記接続回路とを追加するコンフィグレーションを行うことを特徴とする。

本発明によれば、連続運転中のシステムの回路の故障に対して、画像処理回路を最適化し、画像が表示される状態にまで容易に復帰し、かつダウンタイムを最小限にすることができる。

本発明の第１の実施形態における電子内視鏡装置の構成を示した概略図である。 本発明の第１の実施形態におけるビデオプロセッサの構成を示したブロック図である。 本発明の第１の実施形態におけるＦＰＧＡに構成される論理回路の構成例を示したブロック図である。 本発明の第１の実施形態におけるＦＰＧＡに構成される機能回路と接続回路の詳細例を示したブロック図である。 本発明の第１の実施形態におけるＲＯＭが記憶するコンフィグレーションデータおよびＦＰＧＡが読み込むコンフィグレーションデータを示した概略図である。 本発明の第２の実施形態におけるＦＰＧＡに構成される論理回路の構成例を示したブロック図である。 本発明の第２の実施形態における電子内視鏡装置の動作手順を示したフローチャートである。 従来知られている内視鏡のプロセッサ装置の構成例を示した図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置１は、電子内視鏡２と、ビデオプロセッサ３（画像処理装置）と、モニタ４とを備える。内視鏡装置２は、被写体を撮影して映像信号を生成する。ビデオプロセッサ３は、内視鏡装置２が生成した映像信号の処理を行い、処理を行った信号をモニタ４に出力する。また、ビデオプロセッサ３は、内視鏡装置２の撮像制御や、内視鏡装置２に入射される光量の制御を行う。モニタ４は、入力された信号に基づいた映像を表示する。

次に、ビデオプロセッサ３の構成について説明する。図２は、本実施形態におけるビデオプロセッサ３の構成を示したブロック図である。図示する例では、ビデオプロセッサ３は、光量制御回路２１と、撮像制御回路２２と、画像形成回路２３と、ＦＰＧＡ２４（集積回路）と、後段処理回路２５と、ＲＯＭ２６（半導体メモリ）とを備える。

光量制御回路２１は、内視鏡装置２が備えるメカ的な絞りの開閉量を制御することにより、内視鏡装置２に入射される光量を調整したり、内視鏡装置２が出力するライトソースの出力強度を調整することにより明るさの制御を行ったりして、内視鏡装置２が生成する画像信号が、適正な明るさのレベルの画像信号となるように照明光量を自動調光する。撮像制御回路２２は、撮像を制御する駆動回路やＳＳＧ（同期信号発生回路）を制御し、内視鏡２に備えられたＣＣＤやＣＭＯＳなどの撮像素子が読み出し動作を行うように制御する。

画像形成回路２３は、デジタルの撮像信号から画像データを形成するための各種信号処理（例えば、ＲＧＢ信号（撮像信号）を輝度信号及び色差信号に分離する色分離処理、分離された色差信号に対する擬色の除去処理、分離した輝度信号及び色差信号をマトリクス演算してＲＧＢ信号からなる画像データを形成するマトリクス演算処理、ゲイン補正、ホワイトバランス調整、ガンマ補正）や、周辺機器（例えば電子内視鏡）の接続状態を監視しモニタリング可能な接続情報の収集を行う。

ＦＰＧＡ２４は、ＲＯＭ２６に記憶されたコンフィグレーションデータ（論理回路プログラム）を読み込むことにより論理回路の書き換えが可能なプログラマブル集積回路の一種である。ＦＰＧＡ２４は、起動時には自動的にＲＯＭ２６に記憶された所定のコンフィグレーションデータを読み込み、予め定められた論理回路を構成する。図示する例では、起動時にＦＰＧＡ２４に構成される論理回路を示しており、ＣＰＵ／ＤＳＰコントローラ２４１（制御部、不必要回路特定部）と、コンフィグレーションデータ選択回路２４２と、画像処理回路２４３〜２４６（機能回路）と、故障検知回路２４７とが構成されている。

また、ＦＰＧＡ２４は、起動後には、ＣＰＵ／ＤＳＰコントローラ２４１などに代表されるシステムコントローラから制御信号を受けて、コンフィグレーションデータ選択回路２４５にて選択されたコンフィグレーションデータをＲＯＭ２６から読み込み、読み込んだコンフィグレーションデータに応じた論理回路を新たに構成する。これによって、ＦＰＧＡ２４は、通常起動時において構成している論理回路とは異なる論理回路を構成することができる。

なお、コンフィグレーションデータは、機能回路を構成するためのデータや、機能回路間を接続する接続回路を構成するためのデータや、フォーマット変換回路を構成するためのデータや、故障検知回路２４７を構成するためのデータや、外部接続機器の接続情報収集回路を構成するためのデータや、ＣＰＵ／ＤＳＰコントローラを構成するためのデータなどに分割されて、ＲＯＭ２６に記憶されている。

ＣＰＵ／ＤＳＰコントローラ２４１は、ビデオプロセッサ３が備える各回路の制御を行う。コンフィグレーションデータ選択回路２４２は、ＦＰＧＡ２４に読み込ませるコンフィグレーションデータを選択する。
画像処理回路２４３〜２４６は、各種画像処理を行う回路である。画像処理を行う回路としては、画像を取り扱う装置に搭載されている処理回路（例えば、ＯＢクランプやゲインコントロール、ノイズリダクション、色バランス、色補正／調整、色変換、エッジ強調、拡大／縮小、特殊光処理など）や、各画像処理回路の入出力を接続する為のフォーマット変換回路などが一例として挙げられる。

故障検知回路２４７は、画像処理回路２４３〜２４６の故障の有無や、装置自身及び周辺機器の故障を検知する。また、故障検知回路２４７による故障診断方法は、セルフテストプログラムにより行ったり、内蔵のＣＰＵで画像処理回路の出力をソフト処理した期待値と比較したり、該当する機能回路の前段で画像データに付加信号を与える手段を備え、後段の判定回路にて故障診断を行ったりする方法が考えられる。

後段処理回路２５は、ＦＰＧＡ２４に構成される各論理回路が処理を行った画像データの後段処理を行う。後段処理としては、モニタ出力の為の色調調整やガンマ補正や、文字重畳や、装置自身の故障を判定する判定処理や、その解析を行う故障解析処理などがある。
ＲＯＭ２６は、コンフィグレーションデータを記憶する。

ビデオプロセッサ３は、上述した構成を備え、内視鏡装置２から伝送された画像信号に対して所望の画像処理を施し、モニタ４に画像を表示させる。

なお、図２では、ビデオプロセッサ３は、ＦＰＧＡ２４とＲＯＭ２６とを１つずつ備える例を示しているが、それぞれ複数備えていても良い。また、図４では、ＣＰＵ／ＤＳＰコントローラ２４１をＦＰＧＡ２４の内部に備えた構成を用いて説明したが、ＣＰＵ／ＤＳＰコントローラ２４１をＦＰＧＡ２４の外部に備え、ＣＰＵ／ＤＳＰコントローラ２４１からＲＯＭ２６に制御信号を入力するようにしてもよい。また、図４に示したそれぞれの機能回路は、一例としてＤＳＰ（汎用ＩＣなど）やＦＰＧＡ（プログラマブル集積回路）、後段処理回路（電子回路）などで実現することが出来る。

次に、ＦＰＧＡ２４に構成される論理回路の構成例について説明する。図３は、本実施形態におけるＦＰＧＡ２４が構成する論理回路の構成例を示したブロック図である。図３（１）のブロック図は、ＦＰＧＡ２４に論理回路として機能回路Ａ〜Ｄおよび接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴが構成され、機能回路Ａ、Ｂ、Ｃ、Ｄの順に画像処理を行う回路例（通常動作時）を示している。なお、以下、ＦＰＧＡ２４に信号を入力する機能部を入力部とし、ＦＰＧＡ２４が信号を出力する先の機能部を出力部とする。例えば、図２に示した例では、入力部は画像形成回路２３であり、出力部は後段処理回路２５である。

図３（１）では、接続回路ＩＮ ｔｏ Ａが入力部と機能回路Ａとを接続し、接続回路Ａ ｔｏ Ｂが機能回路Ａと機能回路Ｂとを接続し、接続回路Ｂ ｔｏ Ｃが機能回路Ｂと機能回路Ｃとを接続し、接続回路Ｃ ｔｏ Ｄが機能回路Ｃと機能回路Ｄとを接続し、さらに接続回路Ｄ ｔｏ ＯＵＴが機能回路Ｄと出力部とを接続している。

図３（２）のブロック図は、ＦＰＧＡ２４に論理回路として機能回路Ｂ〜Ｄおよび接続回路ＩＮ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴが構成され、機能回路Ａを回避して、機能回路Ｂ、Ｃ、Ｄの順に画像処理を行う回路例を示している。図３（２）では、接続回路ＩＮ ｔｏ Ｂが入力部と機能回路Ｂとを接続している。機能回路Ｂ以降の回路は図３（１）に示した回路と同様である。

図３（３）のブロック図は、ＦＰＧＡ２４に論理回路として機能回路Ａ、Ｃ、Ｄおよび接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴが構成され、機能回路Ｂを回避して、機能回路Ａ、Ｃ、Ｄの順に画像処理を行う回路例を示している。図３（３）では、接続回路Ａ ｔｏ Ｃが機能回路Ａと機能回路Ｃとを接続している。それ以外は図３（１）に示した回路と同様である。

図３（１）に示した状態において、機能回路Ａの故障を検知した場合、図３（２）のように、接続回路ＩＮ ｔｏ Ａと、機能回路Ａと、接続回路Ａ ｔｏ Ｂとに替えて、接続回路ＩＮ ｔｏ Ｂを構成するためのコンフィグレーションデータをＦＰＧＡ２４が読み込むことにより、入力部と機能回路Ｂとが接続回路ＩＮ ｔｏ Ｂによって接続される。このように、動作モードにおいて必要のない機能回路または、回避すると想定された機能回路（この例では機能回路Ａ）が前後段両方の機能回路に分割されており、その前後の機能回路を接続する接続回路（この例では接続回路ＩＮ ｔｏ Ｂ）を選択して書き換えることにより、任意の機能回路について回避して、入力部より機能回路ＢとＣとＤを経由して出力部まで接続することができる構成となっている。

特許文献１に記載の技術では、故障と判断した場合、ＦＰＧＡの全ての論理回路を初期化するために、ＦＰＧＡはＲＯＭが記憶する全てのコンフィグレーションデータを再読み込みしており、ＦＰＧＡの書き換え時間が長くなっている。一方、本実施形態では、ＦＰＧＡ２４が構成する論理回路の内、選択したある一部分のみの書き換えを行う。そのため、ＦＰＧＡ２４の書き換えを短い時間で実現することができる。

さらに、特許文献２に記載の技術では、機能回路部を予備機能回路部で置き換えて動作させる構成となっており、機能回路部と同等以上に相当する回路規模を予備機能回路部としてあらかじめ用意する必要があり、ＦＰＧＡの規模が増大してしまう。一方、本実施形態では、予備機能回路部に相当するような回路を用意しない構成で実現しているため、ＦＰＧＡ２４の規模を増加させる必要がない。その結果、ＦＰＧＡ２４の規模を増加させることなく、故障と判断してから画像処理を再開するまでの復帰時間を最短にでき、モニタ４などに画像が表示されない時間（画像消失時間）が短縮される。

なお、図３に示した機能回路のブロック図では、機能回路をＡ〜Ｄの４つに分割した構成としているが、一つのみの構成でも良いし、複数であってもよい。また、故障や現動作モードで必要の無いと思われる機能回路を回避する例について、図３（２）は機能回路Aの一つだけを回避する例とし、図３（３）では機能回路Ｂの一つだけを回避する例を示しているが、複数の機能回路を回避するようにしてもよい。

次に、ＦＰＧＡ２４に構成される機能回路と接続回路の詳細例について説明する。図４は、本実施形態におけるＦＰＧＡ２４に構成される機能回路と接続回路の詳細例を示したブロック図である。通常動作時では、ＦＰＧＡ２４に論理回路として機能回路Ａ〜Ｄおよび接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴが構成され、機能回路Ａ、Ｂ、Ｃ、Ｄの順に画像処理を行うとする。なお、実線矢印は、後述するフォーマット変換回路Ｆを用いる場合において構成される接続回路例を示しており、破線矢印は、その他の接続回路例を示している。

例えば、機能回路ＡとＢとを回避する場合には、接続回路ＩＮ ｔｏ Ｃが入力部と機能回路Ｃとを接続すればよい。このように、回避すると想定された機能回路（この例では機能回路ＡとＢ）が前後段両方の機能回路と分割されており、その前後の機能回路を接続する接続回路（この例では接続回路ＩＮ ｔｏ Ｃ）を備えることにより、任意の機能回路について回避して入力部より機能回路ＣとＤを経由して出力部まで接続することができる構成となっている。

ここで、機能回路Ｃを回避する場合の例を示す。この場合、接続回路ＩＮ ｔｏ Ａが入力部と機能回路Ａとを接続し、接続回路Ａ ｔｏ Ｂが機能回路Ａと機能回路Ｂとを接続し、接続回路Ｂ ｔｏ Ｄが機能回路Ｂと機能回路Ｄとを接続し、接続回路Ｄ ｔｏ 出力部が機能回路Ｄと出力部とを接続することにより、機能回路Ｃを回避する回路構成を実現できる。

このとき、機能回路Ｂと機能回路Ｃの出力フォーマットが異なる場合が考えられる。例えば、機能回路Ｂの出力がＲＧＢ（カラー）形式、機能回路Ｃの出力は、Ｙ／Ｃ（輝度／色差）形式であった場合には、出力フォーマットを変換するフォーマット変換回路Ｆを備え、後段の機能回路Ｄの入力に合わせて信号のフォーマットを変換する。この場合、フォーマット変換回路Ｆは、ＲＧＢからＹ／Ｃへの変換機能を指す。接続回路Ｂ ｔｏ Ｄにフォーマット変換回路Ｆを追加して備えることにより、機能回路Ｂの出力信号を機能回路Ｄに入力し所望の処理を施すことができる構成を実現できる。

このように、フォーマット変換回路Ｆを備えることにより、前後の機能回路の入出力信号のフォーマットが異なる場合においても、故障回路（ここでは、機能回路Ｃ）を回避しつつ、所望の画像処理（ここでは、機能回路Ａ、Ｂ、Ｄ）を処理することができる。

ここで、フォーマット変換回路は、機能回路内に備えている場合でも、それぞれのフォーマット変換回路を個別に備える構成でもよいし、機能回路より分割して備える構成としても良い。その場合は、共用するフォーマット変換回路を経由する接続回路を追加して備えるだけでよく、フォーマット変換回路を共用する構成とした為、全体の回路規模も削減することができる。

また、機能回路ＢとＣとＤを回避する場合においては、接続回路ＩＮ ｔｏ Ａが入力部と機能回路Ａとを接続し、フォーマット変換回路Ｆを備えた接続回路Ａ ｔｏ ＯＵＴが機能回路Ａと出力部とを接続する。

さらに、機能回路Ｃのみを回避する場合と、機能回路ＢとＣとＤを回避する場合とで、フォーマット変換回路Ｆの共用を考慮した場合においては、接続回路をさらに分割し、接続回路Ｂ ｔｏ Ｆと接続回路Ｆ ｔｏ Ｄ、接続回路Ａ ｔｏ Ｆと接続回路Ｆ ｔｏ ＯＵＴを備えることにより実現できる。この構成をとることにより、入出力信号のフォーマットが異なる機能回路を回避することも考慮しつつ、故障や動作モードでのないと思われる機能回路を回避し、回路規模の増大をおさえながら、入力部より入力された動画像を出力部まで伝送することができる。

次に、ＲＯＭ２６が記憶するコンフィグレーションデータについて説明する。図５は、ＲＯＭ２６が記憶するコンフィグレーションデータおよびＦＰＧＡ２４が読み込むコンフィグレーションデータを示した概略図である。図５（１）は、図３（１）に示した機能回路を構成した場合に、ＦＰＧＡ２４がＲＯＭ２６から読み込むコンフィグレーションデータを示している。具体的には、機能回路Ａ、Ｂ、Ｃ、Ｄおよび接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏＤ、Ｄ ｔｏ ＯＵＴのコンフィグレーションデータが分割されてＲＯＭ２６に保存されており、ＦＰＧＡ２４がＲＯＭ２６よりコンフィグレーションデータを読み込むことにより、論理回路が構成され、図３（１）に示した動作を実現する。

図５（２）は、図３（２）に示したように、通常動作の状態から機能回路Ａを回避して動作させる機能回路を構成した場合に、ＦＰＧＡ２４がＲＯＭ２６から読み込むコンフィグレーションデータを示している。具体的には、ＲＯＭ２６に接続回路ＩＮ ｔｏ Ｂのコンフィグレーションデータを予め記憶させておき、ＦＰＧＡ２４が接続回路ＩＮ ｔｏ Ｂのコンフィグレーションデータを読み込み、接続回路ＩＮ ｔｏ Ａの替わりに接続回路ＩＮ ｔｏ Ｂが構成されることにより、図３（２）に示した動作を実現する。

同様に、図５（３）は、図３（３）に示したように、通常動作の状態から機能回路Ｂを回避して動作させる機能回路を構成した場合に、ＦＰＧＡ２４がＲＯＭ２６から読み込むコンフィグレーションデータを示している。具体的には、ＲＯＭ２６に接続回路Ａ ｔｏ Ｃのコンフィグレーションデータを予め記憶させておき、ＦＰＧＡ２４が接続回路Ａ ｔｏ Ｃのコンフィグレーションデータを読み込み、接続回路Ａ ｔｏ Ｂの替わりに接続回路Ａ ｔｏＣが構成されることにより、図３（３）に示した動作を実現する。

ＦＰＧＡ２４の規模には限りがある為、現在の動作モードで必要のない接続回路の部分に替えて、新たに必要となった接続回路を書き換えることで、ＦＰＧＡ２４の規模の範囲で実現可能である。近年の画像処理は高度化し、機能回路の規模は増大する傾向にあり、ＲＯＭ２６の容量も比較的大きな容量を占めるが、接続回路は機能回路に比べると小規模であり、接続回路を複数備えても大きな増加でないことは明らかである。さらに、図５（２）（３）に示すように機能回路Ａ、Ｂを回避したことによって、機能回路Ａ、Ｂを構成していた領域に別の回路を構成することができる。例えば、ＲＯＭ２６に検査用回路のコンフィグレーションデータを予め記憶させておき、ＦＰＧＡ２４が検査用回路のコンフィグレーションデータを読み込み、機能回路Ａ、Ｂの替わりに検査用回路を構成することにより、故障解析のための詳細検査を行うことができる。

上述したとおり、本実施形態のビデオプロセッサ３（画像処理装置）は、ＦＰＧＡ２４（再構成可能な集積回路）に対して、即座に現動作モードで必要のない（使用していない）回路部分のみを回避して接続回路を書き換えて接続し、動画像表示などの運転を短時間で継続するとともに、さらに、回避した回路部分に他の回路を構成することができる。

以上のことより、再構成可能な集積回路を備えた画像処理装置において、連続運転中のシステムの回路の故障に対して、画像処理回路を最適化し、画像が表示される状態にまで容易に復帰し、かつダウンタイムを最小限にすることができる。また、画像処理装置は、使用していない回路部分に他の回路を構成することができるため、画像処理装置に搭載された集積回路の規模を大幅に増大させることなく、通常動作とは異なる動作を実行することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態の電子内視鏡装置の構成は第１の実施形態における電子内視鏡装置の構成と同様の構成である。本実施形態において、通常動作時には、ＦＰＧＡ２４に論理回路として故障検知回路と、機能回路Ａ〜Ｄと、接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴとが構成され、機能回路Ａ、Ｂ、Ｃ、Ｄの順に画像処理を行うとともに、故障検知回路が機能回路Ａ〜Ｄの故障の有無を検知する。そして、故障検知回路が故障していると検知した機能回路が存在する場合、故障していると検知された機能回路を回避する構成となるようにＦＰＧＡ２４の論理回路を再構成する。その後、故障していると検知された機能回路の詳細検査を実施する構成となるように、ＦＰＧＡ２４の論理回路を再構成する。なお、ＦＰＧＡ２４の論理回路の再構成は、再構成前と再構成後との両方に必要な論理回路については変更せず、再構成後に必要な論理回路のみを変更する。

図６は、本実施形態におけるＦＰＧＡ２４に構成される論理回路の構成例を示したブロック図である。図６（１）のブロック図は、ＦＰＧＡ２４に論理回路として故障検知回路と、機能回路Ａ〜Ｄと、接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ｂ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴとが構成され、機能回路Ａ、Ｂ、Ｃ、Ｄの順に画像処理を行うとともに、故障検知回路が機能回路Ａ〜Ｄの故障の有無を検知する回路例（通常動作時）を示している。

図６（１）では、接続回路ＩＮ ｔｏ Ａが入力部と機能回路Ａとを接続し、接続回路Ａ ｔｏ Ｂが機能回路Ａと機能回路Ｂとを接続し、接続回路Ｂ ｔｏ Ｃが機能回路Ｂと機能回路Ｃとを接続し、接続回路Ｃ ｔｏ Ｄが機能回路Ｃと機能回路Ｄとを接続し、さらに接続回路Ｄ ｔｏ ＯＵＴが機能回路Ｄと出力部とを接続している。また、機能回路Ａ〜Ｄの故障の有無を検知する故障検知回路が構成されている。なお、故障検知回路は機能回路Ａ〜Ｄとは別に構成されているが、機能回路Ａ〜Ｄのそれぞれの回路中に備えられていてもよい。

図６（２）のブロック図は、ＦＰＧＡ２４に論理回路として故障検知回路と、機能回路Ａ〜Ｄと、接続回路ＩＮ ｔｏ Ａ、Ａ ｔｏ Ｂ、Ａ ｔｏ Ｃ、Ｃ ｔｏ Ｄ、Ｄ ｔｏ ＯＵＴが構成され、機能回路Ｂを回避して、機能回路Ａ、Ｃ、Ｄの順に画像処理を行うとともに、詳細検査を実施する回路例を示している。この回路は、通常動作時に機能回路Ｂが故障した場合における回路例である。

図６（２）では、接続回路ＩＮ ｔｏ Ａが入力部と機能回路Ａとを接続し、接続回路Ａ ｔｏ Ｂが機能回路Ａと機能回路Ｂとを接続し、接続回路Ａ ｔｏ Ｃが機能回路Ａと機能回路Ｃとを接続し、接続回路Ｃ ｔｏ Ｄが機能回路Ｃと機能回路Ｄとを接続し、さらに接続回路Ｄ ｔｏ ＯＵＴが機能回路Ｄと出力部とを接続している。

次に、本実施形態の動作について説明する。電子内視鏡装置１の電源がＯＮされると、電子内視鏡２で撮像した画像がモニタ４に表示される。電源がＯＮされると同時に、ＦＰＧＡ２４に構成されている、故障検知のための故障検知回路も動作しており、機能回路Ａ〜Ｄの故障の有無の検知が開始される。あらかじめ通常動作時には、故障を検知する回路が付加されているが、詳細な障害内容を解析する故障検知回路は回路規模の増加に繋がるため、簡易的な構成としてある。そして、故障検知回路によって機能回路Ｂの故障が検知されると、機能回路Ｂを回避するように、ＦＰＧＡ２４の再コンフィグレーションが実行される。

この場合におけるＦＰＧＡ２４の再コンフィグレーションは、接続回路Ｂ ｔｏ Ｃを接続回路Ａ ｔｏ Ｃに書き換えるのみであるため、短時間で完了することができ、故障後からモニタに動画像が出力されるまで短い時間で完了することが出来る。その後、ＦＰＧＡ２４が詳細検査回路のコンフィグレーションデータをＲＯＭ２６から読み込み、回避した機能回路Ｂの部分に詳細検査回路が構成される。再構成が完了すると、詳細検査を開始する。詳細検査の内容は、通常動作には必須ではない、例えば故障と思われる機能回路に接続された記憶素子（メモリ）のテストや電子内視鏡装置１の接続テストなど、簡易検査より高性能な内容である。そして、検査結果をユーザーインタフェースに通知するなどし、故障検査の検知フローを終了する。

次に、上記の動作についてフローチャートを参照して説明する。図７は、本実施形態における電子内視鏡装置１の動作手順を示したフローチャートである。
（ステップＳ１０１）電子内視鏡装置１の電源がＯＮされると、ＦＰＧＡ２４に構成されている故障検知回路は、機能回路Ａ〜Ｄの故障検知を開始する。その後、ステップＳ１０２の処理に進む。

（ステップＳ１０２）故障検知回路は、機能回路Ａの故障検知を行い、機能回路Ａに異常があるか否かを判定する。故障検知回路が、機能回路Ａに異常があると判定した場合にはステップＳ１０３の処理に進み、機能回路Ａに異常が無いと判定した場合にはステップＳ１０４の処理に進む。
（ステップＳ１０３）ＣＰＵ／ＤＳＰコントローラ２４１は、接続回路Ａ ｔｏ Ｂの替わりに接続回路ＩＮ ｔｏ ＢがＦＰＧＡ２４に構成されるようにコンフィグレーションデータ選択回路２４２を制御する。コンフィグレーションデータ選択回路２４２は、ＲＯＭ２６が記憶するコンフィグレーションデータのうち接続回路ＩＮ ｔｏ Ｂのコンフィグレーションデータを選択し、ＦＰＧＡ２４に読み込ませる。これにより、ＦＰＧＡ２４に接続回路ＩＮ ｔｏ Ｂが構成され、機能回路Ａを回避する再コンフィグレーションが完了する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１０４）故障検知回路は、機能回路Ｂの故障検知を行い、機能回路Ｂに異常があるか否かを判定する。故障検知回路が、機能回路Ｂに異常があると判定した場合にはステップＳ１０５の処理に進み、機能回路Ｂに異常が無いと判定した場合にはステップＳ１０６の処理に進む。
（ステップＳ１０５）ＣＰＵ／ＤＳＰコントローラ２４１は、接続回路Ｂ ｔｏ Ｃの替わりに接続回路Ａ ｔｏ ＣがＦＰＧＡ２４に構成されるようにコンフィグレーションデータ選択回路２４２を制御する。コンフィグレーションデータ選択回路２４２は、ＲＯＭ２６が記憶するコンフィグレーションデータのうち接続回路Ａ ｔｏ Ｃのコンフィグレーションデータを選択し、ＦＰＧＡ２４に読み込ませる。これにより、ＦＰＧＡ２４に接続回路Ａ ｔｏ Ｃが構成され、機能回路Ｂを回避する再コンフィグレーションが完了する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１０６）故障検知回路は、機能回路Ｃの故障検知を行い、機能回路Ｃに異常があるか否かを判定する。故障検知回路が、機能回路Ｃに異常があると判定した場合にはステップＳ１０７の処理に進み、機能回路Ｂに異常が無いと判定した場合にはステップＳ１０８の処理に進む。
（ステップＳ１０７）ＣＰＵ／ＤＳＰコントローラ２４１は、接続回路Ｃ ｔｏ Ｄの替わりに接続回路Ｂ ｔｏ ＤがＦＰＧＡ２４に構成されるようにコンフィグレーションデータ選択回路２４２を制御する。コンフィグレーションデータ選択回路２４２は、ＲＯＭ２６が記憶するコンフィグレーションデータのうち接続回路Ｂ ｔｏ Ｄのコンフィグレーションデータを選択し、ＦＰＧＡ２４に読み込ませる。これにより、ＦＰＧＡ２４に接続回路Ｂ ｔｏ Ｄが構成され、機能回路Ｃを回避する再コンフィグレーションが完了する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１０８）故障検知回路は、機能回路Ｄの故障検知を行い、機能回路Ｄに異常があるか否かを判定する。故障検知回路が、機能回路Ｄに異常があると判定した場合にはステップＳ１０９の処理に進み、機能回路Ｄに異常が無いと判定した場合にはステップＳ１１２の処理に進む。
（ステップＳ１０９）ＣＰＵ／ＤＳＰコントローラ２４１は、接続回路Ｄ ｔｏ ＯＵＴの替わりに接続回路Ｃ ｔｏ ＯＵＴがＦＰＧＡ２４に構成されるようにコンフィグレーションデータ選択回路２４２を制御する。コンフィグレーションデータ選択回路２４２は、ＲＯＭ２６が記憶するコンフィグレーションデータのうち接続回路Ｄ ｔｏ ＯＵＴのコンフィグレーションデータを選択し、ＦＰＧＡ２４に読み込ませる。これにより、ＦＰＧＡ２４に接続回路Ｄ ｔｏ ＯＵＴが構成され、機能回路Ｄを回避する再コンフィグレーションが完了する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１１０）ＣＰＵ／ＤＳＰコントローラ２４１は、ＦＰＧＡ２４に詳細検査回路が構成されるようにコンフィグレーションデータ選択回路２４２を制御する。コンフィグレーションデータ選択回路２４２は、ＲＯＭ２６が記憶するコンフィグレーションデータのうち詳細検査回路のコンフィグレーションを選択し、ＦＰＧＡ２４に読み込ませる。これにより、ＦＰＧＡ２４に詳細検査回路が構成される。その後、ステップＳ１１１の処理に進む。
（ステップＳ１１１）ステップＳ１１０でＦＰＧＡ２４に構成された詳細検査回路は、故障検知回路が故障を検知した機能回路の詳細検査を開始する。その後、ステップＳ１０２の処理に戻る。
（ステップＳ１１２）故障検査の検知フローを終了する。

なお、ＦＰＧＡ２４に構成されている故障検知回路による検知動作は、起動時や外部機器の接続変更時、および、通常動作時、例えば、垂直同期信号や水平同期信号に同期して処理を行ってもよい。また、簡易的な故障の検知を行う故障検知回路を常駐させるのではなく、動作モードに応じて必要のない機能回路を特定する不必要回路特定部を持つことにより、動作モードの変更に伴って常時不必要回路を削除し、詳細検査回路を配置する事で、詳細検査回路を保持させ続けてもかまわない。

さらに、故障が検知された機能回路を回避（バイパス）した後、故障が検知された機能回路のみを再コンフィグレーションし、その後に、この機能回路のみの故障検出を再度実施して、正常であると確認された場合には、再びバイパス回路を削除して、再コンフィグレーションされた機能回路への入出力配線も再コンフィグレーションする事で故障の完全修復を実現する事も可能になる。勿論、故障が検出された機能回路のみを再コンフィグレーションしても正常動作しない場合には、バイパス回路を維持した状態で、ユーザへ故障である旨を報知すれば良い。このように構成する事により、故障による影響を最小限に留める事ができる。

上述した第１の実施形態および第２の実施形態のとおり、コンフィグレーションデータは、個々の画像処理を実現する機能回路と、機能回路の間を接続する接続回路とに分離して記憶されているため、故障検知回路により個々の機能回路の動作を解析し、故障が検出された場合に修復に必要な部分のみを削除したり追加する事ができる。

これにより、故障時に書き換えるコンフィグレーションデータを必要最小限にする事が可能になり、コンフィグレーションデータを保持するメモリ容量の削減と、コンフィグレーション実行時間の短縮ができる。

また、ＣＰＵ／ＤＳＰコントローラ２４１は、実行中の動作モードにおいて必要が無い機能回路を特定し、この部分を除去して空いたスペースに故障検知回路を配置するようにＦＰＧＡ２４を再コンフィグレーションする。また、ＣＰＵ／ＤＳＰコントローラ２４１は、実行中の動作モードが変わり、必要が無い機能回路が変更になれば、必要のない機能回路の替わりに故障検知回路が再配置されるようにＦＰＧＡ２４を再コンフィグレーションする。

これにより、ＦＰＧＡ２４には、実行中の動作モードにおいて必要が無い機能回路の替わりに故障検知回路が配置されるため、ＦＰＧＡ２４の回路規模を最低限に抑える事が可能になる。

また、ＣＰＵ／ＤＳＰコントローラ２４１は、故障検知回路によって故障が特定された機能回路に信号を入出力する接続回路を削除すると共に、故障が特定された機能回路の入出力を直結する接続回路を追加するようにＦＰＧＡ２４を再コンフィグレーションする。これにより、故障した機能回路で実現される画像処理のみが未実施の状態となるが、故障により信号が通過しなくなった機能回路をバイパスする事ができるため、信号を後段に伝える事が可能になり、モニタへの映像出力を復帰させる事ができる。

また、故障した機能回路がフォーマット変換を実行する回路であった場合、前段と後段の信号のフォーマットは異なる。この場合、ＣＰＵ／ＤＳＰコントローラ２４１は、故障した機能回路をバイパスする際にフォーマット変換を行うフォーマット変換回路を新たに追加し、フォーマット変換回路を挟むように接続回路が構成されるようにＦＰＧＡ２４を再コンフィグレーションする。これにより、バイパスする機能回路の前後でのフォーマットの齟齬が無くなり、後段の機能回路にて通常どおりの処理を施すことができる。

また、ＣＰＵ／ＤＳＰコントローラ２４１は、動作モードに応じて、動作に必要が無い機能回路を削除して空いたスペースに故障検知回路を追加する。これにより、ＦＰＧＡ２４の規模を動作に必要な最小限の回路規模に納めつつ、詳細な故障解析機能を実現する事ができる。

また、機能回路の故障が検出された場合、ＣＰＵ／ＤＳＰコントローラ２４１は、ただちにバイパス回路を構築して画像出力を確保すると共に、故障した機能回路を再コンフィグレーションし、機能回路が正常になったら再度元の配線に戻す事で完全修復を実現する。これにより、故障による画像停止を最小限に抑え、完全修復できる可能性も高まる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、第１の実施形態および第２の実施形態では、電子内視鏡装置１にビデオプロセッサ３（画像処理装置）を用いた場合の例について説明したが、光源や画像記録装置に本発明の画像処理装置を適用することもできる。

１・・・電子内視鏡装置、２・・・電子内視鏡、３・・・ビデオプロセッサ、４・・・モニタ、２１・・・光量制御回路、２２・・・撮像制御回路、２３・・・画像形成回路、２４・・・ＦＰＧＡ、２５・・・後段処理回路、２６・・・ＲＯＭ、２４１・・・ＣＰＵ／ＤＳＰコントローラ、２４２・・・コンフィグレーションデータ選択回路、２４３〜２４６・・・画像処理回路、２４７・・・故障検知回路

Claims (6)

1. 半導体メモリに格納したコンフィグレーションデータにより、複数の画像処理を実現するように設計された再構成可能な集積回路
   を備え、
   前記コンフィグレーションデータは、個々の画像処理を実現する機能回路を構成するためのデータと、前記機能回路間を接続する接続回路を構成するためのデータとに分離して記憶されており、
   さらに前記機能回路の動作を解析して当該機能回路の故障の有無を判定する故障検知回路を備える
   ことを特徴とする画像処理装置。
2. 現在実行中の動作モードにおいて必要の無い前記機能回路を特定する不必要回路特定部と、
   前記集積回路から前記不必要回路特定部が特定した前記機能回路を削除し、前記集積回路に前記故障検知回路を追加するようにコンフィグレーションを実施する制御部と、
   を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記故障検知回路が前記機能回路を故障と判定した場合、当該機能回路に信号を入力する接続回路と、当該機能回路が信号を出力する接続回路とを切り離すと共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号を、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する接続回路を追加するようにコンフィグレーションを実施する制御部
   を備えたことを特徴とする請求項１に記載の画像処理装置。
4. 前記制御部は、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号の形式と、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路の入力信号の形式とが異なっている場合、前記出力信号を前記入力信号の形式に変換して出力するフォーマット変換回路を追加すると共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の前記出力信号を前記フォーマット変換回路に入力する前記接続回路と、前記フォーマット変換回路の出力信号を前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する前記接続回路とを追加するようにコンフィグレーションを行う
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記不必要回路特定部は、前記動作モードが変更される毎に、変更後の前記動作モードにおいて必要の無い前記機能回路を特定し、
   前記制御部は、前記不必要回路特定部が必要の無い前記機能回路を特定した場合、前記集積回路から前記不必要回路特定部が特定した前記機能回路を削除し、前記集積回路に前記故障検知回路を追加するようにコンフィグレーションを実施する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記制御部は、前記故障検知回路が前記機能回路を故障と判定した場合、当該機能回路に信号を入力する接続回路と、当該機能回路が信号を出力する接続回路とを削除すると共に、前記故障検知回路が故障と判定した前記機能回路の前段の前記機能回路の出力信号を、前記故障検知回路が故障と判定した前記機能回路の後段の前記機能回路に入力する接続回路を追加するようにコンフィグレーションを実施し、その後に前記故障検知回路が故障と判定した前記機能回路の再コンフィグレーションを実施し、
   前記故障検知回路は、前記機能回路の再コンフィグレーションが完了した後に再度前記機能回路の動作を解析して当該機能回路の故障の有無を判定し、
   前記制御部は、前記故障検知回路が、再コンフィグレーションされた前記機能回路を正常と判定した場合、追加した前記接続回路を削除すると共に、当該機能回路に信号を入力する前記接続回路と、当該機能回路が信号を出力する前記接続回路とを追加するコンフィグレーションを行う
   ことを特徴とする請求項５に記載の画像処理装置。

Images