JP2008229226A - 画像処理装置 - Google Patents

Abstract

【課題】動画像の撮影中にリアルタイムで画像処理を施す際に、極めて短時間で画像処理に適したパラメータを選択し、このパラメータに基づき画像処理を施された動画像を表示することのできる画像処理装置を提供することを目的とする。
【解決手段】入力画像に対して画像処理を行う処理演算部と、処理演算部とは独立して、パラメータの算出および適用パラメータの変更指示を行うパラメータ決定部と、画像処理に適用するパラメータを複数記憶するためのパラメータ保持手段と、画像処理に適用するパラメータを、パラメータ保持手段に記憶されたパラメータの間で切り替えていくパラメータ変更手段とを有する画像処理装置により、上記課題を解決する。
【選択図】図１

Description

本発明は、画像処理装置に関し、詳しくは、医療用、すなわち医療診断用に撮影された画像、特に動画像に対して、画像の撮影中にリアルタイムで画像処理を施して画像処理済画像を出力する、例えば、表示のために出力する画像処理装置に関する。

近年、医療において、Ｘ線などによる画像撮影装置により撮影された医療用画像を用いた診断が行われている。このような医療用画像には、診断に適した画像を得るために、種々の画像処理が実施されている。中でも、動画像に対しては、精度の高い画像処理を高速に行う必要があり、様々な工夫がなされている。このように、主に、医療用画像処理をリアルタイムで、高速に実施する従来技術として、以下に示す医療用画像処理のリアルタイム処理のためのアルゴリズムに関する技術（特許文献１および２参照）や、システム構成としての技術（特許文献３参照）が存在する。

一例として、特許文献１には、Ｘ線透視撮影装置において、被検体の胎動によるブレの影響を抑えつつ画像処理を行って画質の改善を図る方法が開示されている。特許文献１では、Ｘ線透視撮影装置によって撮影された画像（Ｘ線動画像）を複数フレーム分、フレームメモリに保存して、それらを基準画像のイメージデータと位置合わせして、ずれが基準値を超えない範囲で画像を合成することにより、画像中のノイズ、特にランダムノイズを低減する処理が行われている。特許文献１では、対象の構造物座標に着目して、フレームメモリに保存された撮影画像を基準画像のイメージデータと位置合わせすることにより、残像が残らない工夫がなされている。

また、特許文献２には、読み取った放射線画像に対する画像処理を高速に実行する画像処理装置が開示されている。特許文献２では、画像を複数のブロックに分割して並列読み出しを実施し、ブロックデータから、原画像の特徴を有していると共に画素数の削減された縮小画像を生成する。そして、この縮小画像に基づき画像処理条件を設定して画像処理を行う。すなわち、特許文献２では、このように、縮小画像からパラメータを算出することにより、高速な画像処理を実施することができる。

さらに、特許文献３には、検査部位ごとに透視画像処理パラメータを変更する手間がかからず、良好な透視画像を得ることができる透視撮影画像処理装置が開示されている。特許文献３では、種々の撮影術式に応じたパラメータを予めメモリに記憶しておき、その中から、被検体の検査部位に適したパラメータを用いて、すなわち、Ｘ線源の制御部から線量に応じたパラメータを適用して、画像処理を実施する。この特許文献３で行われる処理は、特許文献１および２で行われる処理と異なり、様々な画像処理にも対応しており、リアルタイムで適当なパラメータを設定することが可能である。

特開平０９−０５６７０７号公報 特開２０００−０４１９７４号公報 特開２００３−１１０９３７号公報

ところで、このような撮影画像に対する画像処理は、主に診断中に行われるため、処理を高速に行うことはもちろん、大規模な処理や高精度な処理、多様な種類の処理などの実現が求められる。また、大規模かつ多様な画像処理を行うためには、処理のアルゴリズムや処理に用いるパラメータが増大することが考えられる。

しかしながら、特許文献１では、画像処理を行う際に複数フレーム分の画像を保存する必要があるため、複数フレーム分だけメモリを確保しなければならず、そのため、フレームメモリの容量が大きくなってしまうという問題がある。また、複数フレームの画像の合成によるノイズ低減処理は、例えば静止画像などに対して適用されているノイズ低減処理に比べて効果が低いという問題がある。さらに、特許文献１に開示の技術は、ノイズ低減処理以外の画像処理には対応していないという問題がある。
また、特許文献２では、パラメータの算出に縮小画像を使用するため、画像中の対象物に対する輪郭処理や、輪郭を除いたノイズ低減処理などを実施した場合に、処理の精度が低下するという問題がある。

特許文献３は、多種の画像処理に対応することができるが、パラメータ量が膨大になるのに伴い、パラメータの記憶に必要なメモリの容量も膨大になるし、また、パラメータ量が膨大になると、リアルタイムに設定することが不可能となるという問題がある。また、同一の撮影部位において様々な処理パラメータを用いたい場合や、撮影部位によっては同一の線量でも様々な処理パラメータを変化させる必要がある場合や、また、診断によっては、画像の表示に、イレギュラーなパラメータが必要となる場合に、対応が困難であり、
リアルタイムでの対応が不可能となることがあるという問題がある。また、パラメータ量が膨大になったときにも、リアルタイムに設定することが不可能となる。

本発明の第１の目的は、上記の問題を解決し、画像、特に動画像の撮影中にリアルタイムで画像処理を施す際に、極めて短時間で画像処理に適したパラメータを選択し、このパラメータに基づき画像処理を施された画像、特に動画像を出力する、例えば、表示のために出力することのできる画像処理装置を提供することにある。
また、本発明の第２の目的は、上記目的に加え、動画像に対し、静止画像に対して実施する画像処理と同様のレベルの、大量のパラメータを用いた大規模な画像処理を、メモリの容量を増大させることなく高精度で行うことのできる画像処理装置を提供することにある。

上記課題を解決するために、本発明は、画像に対して１以上の画像処理を施す画像処理装置であって、外部からの入力情報に基づき、前記１以上の画像処理の各々に用いるパラメータを決定するためのソフトウェアで構成されるパラメータ決定部と、前記パラメータ決定部において決定されたパラメータを用いて、前記画像に対して前記１以上の画像処理をそれぞれ実施するためのハードウェアで構成される、１以上の画像処理手段を備える画像処理演算部とを有し、前記画像処理演算部は、各画像処理手段に対して、２以上の前記パラメータを一時的に記憶して保持するパラメータ保持手段と、前記パラメータ保持手段に記憶された前記２以上のパラメータのうちの１つを選択し、当該画像処理に適用するパラメータ選択手段とをそれぞれ有し、各画像処理手段は、前記パラメータ保持手段によって保持された前記２以上のパラメータのうちから前記パラメータ選択手段によって選択された１つのパラメータを前記画像処理に適用して前記画像を画像処理演算することによって得られた第１の画像処理済画像を出力中に、任意のタイミングで前記パラメータ選択手段によって他の１つのパラメータを選択し、選択された他の１つのパラメータを前記画像処理に適用して、前記画像を画像処理演算することによって得られた第２の画像処理済画像を出力することを特徴とする画像処理装置を提供する。

このような本発明においては、前記パラメータ決定部は、フロントエンドにおいて、前記画像処理演算部が各画像処理手段において前記１つのパラメータを前記画像処理に適用して前記画像を画像処理演算している間に、バックエンドにおいて、外部からの入力情報に基づいて前記画像処理に用いるパラメータをソフトウェアで演算し、決定することが好ましい。

また、前記画像は、動画像であり、前記第１および第２の画像処理済画像の出力は、表示デバイスへの表示であり、前記画像処理演算部は、少なくとも１フレーム分の前記画像のデータを記憶する記憶手段を有し、前記他方のパラメータは、前記画像の１フレーム分の表示出力時間内に適用され、前記他方のパラメータに基づき前記画像処理が施された前記画像は、1フレーム分の時間遅延して表示出力されることが好ましい。

さらに、前記画像処理演算部は、外部制御信号を元に、前記画像処理に対するフレーム開始信号を生成し、前記パラメータ選択手段は、前記フレーム開始信号が生成されるタイミングに基づいて前記パラメータを選択し、選択されたパラメータを適用することが好ましく、前記画像処理演算部は、前記画像処理に要する演算時間に基づいて、前記フレーム開始信号の生成のタイミングを遅延させることが好ましい。

また、前記画像処理は、グリッド除去処理、ガウシアンピラミッド画像構成処理、ラプラシアンピラミッド画像構成処理、ノイズ低減処理、ダイナミックレンジ圧縮処理、および、マルチ周波数強調処理のうち１以上の処理であることが好ましい。

さらに、前記パラメータ決定部は、前記２以上のパラメータのうちの隣り合う２つのパラメータに加えて、前記２つのパラメータの中間値、あるいは、中間に相当する２種類以上のパラメータを決定することが好ましい。

本発明によれば、上記構成により、画像、特に動画像の撮影中にリアルタイムで画像処理を施す際に、画像処理に用いるパラメータの変更を短時間で行うことができる。
また、このような画像処理装置においては、動画像に対して、静止画像に対する処理と同様のレベルの大量のパラメータを用いた大規模な画像処理を、メモリの容量を増大させることなく高精度で行うことができる。
したがって、診断者が、撮影された画像、特に動画像を見ながら被検体を診断中に、撮影部位の中から患部などの指定の部位を拡大して表示させたり、画像に応じた画像処理を施して、診断者が診断し易いような所望の画質で画像を表示させるなど、画像処理の内容や画像サイズの変更をリアルタイムで行うことができる。これにより、診断者が診断しやすいような、診断者にとって最適な画像を、極めて短時間で表示することができる。つまり、診断者がパラメータを切り替えて試行錯誤しながら、短時間で最適なパラメータを決定することができる。
さらに、各画像処理について、それぞれ独立してパラメータの適用を行うことができる。
また、診断者は、幅広い撮影部位の中から患部である指定箇所をトリミングして、さらに、トリミングされた箇所に対する最適なパラメータやダイナミックレンジ圧縮などを短時間で決定することができる。
さらに、このような本発明の画像処理装置においては、画像処理の精度を向上させることにより、動画像に対しても、静止画像に匹敵する高精度なノイズ低減処理を行うことができる。このため、Ｘ線照射による患部の撮影時のＸ線量を低くすることができ、被検体への負担を低減することができる。

以下に、本発明に係る画像処理装置について、添付の図面に示す好適実施形態に基づいて詳細に説明する。
図１は、Ｘ線動画像撮影システムに適用される、本発明に係る画像処理装置の一実施形態のブロック図である。
本発明の画像処理装置を備えるＸ線動画像撮影システムは、Ｘ線照射により被検体を撮影して、撮影された動画像をモニタなどの表示手段に表示するものであり、パーソナルコンピュータ（ＰＣ）などにより制御されるものである。また、本発明の画像処理装置は、現在出力、例えば表示されている画像、特に動画像を、リアルタイムで、異なる画像処理パラメータを適用した画像処理済画像に切り換えて出力（表示出力）するものであれば、Ｘ線動画像撮影システムに限らず、如何なる画像システムにも適用可能なものであり、もちろん、どのようなＸ線動画像撮影システムにも適用可能なものであるので、Ｘ線動画像撮影システムの基本的な構成、例えばＸ線源やＸ線検出デバイスの主要部などの図示および説明については省略し、ここでは、本発明に係る画像処理装置の構成についてのみ図示し、かつ説明する。

図１は、Ｘ線動画像撮影システム中の画像処理装置として実施した本発明の画像処理装置の一実施例のハードウェア構成を示す構成ブロック図である。
同図に示す画像処理装置１０は、Ｘ線動画像撮影システムを制御する図示しない制御装置、例えばＰＣ等に搭載されるハードウェア、例えば、着脱可能なＰＣＩバス（ペリフェラルコンポーネントインターコネクトバス）準拠のボードに実装された電気回路、好ましくは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの集積化されたロジック回路として構成され、所要の画像処理を実行する画像処理演算部１２と、Ｘ線動画像撮影システムの制御装置、例えばＰＣ等のＣＰＵ（中央処理装置）２０で実行されるソフトウェアとして構成され、画像処理演算部１２に適用する画像処理パラメータを算出し、決定するパラメータ決定工程を実行する機能を持つパラメータ決定部とを備える。
画像処理装置１０では、ハードウェアで構成される画像処理演算部１２における画像処理演算と、ソフトウェアとして構成され、ＣＰＵ２０で実行される、画像処理演算部１２において行う画像処理に必要なパラメータの算出などとは、互いに独立してそれぞれの処理を行うことができる。例えば、画像処理装置１０で、フロントエンドとして、画像処理演算部１２において、ハードウェアの処理として画像処理が実行されている間に、バックエンドにおいて、外部からの入力情報に基づいて、画像処理演算部１２で実行される画像処理に用いるパラメータをソフトウェアで演算し、決定することができる。

図示例の画像処理演算部１２は、個々に異なる所要の画像処理を実行するＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎと、画像処理を施す対象となる所要の、好ましくは、１〜数フレームの画像を記憶するメモリ１６とを有する。
ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎは、画像処理演算部１２において、それぞれ個々に異なる複数の画像処理を行うもので、それぞれ画像処理演算部１２内に実装された電気回路であり、対象画像に各々異なる画像処理を施す画像処理手段１８_１〜１８_ｎとして機能する。本実施形態においては、好ましい態様として、画像処理演算部１２の画像処理手段１８_１〜１８_ｎを、それぞれ、ＦＰＧＡ、すなわちＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎにより実現している。しかし、本発明はこれに限定されず、高速動作が可能な集積化されたロジック回路であれば、各種の電気回路や電子回路を用いることができる。
ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎは、同一の仕様による入出力ポートを有している。また、ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎと、上述のソフトウェアを実行するためのＣＰＵ２０とは、ＣＰＵバス２２などの伝送路により接続されている。

メモリ１６は、外部から入力された入力画像（原画像）、およびＦＰＧＡ１４_１において生成された処理済画像を一時的に記憶するものである。本実施形態においては、メモリ１６は、動画像中の１フレーム分の原画像、および処理済画像を記憶できるだけの容量を有している。メモリ１６は、データレートの速いダブルデータレートモード（例えば、ＤＤＲ２）などのＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）などの高速読み出し／書き込み可能なメモリにより構成することが好ましい。

また、ＦＰＧＡ１４_１は、メモリ１６との間のアクセスを行うためのメモリインターフェース２４を有しており、このメモリインターフェース２４を介して、メモリ１６に記憶されている１フレーム分の原画像を読み出し、画像処理手段１８_１による所定の画像処理を施した後、１フレーム分の処理済画像をメモリ１６に書き込む。ＦＰＧＡ１４_１のメモリインターフェース２４を介して、ＦＰＧＡ１４_２〜ＦＰＧＡ１４_ｎの各々、例えばＦＰＧＡ１４_ｉ（ｉ＝２〜ｎ）は、必要に応じて、メモリ１６に記憶されている前段のＦＰＧＡ１４_ｉ−１（ｉ＝２〜ｎ）の１フレーム分の処理済画像の読み出し、および当段のＦＰＧＡ１４_ｉ（ｉ＝２〜ｎ）の画像処理手段１８_ｉ（ｉ＝２〜ｎ）による所定の画像処理を施した１フレーム分の処理済画像の書き込みを行うことができる。
これにより、ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎにおいて、原画像および各段のＦＰＧＡ１４_ｉ（ｉ＝２〜ｎ）の処理済画像を用い、各段のＦＰＧＡ１４_ｉ（ｉ＝２〜ｎ）の画像処理手段１８_ｉ（ｉ＝２〜ｎ）による画像処理を行うことができる。

なお、ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎの各段におけるメモリ１６からの画像の読み出しは、メモリ１６に記憶されている原画像や前段のＦＰＧＡの処理済画像の読み出しに限定されず、また、メモリ１６への画像の書き込みは、当段のＦＰＧＡによる画像処理が完了した処理済画像の書き込みに限定されず、各ＦＰＧＡによる画像処理の種々の処理段階で行っても良い。すなわち、ＦＰＧＡ１４_ｉの画像処理手段１８_ｉによる画像処理演算が複数の演算処理から構成されている場合、ＦＰＧＡ１４_ｉ内において、１つまたはいくつかの演算処理が終了する毎に、演算処理済画像をメモリインターフェース２４を介して、メモリ１６に書き込み、次の演算処理を開始する前に、この書き込まれた演算処理済画像をメモリ１６から読み出し、次の１つまたはいくつかの演算処理を行い、演算処理済画像をメモリインターフェース２４を介して、メモリ１６に書き込むことを繰り返すようにしても良い。

図２は、本発明の画像処理装置における機能ごとの構成を示すブロック図であり、図１に示す画像処理装置１０を画像処理機能として具体的に示す機能ブロック図である。

図２に示す画像処理装置３０は、本発明に係る画像処理装置であり、複数の画像処理を実施することができる。画像処理装置３０は、パラメータ決定部３２および処理演算部３４（画像処理演算部）を有している。
また、処理演算部３４は、図１のハードウェアで構成される画像処理演算部１２に該当するものであり、パラメータ決定部３２は、上述したように、画像処理演算部１２が搭載されているＰＣのＣＰＵ２０において実行されるソフトウェアで構成されるものである。パラメータ決定部３２と処理演算部３４とは、互いに独立してそれぞれの処理を行うことができる。すなわち、処理演算部３４が、フロントエンドにおいて、１つのパラメータを用いて画像処理している間に、パラメータ決定部３２は、バックエンドにおいて、外部からの入力情報に基づいてこの画像処理に用いるパラメータをソフトウェアで演算し、決定することができる。

図２において、パラメータ決定部３２は、複数の画像処理に用いるパラメータの演算を行うものである。パラメータ決定部３２は、外部から、Ｘ線量などの撮影条件や実施する画像処理の強度などの画像処理条件を外部入力情報として受け取り、この外部入力情報に基づき、各画像処理に必要なパラメータを算出する。パラメータの算出は、画像処理の種類ごとに行われ、算出されたパラメータは、処理演算部３４に送られる。なお、パラメータ決定部３２は、１つの処理について２以上のパラメータを算出してもよい。
パラメータ決定部３２は、さらに、算出されたパラメータの中から、各画像処理に適用するパラメータを決定して、処理演算部３４に、パラメータの適用の指示を送る。

処理演算部３４は、パラメータ決定部３２から受け取ったパラメータに基づき、撮影された動画像に画像処理を施すものである。処理演算部３４は、外部から入力された動画像を入力画像として受け取る。また、パラメータ決定部３２から受け取ったパラメータを記憶し、パラメータ決定部３２からの指示に基づき、パラメータを適用して、入力画像に各種の画像処理を施して、出力画像とする。

処理演算部３４は、入力画像に画像処理を行うための、グリッド除去手段３６、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、および、マルチ周波数強調手段４４などの各画像処理手段を有している。
なお、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、および、マルチ周波数強調手段４４は、図１に示すように、ＦＰＧＡ（例えば、ＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎ）によって構成される画像処理手段１８_１〜画像処理手段１８_ｎに相当する。
処理演算部３４では、これらの各画像処理手段により、入力画像に各種の画像処理が施される。なお、処理演算部３４の各画像処理手段、すなわち、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、および、マルチ周波数強調手段４４における各画像処理は、パイプライン処理で行われるのが好ましい。

グリッド除去手段３６は、Ｘ線による動画像撮影時に、被検体中を透過する入射Ｘ線とは無関係な方向に放射する散乱Ｘ線に起因して画像上に生じる線を除去して、画質の改善を図るためのグリッド除去処理を行うものである。グリッド除去手段３６は、外部から入力された入力画像に対し、グリッド除去処理を行い、処理後の動画像（以下、原画像という）を画像再構成手段３８に送信する。
本発明においては、グリッド除去処理の方法には特に限定はなく、公知の各種の方法により行えばよい。
なお、本実施形態においては、グリッド除去手段３６は、図１の画像処理演算部１２を構成するＦＰＧＡ１４_１〜ＦＰＧＡ１４_ｎとは別の、図示しないハードウェアで構成されているものであるが、ＦＰＧＡなどの電気回路で構成されていても良いことはもちろんである。

画像再構成手段３８は、グリッド除去手段３６から送信、または伝送された原画像に対して、ガウシアンピラミッド画像構成処理と、ラプラシアンピラミッド画像構成処理とを施すことにより、原画像中の、周波数帯域に応じたコントラストが強調された画像信号を得、画像の再構成処理を行うものである。このような画像再構成処理は、公知の各種の方法により行えばよい。

例えば、ガウシアンピラミッド画像構成処理は、グリッド除去手段３６から送信された原画像に対して、ガウス関数で近似されたようなマスクによりマスク処理を施した後、原画像をサブサンプリングして画素数を間引いて半分にすることにより、原画像の１／４のサイズのボケ画像を得る。そして、このボケ画像のサンプリングされた画素に値が０の画素を補間して、元の大きさの画像に戻し、この画像に対して再度マスク処理を施してボケ画像を得、このボケ画像を原画像から減算して、原画像の周波数帯域毎の周波数応答特性を表す帯域制限画像信号を得る。この処理を得られたボケ画像に対して繰り返すことにより、原画像の１／２^2Nのサイズを有する帯域制限画像信号をＮ個作成する。
また、ラプラシアンピラミッド画像構成処理は、ガウシアンピラミッド画像構成処理により生成された各周波数帯域ごとの帯域制限画像信号を非線形関数により変換し、変換後の帯域制限画像信号を最低周波数帯域のボケ画像を表すボケ画像信号と共に再構成するものである。
ガウシアンピラミッド画像構成処理とラプラシアンピラミッド画像構成処理とによる画像再構成処理は、特開平５−２４４５０８号、特開平６−９６２００号、特開平６−３０１７６６号、特開２００１−１６７２６１号等に記載されているものを用いることができる。

ガウシアンピラミッド画像構成処理により得られた各周波数帯域ごとの帯域制限画像信号、および、ラプラシアンピラミッド画像構成処理において帯域制限画像信号に基づき再構成された画像（以下、再構成画像という）は、画像再構成手段３８において一時的にメモリ１６（図１参照）に記憶される。なお、メモリ１６へ記憶されるデータは、１フレーム分の動画像に対応する帯域制限画像信号および再構成画像であり、新たに１フレーム分の動画像が送信され、画像再構成処理が行われると、随時更新される。また、メモリ１６には、帯域制限画像信号および再構成画像に対応する、１フレーム分の原画像も記憶される。
以降のノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、およびマルチ周波数強調手段４４において、動画像に対して各周波数帯域毎に異なる画像処理を施す場合には、上述したように、必要に応じて、メモリ１６に記憶された原画像、帯域制限画像信号、または再構成画像が読み出され、利用される。
なお、図示例においては、ガウシアンピラミッド画像構成処理、およびラプラシアンピラミッド画像構成処理を、画像再構成手段３８において行っているが、本発明はこれに限定されず、ガウシアンピラミッド画像構成処理、およびラプラシアンピラミッド画像構成処理を、それぞれ別の画像処理手段によって行っても良い。

画像再構成手段３８において画像再構成処理が施された動画像は、ノイズ低減手段４０またはダイナミックレンジ圧縮手段４２に送信される。つまり、ノイズ低減手段４０における処理は、画像処理装置３０において必須のものではなく、必要に応じて行えば良い処理であるので、処理演算部３４において、ノイズ低減処理が必要ないと判断された場合には、画像再構成手段３８において処理された動画像は、ダイナミックレンジ圧縮手段４２に直接送信される。

ノイズ低減手段４０は、画像再構成手段３８から送信された動画像に対して、Ｘ線量が少なく濃度が低い部分において発生するＸ線の量子ノイズを低減する処理を行うものである。ノイズ低減処理は、公知の各種の方法により行えばよい。例えば、画像再構成手段３８において得られた各周波数帯域毎の帯域制限画像信号について局所分散値を算出し、この局所分散値の大きさに応じて帯域制限画像信号に対してノイズ成分を除去する処理を行う。また、その後、帯域制限画像信号を最低周波数帯域のボケ画像を表すボケ画像信号とともに再構成することにより、画像中の周波数帯域に応じたノイズ成分が低減された動画像を得ることができる。
ノイズ低減処理の方法については、特開平６−９６２００号、特開２００１−１６７２６１号などに記載されている。
ノイズ低減手段４０において処理された動画像は、ダイナミックレンジ圧縮手段４２に送信される。

ダイナミックレンジ圧縮手段４２は、画像再構成手段３８またはノイズ低減手段４０から送信された動画像に対して、ダイナミックレンジ圧縮処理を行うものである。ダイナミックレンジ圧縮処理は、公知の各種の方法により行えばよい。例えば、複数の帯域制限画像信号を作成し、この帯域制限画像信号に基づいて原画像信号の低周波成分に関する信号（低周波成分信号）を得、原画像信号にこの低周波成分に関する信号を加算することによりダイナミックレンジ圧縮処理を行う。
ダイナミックレンジ圧縮処理の方法については、特開平１０−７５３９５号、特開平１０−７５３６４号、特開２００１−１６７２６１号などに記載されているものを用いることができる。
ダイナミックレンジ圧縮手段４２において処理された動画像は、マルチ周波数強調手段４４に送信される。

マルチ周波数強調手段４４は、ダイナミックレンジ圧縮手段４２から送信された動画像に対して、マルチ周波数強調処理を行うものである。
マルチ周波数強調処理は、原画像信号からボケ画像信号を引いたものに強調係数を乗じたものを、原画像信号に加算することにより、原画像信号の所定の空間周波数成分を強調するものであり、公知の各種の方法により行えばよい。
このようなマルチ周波数強調処理の方法については、特開２００１−１６７２６１号などに記載されているものを用いることができる。
マルチ周波数強調手段４４において処理された動画像は、出力画像、例えば、表示出力画像として、外部に出力される。

また、処理演算部３４は、上述した処理手段の他にも、必要に応じて、例えば、画像サイズの変更やトリミングなどの、各種の処理を実行する手段を有していてもよい。

処理演算部３４は、さらに、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、および、マルチ周波数強調手段４４に対応して、パラメータ保持手段４６ａ〜４６ｄおよびパラメータ選択手段４８ａ〜４８ｄを、各手段につき１つずつ有している。各パラメータ保持手段４６ａ〜４６ｄおよびパラメータ選択手段４８ａ〜４８ｄは、それぞれ同一の構成を有するものである。
パラメータ保持手段４６ａ〜４６ｄは、図１の画像処理演算部１２において図示されていないが、レジスタやＲＡＭなどの記憶手段で構成され、それぞれ固有のアドレスに割り当てられている。パラメータ選択手段４８ａ〜４８ｄも、図１の画像処理演算部１２において図示されていないが、セレクタで構成されている。
以下、画像再構成手段３８に対応するパラメータ保持手段４６ａおよびパラメータ選択手段４８ａを例にとって、パラメータ保持手段およびパラメータ選択手段の構成について詳述する。

パラメータ保持手段４６ａは、パラメータ決定部３２から送信されたパラメータを受け取り、一時的に記憶するものである。つまり、パラメータ決定部３２から、パラメータ保持手段４６ａに固有のアドレスの指定と書き込み命令を行うことにより、パラメータ保持手段４６ａは、パラメータを書き込む。パラメータ保持手段４６ａは、Ａ面５０ａとＢ面５２ａとを有しており、これらに１つずつパラメータを記憶することにより、１つの画像処理に対して２種類のパラメータを同時に保持することが可能である。
パラメータ選択手段４８ａは、パラメータ決定部３２からの指示に従い、パラメータ保持手段４６ａのＡ面５０ａおよびＢ面５２ａに記憶されているパラメータの中から、指示されたパラメータを、対応する処理手段（パラメータ選択手段４８ａの場合は、画像再構成手段３８）において適用するように設定するものである。本実施形態においては、パラメータ選択手段４８ａは、初期状態において、Ａ面５０ａに記憶されているパラメータを適用するように設定されているものとする。
ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、およびマルチ周波数強調処理４４に対応するパラメータ保持手段４６ｂ〜４６ｄ、およびパラメータ選択手段４８ｂ〜４８ｄは、上述したパラメータ保持手段４６ａおよびパラメータ選択手段４８ａと同様に、各処理手段に対応して処理を行うものである。

次に、本発明の画像処理装置３０における画像処理の流れについて、図２に基づいて詳述する。

図２において、まず、撮影条件や画像処理条件などの外部入力情報が、外部からパラメータ決定部３２に送信される。
パラメータ決定部３２は、受け取った外部入力情報に基づいて、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、およびマルチ周波数強調手段４４の各画像処理において用いるパラメータを算出する。
パラメータ決定部３２は、各各画像処理のパラメータを算出すると、これらを上述の各処理手段３８〜４４に対応するパラメータ保持手段４６ａ〜４６ｄに送信する。各パラメータ保持手段４６ａ〜４６ｄは、受け取った各パラメータを、Ａ面５０ａ〜５０ｄにそれぞれ記憶する。
なお、上述したように、パラメータ選択手段４８ａ〜４８ｄは、初期状態では、Ａ面５０ａ〜５０ｄに記憶されているパラメータを適用するように設定されている。

外部で撮影された動画像は、入力画像として処理演算部３４のグリッド除去手段３６に送信される。
グリッド除去手段３６は、入力画像に対してグリッド除去処理を行い、処理を施した動画像（以下、原画像という）を、画像再構成手段３８に送信する。

画像再構成手段３８は、グリッド除去手段３６から受け取った原画像を、メモリ１６（図１参照）へ記憶する。また、画像再構成手段３８に対応するパラメータ選択手段４８ａの設定に従い、Ａ面５０ａに記憶されているパラメータを適用して、原画像に対して画像再構成処理を行う。さらに、処理を施した再構成画像をノイズ低減手段４０、またはダイナミックレンジ圧縮手段４２へ送信すると共に、帯域制限画像信号および再構成画像をメモリ１６へ記憶する。

次に、ノイズ低減手段４０は、画像再構成手段３８から原画像を受け取り、ノイズ低減手段４０に対応するパラメータ選択手段４８ｂの設定に従い、Ａ面５０ｂに記憶されているパラメータを適用して、必要に応じて、メモリ１６に記憶されている帯域制限画像信号および再構成画像を用いて、原画像に対してノイズ低減処理を行う。さらに、処理を施した動画像をダイナミックレンジ圧縮手段４２へ送信する。

同様にして、ダイナミックレンジ圧縮手段４２およびマルチ周波数強調手段４４においても、各手段に対応するパラメータ選択手段４８ｃ〜４８ｄのＡ面５０ｃ〜５０ｄに記憶されているパラメータを用いて、直前の処理手段から受け取った動画像に対して順次、処理を行い、処理後の動画像を次の処理手段へ送信する。
最後に、マルチ周波数強調手段４４においてマルチ周波数強調処理を施された動画像は、出力画像として外部に出力され、モニタなどに表示されることにより、診断に利用される。

ところで、上述のように処理演算部３４において画像処理を施された動画像を用いて診断が行われている際に、診断者が、出力された動画像が適切でない、例えば適切な画質、あるいはサイズなどでないと判断した場合には、画像処理の強度などを、診断者が診断しやすいものに変更することが必要となる。
本発明の画像処理装置３０では、診断者が、出力された動画像が適切でない、例えば適切な画質でないと判断した場合、動画像の撮影・表示中に、各処理において適用されるパラメータを変更して、診断者の所望の画像処理が施された動画像をリアルタイムで表示させるように命令することができる。

以下に、画像処理装置３０において、外部からの指示に基づき画像処理に適用するパラメータをリアルタイムで変更する方法について説明する。

まず、画像処理装置３０では、Ａ面５０ａ〜５０ｄにパラメータが記憶されており、各処理手段３８〜４４では、Ａ面５０ａ〜５０ｄに記憶されているパラメータを用いて処理を行っている。
ここで、パラメータ変更の命令が、外部入力情報としてパラメータ決定部３２に送信される。パラメータ決定部３２は命令を受け取ると、これをもとに、画像再構成手段３８、ノイズ低減手段４０、ダイナミックレンジ圧縮手段４２、およびマルチ周波数強調手段４４において用いるための新たなパラメータを算出し、各処理手段３８〜４４に対応するパラメータ保持手段４６ａ〜４６ｄに送信する。パラメータ保持手段４６ａ〜４６ｄは、受け取った新たなパラメータを、Ｂ面５２ａ〜５２ｄに記憶する。
これらのパラメータの記憶が完了すると、パラメータ決定部３２は、パラメータ選択手段４８ａ〜４８ｄに対して、Ｂ面５２ａ〜５２ｄに記憶されたパラメータを適用するように指示する。適用の指示は、パラメータ選択手段４８ａ〜４８ｄに対して、Ｂ面５２ａ〜５２ｄの固有のアドレスを指定することにより行う。
パラメータ選択手段４８ａ〜４８ｄは、指示を受けると、任意のタイミングで、各処理に用いるパラメータの設定を、Ａ面５０ａ〜５０ｄに記憶されているパラメータからＢ面５２ａ〜５２ｄに記憶されているパラメータに変更する。
なお、パラメータの適用の指示は、診断者が外部入力情報としてパラメータ決定手段３２に送信してもよい。

パラメータ選択手段４８ａ〜４８ｄにおいて、各パラメータの設定を変更するタイミングは、処理演算部３４で生成されるフレーム開始信号に基づき決定する。
動画像データの送信時には、外部からの動画像入力制御信号である垂直同期信号、水平同期信号、およびデータイネーブル信号に基づき、データの送信が行われる。本発明の画像処理装置３０において、処理演算部３４は、外部から送信される垂直同期信号に基づいて、フレーム開始信号を生成する。このフレーム開始信号に基づいて、パラメータ選択手段４８ａ〜４８ｄにおいて、各処理に適用されるパラメータの設定が、Ｂ面５２ａ〜５２ｄに記憶されているパラメータに変更される。

図３は、処理演算部３４において、適用するパラメータの設定を変更するタイミングを示すタイムチャートである。
図３において、まず、処理演算部３４が外部から入力画像を受信する時には、外部から送信された垂直同期信号、水平同期信号、およびデータイネーブル信号を受信する。
垂直同期信号を受信すると、これに基づいて、処理演算部３４では、フレーム開始基本信号を生成する。さらに、フレーム開始基本信号に基づいてフレーム開始第１信号を生成する。フレーム開始第１信号がアクティブになったことをトリガーとして、図２に示す画像再構成手段３８に対応するパラメータ選択手段４８ａは、Ｂ面５２ａに記憶されているパラメータを適用するように、設定を変更する。
フレーム開始第１信号が生成されると、次に、処理演算部３４は、その後、所定の間隔を空けて、フレーム開始第２信号を生成する。フレーム開始第２信号がアクティブとなったことをトリガーとして、図２に示すノイズ低減手段４０に対応するパラメータ選択手段４８ｂは、Ｂ面５２ｂに記憶されているパラメータを適用するように、設定を変更する。
このようにして、処理演算部３４は、フレーム開始第４信号までを生成し、各処理手段は、これをトリガーとして、パラメータ選択手段４８ａ〜４８ｄにおいて、適用するパラメータの変更を行う。

各フレーム開始信号の生成の間隔は、各処理手段３８〜４４におけるレイテンシ（待ち時間）に基づき決定する。
各処理手段３８〜４４の間での画像の受け渡しは、ライン形式で行われる。ここで、各処理手段３８〜４４の中には、ある一定量の画像データが送信されるまで、またはある一定量の画像データの処理が終了するまで、処理を開始することのできないものがある。そのような処理手段では、レイテンシ分の時間、すなわち、その前の処理を行う処理手段から一定量の画像データが送信されるまで、または一定量の画像データの処理が終了するまでの時間、待機して、必要量のデータを受信してから、または必要量の処理が終了してから処理を開始する。したがって、パラメータの変更のタイミングも、処理を開始するタイミングに対応させる必要がある。このため、各処理手段での待機時間に応じて、各フレーム開始信号の生成の間隔を空け、処理を開始するタイミングに合わせてパラメータを変更するようにする。これにより、処理演算部３４において、常に不整合のない動画像を出力することができる。
このようにして、処理演算部３４では、新たに適用されたＢ面５２ａ〜５２ｄに記憶されているパラメータに基づいて、引き続き各処理手段において処理を実施し、出力画像を出力する。

ここで、適用するパラメータの変更は、１フレームの時間内に行うことが好ましい。上述したように、メモリ１６（図１参照）には、１フレーム分の原画像が記憶されており、新たに１フレーム分の動画像が送信されると、随時更新される。
各処理手段において、１フレームの時間以内でパラメータが変更されると、この記憶された原画像に対して、新たなパラメータにより処理を行う。このようにして、１フレームの遅延時間内で、出力画像を出力することができる。

なお、処理演算部３４は、フレーム開始基本信号をトリガーとして各処理手段における設定をリセットするような構成としておくことにより、画角切り替えなどの処理を、各処理手段において一斉に、リアルタイムで適用することも可能である。
各画像処理に必要とされるパラメータの数やデータ容量が非常に大きくなると、ブランキング時間内でのパラメータのレジスタへの上書きは、事実上不可能である。そのため、リアルタイムで画角切り替えなどの処理のためのパラメータを変更する上では、フレーム開始基本信号によるパラメータの一斉適用が、最も簡素な構成で実現可能な手段である。

また、本発明の画像処理装置３０では、１フレーム以内にパラメータの変更が行われることが好ましいが、処理演算部３４で行う処理の内容によっては、各処理手段の待ち時間などから、全ての処理手段においてフレーム開始信号がアクティブになるまでに1フレーム以上に渡る時間が必要な場合もある。そのような場合には、例えばｎフレーム以内の遅延時間でフレーム開始信号がアクティブになる処理手段については、ｎフレーム後のフレーム開始信号をトリガーとしてパラメータの設定を変更する構成とする。これにより、画像処理装置３０では、常に整合性のとれた適切な画像を出力することが可能となる。

なお、上述した本実施形態においては、パラメータ保持手段４６ａ〜４６ｄは２種類のパラメータを記憶するものであったが、本発明はこれに限定されず、パラメータ保持手段４６ａ〜４６ｄは、３種類以上のパラメータを記憶するものであってもよい。
また、パラメータ決定部３２は、１つの画像処理につき、予め２種類のパラメータを算出して、これらを同時にパラメータ保持手段４６ａ〜４６ｄへ送信して、それぞれＡ面５０ａ〜５０ｄおよびＢ面５２ａ〜５２ｄに記憶した状態から、入力画像への処理を開始してもよい。この時は、２種類のパラメータのうち、どちらを適用するかの識別情報も共に送信することが好ましい。
また、パラメータ決定部３２は、２種類のパラメータを算出した後、これらの中間値に当たるパラメータ、または、中間に相当する２種類以上のパラメータをさらに算出してもよい。算出されたパラメータは、外部入力情報によるパラメータ変更の指示に応じて、適宜、処理演算部３４に送信される。

このような本発明によれば、パラメータ決定部と処理演算部とが互いに独立して処理を行うことにより、処理演算部において画像処理を行うのと並行して、パラメータ決定部では、パラメータの算出および適用パラメータの変更指示を行うことができる。また、Ａ面およびＢ面に異なるパラメータを記憶して、画像処理に適用するパラメータを、これらの記憶されたパラメータの間で切り替えることを繰り返していくことにより、動画像の撮影中に画像処理を施す際に、画像処理に用いるパラメータの変更を常にリアルタイムで迅速に行うことができる。したがって、事前にセットされたパラメータのみならず、様々なパラメータを動画像の撮影中にリアルタイムに切り替えることが可能となる。
また、パラメータ決定部と処理演算部とが互いに独立していることにより、動画像に対して、静止画像に対する処理と同様のレベルの大量のパラメータを用いた大規模な画像処理を行うことができる。
さらに、パラメータの変更を、動画像の所定のフレームから行うことができるため、処理後の動画像に不整合が生じることがなく、常に安定した適切な動画像を出力することができる。
また、パラメータの変更処理を１フレームの時間内に行うことにより、原画像を一時記憶するメモリの容量を増大させることなく、パラメータの変更を行うことができる。
さらにまた、各処理ごとに独立してパラメータの演算、記憶、および選択を行うことにより、大量のデータを用いて大規模な処理を行う場合にも、迅速に画像処理の変更が実現でき、また、高精度な処理を行うことができる。
また、フレーム開始信号をトリガーとして、一斉に新たなパラメータの適用を実施することにより、画像サイズなどのダイナミックな変更も可能となる。

以上、本発明に係る画像処理装置について詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

本発明の画像処理装置のシステム構成の一例を示すブロック図である。 本発明の画像処理装置の機能ごとの構成の一例を示すブロック図である。 パラメータ変更のタイミングを示すタイムチャートである。

符号の説明

１０、３０ 画像処理装置
１２ 画像処理演算部
１４_１，１４_２，１４_ｎ ＦＰＧＡ
１６ メモリ
１８_１，１８_２，１８_ｎ 画像処理手段
２０ ＣＰＵ
２２ ＣＰＵバス
２４ メモリインターフェース
３２ パラメータ決定部
３４ 処理演算部
３６ グリッド除去手段
３８ 画像再構成手段
４０ ノイズ低減手段
４２ ダイナミックレンジ圧縮手段
４４ マルチ周波数強調手段
４６ａ，４６ｂ，４６ｃ，４６ｄ パラメータ保持手段
４８ａ，４８ｂ，４８ｃ，４８ｄ パラメータ選択手段
５０ａ，５０ｂ，５０ｃ，５０ｄ Ａ面
５２ａ，５２ｂ，５２ｃ，５２ｄ Ｂ面

Claims (7)

1. 画像に対して１以上の画像処理を施す画像処理装置であって、
   外部からの入力情報に基づき、前記１以上の画像処理の各々に用いるパラメータを決定するためのソフトウェアで構成されるパラメータ決定部と、
   前記パラメータ決定部において決定されたパラメータを用いて、前記画像に対して前記１以上の画像処理をそれぞれ実施するためのハードウェアで構成される、１以上の画像処理手段を備える画像処理演算部とを有し、
   前記画像処理演算部は、各画像処理手段に対して、
   ２以上の前記パラメータを一時的に記憶して保持するパラメータ保持手段と、
   前記パラメータ保持手段に記憶された前記２以上のパラメータのうちの１つを選択し、当該画像処理に適用するパラメータ選択手段とをそれぞれ有し、
   各画像処理手段は、前記パラメータ保持手段によって保持された前記２以上のパラメータのうちから前記パラメータ選択手段によって選択された１つのパラメータを前記画像処理に適用して前記画像を画像処理演算することによって得られた第１の画像処理済画像を出力中に、任意のタイミングで前記パラメータ選択手段によって他の１つのパラメータを選択し、選択された他の１つのパラメータを前記画像処理に適用して、前記画像を画像処理演算することによって得られた第２の画像処理済画像を出力することを特徴とする画像処理装置。
2. 前記パラメータ決定部は、フロントエンドにおいて、前記画像処理演算部が各画像処理手段において前記１つのパラメータを前記画像処理に適用して前記画像を画像処理演算している間に、バックエンドにおいて、外部からの入力情報に基づいて前記画像処理に用いるパラメータをソフトウェアで演算し、決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像は、動画像であり、
   前記第１および第２の画像処理済画像の出力は、表示デバイスへの表示であり、
   前記画像処理演算部は、少なくとも１フレーム分の前記画像のデータを記憶する記憶手段を有し、
   前記他方のパラメータは、前記画像の１フレーム分の表示出力時間内に適用され、
   前記他方のパラメータに基づき前記画像処理が施された前記画像は、1フレーム分の時間遅延して表示出力されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理演算部は、外部制御信号を元に、前記画像処理に対するフレーム開始信号を生成し、
   前記パラメータ選択手段は、前記フレーム開始信号が生成されるタイミングに基づいて前記パラメータを選択し、選択されたパラメータを適用することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記画像処理演算部は、前記画像処理に要する演算時間に基づいて、前記フレーム開始信号の生成のタイミングを遅延させることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理は、グリッド除去処理、ガウシアンピラミッド画像構成処理、ラプラシアンピラミッド画像構成処理、ノイズ低減処理、ダイナミックレンジ圧縮処理、および、マルチ周波数強調処理のうち１以上の処理であることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 前記パラメータ決定部は、前記２以上のパラメータのうちの隣り合う２つのパラメータに加えて、前記２つのパラメータの中間値、あるいは、中間に相当する２種類以上のパラメータを決定することを特徴とする請求項１〜６のいずれかに記載の画像処理装置。

Images