JP2009182921A - 画像処理装置、プログラム、および顕微鏡システム - Google Patents

Abstract

【課題】画像のシフト方向およびシフト量の異常を正確かつ迅速に検出する。
【解決手段】エッジ検出部７１は、画素間隔より短い単位で所定のシフト方向に所定のシフト量ずつ撮影範囲をシフトさせながら撮影された複数の画像のエッジの位置を検出し、ズレ検出部７２は、検出されたエッジの画像間のズレを検出し、判定部７３は、エッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、各画像のシフト方向およびシフト量が正常であるか否かを判定する。本発明は、例えば、画素シフト方式の撮影システムに適用できる。
【選択図】図２

Description

本発明は、画像処理装置、プログラム、および顕微鏡システムに関し、特に、画素シフト方式により撮影された複数の画像を合成する画像処理装置、プログラム、および、顕微鏡システムに関する。

従来、CCD（Charge Coupled Devices）などのイメージセンサやレンズなどを動かすことにより、イメージセンサに入射する光の位置、すなわち、撮影範囲を画素間隔より短い単位で所定の方向（以下、規定シフト方向と称する）に所定のシフト量（以下、規定シフト量と称する）ずつシフトさせながら撮影し、撮影した複数の画像を合成することにより、より高精細かつ高解像度の画像を得る画素シフト方式の撮影システムが普及している（例えば、特許文献１参照）。画素シフト方式の撮影システムは、例えば、各種の顕微鏡、検査装置、測定装置などに組み込まれ、主に静止した物体を高精細かつ高解像度で撮影するために用いられる。

特開平７−２５５０１５号公報

しかしながら、画素シフト方式の撮影システムにおいては、衝撃または振動などの要因により、撮影範囲のシフト方向およびシフト量が、規定シフト方向および規定シフト量から大きくずれ、合成後の画像に歪みが発生し、高精細かつ高解像度という利点を損なってしまう場合がある。

本発明は、このような状況を鑑みてなされたものであり、画像のシフト方向およびシフト量の異常を正確かつ迅速に検出できるようにするものである。

本発明の一側面の画像処理装置は、画素間隔より短い単位で所定のシフト方向に所定のシフト量ずつ撮影範囲をシフトさせながら撮影した複数の画像を合成する画像処理装置であって、前記撮影した各画像中の特定領域のエッジの位置を検出するエッジ検出手段と、検出された前記各エッジの前記画像間のズレを検出するズレ検出手段と、前記エッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、それぞれの前記画像のシフト方向およびシフト量が正常であるか否かを判定する判定手段とを備えることを特徴とする。

本発明の一側面においては、画素間隔より短い単位で所定のシフト方向に所定のシフト量ずつ撮影範囲をシフトさせながら撮影した複数の画像中の特定領域のエッジの位置が検出され、検出された前記各エッジの前記画像間のズレが検出され、前記エッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、それぞれの前記画像のシフト方向およびシフト量が正常であるか否かが判定される。

本発明によれば、画像のシフト方向およびシフト量の異常を正確かつ迅速に検出することができる。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した撮影システムの一実施の形態を示す図である。図１の撮影システム１は、顕微鏡２のステージ上に設置された標本の撮影を行うシステムであり、カメラヘッド１１、カメラ制御部１２（カメラヘッド１１とカメラ制御部１２を撮像手段と称する）、および、パーソナルコンピュータ（以下、PCと省略する）１３により構成される。カメラヘッド１１とカメラ制御部１２はケーブル２１を介して接続され、カメラヘッド１１と顕微鏡２はケーブル２２を介して接続され、カメラ制御部１２とPC１３はケーブル２３を介して接続されている。この中で、カメラ制御部１２は必須ではなく、PC１３にカメラの制御機能を持たせても良い。また、PC１３も必須ではなく、PC１３の機能をカメラ制御部１２に持たせてもよい。

カメラヘッド１１は、カメラ制御部１２の制御の基に、顕微鏡２の対物レンズ等を介して、標本の撮影を行う。また、カメラヘッド１１は、CCD（Charge Coupled Device）などにより構成されるイメージセンサを画素間隔より短い単位でシフトさせながら、撮影範囲を規定シフト方向に規定シフト量ずつシフトさせた複数の画像を撮影する画素シフト方式による撮影が可能である。カメラヘッド１１は、撮影の結果得られた画像信号をカメラ制御部１２に供給する。なお、画素シフトは、例えば、CCDの光の入射側にその傾きが可変の平行平板を配置し、この傾きを変えることで、画像の取得位置を変えることによって実現可能である。

カメラ制御部１２は、カメラヘッド１１の制御を行うとともに、カメラヘッド１１から供給される画像信号からRAW形式の画像（以下、RAW画像と称する）を生成し、PC１３に供給する。また、カメラ制御部１２は、必要に応じて、顕微鏡２の状態（例えば、対物レンズの倍率等）に関する情報を取得する。

PC１３は、カメラ制御部１２から供給されるRAW画像に対して各種の画像処理を行ったり、RAW画像に対応する画像を表示したりする。また、PC１３は、必要に応じて、カメラ制御部１２の各種の処理の制御を行う。

図２は、PC１３のプロセッサ（例えば、CPU（Central Processing Unit）など）が所定のプログラムを実行することにより実現される機能の１つである画像処理部５１の機能的構成を示すブロック図である。画像処理部５１は、図３および図４などを参照して後述するように、画素シフト方式により撮影された複数のRAW画像の合成処理を行う。

画像処理部５１は、RAW画像のシフト方向およびシフト量の異常（予め定めた規準外のズレ）の検出を行う異常検出部６１、異常の有無に応じて実行する処理を選択し、各部に指令する処理選択部６２、異常の発生の有無などの通知を行う通知部６３、異常が検出されたRAW画像の復元を行う補間部６４、および、RAW画像を合成した合成画像を生成する合成部６５により構成される。

また、異常検出部６１は、各画像のエッジの位置を検出するエッジ検出部７１、検出されたエッジの画像間のズレを検出するズレ検出部７２、および、検出されたエッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、各画像のシフト方向およびシフト量が正常であるか否かを判定する判定部７３により構成される。なお、画像のエッジとは、例えば、画像中の明暗が明瞭な部分を称する。

さらに、エッジ検出部７１は、複数のRAW画像のうちの１つからエッジ強度が強い画素（以下、エッジ画素と称する）を抽出するエッジ画素抽出部８１、各RAW画像のエッジ画素またはエッジ画素と同じ位置にある画素のそれぞれについて、その画素を含む近傍の画素からRGB画像を生成するRGB画像生成部８２、および、各RGB画像ごとに、RGB画像内でエッジ強度が最も強くなる位置（以下、エッジ位置と称する）を検出するエッジ位置検出部８３により構成される。

次に、図３および図４のフローチャートを参照して、撮影システム１により実行される画素シフト撮影処理について説明する。なお、この処理は、例えば、カメラ制御部１２の図示せぬ入力部を介して、顕微鏡２のステージ上の標本の画素シフト方式による撮影の指令が入力されたとき開始される。

ステップＳ１において、撮影システム１は、所定の枚数のRAW画像を撮影する。具体的には、カメラヘッド１１は、カメラ制御部１２の制御の基に、撮影範囲を規定シフト方向に規定シフト量ずつシフトさせながら、顕微鏡２のステージ上の標本の撮影を行い、撮影の結果得られた複数の画像信号をカメラ制御部１２に供給する。カメラ制御部１２は、カメラヘッド１１から供給される画像信号から複数のRAW画像を生成し、エッジ画素抽出部８１に供給する。エッジ画素抽出部８１は、取得したRAW画像をメモリ５２に記憶させる。

なお、以下、図５に示される９つのRAW画像Ｒ１乃至Ｒ９が順番に撮影された場合の処理を具体例として挙げながら説明する。図６は、RAW画像Ｒ１乃至Ｒ９の撮影範囲の位置関係を模式的に表す図である。なお、図６では、RAW画像Ｒ１乃至Ｒ９は、互いに重ならないように示されているが、実際には、中央のRAW画像Ｒ１と、周囲のRAW画像Ｒ２乃至Ｒ９とは、それぞれ、縦、横、または、斜め方向に２／３画素ずつ撮影範囲がシフトされているものとする。例えば、RAW画像Ｒ２は、RAW画像Ｒ１より右方向に２／３画素だけシフトした範囲が撮影されており、RAW画像Ｒ３は、RAW画像Ｒ１より右斜め上方向に２／３画素だけシフトした範囲が撮影されており、RAW画像Ｒ４は、RAW画像Ｒ１より上方向に２／３画素だけシフトした範囲が撮影されているものとする。

ステップＳ２において、エッジ画素抽出部８１は、RAW画像を１つ選択して、複数のエッジ画素を抽出する。具体的には、エッジ画素抽出部８１は、取得した複数のRAW画像のうちの１つを選択し、選択したRAW画像（以下、基準画像と称する）に対してエッジ検出を行う。エッジ画素抽出部８１は、エッジ検出の結果として得られたRAW画像の各画素のエッジ強度に基づいて、エッジ強度の強い画素をエッジ画素として複数抽出する。例えば、エッジ画素抽出部８１は、エッジ強度の強い方から順に所定の数の画素をエッジ画素として抽出する。なお、この場合、エッジ画素がごく狭い範囲内に集中しないように、すでに抽出されたエッジ画素の周囲の所定の範囲内からは、新たにエッジ画素を抽出しないようにすることが望ましい。エッジ画素抽出部８１は、抽出したエッジ画素の座標を示す情報をRGB画像生成部８２に供給する。

なお、以下、図７に示されるように、図５のRAW画像Ｒ１乃至Ｒ９のうちの１つのRAW画像Ｒ１から、領域ａ乃至eの中心の画素がエッジ画素として抽出された場合を例に挙げて説明する。なお、以下、領域ａ乃至eに対するエッジ画素を、それぞれエッジ画素ａ乃至ｅとする。

ステップＳ３において、RGB画像生成部８２は、エッジ画素またはエッジ画素と同じ位置の画素の近傍の画素を抽出する。具体的には、RGB画像生成部８２は、エッジ画素が抽出されたRGB画像をメモリ５２から読み出す。RGB画像生成部８２は、読み出したRGB画像の各エッジ画素について、そのエッジ画素を含む所定の範囲内の画素を抽出する。なお、以下、抽出された画素からなる画像を抽出画像と称する。

例えば、図７のRAW画像Ｒ１のエッジ画素ａ乃至ｅの近傍の画素からなる５枚の抽出画像Ｒａ１乃至Ｒｅ１が、RAW画像Ｒ１から抽出される。なお、図７の中央の画像は、抽出画像Ｒａ１乃至Ｒｅ１のうち抽出画像Ｒａ１を示している。

ステップＳ４において、RGB画像生成部８２は、抽出した画素からRGB画像を生成する。すなわち、RGB画像生成部８２は、ステップＳ３の処理で抽出した複数の抽出画像を、それぞれRAW画像からRGB画像に変換する。RGB画像生成部８２は、変換処理の結果得られた複数のRGB画像をエッジ位置検出部８３に供給する。

例えば、RAW画像Ｒ１から抽出された抽出画像Ｒａ１乃至Ｒｅ１が、RGB画像Ｃａ１乃至Ｃｅ１に変換される。なお、図７の下の画像は、RGB画像Ｃａ１乃至Ｃｅ１のうちRGB画像Ｃａ１を示している。

ステップＳ５において、エッジ位置検出部８３は、各RGB画像内のエッジ位置を検出する。具体的には、エッジ位置検出部８３は、各RGB画像ごとに、所定の手法を用いて、RGB画像内の各画素におけるエッジ強度を算出する。さらに、エッジ位置検出部８３は、各画素のエッジ強度を用いた補間演算を行うことにより、画素間におけるエッジ強度を算出する。そして、エッジ位置検出部８３は、RGB画像内でエッジ強度が最も強くなる位置をエッジ位置として検出する。従って、エッジ位置は、画素間隔より高い精度で検出され、必ずしも実際の画素の位置と一致するとは限らない。エッジ位置検出部８３は、検出したエッジ位置の座標を示す情報をズレ検出部７２に供給する。

なお、以下、RGB画像Ｃａ１乃至Ｃｅ１のエッジ位置の座標Ｐａ１（Xa1，Ya1）乃至Ｐｅ１（Xe1，Ye1）とする。

なお、エッジ画素の抽出やエッジ位置の検出に用いるエッジ強度の検出手法は、特定の手法に限定されるものではなく、より正確、迅速かつ簡単にエッジ強度を検出できる手法を適用することが望ましい。また、ステップＳ２の処理でエッジ画素を抽出するときに、そのエッジ画素におけるエッジ方向も検出しておき、ステップＳ５において、そのエッジ方向のエッジ強度のみを検出するようにしてもよい。

ステップＳ６において、エッジ検出部７１は、全てのRAW画像について処理したかを判定する。まだ処理していないRAW画像が残っていると判定された場合、処理はステップＳ３に戻り、ステップＳ６において、全てのRAW画像について処理したと判定されるまで、ステップＳ３乃至Ｓ６の処理が繰り返し実行される。これにより、全てのRAW画像の同じ領域から抽出画像が抽出され、抽出画像から生成されたRGB画像のエッジ位置が検出される。

例えば、RAW画像Ｒ１から抽出されたエッジ画素ａ乃至ｅと同じ位置のRAW画像Ｒ２乃至Ｒ９の各画素について、その画素を含む近傍の領域から抽出画像が抽出され、抽出画像から生成されたRGB画像のエッジ位置が検出される。すなわち、全てのRAW画像について、同じ位置の画素（エッジ画素またはエッジ画素と同じ位置の画素）に対するエッジ位置が検出される。

なお、以下、エッジ画素ａ乃至ｅと同じ位置の画素に対するRAW画像Ｒ２乃至Ｒ９のエッジ位置の座標を、それぞれ、Ｐａ２（Xa2，Ya2）乃至Ｐａ９（Xa9，Ya9），Ｐｂ２（Xb2，Yb2）乃至Ｐｂ９（Xb9，Yb9），Ｐｃ２（Xc2，Yc2）乃至Ｐｃ９（Xc9，Yc9），Ｐｄ２（Xd2，Yd2）乃至Ｐｄ９（Xd9，Yd9），および，Ｐｅ２（Xe2，Ye2）乃至Ｐｅ９（Xe9，Ye9）とする。

一方、ステップＳ６において、全てのRAW画像について処理したと判定された場合、処理はステップＳ７に進む。

ステップＳ７において、ズレ検出部７２は、エッジのズレを検出する。具体的には、ズレ検出部７２は、基準画像の各エッジ位置に対する、その他の画像のエッジ位置の差を、エッジのズレとして検出する。

例えば、基準画像であるRAW画像Ｒ１のエッジ位置Ｐａ１とRAW画像Ｒ２乃至Ｒ９の対応するエッジ位置Ｐａ２乃至Ｐａ９との座標の差、RAW画像Ｒ１のエッジ位置Ｐｂ１とRAW画像Ｒ２乃至Ｒ９の対応するエッジ位置Ｐｂ２乃至Ｐｂ９との座標の差、RAW画像Ｒ１のエッジ位置Ｐｃ１とRAW画像Ｒ２乃至Ｒ９の対応するエッジ位置Ｐｃ２乃至Ｐｃ９との座標の差、RAW画像Ｒ１のエッジ位置Ｐｄ１とRAW画像Ｒ２乃至Ｒ９の対応するエッジ位置Ｐｄ２乃至Ｐｄ９との座標の差、および、RAW画像Ｒ１のエッジ位置Ｐｅ１とRAW画像Ｒ２乃至Ｒ９の対応するエッジ位置Ｐｅ２乃至Ｐｅ９との座標の差が、それぞれエッジのズレとして算出される。

ステップＳ８において、判定部７３は、全ての画像のシフト方向およびシフト量が正常であるかを判定する。例えば、RAW画像Ｒ１に対するRAW画像Ｒ２の基準シフト方向および基準シフト量は、予め定められた画素シフトに伴う右方向に２／３画素であり、シフト方向およびシフト量が正常である場合、RAW画像Ｒ１に対するRAW画像Ｒ２のエッジのズレの方向および量は、右方向に２／３画素、または、それに近い値になる。判定部７３は、RAW画像Ｒ１に対するRAW画像Ｒ２の基準シフト方向および基準シフト量により表されるベクトル（以下、基準シフトベクトルと称する）と、RAW画像Ｒ１に対するRAW画像Ｒ２の各エッジのズレにより表されるベクトル（以下、エッジベクトルと称する）とを比較し、基準シフトベクトルと各エッジベクトルとの差が全て所定の許容範囲内である場合、RAW画像Ｒ２のシフト方向およびシフト量は正常であると判定し、基準シフトベクトルと各エッジベクトルとの差のうち少なくとも１つが許容範囲を超えている場合、RAW画像Ｒ２のシフト方向およびシフト量のうち少なくとも一方が異常であると判定する。

判定部７３は、RAW画像Ｒ３乃至Ｒ９に対しても、同様の判定処理を行い、少なくとも１つのRAW画像のシフト方向およびシフト量が異常であると判定した場合、処理はステップＳ９に進む。

なお、以上では、基準シフトベクトルと各エッジベクトルとの差のうち少なくとも１つが許容範囲を超えている場合、その画像のシフト方向およびシフト量のうち少なくとも一方が異常であると判定する例を示したが、ノイズの影響などを考慮して、基準シフトベクトルと各エッジベクトルとの差のうち所定の数以上が許容範囲を超えている場合、あるいは、基準シフトベクトルとエッジベクトルの平均ベクトルとの差が許容範囲を超えている場合に、その画像のシフト方向およびシフト量のうち少なくとも一方が異常であると判定するようにすることも考えられる。

なお、以下、シフト方向およびシフト量が正常であると判定されたRAW画像を正常RAW画像と称し、シフト方向およびシフト量のうち少なくとも一方が異常であると判定されたRAW画像を異常RAW画像と称する。

ステップＳ９において、判定部７３は、ピントのズレが発生しているかを判定する。

図８は、ピントのズレが発生している場合に検出されるエッジのズレの典型的なパターンの例を示している。なお、図８において、実線の丸で示されるエッジ位置Ｐａ１乃至Ｐａ９は、同じ位置の画素に対して検出されたRAW画像Ｒ１乃至Ｒ９のエッジ位置を示している。また、点線の丸で示される位置Ｐａ２ｒ乃至Ｐａ９ｒは、エッジ位置Ｐａ１から、規定シフト方向および規定シフト量だけシフトした位置を示している。すなわち、位置Ｐａ２ｒ乃至Ｐａ９ｒは、RAW画像Ｒ２乃至Ｒ９のシフト方向およびシフト量が正常な場合のエッジ位置Ｐａ１に対するエッジ位置を示している。

ピントのズレが発生している場合、RAW画像が正常にシフトされて撮影されたとしても、エッジのズレは、例えば、図８のパターン１のように検出するエッジの位置が正常なズレよりも横方向に広がって検出されたり（検出されるエッジの位置が、正常な位置よりも横方向の位置に大きくズレる）、パターン２のように正常なズレよりも縦方向に広がって検出されたり（検出されるエッジの位置が、正常な位置よりも縦方向の位置に大きくズレる）、パターン３のように正常なズレよりも全体的に広がって検出される（検出されるエッジの位置が、正常な位置よりも横方向および縦方向の位置に共に大きくズレる）傾向が現れる。すなわち、ピントのズレが発生している場合、RAW画像が正常にシフトされて撮影されたとしても、エッジのズレが、所定の範囲内で規則的に広がる傾向が現れる。

従って、判定部７３は、図８に示されるような、エッジのズレが所定の範囲内で規則的に広がる傾向が現れていない場合、ピントのズレは発生していないと判定し、処理はステップＳ１０に進む。

ステップＳ１０において、処理選択部６２は、撮影のやり直しが設定されているかを判定する。具体的には、判定部７３は、判定結果として、異常RAW画像の枚数および位置を示す情報を処理選択部６２に供給する。そして、処理選択部６２が、異常RAW画像が検出された場合に、撮影をやり直すように設定されていると判定した場合、処理はステップＳ１１に進む。

ステップＳ１１において、処理選択部６２は、撮影をやり直した回数が設定した回数に達しているかを判定する。撮影をやり直した回数がまだ設定した回数に達していないと判定された場合、処理はステップＳ１２に進む。

なお、撮影のやり直しの有無および回数は、事前にユーザに設定させるようにする他に、例えば、最初のステップＳ１０の処理において、ユーザに設定させるようにすることが考えられる。

ステップＳ１２において、処理選択部６２は、カメラ制御部１２に撮影のやり直しを指令する。その後、処理はステップＳ１に戻り、ステップＳ８において、全ての画像のシフト方向およびシフト量が正常であると判定されるか、ステップＳ９において、ピントのズレが発生していると判定されるか、ステップＳ１１において、撮影をやり直した回数が設定した回数に達していると判定されるまで、ステップＳ１乃至Ｓ１２の処理が繰り返し実行される。

一方、ステップＳ１１において、撮影をやり直した回数が設定した回数に達していると判定された場合、すなわち、設定した回数だけ撮影をやり直したが成功しなかった場合、処理はステップＳ１３に進む。

また、ステップＳ１０において、撮影のやり直しが設定されていないと判定された場合、処理はステップＳ１３に進む。

ステップＳ１３において、処理選択部６２は、補間画像を生成するように設定されているかを判定する。補間画像を生成するように設定されていると判定された場合、処理はステップＳ１４に進む。

なお、補間画像の生成の有無は、ユーザに事前に設定させるようにする他に、例えば、ステップＳ１３において、ユーザに選択させるようにすることが考えられる。

ステップＳ１４において、処理選択部６２は、異常が検出されたRAW画像（異常RAW画像）が制限枚数以内であるかを判定する。異常RAW画像が制限枚数内であると判定された場合、処理はステップＳ１５に進む。なお、制限枚数は、正常RAW画像を用いた補間処理により、所定のレベル以上の画質で復元できる異常RAW画像の枚数（例えば、１枚）に設定される。

ステップＳ１５において、補間部６４は、補間画像を生成する。具体的には、処理選択部６２は、異常RAW画像の位置を補間部６４に通知する。補間部６４は、メモリ５２に記憶されている正常RAW画像を用いた補間処理を行うことにより、異常RAW画像を復元する。補間部６４は、正常RAW画像、および、生成した補間画像を合成部６５に供給する。

ステップＳ１６において、合成部６５は、処理選択部６２からの指令の基に、正常RAW画像および補間画像を合成することにより、合成画像を生成する。合成部６５は、生成した合成画像を後段の装置に出力する。なお、合成画像の形式は、RAW画像またはRGB画像のいずれでもよい。また、RGB画像の場合、所定の圧縮方式で圧縮したり、所定の画像処理（例えば、カラー補正処理など）を施すようにしてもよい。

ステップＳ１７において、通知部６３は、処理選択部６２からの指令の基に、画像や音声などにより、画像の復元を行ったことを通知する。その後、画素シフト撮影処理は終了する。

一方、ステップＳ１４において、異常が検出されたRAW画像が制限枚数を超えていると判定された場合、すなわち、異常RAW画像を、残りの正常RAW画像を用いた補間処理により、所定のレベル以上の画質で復元できない場合、処理はステップＳ１８に進む。

また、ステップＳ１３において、補間画像を生成するように設定されていないと判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、通知部６３は、処理選択部６２からの指令の基に、画像や音声などを用いて、撮影の失敗を通知する。その後、画素シフト撮影処理は終了する。

一方、ステップＳ９において、判定部７３は、図８に示されるような、エッジのズレが所定の範囲内で規則的に広がる傾向が現れている場合、ピントのズレが発生していると判定し、ピントのズレが発生していることを処理選択部６２に通知し、処理はステップＳ１９に進む。

ステップＳ１９において、通知部６３は、処理選択部６２からの指令の基に、画像や音声などを用いて、ピントのズレの発生を通知する。その後、処理はステップＳ２０に進む。

一方、ステップＳ８において、判定部７３は、全ての画像のシフト方向およびシフト量が正常であると判定した場合、全ての画像のシフト方向およびシフト量が正常であることを処理選択部６２に通知し、処理はステップＳ２０に進む。

ステップＳ２０において、合成部６５は、処理選択部６２からの指令の基に、メモリ５２からRAW画像を読み出し、合成することにより、合成画像を生成する。合成部６５は、生成した合成画像を後段の装置に出力する。

以上のようにして、画素シフト方式による撮影を行った場合の各RAW画像のシフト方向およびシフト量の異常を正確かつ迅速に検出し、ユーザに通知することができる。

また、エッジ画素および抽出画像を抽出し、抽出画像に対してのみ、RAW画像からRGB画像への変換およびエッジ位置の検出を行うので、処理量を削減し、異常の検出を高速化することができる。

なお、以上の説明では、本発明を、イメージセンサをシフトすることにより撮影範囲をシフトする画素シフト方式を行う場合に適用する例を示したが、本発明は、イメージセンサではなく、レンズなどを動かしてイメージセンサに入射する光の位置をシフトする画素シフト方式を行う場合にも適用することが可能である。

また、本発明は、顕微鏡用以外の、画素シフト方式により撮影された画像の合成を行う装置またはシステムに適用することができる。

さらに、以上の説明では、シフト方向およびシフト量の異常の検出をカメラヘッド１１の外で行う例を示したが、カメラヘッド１１側で行うようにしてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、上述したパーソナルコンピュータ１３などに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した撮影システムの一実施の形態を示す図である。 画像処理部の機能的構成を示すブロック図である。 撮影システムにより実行される画素シフト撮影処理を説明するためのフローチャートである。 撮影システムにより実行される画素シフト撮影処理を説明するためのフローチャートである。 RAW画像の例を示す図である。 RAW画像の位置関係を模式的に示す図である。 エッジ位置の検出について説明するための図である。 ピントのズレが発生している場合に検出されるエッジのズレの典型的なパターンの例を示す図である。

符号の説明

１ 撮影システム， ２ 顕微鏡， １１ カメラヘッド， １２ カメラ制御部， １３ パーソナルコンピュータ， ５１ 画像処理部， ６１ 異常検出部， ６２ 処理選択部， ６３ 通知部， ６４ 補間部， ６５ 合成部， ７１ エッジ検出部， ７２ ズレ検出部， ７３ 判定部， ８１ エッジ画素抽出部， ８２ RGB画像生成部， ８３ エッジ位置検出部

Claims (7)

1. 画素間隔より短い単位で所定のシフト方向に所定のシフト量ずつ撮影範囲をシフトさせながら撮影した複数の画像を合成する画像処理装置において、
   前記撮影した各画像中の特定領域のエッジの位置を検出するエッジ検出手段と、
   検出された前記各エッジの前記画像間のズレを検出するズレ検出手段と、
   前記エッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、それぞれの前記画像のシフト方向およびシフト量が正常であるか否かを判定する判定手段と
   を備えることを特徴とする画像処理装置。
2. 前記画像はRAW画像であり、
   前記エッジ検出手段は、
   前記複数のRAW画像のうちの１つからエッジ強度が強い画素であるエッジ画素を複数抽出するエッジ画素抽出手段と、
   それぞれの前記RAW画像の前記エッジ画素または前記エッジ画素と同じ位置にある画素のそれぞれについて、その画素を含む近傍の画素からRGB画像を生成するRGB画像生成手段と、
   前記RGB画像ごとに、前記RGB画像内でエッジ強度が最も強い位置を前記エッジの位置として検出するエッジ位置検出手段と
   を備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記エッジのズレ量が所定の範囲内で特定方向に規則的に大きくなる傾向にある場合、ピントのズレが発生していると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. シフト方向およびシフト量のうち少なくとも一方が予め定められた規準外であると判定された画像である異常画像が所定の枚数以内である場合、シフト方向およびシフト量が正常であると判定された画像を用いた補間処理により、前記異常画像を復元する補間手段を
   さらに含むことを特徴とする請求項１に記載の画像処理装置。
5. 少なくとも１つの前記画像のシフト方向およびシフト量のうち少なくとも一方が予め定められた規準外であると判定された場合、撮影のやり直しを指令する指令手段を
   さらに含むことを特徴とする請求項１に記載の画像処理装置。
6. 画素間隔より短い単位で所定のシフト方向に所定のシフト量ずつ撮影範囲をシフトさせながら撮影した複数の画像を合成する処理を、コンピュータに実行させるプログラムにおいて、
   前記撮影した各画像のエッジの位置を検出するエッジ検出ステップと、
   検出された前記各エッジの前記画像間のズレを検出するズレ検出ステップと、
   前記エッジのズレの方向および大きさが所定の範囲内であるか否かに基づいて、それぞれの前記画像のシフト方向およびシフト量が正常であるか否かを判定する判定ステップと
   を含む処理をコンピュータに実行させるプログラム。
7. 顕微鏡と、
   前記顕微鏡に設置され前記画像処理装置で処理される前記画像を取得する撮像手段と
   を備え、
   請求項１から５のいずれか一項に記載の画像処理装置を有することを特徴とする顕微鏡システム。

Images