JP2012065257A - 顕微鏡用撮像装置 - Google Patents
顕微鏡用撮像装置 Download PDFInfo
- Publication number
- JP2012065257A JP2012065257A JP2010209720A JP2010209720A JP2012065257A JP 2012065257 A JP2012065257 A JP 2012065257A JP 2010209720 A JP2010209720 A JP 2010209720A JP 2010209720 A JP2010209720 A JP 2010209720A JP 2012065257 A JP2012065257 A JP 2012065257A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal processing
- relative movement
- movement speed
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】観察対象物が移動している場合には、視認性を損なわない程度の低画質にする代わりに、信号処理を短くしてフレームレートを確保する。
【解決手段】顕微鏡用撮像装置は、標本を撮像して映像信号を取得する撮像部30と、映像信号を信号処理する信号処理部40と、撮像部の光軸と直交する第1の方向における、撮像部とステージとの相対移動速度を算出する移動検出部10と、第1の方向の相対移動速度が閾値以上の場合には、信号処理部40による信号処理の時間が短くなるようにパラメータを決定する信号処理設定部20と、第1の方向の相対移動速度が閾値以上の場合には、信号処理部40にて信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択処理するフレームレート変換部50とを備え、信号処理部40は信号処理設定部20にて決定されたパラメータに従って信号処理する。
【選択図】図1
【解決手段】顕微鏡用撮像装置は、標本を撮像して映像信号を取得する撮像部30と、映像信号を信号処理する信号処理部40と、撮像部の光軸と直交する第1の方向における、撮像部とステージとの相対移動速度を算出する移動検出部10と、第1の方向の相対移動速度が閾値以上の場合には、信号処理部40による信号処理の時間が短くなるようにパラメータを決定する信号処理設定部20と、第1の方向の相対移動速度が閾値以上の場合には、信号処理部40にて信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択処理するフレームレート変換部50とを備え、信号処理部40は信号処理設定部20にて決定されたパラメータに従って信号処理する。
【選択図】図1
Description
本発明は、標本を撮像し、信号処理を施してモニタに表示する顕微鏡用撮像装置に関するものである。
近年、顕微鏡による観察は、従来の光学顕微鏡においてもデジタルカメラ等を装着してモニタ等で観察、撮影操作をするようになってきている。特に、接眼レンズがない所謂「オールインワンモデル」が増加しており、このような傾向は今後さらに高まると考えられる。これらのシステムでは、微細構造をより明確に観察するための信号処理を施したものをモニタにより観察することができる。
しかし、観察者の判断を支援するために演算量の多い信号処理を行うと、モニタに表示される画像のフレームレートが低下してしまう。フレームレートが低下すると、ユーザは、モニタ観察時に接眼レンズで覗いた時と同様のフレーミング操作やフォーカシング操作を行うことが困難となる。一般には、表示のフレームレートが10フレーム/秒以下になると、フレーミング(位置決め)操作やフォーカシング操作等の撮像操作が困難になるといわれている。
このような問題に対し、動画を観察する表示モード時と、静止画を撮影する撮影モード時との信号処理パラメータをユーザが予め指定しておき、これを切り替えることで、作業時に使用する表示モードでの画像の視認性を確保する撮影装置が知られている(例えば、特許文献1参照)。
しかしながら、近年の画像処理の演算量の増加、及びハードウェア規模の制約から、信号処理時間が増大しており、特許文献1に記載のようにプリセットパラメータを切り替えるだけでは、観察対象物が移動している場合に、モニタに表示される拡大画像をスムーズに撮像操作することができなかった。
本発明の目的は、上記問題を解決するため、観察対象物が移動している場合に、スムーズな撮像操作を実現することができる顕微鏡用撮像装置を提供することにある。
上記課題を解決するため、本発明に係る顕微鏡用撮像装置は、ステージ上に載置された標本を撮像し、信号処理を施してモニタに表示する顕微鏡用撮像装置であって、前記標本を撮像して映像信号を取得する撮像部と、前記撮像部によって取得した映像信号を信号処理する信号処理部と、前記撮像部の光軸と直交する第1の方向における、前記撮像部と前記ステージとの相対移動速度を算出する移動検出部と、前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部による前記信号処理の時間が短くなるようにパラメータを決定する信号処理設定部と、前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部によって信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択して処理するフレームレート変換部とを備え、前記信号処理部は、前記信号処理設定部によって決定された前記パラメータに従って信号処理することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記移動検出部は、前記第1の方向の相対移動速度を、前記撮像部によって撮像した映像信号のフレーム間における相対的な動きベクトルに基づいて算出することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記ステージは、第1の駆動モータによって前記第1の方向に移動し、前記移動検出部は、前記第1の駆動モータの回転量に基づいて前記標本の前記第1の方向の相対移動速度を算出することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記信号処理部は、ノイズ低減処理部を有し、前記信号処理設定部は、前記ノイズ低減処理部のパラメータを決定し、前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、ノイズ低減処理時間を短縮するようにパラメータを決定することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記移動検出部は、更に前記撮像部の光軸と平行な第2の方向における、前記撮像部と前記ステージとの相対移動速度を算出し、前記信号処理設定部は、前記第1の方向の相対移動速度又は前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部による前記信号処理の時間が短くなるようにパラメータを決定し、前記フレームレート変換部は、前記第1の方向の相対移動速度又は前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部によって信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択して処理することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記移動検出部は、前記第2の方向の相対移動速度を、前記撮像部によって撮像した映像信号のフレーム間におけるボケ量変化及び/又は輝度変化に基づいて算出することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記撮像部は、第2の駆動モータによって前記第2の方向に移動し、前記移動検出部は、前記第2の駆動モータの回転量に基づいて前記標本の前記第2の方向の相対移動速度を算出することを特徴とする。
また、本発明に係る顕微鏡用撮像装置において、前記信号処理部は、ノイズ低減処理部を有し、前記信号処理設定部は、前記ノイズ低減処理部のパラメータを決定し、前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、ノイズ低減処理時間を短縮するようにパラメータを決定することを特徴とする。
本発明に係る顕微鏡用撮像装置によれば、モニタ上にて観察対象物の移動速度が高速の場合には、信号処理の処理時間を短くし(スループットの短縮)、さらにフレームレートを高めることにより、スムーズに撮像操作を行うことができる。信号処理のスループットを短縮することで、観察対象物の動きへの追従性を改善され、例えば常に2,3秒遅れてモニタに表示されていた映像が0.1秒以下で動きに追従するようになる。フレームレートを高めることで、動きの滑らかさやちらつきが改善され、例えばコマ送り的な映像が滑らかに動くようになる。また、移動速度が低速の場合には、高性能な信号処理を行うことにより、視認性を高め観察を行い易くすることができる。そして、このような切り替えを自動で行うことができる。
以下、本発明による顕微鏡用撮像装置の実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明による第1の実施形態の顕微鏡用撮像装置の概略を示すブロック図である。顕微鏡用撮像装置1は、移動検出部10と、信号処理設定部20と、撮像部30と、信号処理部40と、フレームレート変換部50と、モニタ60と、対物レンズ70とを備える。図1において、実線は映像信号を表し、点線は制御信号を表している。
図1は、本発明による第1の実施形態の顕微鏡用撮像装置の概略を示すブロック図である。顕微鏡用撮像装置1は、移動検出部10と、信号処理設定部20と、撮像部30と、信号処理部40と、フレームレート変換部50と、モニタ60と、対物レンズ70とを備える。図1において、実線は映像信号を表し、点線は制御信号を表している。
撮像部30は、対物レンズ70により結像される観察対象物の光学映像を撮像して映像信号を生成し、移動検出部10及び信号処理部40に出力する。
移動検出部10は、撮像部30から入力される映像信号の中にある観察対象物の「像」の移動(変化)を検出して移動速度を算出し、移動速度情報を信号処理設定部20及びフレームレート変換部50に出力する。
信号処理設定部20は、移動検出部10から入力される移動速度情報に基づいて、信号処理の経路や特性を設定するためのパラメータを生成し、信号処理部40に出力する。
信号処理部40は、撮像部30から入力される映像信号を、信号処理設定部20から入力されるパラメータに従って、例えば、低画質又は高画質となるように信号処理し、フレームレート変換部50に出力する。例えば、移動速度が高速(所定の閾値以上)である場合には、移動速度が低速(所定の閾値未満)である場合と比較して、信号処理部40による信号処理の時間が短くなるようにパラメータを決定する。
フレームレート変換部50は、信号処理部40から入力される映像信号のフレームレートを、移動検出部10から入力される移動速度情報に従って切り替える。例えば、モニタ60が高いフレームレートに追従可能であり、移動速度が高速(所定の閾値以上)である場合には、移動速度が低速(所定の閾値未満)である場合と比較して、信号処理部40によって信号処理した映像信号のフレームレートを高くする処理を行う。ここで、モニタ60の入力フレームレートの仕様の制限などにより、移動速度情報によって、適宜、高フレームレートに変換するか、または、通常のフレームレートのまま出力するかを選択することができる。例えば、この選択はCPUにて、モニタ60の仕様に合わせて、あらかじめ設定された情報をもとに選択される。これにより、高いフレームレートが選択された場合には、観察対象物の動きの滑らかさやチラツキが改善される。
モニタ60は、フレームレート変換部50によってフレームレートが調整された映像信号を表示するものであり、LCDやCRT等にて実現される。
図2は、顕微鏡用撮像装置1を顕微鏡に適用した場合の構成図である。顕微鏡80は、撮像部30及び対物レンズ70を有する撮像カメラ81と、標本82を載置するX−Yステージ83と、光源84とを備える。画像処理ボード・コンピュータ90は、移動検出部10と、信号処理設定部20と、信号処理部40と、フレームレート変換部50に相当する。
図3は、顕微鏡用撮像装置1のブロック図であり、図1をより詳細に示したものである。図3において、実線は映像信号を表し、点線は制御信号を表している。
本実施形態の顕微鏡用撮像装置1は、観察者の手によって標本82を直接移動するか、又はX−Yステージ83を水平位置調整ハンドルにて手動で調整することによって標本82を移動する。また、撮像カメラ81の垂直方向の位置調整は、垂直位置調整ハンドルにて行い、合焦作業を行う。光源84から射出された照明光は、標本82に照射され、その透過光が観察光として対物レンズ70に入射される。
移動検出部10は、速度判定部11を有する。速度判定部11は、撮像部30の光軸と直交する方向(以下、水平方向という)における、撮像部30とX−Yステージ83との相対移動速度を算出する。すなわち、X−Yステージ83が水平方向に移動した場合には、撮像部30から取得した映像信号のフレーム間の映像の変化(相対的な動きベクトル)に基づいて移動速度を算出する。例えば、現フレームと前フレームとの相関値を計算し、相関値から移動速度を算出する。ここでの相関値の計算には、動きベクトルを計算することも含む。なお、撮像部30が水平方向に移動する場合についても同様である。
また、速度判定部11は、撮像部30の光軸と平行な方向(以下、垂直方向という)における、撮像部30とX−Yステージ83との相対移動速度を算出する。すなわち、撮像部30が垂直方向に移動した場合には、焦点の合い方の違いにより変化するボケ量及び/又は輝度に基づいて移動速度を算出する。このときも同様に、撮像部30から取得した映像信号の現フレームと前フレームとの相関値を計算し、相関値から移動速度を算出する。なお、X−Yステージ83が垂直方向に移動する場合についても同様である。
速度判定部11は、算出した移動速度、又は移動速度を低速、中速、高速等にクラス分けした情報を移動速度情報として信号処理設定部20に出力する。
信号処理設定部20は、エッジ強調パラメータ設定部21と、ノイズ低減処理パラメータ設定部22とを有する。エッジ強調パラメータ設定部21は、移動検出部10から入力される移動速度情報に基づいてエッジ強調処理用パラメータを生成し、信号処理部40に出力する。ノイズ低減処理パラメータ設定部22は、移動検出部10から入力される移動速度情報に基づいてノイズ低減処理用パラメータを生成し、信号処理部40に出力する。
一般に、人間の視覚の分解能特性は、ステージや撮像部の移動が高速な場合には、モニタ上に表示された撮像画像を時間追従できない。したがって、信号処理設定部20は、移動速度が高速の場合には、処理時間を優先してエッジ強調処理やノイズ低減処理の処理時間を短くする一方、画質は犠牲にしてフィルタサイズを小さくしたり、処理経路を省略したりするパラメータを生成する。このようにすることで、フレームレートが低下せず、標本82の動きがスムーズに追従するため、観察者はフレーミングや合焦作業をスムーズに行うことができる。
反対に、移動速度が低速の場合には、画質再現を優先にし、処理時間を犠牲にするパラメータを生成する。特に標本82が静止している場合には、高いフレームレートは必要ないため、フレームレートを低くして解像再現やノイズ低減などに十分な処理時間を費やすようにする。
なお、信号処理設定部20は、移動検出部10からの移動速度情報に応じて、処理時間を優先させる場合の画像と画質再現を優先させる場合の画像とが、多段階又は滑らかに特性が変化するようにパラメータを生成するのが好適である。
信号処理設定部20は、内部にパラメータのセットをテーブルとして持ち、必要に応じて、補間や合成等の演算を経てパラメータを生成するようにしてもよい。
撮像部30は、撮像光学系31と、撮像素子32と、前処理部33とを有する。対物レンズ70からの光束は撮像光学系31により焦点調整などが行われ、撮像素子32に結像される。前処理部33は、レベル調整用ゲイン331、A/Dコンバータ332、バッファ333を有し、撮像素子32で取り込んだ映像信号をデジタル信号に変換し、移動検出部10及び信号処理部40に出力する。
信号処理部40は、色階調補正部41と、エッジ強調部42と、ノイズ低減処理部43とを有する。これらは、撮像部30から取得した映像信号を、顕微鏡の観察者が観察に好適な画質でモニタ観察できるように、映像信号を信号処理し、フレームレート変換部50に出力する。また、信号処理設定部20からのパラメータに応じて、処理速度優先から画質再現優先まで、処理経路や信号特性を多段階に変更する。
色階調補正部41は、撮像部30から入力される映像信号に対して階調補正処理を施し、エッジ強調部42に出力する。
エッジ強調部42は、色階調補正部41から入力される映像信号に対してエッジ強調処理を施し、ノイズ低減処理部43に出力する。エッジ強調処理は、エッジ強調パラメータ設定部21から入力されるエッジ強調処理用パラメータに基づいて行う。
図4は、ノイズ低減処理部43の構成例を示すブロック図である。ノイズ低減処理部43は、高域ノイズ低減処理部430と、中域ノイズ低減処理部440と、低域ノイズ低減処理部450と、経路スイッチ460,461,462,463とを有する。本実施形態では多重解像フィルタを使用しており、多重解像フィルタは、入力映像信号を周波数帯の高いものから低いものへと分解して、帯域ごとにノイズ低減処理を行う。高域ノイズ低減処理部430、中域ノイズ低減処理部440、及び低域ノイズ低減処理部450は、それぞれ、フィルタ・縮小処理部433と、拡大処理部434及び437と、減算器435と、切り替えスイッチ436と、時間優先ノイズ低減部431と、画質優先ノイズ低減部432とを有する。各ノイズ低減処理部の内部の構成は同じであり、図4では、高域ノイズ低減処理部430のみ内部の構成を示している。
入力信号は、フィルタ・縮小処理部433によりフィルタ処理及び縮小処理され、拡大処理部434により拡大処理される。減算器435は、入力信号と拡大処理部434により拡大処理された信号とを減算する。切り替えスイッチ436は、信号処理設定部20から入力されるパラメータに基づいて、減算器435により減算した信号を、時間優先ノイズ低減部431又は画質優先ノイズ低減部432に出力する。
処理時間優先と画質再現優先の切り替えの一例は、信号処理設定部20からのパラメータに応じて、各帯域の処理を順次切り替えていく。高域ノイズ低減部430は、信号処理設定部20から入力されるパラメータによって、時間優先ノイズ低減部431と画質優先ノイズ低減部432との切り替えを行う。移動速度が低速の場合には、高域、中域、及び低域の全ての帯域について画質優先ノイズ低減部432を選択する。移動速度が中速の場合には、高域及び中域については画質優先ノイズ低減部432を選択し、低域については時間優先ノイズ低減部431を選択する。移動速度が高速の場合には、高域、中域、及び低域の全ての帯域について時間優先ノイズ低減部431を選択する。
時間優先ノイズ低減部431は、単純コアリング部4311を有し、単純コアリング部4311によりノイズを低減する。
画質優先ノイズ低減部432は、方向依存フィルタ部4321と、適応コアリング部4322と、ブレンド・ゲイン処理部4323とを有する。方向依存フィルタ部4321は、画像中のエッジなどの方向成分を検出し、その方向にフィルタ処理し、適応コアリング部4322は、適応的にコアリング閾値を変化させてノイズを低減し、ブレンド・ゲイン処理部4323は、輝度変化に対応したノイズモデルを基にゲインを決め、拡大処理部434直後の帯域原信号とのブレンドを行うことで、ノイズ低減強度を調整する。
なお、時間優先ノイズ低減部431及び画質優先ノイズ低減部432の処理内容は、時間優先ノイズ低減部431では画質よりも処理時間の短縮を重視した処理を行い、画質優先ノイズ低減部432では処理時間よりも画質の向上を重視した処理を行うものであれば、図4に示した処理に限られるものではない。例えば、時間優先ノイズ低減部431及び画質優先ノイズ低減部432において、異なるフィルタサイズの方向依存フィルタを用いるようにしてもよい。
処理時間優先と画質再現優先の切り替えの別の例として、信号処理設定部20からのパラメータに応じて、一部の帯域の処理を省略するように経路切り替えを行ってもよい。例えば、移動速度が低速の場合には、高域、中域、及び低域の全ての帯域についてノイズ低減処理を行うように、経路スイッチ460〜462を選択する。移動速度が中速の場合には、高域と中域のみでノイズ低減処理を行い、低域については処理を行わないように経路スイッチ460〜462を選択する。移動速度が高速の場合には、高域のみでノイズ低減処理を行い、中域及び低域では処理を行わないように、経路スイッチ460〜462を選択する。
なお、上述した2つの例を組み合わせる、すなわち、切り替えスイッチ436による帯域ごとの時間優先ノイズ低減部431及び画質優先ノイズ低減部432の切り替えと、経路スイッチ460〜462による帯域ごとの処理を行うか否かの切り替えを組み合わせることもできるのは勿論である。また、本実施形態における信号処理設定部20及び信号処理部40の構成は一例であり、これに限定されるものではない。
(第2の実施形態)
次に、本発明による第2の実施形態の顕微鏡用撮像装置について、図面を参照して詳細に説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して適宜説明を省略する。
次に、本発明による第2の実施形態の顕微鏡用撮像装置について、図面を参照して詳細に説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して適宜説明を省略する。
第2の実施形態の顕微鏡用撮像装置2は、信号処理部40のノイズ低減処理部43の構成を除いて第1の実施形態の顕微鏡用撮像装置1と同じである。よって、顕微鏡用撮像装置2のノイズ低減処理部43について以下説明する。顕微鏡用撮像装置2のノイズ低減処理部43は、フレーム間帰還フィルタを使用する。フレーム間帰還フィルタは、フレームメモリに保存された処理済の前フレームと現入力フレームとの間で相関の高い部分を探索し、ブレンドすることにより、ノイズを低減する。また、フレームメモリを複数用意し、処理済の前フレームを何枚か保存し、使用することもできる。フレーム数が増えるほど、時間方向のフィルタ特性を詳細に設定することが可能となる。
図5は、本実施形態のノイズ低減処理部43のブロック図である。ここでは、処理済の前フレームを2枚保存し、現入力フレームと合わせて3枚のフレームをブレンド可能なノイズ低減処理部43の構成を示している。ノイズ低減処理部43は、前フレーム動きベクトル処理部470と、前々フレーム動きベクトル処理部480と、ブレンド処理部490と、経路スイッチ500,501とを有する。前フレーム動きベクトル処理部470は、フレームメモリ471と、動きベクトル算出部472と、動きベクトル反映部473とを有する。前々フレーム動きベクトル処理部480は、前フレーム動きベクトル処理部470と同様に、フレームメモリ481と、動きベクトル算出部482と、動きベクトル反映部483とを有する。
動きベクトル算出部472は、現入力フレームの映像信号とフレームメモリ471によって保存された処理済の前フレームとの間の動きベクトルを、ブロックマッチングにより算出し、動きベクトル反映部473に出力する。つまり、現フレームを一定サイズのブロックに切り出し、予め決められた探索範囲内において、前フレームとの相関の高さが算出され、最も相関が高いと判断されたブロック同士の相対位置により、動きベクトルを算出する。
動きベクトル反映部473は、動きベクトル算出部472から入力される動きベクトルに基づいてフレームメモリ471に保存された前フレーム画像を移動した映像信号を生成し、ブレンド処理部490に出力する。
動きベクトル算出部482は、現入力フレームの映像信号とフレームメモリ481によって保存された処理済の前々フレームとの間の動きベクトルを、ブロックマッチングにより算出し、動きベクトル反映部483に出力する。
動きベクトル反映部483は、動きベクトル算出部482から入力される動きベクトルに基づいてフレームメモリ481に保存された前フレーム画像を移動した映像信号を生成し、ブレンド処理部490に出力する。
ブレンド処理部490は、現入力フレームの映像信号と、前フレーム動きベクトル処理部470から入力される映像信号と、前々フレーム動きベクトル処理部480から入力される映像信号とをブレンド(例えば、平均化)して出力する。
処理時間優先と画質再現優先の切り替えの一例は、信号処理設定部20から入力されるパラメータに応じて、動きベクトル算出部472,482におけるブロックマッチングの探索範囲やブロックの大きさを切り替える。移動速度が低速の場合には、探索範囲を広く、かつ、ブロックサイズを大きくして処理を行う。このようにすることで、処理時間がかかるものの信頼性と精度の高い動きベクトルが生成される。一方、移動速度が高速の場合には、探索範囲を狭く、かつ、ブロックサイズを小さくして処理を行う。このようにすることで、動きベクトルの信頼性の低下に伴い画質は劣化するものの、処理時間は短くなる。
処理時間優先と画質再現優先の切り替えの別の例として、信号処理設定部20からのパラメータに応じて、前フレーム動きベクトル処理部470及び/又は前々フレーム動きベクトル処理部480の処理を省略するように経路切り替えを行ってもよい。例えば、移動速度が低速の場合には、スイッチ500及び501をオンにし、前フレーム動きベクトル処理部470及び前々フレーム動きベクトル処理部480による処理を行う。移動速度が高速の場合には、スイッチ500及び501をオフにし、前フレーム動きベクトル処理部470及び前々フレーム動きベクトル処理部480による処理を省略する。
このように、第1の実施形態の顕微鏡用撮像装置1及び第2の実施形態の顕微鏡用撮像装置2によれば、標本82の移動速度に応じて、信号処理を時間優先とするか又は画質優先とするかの切り替えを自動で行うことができる。これにより、標本82が水平方向に移動している場合には処理時間が短くなることにより映像の追従性が向上し、フレーミング行い易くなる。また、撮像素子32又は対物レンズ70が垂直方向に移動し、焦点を合せている間のボケの状態の映像に対しては、処理時間が短くなることにより映像の追従性が向上し、合焦点作業が行い易くなる。また、フレームレートを向上させることにより、動きの滑らかさを改善し、ちらつきも軽減することができる。
(第3の実施形態)
次に、本発明による第3の実施形態の顕微鏡用撮像装置について、図面を参照して詳細に説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して適宜説明を省略する。
次に、本発明による第3の実施形態の顕微鏡用撮像装置について、図面を参照して詳細に説明する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して適宜説明を省略する。
本実施形態の顕微鏡用撮像装置3は、X−Yステージ83の水平方向の移動、及び撮像カメラ81の垂直方向の移動を駆動モータにより行い、駆動モータの回転量に基づいて移動速度を算出する点が、第1の実施形態の顕微鏡用撮像装置1及び第2の実施形態の顕微鏡用撮像装置2と相違する。図6は、本発明による第3の実施形態の顕微鏡用撮像装置の概略を示すブロック図である。移動検出部10は、対物レンズ70の設定情報及び撮像部30の設定情報を取得する。図6において、実線は映像信号を表し、点線は制御信号を表している。
図7は、顕微鏡用撮像装置3を顕微鏡に適用した場合の構成図である。顕微鏡80は、撮像部30及び対物レンズ70を有する撮像カメラ81と、標本82を載置するX−Yステージ83と、光源84と、X軸用駆動モータ85−1と、X軸用エンコーダ86−1と、Y軸用駆動モータ85−2と、Y軸用エンコーダ86−2と、Z軸用駆動モータ85−3と、Z軸用エンコーダ86−3とを備える。
図8は、顕微鏡用撮像装置3のブロック図であり、図6をより詳細に示したものである。図8において、実線は映像信号を表し、点線は制御信号を表している。
移動検出部10は、速度判定部11と、移動検出センサ12とを有する。移動検出センサ12は、図7に示すエンコーダ86−1〜86−3に相当する。図7に示す制御ボード91は、X軸用駆動モータ85−1及びY軸用駆動モータ85−2を制御し、観察対象物である標本82を載置するX−Yステージ83の水平位置をスライド移動させるとともに、Z軸用駆動モータ85−3を制御し、撮像カメラ81を垂直方向に移動させる。
エンコーダ86−1〜86−3(移動検出センサ12)は、それぞれ駆動モータ85−1〜85−3に取り付けられており、駆動モータ85−1〜85−3の回転量を検出し、制御ボード91に出力する。
速度判定部11は、第1の実施形態の顕微鏡用撮像装置1及び第2の実施形態の顕微鏡用撮像装置2では、撮像部30から取得した映像信号を基に移動速度を算出したが、本実施形態の顕微鏡用撮像装置3では、制御ボード91から入力される回転量から移動速度を算出し、それに応じた移動速度情報を生成する。また、モニタ60上に表示される観察対象物の移動速度を算出するために、対物レンズ70の設定情報及び撮像部30の設定情報も考慮する。
つまり、X−Yステージ83の移動速度が同一であっても、対物レンズ70が高倍率になる場合や、撮像素子32の撮像視野が小さくなる場合には、モニタ60上に表示される観察対象物の移動速度は速くなる。そのために、速度判定部11は、エンコーダ86−1〜86−3からの出力値のみならず、対物レンズ70の設定情報及び撮像部30の設定情報も取得して移動速度情報を生成する。
このように、第3の実施形態の顕微鏡用撮像装置3によれば、X−Yステージ83及び撮像カメラ81を駆動モータ85−1〜85−3により移動する場合でも、モニタ60上での標本82の移動速度に応じて、信号処理を時間優先とするか又は画質優先とするかの切り替えを自動で行うことができる。
上述の各実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、本発明による顕微鏡用撮像装置により、ライン上を水平方向に移動する観察対象物の検査を行う場合には、水平方向の移動速度のみを算出するようにしてもよい。
1,2,3 顕微鏡用撮像装置
10 移動検出部
11 速度判定部
12 移動検出センサ
20 信号処理設定部
21 エッジ強調パラメータ設定部
22 ノイズ低減処理パラメータ設定部
30 撮像部
31 撮像光学系
32 撮像素子
33 前処理部
40 信号処理部
41 色階調補正部
42 エッジ強調部
43 ノイズ低減処理部
50 フレームレート変換部
60 モニタ
70 対物レンズ
80 顕微鏡
81 撮像カメラ
82 標本
83 X−Yステージ
84 光源
85−1,85−2,85−3 駆動モータ
86−1,86−2,86−3 エンコーダ
90 画像処理ボード・コンピュータ
91 制御ボード
331 レベル調整用ゲイン
332 A/Dコンバータ
333 バッファ
431 時間優先ノイズ低減部
432 画質優先ノイズ低減部
433 フィルタ・縮小処理部
434,437 拡大処理部
435 減算器
436 切り替えスイッチ
461,462,463,464,500,501 経路スイッチ
470 前フレーム動きベクトル処理部
480 前々フレーム動きベクトル処理部
490 ブレンド処理部
4311 単純コアリング部
4321 方向依存フィルタ部
4322 適応コアリング部
4323 ブレンド・ゲイン処理部
10 移動検出部
11 速度判定部
12 移動検出センサ
20 信号処理設定部
21 エッジ強調パラメータ設定部
22 ノイズ低減処理パラメータ設定部
30 撮像部
31 撮像光学系
32 撮像素子
33 前処理部
40 信号処理部
41 色階調補正部
42 エッジ強調部
43 ノイズ低減処理部
50 フレームレート変換部
60 モニタ
70 対物レンズ
80 顕微鏡
81 撮像カメラ
82 標本
83 X−Yステージ
84 光源
85−1,85−2,85−3 駆動モータ
86−1,86−2,86−3 エンコーダ
90 画像処理ボード・コンピュータ
91 制御ボード
331 レベル調整用ゲイン
332 A/Dコンバータ
333 バッファ
431 時間優先ノイズ低減部
432 画質優先ノイズ低減部
433 フィルタ・縮小処理部
434,437 拡大処理部
435 減算器
436 切り替えスイッチ
461,462,463,464,500,501 経路スイッチ
470 前フレーム動きベクトル処理部
480 前々フレーム動きベクトル処理部
490 ブレンド処理部
4311 単純コアリング部
4321 方向依存フィルタ部
4322 適応コアリング部
4323 ブレンド・ゲイン処理部
Claims (8)
- ステージ上に載置された標本を撮像し、信号処理を施してモニタに表示する顕微鏡用撮像装置であって、
前記標本を撮像して映像信号を取得する撮像部と、
前記撮像部によって取得した映像信号を信号処理する信号処理部と、
前記撮像部の光軸と直交する第1の方向における、前記撮像部と前記ステージとの相対移動速度を算出する移動検出部と、
前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部による前記信号処理の時間が短くなるようにパラメータを決定する信号処理設定部と、
前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部によって信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択して処理するフレームレート変換部とを備え、
前記信号処理部は、前記信号処理設定部によって決定された前記パラメータに従って信号処理することを特徴とする顕微鏡用撮像装置。 - 前記移動検出部は、前記第1の方向の相対移動速度を、前記撮像部によって撮像した映像信号のフレーム間における相対的な動きベクトルに基づいて算出することを特徴とする、請求項1に記載の顕微鏡用撮像装置。
- 前記ステージは、第1の駆動モータによって前記第1の方向に移動し、
前記移動検出部は、前記第1の駆動モータの回転量に基づいて前記標本の前記第1の方向の相対移動速度を算出することを特徴とする、請求項1又は2に記載の顕微鏡用撮像装置。 - 前記信号処理部は、ノイズ低減処理部を有し、
前記信号処理設定部は、前記ノイズ低減処理部のパラメータを決定し、前記第1の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、ノイズ低減処理時間を短縮するようにパラメータを決定することを特徴とする、請求項1から3のいずれか一項に記載の顕微鏡用撮像装置。 - 前記移動検出部は、更に前記撮像部の光軸と平行な第2の方向における、前記撮像部と前記ステージとの相対移動速度を算出し、
前記信号処理設定部は、前記第1の方向の相対移動速度又は前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部による前記信号処理の時間が短くなるようにパラメータを決定し、
前記フレームレート変換部は、前記第1の方向の相対移動速度又は前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、前記信号処理部によって信号処理した映像信号のフレームレートを高くするか、又は現状のフレームレートを維持するかを選択して処理する
ことを特徴とする、請求項1から4のいずれか一項に記載の顕微鏡用撮像装置。 - 前記移動検出部は、前記第2の方向の相対移動速度を、前記撮像部によって撮像した映像信号のフレーム間におけるボケ量変化及び/又は輝度変化に基づいて算出することを特徴とする、請求項5に記載の顕微鏡用撮像装置。
- 前記撮像部は、第2の駆動モータによって前記第2の方向に移動し、
前記移動検出部は、前記第2の駆動モータの回転量に基づいて前記標本の前記第2の方向の相対移動速度を算出することを特徴とする、請求項5又は6に記載の顕微鏡用撮像装置。 - 前記信号処理部は、ノイズ低減処理部を有し、
前記信号処理設定部は、前記ノイズ低減処理部のパラメータを決定し、前記第2の方向の相対移動速度が所定の閾値以上である場合には、該相対移動速度が所定の閾値未満である場合と比較して、ノイズ低減処理時間を短縮するようにパラメータを決定することを特徴とする、請求項5から7のいずれか一項に記載の顕微鏡用撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010209720A JP2012065257A (ja) | 2010-09-17 | 2010-09-17 | 顕微鏡用撮像装置 |
US13/233,516 US20120069171A1 (en) | 2010-09-17 | 2011-09-15 | Imaging device for microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010209720A JP2012065257A (ja) | 2010-09-17 | 2010-09-17 | 顕微鏡用撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012065257A true JP2012065257A (ja) | 2012-03-29 |
Family
ID=45817413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010209720A Pending JP2012065257A (ja) | 2010-09-17 | 2010-09-17 | 顕微鏡用撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120069171A1 (ja) |
JP (1) | JP2012065257A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014230170A (ja) * | 2013-05-23 | 2014-12-08 | オリンパス株式会社 | 撮像装置、顕微鏡システム及び撮像方法 |
JP2015096912A (ja) * | 2013-11-15 | 2015-05-21 | オリンパス株式会社 | 観察装置 |
JP2015127771A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社キーエンス | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2016206671A (ja) * | 2015-04-16 | 2016-12-08 | ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. | 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 |
JP2017203932A (ja) * | 2016-05-13 | 2017-11-16 | オリンパス株式会社 | 画像取得装置 |
WO2018193772A1 (ja) * | 2017-04-21 | 2018-10-25 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5739351B2 (ja) | 2009-03-11 | 2015-06-24 | サクラ ファインテック ユー.エス.エー., インコーポレイテッド | 自動合焦方法および自動合焦装置 |
US10139613B2 (en) | 2010-08-20 | 2018-11-27 | Sakura Finetek U.S.A., Inc. | Digital microscope and method of sensing an image of a tissue sample |
US9355585B2 (en) * | 2012-04-03 | 2016-05-31 | Apple Inc. | Electronic devices with adaptive frame rate displays |
DE102012214933B4 (de) * | 2012-08-22 | 2023-11-16 | Carl Zeiss Microscopy Gmbh | Testprobenvorrichtung und Testverfahren für ein optisches, im Sub-Wellenlängenbereich auflösendes Mikroskop |
DE102013103971A1 (de) | 2013-04-19 | 2014-11-06 | Sensovation Ag | Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts |
DE102013216409A1 (de) * | 2013-08-19 | 2015-02-19 | Carl Zeiss Microscopy Gmbh | Mikroskop |
JP6146265B2 (ja) * | 2013-11-07 | 2017-06-14 | ソニー株式会社 | 顕微鏡システムおよびオートフォーカス方法 |
KR20150054195A (ko) * | 2013-11-11 | 2015-05-20 | 삼성전자주식회사 | 영상신호의 노이즈 제거 방법과 이를 이용한 영상표시장치 |
US10007102B2 (en) | 2013-12-23 | 2018-06-26 | Sakura Finetek U.S.A., Inc. | Microscope with slide clamping assembly |
KR102449872B1 (ko) * | 2015-12-18 | 2022-09-30 | 삼성전자주식회사 | 촬영 디바이스 및 그 제어 방법 |
JP6770828B2 (ja) * | 2016-05-19 | 2020-10-21 | オリンパス株式会社 | 顕微鏡 |
US11280803B2 (en) | 2016-11-22 | 2022-03-22 | Sakura Finetek U.S.A., Inc. | Slide management system |
EP3348974A1 (en) * | 2017-01-17 | 2018-07-18 | IMEC vzw | An image sensor, an imaging device, an imaging system and a method for spectral imaging |
DE102019102959B3 (de) * | 2019-02-06 | 2020-06-10 | Leica Microsystems Cms Gmbh | Verfahren zur Bilderzeugung mittels eines Mikroskops und entsprechendes Mikroskop |
JP7362297B2 (ja) * | 2019-05-24 | 2023-10-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11298790A (ja) * | 1998-04-09 | 1999-10-29 | Nikon Corp | 撮像装置 |
JP2000350085A (ja) * | 1999-06-01 | 2000-12-15 | Olympus Optical Co Ltd | 電子的撮像装置 |
JP2005107386A (ja) * | 2003-10-01 | 2005-04-21 | Olympus Corp | 顕微鏡用電動ステージ監視システム、該監視装置、及び該監視方法 |
JP2006145793A (ja) * | 2004-11-19 | 2006-06-08 | Olympus Corp | 顕微鏡画像撮像システム |
JP2007336388A (ja) * | 2006-06-16 | 2007-12-27 | Olympus Imaging Corp | 撮像装置 |
JP2008298532A (ja) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
JP2009128648A (ja) * | 2007-11-26 | 2009-06-11 | Olympus Corp | 顕微鏡観察システム |
JP2010160410A (ja) * | 2009-01-09 | 2010-07-22 | Sony Corp | 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9044808B2 (en) * | 2009-03-03 | 2015-06-02 | The Johns Hopkins University | System and method for precision transport, positioning, and assembling of longitudinal nano-structures |
US8891851B2 (en) * | 2009-07-15 | 2014-11-18 | Glenn F. Spaulding | Home healthcare management system and hardware |
-
2010
- 2010-09-17 JP JP2010209720A patent/JP2012065257A/ja active Pending
-
2011
- 2011-09-15 US US13/233,516 patent/US20120069171A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11298790A (ja) * | 1998-04-09 | 1999-10-29 | Nikon Corp | 撮像装置 |
JP2000350085A (ja) * | 1999-06-01 | 2000-12-15 | Olympus Optical Co Ltd | 電子的撮像装置 |
JP2005107386A (ja) * | 2003-10-01 | 2005-04-21 | Olympus Corp | 顕微鏡用電動ステージ監視システム、該監視装置、及び該監視方法 |
JP2006145793A (ja) * | 2004-11-19 | 2006-06-08 | Olympus Corp | 顕微鏡画像撮像システム |
JP2007336388A (ja) * | 2006-06-16 | 2007-12-27 | Olympus Imaging Corp | 撮像装置 |
JP2008298532A (ja) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
JP2009128648A (ja) * | 2007-11-26 | 2009-06-11 | Olympus Corp | 顕微鏡観察システム |
JP2010160410A (ja) * | 2009-01-09 | 2010-07-22 | Sony Corp | 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014230170A (ja) * | 2013-05-23 | 2014-12-08 | オリンパス株式会社 | 撮像装置、顕微鏡システム及び撮像方法 |
JP2015096912A (ja) * | 2013-11-15 | 2015-05-21 | オリンパス株式会社 | 観察装置 |
JP2015127771A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社キーエンス | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2016206671A (ja) * | 2015-04-16 | 2016-12-08 | ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. | 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 |
JP2017203932A (ja) * | 2016-05-13 | 2017-11-16 | オリンパス株式会社 | 画像取得装置 |
WO2018193772A1 (ja) * | 2017-04-21 | 2018-10-25 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120069171A1 (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012065257A (ja) | 顕微鏡用撮像装置 | |
JP5562808B2 (ja) | 内視鏡装置及びプログラム | |
JP5539045B2 (ja) | 撮像装置およびその制御方法、記憶媒体 | |
JP5612780B2 (ja) | 撮像装置およびその制御方法 | |
US7616253B2 (en) | Optical apparatus | |
JP6794747B2 (ja) | 医療用画像処理システム、および医療用画像処理システムの作動方法 | |
JP2013101314A (ja) | 合焦制御装置、内視鏡システム及び合焦制御方法 | |
JP7065203B2 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP6289044B2 (ja) | 観察装置 | |
JP7043219B2 (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP2016034076A (ja) | 撮像装置及びその制御方法 | |
US8212865B2 (en) | Microscope image pickup apparatus, microscope image pickup program product, microscope image pickup program transmission medium and microscope image pickup method | |
JP2012175277A (ja) | 撮像装置、画像生成方法、及び、画像生成プログラム | |
JP2006338001A (ja) | 顕微鏡システムおよび画像生成方法 | |
JP2007049374A (ja) | 撮像方法及び撮像装置 | |
KR20110015208A (ko) | 고속 오토 포커스가 가능한 촬상 시스템 | |
WO2021070443A1 (ja) | 画像処理装置と画像処理方法とプログラムおよび電子機器 | |
JP2013076823A (ja) | 画像処理装置、内視鏡システム、画像処理方法及びプログラム | |
JP5893426B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP6020904B2 (ja) | 画像処理装置および撮像装置 | |
JP2009115681A (ja) | 画像取得表示装置 | |
JP4969349B2 (ja) | 撮像装置及び撮像方法 | |
WO2020095365A1 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP5455485B2 (ja) | 撮像装置 | |
JP6150504B2 (ja) | イメージングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141216 |