JP2005164707A - 細胞計測支援システムおよび細胞観察装置 - Google Patents

細胞計測支援システムおよび細胞観察装置 Download PDF

Info

Publication number
JP2005164707A
JP2005164707A JP2003400377A JP2003400377A JP2005164707A JP 2005164707 A JP2005164707 A JP 2005164707A JP 2003400377 A JP2003400377 A JP 2003400377A JP 2003400377 A JP2003400377 A JP 2003400377A JP 2005164707 A JP2005164707 A JP 2005164707A
Authority
JP
Japan
Prior art keywords
image
blur
amount
shake
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003400377A
Other languages
English (en)
Other versions
JP4477863B2 (ja
Inventor
Takashi Nitta
尚 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Effector Cell Institute Inc
Original Assignee
Effector Cell Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Effector Cell Institute Inc filed Critical Effector Cell Institute Inc
Priority to JP2003400377A priority Critical patent/JP4477863B2/ja
Publication of JP2005164707A publication Critical patent/JP2005164707A/ja
Application granted granted Critical
Publication of JP4477863B2 publication Critical patent/JP4477863B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】タイムラプス撮影時に生じるぶれを画像処理により対処するための技術を提供。
【解決手段】顕微鏡10と、撮像装置20と、撮像の制御および撮像された画像の処理を行うコンピュータ50と、入力装置30と、表示装置40とを含む。コンピュータ50は、複数の画像について生じるぶれを補正するためのぶれ量データを生成し、生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる。ぶれ量データを生成は、保存されている複数の画像について、基準として特定された形態と、他の画像に含まれる、基準となる形態と、これに対応する特定された形態とを比較してぶれ量を求め、それぞれの画像について得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、表示装置40に表示させる。
【選択図】図1

Description

本発明は、細胞の観察画像に基づいて細胞に関する種々の情報を収集するための計測を支援する技術に関するものである。
医薬の開発、検査技術の開発等のために、細胞について顕微鏡等を用いて観察し、種々の計測を行って、例えば、医薬の細胞への影響に関する情報等の各種情報を収集することが行われている。この種の観察、測定等を行う場合、効率を上げるため、細胞を収容して観察等を行うための微小区画である観察サイト(以下単にサイトという)が、複数、二次元的に配置された観察支援機器が用いられる。
この種の観察支援機器を用いて細胞の観察、測定等を行う場合には、観察支援機器を顕微鏡のXYZステージ上に載せ、ステージを対物レンズ系に対して二次元(XY)方向に相対移動させて、複数のサイトを、順次、顕微鏡の視野内に位置させ、一定時間間隔で同じ対象を撮影する経時的撮影(タイムラプス撮影)が行われる。このため、この種の顕微鏡を用いた光学測定器では、各サイトを顕微鏡の視野内に正確に位置させるように、ステージの相対移動を精密に制御している。このようなタイムラプス観察については、例えば、非特許文献1、特許文献1に記載されている。
Shiro Kanegasaki et al., A novel optical assay system for the quantitative measurement of chemotaxis. Journal of Immunological Methods 282 (2003) 1 11
特開2002−277754号公報
ところで、複数サイトのそれぞれについてタイムラプス撮影を行う場合、重要な点は、各サイトの対物レンズの光軸に対する二次元位置を正確に一致させることである。しかし、ステージにはある程度の遊びがあり、また、制御に際しても位置決めに誤差が存在する。そのため、各撮影時にサイト内の位置が一致しないことが起こる。その結果、撮影された各映像(コマ)の対象物の位置にずれが生じ、映像にぶれが生じることとなる。
これに対して、XYステージをできる限り精密な仕上げとし、かつ、制御の位置決めも正確に行うことが考えられる。しかし、ステージを精密にすればするほど、高価なものとなること、また、制御を正確に行うためには制御系も同様に高価なものとなる。また、外来的に加わる振動、衝撃に起因する対象物のずれに対しては、ステージ、制御の精度を上げても対処できない。
本発明は、タイムラプス撮影時に生じるずれを画像処理により対処するための技術を提供する。
本願の第1の発明は、顕微鏡と、撮像装置と、撮像の制御および撮像された画像の処理を行うコンピュータと、入力装置と、表示装置とを含む細胞計測装置に関するものである。この細胞計測装置は、すなわち、前記コンピュータが、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を有し、
前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させること
を特徴とする。
また、本願の第2の発明は、顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータにより実現され、撮像の制御および撮像された画像の処理を行う細胞計測支援システムに関するものである。すなわち、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を前記コンピュータにより実現される機能として有し、
前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させることを特徴とする。
本願の第3の発明は、顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータに、撮像の制御および撮像された画像の処理を行う細胞計測支援システムを実現させるプログラムに関するものである。すなわち、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を前記コンピュータにより実現させ、
前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させることを特徴とする。
本発明によれば、タイムラプス撮影時に生じるずれを画像処理により対処することができる。
図1は、本発明の一実施形態に係る細胞観察装置の構成の概要を示すブロック図である。図に示す細胞観察装置は、顕微鏡10、撮像装置20、入力装置30、表示装置40およびコンピュータ50を有する。撮像装置20は、顕微鏡10に装着され、顕微鏡により拡大された像を画像として取り込む。撮像装置20、入力装置30および表示装置40は、コンピュータ50に接続される。すなわち、撮像装置20において取り込まれた画像がコンピュータ50に送られて、サイトごとに時系列に整理されて観察画像として蓄積される。画像の取込、ぶれ補正、動画再生等の各種指示は入力装置30を介して行うことができる。画像、動画の表示は表示装置40により行われる。コンピュータ50は、後述するように、細胞計測のための支援を行うシステムを構成する。
顕微鏡10は、ステージ11と、ステージをXYZの各方向に変位させるステージ駆動装置12と、対象物の拡大像を形成する光学系13とを有する。本実施形態では、ステージ11を変位させる構成となっているが、これに限られない。光学系を変位させる構成としてもよい。ステージ11には、観察対象となる細胞を収容する観察支援機器Mが置かれる。本実施形態では、ステージ11に貫通孔11aが設けられている。そのため、観察支援機器Mの底面側から観察することができる。ステージ駆動装置12は、コンピュータ50からの制御指令に従って、ステージ11をXYZの各方向に変位させる。扁平な細胞の観察時など、焦点深度を特に問題としない場合については、Z軸は固定されて、主として、XY平面での変位となる。光学系13は、対物レンズ系、結像レンズ系等のレンズ系と、これらを収容する鏡筒とを有する。
観察支援機器Mは、例えば、シリコン基板、ガラス等により形成される。基板には、区画され、それぞれについて細胞を溶媒と共に収容する複数のサイトが配置されている。これらのサイトは、例えば、シリコンウェハを、フォトリソグラフィ技術を用いて加工することにより形成することができる。そして、表面側には、カバーグラスが配置される。観察時には、このカバーグラスを底面側に位置させて、ステージ11の下方から顕微鏡の光学系13の対物レンズ系と対向することとなる。
撮像装置20は、例えば、顕微鏡の光学系13により結像された像を画素ごとの電気信号に変換して画像を電気的に取り込むための装置である。具体的には、例えば、カラーCCDカメラ等のディジタル画像撮影が行えるカメラにより構成される。この撮像装置20において得られた画像は、ディジタル信号の画像データに変換されて、コンピュータに送られる。
入力装置30は、本実施形態に係る装置の操作に関する指示入力の受付、各種文字および記号を含むデータの入力等を行うための装置である。具体的には、前述した指示、データ等の入力に用いることができる、キーボード、マウス、タッチパネル、音声入力機器等の機器の組合せにより構成される。
表示装置40は、メニュー画面、操作画面、指示画面等の他、取得した画像、計測結果、計測結果を加工したグラフ等の表示を行うためのものである。具体的には、液晶、プラズマ等のフラットパネルディスプレイ、CRT等の表示管により画像の表示が行える装置が用いられる。この他に、拡大投影表示するための、スライドプロジェクタ等を接続することもできる。
コンピュータ50は、中央処理ユニット(CPU)51と、メモリ52と、補助記憶装置53とを有する。補助記憶装置53には、CPU51が実行するプログラム群60、各種データ70等が格納される。
プログラム群60には、図示していないが、コンピュータを動作させるオペレーティングシステム等の各種プログラムが含まれる。また、本実施形態において用いられるプログラムとして、撮像手順を制御する撮像シーケンスプログラム61と、撮像シーケンスに従ってステージ駆動装置12の動作を制御するステージ制御プログラム62と、撮像シーケンスに従って撮像装置13の動作を制御する撮像制御プログラム63と、得られた画像について“ぶれ補正”を行うための処理を実現するためのぶれ補正プログラム64と、得られた画像について動画再生を行う際の制御を行う動画再生プログラム65、取得した画像データについて、細胞数の計数、細胞の運動軌跡の補足、細胞の変形確認などの各種データ加工の処理を行うデータ加工プログラム66等が格納されている。これらのプログラムがメモリ52にロードされ、CPU51により実行されることによって、本実施形態における計測支援の各種機能が実現される。
例えば、コンピュータ50は、撮像シーケンスプログラム61、ステージ制御プログラム62、撮像制御プログラム63等により実現される、撮像装置20により対象物の画像を時系列に取得させる制御を行う手段と、メモリ52、補助記憶装置53等により実現される取得した画像を保存する手段と、ぶれ補正プログラム64により実現される、保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、動画再生プログラム65により実現される、生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を有することとなる。
また、ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存する機能を有する。
さらに、ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、表示装置40に表示させる機能を有する。
各プログラムは、例えば、CD−ROM等の記録媒体に記録されたものを記録媒体読み取り装置を介して読み出して、補助記憶装置53にインストールすることにより実行可能に用意される。また、プログラムは、図示していない、通信機器およびネットワークを介して、特定のサーバからダウンロードすることにより、補助記憶装置53にインストールすることができる。
データ70は、撮像装置20により撮像された画像データ71と、ぶれ補正データ72と、計測加工を行った結果である計測加工データ73と、CPU51が行う処理において用いられる各種データ等が格納される。
画像データ71は、サイトごとに、画像データファイル71−iが設けられる。ここで、iはサイトの識別子、例えば、サイト番号である。各画像データファイル71−iには、撮像装置20において撮像された画像が時系列的に保存される。図1では、図示の都合上、一つの画像データファイル71−iに格納される画像を模式的に示している。実用的には、サイト数分画像データファイル71−1から71−nが用意される。画像データファイルの数は、前述した観察支援機器に設けられるサイト数に対応して、適宜、増減することができる。本実施形態の場合、20サイト分の画像データファイルが設けられる。また、各画像データファイル71−iに格納される画像データの数、すなわち、1画面に表示される静止画(フレーム)の枚数は、観察の精度、時間等によって、適宜設定される。例えば、10フレーム程度である。
ぶれ補正データ72は各画像ファイルにおいていずれかのフレームにおける基準となる図形を定め、その基準図形(ObjS)に対して、当該画像ファイルに格納されている他のフレーム中に表示されている、その基準図形に相当する図形を見つけ、基準図形の等がフレーム内でのアドレスと、その図形のフレーム内でのアドレスとの差異を求め、それを(x、y)のぶれ量として登録する。それが、例えば、図2に示すように、ぶれ量のデータ721である。本実施形態では、さらに、上で得られた各フレームのX,Y方向のぶれ量の最小値を各々xminとyminとしたときに、各フレームのぶれ量(x、y)を(xmin,ymin)との相対値に変換する規格化を行う。これにより、各フレームのX,Y方向のぶれ量の最小値は共に0となる。その結果得られた(x、y)の値を格納する規格化ぶれ量データ722が登録される。また、規格化ぶれ量データ722においては、規格化ぶれ量の最大値(xmax、ymax)723が求められる。
計測加工データ73は、例えば、細胞数の時間変化、移動細胞の軌跡、細胞の分布、その他計測値、計測についての統計処理結果等のデータが含まれる。また、これらを、図化するためのデータも含まれる。例えば、グラフ、表等のデータが含まれる。
また、本実施形態では、各サイトの画像データのフレームについて、ぶれ補正データを保存し、動画再生等を行う場合に、保存されている画像データをぶれ量補正データを用いて補正しつつ、動画像を生成する。しかし、本発明はこれに限られない。ぶれ量を用いて補正した画像データを保存するようにしてもよい。
本実施形態の細胞測定装置の動作について説明する。細胞測定装置では、図示していないが、装置を起動すると、コンピュータ50のCPU51は、まず、メニュー画面を表示装置40に表示する。このメニューには、例えば、撮像開始、撮像中の画像表示、取込後の画像表示、ぶれ補正指示、蓄積後されている画像の動画表示、その他の観察、計測等に関する各種表示などの選択肢が表示される。以下では、撮像手順、ぶれ補正、動画再生、その他の処理について順次説明する。
<処理概要>
撮像に先立って、観察支援機器Mの各サイトには、観察の目的となる細胞群が供給されているものとする。また、細胞測定装置が起動され、前述した撮像開始が先ず選択され、その後、ぶれ補正、動画再生が順次選択されるものとして説明する。
コンピュータ50のCPU51は、補助記憶装置53から必要なプログラム61から66をメモリ52にロードする。なお、この他に、メニューでの選択肢の選択に応じて、ぶれ補正プログラム64、動画再生プログラム65等を併せてロードしてもよい。さらに、メニューでの選択肢の選択に応じて、データ加工のためのプログラム66をロードすることもできる。
この種の装置では、顕微鏡10と撮像装置20とを用いて、観察支援機器Mの各サイトに収容されている細胞群について順次撮影を行う。次に、得られた画像について、ぶれ補正の要否をユーザに問い、ユーザがぶれ補正が必要と判断して、コンピュータ50に指示を与えた場合に、コンピュータ50は、ぶれ補正プログラム64をメモリ52にロードして、ぶれ補正のための処理を実行して、得られた画像データについてのぶれ補正のためのデータを取得する。さらに、動画再生の指示を受けると、コンピュータ50は、補助記憶装置53にデータ70に記憶されている画像データファイル71−iから、一定時間ごとに1フレームずつ画像データを読み出して、あたかも動画のように順次表示する。この際、ぶれ補正を行うべきことが要求されている場合には、画像を読み出してぶれ補正データを用いてぶれ補正を行って、表示する。
<撮像処理手順>
まず、撮像処理について説明する。コンピュータ50は、顕微鏡10と撮像装置20とを用いて、観察支援機器Mの各サイトに収容されている細胞群について順次撮影を行うよう指示する。この撮影では、一定の時間スケジュールに従って、繰り返し行う。すなわち、タイムラプス撮像を行うよう制御される。その撮像スケジュールは、撮像シーケンスプログラム61により管理される。すなわち、撮像シーケンスプログラム61は、ステージ制御プログラム62に対して、ステージの変位タイミング(次のサイトへの送りタイミング)を指示する。なお、ここで、使用していないサイトがある場合には、予めユーザが設定しておくことにより、撮像シーケンスプログラム61は、ステージ制御プログラムに対して、不使用サイトをとばすように指示することができるこれにより、無駄な撮像を行わずにすむ。ステージ制御プログラム62は、変位タイミング指示を受けて、ステージ駆動装置12に対して、ステージを次のサイトの位置に対応する所定アドレスに変位するよう指示する。
シーケンス制御プログラム61は、撮像制御プログラム63に対して、撮像タイミングを指示する。これを受けて撮像制御プログラム63は、撮像装置20に対して撮像を指示する。
撮像装置20は、撮像指示を受けて、観察支援機器Mの目的のサイトについて顕微鏡10により結像される像を取り込む。取り込んだ像について、A/D変化して、1フレームのディジタル画像データとしてコンピュータ50に送る。コンピュータ50は、当該撮像の対象となっているサイトに対応する画像データファイルに、何コマ目の画像であるかの識別子と共に、撮像装置20から受け取った画像データを格納する。この際、圧縮処理してもよい。この手順を、各サイトについて順次行う。そして、再び、最初のサイトに戻り、次のコマの撮像を行って、この画像データを、該当する画像データファイル71−1に格納する。以下、すべてのサイトについて、それぞれ必要なコマ数分の撮像を繰り返して、画像データを対応する画像データファイル71−1から71−nに画像データを蓄積する。
<ぶれ補正手順>
次に、表示装置画面に、メニューを表示する。ここで、撮像の終了した画像データについて、ぶれ補正を行うかをユーザに問うと共に、指示を受け付ける画面を表示することができる。ここで、不要とされれば、処理は終了する。一方、必要とされた場合には、ぶれ補正の処理に移行する。すなわち、CPU51は、メモリ52にぶれ補正プログラム64をロードして実行する。
ぶれ補正は、コンピュータ50が細胞計測支援システムとして機能することにより実現される。このシステムによるぶれ補正の考え方は次の通りである。
二次元的対象物を連続して観察する場合において、フレーム間における視点の角度や対象物との距離などの変化が観察像の特徴に大きく影響しない場合、補正すべきぶれの方向は二次元平面上に限定され、各フレームのぶれ情報は平面上における画像位置の変化量によって表すことができる。このぶれは平面上の単純な平行移動であり、高速に計算することができる。さらに、例えばカメラあるいは観察対象物をロボットなどでXY方向に移動させて複数の視点を巡回させ、その各々の視点について連続写真を得る場合などには、特にモータのXY方向の位置決め精度の誤差によるぶれが問題となる。その場合には平面の回転方向のぶれは特に問題とならないため、ぶれ方向はXY方向のみに限定されることから、計算はさらに高速に行うことができる。
このぶれ情報を、一連の画像データと共にコンピュータ上に記録しておき、例えば一連の画像を連続写真として画面上に表示する場合や各時間での細胞の位置座標を相対的に比較したい場合などに、そのぶれ情報データを読み込むことによって、ぶれ補正を高速に行うことができる。この方法によると、あらかじめぶれ情報データを計算しておくことにより、後の様々な処理や解析などを行う際にはユーザの指令に合わせて速やかにぶれ補正の反映された結果を得ることができる。また元の写真には何ら加工を施すことがないため、例えば科学的研究過程など未加工の元データを保存しつつ様々な処理や解析を実行したい場合にも有用である。
平面方向におけるぶれ幅を計算する具体的な実施方法は、不動であることがあらかじめ分かっている平面状の固定点を基準として指定し、その基準のフレーム間での位置変化の情報をぶれ幅としてコンピュータ中に保持する。これにより画面中を多数の点が移動する場合(例えば画面中に多数存在する細胞が様々に運動する場合)などについても、その移動点の動きによる影響を低減し、各フレームのぶれを補正して位置を合わせることができる。さらに画像中の一部の基準点のみに注目してその位置の変化を追うため、計算対象がその基準点のみに限定され、計算処理時間を短縮することができる。
次に、コンピュータ50によるぶれ補正の具体的手順について図面を参照して説明する。
コンピュータ50は、画像データファイルごとに、表示装置にいずれかのフレームを選択すべきことを表示して、指示を待つ(図2ステップ11)。ここでは、サイト1に対応する画像データファイル71−1について説明する。ただし、後のファイルについても同様の処理を行うが、同じ手順の繰り返しであるので説明を省略する。
選ばれたフレーム(ユーザ指定フレーム)の画像を表示装置40に表示する。その上で、基準図形とすべき図形の選択をユーザに促す。その際、画面上に、必要な処理をどのように行うかのガイドメッセージを表示する。図13にその一例を示す。図13では、画面に、細胞の静止画が表示されている。これは、例えば、ユーザが選択したフレーム712の写真表示部701に、細胞702が表示され、また、基準図形となりうる不動体図形Obj1が表れている。また、画面の右隅に、ガイドメッセージを含むガイドウインドウ703が表示されている。従って、ユーザは、このガイドメッセージに従って、必要な操作を行うことができる。
これに従って、ユーザが特定の図形(Obj1)を囲む領域を基準領域Sとして指示すると(図2ステップ12)。図14に領域Sを指定した枠の例が示されている。
CPU51は、これを受けて、基準領域に関するデータを取得して、ユーザ指定フレーム712を基準として他の対象フレーム711,713,714等との比較を行う。この比較は、例えば、基準図形ObjSに対応する図形Obj1を各写真よりパターンマッチングなどで見つける(図2ステップ13)。この後、CPU51は、各写真(フレーム)の(x、y)のぶれ幅を示す数値列を、ぶれ量のデータ721としてメモリ52に一時的に保持する(図2ステップ14)。さらに、CPU51は、ぶれ量データ721の各数値について、最小値がゼロとなるように全値を規格化する(図2ステップ15)。ここで、ぶれ量は相対的位置関係のみが問題であるから、最小値でそろえて規格化する。最大値は別途最大値データ723としてメモリ52において保持する。このようにして求めた規格化されたぶれ量データ722およびぶれ量の最大値723は、補助記憶装置53に、対応するサイトの画像ファイルとの対応関係を保って保存される。
例えば、ユーザにより予め指定されたフォルダに、当該写真のファイル名を付すると共に、フォルダ内に、サイトを識別するための識別子(サイトID)とフレーム番号とを含めて関係付けを行って、各写真を保存することができる。また、ぶれ量データについては、例えば、ユーザが指定したフォルダに、サイトIDを含むファイル名で、ぶれ補正データ72として保存することができる。
次に、ぶれ幅計算の処理手順の詳細についてさらに説明する。
まず、基準点指定による方法について説明する。この方法では、ユーザが一連の連続写真(各サイトにおける連続するフレームであって、各フレームはあたかも写真のように見えるので以下の説明ではフレームに表される画像を写真と表現することもある)より、特定写真の特定部位をぶれ補正計算の基準領域として指定する指示を、入力装置30を介して受け付ける(図3ステップ121)。以下、この領域を領域Sと呼び、また、特定部位の位置座標を(sx、sy)とする。具体的には、画像中に常に表れる長方形を選び、その左上の頂点の位置座標を基準とすることができる。
また、ユーザがぶれ補正の計算範囲を指定する指示を、入力装置30を介して受け付ける。この値をScanLengthとおく(図3ステップ122)。これらのユーザによる指示の入力は、いずれについても、画面上に操作ガイドを表示して、正しく入力できるようにすることが好ましい。
CPU51は、連続写真の各フレームのぶれ幅(ぶれ量)を計算する(図3ステップ123)。具体的には、領域Sをテンプレートとして、(sx±ScanLength, sy±ScanLength)の範囲でテンプレートマッチングを行い、最も一致する(bx,by)を決定する(図3ステップ124)。すなわち、領域Sを(bx,by)だけ平行移動した領域を領域S’とする。対象フレームの領域S’の画像を、ユーザ指定フレームの領域S’の画像と比較し、その一致度を数値化する。その一つの方法として、例えば、図4に示すように、SとS’の領域内について、各々の領域におけるピクセルの濃淡値を取得して、その差をとる(図4ステップ1231)。この差の全ピクセルでの合計値を得る(図ステップ1232)。得られた合計値を、一致度を示す指標として採用する場合、数値が小さいほど一致度が高くなる。このように、数値化として、例えば差分画像における各ピクセルの濃度の和を取るとすると、一致度が低いほどその数値は高くなる。実際に計算する場合は、領域SおよびS’上のピクセルについて、順次差分値の和を取っていけば、平均画像を生成することなく一回のスキャンで計算できる。
この一致度が最高となる(bx,by)を各フレームについて計算し、さらに、それらの最小値がX,Yの各々について0となるように規格化したものを、各フレームのぶれ幅としてぶれ量データ721に記録する(図3ステップ125)。
このようにして得られたぶれ量データ721について、各フレームのぶれ幅の値を、最小値がゼロとなるように規格化する(図2ステップ15)。具体的には、ぶれ幅(bx,by)の最小値を、上で得られた全てのフレームのぶれ幅値から引く。ここで、ぶれ幅は相対的な値として意味があるので、全てのフレームのぶれ幅を一定の値だけずらしても本質的に問題はない。得られた各フレームのぶれ幅を、規格化ぶれ量データ723として、補助記憶装置のデータ72に保存する。
次に、ぶれ量を求める方法は前述したものに限られない。ここで、他の方法について説明する。
上述した例では、基準領域S、および、ぶれ幅の計算範囲の領域S’を、手動、すなわち、ユーザが入力装置30を介して指示することにより決定している。しかし、例えば、観察対象において固定された点の形状および分布などの特徴が予め分かっている場合には、その特徴を基にして、コンピュータが自動的に基準領域Sを指定する構成とするができる。具体的には、例えば、観察支援機器に対して予め固定されている関係にあることが既知の物体の像を、テンプレートマッチングを行うことで検索することなどが挙げられる。また、計算範囲について、ぶれの程度がある程度予め予想できる場合、十分な範囲をあらかじめ設定することにより手動設定の必要がなくなる。こうすることで、ぶれ補正計算全体を自動的に行うことも可能である。
また、さらに異なる方法もある。この方法について、図5を参照して説明する。この方法では、固定点が画面全体にわたっている、あるいは分散している場合には、画像全体を検索することにより行う。これは画面全体に行うのではなく、同様の方法をユーザが指定するなどした画面の特定領域において行うことも可能である。この例の場合、x、yを別々に決定する。x、yを別々に決定する方が、前述した図3に示す場合のようにx、yを同時に動かして、テンプレートマッチするより、計算量が減少し、高速になる。
CPU51は、ユーザがぶれ補正の計算範囲を指定するための入力を受け付ける。この値をScanLengthとおく。
コンピュータが各フレームの横方向のぶれ幅を計算する。具体的には、任意に選んだ基準となる画像と、対象画像の各々について、横方向のラインを適当な位置に適当な本数だけ選ぶ(図5ステップ131)。例えば、10ピクセル間隔で画面全体を覆うようにする。その各ラインでのピクセルの値の和(あるいは平均値)を取る(図5ステップ132)。こうして得られる数列(横方向のパターン)を、基準画像と対象画像とで比較する。対象画像のパターンの位置をずらしながら比較し、両パターンが最も一致する点を横方向のぶれ幅とする(図5ステップ133)。以上は横方向についての処理であるが、同様に、縦方向についてもぶれ幅を計算する。そして、すべてのフレームについて同じ処理を繰り返す。この後の処理として、ぶれ幅の規格化等は、前述した実施形態と同様である。
<ぶれ補正を行った動画再生>
画像の再生は、各サイトの画像データファイル71−iから選ぶことで、適宜行うことができる。CPU51は、予め、メニューとして、静止画表示(写真表示)と動画表示とを選択すること、いずれのサイトの画像を表示するかのサイトを選択すること、すべてサイトを特定の順で連続的に動画再生すること、すべてのサイトについて、特定の順位の静止画を順次表示すること等の選択肢を、並行的に、または、階層的に、表示装置40の画面に表示させる。そして、入力装置30を介してユーザからの指示の入力を受け付ける。受け付けた選択しに該当する処理を実行する。なお、ぶれ補正を有効とするか、無効とするかの選択肢も併せて表示する。これにより、ユーザの意思に基づいてぶれ補正を行って画像の再生を行うことができる。
ぶれ補正を有効とした画像の連続表示(動画再生)について、図6を参照して説明する。これは、ユーザが、一連の写真をぶれ補正した上で表示する要求を入力装置30を介してコンピュータ50に要求したことに対応して、コンピュータ50内部において行われる処理である。すなわち、前述したぶれ補正処理と共に、コンピュータ50による細胞測定支援機能の一部として行われる。
まず、元の画像のサイズが、(Ixピクセル×Iyピクセル)とする。CPU51は、図6に示すように、予め計算しておいたぶれ幅データの値をぶれ量データ722から取得する(図6ステップ21)。対象とする画像のぶれ幅が(bx,by)であるとする。一方、一連の画像におけるぶれ幅(規格後)の最大値723が(bx,by)(bxmax,bymax)であるとする。
この場合に、(bx,by),(bx,Iy−bymax+by),(Ix−bxmax+bx,by),(Ix−bxmax+bx,Iy−bymax+by)で張られる四角形を画面に表示する。ここで、画像のサイズは、元の画像サイズより(bxmax,bymax)だけ縮小される(図6ステップ22)。すなわち、画面として表示される有効範囲が(bxmax,bymax)分オフセットされることとなる。
これを一連の画像について連続的に画面に表示する、または、並べて表示すると、ぶれ補正された画像が得られる(図6ステップ23)。
これにより、静止画の表示はもとより、動画表示を行っても、ぶれに基づく画面のずれが補正され、動画表示であっても画面が揺れるという事態の発生を抑圧することが可能となる。
<画面上の位置情報の補正>
ぶれに伴って画面上のある物体の画面での位置についてもそのアドレスにぶれを生じる。従って、画面上に表れる物体の座標を取得する際にもぶれ補正を要する。例えば、画面上の細胞の位置や分布などについて、各フレームの間で比較可能な値を取得するためには、位置座標を補正する必要がある。
そこで、例えば、ユーザが、ぶれ補正後の座標を取得するよう、入力装置30を介して要求した場合に、コンピュータ50は、その内部で、ぶれ補正の一環として、次の処理を実行する。すなわち、画像上の対象物の座標より、ぶれ量データ722より取得されたぶれ量情報を差し引けば良い。
例えば、図7に示すように、表示されている画面中の目的の点について、入力装置30のうち、例えば、マウスを用いてポイントを受け付ける。コンピュータ50は、ポイントされた画面上の点のアドレスを取得する(図7ステップ31)。それが、例えば、(x1,y1)であるとする。ぶれ量データ722より対応するぶれ量を取得して(図7ステップ32)、画面上のアドレスとぶれ量との差を採ることにより、他のフレームと相対的に比較することが可能な座標を得ることができる(図7ステップ33)。
<ぶれ補正データによる背景画計算>
画面内から特定の画像を抽出する等の場合に、背景が抽出の妨げとなったり、誤差の原因となったりすることがある。そのため、背景を除去することが必要となる場合がある。しかし、フレーム間にぶれがあると、本来、固定であるべきものが変位してしまい、背景ではなくなってしまうという誤差が生じる。そこで、本実施形態では、背景画像は、一連の画像ファイルについて、ぶれ補正をした後に各点での平均値を求めることにより取得する。図8は、平均値を算出することを概念的に示している。
以下に、その計算手順の一例について、図9を参照して説明する。なお、この手順は、ユーザが入力装置30を介してコンピュータに処理の要求を入力してそれが受け付けられることにより自動的に実行される。実行されるタイミングは、ぶれ補正を実行した直後か、背景画像が始めて必要となった場合、あるいは、ユーザが明示的に指令した場合などである。この計算方法は、同一視野における複数枚の一連の写真があらかじめ存在する場合に可能である。図8には、1番目の処理(1)と、k番目の処理(K)とが示されている。
まず、図8に示すように、写真(フレーム)のぶれ量情報として、あらかじめ計算しておいた値(ぶれ量データ722)を取得する(図9ステップ41−1)。ここで、元の画像のサイズが、(Ixピクセル×Iyピクセル)とする。また、n番目の画像のぶれ量が(bxn,byn)であるとする。さらに、一連の画像におけるぶれ幅(規格後)の最大値が(bxmax,bymax)であるとする。
背景画像のサイズは、もとの画像サイズよりぶれ幅の最大値を引いた値、すなわち(Ix−bxmax)×(Iy−bymax)となる。背景画像を作成するために、(Ix−bxmax)×(Iy−bymax)の画像Hを作成する(図9ステップ42−1)。画像Hに、ぶれ補正した1番目の画像(すなわち(bx1,by1),(bx1,Iy−bymax+by1),(Ix−bxmax+bx1,by1),(Ix−bxmax+bx1,Iy−bymax+by1)で張られる四角形)を入れる。
計算済の写真の枚数を変数として設定する。この変数名を例えばpnumとする。この段階では、一枚目の写真を処理したため、pnum=1とする(図9ステップ43−1)。以下の計算を、適当なkについて繰り返す。(実用的には、フレーム数が10枚以下の場合は、全てのフレーム、10枚以上の場合は、一連のフレームから一定の間隔をおいて、全部で10枚選ぶようにする。例えば、フレームが30ある場合は、3枚おきに、全部で10枚選ぶなどする。フレーム数は多ければ多いほど良いということは必ずしもなく、むしろ計算時間がいたずらに増えるため、枚数を適当に抑えて選ぶことが好ましい。
k番目の画像について、前述した1枚目と同様に、ぶれ補正した画像を取得し、pnumを1増加する(図9ステップ41−kから43−k)。
次に、画像Hの、全てのピクセルについてその値に(pnum-1)をかけ、各々対応する位置での(43−k)の画像のピクセル値を足し、得られた値をpnumで割り、それを新たな画像Hとする(図9ステップ44−k)。ここで、画像Hは、これまでに計算したpnum枚の写真の平均画像となっている。つまり、n個の要素よりなる配列(a1,a2,…an)の平均N(n)=(a1+a2+…+an)/nとなる。同様に、要素の数がn+1となると、N(n+1)=(a1+a2+…+an+a(n+1))/(n+1)となり、N(n+1)=(N(n)*n+a(n+1))/(n+1)となる。画像Hをその一連の写真の背景画像としてコンピュータに保存する(図9ステップ45−k)。
なお、ここでの計算手順について、画像中の各点について対象となる全てのフレームの値を一度に足し合わせ、画面フレームの数で割る、という計算手順を全てのピクセルについて行なう、という通常の平均値計算でももちろん実行することは可能である。
<動く物体(細胞)の画像分離>
対象とするフレームについて、ぶれ補正した後の画像と背景画像との差分をとることにより、動点のみを抽出することができる。
ここで、例えば、観察したい対象物の光学的特徴が既知な場合、例えば、背景よりも色が濃い、などについて、その条件により、さらに動点を絞りこむこともできる。例えば、顕微鏡で細胞を観察する場合、細胞の輪郭は周囲よりも色が濃い(黒っぽい)ため、背景画像よりも濃い(RGB値が低い)ピクセルだけを抽出するようにすると、より精度が高まる。この手順は、コンピュータ50の内部で実行され、場合により、結果が、表示装置40により、ユーザに示される。実行されるタイミングは、プログラムの他の部分(解析部分など)より要請があった場合か、ユーザによりコンピュータ50に対して明示的に命令があった場合となる。以下、その計算手順の一例について、図10を参照して説明する。
写真のぶれ幅情報として、あらかじめ計算しておいた値(ぶれ量データ722)を取得する(図10ステップ51)。また、背景画像として、あらかじめ計算していたものを取得する(図10ステップ52)。ここで、もとの画像のサイズが、(Ixピクセル×Iy ピクセル)とし、対象とする画像のぶれ幅が(bx,by)であるとする。また、一連の画像におけるぶれ幅(規格後)の最大値が(bxmax,bymax)であるとする。ぶれ量データ722を用いて、補正後の領域を抽出する(図10ステップ54)。出力される抽出画像は、背景画像と同じ(Ix−bxmax)×(Iy−bymax)のサイズとなる。
次に、背景画像の座標(x、y)におけるピクセルの値と、対象とする画像の座標(x+bx,y+by)におけるピクセルの値とを比較し、前者が大きい場合に、両者の差の値を出力する抽出画像の座標(x、y)におけるピクセルの値とする(図10ステップ55)。この計算を、x=0〜Ix−bxmax、y=0〜Iy−bymaxで繰り返す。これにより、動く点のみ抽出される。
計算の結果得られた抽出画像を、表示装置40の画面に表示する。また、ファイルに保存する。さらに、図示していないプリンタによりプリントアウトする。これらのデータは、保存しておくことにより、他の解析に用いることができる。
<動く物体(細胞)の識別、計数>
前述した動点の抽出画像により、画面中を動く物体を塊ごとに分け、物体の数や大きさなどの情報を取得することができる。これについて、図11、図12を参照して説明する。
各種閾値について、デフォルトの値を読み込む。ユーザが特に変化を加えなかった場合は、これをユーザ指定の閾値とする。ユーザが変化を加えた場合、それをユーザ指定の閾値とする。
一連の写真について、ぶれ情報および背景画像を取得する。存在しない場合は、ユーザに対して、ぶれ補正データおよび背景画像を作成するよう要求するメッセージを表示装置の画面上に表示する。または、コンピュータ50が自動的に計算する。いぶれにせよ、両方のデータが揃うまで、以下の計算は開始しない。
前述した背景画像処理、動く物体の画像分離処理について実行し、動点の分離画像を取得する(図11ステップ61)。差分画像を、適当な計算式により2値化する(図11ステップ62)。ここでは、各ピクセルのRGB各々の値が、ユーザ指定の閾値より高いかどうかで2値化する。以下、ここで得られた画像を2値化画像と呼ぶ。この場合、RGB(Red, Green, Blue)各々についてばらばらに2値化するため、ピクセル一点につき3色ぶんの情報がある。すなわちR,G,B各々について0もしくは1の値をとり、組み合わせは8通りとなる。このように、色ごとに分けずに、これらの情報から例えば輝度や平均値を計算して一つの値とし、それをもとに2値化することも可能である。その場合、各ピクセルの取る値は0もしくは1の2通りのみの、通常の2値化画像となる。
2値化画像を、適当なサイズのメッシュに区切る。ここでは、メッシュサイズを(縦3ピクセル×横3ピクセル)とした。この場合、各メッシュ内における2値化画像のピクセル値の総和は、3色別々の場合0から27の間の値となる(1つのパラメータにまとめた場合は0から9の値となる)。この総和の値が、ユーザが指定した閾値より高いかどうかで2値化する(9ピクセル分の情報をとるため、これにより孤立点などのノイズがある程度除去できる)。ここで得られる画像を、メッシュ2値化画像とする(図11ステップ63)。
メッシュ2値化画像を、左から右、上から下に検索する。まず、左から右に検索し、右端にきたら一つ下の段を検索する。その際、
該当メッシュの値が0の場合⇒何もしない
該当メッシュの値が1の場合:
(1)上、左隣のメッシュがともに0
メッシュの値に新しい物体番号を割り振る。
物体(細胞)ID構造体を新規作成し、物体(細胞)ID構造体のリストに追加する。追加した物体(細胞)ID構造体の、細胞番号に、割り振った細胞番号を入れる。物体(細胞)ID構造体の位置座標に、メッシュの位置情報を入れる。物体(細胞)ID構造体の物体(細胞)サイズを1とする。
ここで物体(細胞)ID構造体とは、各番号の振られた物体(もしくは細胞)に関する一連の情報を格納するための構造体として定義したものである。物体の位置座標、サイズ連結番号などを構成員とする。
(2)左のメッシュ値が0、上のメッシュ値が非0
メッシュ値を上のメッシュの値と同一にする。
メッシュ値に対応する物体(細胞)ID構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。
メッシュ値に対応する物体(細胞)ID構造体の物体(細胞)サイズを1増加する。
(3)左のメッシュが非0、上のメッシュが0
メッシュ値を左のメッシュの値と同一にする。
メッシュ値に対応する物体(細胞)ID構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。
メッシュ値に対応する物体(細胞)ID構造体の物体(細胞)サイズを1増加する。
(4)上、左隣のメッシュがともに非0
メッシュ値を左のメッシュの値と同一にする。
メッシュ値に対応する物体(細胞)ID構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。
メッシュ値に対応する物体(細胞)ID構造体の物体(細胞)サイズを1増加する。
上のメッシュに対応する物体(細胞)ID構造体の連結番号に、左のメッシュ値を入れる。上のメッシュの連結番号に既にメッシュ値が入っている場合はそのまま変更しない。
このように、画像中に含まれる物体(細胞)にそれぞれ番号(識別子)が付されるため、物体の数、大きさ、位置等の情報が、物体を識別して、物体ごとに得られることとなる。
<細胞の連結処理>
リスト内の全ての物体(細胞)ID構造体について、連結番号が存在する場合については、その物体(細胞)IDを連結番号で示された物体(細胞)IDに吸収させる。すなわち、連結番号に対応する物体(細胞)IDの、サイズ及び座標情報を更新する
もとの物体(細胞)IDをリストから削除する。
<サイズ閾値処理>
リスト内の全ての物体(細胞)ID構造体について、物体(細胞)サイズの確認を行う。物体(細胞)サイズが、ユーザが指定した閾値より小さい場合は、その物体(細胞)ID構造体をリストより削除する。
上の処理で残った物体(細胞)ID構造体により示されるものを、細胞として扱う。リスト内の物体(細胞)ID構造体の数が細胞の数となる。また、物体(細胞)ID構造体の座標情報から、細胞として識別した画像上の領域を、画面上に表示することも可能である。現在のプログラムでは、細胞の領域を緑斜線で覆い、さらに細胞として個々に識別された領域のx,y方向の両範囲を黄色線の十字マークで示している。
図1は、本発明の一実施形態に係る細胞観察装置の構成の概要を示すブロック図。 本発明の一実施形態におけるフレーム間で生じるぶれを補正するためのぶれ量データを生成する手順を示す説明図。 本発明の一実施形態において、基準と対象との比較によりぶれ量を求める手順を示す説明図。 本発明の一実施形態において用いることができる基準領域と対象領域との一致度を比較する手法の一例を示す説明図。 本発明の一実施形態において用いることができる基準領域と対象領域との一致度を比較する手法の他の例を示す説明図。 本発明の一実施形態におけるぶれ補正の一例を示す説明図。 本発明の一実施形態における、画面上に表れる物体の座標をぶれ補正した後に取得する手順を示す説明図。 本発明の一実施形態において、ぶれ補正して背景画像を取得する手法の概要について示す説明図。 本発明の一実施形態において、ぶれ補正して背景画像を取得する手法の具体例について示す説明図。 本発明の一応用例であって、動くものの画像を分離する手順の一例を示す説明図。 本発明の他の応用例であって、動くものの画像を識別すると共に計数する手順の一例の一部を示す説明図。 本発明の他の応用例であって、動くものの画像を識別すると共に計数する手順の一例の残部を示す説明図。 本発明の一実施形態においてぶれ量を求めるための基準となる領域を指定するための手順の一例を示す説明図。 本発明の一実施形態においてぶれ量を求めるための基準となる領域を指定するための手順にしたがって領域Sが指定された状態の一例を示す説明図。
符号の説明
10…顕微鏡、20…撮像装置、30…入力装置、40…表示装置、50…コンピュータ、51…中央処理ユニット(CPU)、52…メモリ、53…補助記憶装置、60…プログラム群、61…シーケンス制御プログラム、62…ステージ制御プログラム、63…撮像制御プログラム、64…ぶれ補正プログラム、65…動画再生プログラム、66…データ加工プログラム、70…データ、71…画像データ、71−i…画像データファイル、72…ぶれ補正データ、73…計測加工データ。

Claims (6)

  1. 顕微鏡と、撮像装置と、撮像の制御および撮像された画像の処理を行うコンピュータと、入力装置と、表示装置とを含む細胞計測装置において、
    前記コンピュータは、
    前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
    前記取得した画像を保存する手段と、
    前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
    前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を有し、
    前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
    前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させること
    を特徴とする細胞計測装置。
  2. 請求項1に記載の細胞計測装置において、
    前記ぶれ量データを生成する手段は、
    ぶれ量の補正を行うための基準となる画像、当該画像中に含まれる特定の図形についての指定を、当該指定のための画像を前記表示装置に表示すると共に、前記入力装置を介して指定を受け付け、前記指定された画像において指定された図形を基準の図形として、ぶれ量を示すデータを生成すること
    を特徴とする細胞計測装置。
  3. 顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータにより実現され、撮像の制御および撮像された画像の処理を行う細胞計測システムにおいて、
    前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
    前記取得した画像を保存する手段と、
    前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
    前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を前記コンピュータにより実現される機能として有し、
    前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
    前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させること
    を特徴とする細胞計測支援システム。
  4. 請求項3に記載の細胞計測支援システムにおいて、
    前記ぶれ量データを生成する手段は、
    ぶれ量の補正を行うための基準となる画像、当該画像中に含まれる特定の図形についての指定を、当該指定のための画像を前記表示装置に表示すると共に、前記入力装置を介して指定を受け付け、前記指定された画像において指定された図形を基準の図形として、ぶれ量を示すデータを生成すること
    を特徴とする細胞計測支援システム。
  5. 顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータに、撮像の制御および撮像された画像の処理を行う細胞計測システムを実現させるプログラムであって、
    前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
    前記取得した画像を保存する手段と、
    前記保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、
    前記生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を前記コンピュータにより実現させ、
    前記ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのxy方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存し、
    前記ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、前記表示装置に表示させること
    を特徴とする細胞計測支援をコンピュータに実現させるプログラム。
  6. 請求項5に記載の細胞計測支援をコンピュータに実現させるプログラムにおいて、
    前記ぶれ量データを生成する手段は、
    ぶれ量の補正を行うための基準となる画像、当該画像中に含まれる特定の図形についての指定を、当該指定のための画像を前記表示装置に表示すると共に、前記入力装置を介して指定を受け付け、前記指定された画像において指定された図形を基準の図形として、ぶれ量を示すデータを生成すること
    を特徴とする細胞計測支援をコンピュータに実現させるプログラム。
JP2003400377A 2003-11-28 2003-11-28 細胞計測支援システムおよび細胞観察装置 Expired - Lifetime JP4477863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003400377A JP4477863B2 (ja) 2003-11-28 2003-11-28 細胞計測支援システムおよび細胞観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003400377A JP4477863B2 (ja) 2003-11-28 2003-11-28 細胞計測支援システムおよび細胞観察装置

Publications (2)

Publication Number Publication Date
JP2005164707A true JP2005164707A (ja) 2005-06-23
JP4477863B2 JP4477863B2 (ja) 2010-06-09

Family

ID=34724666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003400377A Expired - Lifetime JP4477863B2 (ja) 2003-11-28 2003-11-28 細胞計測支援システムおよび細胞観察装置

Country Status (1)

Country Link
JP (1) JP4477863B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023494A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム
JP2006243608A (ja) * 2005-03-07 2006-09-14 Nikon Corp 顕微鏡システム
JP2007175026A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd インジェクション装置およびインジェクション方法
JP2008185922A (ja) * 2007-01-31 2008-08-14 Nikon Corp 顕微鏡
JP2008197992A (ja) * 2007-02-14 2008-08-28 Nikon Corp 顕微鏡画像処理システムおよび顕微鏡画像処理方法
WO2009081832A1 (ja) * 2007-12-20 2009-07-02 Nikon Corporation タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP2016009163A (ja) * 2014-06-26 2016-01-18 オリンパス株式会社 顕微鏡システム
JP2016012891A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP2016102786A (ja) * 2014-11-12 2016-06-02 東洋紡株式会社 有形成分分析装置及び有形成分分析方法
GB2550202A (en) * 2016-05-13 2017-11-15 Solentim Ltd Sample imaging and image deblurring
JP2019020619A (ja) * 2017-07-19 2019-02-07 大日本印刷株式会社 画像表示装置、プログラム及び制御方法
JP2023002517A (ja) * 2016-09-02 2023-01-10 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023494A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム
JP4720119B2 (ja) * 2004-07-07 2011-07-13 株式会社ニコン 顕微鏡観察画像取得方法および顕微鏡システム
JP2006243608A (ja) * 2005-03-07 2006-09-14 Nikon Corp 顕微鏡システム
JP2007175026A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd インジェクション装置およびインジェクション方法
JP2008185922A (ja) * 2007-01-31 2008-08-14 Nikon Corp 顕微鏡
JP2008197992A (ja) * 2007-02-14 2008-08-28 Nikon Corp 顕微鏡画像処理システムおよび顕微鏡画像処理方法
WO2009081832A1 (ja) * 2007-12-20 2009-07-02 Nikon Corporation タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
US8503790B2 (en) 2007-12-20 2013-08-06 Nikon Corporation Image-processing method, image-processing program and image-processing device for processing time-lapse image
JP2016009163A (ja) * 2014-06-26 2016-01-18 オリンパス株式会社 顕微鏡システム
JP2016012891A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP2016102786A (ja) * 2014-11-12 2016-06-02 東洋紡株式会社 有形成分分析装置及び有形成分分析方法
GB2550202A (en) * 2016-05-13 2017-11-15 Solentim Ltd Sample imaging and image deblurring
GB2550202B (en) * 2016-05-13 2020-05-20 Solentim Ltd Sample imaging and image deblurring
US11282175B2 (en) 2016-05-13 2022-03-22 Solentim Ltd Sample imaging and image deblurring
JP2023002517A (ja) * 2016-09-02 2023-01-10 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
JP7418715B2 (ja) 2016-09-02 2024-01-22 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
JP2019020619A (ja) * 2017-07-19 2019-02-07 大日本印刷株式会社 画像表示装置、プログラム及び制御方法
JP6996145B2 (ja) 2017-07-19 2022-01-17 大日本印刷株式会社 画像表示装置、プログラム及び制御方法

Also Published As

Publication number Publication date
JP4477863B2 (ja) 2010-06-09

Similar Documents

Publication Publication Date Title
US7929738B2 (en) Microscope apparatus and microscope system
JP4779041B2 (ja) 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
JP5096302B2 (ja) 撮像装置
JP4477863B2 (ja) 細胞計測支援システムおよび細胞観察装置
US20120002032A1 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP2010139890A (ja) 撮像装置
JP2011124948A (ja) 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
JP2016125913A (ja) 画像取得装置及び画像取得装置の制御方法
JP4847101B2 (ja) 顕微鏡システム
JP4709762B2 (ja) 画像処理装置及び方法
US7936948B2 (en) System and method for merging differently focused images
JP2013153429A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
CN105208263B (zh) 图像处理装置及其控制方法
JP2007017930A (ja) 顕微鏡装置
JP5149984B2 (ja) 撮像装置
JP5209100B2 (ja) 撮像装置
JP4197898B2 (ja) 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体
JP2010200360A (ja) 撮像装置、ストロボ画像生成方法、および、プログラム
JP2017045430A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR100556013B1 (ko) 미소 치수 측정 장치
JP2013034208A (ja) 撮像装置
JP2007194784A (ja) 画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2020088507A (ja) 画像処理装置、画像処理方法
JP2014202673A (ja) マルチバンド撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3