JP2015033006A

JP2015033006A - 画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システム

Info

Publication number: JP2015033006A
Application number: JP2013161532A
Authority: JP
Inventors: 新垣　英哉; Hideya Aragaki; 英哉新垣
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-08-02
Filing date: 2013-08-02
Publication date: 2015-02-16

Abstract

【課題】顕微鏡を用いて撮像された画像に含まれる被写体の動きブレを補正する画像処理装置を提供する。
【解決手段】長時間露光画像取得部１２０は、例えば発光画像といった動きブレを含む長時間露光で撮像された長時間露光画像を取得する。短時間露光画像取得部１１０は、長時間露光画像の前後に撮像された、例えば位相差画像といった動きブレが含まれない短時間露光画像を取得する。動き推定部１３０は、長時間露光画像の前後に撮像された短時間露光画像に基づいて、被写体の動きを推定する。ＰＳＦ設定部１４２は、被写体の動き推定結果に基づいて、ＰＳＦを設定する。デコンボリューション部１４４は、ＰＳＦを用いて、長時間露光画像に含まれる動きブレを補正するデコンボリューションを行う。
【選択図】図１

Description

本発明は、顕微鏡を用いて撮像された被写体の動きブレを補正する画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システムに関する。

生物学分野や医学分野の研究において、細胞等の生体試料の生物学的活性をレポータアッセイにより検出する技術が広く利用されてきた。レポータアッセイでは、活性を調べたい細胞の遺伝子を、例えば蛍光発現・発光を伴うレポーター遺伝子（緑色蛍光タンパク質ＧＦＰやルシフェラーゼ遺伝子等）に置き換え、その生物学的活性を表す蛍光、発光強度を観測することにより可視化することができるようになる。レポータアッセイによれば、例えば生体試料と調べたい生体関連物質とを画像化して、生体試料内外における発現量や形状特徴の変化を経時的に観察することができる。

発光試料の撮像では、発光が極めて微弱で、発光試料を撮像するには長時間露光条件による撮影が必須となるため、長時間露光撮影による被写体である細胞の動きを反映した一般にモーションブラーと呼ばれる動きブレが発生しやすく、安定して鮮明な画像を撮影することは難しい。

長時間露光において発生するブレによる画像劣化を抑制する画像処理装置に係る技術が、例えば特許文献１に開示されている。この画像処理装置には、動き検出回路と、エンハンサ制御回路と、アパーチャ補正用エンハンサとが設けられている。動き検出回路は、フレーム間の相対的な動きずれ量を含む動き情報を検出する。エンハンサ制御回路は、この動き情報を用いて、アパーチャ補正用エンハンサの動作を制御する。エンハンサ制御回路は、シャッター速度が遅い程、及び相対的な位置ずれ量が大きい程、エンハンス量が増すように利得を制御する。この画像処理装置は、被写体の形状として元々なまっているエッジと画像ブレによりなまってしまったエッジとを区別し、各々のエッジに適切なエンハンスを施すことで、長時間露光により発生する被写体のブレを補正する。

特開平６−２７６４１３号公報

特許文献１の画像処理装置は、前フレームの長時間露光画像と現フレームの長時間露光画像との間の相対的な画像のずれ量を検出している。このため、各々の画像に含まれる動きブレを算出するのは困難である。

顕微鏡を用いて長時間露光により被写体を撮像する際にも、被写体の動きブレによる画像劣化が少ない鮮明な画像の取得が望まれる。

そこで本発明は、顕微鏡を用いて撮像された画像に含まれる被写体の動きブレを補正する画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システムを提供することを目的とする。

前記目的を果たすため、本発明の一態様によれば、画像処理装置は、長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得する長時間露光画像取得部と、短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得する短時間露光画像取得部と、前記短時間露光画像に基づいて、前記被写体の動きを推定する動き推定部と、前記動き推定部が推定した前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正するブレ補正部とを備える。

前記目的を果たすため、本発明の一態様によれば、画像処理方法は、長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得することと、短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得することと、前記短時間露光画像に基づいて、前記被写体の動きを推定することと、前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正することとを含む。

前記目的を果たすため、本発明の一態様によれば、画像処理プログラムは、コンピュータに、長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得することと、短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得することと、前記短時間露光画像に基づいて、前記被写体の動きを推定することと、前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正することとを実行させる。

前記目的を果たすため、本発明の一態様によれば、顕微鏡システムは、長時間露光による被写体の長時間露光画像と短時間露光による前記被写体の短時間露光画像とを取得する顕微鏡撮像部と、前記短時間露光画像に基づいて、前記被写体の動きを推定する動き推定部と、前記動き推定部が推定した前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の動きブレを補正するブレ補正部とを備える。

本発明によれば、顕微鏡を用いて撮像された画像に含まれる被写体の動きブレを補正する画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システムを提供できる。

一実施形態に係る顕微鏡システムの構成例の概略を示すブロック図。一実施形態に係る位相差画像と発光画像との取得のタイミング例の概要を示すタイミングチャート。一実施形態に係る画像処理部による処理の一例を示すフローチャート。

本発明の一実施形態について説明する。生物学分野や医学分野の研究において、細胞等の生体試料の生物学的活性をレポータアッセイにより検出する技術が広く利用されてきた。レポータアッセイでは、活性を調べたい細胞の遺伝子を、例えば蛍光発現・発光を伴うレポーター遺伝子（緑色蛍光タンパク質ＧＦＰやルシフェラーゼ遺伝子等）に置き換え、その生物学的活性を表す蛍光、発光強度を観測することにより可視化することができるようになり、例えば生体試料と調べたい生体関連物質とを画像化して、生体試料内外における発現量や形状特徴の変化を経時的に観察することができる。また、具体的にレポーター物質としての蛍光や発光を用いる観察を利用する研究分野では、試料内のタンパク質分子の動的な機能発現を捉えるためにタイムラプス（微速度撮影）が行われている。

蛍光試料のタイムラプス撮影の場合、励起光を照射し続けることで蛍光試料から発せられる光量が時間の経過とともに減少するという性質があるため、空間分解能の高い鮮明な画像を短い露出時間で撮ることができるが、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。

一方、発光試料を対象としたタイムラプスによる動的変化の経時的観察においては、蛍光を用いた撮像と異なり励起光を照射する必要がなく、空間分解能は低いが、定量的評価に利用可能な安定した画像を経時的に撮ることができ、これまで発光試料からの発光量の測定やその形状観察が行われている。

発光試料は、細胞に電気パルスをかけることで細胞内に発光遺伝子（ルシフェラーゼ遺伝子）を導入する電気穿孔法などにより生成され、ルシフェラーゼ遺伝子が導入された細胞の観察では、ルシフェラーゼ遺伝子の発現の強さ（具体的には発現量）や発現の分布から細胞形状を調べるために、ルシフェラーゼ活性に因る細胞からの発光量の測定が行われている。

しかしながら、発光試料の撮像では、発光が極めて微弱で、発光試料を撮像するには長時間露光条件による撮影が必須となるため、長時間露光撮影による被写体である細胞の動きを反映した一般にモーションブラーと呼ばれる動きブレが発生しやすく、安定して鮮明な画像を撮影することは難しい。

そこで本実施形態に係る画像処理装置は、被写体の動きブレを補正する。本実施形態に係る画像処理装置について、図１を参照して説明する。本実施形態に係る画像処理装置としての画像処理部１００は、短時間露光画像取得部１１０と、長時間露光画像取得部１２０と、動き推定部１３０と、ブレ補正部１４０とを備える。

長時間露光画像取得部１２０は、長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得する。ここで、被写体は例えば発光試料であり得る。また、長時間露光画像は、例えばこの発光試料を長時間露光によって撮影した発光画像であり得る。短時間露光画像取得部１１０は、短時間露光によって撮像された被写体の顕微鏡画像である短時間露光画像を取得する。ここで、短時間露光画像は、例えば位相差顕微鏡によって取得された位相差画像であり得る。

動き推定部１３０は、短時間露光画像に基づいて、被写体の動きを推定する。ブレ補正部１４０は、動き推定部１３０が推定した被写体の動きに基づいて、長時間露光画像に含まれる被写体の動きブレを補正する。このように、画像処理部１００は、顕微鏡を用いて撮像された画像に含まれる被写体の動きブレを補正することができる。

次に、本実施形態に係る画像処理装置としての画像処理部１００を含む顕微鏡システム１について説明する。顕微鏡システム１の構成例の概要を図１に示す。図１に示すように、顕微鏡システム１は、顕微鏡２００と、顕微鏡画像を取得するための撮像部３００と、撮像部３００で取得された画像を処理する画像処理部１００と、制御部４００とを備える。制御部４００は、顕微鏡システム１の各部の動作を制御する。このため、制御部４００は、顕微鏡２００、撮像部３００、画像処理部１００といった各部と接続している。

顕微鏡２００は、細胞の長時間露光画像及び短時間露光画像を得るために、複数の顕微鏡方式で機能する。例えば、顕微鏡２００は、長時間露光画像の取得に際して、発光顕微鏡として機能し、短時間露光画像の取得に際して、位相差顕微鏡として機能してもよい。顕微鏡２００は、光源装置２１０を含む。光源装置２１０は、顕微鏡観察で用いられる照明光を射出する。ここで、図１には、光源装置２１０から射出された光の光路が破線によって模式的に示されている。例えば、顕微鏡２００を位相差顕微鏡として機能させる場合には、光源装置２１０から射出された光の光軸上には、順に、リング絞り２２０と、コンデンサ２３０と、ステージ２４０と、対物レンズ２５０と、位相板リング２６０と、結像用レンズ２７０とが設けられている。標本である例えば細胞は、ステージ２４０上に設置される。リング絞り２２０及び位相板リング２６０は、位相差画像を取得するために必要な光学素子である。したがって、短時間露光画像の取得にあたって、位相差顕微鏡以外の方式を用いる場合には、リング絞り２２０と、位相板リング２６０は必ずしも配置する必要はない。

顕微鏡２００には、観察手法切替部２８０が設けられている。観察手法切替部２８０は、長時間露光画像を取得するための方式と、短時間露光画像を取得するための方式と、を切り替える。例えば、短時間露光画像の取得に際して、位相差顕微鏡の方式を利用する場合には、観察手法切替部２８０は、制御部４００、リング絞り２２０及び位相板リング２６０と接続している。また、短時間露光画像の取得に際して、位相差顕微鏡の方式を利用する場合には、観察手法切替部２８０は、制御部４００の制御下で、リング絞り２２０及び位相板リング２６０を、顕微鏡の光軸上に挿入したり、光軸上から抜き取ったりする。

短時間露光画像として位相差画像を取得する際には、観察手法切替部２８０は、リング絞り２２０及び位相板リング２６０を光軸上に挿入する。標本は、リング絞り２２０及びコンデンサ２３０等を介して光源装置２１０から射出された照明光で照明される。このとき、対物レンズ２５０による標本の拡大像は、位相板リング２６０及び結像用レンズ２７０等を介して後述する撮像部３００の撮像素子３１０上に結像する。

位相差顕微鏡は、光の回折現象を利用した顕微方式であり、異なる屈折率を持つ物質間を透過する光の位相差（光路差）をコントラストとした画像を得ることができる。位相差顕微鏡を用いた観察では、背景領域と試料との境界線上においてハロ（アーティファクト）と呼ばれる強いコントラストが発生する。位相差顕微鏡によって細胞を観察するとき、このハロは、主に背景領域と個々の細胞領域との境界部分にオーラ状の光として出現する。このため、位相差顕微鏡は、透明な細胞や微生物等を対象物とする観察に適している。位相差顕微鏡によれば、短時間露光によって細胞の境界が明瞭であるブレの無い鮮明な位相差画像が得られる。本実施形態では、短時間露光画像は、動きブレをほとんど含まない画像である。

一方、長時間露光画像として発光画像を取得する際には、観察手法切替部２８０は、リング絞り２２０及び位相板リング２６０を光軸上から抜き取る。このとき、照明光は標本には照射されない。標本から発せられた光は、対物レンズ２５０及び結像用レンズ２７０等を介して撮像素子３１０上に結像する。

発光顕微鏡は、例えばルシフェラーゼ遺伝子を導入した細胞に発現する発光タンパク質に基づいて発せられる微弱な光を高感度で捉える。このため、長時間露光による撮影や、冷却ＣＣＤカメラや明るい光学系が用いられてもよい。発光画像の取得では、蛍光画像の取得の場合と異なり、検出において励起光が必要とされない。このため、発光顕微鏡によれば、細胞へのダメージが抑制されつつ標識された物質に係る画像が取得され得る。ただし、長時間露光中に観察対象の細胞が移動する場合、得られる画像に動きブレが含まれることがある。本実施形態において、長時間露光画像は、補正されることが求められる動きブレを含み得る画像である。

撮像部３００は、例えば冷却ＣＣＤカメラといった、顕微鏡２００による拡大像を撮像するための装置である。撮像部３００には、撮像素子３１０が設けられている。また、撮像部３００には、露光時間切替部３２０が設けられている。露光時間切替部３２０は、制御部４００の制御下で、撮像素子３１０によって行われる撮像の露光時間を調整する。撮像素子３１０は、露光時間切替部３２０の制御下で、短時間露光によって短時間露光画像を取得し、長時間露光によって長時間露光画像を取得する。このように、顕微鏡２００と撮像部３００とは、被写体の長時間露光画像と短時間露光画像とを取得する顕微鏡撮像部３８０を形成する。

画像処理部１００は、短時間露光画像取得部１１０と、長時間露光画像取得部１２０と、動き推定部１３０と、ブレ補正部１４０とを備える。短時間露光画像取得部１１０は、撮像部３００の撮像素子３１０から、短時間露光画像を取得し、この画像を動き推定部１３０に送信する。長時間露光画像取得部１２０は、撮像素子３１０から長時間露光画像を取得し、この画像をブレ補正部１４０に送信する。

動き推定部１３０は、注目する長時間露光画像である発光画像の前後に取得された短時間露光画像に基づいて、動き推定処理を行う。すなわち、動き推定部１３０は、注目する細胞の移動前の位置と移動後の位置とを算出する。ブレ補正部１４０は、ＰＳＦ設定部１４２と、デコンボリューション部１４４とを含む。ＰＳＦ設定部１４２は、移動前後の細胞位置に基づいて、細胞の動きに対応するＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ；点拡がり関数）を設定する。デコンボリューション部１４４は、長時間露光画像取得部１２０から取得した長時間露光画像に対して、ＰＳＦ設定部１４２から取得したＰＳＦを用いて、デコンボリューションを行い、ブレ補正を実施する。ブレ補正された発光画像は、顕微鏡システム１に設けられている記録部４１０に記録される。

本実施形態に係る顕微鏡システム１の動作について説明する。ここでは、標本はルシフェラーゼ遺伝子が導入された培養細胞であるものとする。この細胞標本は、ルシフェリンが添加され発光する状態でステージ２４０上に設置される。顕微鏡システム１は、この細胞をタイムラプス（微速度撮影）によって、複数の時点において撮像する。本実施形態では、短時間露光画像の取得と、長時間露光画像の取得とが交互に行われる。短時間露光画像として、位相差画像を取得する場合には、光路にリング絞り２２０及び位相板リング２６０が挿入され、露光時間が例えば１秒である短時間露光が行われる。一方、長時間露光画像として、発光画像を取得する場合には、光路からリング絞り２２０及び位相板リング２６０は抜き取られ、露光時間が例えば３６００秒である長時間露光が行われる。

以降説明のため、Ｎ回目に撮像された短時間露光画像をＰｉ（Ｎ）とし、Ｎ回目に撮像された長時間露光画像をＬｉ（Ｎ）と表記する。各画像は交互に、Ｐｉ（１）→Ｌｉ（１）→・・・→Ｐｉ（Ｎ）→Ｌｉ（Ｎ）→Ｐｉ（Ｎ＋１）→Ｌｉ（Ｎ＋１）→Ｐｉ（Ｎ＋２）→・・・の順に撮影されるものとする。短時間露光画像の撮影と長時間露光画像の撮影とのタイミングを図２のタイミングチャートに模式的に示す。

本実施形態における画像処理部１００の処理について図３に示すフローチャートを参照して説明する。ステップＳ１０において画像処理部１００の短時間露光画像取得部１１０は、撮像素子３１０から短時間露光画像Ｐｉ（１）を取得する。短時間露光画像取得部１１０は、取得した短時間露光画像を動き推定部１３０に送信する。

ステップＳ１０の処理が行われるタイミングは、例えば制御部４００によって制御される。すなわち、制御部４００は、顕微鏡撮像部３８０に短時間露光方式によって細胞標本の撮像を行わせ、画像処理部１００に撮像された画像を取得させる。このとき、制御部４００の制御下で、露光時間切替部３２０は撮像素子３１０による露光時間を例えば１秒に設定する。具体的には、短時間露光方式が、例えば位相差顕微鏡方式の場合には、観察手法切替部２８０はリング絞り２２０と位相板リング２６０とを光路上に挿入する。この状態で、撮像素子３１０は、撮像動作を行ってステージ２４０上の細胞標本の短時間露光画像を取得する。撮像素子３１０は取得した短時間露光画像を短時間露光画像取得部１１０に送信し、短時間露光画像取得部１１０はこの短時間露光画像を取得する。

ステップＳ２０において画像処理部１００の長時間露光画像取得部１２０は、撮像素子３１０から長時間露光画像を取得する。長時間露光画像取得部１２０は、取得した長時間画像をデコンボリューション部１４４に送信する。

ステップＳ２０の処理が行われるタイミングは、例えば制御部４００によって制御される。すなわち、制御部４００は、顕微鏡撮像部３８０に長時間露光方式によって細胞標本の撮像を行わせ、画像処理部１００に撮像された画像を取得させる。このとき、制御部４００の制御下で、露光時間切替部３２０は撮像素子３１０による露光時間を例えば３６００秒に設定する。具体的には、短時間露光方式において、位相差顕微鏡方式を用いている場合には、観察手法切替部２８０はリング絞り２２０と位相板リング２６０とを光路上から取り除く。この状態で、撮像素子３１０は、撮像動作を行ってステージ２４０上の細胞標本の発光画像を取得する。撮像素子３１０は取得した長時間露光画像を長時間露光画像取得部１２０に送信し、長時間露光画像取得部１２０はこの長時間露光画像を取得する。

ステップＳ３０において画像処理部１００の短時間露光画像取得部１１０は、ステップＳ１０の場合と同様に、短時間露光画像を取得し、動き推定部１３０に出力する。

ステップＳ４０において画像処理部１００の動き推定部１３０は、注目する長時間露光画像の前後に取得された短時間露光画像に基づいて、動き推定処理を行う。すなわち、注目する長時間露光画像をＬｉ（Ｎ）としたときに、動き推定部１３０は、まず長時間露光画像Ｌｉ（Ｎ）の直前に撮像された短時間露光画像Ｐｉ（Ｎ）に対して公知の領域分割法を適用し、短時間露光画像Ｐｉ（Ｎ）における各細胞の境界線を特定する。動き推定部１３０は、この境界線に囲まれた領域を細胞領域として確定する。同様に、動き推定部１３０は、長時間露光画像Ｌｉ（Ｎ）の直後に撮像された短時間露光画像Ｐｉ（Ｎ＋１）に対して公知の領域分割法を適用し、画像中の各細胞領域を確定する。領域分割法としては、例えばウォータシェッド法、レベルセット法、グラフカット法等が用いられ得る。

動き推定部１３０は、細胞領域を確定したＰｉ（Ｎ）とＰｉ（Ｎ＋１）とに対して所定の追跡手法を用いて、注目細胞の移動前の位置と移動後の位置とを特定する。所定の追跡手法として、例えばテンプレートマッチングが用いられ得る。テンプレートマッチングでは、動き推定部１３０は、短時間露光画像Ｐｉ（Ｎ）において例えば注目細胞の細胞領域を囲む所定サイズの矩形領域をテンプレート領域Ｔｉとして設定する。このテンプレート領域Ｔｉの中心位置を、短時間露光画像Ｐｉ（Ｎ）における細胞の位置とする。動き推定部１３０は、短時間露光画像Ｐｉ（Ｎ＋１）について、画像内の全ての画素の各々に対して、当該画素を中心としたテンプレート領域Ｔｉとサイズが等しい矩形領域Ｂｉ（ｘ）を設定する。ここで、ｘは、位置ベクトル（ｘ１，ｘ２）を示す。ｘ１はＰｉ（Ｎ＋１）における横座標を示し、０＜ｘ１＜横幅である。ｘ２はＰｉ（Ｎ＋１）における縦座標を示し、０＜ｘ２＜縦幅である。動き推定部１３０は、テンプレート領域Ｔｉと矩形領域Ｂｉ（ｘ）との類似度を算出する。類似度として、例えばＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ（ＳＳＤ）が用いられ得る。

動き推定部１３０は、テンプレート領域Ｔｉと最も類似度が高い、すなわち、誤差が小さい矩形領域Ｂｉ（ｘ）の位置ｘを短時間露光画像Ｐｉ（Ｎ＋１）における注目細胞の移動後の位置であると推定する。このように、動き推定部１３０は、テンプレート領域Ｔｉの中心を移動前における細胞の位置ｘ^（Ｎ）とし、矩形領域Ｂｉ（Ｎ＋１）の中心を移動後における細胞の位置ｘ^{（Ｎ＋１）}とする。動き推定部１３０は、ｘ^（Ｎ）とｘ^{（Ｎ＋１）}とを、ブレ補正部１４０に含まれるＰＳＦ設定部１４２に送信する。

ステップＳ５０において画像処理部１００のＰＳＦ設定部１４２は、移動前の細胞位置ｘ^（Ｎ）と移動後の細胞位置ｘ^{（Ｎ＋１）}とに基づいて、細胞の動きに対応するＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ；点拡がり関数）を設定する。すなわち、ＰＳＦ設定部１４２は、まず、注目細胞の動きは等速の直線的な運動であると仮定して、次式（１）に基づいて、注目細胞の速度ベクトルを算出する。

ここで、Ｌｔは、長時間露光画像を取得する際の露光時間を表す。続いて、ＰＳＦ設定部１４２は、ＰＳＦ（ｘ^（Ｎ））を次式（２）に基づいて算出する。

ここで、ＧＦ_σ（α）は、所定のガウス関数であり、デルタ関数の代わりとして用いられている。また、ｔ^（Ｎ）はＰｉ（Ｎ）の撮影直後の時間を表し、ｔ^{（Ｎ＋１）}はＰｉ（Ｎ＋１）の撮影直前の時間を表す。ＰＳＦ設定部１４２は、算出したＰＳＦ（ｘ^（Ｎ））をデコンボリューション部１４４に送信する。

ステップＳ６０において画像処理部１００のデコンボリューション部１４４は、デコンボリューション処理を行う。すなわち、デコンボリューション部１４４は、長時間露光画像取得部１２０から取得した長時間露光画像Ｌｉ（Ｎ）に対して、ＰＳＦ設定部１４２から取得したＰＳＦ（ｘ^（Ｎ））を用いて、デコンボリューションを行う。このようにして、デコンボリューション部１４４は、長時間露光画像Ｌｉ（Ｎ）に含まれる動く細胞を長時間露光で撮像することにより発生する動きブレを取り除く。

デコンボリューション部１４４は、まず、長時間露光画像Ｌｉ（Ｎ）に対して公知の領域分割法を適用して、細胞領域を確定する。この細胞領域の確定は、ステップＳ４０において動き推定部１３０が位相差画像に対して行う細胞領域の確定と同様に行われる。デコンボリューション部１４４は、次に例えば逆フィルタ、又はウィーナーフィルタ等による補正処理といった公知の手法によって、デコンボリューション処理を行う。逆フィルタによる補正処理では、画像の劣化過程、すなわち、動きブレの発生過程を次式（３）のようにモデル化する。

ここで、ｆ（ｘ）は劣化前の原画像を表し、ｇ（ｘ）はブレにより劣化が発生した劣化画像を表し、ｈ（ｘ）は劣化過程を表す空間フィルタである。式（３）に対してフーリエ変換を行うと、次式（４）が得られる。

ここで、
Ｇ（ｕ）＝ζ［ｇ（ｘ）］、
Ｈ（ｕ）＝ζ［ｈ（ｘ）］、
Ｆ（ｕ）＝ζ［ｆ（ｘ）］
であり、ζ［α］はフーリエ変換を表す。

このとき、次式（５）に示すようなＨ（ｕ）の逆フィルタＨｉｎｖを考える。

逆フィルタＨｉｎｖをＧ（ｕ）に適用することにより、次式（６）のようにＦ（ｕ）が得られる。

得られたＦ（ｕ）を逆フーリエ変換することで、劣化前の原画像ｆ（ｘ）が得られる。

本実施形態では、デコンボリューション部１４４は、空間フィルタｈ（ｘ）にＰＳＦ設定部１４２が設定したＰＳＦ（ｘ^（Ｎ））を用いる。ＰＳＦ（ｘ^（Ｎ））を用いることによって、デコンボリューション部１４４は、長時間露光中に細胞が移動することに伴い発生する動きブレを補正できる。このように動きブレが補正された補正後長時間露光画像Ｌｉ（Ｎ）´は、記録部４１０に記録される。

ステップＳ７０において画像処理部１００は、次フレームがあるか否かを判定する。次フレームがあると判定されたとき、処理はステップＳ２０に戻る。画像処理部１００は、次フレームについて同様に、動きブレを補正する。ステップＳ７０において、次フレームがないと判定されたとき、処理は終了する。

なお、長時間露光画像Ｌｉ（Ｎ＋１）に対する動きブレの補正におけるステップＳ４０の処理では、上述の演算のうち一部を削減できる。例えば、長時間露光画像Ｌｉ（Ｎ＋１）の直前に撮像された短時間露光画像Ｐｉ（Ｎ＋１）の細胞領域は、長時間露光画像Ｌｉ（Ｎ）に対する動きブレの補正におけるステップＳ４０の処理で既に算出されている。そこで、動き推定部１３０は、長時間露光画像Ｌｉ（Ｎ＋１）に対する動きブレの補正におけるステップＳ４０において改めて短時間露光画像Ｐｉ（Ｎ＋１）の細胞領域を算出せずに、既に算出された短時間露光画像Ｐｉ（Ｎ＋１）の細胞領域を用いてもよい。

微弱な光を捉える長時間露光画像は、長時間露光により取得せざるを得ない。したがって、長時間露光画像には、長時間露光による動きブレが含まれやすい。本実施形態によれば、長時間露光画像の取得の前後に撮像した短時間露光が用いられることで、被写体の動きが推定され、被写体の動きブレが補正される。その結果、動きブレを含まない明瞭な長時間露光画像が取得され得る。

なお、本実施形態では、短時間露光画像として位相差画像を例示した。しかしながら、これに限らない。短時間露光画像として、例えば微分干渉顕微鏡（Ｄｉｆｆｅｒｅｎｔｉａｌｉｎｔｅｒｆｅｒｅｎｃｅｃｏｎｔｒａｓｔｍｉｃｒｏｓｃｏｐｅ；ＤＩＣ）を用いて取得される微分干渉画像が利用されてもよい。微分干渉画像の特徴は、位相差画像の画質的特徴と類似している。また、短時間露光画像として、他の明視野顕微鏡を用いて取得される種々の顕微鏡画像が利用されても勿論よい。

また、本実施形態では、長時間露光画像として発光画像を例示した。しかしながら、これに限らない。長時間露光画像として、蛍光顕微鏡を用いて取得される蛍光画像が対象とされてもよい。蛍光イメージングにおいても、細胞へのダメージや蛍光試料の退色を避けるために、弱いレーザ強度を有する弱励起光が利用されて長時間露光撮影が行われることがある。このような蛍光イメージングでは、発光画像と類似した動きブレを含む画像が得られる。このような動きブレを含む蛍光画像を対象として、本実施形態に係るブレ補正が行われてもよい。発光画像や蛍光画像に限らず、長時間露光によって動きブレが含まれる種々の画像が本実施形態に係る画像処理の対象となる。

また、本実施形態では、タイムラプスで長時間露光画像が複数取得される例を示したが、１枚の長時間露光画像とその前後に取得された２枚の短時間露光画像があれば、その長時間露光画像の動きブレが除去され得る。

また、本実施形態では、画像処理部１００は、顕微鏡撮像部３８０が取得した画像をその都度取得している。しかしながらこれに限らず、画像処理部１００は、例えば予め取得されて記録装置に記録されている長時間露光画像と短時間露光画像とを含む画像群を取得して、同様のブレ補正処理を行ってもよい。

なお、例えば図３を参照して説明した画像処理部１００による処理は、プログラムによって実現され得る。このプログラムは、例えばパーソナルコンピュータといった情報処理装置にインストールされることで機能する。このようなプログラムは、例えば記録媒体などに記録されて提供されることもあるし、インターネットなどの通信を介して提供されることもある。

以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…顕微鏡システム、１００…画像処理部、１１０…短時間露光画像取得部、１２０…長時間露光画像取得部、１３０…動き推定部、１４０…ブレ補正部、１４２…ＰＳＦ設定部、１４４…デコンボリューション部、２００…顕微鏡、２１０…光源装置、２２０…リング絞り、２３０…コンデンサ、２４０…ステージ、２５０…対物レンズ、２６０…位相板リング、２７０…結像用レンズ、２８０…観察手法切替部、３００…撮像部、３１０…撮像素子、３２０…露光時間切替部、３８０…顕微鏡撮像部、４００…制御部、４１０…記録部。

Claims

長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得する長時間露光画像取得部と、
短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得する短時間露光画像取得部と、
前記短時間露光画像に基づいて、前記被写体の動きを推定する動き推定部と、
前記動き推定部が推定した前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正するブレ補正部と
を備える画像処理装置。
前記長時間露光画像と前記短時間露光画像とは、異なる顕微鏡方式で取得された顕微鏡画像である、請求項１に記載の画像処理装置。
前記短時間露光画像は、
前記長時間露光画像の撮像以前に撮像された第１の短時間露光画像と、
前記長時間露光画像の撮像以後に撮像された第２の短時間露光画像と、
を含み、
前記動き推定部は、前記第１の短時間露光画像と前記第２の短時間露光画像とに基づいて、前記被写体の動きを推定する、
請求項１又は２に記載の画像処理装置。
前記長時間露光画像は、発光顕微鏡又は蛍光顕微鏡によって取得された画像である、請求項１乃至３のうち何れか１項に記載の画像処理装置。
前記短時間露光画像は、位相差顕微鏡又は微分干渉顕微鏡によって取得された画像である、請求項１乃至４のうち何れか１項に記載の画像処理装置。
前記動き推定部は、テンプレートマッチング処理を用いて前記被写体の動きを推定する、請求項１乃至５のうち何れか１項に記載の画像処理装置。
前記ブレ補正部は、
前記被写体の動きに基づいて、前記被写体の動きに対応する点拡がり関数を算出し、
前記点拡がり関数を用いたデコンボリューション処理により前記被写体の動きブレを補正する、
請求項１乃至６のうち何れか１項に記載の画像処理装置。
長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得することと、
短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得することと、
前記短時間露光画像に基づいて、前記被写体の動きを推定することと、
前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正することと
を含む画像処理方法。
前記長時間露光画像と前記短時間露光画像とは、異なる顕微鏡方式で取得された顕微鏡画像である、請求項８に記載の画像処理方法。
前記短時間露光画像は、
前記長時間露光画像の撮像以前に撮像された第１の短時間露光画像と、
前記長時間露光画像の撮像以後に撮像された第２の短時間露光画像と、
を含み、
前記被写体の動きを推定することは、前記第１の短時間露光画像と前記第２の短時間露光画像とに基づく、
請求項８又は９に記載の画像処理方法。
前記長時間露光画像は、発光顕微鏡又は蛍光顕微鏡によって取得された画像である、請求項８乃至１０のうち何れか１項に記載の画像処理方法。
前記短時間露光画像は、位相差顕微鏡又は微分干渉顕微鏡によって取得された画像である、請求項８乃至１１のうち何れか１項に記載の画像処理方法。
コンピュータに、
長時間露光によって撮像された動きブレを含む被写体の顕微鏡画像である長時間露光画像を取得することと、
短時間露光によって撮像された前記被写体の顕微鏡画像である短時間露光画像を取得することと、
前記短時間露光画像に基づいて、前記被写体の動きを推定することと、
前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の前記動きブレを補正することと
を実行させるための画像処理プログラム。
前記長時間露光画像と前記短時間露光画像とは、異なる顕微鏡方式で取得された顕微鏡画像である、請求項１３に記載の画像処理プログラム。
前記短時間露光画像は、
前記長時間露光画像の撮像以前に撮像された第１の短時間露光画像と、
前記長時間露光画像の撮像以後に撮像された第２の短時間露光画像と、
を含み、
前記被写体の動きを推定することは、前記第１の短時間露光画像と前記第２の短時間露光画像とに基づく、
請求項１３又は１４に記載の画像処理プログラム。
前記長時間露光画像は、発光顕微鏡又は蛍光顕微鏡によって取得された画像である、請求項１３乃至１５のうち何れか１項に記載の画像処理プログラム。
前記短時間露光画像は、位相差顕微鏡又は微分干渉顕微鏡によって取得された画像である、請求項１３乃至１６のうち何れか１項に記載の画像処理プログラム。
長時間露光による被写体の長時間露光画像と短時間露光による前記被写体の短時間露光画像とを取得する顕微鏡撮像部と、
前記短時間露光画像に基づいて、前記被写体の動きを推定する動き推定部と、
前記動き推定部が推定した前記被写体の動きに基づいて、前記長時間露光画像に含まれる前記被写体の動きブレを補正するブレ補正部と
を備える顕微鏡システム。
前記顕微鏡撮像部は、
前記長時間露光画像を取得する第１の顕微鏡と、
前記短時間露光画像を取得する第２の顕微鏡と、
前記第１の顕微鏡と前記第２の顕微鏡とを切替える観察手法切替部と
を含む請求項１８に記載の顕微鏡システム。
前記短時間露光画像は、
前記長時間露光画像の撮像以前に撮像された第１の短時間露光画像と、
前記長時間露光画像の撮像以後に撮像された第２の短時間露光画像と、
を含み、
前記動き推定部は、前記第１の短時間露光画像と前記第２の短時間露光画像とに基づいて、前記被写体の動きを推定する、
請求項１８又は１９に記載の顕微鏡システム。
前記顕微鏡撮像部は、前記長時間露光画像を取得する発光顕微鏡又は蛍光顕微鏡を含む、請求項１８乃至２０のうち何れか１項に記載の顕微鏡システム。
前記顕微鏡撮像部は、前記短時間露光画像を取得する位相差顕微鏡又は微分干渉顕微鏡を含む、請求項１８乃至２１のうち何れか１項に記載の顕微鏡システム。