JP2020202748A - 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム - Google Patents

Abstract

【課題】撮影処理装置、撮影処理装置の制御方法および撮影処理プログラムにおいて、容器内の各観察領域の撮影画像の品質が低くても、より正確かつ、信頼性の高い評価を行うことができるようにする。【解決手段】領域検出部２１が、複数の撮影画像から観察対象の領域を検出する。撮影画像判定部２２が、複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定する。処理制御部２３が、対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する。【選択図】図１

Description

本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって、観察対象全体の像を観察する撮影処理装置、撮影処理装置の制御方法および撮影処理プログラムに関するものである。

ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。

そして、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。

一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査して各観察領域を撮影した後、観察領域毎の撮影画像を繋ぎ合わせて合成画像を生成する方法が提案されている。

ここで、上述したようにウェル内の各観察領域を走査して撮影する際、各観察領域においてオートフォーカス制御が行われる。しかしながら、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。また、例えば顕微鏡装置における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。

このようにボケた画像および暗い画像のように品質が低い撮影画像については、個々の細胞の画像を高精度に抽出することができない。このため、例えば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、低品質の撮影画像と、ボケが無くかつ明るさも問題ない低品質ではない撮影画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。

このため、タイリング撮影を行う場合において、ある観察領域の撮影画像の品質が低い場合に、その観察領域を再撮影する手法が提案されている（特許文献１参照）。特許文献１に記載された手法のように再撮影を行うことにより、低品質ではない撮影画像を取得することができるため、正確な評価結果を得ることが可能となる。なお、特許文献１に記載の手法においては、撮影画像が低品質であるか否かの判断を以下のようにして行っている。すなわち、フォーカスについての評価値および明るさについての評価値等を、対象となる撮影画像および対象となる撮影画像に隣接する撮影画像について算出する。そして、２つの撮影画像の評価値についての連続性を判断する。具体的には、対象となる撮影画像の評価値と隣接する撮影画像の評価値との差がしきい値よりも大きい場合に、対象となる撮影画像が低品質の撮影画像であると判断する。

特開２０１６−１２５９１３号公報

ところで、上述したウェル等の容器内においては、培養液である培地の上に細胞が培養されている。このため、容器内には、細胞が存在する領域と培地の領域とが混在している。ここで、培地の領域は細胞が存在しないため、画像としては均一な濃度を有する。このため、観察領域に培地が含まれる場合、その観察領域の撮影画像がボケているのか否かを評価することが困難となる。また、容器内には観察対象となる細胞の他、浮遊細胞等の観察対象でない細胞も含まれる。浮遊細胞等が含まれると、対象となる細胞ではなく、浮遊細胞に焦点位置が合ってしまう可能性がある。このような場合においても、対象となる観察領域の撮影画像がボケているのか否かを評価することが困難となる。したがって、特許文献１に記載された手法のように、単純に隣接する撮影画像間における評価値を用いたのでは、撮影画像が低品質であるか否かを正確に判断することができない。

本発明は上記事情に鑑みなされたものであり、容器内の各観察領域の撮影画像の品質が低くても、より正確かつ、信頼性の高い評価を行うことができるようにすることを目的とする。

本発明の撮影処理装置は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置と、
撮影画像から観察対象の領域を検出する領域検出部と、
複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定する撮影画像判定部と、
対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する処理制御部とを備える。

「近接する少なくとも１つの他の撮影画像」とは、対象撮影画像を基準とした予め定められた範囲内にある撮影画像を意味する。例えば、対象撮影画像に隣接する１以上の撮影画像を「近接する少なくとも１つの他の撮影画像」とすることができる。また、対象撮影画像に隣接する１以上の撮影画像に加えて、またはこれに代えて、予め定められた範囲内において、この隣接する撮影画像にさらに隣接する１以上の撮影画像を、「近接する少なくとも１つの他の撮影画像」に含めることができる。

「低品質である」とは、他の撮影画像と比較して品質が低いことを意味する。具体的には、他の撮影画像と比較して、対象撮影画像がボケていたり、暗かったりして、精度よく評価を行うことができない品質となっていることを意味する。

なお、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像に対応する観察領域を再撮影するものであってもよい。

また、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像が低品質であることを通知するものであってもよい。

なお、通知がなされた場合、操作者は対象撮影画像を再度撮影する処理を行うこととなる。このため、本発明において「通知」は、撮影の制御に含まれるものとする。

また、本発明による撮影処理装置においては、処理制御部は、対象撮影画像が低品質であると判定された場合、対象撮影画像に対して、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行うものであってもよい。

また、本発明による撮影処理装置においては、撮影画像判定部は、検出された観察対象の領域の類似性に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。

また、本発明による撮影処理装置においては、撮影画像判定部は、対象撮影画像および他の撮影画像のそれぞれにおいて検出された観察対象の領域における一部の領域に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。

また、本発明による撮影処理装置においては、撮影処理装置は、観察領域の一部を重複させて複数の撮影画像を取得し、
撮影画像判定部は、対象撮影画像および他の撮影画像のそれぞれにおける重複する領域に基づいて、対象撮影画像が低品質であるか否かを判定するものであってもよい。

また、本発明による撮影処理装置においては、対象撮影画像が低品質であると判定された場合、処理制御部は、対象撮影画像における重複する領域を、他の撮影画像における重複する領域と置換するものであってもよい。

本発明による撮影処理装置の制御方法は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法であって、
撮影画像から観察対象の領域を検出し、
複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定し、
対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する。

本発明による撮影処理プログラムは、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備え、容器および撮像部の少なくとも一方を他方に対して相対的に移動させて、観察領域の位置を変更しつつ、容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法をコンピュータに実行させる撮影処理プログラムであって、
撮影画像から観察対象の領域を検出する手順と、
複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定する手順と、
対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御する手順とをコンピュータに実行させる。

本発明によれば、複数の撮影画像から、観察対象の領域を検出し、複数の撮影画像のうちの対象撮影画像において検出された観察対象の領域および、対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された観察対象の領域に基づいて、対象撮影画像が低品質であるか否かを判定するようにした。このため、撮影画像における観察対象以外の領域に影響されることなく、対象撮影画像が低品質であるか否かを正確に判定することができる。また、本発明においては、対象撮影画像が低品質であると判定された場合、対象撮影画像についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御するようにした。このため、撮影および画像処理の少なくとも一方が制御された対象撮影画像を用いて合成画像を生成することにより、観察対象に対して信頼性の高い評価を行うことができる。

本発明の撮影処理装置の一実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 ウェルプレートにおける各観察領域の走査軌跡を示す図 細胞領域の検出結果を示す図 ウェル内の各観察領域の撮影画像の一例を示す図 ウェル内の各観察領域の撮影画像の一例を示す図 隣接する対象撮影画像および他の撮影画像の一例を示す図 隣接する対象撮影画像および他の撮影画像の一例を示す図 本実施形態において行われる処理を示すフローチャート 観察領域の一部の重複を説明するための図 対象撮影画像および他の撮影画像における重複する領域の小領域への設定を説明するための図 対象撮影画像における小領域と他の撮影画像における小領域との置換を説明するための図 対象撮影画像に近接する他の撮影画像を説明するための図 本発明の他の実施形態において行われる処理を示すフローチャート

以下、本発明の撮影処理装置、撮影処理装置の制御方法および撮影処理プログラムの一実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡観察システムの概略構成を示すブロック図である。

本実施形態の顕微鏡観察システムは、図１に示すように、顕微鏡装置１０、撮影処理装置２０、表示装置３０および入力装置４０を備える。なお、顕微鏡装置１０が本発明の観察装置に対応する。

顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、撮影画像を出力する。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよく、モノクロの撮像素子を用いてもよい。そして、培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から撮影画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置等のその他の顕微鏡装置を用いてもよい。

撮影対象としては、複数の細胞が凝集した細胞コロニーでもよいし、分散して分布した複数の細胞でもよい。また、撮影対象の細胞としては、例えばｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された臓器の細胞およびがん細胞等がある。

また、本実施形態においては、培養容器として、複数のウェルを有するウェルプレートを用いる。なお、ウェルプレートを用いる場合、各ウェルが、本発明の容器に相当するものである。そして、顕微鏡装置１０は、ウェルプレートが設置されるステージを備えている。ステージは、水平面内において直交するＸ方向およびＹ方向に移動するものである。このステージの移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮影される。観察領域毎の撮影画像は撮影処理装置２０に出力される。

図２は、６つのウェル５１を有するウェルプレート５０を用いた場合における各観察領域の走査軌跡を実線Ｓｃで示した図である。図２に示すように、ウェルプレート５０内の各観察領域は、ステージのＸ方向およびＹ方向の移動によって走査開始点Ｓから走査終了点Ｅまでの実線Ｓｃに沿って走査される。

また、本実施形態においては、ウェル内の各観察領域において、ステージまたは細胞の位相差像を撮像素子に結像する結像光学系を鉛直方向に移動させることによってオートフォーカス制御を行う。

なお、本実施形態においては、ステージを移動させることによってウェル内の観察領域毎の撮影画像を撮影するようにしたが、これに限らず、結像光学系をステージに対して移動させることによって観察領域毎の撮影画像を撮影するようにしてもよい。または、ステージおよび結像光学系の両方を移動させるようにしてもよい。

また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、例えばシャーレまたはディッシュ等その他の容器を用いるようにしてもよい。

撮影処理装置２０は、図１に示すように、領域検出部２１、撮影画像判定部２２、処理制御部２３および表示制御部２４を備える。撮影処理装置２０は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成されるものであり、ハードディスクに本発明の撮影処理プログラムの一実施形態がインストールされている。そして、この撮影処理プログラムが中央処理装置によって実行されることによって、図１に示す領域検出部２１、撮影画像判定部２２、処理制御部２３および表示制御部２４が機能する。なお、本実施形態においては、撮影処理プログラムによって、各部の機能を実行するようにしたが、これに限らず、例えば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリ等を適宜組み合わせることによって各部の機能を実行するようにしてもよい。

領域検出部２１は、顕微鏡装置１０が取得した撮影画像から、観察対象領域すなわち細胞領域を検出する。領域検出部２１は、例えば撮影画像の各画素が細胞を表すものであるか、培地を表すものであるかを判別する判別器を有し、判別器により細胞に含まれると判別された画素からなる領域を撮影画像から細胞領域として検出する。判別器は、細胞領域を撮影した撮影画像と培地領域を撮影した撮影画像とを教師データとし、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力として機械学習によって生成されたものである。機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）等を用いることができる。

ここで、ウェルには観察対象の細胞の他、培地中を浮遊している浮遊細胞等の観察対象ではない細胞が存在する。しかしながら、観察対象となる細胞を教師データとして判別器を学習することにより、浮遊細胞等を検出することなく、観察対象となる細胞からなる細胞領域のみを検出することができる。

図３は細胞領域の検出結果を示す図である。なお、図３においては矩形領域で分割された各領域が各観察領域に相当する。図３においては、各観察領域の撮影画像において検出された細胞領域に斜線を付与している。

ここで、領域検出部２１により細胞領域が検出されない撮影画像については、以下に説明する撮影画像判定部２２および処理制御部２３において行われる処理を省略するものとする。

なお、本実施形態においては、上述したように機械学習された判別器を備えた領域検出部２１を用いて、撮影画像における細胞領域を判別して細胞領域を検出しているが、細胞領域の判別方法としては、これに限定されるものではない。例えば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、画素値の最大値と最小値との組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。

撮影画像判定部２２は、複数の撮影画像のうちの判定の対象となる対象撮影画像が低品質であるか否かを判定する。具体的には、対象撮影画像において検出された細胞領域および、対象撮影画像に隣接する少なくとも１つの他の撮影画像において検出された細胞領域に基づいて、対象撮影画像が低品質であるか否かを判定する。

本実施形態においては、上述したようにウェル内の各観察領域を走査し、各観察領域においてオートフォーカス制御を行う。オートフォーカス制御を行う際には、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケて低品質となる場合がある。このようなボケた撮影画像を、その他のボケていない撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図４は、ウェル内の各観察領域の撮影画像を合成した合成画像の一例を示す図である。図４において矩形領域で分割された各領域が各観察領域に相当する。また、図４に示す例では、点線四角で示す観察領域の撮影画像がボケている画像である。なお、図４においては、合成画像の左上隅に原点を設定し、紙面左方向をＸ方向、紙面下方向をＹ方向とする座標系を設定する。このため、各撮影画像は２次元の座標系で表すことができる。例えば図４に示す点線四角で示す観察領域の撮影画像の座標は（４，３）と表すことができる。

また、撮影画像が低品質となる原因はオートフォーカス制御ミスのみではない。例えば顕微鏡装置１０における光源に印可される電圧変動、あるいはステージおよび光学系の振動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。このような暗い撮影画像を、その他の正常な光量の撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図５は、ウェル内の各観察領域を合成した合成画像の一例を示す図である。図５において矩形領域で分割された各領域が各観察領域に相当する。また、図５に示す例では、点線四角で示す観察領域の撮影画像が、照明光の光量変動によって低品質となった撮影画像である。なお、図５においても図４と同様に座標系を設定する。このため、図５に示す点線四角で示す観察領域の撮影画像の座標は（４，４）と表すことができる。

撮影画像判定部２２は、対象観察領域の撮影画像が低品質であるか否かを判定する。このために撮影画像判定部２２は、対象撮影画像に隣接する少なくとも１つの他の撮影画像を設定する。本実施形態においては、図２に示す走査方向において、対象撮影画像の下流側にある１つの撮影画像を対象撮影画像に隣接する他の撮影画像に設定する。例えば、対象撮影画像の座標が（４，３）の場合、他の撮影画像の座標は（５，３）となる。また、対象撮影画像の座標が（５，３）の場合は、他の撮影画像の座標は（５，４）となる。また、最後に撮影される座標が（５，５）の撮影画像については、判定の対象としないか、その前に撮影される座標が（４，５）の撮影画像以外の撮影画像（例えば座標が（５，４）の撮影画像を用いて判定を行う。

そして、撮影画像判定部２２は、対象撮影画像および他の撮影画像のそれぞれにおける隣接する一部の細胞領域に基づいて、対象撮影画像が低品質であるか否かを判定する。図６は隣接する対象撮影画像および他の撮影画像の一例を示す図である。なお、図６においては、対象撮影画像Ｇ０および他の撮影画像Ｇ１の全領域が細胞領域であるものとする。図６に示すように、撮影画像判定部２２は、対象撮影画像Ｇ０および他の撮影画像Ｇ１において隣接する小領域Ａ０，Ａ１をそれぞれ設定する。なお、図４に示す合成画像において、対象撮影画像Ｇ０の座標が（３，２）であり、他の撮影画像Ｇ１の座標が（４，２）である場合のように、対象撮影画像Ｇ０および他の撮影画像Ｇ１の全領域が細胞領域でない場合がある。このような場合、撮影画像判定部２２は、図７に示すように、対象撮影画像Ｇ０および他の撮影画像Ｇ１における細胞領域のみを含むように小領域Ａ０，Ａ１を設定する。

そして、撮影画像判定部２２は、小領域Ａ０，Ａ１の類似性を判定する。このために、撮影画像判定部２２は、類似性を判定するための指標値を算出する。指標値としては小領域Ａ０，Ａ１を重ねた場合における対応する画素位置の画素値についての平均二乗誤差を用いる。なお、指標値としては平均二乗誤差に限定されるものではなく、小領域Ａ０の平均輝度と小領域Ａ１の平均輝度との差、または小領域Ａ０の画素値の最小値および最大値のレンジと小領域Ａ１の画素値の最小値および最大値のレンジとの差等を用いることができる。

ここで、対象撮影画像Ｇ０の小領域Ａ０と他の撮影画像Ｇ１の小領域Ａ１とは隣接しているため、本来類似しているはずである。しかしながら、上述したように対象撮影画像Ｇ０がボケたり、暗くなったりすると、小領域Ａ０，Ａ１が類似しなくなり、上述したように算出した指標値の値が大きくなる。このため、撮影画像判定部２２は、指標値が予め定められたしきい値Ｔｈ１よりも大きいか否かを判定し、指標値がしきい値Ｔｈ１よりも大きいと判定された場合に、対象撮影画像Ｇ０が低品質であると判定する。

なお、対象撮影画像Ｇ０が低品質であると判定された場合、撮影画像判定部２２は、対象撮影画像Ｇ０の小領域Ａ０の一次微分値の最大値および他の撮影画像Ｇ１の小領域Ａ１の一次微分値の最大値を算出する。ここで、対象撮影画像Ｇ０が暗い場合、一次微分値はそれほど小さい値とはならないが、対象撮影画像Ｇ０がボケている場合、一次微分値が小さい値となる。このため、対象撮影画像Ｇ０が低品質であると判定された場合、撮影画像判定部２２は、対象撮影画像Ｇ０の小領域Ａ０の一次微分値の最大値と他の撮影画像Ｇ１の小領域Ａ１の一次微分値の最大値との差分値の絶対値を算出する。そして、差分値が予め定められたしきい値Ｔｈ２よりも大きい場合、対象撮影画像Ｇ０はボケた撮影画像であると判定する。なお、差分値がしきい値Ｔｈ２以下である場合、対象撮影画像Ｇ０は暗い撮影画像であると判定する。

処理制御部２３は、対象撮影画像Ｇ０が低品質であると判定された場合、対象撮影画像Ｇ０についての撮影および画像処理の少なくとも一方を制御する。以下、撮影および画像処理の制御について説明する。

まず、撮影の制御について、処理制御部２３は、低品質であると判定された対象撮影画像Ｇ０の観察領域を再撮影する。例えば、低品質であると判定された対象撮影画像Ｇ０の座標が図４に示す（４，３）である場合、処理制御部２３は、顕微鏡装置１０に対して、座標（４，３）に対応する撮影領域を再撮影させる指示を行う。この際、対象撮影画像Ｇ０が暗い撮影画像であると判定された場合は、適切な明るさとなる撮影を行うように顕微鏡装置１０に対して指示を行う。一方、対象撮影画像Ｇ０がボケた撮影画像であると判定された場合は、対象撮影画像Ｇ０を取得した観察領域に対してフォーカスが適切に合わせられるように、顕微鏡装置１０に対して指示を行う。

なお、処理制御部２３は、対象撮影画像Ｇ０が低品質であると判定された場合、対象撮影画像Ｇ０が低品質であることを通知するようにしてもよい。例えば、本実施形態においては、後述するように表示制御部２４が、複数の撮影画像を繋げて合成した合成画像を表示装置３０に表示するが、表示装置３０に表示された合成画像において、低品質であると判定された撮影画像を強調して表示してもよい。例えば、図４に示す合成画像において、点線で囲まれた領域に赤色等の枠を付与したり、枠を点滅させたり、領域を点滅させる等してもよい。また、テキストまたは音声により通知をしてもよい。

次に画像処理の制御について説明する。処理制御部２３は、暗い撮影画像と判定された対象撮影画像Ｇ０に対して、明るさ補正処理を行う。具体的には、対象撮影画像Ｇ０の小領域Ａ０の画素値の平均値を、他の撮影画像Ｇ１の小領域Ａ１の画素値の平均値と一致させて、対象撮影画像Ｇ０の全画素値の明るさを大きくするように画素値を補正する。

一方、処理制御部２３は、ボケた撮影画像と判定された対象撮影画像Ｇ０に対して、シャープネス強調処理を行う。具体的には、対象撮影画像Ｇ０の小領域Ａ０の一次微分値の最大値と、他の撮影画像Ｇ１の小領域Ａ１の一次微分値の最大値との差分値の絶対値の大きさに応じてシャープネスの強調度を変更してシャープネス強調処理を行う。なお、本実施形態においては、各種差分値の値とシャープネスの強調度とを対応づけたテーブルが撮影処理装置２０のハードディスクに記憶されている。処理制御部２３は、このテーブルを参照して差分値の値に応じたシャープネスの強調度を取得して、処理対象画像Ｇ０に対してシャープネス強調処理を行う。

表示制御部２４は、複数の撮影画像を繋ぎ合わせることにより合成画像を生成し、生成した合成画像を表示装置３０に表示させる。また、低品質であると判定された撮影画像が存在する場合にその旨の通知、または合成画像における低品質の撮影画像の位置等を表示装置３０に表示させる。

表示装置３０は、上述したように合成画像および通知等を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用してもよい。

入力装置４０は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。

次に、本実施形態の顕微鏡観察システムの作用について、図８に示すフローチャートを参照しながら説明する。

まず、細胞および培地が収容されたウェルプレートが顕微鏡装置１０のステージ上に設置される（ステップＳＴ１０）。そして、ステージがＸ方向およびＹ方向に移動することによって、ウェルプレートの各ウェル内の観察領域が走査され、全ての観察領域の撮影画像が撮影される（ステップＳＴ１２）。顕微鏡装置１０において撮影された撮影画像は、撮影処理装置２０の領域検出部２１に順次入力される。領域検出部２１は、撮影画像から細胞領域を検出する（ステップＳＴ１４）。

次いで、撮影画像判定部２２が、複数の撮影画像のうちの対象撮影画像Ｇ０が低品質であるか否かを判定する（ステップＳＴ１６）。対象撮影画像Ｇ０が低品質であると判定された場合、処理制御部２３が、対象撮影画像Ｇ０についての撮影および対象撮影画像Ｇ０に対する画像処理の少なくとも一方を制御する（処理制御：ステップＳＴ１８）。具体的には、対象撮影画像Ｇ０に対応する観察領域の再撮影、対象撮影画像Ｇ０が低品質の撮影画像であることの通知、対象撮影画像Ｇ０に対する明るさ補正処理、または対象撮影画像Ｇ０に対するシャープネス強調処理を行う。なお、対象撮影画像Ｇ０が低品質でないない場合は、ステップＳＴ２０の処理に進む。

そして、全ての観察領域の判定が終了するまでステップＳＴ１６，ＳＴ１８の処理が繰り返される（ＳＴ２０，ＮＯ）。全ての撮影画像の判定が終了した場合には（ＳＴ２０，ＹＥＳ）、表示制御部２４は全ての撮影画像を繋ぎ合わせて合成して合成画像を生成し、生成した合成画像を表示装置３０に表示し（ステップＳＴ２２）、処理を終了する。

このように、本実施形態においては、複数の撮影画像から、観察対象である細胞領域を検出し、複数の撮影画像のうちの対象撮影画像Ｇ０において検出された細胞領域および、対象撮影画像Ｇ０に隣接する少なくとも１つの他の撮影画像Ｇ１において検出された細胞領域に基づいて、対象撮影画像Ｇ０が低品質であるか否かを判定するようにした。このため、撮影画像における細胞以外の領域に影響されることなく、対象撮影画像Ｇ０が低品質であるか否かを正確に判定することができる。また、本実施形態においては、対象撮影画像Ｇ０が低品質であると判定された場合、対象撮影画像Ｇ０についての撮影および対象撮影画像に対する画像処理の少なくとも一方を制御するようにした。このため、撮影および画像処理の少なくとも一方が制御された対象撮影画像Ｇ０を用いて合成画像を生成することにより、観察対象に対して信頼性の高い評価を行うことができる。

なお、上記実施形態のように、対象撮影画像Ｇ０と１つの他の撮影画像Ｇ１の隣接する小領域Ａ０，Ａ１同士を比較した場合、対象撮影画像Ｇ０が低品質であり、他の撮影画像Ｇ１が低品質でないと判定された場合、および対象撮影画像Ｇ０が低品質でなく、他の撮影画像Ｇ１が低品質である場合のいずれの場合においても指標値が大きくなる。このため、対象撮影画像Ｇ０および他の撮影画像Ｇ１のいずれが低品質であるかを正確に判定できない場合がある。したがって、他の撮影画像Ｇ１を複数用いるようにしてもよい。例えば、対象撮影画像Ｇ０の左右の２つの撮影画像、上下左右の４つの撮影画像、左上、右上、右下および左下の４つの撮影画像、あるいは対象撮影画像Ｇ０の周囲の８つの撮影画像を他の撮影画像としてもよい。このように他の撮影画像Ｇ１を複数用いることにより、対象撮影画像Ｇ０が低品質であるか否かをより精度よく判定することができる。

また、上記実施形態においては、観察領域の一部を重複させて撮影して撮影画像を取得するようにしてもよい。図９は観察領域の一部の重複を説明するための図である。図９に示すように、各撮影画像は隣接する撮影画像と一部の領域が重複している。重複させる範囲としては、例えば観察領域の各辺の長さの最大１０％程度とすることが好ましい。なお、図９においては説明のために重複させる領域を広く示している。

このように、観察領域の一部を重複させて撮影画像を取得した場合、撮影画像判定部２２は、図１０に示すように、対象撮影画像Ｇ０および他の撮影画像Ｇ１における重複する領域を小領域Ａ０，Ａ１に設定すればよい。

なお、観察領域の一部を重複させて撮影画像を取得した場合において、対象撮影画像Ｇ０が低品質であると判定された場合、他の撮影画像Ｇ１は低品質ではないこととなる。このため、処理制御部２３は、対象撮影画像Ｇ０が低品質であると判定された場合、対象撮影画像Ｇ０における重複する領域を、他の撮影画像Ｇ１における重複する領域と置換するようにしてもよい。

すなわち、図１０に示す対象撮影画像Ｇ０が低品質であると判定された場合、他の撮影画像Ｇ１は低品質ではないことから、図１１に示すように、対象撮影画像Ｇ０における小領域Ａ０を、他の撮影画像Ｇ１における小領域Ａ１と置換してもよい。この場合、処理制御部２３は、対象撮影画像Ｇ０に対する画像処理を制御する場合、対象撮影画像Ｇ０における小領域Ａ０以外の領域に対してのみ、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行えばよいこととなる。このため、画像処理に要する処理時間を短縮することができる。

また、対象撮影画像Ｇ０に隣接する４つの撮影画像を他の撮影画像Ｇ１〜Ｇ４として用いた場合、対象撮影画像Ｇ０の上下左右の４つの小領域を他の撮影画像Ｇ１〜Ｇ４における対象撮影画像Ｇ０と重複する小領域Ａ１〜Ａ４と置換し、対象撮影画像Ｇ０における小領域Ａ１〜Ａ４以外の領域に対してのみ、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行ってもよい。

なお、上記実施形態においては、対象撮影画像Ｇ０とこれに隣接する他の撮影画像Ｇ１とを比較して、対象撮影画像Ｇ０が低品質であるか否かを判定している。具体的には、対象撮影画像Ｇ０および他の撮影画像Ｇ１における小領域Ａ０，Ａ１の類似性を表す指標値を算出し、指標値がしきい値Ｔｈ１よりも大きい場合に、対象撮影画像Ｇ０が低品質であると判定している。しかしながら、指標値は、対象撮影画像Ｇ０および他の撮影画像Ｇ１の双方が低品質ではない場合のみならず、対象撮影画像Ｇ０および他の撮影画像Ｇ１の双方が低品質である場合においても小さくなる。したがって、指標値がしきい値Ｔｈ１より小さい場合、対象撮影画像Ｇ０が低品質であるか否かを正確に判定できない場合がある。

このため、対象撮影画像Ｇ０に隣接する撮影画像のみならず、対象撮影画像Ｇ０に近接する少なくとも１つの撮影画像を他の撮影画像Ｇ１として用いて、対象撮影画像Ｇ０が低品質であるか否かを判定してもよい。以下、これを他の実施形態として説明する。なお、他の実施形態における撮影処理装置の構成は、図１に示す撮影処理装置２０の構成と同一であるため、ここでは装置についての詳細な説明は省略する。

ここで、対象撮影画像Ｇ０に近接する他の撮影画像Ｇ１としては、対象撮影画像Ｇ０を基準として予め定められた範囲内にある撮影画像を用いることができる。具体的には、対象撮影画像Ｇ０に隣接する複数の撮影画像に加えて、これらの隣接する撮影画像にさらに隣接する１以上の撮影画像を用いることができる。例えば、図１２に示すように、対象撮影画像Ｇ０を中心とする５×５個の範囲内にある撮影画像を、対象撮影画像Ｇ０に近接する他の撮影画像Ｇ１としてもよい。なお、対象撮影画像Ｇ０に隣接しないが、対象撮影画像Ｇ０を基準とした予め定められた範囲内にある撮影画像を対象撮影画像Ｇ０に近接する他の撮影画像Ｇ１としてもよい。例えば、図１２に示す斜線を付与した撮影画像を対象撮影画像Ｇ０に近接する他の撮影画像Ｇ１として用いてもよい。なお、対象撮影画像Ｇ０を中心とした予め定められた半径を有する円の範囲内に、その全部あるいはその一部が含まれる撮影画像を、対象撮影画像Ｇ０に近接する他の撮影画像Ｇ１として用いてもよい。

図１３は本発明の他の実施形態において行われる処理を示すフローチャートである。なお、他の実施形態において行われる処理は、図８に示すフローチャートにおけるステップＳＴ１６の処理のみが上記実施形態と異なる。このため、ここでは、図８に示すフローチャートにおけるステップＳＴ１６の処理についてのみ説明する。

図８に示すステップＳＴ１４に引き続き、撮影画像判定部２２は、対象撮影画像Ｇ０と比較する他の撮影画像Ｇ１を１つ設定する（ステップＳＴ３０）。なお、他の撮影画像Ｇ１は、対象撮影画像Ｇ０に近い撮影画像から順に設定すればよい。そして、撮影画像判定部２２は、上記実施形態と同様に、対象撮影画像Ｇ０および他の撮影画像Ｇ１における小領域Ａ０，Ａ１の類似性を表す指標値を算出し、指標値がしきい値Ｔｈ１よりも大きいか否かを判定する（ステップＳＴ３２）。ステップＳＴ３２が肯定されると、撮影画像判定部２２は、対象撮影画像Ｇ０は低品質であると判定し（ステップＳＴ３４）、図８のステップＳＴ１８の処理に進む。

ステップＳＴ３２が否定されると、撮影画像判定部２２は、全ての他の撮影画像Ｇ１について比較が終了したか否かを判定する（ステップＳＴ３６）。ステップＳＴ３６が否定されると、対象撮影画像Ｇ０と比較する他の撮影画像Ｇ１を次の撮影画像に設定し（ステップＳＴ３８）、ステップＳＴ３２の処理に戻る。ステップＳＴ３６が肯定されると、撮影画像判定部２２は、対象撮影画像Ｇ０は低品質ではないと判定し（ステップＳＴ４０）、図８におけるステップＳＴ２０の処理に進む。

また、上記実施形態においては、全ての観察領域の撮影画像を取得した後に、対象撮影画像が低品質であるか否かを判定しているが、各観察領域の撮影画像を取得しつつ、対象撮影画像が低品質であるか否かを判定するようにしてもよい。この場合において、他の撮影画像Ｇ１を複数用いる場合、すでに取得された撮影画像を他の撮影画像Ｇ１として用いればよい。

また、上記実施形態においては、対象撮影画像Ｇ０および他の撮影画像の隣接する小領域を用いて指標値を算出して、対象撮影画像Ｇ０が低品質であるか否かを判定しているが、対象撮影画像Ｇ０および他の撮影画像の全領域、とくに細胞領域の全領域を用いて指標値を算出してもよい。

１０ 顕微鏡装置
２０ 撮影処理装置
２１ 領域検出部
２２ 撮影画像判定部
２３ 処理制御部
２４ 表示制御部
３０ 表示装置
４０ 入力装置
５０ ウェルプレート
５１ ウェル
Ａ０，Ａ１ 小領域
Ｅ 走査終了点
Ｇ０ 対象撮影画像
Ｇ１ 他の撮影画像
Ｓ 走査開始点
Ｓｃ 走査軌跡を示す実線

Claims (10)

1. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置と、
   前記撮影画像から前記観察対象の領域を検出する領域検出部と、
   前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する撮影画像判定部と、
   前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する処理制御部とを備えた撮影処理装置。
2. 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、該対象撮影画像に対応する前記観察領域を再撮影する請求項１に記載の撮影処理装置。
3. 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、前記対象撮影画像が低品質であることを通知する請求項１に記載の撮影処理装置。
4. 前記処理制御部は、前記対象撮影画像が低品質であると判定された場合、前記対象撮影画像に対して、明るさ補正処理およびシャープネス強調処理の少なくとも一方を行う請求項１に記載の撮影処理装置。
5. 前記撮影画像判定部は、検出された前記観察対象の領域の類似性に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項１から４のいずれか１項に記載の撮影処理装置。
6. 前記撮影画像判定部は、前記対象撮影画像および前記他の撮影画像のそれぞれにおいて検出された前記観察対象の領域における一部の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項１から５のいずれか１項に記載の撮影処理装置。
7. 前記撮影処理装置は、前記観察領域の一部を重複させて前記複数の撮影画像を取得し、
   前記撮影画像判定部は、前記対象撮影画像および前記他の撮影画像のそれぞれにおける重複する領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する請求項１から５のいずれか１項に記載の撮影処理装置。
8. 前記対象撮影画像が低品質であると判定された場合、前記処理制御部は、前記対象撮影画像における前記重複する領域を、前記他の撮影画像における前記重複する領域と置換する請求項７に記載の撮影処理装置。
9. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法であって、
   前記撮影画像から前記観察対象の領域を検出し、
   前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定し、
   前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する撮影処理装置の制御方法。
10. 観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備え、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影して、複数の撮影画像を取得する観察装置を備えた撮影処理装置の制御方法をコンピュータに実行させるための撮影処理プログラムであって、
    前記撮影画像から前記観察対象の領域を検出する手順と、
    前記複数の撮影画像のうちの対象撮影画像において検出された前記観察対象の領域および、前記対象撮影画像に近接する少なくとも１つの他の撮影画像において検出された前記観察対象の領域に基づいて、前記対象撮影画像が低品質であるか否かを判定する手順と、
    前記対象撮影画像が低品質であると判定された場合、該対象撮影画像についての撮影および該対象撮影画像に対する画像処理の少なくとも一方を制御する手順とをコンピュータに実行させるための撮影処理プログラム。