JP2018046475A - 画像処理方法、画像処理装置、および撮像装置 - Google Patents

Abstract

【課題】カメラの焦点位置によって画像の倍率が変動する場合であっても、対象物の位置及び大きさを精度よく反映した全焦点画像を生成できる画像処理方法、画像処理装置、及び撮像装置を提供する。【解決手段】焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像Ｄ１〜Ｄ５を取得する。次に、複数の撮影画像Ｄ１〜Ｄ５の間における倍率変動を取得する。続いて、倍率変動に基づき、複数の撮影画像Ｄ１〜Ｄ５の間において、互いに対応する画素を特定するとともに、対応する画素同士で、鮮鋭度を比較する。そして、鮮鋭度の比較結果に基づいて、全焦点画像ＤＡの各座標の輝度値として参照すべき撮影画像の番号である画像参照値を決定する。その後、座標毎に、画像参照値が示す撮影画像の輝度値を参照して、全焦点画像ＤＡを生成する。これにより、対象物の位置及び大きさを精度よく反映した全焦点画像ＤＡを生成できる。【選択図】図１５

Description

本発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法、画像処理装置、および撮像装置に関する。

特許文献１には、細胞を高解像度で撮影することによって、細胞の培養状態を観察する装置が記載されている。特許文献１の装置は、容器内に培養液とともに保持された細胞を、カメラで撮影する。このような装置では、１回の撮影で、培養液中の全ての細胞に焦点を合わせることが難しい場合がある。このため、カメラの焦点位置を変えて複数回の撮影を行い、得られた複数の画像を合成することによって、全体に焦点が合ったような全焦点画像を生成する。

特許文献２には、全焦点画像の生成に関する従来の技術が記載されている。特許文献２の装置では、標本から撮像手段までの光学系が非テレセントリックであるため、カメラの焦点位置を変えると画像の倍率が変化する。このため、特許文献２の装置は、画像の倍率を補正により統一した上で、全焦点画像を生成している（特許文献２の図２等参照）。倍率の補正は、予め保存された拡大光学系の設計情報と、標本の位置情報とに基づいて、行われている（特許文献２の段落００５４等参照）。

特開２０１６−１４９７４号公報 特開２０１１−７８７２号公報

特許文献１の装置のように、培養液中の細胞を撮影する場合には、表面張力によって、培養液の表面が凹状のメニスカスを形成する。このため、培養液の表面において光が屈折する。その結果、カメラの焦点位置によって、画像の倍率（視野の広さ）が変動する。したがって、全焦点画像の生成にあたっては、複数回の撮影により得られた画像間の倍率変動を考慮しなければならない。

例えば、複数回の撮影により得られた画像間の倍率変動量に応じて、特許文献２のように、各画像の倍率を補正して、全焦点画像を生成することが考えられる。しかしながら、各画像の倍率を補正すると、画像中の細胞の大きさや、複数の細胞の間隔が変化してしまうという問題がある。

特に、異なる視野において得られた複数の全焦点画像を配列して、１つの結果画像を生成する場合には、隣り合う全焦点画像の間で、細胞の位置および大きさを整合させる必要がある。しかしながら、上記のように、画像ごとに倍率を補正すると、隣り合う全焦点画像の間で、細胞の位置および大きさが、精度よく整合しない。このため、結果画像中の全焦点画像の境目において、画像の乱れが生じる。

本発明は、このような事情に鑑みなされたものであり、カメラの焦点位置によって画像の倍率が変動する場合であっても、対象物の位置および大きさを精度よく反映した全焦点画像を生成できる画像処理方法、画像処理装置、および撮像装置を提供することを目的とする。

上記課題を解決するため、本願の第１発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像間における倍率変動を取得する工程と、ｃ）前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較する工程と、ｄ）前記工程ｃ）の比較結果に基づいて、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、ｅ）座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する工程と、を有する。

本願の第２発明は、第１発明の画像処理方法であって、前記工程ｂ）では、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、前記工程ｃ）では、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する。

本願の第３発明は、第１発明または第２発明の画像処理方法であって、前記工程ｃ）は、ｃ１）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する工程と、ｃ２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する工程と、を有し、前記工程ｄ）では、前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する。

本願の第４発明は、第１発明から第３発明までのいずれか１発明の画像処方法であって、前記工程ｄ）の後に、ｆ）座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える工程をさらに有する。

本願の第５発明は、第１発明から第４発明までのいずれか１発明の画像処理方法であって、ｇ）異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成する工程をさらに有する。

本願の第６発明は、第１発明から第５発明までのいずれか１発明の画像処理方法であって、前記対象物は、容器内に液体またはゲル状の物質とともに保持される。

本願の第７発明は、第６発明の画像処理方法であって、前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である。

本願の第８発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、前記複数の撮影画像間における倍率変動を取得する倍率変動取得部と、前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較することによって、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する全焦点画像生成部と、を有する。

本願の第９発明は、第８発明の画像処理装置であって、前記倍率変動取得部は、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、前記画像参照値決定部は、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する。

本願の第１０発明は、第８発明または第９発明の画像処理装置であって、前記画像参照値決定部は、１）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する処理と、２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する処理と、３）前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する処理と、を実行する。

本願の第１１発明は、第８発明から第１０発明までのいずれか１発明の画像処理装置であって、座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える影除去処理部をさらに有する。

本願の第１２発明は、第８発明から第１１発明までのいずれか１発明の画像処理装置であって、異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成するタイリング処理部をさらに有する。

本願の第１３発明は、第８発明から第１２発明までのいずれか１発明の画像処理装置であって、前記対象物は、容器内に液体またはゲル状の物質とともに保持される。

本願の第１４発明は、第１３発明の画像処理装置であって、前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である。

本願の第１５発明は、撮像装置であって、第８発明から第１４発明までのいずれか１発明の画像処理装置と、前記対象物を撮影するカメラと、前記対象物に向けて光を照射する投光部と、前記カメラの焦点位置を光軸に沿って変化させる移動機構と、を有する。

本願の第１発明〜第１５発明によれば、複数の撮影画像間において、倍率変動を考慮して、互いに対応する画素を特定する。そして、対応する画素同士で鮮鋭度を比較することによって、各座標の画像参照値を決める。その後、座標毎に、画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する。これにより、対象物の位置および大きさを精度よく反映した全焦点画像を生成できる。

特に、本願の第２発明および第９発明によれば、倍率変動の中心が一定でない環境下においても、平行移動量を求めることによって、各撮影画像の対応する画素を、精度よく特定できる。

特に、本願の第３発明および第１０発明によれば、座標毎に、画像参照値を適切に選択できる。

特に、本願の第４発明および第１１発明によれば、対象物のボケ部分が全焦点画像に採用されてしまった場合に、そのボケ部分を合焦点位置の撮影画像の輝度値に置き換えることができる。これにより、全焦点画像中に生じる影を除去できる。

特に、本願の第５発明および第１２発明によれば、隣り合う全焦点画像の間で、対象物の位置および大きさが、精度よく整合する。このため、結果画像中の全焦点画像の境目における画像の乱れを抑制できる。

特に、本願の第６発明および第１３発明によれば、液体またはゲル状の物質の表面形状の影響で、撮影画像の倍率変動が生じる。したがって、本発明が特に有用である。

ウェルプレートの一例を示す斜視図である。 撮像装置の構成を示した図である。 制御部と、撮像装置内の各部との接続を示したブロック図である。 制御部内において実現される機能を、概念的に示したブロック図である。 撮影処理の流れを示したフローチャートである。 １つのウェルの断面図である。 複数の撮影画像の例を示した図である。 画像処理の流れを示したフローチャートである。 倍率変動量および平行移動量の算出手順を示したフローチャートである。 ２画像間で倍率変動量および平行移動量を求めるときの様子を、概念的に示した図である。 画像参照値を決定するときの処理手順を示したフローチャートである。 画像参照値を決定するときの処理の様子を、概念的に示した図である。 影除去処理の例を示したフローチャートである。 影除去処理の様子を、概念的に示した図である。 ５つの撮影画像と、生成される全焦点画像との関係を、概念的に示した図である。

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。

＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。ウェルプレート９は、複数のウェル（窪部）９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。図１に示すように、複数のウェル９１は、ウェルプレート９の上面に、規則的に配列されている。各ウェル９１内には、培養液９２とともに、撮影対象物となる複数の細胞９３が保持される。なお、上面視におけるウェル９１の形状は、図１のような円形であってもよく、矩形等の他の形状であってもよい。

図２は、本発明の一実施形態に係る撮像装置１の構成を示した図である。この撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影し、得られた複数の撮影画像を合成して、観察用の合成画像（全焦点画像）を生成する装置である。

撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像を取得する。その後、得られた画像に基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。

ただし、撮像装置１は、ＩＰＳ細胞やＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。

図２に示すように、本実施形態の撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、カメラ移動機構６０、および制御部７０を備えている。

ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。

投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。後述する撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、ウェルプレート９に向けて光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。

投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、ウェル９１の上方の指定された位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系４１と、ＣＣＤやＣＭＯＳ等の撮像素子４２とを有する。後述する撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部７０へ入力される。

焦点移動機構５０は、カメラ４０の焦点位置を変化させる機構である。本実施形態の焦点移動機構５０は、カメラ４０の光学系４１に含まれる一部の光学部品を移動させる。これにより、カメラ４０の焦点位置を光軸に沿って変化させる。焦点移動機構５０は、ウェルプレート９内の細胞９３の付近において、カメラ４０の焦点位置を、上下に細かく変化させることができる。焦点移動機構５０には、例えば、小型のモータが用いられる。

カメラ移動機構６０は、カメラ４０の姿勢を維持しつつ、カメラ４０の水平方向の位置を変化させる機構である。カメラ移動機構６０は、カメラ４０および焦点移動機構５０を、一体として水平に移動させる。カメラ移動機構６０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、カメラ移動機構６０を動作させることにより、ウェル９１の下方の指定された位置に、カメラ４０を配置することができる。なお、図２では、カメラ移動機構６０によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構６０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

上述した投光部移動機構３０と、カメラ移動機構６０とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、ある細胞９３の下方位置にカメラ４０が配置されたときには、必ず、その細胞９３の上方位置に投光部２０が配置される。

制御部７０は、例えば、コンピュータにより構成される。制御部７０は、撮像装置１内の各部を動作制御する制御装置としての機能と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成する画像処理装置としての機能と、を有する。図３は、制御部７０と、撮像装置１内の各部との接続を示したブロック図である。図３に示すように、制御部７０は、上述した投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０と、それぞれ通信可能に接続されている。

また、図３中に概念的に示したように、制御部７０は、ＣＰＵ等のプロセッサ７０１、ＲＡＭ等のメモリ７０２、およびハードディスクドライブ等の記憶部７０３を有する。記憶部７０３内には、撮像装置１内の各部を動作制御するための制御プログラム７１０と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成するための画像処理プログラム７２０と、が記憶されている。

図４は、制御部７０内において実現される機能を、概念的に示したブロック図である。図４に示すように、制御部７０は、撮像制御部７１と画像処理部７２とを有する。撮像制御部７１は、制御プログラム７１０に従って、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。画像処理部７２は、カメラ４０から入力された複数の撮影画像を、画像処理プログラム７２０に従って処理することにより、全焦点画像を生成する。

また、図４に示すように、画像処理部７２は、画像記憶部７２１、誤差補正部７２２、倍率変動取得部７２３、画像参照値決定部７２４、影除去処理部７２５、全焦点画像生成部７２６、およびタイリング処理部７２７を有する。これらの各部が行う具体的な処理については、後述する。

＜２．撮影処理について＞
続いて、上述した撮像装置１の動作について、説明する。図５は、撮像装置１おける撮影処理の流れを示したフローチャートである。図６は、１つのウェル９１における撮影処理の様子を示した図である。

撮像装置１のステージ１０に、ウェルプレート９がセットされて、制御部７０に動作開始の指示が入力されると、制御部７０の撮像制御部７１は、まず、焦点移動機構５０を動作させる。これにより、カメラ４０の焦点位置を、所定の高さに合わせる（ステップＳ１）。図６に示すように、本実施形態では、カメラ４０の焦点位置を５段階（第１焦点位置Ｈ１〜第５焦点位置Ｈ５）に変更できるものとする。撮影処理の開始時には、まず、最も高い第１焦点位置Ｈ１に、カメラ４０の焦点を合わせる。

また、この撮像装置１では、１つのウェル９１を、複数の領域に分けて撮影する。制御部７０内には、各領域を撮影するための撮影位置の座標情報が、予め記憶されている。ステップＳ１が終了すると、制御部７０は、当該座標情報に基づいて、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、カメラ４０を、最初に撮影を行うべき第１撮影位置Ｘ１に移動させるとともに、投光部２０を第１撮影位置Ｘ１の上方に移動させる（ステップＳ２）。

続いて、制御部７０は、投光部２０およびカメラ４０を動作させて、第１撮影位置Ｘ１からの撮影を行う（ステップＳ３）。すなわち、投光部２０から下方へ向けて光を照射しつつ、カメラ４０による撮影を行う。これにより、第１撮影位置Ｘ１から撮影した、第１焦点位置Ｈ１の撮影画像が得られる。

続いて、制御部７０は、撮影を行うべき次の撮影位置があるか否かを判断する（ステップＳ４）。次の撮影位置がある場合には（ステップＳ４においてｙｅｓ）、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、カメラ４０を次の第２撮影位置Ｘ２に移動させるとともに、投光部２０を第２撮影位置Ｘ２の上方に移動させる（ステップＳ２）。そして、制御部７０は、投光部２０およびカメラ４０を動作させて、第２撮影位置Ｘ２からの撮影を行う（ステップＳ３）。

このように、制御部７０は、投光部２０およびカメラ４０の移動（ステップＳ２）と、撮影（ステップＳ３）とを繰り返す。これにより、予め設定された全ての撮影位置において、第１焦点位置Ｈ１の撮影画像を取得する。

やがて、未撮影の撮影位置が無くなると（ステップＳ４においてｎｏ）、制御部７０は、カメラ４０の焦点位置を変更するか否かを判断する（ステップＳ５）。ここでは、５つの焦点位置Ｈ１〜Ｈ５のうち、まだ撮影を行っていない焦点位置が残っていれば、カメラ４０の焦点位置を変更すべきと判断する（ステップＳ５においてｙｅｓ）。例えば、第１焦点位置Ｈ１における撮影処理が終了すると、制御部７０は、次の焦点位置である第２焦点位置Ｈ２に、カメラ４０の焦点位置を変更すべきと判断する。

カメラ４０の焦点位置を変更する場合、制御部７０は、焦点移動機構５０を動作させて、カメラ４０の焦点位置を、変更すべき位置に移動させる（ステップＳ１）。そして、上述したステップＳ２〜Ｓ４の処理を繰り返す。これにより、予め設定された全ての撮影位置において、変更後の焦点位置の撮影画像を取得する。

以上のように、制御部７０は、カメラ４０の焦点位置の変更（ステップＳ１）と、複数の撮影位置からの撮影画像の取得（ステップＳ２〜Ｓ４）とを繰り返す。これにより、予め設定された複数の撮影位置のそれぞれにおいて、５つの焦点位置Ｈ１〜Ｈ５で撮影された５つの撮影画像が得られる。

＜３．画像処理について＞
続いて、カメラ４０から入力された複数の撮影画像に基づいて、全焦点画像を生成するための画像処理について説明する。

上述したステップＳ１〜Ｓ５が終了すると、撮影位置毎に、焦点位置の異なる５つの撮影画像Ｄ１〜Ｄ５が得られる。ただし、図６に示すように、ウェル９１内の培養液９２の表面は、表面張力の影響で凹状のメニスカスを形成する。このため、投光部２０から照射された光Ｌは、培養液９２の表面を通過する際に屈折して、拡散光となる。したがって、５つの撮影画像Ｄ１〜Ｄ５は、互いに倍率が異なる。また、光Ｌの拡散の大きさは、撮影位置毎に異なる。このため、５つの撮影画像Ｄ１〜Ｄ５の倍率変動量も、撮影位置毎に相違する。

図７は、図６の第２撮影位置Ｘ２において撮影された５つの撮影画像Ｄ１〜Ｄ５を示した図である。図７の第１撮影画像Ｄ１〜第５撮影画像Ｄ５は、それぞれ、図６の第１焦点位置Ｈ１〜第５焦点位置Ｈ５における撮影画像である。各撮影画像Ｄ１〜Ｄ５には、ウェル９１内に保持された２つの細胞９３のうちの１つまたは２つの画像が含まれている。図中右側の細胞９３は、第２焦点位置Ｈ２で撮影された第２撮影画像Ｄ２において、最も焦点が合っている。図中左側の細胞９３は、第４焦点位置Ｈ４で撮影された第４撮影画像Ｄ４において、最も焦点が合っている。

細胞９３の観察は、細胞に焦点が合った合焦点位置で行うことが好ましい。しかしながら、図６のように、１つのウェル９１に含まれる複数の細胞９３の高さ（光軸方向の位置）が異なる場合、１つの撮影画像で、全ての細胞９３に焦点を合わせることはできない。このため、この撮像装置１の制御部７０は、複数の撮影画像Ｄ１〜Ｄ５に含まれる画素の輝度値を組み合わせて、全ての細胞９３に焦点が合ったボケの少ない全焦点画像を生成する。

また、上述したメニスカスの影響により、撮影画像Ｄ１〜Ｄ５の倍率は、焦点位置の高さが低くなるにつれて拡大する。したがって、５つの撮影画像Ｄ１〜Ｄ５のうち、第１撮影画像Ｄ１は最も倍率が小さく、第５撮影画像Ｄ５は最も倍率が大きくなる。各撮影画像内における細胞９３の位置や細胞９３の大きさは、撮影画像の倍率に応じて変化する。撮像装置１の制御部７０は、このような倍率変動を考慮して、全焦点画像の生成を行う。

図８は、５つの撮影画像Ｄ１〜Ｄ５から、１つの全焦点画像を生成するための画像処理の流れを示したフローチャートである。

全焦点画像を生成するときには、まず、制御部７０が、上述した撮影処理によって得られた複数の撮影画像Ｄ１〜Ｄ５を、画像記憶部７２１に記憶させる（ステップＳ６）。また、制御部７０の誤差補正部７２２が、各撮影画像Ｄ１〜Ｄ５の誤差を補正する（ステップＳ７）。ここでは、撮像装置１の機械的誤差に起因する各撮影画像Ｄ１〜Ｄ５の位置のばらつきを補正する。例えば、カメラ移動機構６０に既知の位置決め誤差がある場合には、その位置決め誤差の分だけ、各撮影画像Ｄ１〜Ｄ５の位置を補正する。これにより、次のステップＳ８において、５つの撮影画像Ｄ１〜Ｄ５の間の倍率変動量および平行移動量を、より正確に算出できる。

次に、制御部７０の倍率変動取得部７２３が、５つの撮影画像Ｄ１〜Ｄ５の間の倍率変動量および平行移動量を算出する（ステップＳ８）。ここでは、５つの撮影画像Ｄ１〜Ｄ５の間で、細胞９３の大きさや細胞９３の位置が、どれだけ変化しているかを検出する。これにより、培養液９２のメニスカスに起因する倍率変動の大きさを算出する。

図９は、ステップＳ８における処理の例を示したフローチャートである。本実施形態では、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求める。図１０は、２つの撮影画像Ｄ２，Ｄ３について、倍率変動量と平行移動量とを求めるときの処理の様子を、概念的に示した図である。

ステップＳ８では、まず、２つの撮影画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する（ステップＳ８ａ）。図１０の例では、２つの撮影画像Ｄ２，Ｄ３のうち、倍率の大きい（視野が狭い）方の撮影画像Ｄ３を、予め設定された倍率ごとに縮小して、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を作成している。

次に、２つの撮影画像の他方と、作成された複数の候補画像のそれぞれとの間で、テンプレートマッチングを行う（ステップＳ８ｂ）。図１０の例では、矢印Ｔのように、撮影画像Ｄ２と、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・のそれぞれとの間で、テンプレートマッチングを行う。具体的には、撮影画像Ｄ２に対して、各候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を平行移動させる。そして、各位置におけるマッチングスコアを算出する。マッチングスコアには、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などの既知の手法により算出される、画像の類似度を表す評価値を用いればよい。

倍率変動取得部７２３は、候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・ごとに、マッチングスコアの最大値ＳＭと、そのときの平行移動量ＤＭとを求める（ステップＳ８ｃ）。そして、マッチングスコアの最大値ＳＭが最も大きい候補画像を、その撮影画像Ｄ３についての選択画像とする（ステップＳ８ｄ）。選択画像が決まると、倍率変動取得部７２３は、選択画像の倍率を、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量として決定する。また、選択画像の上記のマッチングスコアが最大値ＳＭとなるときの平行移動量ＤＭを、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量として決定する（ステップＳ８ｅ）。

倍率変動取得部７２３は、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、以上のステップＳ８ａ〜Ｓ８ｅの処理を実行する。これにより、２画像ごとに、倍率変動量と平行移動量とを決定する。

２画像間の倍率変動量と平行移動量とが決まると、倍率変動取得部７２３は、５つの撮影画像Ｄ１〜Ｄ５のうちの１つ（例えば撮影画像Ｄ１）を基準画像として、その基準画像に対する他の撮影画像の倍率変動量と平行移動量とを、算出する（ステップＳ８ｆ）。例えば、撮影画像Ｄ１に対する撮影画像Ｄ３の倍率変動量は、２つの撮影画像Ｄ１，Ｄ２の間の倍率変動量と、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量とを、掛け合わせた値とする。また、撮影画像Ｄ１に対する撮影画像Ｄ３の平行移動量は、２つの撮影画像Ｄ１，Ｄ２の間の平行移動量と、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量とを、足し合わせた値とする。

図８に戻る。ステップＳ８の処理が終わると、次に、制御部７０の画像参照値決定部７２４は、５つの撮影画像Ｄ１〜Ｄ５の間において、互いに対応する画素を特定する（ステップＳ９）。ここでは、ステップＳ８で得られた倍率変動量と平行移動量とに基づいて、各撮影画像Ｄ１〜Ｄ５において、ウェル９１内の同一の位置と判断される画素を、対応する画素として特定する。

続いて、制御部７０の画像参照値決定部７２４が、５つの撮影画像Ｄ１〜Ｄ５の互いに対応する画素において、それぞれ鮮鋭度を算出する（ステップＳ１０）。鮮鋭度は、その画素付近における画像の明瞭さ（sharpness）を示す指標である。鮮鋭度は、例えば、その画素を中心とする一定の領域における画素の輝度変化に基づいて計算される。ただし、鮮鋭度に、周辺画素の輝度の分散値、輝度の最大値、輝度の最小値、画素そのものの輝度値などが用いられてもよい。

制御部７０の画像参照値決定部７２４は、５つの撮影画像Ｄ１〜Ｄ５の対応する画素同士で、鮮鋭度を比較する。そして、その比較結果に基づいて、全焦点画像の座標ごとに、画像参照値を決定する（ステップＳ１１）。画像参照値は、全焦点画像の各座標の輝度値として参照すべき撮影画像の番号を示すパラメータである。例えば、全焦点画像のある座標について、第１撮影画像Ｄ１の輝度値を参照すべき場合は、画像参照値を「１」とする。

図１１は、ステップＳ１１における処理の例を示したフローチャートである。図１２は、ステップＳ１１の処理の様子を、概念的に示した図である。ステップＳ１１では、まず、複数の撮影画像中の同一の座標に位置する注目画素Ｐａと、注目画素Ｐａに対応する他の撮影画像中の対応画素Ｐｂとで、鮮鋭度を比較する（ステップＳ１１ａ）。図１２においては、注目画素Ｐａを黒丸で示し、対応画素Ｐｂを白丸で示している。また、図１２においては、注目画素Ｐａとそれに対応する他の撮影画像中の対応画素Ｐｂとが、破線で結ばれている。

本実施形態では、１つの撮影位置において、５つの撮影画像Ｄ１〜Ｄ５が取得される。このため、図１２のように、１つの座標に対して、５つの注目画素Ｐａと、２０個の対応画素Ｐｂとが設定される。

次に、画像参照値決定部７２４は、注目画素Ｐａごとに（すなわち、１つの注目画素Ｐａとそれに対応する４つの対応画素Ｐｂとで構成されるグループごとに）、対応画素Ｐｂの鮮鋭度に対する注目画素Ｐａの鮮鋭度の強さを示す評価値を算出する（ステップＳ１１ｂ）。評価値は、例えば、注目画素Ｐａの鮮鋭度を、４つの対応画素Ｐｂの鮮鋭度の合計値で除算することにより算出すればよい。ただし、評価値の算出方法は、これに限定されるものではない。

そして、画像参照値決定部７２４は、５つの撮影画像Ｄ１〜Ｄ５中の注目画素Ｐａのうち、評価値が最も大きい注目画素Ｐａが属する撮影画像の番号を、画像参照値とする（ステップＳ１１ｃ）。例えば、図１２中に例示した５つの注目画素Ｐａの中で、第４撮影画像Ｄ４中に設定された注目画素Ｐａの評価値が最も大きければ、この座標における画像参照値を「４」とする。これにより、１つの座標における画像参照値が決まる。画像参照値決定部７２４は、このようなステップＳ１１ａ〜Ｓ１１ｃの処理を、座標毎に実行する。その結果、全焦点画像ＤＡの座標毎に、参照すべき撮影画像を示す画像参照値が決定される。

ただし、上記の画像処理は、倍率変動量に基づく座標計算を伴う。このため、ステップＳ１１の画像参照値の決定の際に、ボケ部分の画素を選択してしまうことが起こりやすい。そうすると、後述するステップＳ１３において生成される全焦点画像ＤＡ中に、例えば、ピントの合った細胞９３の周辺に影のような領域が生じてしまう。

このような問題を解消するために、制御部７０の影除去処理部７２５は、一旦決定された画像参照値を調整する影除去処理を行う（ステップＳ１２）。図１３は、影除去処理の例を示したフローチャートである。図１４は、影除去処理の様子を、概念的に示した図である。図１４の上部には、影除去処理を実行せずに生成した全焦点画像ＤＡの例が示されている。当該全焦点画像ＤＡでは、右側の細胞９３の近傍に、本来選択すべきでない第１撮影画像Ｄ１中の焦点が合っていない細胞９３の画像が現れている。

図１３に示すように、影除去処理部７２５は、まず、座標毎に、座標自身の画像参照値Ｉｎおよび鮮鋭度Ｅｎと、その座標に対して倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の画像参照値Ｉｐおよび鮮鋭度Ｅｐとを比較する（ステップＳ１２ａ）。図１４の上図では、着目する座標Ｐｎの画像参照値Ｉｎが「１」、鮮鋭度Ｅｎが「２５」となっている。これに対し、比較対象となる座標Ｐｐの画像参照値Ｉｐが「２」、鮮鋭度Ｅｐが「８０」となっている。

影除去処理部７２５は、まず、着目する座標Ｐｎ自身の画像参照値Ｉｎと、比較対象となる座標Ｐｐの画像参照値Ｉｐとの関係が、両座標間の距離Ｍｐに対応しているかどうかを判断する（ステップＳ１２ｂ）。具体的には、画像参照値Ｉｎ，Ｉｐによって参照される撮影画像の間における倍率変動量が、両座標間の距離Ｍｐに対応しているかどうかを判断する。そして、対応していないと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを変更することなく保持する。

一方、ステップＳ１２ｂにおいて、画像参照値Ｉｎ，Ｉｐの関係が、両座標間の距離Ｍｐに対応していると判断される場合には、影除去処理部７２５は、次に、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、着目する座標Ｐｎ自身の鮮鋭度Ｅｎよりも十分に大きいかどうかを判断する（ステップＳ１２ｃ）。具体的には、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、全て、着目する座標自身の鮮鋭度Ｅｎよりも、予め設定された閾値以上に大きいかどうかを判断する。そして、鮮鋭度Ｅｐが鮮鋭度Ｅｎよりも十分に大きくないと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを変更することなく保持する。

一方、ステップＳ１２ｄにおいて、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、着目する座標Ｐｎ自身の鮮鋭度Ｅｎよりも十分に大きいと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを、比較対象となる座標Ｐｐの画像参照値Ｉｐに置き換える（ステップＳ１２ｄ）。図１４の例では、着目する座標Ｐｎの画像参照値Ｉｎを、１から２に書き換える。このようにすれば、図１４の上図ように、細胞９３のボケ部分が全焦点画像ＤＡに採用されてしまう場合に、そのボケ部分を合焦点位置の撮影画像（図１４の例では、第２撮影画像Ｄ２）の輝度値に置き換えることができる。このような処理を各座標で実行することで、図１４の下図のように、全焦点画像ＤＡ中に生じる影を除去できる。

なお、ステップＳ１２の影除去処理は、ステップＳ１３において全焦点画像が生成された後に、実行されてもよい。

図８に戻る。各座標の画像参照値が確定すると、続いて、制御部７０の全焦点画像生成部７２６が、全焦点画像を生成する（ステップＳ１３）。ここでは、全焦点画像の各座標について、ステップＳ１１〜Ｓ１２で決定された画像参照値が示す撮影画像の輝度値を参照して、輝度値を決定する。全焦点画像の各座標の輝度値は、画像参照値が示す撮影画像の注目画素Ｐａの輝度値そのものであってもよく、注目画素Ｐａの輝度値に基づいて算出される他の値であってもよい。

図１５は、５つの撮影画像Ｄ１〜Ｄ５と、生成される全焦点画像ＤＡとの関係を、概念的に示した図である。図１５に示すように、本実施形態の手法では、複数の撮影画像間において、倍率変動を考慮して、互いに対応する画素（例えば、図１５において破線で結ばれた画素）が特定される。そして、対応する画素同士で鮮鋭度を比較することによって、全焦点画像ＤＡの座標毎に画像参照値が決定される。その後、座標毎に、画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する。このようにすれば、複数の撮影画像間に倍率変動がある場合でも、全焦点画像ＤＡを生成できる。また、撮影画像の拡大または縮小を行わないため、細胞９３の位置および大きさを精度よく反映した全焦点画像ＤＡを生成できる。

図８に戻る。その後、制御部７０のタイリング処理部７２７が、異なる撮影位置からの撮影により得られた視野の異なる複数の全焦点画像ＤＡを配列（タイリング）する。これにより、ウェル９１の全体を表す１つの結果画像を生成する（ステップＳ１４）。上述の通り、本実施形態の画像処理では、細胞９３の位置および大きさを精度よく反映した全焦点画像ＤＡを生成できる。このため、タイリングを行うときに、隣り合う全焦点画像ＤＡの間で、細胞９３の位置および大きさが、精度よく整合する。したがって、結果画像中の全焦点画像ＤＡの境目における画像の乱れを抑制できる。

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

上記の実施形態では、ステップＳ８において、複数の撮影画像間の倍率変動量と平行移動量とを算出していた。しかしながら、撮影画像の倍率変動の中心が、ほぼ一定の位置となる場合には、上述したステップＳ８において、平行移動量の算出を省略してもよい。ただし、倍率変動の中心位置が変動しやすい場合には、上記の実施形態のように、倍率変動量および平行移動量の双方を算出し、ステップＳ９において、倍率変動量および平行移動量に基づいて、撮影画像間の対応する画素を特定する方がよい。これにより、各撮影画像の対応する画素を、より精度よく特定できる。

また、上記の実施形態では、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求めていた。しかしながら、互いに離れた２画像の間で、倍率変動量と平行移動量とを求めてもよい。ただし、隣り合う２画像の間では、各撮影画像中の細胞９３の変化が小さい。このため、２つの撮影画像の間で、同一の細胞９３を対応付けやすい。したがって、ステップＳ７２のテンプレートマッチングによって、倍率変動量と平行移動量とを、より精度よく求めることができる。

また、上記の実施形態では、ステップＳ８ｅにおいて、選択画像の倍率および平行移動量の値そのものを、２画像間の倍率変動量および平行移動量としていた。しかしながら、倍率変動量および平行移動量は、パラボラフィッティング等の関数近似によって、より高精度に算出してもよい。

また、上記の実施形態では、ステップＳ９において、最も倍率の小さい撮影画像Ｄ１を基準として、他の撮影画像Ｄ２〜Ｄ５を縮小していた。このようにすれば、撮影画像Ｄ２〜Ｄ５の解像度が低下せず、補間処理を行う必要もない。しかしながら、ステップＳ８にでは、撮影画像Ｄ２〜Ｄ５のうちのいずれか１つを基準画像として、他の画像を拡大または縮小してもよい。

また、上記のステップＳ８の処理を行う際に、撮影画像Ｄ１〜Ｄ５を縮小しておくことによって、制御部７０の演算負担を減らすようにしてもよい。

また、上記の実施形態では、複数の撮影画像の取得後に、撮影画像間の倍率変動量を算出していた。しかしながら、光学系の特性によって撮影画像間の倍率変動が生じる場合などのように、倍率変動量が変化しない場合には、制御部７０に、予め倍率変動量が記憶されていてもよい。

また、上記の実施形態では、撮影対象物となる細胞９３が、ウェルプレート９の複数のウェル９１内に保持されていた。しかしながら、細胞９３は、ウェルプレート９以外の容器に保持されていてもよい。例えば、細胞９３は、シャーレ内に保持されていてもよい。ただし、上記の実施形態のように、ウェルプレート９を使用する場合には、細胞９３が保持される個々のウェル９１が、比較的小さい。したがって、培養液９２のメニスカスが、より撮影画像に影響しやすくなる。したがって、本発明が特に有用である。

また、上記の実施形態では、ウェルプレート９内に培養液９２とともに細胞９３が保持されていた。しかしながら、細胞９３は、ゲル状の培地とともに保持されていてもよい。ゲル状の培地も、表面形状が一定にはならない。このため、培地の表面形状の影響で、撮影距離に対する撮影画像の倍率変動が生じる。したがって、撮影画像を単純に合成するだけでは、綺麗な全焦点画像が得られない。しかしながら、上記の実施形態と同様に、倍率変動量および平行移動量を求めて逆補正を行えば、各撮影画像中の細胞９３の位置を、揃えることができる。したがって、ボケの少ない全焦点画像を生成することができる。

また、上記の実施形態では、単体の細胞９３を撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、容器内に液体またはゲル状の物質とともに保持される、細胞以外の試料であってもよい。

また、上記の実施形態では、撮影対象物の上方に投光部２０が配置され、撮影対象物の下方にカメラ４０が配置されていた。しかしながら、撮影対象物の下方に投光部２０が配置され、撮影対象物の上方にカメラ４０が配置されていてもよい。また、投光部２０とカメラ４０とが、撮影対象物に対して同じ側に配置され、投光部２０から出射された光の反射光が、カメラ４０に入射する構成であってもよい。

また、上記の実施形態では、カメラ４０の光学系４１に含まれる一部の光学部品を移動させることにより、カメラ４０の焦点位置を変化させていた。しかしながら、カメラ４０全体を昇降移動させることにより、ウェル９１内におけるカメラ４０の焦点位置を、光軸に沿って変化させてもよい。また、撮影対象物を保持する容器を昇降移動させることにより、容器に対するカメラ４０の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、カメラ４０内の一部の光学部品を移動させる機構、カメラ４０全体を移動させる機構、および容器を移動させる機構のいずれであってもよい。

また、上記の実施形態では、細胞９３を保持する容器の位置が固定され、投光部２０およびカメラ４０が水平方向に移動していた。しかしながら、投光部２０およびカメラ４０の位置を固定して、容器を水平方向に移動させてもよい。ただし、撮影の途中で培養液９２の表面形状が変化すると、撮影画像の倍率変動量および平行移動量を、正確に算出しにくい。このため、上記の実施形態のように、撮影対象物の位置は、固定されていることが好ましい。

また、上記の実施形態では、カメラ４０の焦点位置が５段階に変更可能であり、１つの視野について、５つの撮影画像Ｄ１〜Ｄ５を取得していた。しかしながら、１つの視野について取得する撮影画像の数は、２〜４つであってもよく、６つ以上であってもよい。

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

１ 撮像装置
９ ウェルプレート
１０ ステージ
２０ 投光部
３０ 投光部移動機構
４０ カメラ
５０ 焦点移動機構
６０ カメラ移動機構
７０ 制御部
７１ 撮像制御部
７２ 画像処理部
９１ ウェル
９２ 培養液
９３ 細胞
７１０ 制御プログラム
７２０ 画像処理プログラム
７２１ 画像記憶部
７２２ 誤差補正部
７２３ 倍率変動取得部
７２４ 画像参照値決定部
７２５ 影除去処理部
７２６ 全焦点画像生成部
７２７ タイリング処理部
Ｈ１〜Ｈ５ 焦点位置
Ｄ１〜Ｄ５ 撮影画像
ＤＡ 全焦点画像

Claims (15)

1. 複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、
   ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、
   ｂ）前記複数の撮影画像間における倍率変動を取得する工程と、
   ｃ）前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較する工程と、
   ｄ）前記工程ｃ）の比較結果に基づいて、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、
   ｅ）座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する工程と、
   を有する画像処理方法。
2. 請求項１に記載の画像処理方法であって、
   前記工程ｂ）では、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、
   前記工程ｃ）では、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する画像処理方法。
3. 請求項１または請求項２に記載の画像処理方法であって、
   前記工程ｃ）は、
   ｃ１）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する工程と、
   ｃ２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する工程と、
   を有し、
   前記工程ｄ）では、前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する画像処理方法。
4. 請求項１から請求項３までのいずれか１項に記載の画像処方法であって、
   前記工程ｄ）の後に、
   ｆ）座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える工程
   をさらに有する画像処理方法。
5. 請求項１から請求項４までのいずれか１項に記載の画像処理方法であって、
   ｇ）異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成する工程
   をさらに有する画像処理方法。
6. 請求項１から請求項５までのいずれか１項に記載の画像処理方法であって、
   前記対象物は、容器内に液体またはゲル状の物質とともに保持される画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である画像処理方法。
8. 複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、
   焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、
   前記複数の撮影画像間における倍率変動を取得する倍率変動取得部と、
   前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較することによって、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、
   座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する全焦点画像生成部と、
   を有する画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記倍率変動取得部は、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、
   前記画像参照値決定部は、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する画像処理装置。
10. 請求項８または請求項９に記載の画像処理装置であって、
    前記画像参照値決定部は、
    １）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する処理と、
    ２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する処理と、
    ３）前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する処理と、
    を実行する画像処理装置。
11. 請求項８から請求項１０までのいずれか１項に記載の画像処理装置であって、
    座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える影除去処理部
    をさらに有する画像処理装置。
12. 請求項８から請求項１１までのいずれか１項に記載の画像処理装置であって、
    異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成するタイリング処理部
    をさらに有する画像処理装置。
13. 請求項８から請求項１２までのいずれか１項に記載の画像処理装置であって、
    前記対象物は、容器内に液体またはゲル状の物質とともに保持される画像処理装置。
14. 請求項１３に記載の画像処理装置であって、
    前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である画像処理装置。
15. 請求項８から請求項１４までのいずれか１項に記載の画像処理装置と、
    前記対象物を撮影するカメラと、
    前記対象物に向けて光を照射する投光部と、
    前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
    を有する撮像装置。