JP2018042006A - 画像処理方法、画像処理装置、および撮像装置 - Google Patents

Abstract

【課題】滑らかな全焦点画像を得ることができ、かつ、参照すべきでない撮影画像に存在する不要な輝度値が全焦点画像に現れることもない画像処理方法、画像処理装置、および撮像装置を提供する。
【解決手段】まず、焦点位置を変化させつつ撮影した複数の撮影画像について、画素ごとに鮮鋭度を算出する。次に、座標毎に、参照すべき撮影画像の番号である画像参照値を決定する。続いて、座標毎に、画像参照値と鮮鋭度とに基づいて輝度値を算出する。その際、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を反映させる。その後、算出された輝度値を組み合わせて、全焦点画像を生成する。これにより、滑らかな全焦点画像が得られる。また、画像参照値自体は変更しない。したがって、参照すべきでない撮影画像の画素に存在する不要な輝度値が、全焦点画像に現れることはない。
【選択図】図８

Description

本発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法、画像処理装置、および撮像装置に関する。

特許文献１には、細胞を高解像度で撮影することによって、細胞の培養状態を観察する装置が記載されている。特許文献１の装置は、容器内に培養液とともに保持された細胞を、カメラで撮影する。このような装置では、１回の撮影で、培養液中の全ての細胞に焦点を合わせることが難しい場合がある。このため、カメラの焦点位置を変えて複数回の撮影を行い、得られた複数の画像を合成することによって、全体に焦点が合ったような全焦点画像を生成する。

特開２０１６−１４９７４号公報 特開２０１０−２０７５８号公報

全焦点画像は、複数の撮影画像の焦点が合った部分を繋ぎ合わせることによって生成される。このため、画像の繋ぎ目において輝度値にムラが生じやすい。この点について、特許文献２には、平滑化により、滑らかな全焦点画像を生成する技術が記載されている。特許文献２の画像処理装置では、撮影した複数の画像のうち、画素ごとに参照すべき画像の番号を「第１の参照値」として決定している。また、この「第１の参照値」を平滑化することによって、「第２の参照値」を算出している。そして、「第２の参照値」に基づいて、滑らかな全焦点画像を生成している。

しかしながら、特許文献２の方法では、参照値自体を平滑化するため、平滑化した後の「第２の参照値」に基づいて、本来参照すべきでない画像が参照される場合がある。例えば、「第１の参照値」が１から５に切り替わる箇所では、平滑化により「第２の参照値」が３となる場合がある。このとき、本来参照すべきでない３番の画像に異物が映っていると、その異物が全焦点画像に現れてしまうこととなる。

本発明は、このような事情に鑑みなされたものであり、全焦点画像内の画像参照値が切り替わる箇所において、輝度値を滑らかに変化させることができ、かつ、参照すべきでない撮影画像に存在する不要な輝度値が全焦点画像に現れることもない画像処理方法、画像処理装置、および撮像装置を提供することを目的とする。

上記課題を解決するため、本願の第１発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像に含まれる各画素について、鮮鋭度を算出する工程と、ｃ）前記複数の撮影画像の互いに対応する画素の間で、鮮鋭度を比較することにより、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、ｄ）座標毎に、前記画像参照値と前記鮮鋭度とに基づいて輝度値を算出する工程と、ｅ）算出された輝度値を組み合わせて、全焦点画像を生成する工程と、を有し、前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を反映させる。

本願の第２発明は、第１発明の画像処理方法であって、前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、前記鮮鋭度が高いほど影響が大きくなるような重みづけで反映させる。

本願の第３発明は、第１発明または第２発明の画像処理方法であって、前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、距離が近いほど影響が大きくなるような重み付けで反映させる。

本願の第４発明は、第２発明または第３発明の画像処理方法であって、前記重み付けに、ガウシアン関数を用いる。

本願の第５発明は、第１発明から第４発明までのいずれか１発明の画像処理方法であって、前記対象物は細胞である。

本願の第６発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、前記複数の撮影画像に含まれる各画素について、鮮鋭度を算出する鮮鋭度算出部と、前記複数の撮影画像の互いに対応する画素の間で、鮮鋭度を比較することにより、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、座標毎に、前記画像参照値と前記鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、算出された輝度値を組み合わせて、全焦点画像を生成する全焦点画像生成部と、を有し、前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を反映させる。

本願の第７発明は、第６発明の画像処理装置であって、前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、前記鮮鋭度が高いほど影響が大きくなるような重みづけで反映させる。

本願の第８発明は、第６発明または第７発明の画像処理装置であって、前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、距離が近いほど影響が大きくなるような重み付けで反映させる。

本願の第９発明は、第７発明または第８発明の画像処理装置であって、前記重み付けに、ガウシアン関数を用いる。

本願の第１０発明は、第６発明から第９発明までのいずれか１発明の画像処理装置であって、前記対象物は細胞である。

本願の第１１発明は、撮像装置であって、第６発明から第１０発明までのいずれか１発明の画像処理装置と、前記対象物を撮影するカメラと、前記対象物に向けて光を照射する投光部と、前記カメラの焦点位置を光軸に沿って変化させる移動機構と、を有する。

本願の第１発明〜第５発明によれば、全焦点画像内の、画像参照値が切り替わる箇所において、輝度値を滑らかに変化させることができる。特に、本発明では、工程ｃ）において決定された画像参照値を変更することなく、各座標の輝度値を、互いに滑らかに変化するように算出できる。このため、参照すべきでない撮影画像の画素に存在する不要な輝度値が、全焦点画像に現れることはない。

特に、本願の第４発明によれば、ガウシアン関数の係数を任意に設定することによって、重み付けの度合いを調整できる。

本願の第６発明〜第１１発明によれば、全焦点画像内の、画像参照値が切り替わる箇所において、輝度値を滑らかに変化させることができる。特に、本発明では、画像参照値決定部が決定した画像参照値を変更することなく、各座標の輝度値を、互いに滑らかに変化するように算出できる。このため、参照すべきでない撮影画像の画素に存在する不要な輝度値が、全焦点画像に現れることはない。

特に、本願の第９発明によれば、ガウシアン関数の係数を任意に設定することによって、重み付けの度合いを調整できる。

ウェルプレートの一例を示す斜視図である。 撮像装置の構成を示した図である。 制御部と、撮像装置内の各部との接続を示したブロック図である。 制御部内において実現される機能を、概念的に示したブロック図である。 撮影処理の流れを示したフローチャートである。 １つのウェルの断面図である。 １つのウェルにおいて撮影された５つの撮影画像を示した図である。 全焦点画像の生成手順を示したフローチャートである。 画像参照値の分布の例を示した図である。 鮮鋭度の分布の例を示した図である。 全焦点画像の例を示した図である。

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。

＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。ウェルプレート９は、複数のウェル（窪部）９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。図１に示すように、複数のウェル９１は、ウェルプレート９の上面に、規則的に配列されている。各ウェル９１内には、培養液９２とともに、撮影対象物となる複数の細胞９３が保持される。なお、上面視におけるウェル９１の形状は、図１のような円形であってもよく、矩形等の他の形状であってもよい。

図２は、本発明の一実施形態に係る撮像装置１の構成を示した図である。この撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影し、得られた複数の撮影画像を合成して、観察用の合成画像（全焦点画像）を生成する装置である。

撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像を取得する。その後、得られた画像に基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。

ただし、撮像装置１は、ＩＰＳ細胞やＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。

図２に示すように、本実施形態の撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、カメラ移動機構６０、および制御部７０を備えている。

ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。

投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。後述する撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、ウェルプレート９に向けて光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。

投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系４１と、ＣＣＤやＣＭＯＳ等の撮像素子４２とを有する。後述する撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部７０へ入力される。

焦点移動機構５０は、カメラ４０の焦点位置を変化させる機構である。本実施形態の焦点移動機構５０は、カメラ４０の光学系４１に含まれる一部の光学部品を移動させる。これにより、カメラ４０の焦点位置を光軸に沿って変化させる。焦点移動機構５０は、ウェルプレート９内の細胞９３の付近において、カメラ４０の焦点位置を、上下に細かく変化させることができる。焦点移動機構５０には、例えば、小型のモータが用いられる。

カメラ移動機構６０は、カメラ４０の姿勢を維持しつつ、カメラ４０の水平方向の位置を変化させる機構である。カメラ移動機構６０は、カメラ４０および焦点移動機構５０を、一体として水平に移動させる。カメラ移動機構６０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、カメラ移動機構６０を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、カメラ移動機構６０によるカメラ４０の移動方向として、矢印ａ２の１方向のみが示されている。しかしながら、カメラ移動機構６０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

上述した投光部移動機構３０と、カメラ移動機構６０とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。

制御部７０は、例えば、コンピュータにより構成される。制御部７０は、撮像装置１内の各部を動作制御する制御装置としての機能と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成する画像処理装置としての機能と、を有する。図３は、制御部７０と、撮像装置１内の各部との接続を示したブロック図である。図３に示すように、制御部７０は、上述した投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０と、それぞれ通信可能に接続されている。

また、図２中に概念的に示したように、制御部７０は、ＣＰＵ等のプロセッサ７０１、ＲＡＭ等のメモリ７０２、およびハードディスクドライブ等の記憶部７０３を有する。記憶部７０３内には、撮像装置１内の各部を動作制御するための制御プログラムＰ１と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成するための画像処理プログラムＰ２と、が記憶されている。

図４は、制御部７０内において実現される機能を、概念的に示したブロック図である。図４に示すように、制御部７０は、撮像制御部７１と画像処理部７２とを有する。撮像制御部７１は、制御プログラムＰ１に従って、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。画像処理部７２は、カメラ４０から入力された複数の撮影画像を、画像処理プログラムＰ２に従って処理することにより、全焦点画像を生成する。

また、図４に示すように、画像処理部７２は、画像記憶部７２１、鮮鋭度算出部７２２、画像参照値決定部７２３、輝度値算出部７２４、および全焦点画像生成部７２５を有する。これらの各部が行う具体的な処理については、後述する。

＜２．撮影処理について＞
続いて、上述した撮像装置１の動作について、説明する。図５は、撮像装置１おける撮影処理の流れを示したフローチャートである。

撮像装置１のステージ１０に、ウェルプレート９がセットされて、制御部７０に動作開始の指示が入力されると、制御部７０の撮像制御部７１は、まず、焦点移動機構５０を動作させる。これにより、カメラ４０の焦点位置を、所定の高さに合わせる（ステップＳ１）。図６は、１つのウェル９１の断面図である。図６に示すように、本実施形態では、カメラ４０の焦点位置を５段階（第１焦点位置Ｈ１〜第５焦点位置Ｈ５）に変更できるものとする。撮影処理の開始時には、まず、最も高い第１焦点位置Ｈ１に、カメラ４０の焦点を合わせる。

次に、制御部７０は、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、投光部２０およびカメラ４０を、撮影すべきウェル９１の上下に移動させる（ステップＳ２）。そして、制御部７０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。すなわち、投光部２０から下方へ向けて光を照射しつつ、カメラ４０による撮影を行う。これにより、当該ウェル９１内に保持された細胞９３の、第１焦点位置Ｈ１における撮影画像が得られる。

続いて、制御部７０は、撮影対象となる次のウェル９１があるか否かを判断する（ステップＳ４）。次のウェル９１がある場合には（ステップＳ４においてｙｅｓ）、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、投光部２０およびカメラ４０を、次のウェル９１の上下に移動させる（ステップＳ２）。そして、制御部７０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。

このように、制御部７０は、投光部２０およびカメラ４０の移動（ステップＳ２）と、撮影（ステップＳ３）とを繰り返す。これにより、ウェルプレート９の撮影対象となる全てのウェル９１について、第１焦点位置Ｈ１における撮影画像を取得する。

やがて、未撮影のウェル９１が無くなると（ステップＳ４においてｎｏ）、制御部７０は、カメラ４０の焦点位置を変更するか否かを判断する（ステップＳ５）。ここでは、５つの焦点位置Ｈ１〜Ｈ５のうち、まだ撮影を行っていない焦点位置が残っていれば、カメラ４０の焦点位置を変更すべきと判断する（ステップＳ５においてｙｅｓ）。例えば、第１焦点位置Ｈ１における撮影処理が終了すると、制御部７０は、次の焦点位置である第２焦点位置Ｈ２に、カメラ４０の焦点位置を変更すべきと判断する。

カメラ４０の焦点位置を変更する場合、制御部７０は、焦点移動機構５０を動作させて、カメラ４０の焦点位置を、変更すべき位置に移動させる（ステップＳ１）。そして、上述したステップＳ２〜Ｓ４の処理を繰り返す。これにより、ウェルプレート９の各ウェル９１について、変更後の焦点位置における細胞９３の撮影画像を取得する。

以上のように、制御部７０は、カメラ４０の焦点位置の変更（ステップＳ１）と、複数のウェル９１についての撮影画像の取得（ステップＳ２〜Ｓ４）とを繰り返す。これにより、ウェルプレート９の複数のウェル９１のそれぞれについて、５つの焦点位置Ｈ１〜Ｈ５で撮影された５つの撮影画像が得られる。

＜３．画像処理について＞
続いて、カメラ４０から入力された複数の撮影画像に基づいて、全焦点画像を生成するための画像処理について説明する。

図７は、図６のウェル９１において撮影された５つの撮影画像Ｄ１〜Ｄ５を示した図である。図７の第１撮影画像Ｄ１〜第５撮影画像Ｄ５は、それぞれ、図６の第１焦点位置Ｈ１〜第５焦点位置Ｈ５における撮影画像である。図６に示すように、本実施形態では、ウェル９１内のカメラ４０の撮影視野内に、２つの細胞９３と、１つの異物９４とが存在するものとする。以下では、図６中の左側の細胞９３を第１細胞９３１と称し、右側の細胞９３を第２細胞９３２と称する。図７の例では、第１細胞９３１については、第１撮影画像Ｄ１において最も焦点が合っており、第２細胞９３２については、第５撮影画像Ｄ５において最も焦点が合っている。また、第３撮影画像Ｄ３には、異物９４が映っている。

細胞９３の観察は、細胞に焦点が合った合焦点位置で行うことが好ましい。しかしながら、図６のように、１つのウェル９１に含まれる複数の細胞９３の高さ（光軸方向の位置）が異なる場合、１つの撮影画像Ｄで、全ての細胞９３に焦点を合わせることはできない。このため、この撮像装置１の制御部７０は、複数の撮影画像Ｄ１〜Ｄ５に含まれる画素を組み合わせて、全ての細胞９３に焦点が合ったボケの少ない全焦点画像を生成する。

図８は、制御部７０による全焦点画像の生成手順を示したフローチャートである。

全焦点画像を生成するときには、まず、制御部７０が、上述した撮影処理によって得られた複数の撮影画像Ｄ１〜Ｄ５を、画像記憶部７２１に記憶させる（ステップＳ６）。次に、制御部７０の鮮鋭度算出部７２２が、複数の撮影画像Ｄ１〜Ｄ５のそれぞれについて、画素毎に、鮮鋭度Ｓを算出する（ステップＳ７）。鮮鋭度Ｓは、その画素付近における画像の明瞭さ（sharpness）を示す指標である。鮮鋭度Ｓは、例えば、その画素を中心とする一定の領域における画素の輝度変化に基づいて計算される。ただし、鮮鋭度Ｓに、周辺画素の輝度の分散値、輝度の最大値、輝度の最小値、画素そのものの輝度値などが用いられてもよい。

各撮影画像Ｄの各画素について、鮮鋭度Ｓが算出されると、次に、制御部７０の画像参照値決定部７２３が、複数の撮影画像Ｄ１〜Ｄ６の互いに対応する画素の間で、鮮鋭度Ｓを比較する。これにより、座標ごとに画像参照値Ａを決定する（ステップＳ８）。画像参照値Ａは、全焦点画像の各座標の輝度値として参照すべき撮影画像Ｄの番号を示すパラメータである。例えば、複数の撮影画像Ｄ１〜Ｄ５の互いに対応する（同一座標の）画素のうち、最も鮮鋭度Ｓの高い画素が属する撮影画像がＤ１であれば、画像参照値Ａを「１」とする。

図９は、図７の５つの撮影画像Ｄ１〜Ｄ５に基づいて決定される画像参照値Ａの分布の例を示した図である。ここでは、理解を容易とするため、画像を構成する画素数は、５×５の２５画素とする。図７の例では、画像の中央よりも左上に位置する第１細胞９３１に、最もピントが合う撮影画像は、第１撮影画像Ｄ１である。このため、画像の左上の領域では、第１撮影画像Ｄ１に含まれる画素の鮮鋭度Ｓが高くなる。したがって、図９のように、画像の左上の領域では、画像参照値Ａが「１」となる。また、図７の例では、画像の中央よりも右下に位置する第２細胞９３２に、最もピントが合う撮影画像は、第５撮影画像Ｄ５である。このため、画像の右下の領域では、第５撮影画像Ｄ５に含まれる画素の鮮鋭度Ｓが高くなる。したがって、図９のように、画像の右下の領域では、画像参照値Ａが「５」となる。

各座標の画像参照値Ａが決定されると、続いて、制御部７０は、各座標を代表する鮮鋭度Ｓを決定する。図１０は、各座標を代表する鮮鋭度Ｓの分布の例を示した図である。各座標を代表する鮮鋭度Ｓには、例えば、その座標の画像参照値Ａが示す撮影画像Ｄにおける鮮鋭度Ｓが採用される。例えば、図９の左上の領域のように、画像参照値Ａが「１」となっている座標については、第１撮影画像Ｄ１の当該座標の鮮鋭度Ｓを、座標を代表する鮮鋭度Ｓとする。また、図９の右下の領域のように、画像参照値Ａが「５」となっている座標については、第５撮影画像Ｄ５の当該座標の鮮鋭度Ｓを、座標を代表する鮮鋭度Ｓとする。

その後、制御部７０の輝度値算出部７２４が、ステップＳ８において決定された画像参照値Ａと、各撮影画像Ｄ１〜Ｄ５の輝度値とに基づいて、全焦点画像を構成する各座標の輝度値Ｖを算出する（ステップＳ９）。ステップＳ９では、各座標の画像参照値Ａが示す撮影画像Ｄの当該座標の輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像Ｄの輝度値を反映させて、全焦点画像の当該座標の輝度値Ｖを算出する。具体的には、輝度値算出部７２４は、例えば次の数式（１）を用いて、全焦点画像を構成する各座標の輝度値Ｖを算出する。

ここで、数式（１）中のＶ（ｘｎ，ｙｎ）は、全焦点画像内の座標（ｘｎ，ｙｎ）における輝度値（算出すべき輝度値）を示す。数式（１）中のｋ，ｌは、それぞれ、着目する座標（ｘｎ，ｙｎ）からの周囲の座標までのｘ方向およびｙ方向の距離を示す。数式（１）中のｆｘ，ｆｙは、着目する座標からの考慮に入れる座標の範囲（輝度値を反映させる範囲）を示す。σｄは、距離の重み付け係数である。σｓは、鮮鋭度Ｓの重み付け係数である。鮮鋭度Ｓ（ｘ、ｙ）は、０〜１の値に正規化されているものとする。

数式（１）は、距離の重み付け量と鮮鋭度Ｓの重み付け量とを、それぞれガウシアン係数で表現し、それらの掛け合わせを行うことを意味する。すなわち、輝度値算出部７２４は、着目する座標の輝度値に、周囲の座標の輝度値を、距離および鮮鋭度Ｓに応じた重み付けで反映させて、全焦点画像の各座標の輝度値Ｖを算出する。より詳述すると、輝度値算出部７２４は、まず、各座標について、図９に示される画像参照値Ａが示す撮影画像Ｄの当該座標の輝度値を参照する。そして、その輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像Ｄの輝度値を反映させる。その際、着目する座標からの距離が近い座標ほど、輝度値を大きく影響させる。また、図１０に示される鮮鋭度Ｓが高いほど、輝度値を大きく影響させる。

その後、制御部７０の全焦点画像生成部７２５が、座標毎に算出された輝度値Ｖを組み合わせて、全焦点画像を生成する（ステップＳ１０）。図１１は、図７の５つの撮影画像Ｄ１〜Ｄ５に基づいて生成される全焦点画像の例を示した図である。全焦点画像には、異物９４が現れることなく、かつ、第１細胞９３１と第２細胞９３２とが、共にボケの少ない状態で現れる。

このように、この撮像装置１では、各座標の画像参照値Ａが示す撮影画像Ｄの輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像Ｄの輝度値を反映させる。このため、全焦点画像内の、画像参照値Ａが切り替わる箇所において、輝度値を滑らかに変化させることができる。また、この撮像装置１では、ステップＳ８において決定された画像参照値自体を変更することなく、各座標の輝度値を、互いに滑らかに変化するように算出できる。このため、参照すべきでない撮影画像Ｄの画素に存在する不要な輝度値（例えば、第３撮影画像Ｄ３に含まれる異物９４の輝度値）が全焦点画像に現れることはない。

また、本実施形態では、数式（１）のように、距離および鮮鋭度Ｓの重み付けに、それぞれガウシアン関数を用いている。このため、ガウシアン関数の係数を任意に設定することによって、重み付けの度合いを容易に調節できる。

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

上記の数式（１）は、全焦点画像の各座標の輝度値を算出するための計算式の一例である。数式（１）に代えて、他の計算式を用いてもよい。計算式は、各座標の画像参照値Ａが示す撮影画像Ｄの輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像Ｄの輝度値を反映させるための計算式であればよい。

また、上記の実施形態では、１つのウェル９１に対して１つの視野が設定され、当該視野において、焦点位置を変えて撮影を行う場合について説明した。しかしながら、１つのウェル９１を複数の視野に分けて、各視野の間でカメラ４０を移動させつつ、視野毎に複数の撮影画像Ｄを取得してもよい。その場合、視野毎に、上記の画像処理を行って全焦点画像を生成し、得られた全焦点画像を合成（タイリング）して、１つのウェル９１の画像を生成すればよい。

また、上記の実施形態では、撮影対象物となる細胞９３が、ウェルプレート９の複数のウェル９１内に保持されていた。しかしながら、細胞９３は、ウェルプレート９以外の容器に保持されていてもよい。例えば、細胞９３は、シャーレ内に保持されていてもよい。

また、上記の実施形態では、単体の細胞９３を撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、細胞以外の試料であってもよい。

また、上記の実施形態では、撮影対象物の上方に投光部２０が配置され、撮影対象物の下方にカメラ４０が配置されていた。しかしながら、撮影対象物の下方に投光部２０が配置され、撮影対象物の上方にカメラ４０が配置されていてもよい。

また、上記の実施形態では、カメラ４０の光学系４１に含まれる一部の光学部品を移動させることにより、カメラ４０の焦点位置を変化させていた。しかしながら、カメラ４０全体を昇降移動させることにより、ウェル９１内におけるカメラ４０の焦点位置を、光軸に沿って変化させてもよい。また、撮影対象物を保持する容器を昇降移動させることにより、容器に対するカメラ４０の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、カメラ４０全体を移動させる機構または容器を移動させる機構であってもよい。

また、上記の実施形態では、細胞９３を保持する容器の位置が固定され、投光部２０およびカメラ４０が水平方向に移動していた。しかしながら、投光部２０およびカメラ４０の位置を固定して、容器を水平方向に移動させてもよい。ただし、撮影の途中で培養液９２中の細胞９３が変化すると、複数の撮影画像Ｄの間で、細胞９３の位置がずれやすい。このため、上記の実施形態のように、容器の位置は、固定されていることが好ましい。

また、上記の実施形態では、カメラ４０の焦点位置が５段階に変更可能であり、１つの視野について、５つの撮影画像Ｄ１〜Ｄ５を取得していた。しかしながら、１つの視野について取得する撮影画像Ｄの数は、２〜４つであってもよく、６つ以上であってもよい。

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

１ 撮像装置
９ ウェルプレート
１０ ステージ
２０ 投光部
３０ 投光部移動機構
４０ カメラ
４１ 光学系
４２ 撮像素子
５０ 焦点移動機構
６０ カメラ移動機構
７０ 制御部
７１ 撮像制御部
７２ 画像処理部
９１ ウェル
９２ 培養液
９３ 細胞
９４ 異物
７２１ 画像記憶部
７２２ 鮮鋭度算出部
７２３ 画像参照値決定部
７２４ 輝度値算出部
７２５ 全焦点画像生成部
Ａ 画像参照値
Ｄ１〜Ｄ５ 撮影画像
Ｈ１〜Ｈ５ 焦点位置
Ｐ１ 制御プログラム
Ｐ２ 画像処理プログラム
Ｓ 鮮鋭度

Claims (11)

1. 複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、
   ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、
   ｂ）前記複数の撮影画像に含まれる各画素について、鮮鋭度を算出する工程と、
   ｃ）前記複数の撮影画像の互いに対応する画素の間で、鮮鋭度を比較することにより、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、
   ｄ）座標毎に、前記画像参照値と前記鮮鋭度とに基づいて輝度値を算出する工程と、
   ｅ）算出された輝度値を組み合わせて、全焦点画像を生成する工程と、
   を有し、
   前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を反映させる画像処理方法。
2. 請求項１に記載の画像処理方法であって、
   前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、前記鮮鋭度が高いほど影響が大きくなるような重みづけで反映させる画像処理方法。
3. 請求項１または請求項２に記載の画像処理方法であって、
   前記工程ｄ）では、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、距離が近いほど影響が大きくなるような重み付けで反映させる画像処理方法。
4. 請求項２または請求項３に記載の画像処理方法であって、
   前記重み付けに、ガウシアン関数を用いる画像処理方法。
5. 請求項１から請求項４までのいずれか１項に記載の画像処理方法であって、
   前記対象物は細胞である画像処理方法。
6. 複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、
   焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、
   前記複数の撮影画像に含まれる各画素について、鮮鋭度を算出する鮮鋭度算出部と、
   前記複数の撮影画像の互いに対応する画素の間で、鮮鋭度を比較することにより、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、
   座標毎に、前記画像参照値と前記鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、
   算出された輝度値を組み合わせて、全焦点画像を生成する全焦点画像生成部と、
   を有し、
   前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を反映させる画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、前記鮮鋭度が高いほど影響が大きくなるような重みづけで反映させる画像処理装置。
8. 請求項６または請求項７に記載の画像処理装置であって、
   前記輝度値算出部は、各座標の画像参照値が示す撮影画像の輝度値に対して、周囲の座標の画像参照値が示す撮影画像の輝度値を、距離が近いほど影響が大きくなるような重み付けで反映させる画像処理装置。
9. 請求項７または請求項８に記載の画像処理装置であって、
   前記重み付けに、ガウシアン関数を用いる画像処理装置。
10. 請求項６から請求項９までのいずれか１項に記載の画像処理装置であって、
    前記対象物は細胞である画像処理装置。
11. 請求項６から請求項１０までのいずれか１項に記載の画像処理装置と、
    前記対象物を撮影するカメラと、
    前記対象物に向けて光を照射する投光部と、
    前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
    を有する撮像装置。