JP2018055664A - 画像生成システム及び画像生成方法 - Google Patents

Abstract

【課題】複数の撮影画像を用いて仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システムを提供する。【解決手段】複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面における対象物の合焦画像を生成する画像生成システム１０は、（ｂ）合焦画像を構成する複数の画素の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）複数の照明器１０１の位置の各々について、以下の（ｄ）〜（ｆ）を実行し、（ｄ）焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ１０２の受光面との交点である対象点の位置を計算し、（ｅ）対象点の位置に基づいて、当該照明器による撮影画像における対象点の輝度値を計算し、（ｆ）対象点の輝度値を画素の輝度値に適用し、（ｇ）複数の画素の各々における輝度値の適用結果を用いて、焦点面における対象物の合焦画像を生成する。【選択図】図１

Description

本開示は、レンズレス顕微鏡における、複数の光源による複数の撮影画像に基づいて仮想的な合焦面における対象物の画像を生成する技術に関する。

培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。

特許文献１では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像（すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像）から、対物レンズと平行でない面の合焦画像（擬似断面画像）を生成する方法を示している。

ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。

特開２０１３−１０１５１２号公報 米国特許出願公開第２０１４／０１３３７０２号明細書

しかしながら、特許文献１の方法では、撮影した後に各高さ位置の画像から部分画像を切り出し、切り出された部分画像をつなぎ合わせるので、部分画像のつなぎ目に不連続が発生する。その結果、擬似断面画像の画質は、不連続により劣化する。また、不連続による画質劣化を低減するために不連続部分にぼかし処理が施されれば、擬似断面画像の鮮鋭さが低下する。

そこで、本開示は、複数の撮影画像を用いて仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システム等を提供する。

本開示の一態様に係る画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）前記合焦画像を構成する複数の画素の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記複数の照明器の位置の各々について、以下の（ｄ）〜（ｆ）を実行し、（ｄ）前記焦点面上における前記画素の位置及び前記照明器の位置を結ぶ直線と前記イメージセンサの受光面との交点である対象点の位置を計算し、（ｅ）前記イメージセンサの受光面上の前記対象点の位置に基づいて、前記照明器の位置から前記対象物が照明されているときに取得された撮影画像における前記対象点の輝度値を計算し、（ｆ）前記対象点の輝度値を前記画素の輝度値に適用し、（ｇ）前記複数の画素の各々における輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。

また、本開示の一態様に係る画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）複数の前記撮影画像の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記撮影画像に対応する照明器の位置情報を取得し、（ｄ）前記撮影画像に含まれる複数の第１画素の各々について、以下の（ｅ）〜（ｆ）を実行し、（ｅ）前記イメージセンサの受光面上における前記第１画素の位置及び前記照明器の位置を結ぶ直線と前記焦点面との交点の位置を計算し、（ｆ）前記合焦画像を構成する複数の第２画素に含まれる、前記焦点面上の交点の位置に対応する１以上の第２画素の輝度値に、前記第１画素の輝度値を適用し、（ｇ）前記複数の第２画素の輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。

なお、これらの包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、複数の撮影画像を用いて仮想的な焦点面における対象物の高画質な合焦画像を生成することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

実施の形態１に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態１に係る照明器の構造の一例を模式的に示す図である。 実施の形態１に係る照明器の構造の一例を模式的に示す図である。 実施の形態１に係る照明器の構造の一例を模式的に示す図である。 実施の形態１に係る照明器に含まれるピンホールが満たすべき大きさ条件を説明する模式図である。 実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 実施の形態１に係る画像生成システムの動作の一例を示すフローチャートである。 座標と焦点面との関係の一例を示す模式図である。 実施の形態１に係る撮像装置の動作の一例を示すフローチャートである。 実施の形態１に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１の変形例１に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態１の変形例２に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態１の変形例２に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態２に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態２における照明位置の範囲の一例を模式的に示す図である。 レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。 実施の形態２に係る画像生成システムの動作の一例を示すフローチャートである。 実施の形態２の変形例に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態２の変形例に係る画像生成システムの動作の一例を示すフローチャートである。 実施の形態３に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態３に係る胚情報テーブルの一例を示す図である。 実施の形態３に係る焦点面決定部の動作の一例を示すフローチャートである。 実施の形態３の変形例に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態３の変形例に係る細胞位置判定部の詳細な機能構成の一例を示すブロック図である。 実施の形態３の変形例に係る焦点面決定部の動作の一例を示すフローチャートである。 実施の形態３の変形例に係る焦点面決定部による細胞配置の決定に関する処理を示すフローチャートである。 ４細胞期の胚の３次元モデルの側面図である。 ４細胞期の胚の３次元モデルの側面図である。 ４細胞期の胚の３次元モデルの平面図である。 ４細胞期の胚の３次元モデルの斜視図である。 ４細胞期の胚の３次元モデルの断面図である。 ４細胞期の胚の３次元モデルの断面図である。 ４細胞期の胚の３次元モデルの斜視図である。 ４細胞期の胚の３次元モデルの断面図である。

本開示の一態様に係る合焦画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）前記合焦画像を構成する複数の画素の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記複数の照明器の位置の各々について、以下の（ｄ）〜（ｆ）を実行し、（ｄ）前記焦点面上における前記画素の位置及び前記照明器の位置を結ぶ直線と前記イメージセンサの受光面との交点である対象点の位置を計算し、（ｅ）前記イメージセンサの受光面上の前記対象点の位置に基づいて、前記照明器の位置から前記対象物が照明されているときに取得された撮影画像における前記対象点の輝度値を計算し、（ｆ）前記対象点の輝度値を前記画素の輝度値に適用し、（ｇ）前記複数の画素の各々における輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。

本態様によれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサの受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。

本開示の一態様に係る合焦画像生成システムは、複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、前記複数の照明器は、前記対象物を順番に照明し、前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、（ｂ）複数の前記撮影画像の各々について、以下の（ｃ）〜（ｆ）を実行し、（ｃ）前記撮影画像に対応する照明器の位置情報を取得し、（ｄ）前記撮影画像に含まれる複数の第１画素の各々について、以下の（ｅ）〜（ｆ）を実行し、（ｅ）前記イメージセンサの受光面上における前記第１画素の位置及び前記照明器の位置を結ぶ直線と前記焦点面との交点の位置を計算し、（ｆ）前記合焦画像を構成する複数の第２画素に含まれる、前記焦点面上の交点の位置に対応する１以上の第２画素の輝度値に、前記第１画素の輝度値を適用し、（ｇ）前記複数の第２画素の輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、（ｈ）前記生成した前記対象物の合焦画像を出力する。

本態様によれば、イメージセンサの受光面上における第１画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の１以上の第２画素の輝度値に、撮影画像の第１画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。

例えば、前記複数の照明器の各々は、光源と、前記光源と前記対象物との間に位置し、ピンホールを有する遮光板とを備え、前記光源により、前記ピンホールを介して、拡散光を前記対象物に照射してもよい。

本態様によれば、光源により、ピンホールを介して、拡散光を対象物に照射することができる。したがって、照明器から照射される光を表す複数の光線が交錯することを防ぐことができ、対象物の撮影画像の画質を向上させることができ、合焦画像の画質も向上させることができる。

例えば、前記画像生成システムは、さらに、ディスプレイを備え、前記ディスプレイは、前記少なくとも１つの制御回路により出力された前記合焦画像を表示してもよい。

本態様によれば、合焦画像を表示することができる。

例えば、さらに、前記焦点面の情報に基づいて、照明位置の範囲を決定し、前記複数の照明器のうち、前記照明位置の範囲に対応する照明器が、前記対象物に順番に照明してもよい。

本態様によれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。

なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る合焦画像生成システムについて、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１では、イメージセンサ上に位置する対象物に複数の照明器が順に照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の照明器とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。以下において、この複数の撮影画像を用いて生成された画像を合焦画像ともいう。

［画像生成システムの構成］
図１は、実施の形態１に係る画像生成システムの機能ブロック図である。図１に示される画像生成システム１０は、撮影装置１００Ａと、画像生成装置１００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成システム１０は、さらに、予め定められた焦点面の情報を記憶している第１記録部１１１と、リフォーカス処理済みの画素の情報を記録する第２記録部１２１と、焦点面を指定する指定情報の入力を受け付ける入力部１１２とを備えてもよい。

［撮影装置の構成］
まず、撮影装置１００Ａの構成について説明する。撮影装置１００Ａは、複数の照明器１０１と、イメージセンサ１０２と、撮影制御部１０３とを備える。撮影装置１００Ａは、対象物の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅ）を取得する。ここでは、撮影装置１００Ａは、フォーカスレンズを有さない。通常、フォーカスレンズは複数のレンズ及び鏡を有し、光軸方向に一定以上の長さを有する。したがって、例えば、細胞を培養するインキュベータ内に、フォーカスレンズを有する撮影装置を配置することが、実質上、難しい。また、細胞が培養される環境は高湿度を有する。レンズ及び鏡の材料は、高湿度環境下での利用が困難である。したがって、細胞培養する環境下には、フォーカスレンズを有する撮影装置は適さない。したがって、フォーカスレンズを有さない撮影装置により、例えば、インキュベータ内部であり、かつ細胞培養する環境下においても、細胞を観察することができる。

対象物は、例えばイメージセンサ１０２上に配置される複数の半透明の物質である。複数の物質は３次元的に重なって位置する。物質の具体例は、細胞である。

複数の照明器１０１の各々は、平行光を出力する照明器、又は拡散光を出力する照明器である。複数の照明器１０１は、第１の照明器及び第２の照明器を含む。第１の照明器及び第２の照明器のそれぞれは、交錯しない光を照射する。すなわち、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらない。また、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０２に含まれる１つの画素に単一の方向から到達する。つまり、１つの画素に対して２以上の方向から光が到達しない。

以下において、このような照明を非交錯照明と呼ぶ。非交錯照明は、例えば平行光、または、点光源からの拡散光によって実現できる。複数の照明器１０１は、順に、光を照射する。複数の照明器１０１は、互いに異なる位置に配置され、互いに異なる方向から対象物に光を照射する。

イメージセンサ１０２は、複数の画素を有する。イメージセンサ１０２の各画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０２は、各画素により取得された光の強度に基づいて、撮影画像を取得する。イメージセンサ１０２は取得した画像を、例えば、記憶部１２０に出力する。

イメージセンサ１０２の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

撮影制御部１０３は、複数の照明器１０１による光の照射及びイメージセンサ１０２による撮像を制御する。具体的には、撮影制御部１０３は、複数の照明器１０１が光を照射する順番、複数の照明器１０１が光を照射する時間間隔を制御する。撮影制御部１０３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。撮影制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

イメージセンサ１０２の受光面に対して互いに異なる位置に配置された複数の照明器１０１から照射される光は、受光面に対して異なる入射角で入射する。複数の照明器１０１が平行光を照射する場合は、複数の照明器１０１は、イメージセンサ１０２の受光面に対する入射角が互いに異なる平行光を照射する。平行光は、例えば図２に示すように、遮光板１０１Ｂに形成されたピンホール１０１Ｃを介してＬＥＤ光源１０１Ａから射出された光をコリメートレンズ１０１Ｄにより屈折させることにより得られる。

図３は、複数の照明器１０１の構造の一例を説明する模式図である。図３の複数の照明器１０１の例では、平行光を照射する複数の光源１０１Ｅがイメージセンサ１０２の受光面に対して異なる角度で固定されている。図３の例では複数の光源１０１Ｅは、イメージセンサ１０２を覆う半球１０１Ｆの内面に配置されている。複数の光源１０１Ｅからイメージセンサ１０２の受光面に到達する光の受光面への入射角は互いに異なる。

図４は、複数の照明器１０１の構造の別の一例を説明する模式図である。図４の複数の照明器１０１の例では、複数の擬似点光源１０１Ｇは、イメージセンサ１０２の受光面と平行な平面１０１Ｈ上の異なる位置に、イメージセンサ１０２側に向けて配置されている。複数の擬似点光源１０１Ｇからの光は、イメージセンサ１０２の受光面の各画素に対して、異なる方向から入射する。複数の擬似点光源１０１Ｇの各々は、例えば、ＬＥＤ光源１０１Ａの近傍にピンホール１０１Ｃを有する遮光板１０１Ｂを置くことで実現される。ピンホール１０１Ｃの大きさは、イメージセンサ１０２の画素ピッチと、イメージセンサ１０２とピンホール１０１Ｃとの距離、合焦画像を生成する点のイメージセンサ１０２からの距離とによって制限される。

図５は、ピンホールが満たすべき大きさの条件を説明する模式図である。ここで、ｄ１は、ピンホール１０１Ｃの直径を表す。ｈ１は、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離を表す。ｈ２は、イメージセンサ１０２の受光面から合焦点１０１Ｊ（すなわち合焦画像中の任意の画素の焦点面上の位置にある点）までの距離を表す。ｄ２は、ピンホール１０１Ｃから合焦点を透過してイメージセンサ１０２の受光面に到達する光の広がりの直径を表す。ｐは、イメージセンサ１０２の画素ピッチを表す。

このとき、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の受光面の１点に到達することが理想である。すなわち、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の１画素にのみ到達することが望ましい。したがって、ｄ２がイメージセンサの画素ピッチｐを超えない大きさであることが望ましい。つまり、以下の式１に示すようにｄ２＜ｐが非交錯照明を実現するための条件である。

ｄ１が満たすべき条件は、この式１を変形することにより以下の式２のように表すことができる。

例えば、画素ピッチｐが０．００１ｍｍであり、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離ｈ１が２ｍｍ、イメージセンサ１０２から合焦点１０１Ｊまでの距離ｈ２が０．１ｍｍである場合、ピンホールの直径ｄ１は０．１９ｍｍ未満であることが望ましい。

［画像生成装置の構成］
次に、画像生成装置１００Ｂの構成について説明する。画像生成装置１００Ｂは、少なくとも１つの制御回路によって実現される。図１に示すように、画像生成装置１００Ｂは、焦点面決定部１１０と、リフォーカス処理部１３０と、画像生成部１４０とを備える。

焦点面決定部１１０は、例えば制御回路又はプロセッサによって実現され、複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１１０は、例えば、第１記録部１１１に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部１１０は、入力部１１２を介して外部から入力された情報に従って焦点面を決定してもよい。

記憶部１２０は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、イメージセンサ１０２で撮影された画像を、当該撮影に用いられた照明器の位置情報とともに記憶する。

図６は、記憶部１２０が記憶する内容の一例を示す。撮影部１００によって撮影された画像ファイルごとに、当該画像ファイルの取得時に用いられた照明器の位置情報が記憶されている。図６の例では、照明器の位置情報は、イメージセンサ１０２に対する相対的な位置を示す。以下において、この照明器の位置情報を照明位置情報とも呼ぶ。照明位置情報は、画像ファイルのファイルＩＤとともに記憶されており、画像データとファイルＩＤを介して結合されている。なお、照明位置情報は、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。

リフォーカス処理部１３０は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。

画像生成部１４０は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部１３０で計算された画素ごとの輝度値から焦点面における合焦画像を生成する。

表示部１５０は、ディスプレイによって実現され、画像生成部１４０で生成された合焦画像を表示する。

［画像生成システムの動作］
次に、以上のように構成された画像生成システム１０の動作について説明する。図７は、実施の形態１に係る画像生成システム１０の動作の一例を示すフローチャートである。図８は、座標と焦点面との関係の一例を示す模式図である。

（ステップＳ１１００）
まず、撮影部１００は、複数の照明器１０１を順に用いて対象物を照明し、当該対象物の複数の画像を撮影する。具体的には、撮影部１００は、複数の照明器１０１のそれぞれが対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される。ここでは、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められている。撮影処理の詳細は後述する。

（ステップＳ１２００）
焦点面決定部１１０は、焦点面を決定する。具体的には、焦点面決定部１１０は、イメージセンサ１０２に対する焦点面の位置及び傾き（角度）を決定する。例えば、焦点面決定部１１０は、第１記録部１１１に記憶される予め定められた焦点面の情報に基づいて焦点面を決定してもよい。または、焦点面決定部１１０は、入力部１１２によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。

焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。

例えば、焦点面決定部１１０は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図８に示すｘｙｚ空間によって定義される。

図８において、ｘｙ平面は、イメージセンサ１０２の受光面と一致する。ｚ軸は、イメージセンサ１０２の受光面に直交する。このとき、焦点面の角度は、イメージセンサ１０２の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。

（ステップＳ１３００）
リフォーカス処理部１３０は、複数の撮像画像と、複数の照明器１０１の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。

（ステップＳ１４００）
画像生成部１４０は、ステップＳ１３００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データを生成する。画像生成部１４０は、生成された画像データを表示部１５０に出力する。

（ステップＳ１５００）
表示部１５０は、ステップＳ１４００で生成された画像を表示する。

［撮影処理］
ここでステップＳ１１００の撮影部１００の動作の詳細を説明する。図９は、撮影装置１００Ａの動作の一例を示すフローチャートである。

（ステップＳ１１１０）
撮影制御部１０３は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト（以下、照明位置リストという）を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。

ここで、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、ステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、ステップＳ１１２０へ進む。

（ステップＳ１１２０）
撮影制御部１０３は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、複数の照明器１０１へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図８に示すｘｙｚ空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。

（ステップＳ１１３０）
複数の照明器１０１は、ステップＳ１１２０で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある照明器が光の照射を開始する。

（ステップＳ１１４０）
照明器によって対象物が照明されている間に、イメージセンサ１０２は、当該照明器から対象物を透過した光によって形成される画像を取得する。

（ステップＳ１１５０）
その後、撮影制御部１０３は、複数の照明器１０１へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部１０３からの制御信号に従って行われなくてもよい。例えば、複数の照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１１４０でイメージセンサ１０２が画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を複数の照明器１０１に出力してもよい。

（ステップＳ１１６０）
次いで、撮影制御部１０３は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で用いられた照明器の位置情報を記憶部１２０へ出力する。そして、記憶部１２０は、画像データと照明位置の情報とを対応付けて記憶する。ステップＳ１１６０の後、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の照明器から順次対象物に光が照射され、対象物に光が照射されるたびに画像を取得する。

［リフォーカス処理］
さらに、ステップＳ１３００のリフォーカス処理部１３０の動作の詳細を説明する。図１０は、実施の形態１に係るリフォーカス処理部１３０の動作の一例を示すフローチャートである。図１１〜図１５は、リフォーカス処理の計算方法の具体例を説明する模式図である。

以下に、図１１〜図１５を参照しながら、図１０の各ステップについて説明する。

（ステップＳ１３１０）
リフォーカス処理部１３０は、ステップＳ１２００で決定された焦点面の情報を焦点面決定部１１０から取得する。

焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線とｘ軸とが成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線とｙ軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。

図１１は、撮影部１００及び対象物１０００の、ｘｚ平面における断面図の一例を示す。対象物１０００は、照明器１０１ａ、１０１ｂ及びイメージセンサ１０２の間に位置し、かつイメージセンサ１０２上に位置する。リフォーカス処理部１３０は、焦点面１１００の情報を取得する。

（ステップＳ１３２０）
リフォーカス処理部１３０は、合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。

合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１３２０においてｙｅｓ）、リフォーカス処理部１３０は、リフォーカス処理を終了する（ステップＳ１４００へ進む）。

合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１３２０においてｎｏ）、リフォーカス処理部１３０は、リフォーカス処理を続行する（ステップＳ１３３０へ進む）。

合焦画像は、複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１２は、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅを示す。なお、図１２に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、対象物１０００上の点であったが、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅが対象物１０００上あるいは対象物１０００を通過する面上の点でなくても良い。対象物１０００上あるいは対象物１０００を通過する面上の点以外の点が合焦画像の画素に対応してもよい。

（ステップＳ１３３０）
リフォーカス処理部１３０は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。

例えば、図１に示した第２記録部１２１に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、リフォーカス処理部１３０は、第２記録部１２１にリフォーカス処理した画素の情報を記録する。リフォーカス処理部１３０は、第２記録部１２１に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図１３に示すように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。

（ステップＳ１３４０）
リフォーカス処理部１３０は、すべての照明位置に対する加算処理が終了しているか否かを判定する。

ここで、すべての照明位置に対する加算処理が終了している場合（ステップＳ１３４０においてｙｅｓ）、リフォーカス処理部１３０の処理は、ステップＳ１３２０に戻る。

一方、いずれかの照明位置に対する加算処理が終了していない場合（ステップＳ１３４０においてｎｏ）、リフォーカス処理部１３０は加算処理を続行する（ステップＳ１３５０に進む）。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。

（ステップＳ１３５０）
リフォーカス処理部１３０は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。

（ステップＳ１３６０）
リフォーカス処理部１３０は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０２の受光面と交差する点の位置を計算する。

図１４は、照明器１０１ａの位置と選択画素に対応する点１１０２ａとを通る直線１２００と、イメージセンサ１０２の受光面との交点１１０３ａを示す。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。ここで、図１４に示す照明器１０１ａの位置は、例えば、図４に示す複数の擬似点光源１０１Ｇのいずれか１つの光源の位置、または、図３に示す複数の平行光の光源１０１Ｅのうちの１つの光源の位置に対応する。より具体的には、図１４に示す照明器１０１ａは、光源１０１Ｅの表面に直行し、かつ、点１１０２ａを通る直線と、光源１０１Ｅの平面との交点である。

イメージセンサ１０２の受光面上の対象点は、例えば、図８に示すｘｙ平面上の座標値で表される。

（ステップＳ１３７０）
リフォーカス処理部１３０は、選択された照明位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカス処理部１３０は、選択された照明位置にある照明器を用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカス処理部１３０は、図６に示した照明位置情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカス処理部１３０は、図１３に示す照明器１０１ａの位置に対応する画像を取得する。

（ステップＳ１３８０）
リフォーカス処理部１３０は、ステップＳ１３６０で計算されたイメージセンサ１０２上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部１３０は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。

撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部１３０は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。

図１５は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図１５において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式３で求められる。

ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。

（ステップＳ１３９０）
リフォーカス処理部１３０は、合焦画像上の選択画素の輝度値にステップＳ１３９０で計算した対象点の輝度値を加算する。

ステップＳ１３４０からステップＳ１３９０までの処理を繰り返すことにより、全ての照明位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。

このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。

図１４において、照明器１０１ａから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、照明器１０１ａによって撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

また、図１４において、照明器１０１ｂから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、照明器１０１ｂによって撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。

［効果］
以上のように、本実施の形態に係る画像生成システムによれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ１０２の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。

（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。上記実施の形態１では、図１０のステップＳ１３５０で照明位置が選択されたが、本変形例では、撮影画像が選択される。以下に、実施の形態１の変形例１について、実施の形態１と異なる点を中心に説明する。

図１６は、実施の形態１の変形例１に係るリフォーカス処理部の動作の一例を示すフローチャートである。図１６では、図１０におけるステップＳ１３４０〜ステップＳ１３９０の代わりに、ステップＳ１３４１〜ステップＳ１３９０が実行される。なお、図１６において、図１０と実質的に同一のステップについては同一の符号を付し、適宜説明を省略する。

図１６において、撮影画像のすべてが加算処理に使用された場合（ステップＳ１３４１においてｙｅｓ）は、ステップＳ１３２０へ戻る。一方、撮影画像のいずれかが加算処理に使用されていない場合（ステップＳ１３４１においてｎｏ）は、ステップＳ１３５１へ進む。リフォーカス処理部１３０は、記憶部１２０に記憶された撮影画像のうち１つを選択する（ステップＳ１３５１）。ここでは、加算処理にまだ使用されていない撮影画像が選択される。

リフォーカス処理部１３０は、ステップＳ１３５１で選択された撮影画像に対応する照明位置情報を記憶部１２０から取得する（ステップＳ１３５９）。その後は、ステップＳ１３７０で画像を取得する動作がない以外は図９に示した動作と同様である。

以上のように、本変形例に係る画像生成システムによれば、照明位置の選択を撮影画像の選択に代えても、実施の形態１と同様に、合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を適用することができ、対象物の高画質な合焦画像を生成することができる。

（実施の形態１の変形例２）
次に、実施の形態１の変形例２について説明する。上記実施の形態１では、図１０のステップＳ１３２０及びステップＳ１３３０で、合焦画像内の画素が順に選択されたが、本変形例では、撮影画像内の画素が順に選択される。つまり、本変形例では、先に撮影画像内の画素が選択され、その選択された画素に対応する焦点面上の点が後で決定される点が上記実施の形態１と異なる。このように決定された焦点面上の点に対応する合焦画像内の画素に、撮影画像内の選択された画素の輝度値が反映される。以下に、実施の形態１の変形例２について、実施の形態１と異なる点を中心に説明する。

図１７は、実施の形態１の変形例２に係るリフォーカス処理部の動作の一例を示すフローチャートである。図１７において、図１０と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。

（ステップＳ１３２２）
リフォーカス処理部１３０は、ステップＳ１１００で撮影した画像のすべてについてリフォーカス処理が終了したかどうかを判定する。リフォーカス処理とは、ステップＳ１３２２からステップＳ１３９２までの処理を意味する。すべての画像についてすでにリフォーカス処理が終了している場合（ステップＳ１３２２においてｙｅｓ）は、リフォーカス処理部１３０は、ステップＳ１４００へ進む。ステップＳ１１００で撮影した画像のいずれかについてリフォーカス処理が終了していない場合（ステップＳ１３２２においてｎｏ）は、ステップＳ１３３２へ進む。

（ステップＳ１３３２）
リフォーカス処理部１３０は、記憶部１２０に記憶されている、ステップＳ１１００で撮影された画像の中から、１つの撮影画像を選択する（ステップＳ１３３２）。ここで選択される１つの撮影画像は、リフォーカス処理がまだ行われていない画像である。以下において、ステップＳ１３３２で選択された１つの画像を選択画像という。

（ステップＳ１３３３）
リフォーカス処理部１３０は、選択画像に対応する照明位置情報を取得する。例えば、リフォーカス処理部１３０は、図６に示した画像と照明位置情報との対応関係を参照して照明位置情報を取得する。ここでは、照明器１０１ａの位置情報が取得された場合について説明する。

（ステップＳ１３４２）
リフォーカス処理部１３０は、選択画像の全画素に対して、加算処理が終了したかを判定する（ステップＳ１３４２）。ここで、選択画像の全画素について加算処理が終了している場合（ステップｓ１３４２においてｙｅｓ）は、加算処理を終了してステップＳ１３２２へ戻る。一方、選択画像のいずれかの画素について加算処理が終了していない場合（ステップＳ１３４２においてｎｏ）は、ステップＳ３１５２へ進む。加算処理とは、ステップＳ１３４２からステップＳ１３９２までの処理を意味する。

（ステップＳ１３５２）
リフォーカス処理部１３０は、選択画像中の１つの画素を選択する。ここで選択される１つの画素は、加算処理がまだ行われていない画素である。

図１８に、選択画像に含まれる複数の画素に対応する受光面上の複数の点１３０２ａ〜１３０２ｅを示す。ここでは、図１９に示すように、受光面上の点１３０２ａに対応する画素を選択画像から選択した場合について説明する。なお、以後、ステップＳ１３５２で選択された画素を加算画素とも表記する。

（ステップＳ１３７２）
リフォーカス処理部１３０は、図１９に示すように、受光面上の点１３０２ａと照明器１０１ａの位置とを結ぶ直線と焦点面１１００とが交差する交点１３０３ａの位置を計算する。以下において、交点１３０３ａを加算点とも表記する。

（ステップＳ１３８２）
リフォーカス処理部１３０は、受光面上の点１３０２ａに対応する選択画像内の加算画素の輝度値を、焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の１以上の画素の輝度値に加算する。

例えば、合焦画像において、交点１３０３ａの位置がどの画素（整数画素）の位置とも一致しない場合、リフォーカス処理部１３０は、合焦画像において交点１３０３ａに隣接する複数の画素に加算するための輝度値をそれぞれ計算する。具体的には、リフォーカス処理部１３０は、合焦画像の画素の配列を基準に、ステップＳ１３７２で計算された焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の位置を決定する。

例えば、図２０のように、合焦画像において４つの画素（画素Ａ〜画素Ｄ）に囲まれた位置が加算点の位置として決定される。この場合、リフォーカス処理部１３０は、合焦画像において加算点に隣接する各画素（画素Ａ〜画素Ｄ）と加算点との距離を計算する。リフォーカス処理部１３０は、計算された距離と加算画素の輝度値とを用いて、加算点に隣接する各画素に加算するための輝度値を計算する。例えば、リフォーカス処理部１３０は、合焦画像内において加算点に隣接する画素と加算点との距離が相対的に大きい画素ほど輝度値が相対的に大きくなるように、各画素に加算するための輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば画素Ａに加算するための輝度値Ｌａを、以下の式４に従って計算する。

ここで、ａは、合焦画像における画素Ａと加算点との間の距離である。ｂは、合焦画像における画素Ｂと加算点との間の距離である。ｃは、合焦画像における画素Ｃと加算点との間の距離である。ｄは、画素Ｄと加算点との間の距離である。Ｌは、撮影画像に含まれる加算画素の輝度値である。

（ステップＳ１３９２）
リフォーカス処理部１３０は、合焦画像中の１以上の画素の輝度値に、ステップＳ１３８２で計算された輝度値を加算する。

ステップＳ１３４２からステップＳ３１９２までの処理を繰り返すことで、選択画像中のすべての画素の輝度値を合焦画像の画素の輝度値に反映させることができる。

さらに、ステップＳ１３２２からステップＳ１３９２を繰り返すことですべての撮影画像中のすべての画素について加算処理が行われ、焦点面における合焦画像を生成することができる。

図１７のフローチャートについて各ステップの具体例を図２１を参照しながら説明する。ここでは、イメージセンサ１０２及び焦点面等が以下の条件を満たす場合について説明する。イメージセンサ１０２の受光面の長辺（すなわちｘ軸と平行な辺）の長さが６ｍｍであり、受光面の短辺（すなわちｙ軸と平行な辺）の長さが４ｍｍである。焦点面のｘ軸に対する傾きが３０度である。焦点面のｙ軸に対する傾きが０度である。焦点面の面積は、イメージセンサ１０２の受光面の面積と同じである。すなわち、焦点面は、６ｍｍ×４ｍｍの矩形の平面である。焦点面の一方の短辺は、図１８のようにｙｚ平面上にあり、ｙ軸に平行に延びている。焦点面の他方の短辺は、ｘｙ平面上にあり、ｘ座標が約５．２ｍｍの位置でｙ軸と平行に延びている。焦点面の中心の座標（ｘ，ｙ，ｚ）は、（２．６，２，１．５）である。

ここで、ステップＳ１３３２で画像が選択され、ステップＳ１３３３で画像に対応する照明位置（７．５，２，１０）が取得され、ステップＳ１３５２で加算画素（１．７，２，０）が選択されたとする。この場合、ステップＳ１３７２において、加算画素（１．７，２，０）と照明位置（７．５，２．０，１０）とを通る直線と焦点面との交点である加算点の座標（２．６，２，１．５）が計算される。そして、ステップＳ１３８２において、合焦画像における加算点の近傍の画素の輝度値に、加算画素の輝度値が分配されて加算される。

以上のように、本変形例に係る画像生成システムによれば、イメージセンサ１０２の受光面上における第１画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の１以上の第２画素の輝度値に、撮影画像の第１画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、決定された焦点面に応じて適応的に照明位置を決定し、決定された照明位置にある照明器を用いて対象物を撮影する点が実施の形態１と異なる。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。

［画像生成システムの構成］
図２２は、実施の形態２に係る画像生成システム２０の機能的な構成を示すブロック図である。図２２において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。

画像生成システム２０は、撮影装置２００Ａと、画像生成装置２００Ｂと、記憶部１２０と、表示部１５０とを備える。

［撮像装置の構成］
撮影装置２００Ａは、複数の照明器１０１と、画素ごとに光の強度を記録するイメージセンサ１０２と、撮影制御部２０３とを備える。

撮影制御部２０３は、後述する照明範囲決定部２１１から取得した照明範囲情報に従って、複数の照明器１０１及びイメージセンサ１０２の動作を制御する。具体的には、撮影制御部２０３は、異なる位置にある複数の照明器１０１から光を順に照射させる。そして、複数の照明器１０１のいずれかから光が照射されるたびに、イメージセンサ１０２に対象物の画像を撮影させる。

撮影制御部２０３は、実施の形態１の撮影制御部１０３と同様に、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。撮影制御部２０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部２０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

［画像生成装置の構成］
画像生成装置２００Ｂは、焦点面決定部２１０と、照明範囲決定部２１１と、リフォーカス処理部１３０と、画像生成部１４０とを備える。

焦点面決定部２１０は、例えば制御回路又はプロセッサによって実現され、複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部２１０は、予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部２１０は、外部から入力された情報に従って焦点面を決定してもよい。

照明範囲決定部２１１は、焦点面決定部２１０によって決定された焦点面に対応する照明位置を決定する。ここで、図２３及び図２４を参照しながら照明位置の決定の具体例を説明する。

図２３は、実施の形態２における照明位置の決定方法を模式的に示した説明図である。図２４は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図２４の（ａ）は、レンズの焦点距離及び被写界深度の関係を示し、図２４の（ｂ）は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。

図２４において、ｆは、レンズの焦点距離を示す。ｓは、被写体距離を示す。ｔは、レンズから結像面までの距離を示す。Ｆは、Ｆ値を示す。εは、焦点深度の１／２を示す。δは、許容錯乱円直径を示す。ｓｎは、近点距離を示す。ｓｆは、遠点距離を示す。Ｄｎは、前方被写界深度を示す。Ｄｆは、後方被写界深度を示す。

リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図２４の（ｂ）において、点線で示す照明位置の分布範囲は、図２４の（ａ）のレンズ径に対応する。図２４の（ａ）に示したレンズの場合には、被写体(Subject)表面で反射された光はレンズを通過して焦点面（Focal Plane）で結像する。被写界深度（Depth of Field）は、前方被写界深度Ｄｎと後方被写界深度Ｄｆの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図２４の（ａ）の被写体の位置に相当するのが焦点面である。図２４の（ｂ）において、イメージセンサは焦点面よりも左側に位置する。本実施の形態では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。

例えば、図２３に示した、焦点面の合焦画像を生成するために必要な照明位置の範囲は、図２４に示すように、焦点面に平行に設置されたレンズの大きさに対応する。レンズを用いると、焦点位置に置かれた被写体を観測するために、被写体から５ｍｍの距離に置かれた直径１０ｍｍのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、図２３のように焦点面に平行で、焦点面からの距離が５ｍｍ、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径１０ｍｍの円で表される。実際の点光源の配置平面あるいは曲面（例えば、図３に示した曲面や、図４に示した平面）に、この照明位置の範囲を写像した領域内に配置された照明器の位置が、焦点面決定部２１０によって決定された焦点面に適した照明位置となる。

［画像生成システムの動作］
次に、上述のように構成される画像生成システム２０の動作について説明する。

図２５は、実施の形態２に係る画像生成システム２０の動作の一例を示すフローチャートである。図２５において、図７と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。

図２５に示されるように、まず、焦点面決定部２１０は、焦点面を決定する（ステップＳ１２００）。

照明範囲決定部２１１は、ステップＳ１２００で決定された焦点面に対応する照明位置の範囲を決定する（ステップＳ２２００）。

撮影装置２００Ａは、複数の照明器１０１のうち、ステップＳ２２００で決定された照明位置の範囲に対応する照明器を順に用いて、対象物を照明する。そして、撮影装置２００Ａは、照明器が対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される（ステップＳ２３００）。具体的には、撮影装置２００Ａの撮影制御部２０３は、ステップＳ２２００で決定された照明位置の範囲に基づいて、複数の照明器１０１の中から、決定された照明位置の範囲に含まれる２以上の照明器を選択する。そして、撮影制御部２０３は、予め定められた順番で、選択された２以上の照明器に光を照射させ、イメージセンサ１０２に撮影させる。撮影装置２００Ａが、対象物に対する照明と、対象物の撮影とを繰り返すことにより、決定された照明位置の範囲内の照明器を用いて、対象物の画像を取得する。これ以降の動作は、基本的に実施の形態１の図７と同様であるので説明を省略する。

［効果］
以上のように、本実施の形態に係る画像生成システムによれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。

（実施の形態２の変形例）
次に、実施の形態２の変形例について説明する。本変形例では、予め取得されたパイロット画像を用いて対象領域を決定し、当該対象領域に基づいて照明位置の範囲を決定する点が実施の形態２と異なる。以下に、実施の形態２の変形例について、実施の形態２と異なる点を中心に説明する。

［画像生成システムの構成］
図２６は、実施の形態２の変形例に係る画像生成システム３０の機能的な構成を示すブロック図である。図２６において、図２２と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。

画像生成システム３０は、撮影装置２００Ａと、画像生成装置３００Ｂと、記憶部３２０と、表示部１５０とを備える。

撮影装置２００Ａは、複数の照明器１０１と、イメージセンサ１０２と、撮影制御部２０３とを備える。本変形例では、撮影装置２００Ａは、決定された照明位置の範囲に対応する照明器を順に用いて対象物を撮影する前に、予め定められた照明器を用いて対象物を撮影することによりパイロット画像を取得する。パイロット画像は、記憶部３２０に記憶され、表示部１５０に表示される。 画像生成装置３００Ｂは、焦点面決定部２１０と、照明範囲決定部３１１と、対象領域決定部３１２と、処理範囲切り出し部３１３と、リフォーカス処理部２３０と、画像生成部１４０とを備える。

対象領域決定部３１２は、外部入力によって指定された領域又は予め定められた方法で指定された領域に基づいて、パイロット画像内の対象領域を決定する。

照明範囲決定部３１１は、焦点面決定部２１０によって決定された焦点面及び対象領域決定部３１２によって決定された対象領域に基づいて、照明位置の範囲を決定する。

記憶部３２０は、イメージセンサ１０２で撮影された画像を、当該画像の撮影に用いられた照明器の位置情報とともに記憶する。さらに、記憶部３２０は、予め定められた照明器で照明された際に撮影された画像をパイロット画像として記憶する。このパイロット画像は、対象領域決定部２１２に出力される。

処理範囲切り出し部３１３は、対象領域決定部３１２によって決定された対象領域に対応する領域を、記憶部３２０に記憶された複数の画像からそれぞれ切り出す。そして、処理範囲切り出し部３１３は、切り出した画像を照明位置情報とともにリフォーカス処理部２３０へ出力する。

［画像生成システムの動作］
次に、上述のように構成される画像生成システム３０の動作について説明する。

図２７は、画像生成システム３０の動作の一例を示すフローチャートである。図２７に示されるように、まず、撮影部２００の撮影制御部２０３は、予め定められた照明器（例えば、座標（０，０）の位置にある照明器を用いて対象物を照明し、イメージセンサ１０２の受光面に到達した光の強度を検知することによりパイロット画像を取得する。パイロット画像は、記憶部３２０に記憶される（ステップＳ２０１０）。記憶部３２０は、ステップＳ２０１０で撮影されたパイロット画像を表示部１５０に出力し、表示部１５０はパイロット画像を表示する（ステップＳ２０２０）。

ユーザは、ステップＳ２０２０で表示されたパイロット画像に対して、合焦画像を生成したい領域を指定する。対象領域決定部２１２は、ユーザから指定された領域に基づいて、対象領域を決定する（ステップＳ２０３０）。

なお、本変形例では、パイロット画像を表示し、ユーザからパイロット画像に対する領域の指定入力を受けたが、これに限定されない。例えば、対象領域決定部３１２は、パイロット画像において対象物の認識処理を行い、認識結果に基づいて対象領域が決定されてもよい。対象物の認識処理は、例えば、予め定められた色や輪郭などの特徴に基づいて行われる。対象物の認識処理によって複数の領域が抽出された場合には、対象領域決定部３１２は、例えば画像中の領域の位置に基づいて、抽出された複数の領域の中から少なくとも１つの領域が対象領域として選択されてもよいし、抽出された複数の領域のすべてを対象領域として決定してもよい。

焦点面決定部２１０は、焦点面を決定する（ステップＳ２１００）。照明範囲決定部３１１は、ステップＳ２０３０で決定された対象領域と、ステップＳ２１００で決定された焦点面とに基づいて、照明位置の範囲を決定する（ステップＳ２２１０）。具体的には、照明範囲決定部２１１は、図２３における焦点面の中心の代わりに対象領域の中心を用いて、照明位置の範囲を決定する。以降のステップは、図１８と実質的に同一であるので説明を省略する。

［効果］
以上のように、本変形例に係る画像生成システム３０によれば、焦点面に加えて対象領域に基づいて照明位置の範囲を決定することができ、さらに撮影時間を短縮することができる。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、対象物の状態に基づいて焦点面を決定する点が実施の形態１と異なる。例えば、本実施の形態では、受精卵や初期胚のように、対象物の状態が培養時間に応じて変化する場合に、培養時間に対応する対象物の状態に基づいて、焦点面の数及び角度を決定する。以下に、実施の形態３について、実施の形態１と異なる点を中心に説明する。

［画像生成システムの構成］
図２８は、実施の形態３に係る画像生成システム４０の機能的な構成を示すブロック図である。図２８において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。

画像生成システム４０は、撮影装置１００Ａと、画像生成装置４００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成装置４００Ｂは、焦点面決定部４１０と、胚情報テーブル４２０と、計時部４３０と、リフォーカス処理部１３０と、画像生成部１４０とを備える。

胚情報テーブル４２０には、培養時間と、当該培養時間に対応する胚の状態及び焦点面の情報とが記録されている。図２９は胚情報テーブル４２０の一例を示す。図２９の例では、胚情報テーブル４２０には、培養時間ごとに胚の状態と焦点面の数とが記録されている。

計時部４３０は、対象物の培養を開始した時刻からの経過時間（つまり培養時間）を計測する。

焦点面決定部４１０は、計時部４３０により計測された培養時間に対応する焦点面の数を胚情報テーブル４２０から取得する。そして、焦点面決定部４１０は、イメージセンサ１０２と複数の照明器１０１との間に、取得した数と同数の焦点面を決定する。具体的には、焦点面決定部４１０は、外部入力された角度、あるいは予め定められた角度で傾いた焦点面を、胚情報テーブル４２０から得られた数だけ決定する。対象物が初期胚の場合、例えば、互いに平行な複数の焦点面が決定される。初期胚の大きさは、約１００μｍであるので、１００μｍの高さを胚情報テーブル４２０から得られた数と同数の焦点面で等分するように焦点面の間の距離が決定される。例えば、焦点面の数が２である場合、２つの焦点面の間の距離は３３μｍと決定される。

［画像生成システムの動作］
次に、上述のように構成される画像生成システム４０の動作について説明する。

画像生成システム４０の動作は、実施の形態１の図７と、ステップＳ１２００の焦点面を決定する動作を除いて実質的に同一であるので、ステップＳ１２００の詳細のみを説明し、他の動作については説明を省略する。

図３０は、実施の形態３に係る焦点面決定部４１０の動作の一例を示すフローチャートである。

まず、焦点面決定部４１０は、計時部４３０から培養時間を取得する（ステップＳ１２１０）。次いで、焦点面決定部４１０は、胚情報テーブル４２０を参照して、ステップＳ１２１０で取得した培養時間に対応する焦点面の数を取得する（ステップＳ１２２０）。焦点面決定部４１０は、ステップＳ１２２０で取得した焦点面の数に基づいて、各焦点面の中心の高さ（すなわち図８のように定義されたｘｙｚ空間におけるｚ座標値）を決定する（ステップＳ１２３０）。本実施の形態では、複数の焦点面の各々における合焦画像を生成する際には、ユーザのわかり易さを考慮して、すべての焦点面は平行に配置される。なお、複数の焦点面の角度、配置はこの限りではない。

さらに、焦点面決定部４１０は、図示しない入力手段を介して入力された焦点面の傾きの情報、または予め定められた焦点面の傾きの情報に基づいて、焦点面のｘ軸に対する角度とｙ軸に対する角度とを決定する（ステップＳ１２４０）。ステップＳ１２３０で決定された焦点面の中心位置を回転中心として、ステップＳ１２４０で決定された角度で各焦点面を傾けて仮想的に配置することにより、焦点面を決定する（ステップＳ１２５０）。

［効果］
以上のように、本実施の形態に係る画像生成システム４０によれば、対象物の状態に応じて焦点面の数を決定することができ、対象物の観察に適した合焦画像を生成することが可能となる。

（実施の形態３の変形例）
実施の形態３の変形例では、まず、イメージセンサの受光面に平行な焦点面において合焦画像を生成し、生成された合焦画像における対象物（例えば細胞）の立体的配置に応じて、他の焦点面を自動的に決定する点が上記実施の形態３と異なる。以下に、実施の形態３の変形例について、実施の形態３と異なる点を中心に説明する。

図３１は、実施の形態３の変形例に係る画像生成システム５０の機能的な構成を示すブロック図である。なお、図３１では、撮影装置１００Ａは、図２８と同じであるので、その記載を省略している。また、図３１において、図２８と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。

画像生成装置５００Ｂは、焦点面決定部５１０と、胚情報テーブル４２０と、計時部４３０と、リフォーカス処理部５３０と、画像生成部５４０とを備える。焦点面決定部５１０は、水平面決定部５１１と、細胞位置判定部５１３と、位置傾き決定部５１４とを備える。

画像生成装置５００Ｂは、焦点面決定部５１０と、胚情報テーブル４２０と、計時部４３０と、リフォーカス処理部５３０と、画像生成部５４０とを備える。焦点面決定部５１０は、水平面決定部５１１と、細胞位置判定部５１３と、位置傾き決定部５１４とを備える。

水平面決定部５１１は、胚情報テーブル４２０を参照して、計時部４３０から取得した培養時間に対応する焦点面の数を決定する。水平面決定部５１１は、決定された焦点面の数を元に、焦点面の位置と傾きとを決定するために用いる、イメージセンサ１０２の受光面に平行な水平面の数と当該水平面のｚ軸上の位置とを決定する。

細胞位置判定部５１３は、画像生成部５４０が生成した受光面に平行な水平面における合焦画像と、３次元モデルから生成される断面画像とを比較し、比較結果から３次元座標上での細胞の配置を判定する。

ここで、細胞位置判定部５１３の詳細な構成について図３２を参照しながら説明する。

図３２は、細胞位置判定部５１３の詳細な機能構成を示すブロック図である。細胞位置判定部５１３は、３Ｄモデルデータベース（ＤＢ）５２１と、回転処理部５２２と、２Ｄ化処理部５２３と、比較部５２４と、記憶部５２５とを備える。

３Ｄモデルデータベース５２１は、対象物の状態（ここでは初期胚の各細胞期における３次元モデル）を保持している。初期胚の３次元モデルは、球状の胚膜中に、細胞期に対応する数の略球状の細胞が内包されている状態を示す。

回転処理部５２２は、３Ｄモデルデータベース５２１に保持された３次元モデルを予め定められた角度で回転する。

２Ｄ化処理部５２３は、回転処理部５２２が回転した３次元モデルを用いて、水平面決定部５１１で決定された水平面における断面画像を生成する。

比較部５２４は、画像生成部５４０が生成した水平面における合焦画像と、２Ｄ化処理部５２３が３次元モデルから生成した断面画像とを比較する。この比較は、回転処理部５２２における回転角度を変えながら繰り返される。その結果、合焦画像と断面画像との差異を示す値が予め定められた閾値よりも小さくなる回転角度が求められる。

記憶部５２５は、比較部５２４が比較した２つの画像の差異を示す値が閾値よりも小さくなる、回転処理部５２２での回転角度を記憶する。

位置傾き決定部５１４は、細胞位置判定部５１３が判定した、３次元座標上での細胞の配置と、水平面決定部５１１が決定した焦点面の数とに基づいて、各焦点面の中心点のｚ軸上での位置と、各焦点面のｘ軸及びｙ軸に対する傾きの値を決定する。

リフォーカス処理部５３０は、撮影部１００によって撮影された複数の画像より、水平面決定部５１１によって決定された平面または位置傾き決定部５１４によって決定された焦点面に対するリフォーカシング処理を行う。

画像生成部５４０は、リフォーカス処理部５３０が生成した各画素の輝度値を用いて合焦画像を生成する。

［画像生成システムの動作］
次に、上述のように構成される画像生成システム５０の動作について説明する。

画像生成システム５０の動作は、実施の形態１の図７と、ステップＳ１２００を除いて実質的に同一であるので、ステップＳ１２００の詳細のみを説明し、他の動作については説明を省略する。

図３３は、実施の形態３の変形例に係る焦点面決定部５１０の動作の一例を示すフローチャートである。

まず、焦点面決定部５１０の水平面決定部５１１は、計時部４３０から培養時間を取得する（ステップＳ１２１０）。次いで、水平面決定部５１１は、胚情報テーブル４２０を参照して、ステップＳ１２１０で取得した培養時間に対応する焦点面の数を取得する（ステップＳ１２２０）。水平面決定部５１１は、ステップＳ１２２０で取得した焦点面の数と同数の水平面の各々のｚ軸位置を決定する（ステップＳ１２３１）。本変形例では、３次元モデルから生成される複数の断面画像を、複数の水平面における合焦画像と比較することで、画像生成システム５０が出力する合焦画像のための焦点面の角度が決定される。図２９に示した胚情報テーブルでは、焦点面の数として、前核期胚及び２細胞期胚については、１が記録されている。そこで、ステップＳ１２３１では、胚情報テーブル４２０を参照して得られた焦点面の数と同数の水平面のｚ軸位置を決定する。

なお、水平面の数は、焦点面の数と一致しなくてもよい。この場合、胚情報テーブル４２０には、焦点面の数に加えて、細胞の配置を判定するための水平面の数が記録されればよい。また、実施の形態２の変形例のように、パイロット画像を取得し、パイロット画像の状態に基づいて水平面の数を決定してもよい。

水平面のｚ軸位置は、例えば、初期胚の大きさが直径約１００μｍであるので、１００μｍの高さが胚情報テーブル４２０から得られた数と同数の水平面で等分されるように決定される。胚は培養液中に沈んでおり、イメージセンサ１０２の受光面上に接触している。したがって、例えば水平面の数が２つである場合、２つの水平面のｚ軸位置は、３３μｍ及び６６μｍである。

リフォーカス処理部５３０は、ステップＳ１２３１で決定されたｚ軸位置における水平面に対してリフォーカス処理を行う。画像生成部５４０は、リフォーカス処理部５３０が計算した各画素の輝度値を用いて合焦画像を生成する（ステップＳ１２３２）。

細胞位置判定部５１３は、ステップＳ１２３２で生成された合焦画像を、初期胚の３次元モデルから生成された断面画像と比較することで、細胞の配置と初期胚の観察に適した細胞の配置（以下、基準位置という）からの初期胚の回転角度とを決定する（ステップＳ１２４１）。ステップＳ１２４１の詳細は後述する。

位置傾き決定部５１４は、ステップＳ１２４１で決定された細胞の配置と回転角度とに基づいて、焦点面が基準位置での水平面に合致するよう、焦点面の角度を決定する（ステップＳ１２４２）。例えば、ステップＳ１２４１で判定された回転角度の逆向きの回転角度で、撮影時の座標での水平面を回転して得られる平面の角度を焦点面の角度として決定する。

続いて、位置傾き決定部５１４は、ステップＳ１２２０で水平面決定部５１１が取得した数と同数の焦点面のｚ軸上の位置を決定する。ｚ軸位置は、例えば、対象物全体のｚ軸方向の大きさを等分するように決定される。

位置傾き決定部５１４は、ステップＳ１２４２で決定された角度とｚ軸位置とを用いてすべての焦点面を決定する（ステップＳ１２５０）。

本変形例では、すべての焦点面は、互いに平行であるものとして説明したが、異なる角度で配置されてもよい。例えば、複数の焦点面は、ある座標点を中心に点対称に配置されてもよい。イメージセンサ直上からの撮影結果から、イメージセンサの受光面上の胚の中心点を決定し、胚の直径が約１００μｍであるため、イメージセンサの受光面上の胚の中心点からｚ軸方向に５０μｍの高さの位置を回転中心として用いて焦点面が配置されてもよい。

次に、図３３のステップＳ１２４１の詳細について、図３４を参照しながら説明する。図３４は、実施の形態３の変形例に係る焦点面決定部５１０による細胞配置の決定に関する処理を示すフローチャートである。

細胞位置判定部５１３の回転処理部５２２は、水平面決定部５１１より初期胚の状態、水平面の数、水平面のｚ軸位置の情報を取得する（ステップＳ１２４１１）。回転処理部５２２は、３Ｄモデルデータベース５２１に保持されるモデルのうち、ステップＳ１２４１１で取得した胚の状態の情報に対応する３次元モデルのすべてに対して、比較処理を行ったか否かを判定する（ステップＳ１２４１２）。比較処理は、ステップＳ１２４１３からステップＳ１２４１８までの一連の処理を指す。

ここで、胚の状態の情報に対応する３次元モデルのすべてに対して比較処理が行われた場合（ステップＳ１２４１２においてｙｅｓ）、ステップＳ１２４２に進む。一方、胚の状態の情報に対応する３次元モデルのいずれかに対してまだ比較処理が行われていない場合（ステップＳ１２４１２においてｎｏ）、ステップＳ１２４１３に進む。

ステップＳ１２４１１で取得した胚の状態の情報に対応する３次元モデルのうちの１つが選択される（ステップＳ１２４１３）。ここで選択される３次元モデルは、まだ比較処理が行われていないものである。

３次元モデルは、胚の状態ごとに、胚の中の細胞の配置を３次元で表現する。３次元モデルは、回転可能な状態で保持され、回転していない基準位置は、ｘｙ平面すなわち受光面に平行な平面における細胞の断面が細胞の観察に最も適した断面になるように、設定されている。図３５Ａ〜図３５Ｄは、４細胞期の胚の３次元モデルの一例を示す。図３５Ａ〜図３５Ｄの３次元モデルでは、ｚ軸方向における低い位置で２つの細胞（第１細胞３５０１及び第２細胞３５０２）が並び、高い位置で２つの細胞（第３細胞３５０３及び第４細胞３５０４）が並ぶ。第１細胞３５０１及び第２細胞３５０２の中心点をつなぐ直線と第３細胞３５０３及び第４細胞３５０４の中心点をつなぐ直線とは、ｘｙ平面上に写像した場合に直交する。３次元モデルを俯瞰すると図３５Ｄのようになる。

図３６Ａ及び図３６Ｂは、図３５Ａの断面線XXVIIIおよび図３５Ｂの断面線XXIXにおける３次元モデルの断面図である。ｘｙ平面と平行な面上に並ぶ２つの細胞のペアがｚ軸方向に２層になっている。この例では、第１細胞３５０１及び第２細胞３５０２の中心点を通る直線と、第３細胞３５０３及び第４細胞３５０４の中心点を通る直線とは、ねじれの位置にある。図３５Ａ〜図３６Ｂは、基準位置における３次元モデルを示している。つまり、第１細胞３５０１及び第２細胞３５０２がｘｙ平面と平行な平面上に並び、第３細胞３５０３及び第４細胞３５０４がｘｙ平面と平行な平面上に並ぶ位置を基準位置としている。

次に、回転処理部５２２は、予め定められた回転角度のすべてに対して、ステップＳ１２４１３で選択した３次元モデルの断面画像とステップＳ１２３２で生成された水平面における合焦画像とを比較したか否かを判定する（ステップＳ１２４１４）。ここで、回転角度のすべてに対して比較が行われた場合（ステップＳ１２４１４においてｙｅｓ）は、ステップＳ１２４１２へ戻る。一方、予め定められた回転角度のいずれかに対して比較が行われていない場合（ステップＳ１２４１４においてｎｏ）は、ステップＳ１２４１５に進む。

回転処理部５２２は、予め定められた回転角度のうち、比較処理が行われていない回転角度で、ステップＳ１２４１３で選択した３次元モデルを回転する（ステップＳ１２４１５）。

２Ｄ化処理部５２３は、ステップＳ１２４１５で回転された３次元モデルをステップＳ１２３１で決定された１つ以上の平面における断面画像を生成する（ステップＳ１２４１６）。図３７は、図３５Ｄに示した基準位置における３次元モデルを、ｘ軸に平行で胚の中心を通る軸を回転中心に回転させた結果を示す３次元モデルの斜視図である。図中に破線で示す平面において断面画像が生成される。図３８に示すように、断面画像では、左下の細胞の輪郭は明瞭であり、ｚ軸上で最も高い位置にある細胞は写らず、中間の２つの細胞の輪郭はボケている。２Ｄ化処理部５２３は、回転された３次元モデルに対して、指定された平面と被写界深度とに基づき、断面画像を生成する。ここで用いられる被写界深度は、画像生成システム５０の被写界深度と等しい。

比較部５２４は、ステップＳ１２３２で生成された水平面における合焦画像とステップＳ１２４１６で生成された断面画像とを比較し、その差異を示す値が、記憶部５２５に記憶されている値より小さいか否かを判定する（ステップＳ１２４１７）。ここで、差異を示す値が記憶部５２５に記憶されている値以上である場合（ステップＳ１２４１７においてｎｏ）、ステップＳ１２４１４に戻る。一方、差異を示す値が記憶部５２５に記憶されている値未満である場合（ステップＳ１２４１７においてｙｅｓ）、ステップＳ１２４１８に進む。なお、記憶部５２５には、初期値として、例えば差異を示す値の上限値が予め記憶されている。

記憶部５２５は、合焦画像と断面画像との差異を示す値と、ステップＳ１２４１５における３次元モデルの回転に用いた回転角度とを記憶する（ステップＳ１２４１８）。つまり、記憶部５２５に記憶されている値は、ステップＳ１２３２で生成された水平面における合焦画像とステップＳ１２４１６で生成された断面画像との差異を示す値に更新される。その後、ステップＳ１２４１４へ戻る。

ステップＳ１２４１４からステップＳ１２４１８までの比較処理を繰り返すことで、ステップＳ１２３２で生成された合焦画像（すなわち撮影画像から生成された水平面における合焦画像）が、基準位置からどれだけ回転された３次元モデルの断面画像に近いかを求めることができる。

［効果］
以上のように、本変形例に係る画像生成システム５０によれば、対象物である初期胚における細胞の配置に応じて、焦点面の位置及び角度を決定することができる。したがって、初期胚の観察に適した合焦画像を生成することができる。

（他の実施の形態）
以上、１つ又は複数の態様に係る画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

なお、上記実施の形態３およびその変形例では、計時部４３０は、培養開始からの経過時間を培養時間として計測していたが、受精後の経過時間を計測してもよい。この場合、胚情報テーブルは、培養時間ではなく、受精からの経過時間の情報を持てばよい。

本開示は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮像する際に有用である。

１０、２０、３０、４０、５０ 画像生成システム
１００Ａ、２００Ａ 撮影装置
１００Ｂ、２００Ｂ、３００Ｂ、４００Ｂ、５００Ｂ 画像生成装置
１０１ 複数の照明器
１０１ａ、１０１ｂ 照明器
１０１Ａ ＬＥＤ光源
１０１Ｂ 遮光板
１０１Ｃ ピンホール
１０１Ｄ コリメートレンズ
１０１Ｅ 光源
１０１Ｆ 半球
１０１Ｇ 擬似点光源
１０１Ｈ 平面
１０１Ｊ 合焦点
１０２ イメージセンサ
１０３、２０３ 撮影制御部
１１０、２１０、４１０、５１０ 焦点面決定部
１１１ 第１記録部
１１２ 入力部
１２０、３２０、５２５ 記憶部
１２１ 第２記録部
１３０、２３０、５３０ リフォーカス処理部
１４０、５４０ 画像生成部
１５０ 表示部
２１１、３１１ 照明範囲決定部
２１２、３１２ 対象領域決定部
２１３、３１３ 処理範囲切り出し部
４２０ 胚情報テーブル
４３０ 計時部
５１１ 水平面決定部
５１３ 細胞位置判定部
５１４ 位置傾き決定部
５２１ ３Ｄモデルデータベース
５２２ 回転処理部
５２３ ２Ｄ化処理部
５２４ 比較部
１０００ 対象物
１１００ 焦点面
１１０２ａ、１１０２ｂ、１１０２ｃ、１１０２ｄ、１１０２ｅ、１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅ 点
１１０３ａ、１１０３ｂ 交点
１３０３ａ 交点
３５０１、３５０２、３５０３、３５０４ 細胞

Claims (9)

1. 複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、
   前記複数の照明器は、前記対象物を順番に照明し、
   前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、
   前記少なくとも１つの制御回路は、
   （ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、
   （ｂ）前記合焦画像を構成する複数の画素の各々について、以下の（ｃ）〜（ｆ）を実行し、
   （ｃ）前記複数の照明器の位置の各々について、以下の（ｄ）〜（ｆ）を実行し、
   （ｄ）前記焦点面上における前記画素の位置及び前記照明器の位置を結ぶ直線と前記イメージセンサの受光面との交点である対象点の位置を計算し、
   （ｅ）前記イメージセンサの受光面上の前記対象点の位置に基づいて、前記照明器の位置から前記対象物が照明されているときに取得された撮影画像における前記対象点の輝度値を計算し、
   （ｆ）前記対象点の輝度値を前記画素の輝度値に適用し、
   （ｇ）前記複数の画素の各々における輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、
   （ｈ）前記生成した前記対象物の合焦画像を出力する、
   画像生成システム。
2. 複数の照明器と、対象物が載置されるイメージセンサと、少なくとも１つの制御回路とを備え、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する画像生成システムであって、
   前記複数の照明器は、前記対象物を順番に照明し、
   前記イメージセンサは、前記複数の照明器が前記対象物を照明する毎に、前記対象物の撮影画像を取得し、
   前記少なくとも１つの制御回路は、
   （ａ）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、
   （ｂ）複数の前記撮影画像の各々について、以下の（ｃ）〜（ｆ）を実行し、
   （ｃ）前記撮影画像に対応する照明器の位置情報を取得し、
   （ｄ）前記撮影画像に含まれる複数の第１画素の各々について、以下の（ｅ）〜（ｆ）を実行し、
   （ｅ）前記イメージセンサの受光面上における前記第１画素の位置及び前記照明器の位置を結ぶ直線と前記焦点面との交点の位置を計算し、
   （ｆ）前記合焦画像を構成する複数の第２画素に含まれる、前記焦点面上の交点の位置に対応する１以上の第２画素の輝度値に、前記第１画素の輝度値を適用し、
   （ｇ）前記複数の第２画素の輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、
   （ｈ）前記生成した前記対象物の合焦画像を出力する、
   画像生成システム。
3. 前記複数の照明器の各々は、
   光源と、
   前記光源と前記対象物との間に位置し、ピンホールを有する遮光板とを備え、
   前記光源により、前記ピンホールを介して、拡散光を前記対象物に照射する、
   請求項１又は２に記載の画像生成システム。
4. 前記画像生成システムは、さらに、ディスプレイを備え、
   前記ディスプレイは、前記少なくとも１つの制御回路により出力された前記合焦画像を表示する、
   請求項１〜３のいずれか１項に記載の画像生成システム。
5. さらに、
   前記焦点面の情報に基づいて、照明位置の範囲を決定し、
   前記複数の照明器のうち、前記照明位置の範囲に対応する照明器が、前記対象物に順番に照明する、
   請求項１〜４のいずれか１項に記載の画像生成システム。
6. 複数の照明器及びイメージセンサの間に位置する仮想的な焦点面における合焦画像であって前記イメージセンサ上に位置する対象物の合焦画像を生成する画像生成方法であって、
   （ｂ１）前記複数の照明器により前記対象物を順番に照明して撮影された複数の前記対象物の撮影画像を取得し、
   （ｂ２）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、
   （ｂ３）前記合焦画像を構成する複数の画素の各々について、以下の（ｂ４）〜（ｂ７）を実行し、
   （ｂ４）前記複数の照明器の位置の各々について、以下の（ｂ５）〜（ｂ７）を実行し、
   （ｂ５）前記焦点面上における前記画素の位置及び前記照明器の位置を結ぶ直線と前記イメージセンサの受光面との交点である対象点の位置を計算し、
   （ｂ６）前記イメージセンサの受光面上の前記対象点の位置に基づいて、前記照明器の位置から前記対象物が照明されているときに取得された撮影画像における前記対象点の輝度値を計算し、
   （ｂ７）前記対象点の輝度値を前記画素の輝度値に適用し、
   （ｂ８）前記複数の画素の各々における輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、
   （ｂ９）前記生成した前記対象物の合焦画像を出力し、
   前記（ｂ１）〜（ｂ９）の少なくとも１つは制御回路により実行される、
   画像生成方法。
7. 複数の照明器及びイメージセンサの間に位置する仮想的な焦点面における合焦画像であって前記イメージセンサ上に位置する対象物の合焦画像を生成する画像生成方法であって、
   （ｂ１）前記複数の照明器により前記対象物を順番に照明して撮影された複数の前記対象物の撮影画像を取得し、
   （ｂ２）前記複数の照明器及び前記イメージセンサの間に位置する前記焦点面の情報を取得し、
   （ｂ３）前記複数の撮影画像の各々について、以下の（ｂ４）〜（ｂ７）を実行し、
   （ｂ４）前記撮影画像に対応する照明器の位置情報を取得し、
   （ｂ５）前記撮影画像に含まれる複数の第１画素の各々について、以下の（ｂ６）〜（ｂ７）を実行し、
   （ｂ６）前記イメージセンサの受光面上における前記第１画素の位置及び前記照明器の位置を結ぶ直線と前記焦点面との交点の位置を計算し、
   （ｂ７）前記合焦画像を構成する複数の第２画素に含まれる、前記焦点面上の交点の位置に対応する１以上の第２画素の輝度値に、前記第１画素の輝度値を適用し、
   （ｂ８）前記複数の第２画素の輝度値の適用結果を用いて、前記焦点面における前記対象物の合焦画像を生成し、
   （ｂ９）前記生成した前記対象物の合焦画像を出力し、
   前記（ｂ１）〜（ｂ９）の少なくとも１つは制御回路により実行される、
   画像生成方法。
8. さらに、
   （ａ１）前記複数の照明器により、前記イメージセンサ上に位置する前記対象物を順番に照明し、
   （ａ２）前記イメージセンサにより、前記複数の照明器により前記対象物を照明する毎に、前記対象物の撮影画像を取得し、
   前記（ｂ１）では、前記イメージセンサにより取得された複数の前記対象物の撮影画像を取得する、
   請求項６又は７に記載の画像生成方法。
9. 前記対象物は細胞である、
   請求項６〜８のいずれか１項に記載の画像生成方法。