JP2018082355A - 画像生成システム及び画像生成方法 - Google Patents

Abstract

【課題】複数の撮影画像を用いて仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システム等を提供する。【解決手段】画像生成システム１０は、複数の凸レンズ１０６ａｋと、表面に対象物が配置されたイメージセンサ１０２との間に位置する仮想的な焦点面に対応する合焦画像を生成する。複数の凸レンズ１０６ａｋのそれぞれは、複数の光源１０５ａｋのいずれか１つから射出された光を集光して、複数の凸レンズ１０６ａｋとイメージセンサ１０２との間で焦点を結び、複数の焦点は、複数の仮想点光源１０５ｂｋを構成する。イメージセンサ１０２は、仮想点光源１０５ｂｋのそれぞれが照明する毎に、撮影画像を取得する。画像生成システム１０は、焦点面の情報と、複数の仮想点光源１０５ｂｋの位置情報と、複数の撮影画像とを用いて、焦点面の合焦画像を生成する。【選択図】図１

Description

本発明は、レンズレス顕微鏡における複数の光源による複数の撮影画像に基づいて、仮想的な焦点面における対象物の画像を生成する技術に関する。

培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。

特許文献１では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像（すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像）から、対物レンズと平行でない面の合焦画像（擬似断面画像）を生成する方法を示している。

ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。

特開２０１３−１０１５１２号公報 米国特許出願公開第２０１４／０１３３７０２号明細書

しかしながら、特許文献１の方法では、撮影した後に各高さ位置の画像から部分画像を切り出し、切り出された部分画像をつなぎ合わせるので、部分画像のつなぎ目に不連続が発生する。その結果、擬似断面画像の画質は、不連続により劣化する。また、不連続による画質劣化を低減するために不連続部分にぼかし処理が施されれば、擬似断面画像の鮮鋭さが低下する。

そこで、本開示は、複数の撮影画像を用いて、仮想的な焦点面における対象物の高画質な合焦画像を生成することができる画像生成システム等を提供する。

本開示の一態様に係る画像生成システムは、複数の光源及び複数の凸レンズを含む照明器と、対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、前記複数の凸レンズのそれぞれは、前記複数の光源のいずれか１つから射出された光を集光して、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、複数の前記焦点は、複数の仮想点光源を構成し、前記イメージセンサは、前記複数の仮想点光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記対象物の複数の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ１）前記イメージセンサにより撮影された複数の撮影画像を取得し、（ａ２）前記複数の凸レンズと前記イメージセンサとの間に位置する前記焦点面の情報を取得し、（ａ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく前記複数の仮想点光源の位置情報を取得し、（ａ４）前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ａ５）生成した前記焦点面の合焦画像を出力する。

また、本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、（ｂ１）複数の光源のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサ上に位置する前記対象物の複数の撮影画像を取得し、ここで、前記複数の光源それぞれから射出された光は、複数の凸レンズのいずれか１つによって集光されて、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、前記焦点のそれぞれで仮想点光源を生成し、（ｂ２）前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面を設定し、（ｂ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく複数の前記仮想点光源の位置情報を取得し、（ｂ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｂ５）前記焦点面の合焦画像を出力し、前記（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行される。

なお、これらの包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、複数の撮影画像を用いて、仮想的な焦点面における対象物の高画質な合焦画像を生成することができる。

実施の形態に係る画像生成システムの機能的な構成の一例を示すブロック図である。 実施の形態に係る照明器の構造の一例を模式的に示す側面図である。 実施の形態に係る照明器の光源の複数の点灯領域によって生成される複数の仮想点光源の配列の一例を模式的に示す図である。 実施の形態に係る照明器が点灯領域を順次点灯していく状態の一例を示す側面図である。 実施の形態に係る照明器が点灯領域を順次点灯していく状態の一例を示す上面図である。 実施の形態に係る記憶部が記憶する内容の一例を示す図である。 実施の形態に係る画像生成システムの動作の一例を示すフローチャートである。 座標と焦点面との関係の一例を示す模式図である。 実施の形態に係る撮像装置の動作の一例を示すフローチャートである。 実施の形態に係るリフォーカス処理部の動作の一例を示すフローチャートである。 実施の形態に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態に係るリフォーカス処理の具体例を説明する模式図である。 実施の形態に係るリフォーカス処理の具体例を説明する模式図である。 変形例に係る画像生成システムの構造の一例を模式的に示す側面図である。 図１５の画像生成システムにおけるレンズアレイの移動動作の一例を模式的に示す側面図である。 変形例に係るリフォーカス処理部の動作の一例を示すフローチャートである。 変形例に係る撮影制御部が取得又は計算して保持する内容の一例を示す図である。 変形例に係る撮影制御部が取得又は計算して保持する内容の一例を示す図である。

本開示の一態様に係る画像生成システムは、複数の光源及び複数の凸レンズを含む照明器と、対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、前記複数の凸レンズのそれぞれは、前記複数の光源のいずれか１つから射出された光を集光して、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、複数の前記焦点は、複数の仮想点光源を構成し、前記イメージセンサは、前記複数の仮想点光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記対象物の複数の撮影画像を取得し、前記少なくとも１つの制御回路は、（ａ１）前記イメージセンサにより撮影された複数の撮影画像を取得し、（ａ２）前記複数の凸レンズと前記イメージセンサとの間に位置する前記焦点面の情報を取得し、（ａ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく前記複数の仮想点光源の位置情報を取得し、（ａ４）前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ａ５）生成した前記焦点面の合焦画像を出力する。

本態様によれば、仮想的な焦点面の情報と複数の撮影画像とを用いて、焦点面の合焦画像を構成する複数の合焦画素に対応するイメージセンサのセンサ画素の輝度値が取得される。そして、取得されたセンサ画素の輝度値を用いて、焦点面の合焦画像が生成される。また、複数の凸レンズのそれぞれは、複数の光源のいずれか１つから射出された光を集光して、複数の凸レンズとイメージセンサとの間で焦点を結び、複数の焦点が、複数の仮想点光源を構成する。そして、イメージセンサは、複数の仮想点光源のそれぞれが照明する毎に、複数のセンサ画素で受光される光に基づく輝度値を用いて、対象物の複数の撮影画像を取得する。上述の構成において、光源の形状に関係なく、光源から射出された光が、凸レンズの焦点で点光源を形成することができる。よって、イメージセンサ及びその上の対象物への安定した照明が可能になる。従って、高画質な合焦画像の生成が可能になる。

例えば、前記複数の光源はそれぞれ、所定の領域で発光する面光源であってもよい。本態様によれば、面光源の面積を変更することによって、光源の光量の変更が可能である。面光源を用いることによって、光線が交差しない拡散光及び平行光の生成が容易になる。

例えば、前記照明器は、複数の画素を有するディスプレイを含み、前記ディスプレイは、前記複数の画素を部分的に発光させることによって、前記面光源を形成してもよい。本態様によれば、ディスプレイを用いて、その複数の画素を部分的に発光させることによって、面光源の形成が容易に可能である。さらに、面光源の位置、形状及び寸法の設定が任意に可能になる。

例えば、前記複数の凸レンズはそれぞれ、前記複数の光源のいずれか１つのみから射出された光を集光してもよい。本態様によれば、光源から凸レンズに入射する光線が交差することが抑えられる。

例えば、前記複数の凸レンズを移動させる移動部をさらに備えてもよい。本態様によれば、複数の凸レンズを移動部により移動させることで、生成する仮想点光源の位置を任意に設定することができる。

例えば、前記移動部は、配列された前記複数の光源の配列方向に前記複数の凸レンズを移動させてもよい。本態様によれば、レンズアレイが複数の光源の配列方向に移動されることによって、凸レンズと光源との位置合わせが容易になる。よって、凸レンズのそれぞれが、１つの光源の光のみを集光するような配置を形成することが容易になる。

本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、（ｂ１）複数の光源のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサ上に位置する前記対象物の複数の撮影画像を取得し、ここで、前記複数の光源それぞれから射出された光は、複数の凸レンズのいずれか１つによって集光されて、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、前記焦点のそれぞれで仮想点光源を生成し、（ｂ２）前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面を設定し、（ｂ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく複数の前記仮想点光源の位置情報を取得し、（ｂ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、（ｂ５）前記焦点面の合焦画像を出力し、前記（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行される。

なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る画像生成システムについて、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。

（実施の形態）
実施の形態に係る画像生成システムは、イメージセンサ上に位置する対象物に、照明器によって作られる複数の仮想点光源が順に対象物を照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の仮想点光源とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。以下において、この複数の撮影画像を用いて生成された仮想的な焦点面に対応する画像を、合焦画像とも呼ぶ。複数の撮影画像を用いて仮想的な焦点面に対応する対象物の合焦画像を生成することをリフォーカス処理とも呼ぶ。リフォーカス処理では、撮影画素を用いて仮想的な焦点面における画素が求められてもよい。

［１−１．画像生成システムの構成］
［１−１−１．画像生成システムの全体構成］
図１を参照して、実施の形態に係る画像生成システム１０の全体構成を説明する。なお、図１は、実施の形態に係る画像生成システム１０の機能ブロック図である。図１に示される画像生成システム１０は、撮影装置１００Ａと、画像生成装置１００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成システム１０は、さらに、予め定められた焦点面の情報を記憶している第一記録部１１１と、リフォーカス処理済みの画素の情報を記録する第二記録部１２１と、焦点面を指定する指定情報の入力を受け付ける入力部１１２とを備えてもよい。

［１−１−２．撮影装置の構成］
まず、撮影装置１００Ａの構成について、図１等を参照して説明する。撮影装置１００Ａは、照明器１０１と、イメージセンサ１０２と、撮影制御部１０３とを備える。撮影装置１００Ａは、対象物の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅ）を取得する。ここでは、撮影装置１００Ａは、フォーカスレンズを有さない。

イメージセンサ１０２は、イメージセンサ１０２が有する複数のセンサ画素が検知する光の強度、例えば輝度に基づき、撮影画像を取得する。センサ画素は、イメージセンサ１０２の受光面に配置され、照明器１０１から照射された光の強度を取得する。イメージセンサ１０２の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

撮影の対象物は、例えば、イメージセンサ１０２の受光面を構成する表面上に直接的又は間接的に配置される複数の半透明の物質である。対象物は、イメージセンサ１０２の複数のセンサ画素の上に、載置される。対象物が載置されるイメージセンサ１０２の表面は、イメージセンサ１０２のセンサ画素の上の表面を含む。イメージセンサ１０２の表面の上で、複数の物質は３次元的に重なって位置する場合もある。物質の具体例は、細胞である。

照明器１０１は、イメージセンサ１０２から離れた位置に配置され、イメージセンサ１０２に向かって光を投射するように構成されている。照明器１０１は、照明器１０１とイメージセンサ１０２との間に仮想的な点光源を生成する。例えば、図２を参照すると、照明器１０１の構成の一例が模式的に示されている。図２は、照明器１０１及びイメージセンサ１０２を側方から見た図である。照明器１０１は、照明器１０１から離れた位置に、複数の仮想的な点光源（以下、仮想点光源とも呼ぶ）を生成する。本実施の形態では、仮想点光源は、点光源と見なしうる程度に十分に小さい面等の領域から拡散光を射出する光源である。

照明器１０１は、それ自体が光を生成する光源１０５と、光源１０５とイメージセンサ１０２との間に設置されたレンズアレイ１０７とを含む。光源１０５は、拡散光又は平行光を照射する複数の光源が平面、曲面等の面を形成するように配列された構成を有している。本実施の形態では、光源１０５が有する複数の光源はそれぞれ、面光源を構成する。例えば、光源１０５は、拡散光を照射する微細な光源である多数の画素が平面的に配置されたディスプレイであってもよい。ディスプレイは、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。複数の画素は、擬似的な面光源を構成することができる。光源１０５は、その照射面をイメージセンサ１０２の表面と略平行にして配置される。光源１０５が有する複数の面光源は、光源１０５の照射面に沿って配列されている。以下では、光源１０５は、ディスプレイであるとして説明する。ディスプレイを使用することによって、面光源の形状、大きさ及び位置を任意に設定することが可能である。

レンズアレイ１０７は、光源１０５とイメージセンサ１０２との間に配置される。細胞を撮影の対象物とする場合、レンズアレイ１０７には、マイクロレンズアレイが用いられ得る。そして、レンズアレイ１０７が含む複数の凸レンズ１０６ａｋ（ｋ＝１，２，・・・・，ｎ）には、マイクロレンズが用いられ得る。レンズアレイ１０７は、平面、曲面等の面を形成するように配列された複数の凸レンズ１０６ａｋを備えている。本実施の形態では、複数の凸レンズ１０６ａｋは、光源１０５の照射面及びイメージセンサ１０２の表面と略平行な面に沿って配列されている。複数の凸レンズ１０６ａｋは、光源１０５において予め定められた領域である複数の点灯領域１０５ａｋ（ｋ＝１，２，・・・・，ｎ）に対応して配置される。各点灯領域１０５ａｋは、ディスプレイの１つ以上の画素によって構成され、面光源を形成する。本実施の形態では、各点灯領域１０５ａｋは互いに重ならないように配置されているが、これに限定されず、部分的に重なってもよい。複数の凸レンズ１０６ａｋは、複数の点灯領域１０５ａｋの数量及び位置に対応して配置され、具体的には、１つの凸レンズ１０６ａｋが、１つの点灯領域１０５ａｋに対して配置される。ここで、点灯領域１０５ａｋは、光源の一例である。

レンズアレイ１０７に含まれる凸レンズ１０６ａｋは、レンズアレイ１０７とイメージセンサ１０２との間に焦点を形成する。複数の凸レンズ１０６ａｋの当該焦点の位置がイメージセンサ１０２の表面に平行な同一平面１０５Ｈ上に揃うように、複数の凸レンズ１０６ａｋは配置されている。各凸レンズ１０６ａｋは、これに対応する光源１０５の点灯領域１０５ａｋより照射された照明光を集光する。本実施の形態では、各凸レンズ１０６ａｋが、これに対向する１つの点灯領域１０５ａｋの照明光を集光し、当該点灯領域１０５ａｋ以外の点灯領域の照明光を集光しないように、レンズアレイ１０７及び光源１０５が構成されている。光源１０５の各点灯領域１０５ａｋより照射された照明は、レンズアレイ１０７の各凸レンズ１０６ａｋにより集光されて焦点を結ぶことで、焦点位置で仮想点光源つまり擬似的な点光源１０５ｂｋ（ｋ＝１，２，・・・・，ｎ）を形成し、仮想点光源１０５ｂｋから照射される拡散光がイメージセンサ１０２及びイメージセンサ１０２上の対象物を照明する。これにより、照明器１０１は、面積を持たない理想的な点光源による照明を可能にする。

より詳細に説明すると、光源１０５の各点灯領域１０５ａｋから照射された照明は、レンズアレイ１０７の各凸レンズ１０６ａｋにより焦点を結び、焦点位置での仮想点光源１０５ｂｋとして、交差しない光である拡散光を照射する。生成される各仮想点光源１０５ｂｋの位置は、レンズアレイ１０７の各凸レンズ１０６ａｋの焦点位置である。図２に示されるように、光源１０５の複数の点灯領域１０５ａｋのうちの第一点灯領域１０５ａ１から照射された光は、対応する第一凸レンズ１０６ａ１により集光されて第一仮想点光源１０５ｂ１を生成し、第一仮想点光源１０５ｂ１から照射された光をあらわす複数の第一光線１０５ｃ１は、互いに交わらない。また光源１０５の第一点灯領域１０５ａ１とは異なる点灯領域である第二点灯領域１０５ａ２から照射された光は、対応する第二凸レンズ１０６ａ２により集光されて、第一凸レンズ１０６ａ１とは異なる焦点位置に第二仮想点光源１０５ｂ２を生成し、第二仮想点光源１０５ｂ２から照射される第二光線１０５ｃ２も互いに交わらない。そして、第一点灯領域１０５ａ１及び第二点灯領域１０５ａ２のどちらか一方から光を照射した場合に、当該光は、イメージセンサ１０２に含まれるセンサ画素それぞれに単一の方向から到達する。よって、１つのセンサ画素に対して２つ以上の方向から光が到達しない。

このような仮想点光源１０５ｂｋによる照明は、複数の光線が互いに交わらない非交錯照明を構成する。非交錯照明は、点光源からの拡散光によって実現できる他、平行光によっても実現できる。光源１０５は、複数の点灯領域１０５ａｋを順に切り替えて、光を照射する。複数の点灯領域１０５ａｋは、互いに異なる方向から対象物に光を照射する。

レンズアレイ１０７では、予め定められた光源１０５の点灯領域１０５ａｋそれぞれに対応して、１つの凸レンズ１０６ａｋが配置される。１つの点灯領域１０５ａｋに対して、１つの凸レンズ１０６ａｋが対応するため、仮想点光源１０５ｂｋの位置は１つの凸レンズ１０６ａｋの焦点面の範囲内に限定される。また、光源１０５の点灯領域１０５ａｋは、点灯領域１０５ａｋから照射された光が、対応する１つの凸レンズ１０６ａｋの直径を超えて広がらない範囲に限定して設定される。

光源１０５の複数の点灯領域１０５ａｋは、イメージセンサ１０２の受光面に対して互いに異なる位置に配置されている。複数の点灯領域１０５ａｋから照射された光が凸レンズ１０６ａｋによって集光されて形成する複数の仮想点光源１０５ｂｋは、イメージセンサ１０２の受光面に対して互いに異なる位置に位置する。このため、複数の仮想点光源１０５ｂｋから照射される拡散光は、受光面に対して異なる入射角で入射する。例えば、図３を参照すると、光源１０５の複数の点灯領域１０５ａｋによって生成される複数の仮想点光源１０５ｂｋの配列の一例が模式的に示されている。図３の例では、複数の仮想点光源１０５ｂｋは、イメージセンサ１０２の受光面と平行な平面１０５Ｈ上の異なる位置に、位置する。複数の仮想点光源１０５ｂｋのいずれにおいても、仮想点光源１０５ｂｋからの光線は、イメージセンサ１０２に向けて照射される。複数の仮想点光源１０５ｂｋからの光は、イメージセンサ１０２の受光面の各画素に対して、異なる方向から入射する。

また、図４Ａ及び図４Ｂを参照すると、照明器１０１が点灯領域１０５ａｋを順次点灯していく状態の一例が示されている。図４Ａは、図２と同様の照明器１０１及びイメージセンサ１０２の側面図であり、図４Ｂは、図４Ａを上方から見た照明器１０１の上面図である。点灯領域１０５ａｋ１が点灯している際には、他の点灯領域は点灯（あるいは発光）することはない。点灯領域１０５ａｋ１から出射した光は、レンズアレイ１０７中の点灯領域１０５ａｋ１の直下にある凸レンズ１０６ａｋ１により集光され、仮想点光源１０５ｂｋ１を生成する。点灯領域１０５ａｋ１が点灯している間は、仮想点光源１０５ｂｋ１のみが光源としてイメージセンサ１０２及びイメージセンサ１０２上に配置された対象物を照明する。点灯領域１０５ａｋ１が消灯し、次いで点灯領域１０５ａｋ２が点灯する。ここでは点灯領域１０５ａｋ１及び１０５ａｋ２は、隣り合う凸レンズ１０６ａｋ１及び１０６ａｋ２に対応するディスプレイの領域であるが、点灯領域の点灯の順番は、対応する凸レンズが連続的に隣り合う順番でなくてもよく、任意に設定されてよい。点灯領域１０５ａｋ２が点灯している際には、点灯領域１０５ａｋ２以外の点灯領域は点灯（あるいは発光）することはない。点灯領域１０５ａｋ２から出射した光はレンズアレイ１０７中の点灯領域１０５ａｋ２の直下にある凸レンズ１０６ａｋ２により集光され、点灯領域１０５ａｋ２が点灯している間は、仮想点光源１０５ｂｋ２のみが光源としてイメージセンサ１０２及び対対象物を照明する。

撮影制御部１０３は、光源１０５の複数の点灯領域１０５ａｋによる光の照射及びイメージセンサ１０２による撮像を制御する。具体的には、撮影制御部１０３は、光源１０５の複数の点灯領域１０５ａｋが光を照射する順番、複数の点灯領域１０５ａｋが光を照射する時間間隔を制御する。撮影制御部１０３は、ＣＰＵ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成されてよい。撮影制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

［１−１−３．画像生成装置の詳細構成］
次に、画像生成装置１００Ｂの詳細な構成について説明する。本実施の形態では、画像生成装置１００Ｂは、少なくとも１つの制御回路によって実現される。図１に示すように、画像生成装置１００Ｂは、焦点面決定部１１０と、リフォーカス処理部１３０と、画像生成部１４０とを備える。なお、画像生成装置１００Ｂの各構成要素は、ＣＰＵ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてよい。各構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

焦点面決定部１１０は、例えば制御回路又はプロセッサによって実現され、レンズアレイ１０７の複数の凸レンズ１０６ａｋ及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１１０は、例えば、第一記録部１１１に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部１１０は、入力部１１２を介して外部から入力された情報に従って焦点面を決定してもよい。

記憶部１２０は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、イメージセンサ１０２で撮影された画像を、当該撮影に用いられた光源１０５の点灯領域１０５ａｋの位置情報とともに記憶する。第一記録部１１１及び第二記録部１２１も、記憶部１２０と同様の構成を有してもよい。

図５は、記憶部１２０が記憶する内容の一例を示す。記憶部１２０には、撮影装置１００Ａによって撮影された画像ファイルごとに、当該画像ファイルの取得時に用いられた光源１０５の点灯領域１０５ａｋの位置情報が組み合わされて記憶されている。図５の例では、点灯領域に対応するディスプレイ点灯範囲は、光源１０５として使用されているディスプレイ上での座標で示されている。仮想点光源位置は、ディスプレイ点灯範囲での照明によって生成される仮想点光源の位置、つまり、ディスプレイ点灯範囲に対応する仮想点光源の位置である。仮想点光源位置は、イメージセンサ１０２に対する仮想点光源の相対的な位置を示す。ディスプレイ点灯範囲及び仮想点光源位置は、予め定められて記憶部１２０に記憶されてもよく、記憶部１２０に記憶された情報から、画像生成装置１００Ｂの構成要素又は撮影制御部１０３によって算出されてもよい。例えば、記憶部１２０には、光源１０５であるディスプレイとレンズアレイ１０７に含まれる複数の凸レンズ１０６ａｋとの相対的な位置の情報が記憶され、さらに、凸レンズ１０６ａｋの屈折率の情報、及びディスプレイの光線の広がりの角度の情報が記憶される。さらに、ディスプレイと凸レンズ１０６ａｋとの相対的な位置情報と、凸レンズ１０６ａｋの屈折率情報と、ディスプレイの光線の広がり角度情報とを用いて、ディスプレイ点灯範囲に対応する仮想点光源のイメージセンサ１０２に対する相対的な位置が計算され得る。

以下において、仮想点光源１０５ｂｋの位置情報を照明位置情報とも呼ぶ。照明位置情報は、画像ファイルのファイルＩＤとともに記憶されており、画像データとファイルＩＤを介して結合されている。なお、照明位置情報は、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。

リフォーカス処理部１３０は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数の仮想点光源１０５ｂｋの位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。

画像生成部１４０は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部１３０で計算された画素ごとの輝度値から、焦点面における合焦画像を生成する。

表示部１５０は、ディスプレイによって実現され、画像生成部１４０で生成された合焦画像を表示する。表示部１５０は、液晶パネル、有機又は無機ＥＬ等の表示パネルによって構成されてよい。

［１−２．画像生成システムの動作］
［１−２−１．画像生成システムの全体動作］
次に、以上のように構成された画像生成システム１０の全体動作について、図６及び図７等を参照しつつ説明する。図６は、実施の形態に係る画像生成システム１０の動作の一例を示すフローチャートである。図７は、座標と焦点面との関係の一例を示す模式図である。

（ステップＳ１１００）
まず、撮影装置１００Ａの撮影制御部１０３は、光源１０５の複数の点灯領域１０５ａｋ（ｋ＝１，２，・・・・，ｎ）を順に用いて対象物を照明し、当該対象物の複数の画像をイメージセンサ１０２で撮影する。具体的には、撮影制御部１０３は、光源１０５の複数の点灯領域１０５ａｋのそれぞれが、レンズアレイ１０７の凸レンズ１０６ａｋ（ｋ＝１，２，・・・・，ｎ）を通じて生成する仮想点光源１０５ｂｋ（ｋ＝１，２，・・・・，ｎ）が対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた仮想点光源１０５ｂｋの位置情報とともに、記憶部１２０で記憶される。ここでは、複数の点灯領域１０５ａｋの位置、及び点灯領域１０５ａｋそれぞれに対応する仮想点光源１０５ｂｋの位置は、イメージセンサ１０２に対して固定されている。仮想点光源１０５ｂｋの各々の位置情報は予め定められている。撮影処理の詳細は後述する。

（ステップＳ１２００）
焦点面決定部１１０は、焦点面を決定する。具体的には、焦点面決定部１１０は、イメージセンサ１０２に対する焦点面の位置及び傾き（角度）を決定する。例えば、焦点面決定部１１０は、第一記録部１１１に記憶される予め定められた焦点面の情報に基づいて、焦点面を決定してもよい。または、焦点面決定部１１０は、入力部１１２によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。

焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の合焦画素は、焦点面上の複数の点に一対一で対応する。

例えば、焦点面決定部１１０は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図７に示すｘｙｚ空間によって定義される。図７において、ｘｙ平面は、イメージセンサ１０２の受光面と一致する。ｚ軸は、イメージセンサ１０２の受光面に直交する。このとき、焦点面の角度は、例えばイメージセンサ１０２の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。

（ステップＳ１３００）
リフォーカス処理部１３０は、複数の撮像画像と、複数の仮想点光源１０５ｂｋの位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、当該焦点面上の各点の輝度を求める。リフォーカス処理の詳細は後述する。このリフォーカス処理によって、当該焦点面に対応する合焦画像が生成され得る。

（ステップＳ１４００）
画像生成部１４０は、ステップＳ１３００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データを生成する。画像生成部１４０は、生成された画像データを表示部１５０に出力する。
（ステップＳ１５００）
表示部１５０は、ステップＳ１４００で生成された画像を表示する。

［１−２−２．撮影処理］
ここでステップＳ１１００の撮影装置１００Ａの動作の詳細を説明する。図８は、実施の形態に係る撮影装置１００Ａの動作の一例を示すフローチャートである。

（ステップＳ１１１０）
撮影制御部１０３は、例えば記憶部１２０等に記憶されている予め定められた複数の仮想点光源１０５ｂｋの位置のリスト、又は、図示しない外部入力によって指定された複数の仮想点光源１０５ｂｋの位置のリスト（以下、いずれのリストも仮想点光源位置リストと呼ぶ）を参照して、各仮想点光源１０５ｂｋの位置から照明された対象物の撮影が終了したか否かを判定する。なお、以下の説明において、仮想点光源１０５ｂｋの位置を、仮想点光源位置とも呼ぶ。具体的には、撮影制御部１０３は、仮想点光源位置リストに含まれるすべての仮想点光源位置において、仮想点光源１０５ｂｋによる照明の際のイメージセンサ１０２による対象物の撮影が、終了したか否かを判定する。対象物は、イメージセンサ１０２の表面上に配置されている。

ここで、仮想点光源位置リストに含まれるすべての仮想点光源位置からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、撮影制御部１０３は、ステップＳ１２００へ進む。一方、仮想点光源位置リスト内のいずれかの仮想点光源位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、撮影制御部１０３は、ステップＳ１１２０へ進む。

（ステップＳ１１２０）
撮影制御部１０３は、仮想点光源位置リストに含まれる複数の仮想点光源位置の中から、まだ照明が行われていない仮想点光源位置を選択し、選択した仮想点光源位置に対応する点灯領域を決定して、光源１０５へ制御信号を出力する。仮想点光源位置と点灯領域との対応関係は、予め定められた関係に基づき、対応表等を用いて記憶部１２０に記憶されていてよい。又は、仮想点光源位置と点灯領域との対応関係について、レンズアレイ１０７内の凸レンズ１０６ａｋの特性と当該凸レンズ１０６ａｋに対応する仮想点光源位置とから、点灯領域が計算されて、対応表等を用いて記憶部１２０に記憶されてもよい。仮想点光源位置リストにおいて、各仮想点光源位置は、例えば、仮想点光源位置ごとに割り当てられた番号によって示される。又は、各仮想点光源位置は、例えば、図７に示されるようなｘｙｚ空間における座標値によって示される。仮想点光源位置の選択は、例えば、リストの昇順に行われる。

（ステップＳ１１３０）
光源１０５は、ステップＳ１１２０で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された仮想点光源位置に対応する点灯領域１０５ａｋが光の照射を開始する。

（ステップＳ１１４０）
光源１０５の点灯領域１０５ａｋから射出された光が、レンズアレイ１０７内の凸レンズ１０６ａｋによって仮想点光源１０５ｂｋに集光され、仮想点光源１０５ｂｋから射出されて対象物を照明している間に、イメージセンサ１０２は、当該仮想点光源１０５ｂｋから対象物を透過した光によって形成される画像を取得する。

（ステップＳ１１５０）
その後、撮影制御部１０３は、光源１０５へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部１０３からの制御信号に従って行われなくてもよい。例えば、光源１０５は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１４０でイメージセンサ１０２が画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を、光源１０５に出力してもよい。

（ステップＳ１１６０）
次いで、撮影制御部１０３は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で点灯領域１０５ａｋの点灯により生成された仮想点光源１０５ｂｋの位置情報とを、記憶部１２０へ出力する。そして、記憶部１２０は、画像データと仮想点光源位置の情報とを対応付けて記憶する。撮影制御部１０３は、ステップＳ１１６０の後、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、仮想点光源位置リストに含まれるすべての仮想点光源位置に対応する点灯領域１０５ａｋから、仮想点光源１０５ｂｋを通して順次、対象物に光が照射され、対象物に光が照射されるたびに、イメージセンサ１０２が画像を取得する。

［１−２−３．リフォーカス処理］
さらに、ステップＳ１３００のリフォーカス処理部１３０の動作の詳細を説明する。図９は、実施の形態に係るリフォーカス処理部１３０の動作の一例を示すフローチャートである。図１０〜図１４は、リフォーカス処理の計算方法の具体例を説明する模式図である。以下に、図９のフローチャートに沿って、リフォーカス処理部１３０の動作を説明する。

（ステップＳ１３１０）
リフォーカス処理部１３０は、ステップＳ１２００で決定された焦点面の情報を焦点面決定部１１０から取得する。焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。図７に示されるように、焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線がｘ軸と成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線がｙ軸が成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。

例えば、図１０を参照すると、撮影の対象物１０００、撮影装置１００Ａの仮想点光源１０５ｂ１及び１０５ｂ２、並びにイメージセンサ１０２の位置関係の一例が示されている。なお、図１０は、撮影装置１００Ａ及び対象物１０００の、ｘｚ平面における断面図の一例を示す。対象物１０００は、仮想点光源１０５ｂ１及び１０５ｂ２、並びにイメージセンサ１０２の間に位置し、かつイメージセンサ１０２上に位置する。リフォーカス処理部１３０は、ステップＳ１３１０において、焦点面１１００の情報を取得する。

（ステップＳ１３２０）
リフォーカス処理部１３０は、ステップＳ１３１０で取得した焦点面に対応する合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。

合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１３２０においてｙｅｓ）、リフォーカス処理部１３０は、リフォーカス処理を終了する（ステップＳ１４００へ進む）。

合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１３２０においてｎｏ）、リフォーカス処理部１３０は、リフォーカス処理を続行する（ステップＳ１３３０へ進む）。

合焦画像は、合焦画素である複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１１を参照すると、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅの一例が示されている。なお、図１１に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、対象物１０００上の点であるが、対象物１０００上ではない点が合焦画像の画素に対応してもよい。

（ステップＳ１３３０）
リフォーカス処理部１３０は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。

例えば、図１に示される第二記録部１２１に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、リフォーカス処理部１３０は、第二記録部１２１にリフォーカス処理した画素の情報を記録する。リフォーカス処理部１３０は、第二記録部１２１に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図１２に示されるように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。

（ステップＳ１３４０）
リフォーカス処理部１３０は、すべての仮想点光源位置に対する加算処理が終了しているか否かを判定する。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。すべての仮想点光源位置に対する加算処理が終了している場合（ステップＳ１３４０においてｙｅｓ）、リフォーカス処理部１３０の処理は、ステップＳ１３２０に戻る。一方、いずれかの仮想点光源位置に対する加算処理が終了していない場合（ステップＳ１３４０においてｎｏ）、リフォーカス処理部１３０は加算処理を続行する（ステップＳ１３５０に進む）。

（ステップＳ１３５０）
リフォーカス処理部１３０は、撮影に用いたすべての仮想点光源位置の中からまだ加算処理が終了していない仮想点光源位置を選択する。

（ステップＳ１３６０）
リフォーカス処理部１３０は、選択された仮想点光源位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０２の受光面と交差する点の位置を計算する。例えば、図１３を参照すると、仮想点光源１０５ｂ１の位置と選択画素に対応する点１１０２ａとを通る直線１２００が、イメージセンサ１０２の受光面と交点１１０３ａで交差する例が示されている。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。イメージセンサ１０２の受光面上の対象点は、例えば、図７に示すｘｙ平面上の座標値で表される。

（ステップＳ１３７０）
リフォーカス処理部１３０は、選択された仮想点光源位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカス処理部１３０は、選択された仮想点光源位置にある仮想点光源１０５ｂｋを用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカス処理部１３０は、図５に示されるような仮想点光源位置情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカス処理部１３０は、図１２に示す仮想点光源１０５ｂ１の位置に対応する画像を取得する。

（ステップＳ１３８０）
リフォーカス処理部１３０は、ステップＳ１３６０で計算されたイメージセンサ１０２上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部１３０は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。

撮影画像における対象点の位置が、撮影画像の画素の位置である場合、リフォーカス処理部１３０は、撮影画像における対象点の輝度値を、当該画素の輝度値とする。撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部１３０は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部１３０は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。

図１４は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図１４において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式１で求められる。

ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄはそれぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。

（ステップＳ１３９０）
リフォーカス処理部１３０は、合焦画像上の選択画素の輝度値にステップＳ１３９０で計算した対象点の輝度値を加算する。

ステップＳ１３４０からステップＳ１３９０までの処理を各仮想点光源位置に関して繰り返すことにより、全ての仮想点光源位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。

このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。

例えば、図１３において、仮想点光源１０５ｂ１から照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、仮想点光源１０５ｂ１の照明を通じて撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

また、図１３において、仮想点光源１０５ｂ２から照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、仮想点光源１０５ｂ２の照明を通じて撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。

［効果］
以上のように、実施の形態に係る画像生成システム１０によれば、仮想的な焦点面の情報と複数の撮影画像とを用いて、焦点面の合焦画像を構成する複数の合焦画素に対応するイメージセンサ１０２のセンサ画素の輝度値が取得される。そして、取得されたセンサ画素の輝度値を用いて、焦点面の合焦画像が生成される。

また、複数の凸レンズ１０６ａｋのそれぞれは、複数の光源としての点灯領域１０５ａｋのいずれか１つから射出された光を集光して、複数の凸レンズ１０６ａｋとイメージセンサ１０２との間で焦点を結び、複数の焦点が、複数の仮想点光源１０５ｂｋを構成する。そして、イメージセンサ１０２は、複数の仮想点光源１０５ｂｋのそれぞれが照明する毎に、複数のセンサ画素で受光される光に基づく輝度値を用いて、対象物の複数の撮影画像を取得する。上述の構成において、点灯領域１０５ａｋの形状に関係なく、点灯領域１０５ａｋから射出された光が、凸レンズ１０６ａｋの焦点で点光源を形成することができる。よって、イメージセンサ１０２及びその上の対象物への安定した照明が可能になる。従って、高画質な合焦画像の生成が可能になる。

また、レンズアレイ１０７を採用することにより、複数の凸レンズ１０６ａｋそれぞれは小さくなり、レンズの厚さが薄くなるため、照明器１０１を小さくすることができる。
また、ディスプレイを用いて、その複数の画素を部分的に発光させることによって、面光源としての複数の点灯領域１０５ａｋの形成が、容易になる。さらに、点灯領域１０５ａｋの位置、形状及び寸法の設定が任意に可能になる。また、面光源による発光は、拡散光及び平行光の形成が容易である。

（変形例）
次に、実施の形態の変形例について説明する。上記実施の形態では、光源１０５の点灯領域１０５ａｋから照射された光は、当該点灯領域１０５ａｋに対応するレンズアレイ１０７中の１つの凸レンズ１０６ａｋによって集光されて、仮想点光源１０５ｂｋを生成してした。さらに、上述のように仮想点光源１０５ｂｋを生成するために、レンズアレイ１０７の位置は光源１０５の位置に対して相対的に固定されており、このとき、光源１０５の発光面上の複数の異なる部分領域である点灯領域１０５ａｋの位置と、レンズアレイ１０７の複数の凸レンズ１０６ａｋの位置とはそれぞれ、１対１で対応していた。

本変形例では、レンズアレイ１０７を、複数の凸レンズ１０６ａｋの配列方向及びイメージセンサ１０２の表面と略平行な面上で移動可能に構成している。これにより、光源１０５に対するレンズアレイ１０７の相対的な位置が可変になる。例えば、光源１０５の発光面上の１つの点灯領域１０５ａｋの位置がレンズアレイ１０７の複数の凸レンズ１０６ａｋの位置に対応する場合、レンズアレイ１０７を移動することによって、それぞれの位置を１対１で対応させることができる。つまり、１つの点灯領域１０５ａｋから照射された光が、複数の凸レンズ１０６ａｋによって集光される場合、当該光が、１つの凸レンズ１０６ａｋによって集光されるように、レンズアレイ１０７の位置調整が可能である。よって、１つの点灯領域１０５ａｋに対して１つの仮想点光源１０５ｂｋが生成されて対象物を照明する。

図１５及び図１６等を参照して、変形例に係る画像生成システムの構成を説明する。図１５は、変形例に係る照明器２１０１の構造の一例を模式的に示す側面図である。図１６は、図１５の画像生成システムにおけるレンズアレイの移動動作の一例を模式的に示す側面図である。図１５及び図１６に示される画像生成システムは、レンズアレイ１０７に平面移動用ステージ１０８が接続されている以外は、図２と同様である。また、変形例に係る画像生成システムの構成は、照明器２１０１の構成以外は実施の形態と同様であるので、以下において、同様の点の説明を省略する。

変形例に係る画像生成システムは、撮影装置１００Ａと、画像生成装置１００Ｂと、記憶部１２０と、表示部１５０とを備える。画像生成システムは、さらに、予め定められた焦点面の情報を記憶している第一記録部１１１と、リフォーカス処理済みの画素の情報を記録する第二記録部１２１と、焦点面を指定する指定情報の入力を受け付ける入力部１１２とを備え得る。撮影装置１００Ａは、照明器２１０１と、イメージセンサ１０２と、撮影制御部１０３とを含む。

本変形例においては、照明器２１０１は、光源１０５と、レンズアレイ１０７と、平面移動用ステージ１０８とを含む。ここで、平面移動用ステージ１０８は、移動部の一例である。

レンズアレイ１０７は、光源１０５とイメージセンサ１０２との間に設置される。レンズアレイ１０７を構成する各々の凸レンズ１０６ａｋ（ｋ＝１，２，・・・・・・，ｎ）は、予め定められた光源１０５の複数の点灯領域１０５ａｋに対応して設置される。具体的には、複数の凸レンズ１０６ａｋは、複数の点灯領域１０５ａｋの数量と同等の数量で配置され、複数の点灯領域１０５ａｋの配置ピッチと同等のピッチで配置される。なお、上記数量及びピッチに関して、複数の点灯領域１０５ａｋと複数の凸レンズ１０６ａｋとの間で異なっていてもよい。後述するように、レンズアレイ１０７が移動可能であるため、点灯領域と凸レンズとを対応させることが可能である。

平面移動用ステージ１０８は、レンズアレイ１０７を平面的に、つまり２次元方向に移動させるように構成されている。具体的には、平面移動用ステージ１０８は、レンズアレイ１０７を、イメージセンサ１０２の表面に沿う方向、及び光源１０５の点灯領域１０５ａｋの配列方向に移動させる。点灯領域１０５ａｋの配列方向は、光源１０５の発光面に沿う方向でもある。平面移動用ステージ１０８がレンズアレイ１０７を移動させる機構は、アクチュエータ等を使用した電動式の機構であってもよく、手動式の機構であってもよい。手動式の機構の場合、例えば、ねじ回転によるねじの進退を利用してレンズアレイ１０７を移動させる機構を適用することによって、レンズアレイ１０７の位置の微調整が可能である。平面移動用ステージ１０８の動作の制御は、撮影制御部１０３が行ってよい。

例えば、平面移動用ステージ１０８は、凸レンズ１０６ａｋの中心間の距離より短い距離でレンズアレイ１０７を移動させ、各凸レンズ１０６ａｋの位置を各点灯領域１０５ａｋが光を照射する方向に合わせる。これにより、各点灯領域１０５ａｋから射出される光がすべて、１つの凸レンズ１０６ａｋを通過して集光され、仮想点光源を生成する。

例えば、図１６に示される状態Ａでは、点灯領域１０５ａｋ１に対応する位置に、レンズアレイ１０７の１つの凸レンズ１０６ａｋが配置されている。これにより、点灯領域１０５ａｋ１から射出される光はすべて１つの凸レンズ１０６ａｋを通過して集光され、仮想点光源１０５ｂｋ１を生成する。また、状態Ｂでは、別の点灯領域１０５ａｋ２が、レンズアレイ１０７の凸レンズ１０６ａｋの中心間の距離より短い距離ａだけ、点灯領域１０５ａｋ１からイメージセンサ１０２の表面に沿う方向にずれた位置に配置されている。つまり、点灯領域１０５ａｋ１及び点灯領域１０５ａｋ２は、互いにラップしている。そして、状態Ｂにおいて、平面移動用ステージ１０８は、レンズアレイ１０７をイメージセンサ１０２の表面に沿う方向に距離ａだけ移動させる。これにより、点灯領域１０５ａｋ２から射出される光もすべて１つの凸レンズ１０６ａｋを通過して集光され、仮想点光源１０５ｂｋ２を生成する。

平面移動用ステージ１０８によりレンズアレイ１０７を移動させることで、点灯領域１０５ａｋが変わった場合に、１つの点灯領域１０５ａｋから射出される光が複数の凸レンズ１０６ａｋを透過することが抑えられる。これにより、１つの点灯領域１０５ａｋに対して、１つの仮想点光源１０５ｂｋの生成が可能になる。また、レンズアレイ１０７を移動させるため、１つのレンズをすべての点灯領域１０５ａｋに対応する位置に移動させるような大きな移動が必要とならない。そして、図１６に示すように、点灯領域１０５ａｋ同士が互いにラップしていても、上述のような仮想点光源１０５ｂｋの生成が可能である。このため、仮想点光源１０５ｂｋ間の距離を小さくすることができ、密な仮想点光源１０５ｂｋを用いて生成される合焦画像は鮮明になる。

さらに、点灯領域１０５ａｋ間の最短距離をレンズアレイ１０７の移動量となるようにレンズアレイ１０７の移動を選択することで、レンズアレイ１０７の移動時間が短縮される。また、レンズアレイ１０７の移動量を最小限にすることによって、仮想点光源１０５ｂｋが密になるため、合焦画像が鮮明になる。よって、撮影時間の延長を抑えつつリフォーカシング結果の画質を向上することができる。

また、本変形例に係る画像生成システムは、以下に説明するように動作する。なお、撮影装置１００Ａの動作以外は、実施の形態と同様であるため、撮影装置１００Ａの動作のみを、以下で説明する。図１７は変形例に係る撮影装置１００Ａの動作の一例を示すフローチャートである。図１７は、図８と同様に、ステップＳ１１００の撮影処置の詳細な動作を示したものである。

（ステップＳ１１１０）
撮影制御部１０３は、仮想点光源位置リストを参照して、各仮想点光源位置から照明された対象物の撮影が終了したか否かを判定する。すべての仮想点光源位置からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、撮影制御部１０３は、ステップＳ１２００へ進む。一方、仮想点光源位置リスト内のいずれかの仮想点光源位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、撮影制御部１０３は、ステップＳ１１２０へ進む。

（ステップＳ１１２０）
撮影制御部１０３は、仮想点光源位置リストに含まれる複数の仮想点光源位置の中から、まだ照明が行われていない仮想点光源位置を選択し、選択した仮想点光源位置に対応する点灯領域を決定して、光源１０５へ制御信号を出力する。仮想点光源位置と点灯領域との対応関係は、予め定められた対応関係に基づき、例えば図１８に示されるような対応表によって記憶部１２０に記憶されていてよい。又は、仮想点光源位置と点灯領域との対応関係について、レンズアレイ１０７内の凸レンズ１０６ａｋの特性と当該凸レンズ１０６ａｋに対応する仮想点光源位置とから、点灯領域が計算されて、図１８に示されるような対応表によって記憶されてもよい。なお、図１８は、変形例に係る撮影制御部１０３が取得又は計算して保持する内容の一例を示す図である。

（ステップＳ１１２１）
撮影制御部１０３は、ステップＳ１１２０で選択された点灯領域１０５ａｋａの中心位置を求める。さらに、撮影制御部１０３は、現在の位置でのレンズアレイ１０７中の各凸レンズ１０６ａｋの中心位置を求める。撮影制御部１０３は、レンズアレイ１０７中の凸レンズ１０６ａｋの中心位置のうち、点灯領域１０５ａｋａの中心位置に最も近い凸レンズ１０６ａｋａを選択し、選択された凸レンズ１０６ａｋａの中心位置と点灯領域１０５ａｋａの中心位置との間での位置のずれの有無を判定する。なお、凸レンズ１０６ａｋの中心位置は、レンズの光軸の位置であってもよい。上記位置ずれは、イメージセンサ１０２の表面に略平行な方向での位置ずれである。点灯領域１０５ａｋａの中心位置と凸レンズ１０６ａｋａの中心位置との間にずれが無い場合（ステップＳ１１２１においてｙｅｓ）、撮影制御部１０３はステップＳ１１３０へ進む。一方、点灯領域１０５ａｋａの中心位置と凸レンズ１０６ａｋａの中心位置との間にずれがある場合（ステップＳ１１２１においてｎｏ）、撮影制御部１０３はステップＳ１１２２へ進む。

（ステップＳ１１２２）
撮影制御部１０３は、ステップＳ１１２１で検出された点灯領域１０５ａｋａの中心位置と凸レンズ１０６ａｋａの中心位置との間におけるイメージセンサ１０２の表面に略平行な方向での位置ずれ量を算出する。さらに、撮影制御部１０３は、平面移動用ステージ１０８を制御して、上記位置ずれを解消する方向に、算出した位置ずれ量だけレンズアレイ１０７を移動させる。平面移動用ステージ１０８が手動式の場合、撮影制御部１０３は、位置ずれ量を表示部１５０等に表示してもよい。

例えば、図１９には、撮影制御部１０３がステップＳ１１１０からＳ１１２２で取得又は計算する値の一例が示されている。仮想点光源位置（１３００，８０，３００）に対応するディスプレイ点灯範囲は（１３００，８０）を中心とする半径２０の円領域である。このとき、レンズアレイ１０７中において、ディスプレイ点灯範囲の中心（１３００，８０）に最も近い凸レンズの中心位置は、例えば（１２８０，９０）である。ここでは、座標系は、イメージセンサ１０２の表面の中心を原点とし、図７と同様の座標系に基づく。この例では、平面移動用ステージ１０８は、レンズアレイ１０７を、ｘ軸方向に＋２０、ｙ軸方向に−１０だけ動かすことにより、点灯領域の中心と凸レンズの中心との間の位置ずれを解消する。

（ステップＳ１１３０）
光源１０５は、ステップＳ１１２０で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された仮想点光源位置に対応する点灯領域１０５ａｋが光の照射を開始する。

（ステップＳ１１４０）
光源１０５の点灯領域１０５ａｋから射出された光が、凸レンズ１０６ａｋによって仮想点光源１０５ｂｋに集光され、仮想点光源１０５ｂｋから射出されて対象物を照明している間に、イメージセンサ１０２は、当該仮想点光源１０５ｂｋから対象物を透過した光によって形成される画像を取得する。

（ステップＳ１１５０）
その後、図８でのステップＳ１１５０と同様に、対象物への照明が停止される。
（ステップＳ１１６０）
次いで、撮影制御部１０３は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で点灯領域１０５ａｋの点灯により生成された仮想点光源１０５ｂｋの位置情報とを、記憶部１２０へ出力する。撮影制御部１０３は、ステップＳ１１６０の後、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、仮想点光源位置リストに含まれるすべての仮想点光源位置に対応する点灯領域１０５ａｋから、仮想点光源１０５ｂｋを通して順次、対象物に光が照射され、対象物に光が照射されるたびに、イメージセンサ１０２が画像を取得する。

［変形例の効果］
変形例に係る画像生成システムでは、レンズアレイ１０７を平面移動用ステージ１０８により移動させることで、生成する仮想点光源位置を任意に設定することが出来る。点灯領域１０５ａｋに最寄の凸レンズ１０６ａｋが点灯領域１０５ａｋに対応するようにレンズアレイ１０７を移動させることで、移動量を最小にとどめ、移動にかかる時間を短くし、移動させるための機構を小さくすることが出来る。

変形例に係る画像生成システムでは、平面移動用ステージ１０８は、レンズアレイ１０７を移動させていたが、光源１０５を移動させてもよい。又は、レンズアレイ１０７及び光源１０５のそれぞれに、平面移動用ステージが設けられてもよい。

変形例に係る画像生成システムでは、平面移動用ステージ１０８は、レンズアレイ１０７をイメージセンサ１０２の表面に沿う方向に移動させていたが、当該表面に垂直な方向にも移動させるように構成されてもよい。これにより、イメージセンサ１０２の表面に垂直な方向での仮想点光源の位置調整が可能になる。

（他の実施の形態）
以上、１つ又は複数の態様に係る画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

本開示の包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本開示に係る画像生成システムの各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。

また、画像生成システムの各構成要素は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。

システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。

また、画像生成システムの各構成要素の一部又は全部は、脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

また、本開示に係る画像生成方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

また、本開示に係る画像生成装置及び画像生成方法での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。

本発明は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮像する際に有用である。

１０ 画像生成システム
１００Ａ 撮影装置
１００Ｂ 画像生成装置
１０１，２１０１ 照明器
１０２ イメージセンサ
１０３ 撮影制御部
１０５ａｋ 点灯領域（光源）
１０５ｂｋ 仮想点光源
１０６ａｋ 凸レンズ
１０７ レンズアレイ
１０８ 平面移動用ステージ（移動部）
１１０ 焦点面決定部
１１１ 第一記録部
１１２ 入力部
１２０ 記憶部
１２１ 第二記録部
１３０ リフォーカス処理部
１４０ 画像生成部
１５０ 表示部

Claims (7)

1. 複数の光源及び複数の凸レンズを含む照明器と、
   対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、
   前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面に対応する合焦画像を生成する少なくとも１つの制御回路とを備え、
   前記複数の凸レンズのそれぞれは、前記複数の光源のいずれか１つから射出された光を集光して、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、
   複数の前記焦点は、複数の仮想点光源を構成し、
   前記イメージセンサは、前記複数の仮想点光源のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、前記対象物の複数の撮影画像を取得し、
   前記少なくとも１つの制御回路は、
   （ａ１）前記イメージセンサにより撮影された複数の撮影画像を取得し、
   （ａ２）前記複数の凸レンズと前記イメージセンサとの間に位置する前記焦点面の情報を取得し、
   （ａ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく前記複数の仮想点光源の位置情報を取得し、
   （ａ４）前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、
   （ａ５）生成した前記焦点面の合焦画像を出力する
   画像生成システム。
2. 前記複数の光源はそれぞれ、所定の領域で発光する面光源である
   請求項１に記載の画像生成システム。
3. 前記照明器は、複数の画素を有するディスプレイを含み、
   前記ディスプレイは、前記複数の画素を部分的に発光させることによって、前記面光源を形成する
   請求項２に記載の画像生成システム。
4. 前記複数の凸レンズはそれぞれ、前記複数の光源のいずれか１つのみから射出された光を集光する
   請求項１〜３のいずれか一項に記載の画像生成システム。
5. 前記複数の凸レンズを移動させる移動部をさらに備える
   請求項１〜４のいずれか一項に記載の画像生成システム。
6. 前記移動部は、配列された前記複数の光源の配列方向に前記複数の凸レンズを移動させる
   請求項５に記載の画像生成システム。
7. イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、
   （ｂ１）複数の光源のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサ上に位置する前記対象物の複数の撮影画像を取得し、ここで、前記複数の光源それぞれから射出された光は、複数の凸レンズのいずれか１つによって集光されて、前記複数の凸レンズと前記イメージセンサとの間で焦点を結び、前記焦点のそれぞれで仮想点光源を生成し、
   （ｂ２）前記複数の凸レンズと前記イメージセンサとの間に位置する仮想的な焦点面を設定し、
   （ｂ３）前記複数の光源の位置情報と前記複数の凸レンズの位置情報とに基づく複数の前記仮想点光源の位置情報を取得し、
   （ｂ４）前記焦点面に対応する合焦画像を生成することであって、前記焦点面の情報と、前記複数の仮想点光源の位置情報と、前記複数の撮影画像とを用いて、前記焦点面の合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記焦点面の合焦画像を生成し、
   （ｂ５）前記焦点面の合焦画像を出力し、
   前記（ｂ１）〜（ｂ５）の少なくとも１つは制御回路により実行される
   画像生成方法。

Images