JP2018117557A - 画像生成装置及び画像生成方法 - Google Patents

Abstract

【課題】大型化を抑えて物質の状態が分かりやすい画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置１０は、第１の光源１４１Ａおよび第２の光源１４１Ｂと、イメージセンサ１５０と、透光部分および遮光部分を有するマスク１４２と、暗画像処理部１２０とを備え、イメージセンサ１５０は、第１の光源１４１Ａが照明されたときに、物質の第１の画像を取得し、第２の光源１４１Ｂが照明されたときに、物質の第２の画像を取得し、イメージセンサ１５０は、第１の画素領域及び第２の画素領域を含み、第１の画素領域と第１の光源１４１Ａとの間に、遮光部分が位置し、第２の画素領域と第２の光源１４１Ｂとの間に、遮光部分が位置し、暗画像処理部１２０は、第１の画像における第１の画素領域に対応する第１の画素情報と、第２の画像における第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する。【選択図】図２

Description

本開示は、例えば、レンズレス顕微鏡などの画像を生成する画像生成装置および画像生成方法に関する。

培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生または薬効の試験等、もしくは培養細胞を医療または産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影ではコントラストが小さいため観察は困難である。コントラストの小ささの一要因として、被写体周辺の媒質および被写体自身による光の散乱または屈折が上げられる。

特許文献１では、光ビームの照射および照射停止の明暗二つの状態の輝度から、反射光のノイズ成分を除去する方法を示している。

また、特許文献２では、透明な対象物を観察するために、明暗パタンのある照明による撮影により、広視野の暗視野鏡を実現する方法を示している。特許文献３では、暗視野照明によって得られた画像より細胞の生死を識別する方法が示されている。

ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような限られた空間内での観察のために、特許文献２および３は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。これらの文献では、複数の異なる位置から照射する照明によって撮影された複数の画像を用いて解像度の高い画像が生成される。

特許第５４０３４５８号公報 特許第５７８９７６６号公報 米国特許出願公開第２０１４／０１３３７０２号明細書

しかしながら、特許文献１の方法では、装置が大型化するという問題がある。つまり、この方法では、照明の反射光の輝度を記録して、対象物表面の凹凸を計測する装置において、平行光とデジタルマイクロミラーデバイスを用いる。そして、第１の明暗パタンを照射して記録した輝度と、第２の明暗パタンを照射して記録した輝度との差分により、相対輝度を求めることで、対物レンズの位置ごとの輝度を比較しやすくしている。しかし、明暗のパタンをイメージセンサ全体に広げようとすると、レンズが必要となり、装置が大型化する。一方、特許文献２および３のように多光源で撮影を行う場合には、照明の位置を変更する必要がある。光源およびデジタルマイクロミラーデバイスの位置を変更しながら撮影を行うには、装置が大型化するため、レンズレス顕微鏡にデジタルマイクロミラーデバイスによる明暗の反転を組み合わせるのは困難である。

そこで、本開示は、大型化を抑えて物質の状態が分かりやすい画像を生成することが可能な画像生成装置および画像生成方法を提供する。

本開示の一態様に係る画像生成装置は、透光性を有する物質の画像を生成する画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、前記物質が配置されるイメージセンサと、前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源および前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、ここで、前記イメージセンサは、第１の画素領域及び第２の画素領域を含み、前記第１の画素領域と前記第１の光源との間に、前記遮光部分が位置し、前記第２の画素領域と前記第２の光源との間に、前記遮光部分が位置し、前記処理回路は、前記第１の画像における前記第１の画素領域に対応する第１の画素情報と、前記第２の画像における前記第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する。

なお、これらの包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、大型化を抑えて物質の状態が分かりやすい画像を生成することができる。

実施の形態１に係る細胞培養容器の斜視図である。 実施の形態１に係る細胞培養容器の断面図である。 実施の形態１に係る画像生成装置の機能的な構成の一例を示すブロック図である。 実施の形態１に係る照明器の構造の一例を模式的に示す図である。 実施の形態１に係る複数の点光源の配置の一例を模式的に示す図である。 実施の形態１に係るマスクの構造の一例を模式的に示す図である。 実施の形態１に係るイメージセンサと対象物との位置関係を説明する模式図である。 実施の形態１に係る、点光源の位置と、イメージセンサ１５０が受ける光との関係の一例を示す図である。 実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 実施の形態１に係る暗画像処理部の機能的な構成の一例を示すブロック図である。 実施の形態１に係る点光源と、マスク１４２の遮光部分の中心と、画素との位置関係を示す模式図である。 画素ごとに予め定められた照明位置が記録されたテーブルを示す。 実施の形態１に係る画像生成装置の動作の一例を示すフローチャートである。 実施の形態１に係る撮影部の動作の一例を示すフローチャートである。 実施の形態１に係る明区間と暗区間による周期の具体例を説明する模式図である。 実施の形態１に係るイメージセンサ上の各位置における光の強度を示す図である。 実施の形態１に係る暗画像処理部の動作の一例を示すフローチャートである。 実施の形態１における暗画像と、従来の画像とを比較して示す図である。 実施の形態２に係る画像生成装置の機能ブロック図である。 実施の形態２に係る細胞位置特定部の詳細な構成を示す機能ブロック図である。 実施の形態２に係る画像生成装置の動作の一例を示すフローチャートである。 実施の形態２に係る細胞位置特定部の動作の一例を示すフローチャートである。 実施の形態２に係る閾値決定部の動作の一例を示すフローチャートである。 実施の形態２に係る暗画像の輝度分布の中央値を示す。 実施の形態２に係る重心計算部および輪郭線推定部の動作の一例を示すフローチャートである。 実施の形態２に係る暗画像から輪郭線が推定されるまでの処理を模式的に示す。 実施の形態２に係る画像合成部によって生成される合成画像の例を示す。 実施の形態３に係る画像生成装置の機能ブロック図である。 実施の形態３に係る異常細胞検出部の詳細な構成を示す機能ブロック図である。 実施の形態３に係る画像生成装置の動作の一例を示すフローチャートである。 実施の形態３に係る異常細胞検出部の動作の一例を示すフローチャートである。 実施の形態３に係る画像合成部によって生成される合成画像の一例を示す。 実施の形態３の変形例に係る異常細胞検出部の詳細な構成を示す機能ブロック図である。 実施の形態３の変形例に係る異常細胞検出部の動作の一例を示すフローチャートである。 実施の形態３の変形例に係る暗画像の輝度分布を示す。 実施の形態３の変形例に係る判定基準保持部の動作の一例を示すフローチャートである。 実施の形態４に係る画像生成装置の機能ブロック図である。 実施の形態４に係る細胞密度特定部の詳細な構成を示す機能ブロック図である。 実施の形態４に係る関数記憶部に記憶されている関数の一例を示す。 実施の形態４に係る出力部によって表示される合成画像の一例を示す。 実施の形態４に係る出力部によって表示される合成画像の一例を示す。

本開示の一態様に係る画像生成装置は、透光性を有する物質の画像を生成する画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、前記物質が配置されるイメージセンサと、前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源および前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、ここで、前記イメージセンサは、第１の画素領域及び第２の画素領域を含み、前記第１の画素領域と前記第１の光源との間に、前記遮光部分が位置し、前記第２の画素領域と前記第２の光源との間に、前記遮光部分が位置し、前記処理回路は、前記第１の画像における前記第１の画素領域に対応する第１の画素情報と、前記第２の画像における前記第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する。

これにより、第１の画像および第２の画像が取得され、第１の画像における第１の画素領域に対応する第１の画素情報と、第２の画像における第２の画素領域に対応する第２の画素情報とによって、第３の画像が生成される。ここで、イメージセンサの第１の画素領域に対応する第１の画素情報は、第１の光源からの直接光が遮られた状態にある第１の画素領域によって得られる輝度であって、物質による散乱光または屈折光のみによる輝度を示す。同様に、イメージセンサの第２の画素領域に対応する第２の画素情報は、第２の光源からの直接光が遮られた状態にある第２の画素領域によって得られる輝度であって、物質による散乱光または屈折光のみによる輝度を示す。したがって、上述のように生成される第３の画像は、物質による散乱光または屈折光のみによる輝度によって表現される。その結果、直接光を除外し、散乱光あるいは屈折光による中間の輝度の情報が多い、見やすい画像を暗画像として生成することができる。

つまり、イメージセンサ上に物質を設置して、透過光によって撮影するレンズレスの撮影システムにおいて、明暗二つの状態のうち暗の状態で撮影した画像を用いて、散乱光により、例えば物質に含まれる細胞の位置がわかりやすい画像を生成することができる。

また、明暗パタンの異なる第１の画像および第２の画像を取得するために、物質を照明する光源を切り替えるだけでよいため、例えば光源またはデジタルマイクロミラーデバイスなどの構造物の位置を変更する必要がなく、装置全体を小型化することができる。

したがって、大型化を抑えて細胞などの物質の状態が分かりやすい画像を生成することができる。

また、前記物質は、細胞を含む胚であり、前記処理回路は、前記第３の画像における第１の閾値以上の輝度を有する領域を、前記細胞の位置する領域と特定してもよい。例えば、前記処理回路は、前記第３の画像と、前記細胞が位置する領域とを用いて、前記細胞が位置する領域が強調された第４の画像を生成してもよい。

これにより、物質である胚に含まれる細胞の位置をより分かりやすく表示することができる。

また、前記物質は、複数の細胞を含む胚であり、前記処理回路は、（ａ１）前記第３の画像における第１の閾値以上の輝度を有する複数の細胞領域を抽出し、（ａ２）前記複数の細胞領域のそれぞれの輝度が第２の範囲内にあるか否かを判定し、（ａ３）前記判定結果を出力してもよい。例えば、前記処理回路は、前記（ａ３）において、前記複数の細胞領域のそれぞれの輝度が前記第２の範囲内にある場合には、前記複数の細胞は正常であることを示す判定結果を出力し、前記複数の細胞領域のそれぞれの輝度が前記第２の範囲外である場合には、前記複数の細胞は異常であることを示す判定結果を出力してもよい。

これにより、細胞に含まれる微細構造物の量によって、第３の画像においてその細胞に対応する細胞領域の輝度が異なるため、その輝度が第２の範囲内にあるか否かに応じて、細胞が異常であるか否かを適切に判定することができる。

また、前記物質は、細胞を含む胚であり、前記処理回路は、（ｂ１）前記第３の画像における第１の閾値以上の輝度を有する細胞領域を抽出し、（ｂ２）前記細胞領域の輝度に基づいて、前記細胞の密度を算出してもよい。

これにより、細胞に含まれる微細構造物の量、すなわち細胞の密度によって、第３の画像においてその細胞に対応する細胞領域の輝度が異なるため、その輝度に基づいて、細胞の密度を適切に算出することができる。

なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る画像生成装置および画像生成方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１に係る画像生成装置は、複数の点光源と、スリットまたはチェッカーパタンのように、光を透過する透光部分と光を遮断する遮光部分とが作られたマスクとからなる照明器と、イメージセンサと、処理回路とを備える。その照明器における互いに位置の異なる複数の点光源は、イメージセンサ上に位置する対象物（すなわち物質）を順次照明する。このとき、イメージセンサは、そのイメージセンサおよび対象物に到達する光の明暗のパタンが切り替えられながら対象物の撮影を行う。これにより、明暗パタンの異なる複数の画像が取得される。処理回路は、イメージセンサの画素ごとに、複数の画像中で最も輝度が低い画素（明暗パタンの暗）を抽出し、画像を生成する。

ここで、実施の形態１に係る画像生成装置は、例えば、細胞培養容器に収容された混合液中の細胞を対象物として撮影する。まず、この細胞培養容器などについて詳細に説明する。なお、本実施の形態における撮影の対象物は、例えば、細胞である。対象物は、透光性を有する物質であればよく、細胞以外の物質であってもよい。

［１．細胞培養容器の構造］
図１Ａは、実施の形態１に係るディッシュ型の細胞培養容器１０００の斜視図である。図１Ｂは、実施の形態１に係るディッシュ型の細胞培養容器１０００の断面図である。図１Ａおよび図１Ｂに示すように、細胞培養容器１０００は、容器部１０１０と、照明器１４０と、イメージセンサ１５０とを備える。なお、図１Ａ及び図１Ｂに示す細胞培養容器１０００は、シャーレあるいはペトリ皿と呼ばれるディッシュ型の容器であるが、横置きのフラスコ型の容器であってもよい。

容器部１０１０は、細胞及び培養液を含む混合液を収容する容器である。つまり、容器部１０１０は、混合液を内部に位置させる容器である。容器部１０１０は、例えばガラス製又は樹脂製の透明な容器であり、蓋部１０１１と本体部１０１２とを備える。

本体部１０１２は、容器部１０１０の底部及び側部を規定する筒体。本体部１０１２は、底面と側面とで構成され、上部に開口を有する。

蓋部１０１１は、本体部１０１２と嵌め合わされることにより本体部１０１２の開口を塞ぐ有底筒状の部材である。蓋部１０１１は、容器部１０１０の上部を形成する。

照明器１４０は、蓋部１０１１の内面に設けられており、光を容器部１０１０内の混合液に照射する。その結果、照射された光は、混合液中を透過して、透過光として出力する。つまり、透過光とは、照明器１４０から混合液を透過した光であり、半透明物質である混合液で屈折及び減衰した光である。具体的には、照明器１４０は、蓋部１０１１の内面に固定されており、容器部１０１０内の混合液に上方から光を照射する。なお、照明器１４０は、蓋部１０１１の外面に固定されてもよい。

また、本実施の形態では、照明器１４０は、容器部１０１０の上部から容器部１０１０の内方に突出しており、照明器１４０における光の出射面１４０ｓは、容器部１０１０内の細胞Ｃ１及び培養液Ｌ１を含む混合液中に位置する。つまり、照明器１４０における光の出射面１４０ｓは、混合液の液面Ｌ２よりも下方、かつ、容器部１０１０の底部よりも上方に位置する。

イメージセンサ１５０は、容器部１０１０の底部に設けられており、混合液から出力された透過光を受け取る。イメージセンサ１５０は、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）あるいはＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の固体撮像素子である。イメージセンサ１５０には複数の画素がマトリックス状に配置されている。イメージセンサ１５０の各画素には、照明器１４０から照射された光が入射する。イメージセンサ１５０は、光が照射されることでイメージセンサ１５０の受光面に形成される細胞の光学像を撮影する。

具体的には、図１Ｂに示すように、イメージセンサ１５０は、容器部１０１０の底部に形成された開口に嵌め込まれている。透明保護膜１５０ａに覆われたイメージセンサ１５０の受光面は、容器部１０１０内の空間に露出している。細胞Ｃ１は、容器部１０１０内に満たされた培養液Ｌ１の中に沈んでおり、透明保護膜１５０ａの上に直接接触した状態で培養されている。図１Ｂに示すように、細胞Ｃ１とイメージセンサ１５０との間に集光レンズは存在しない。

このように、撮影の対象物である細胞Ｃ１は、透明保護膜１５０ａを介して、イメージセンサ１５０の受光面上に載置された状態で培養される。

［２．画像生成装置の構成］
図２は、実施の形態１に係る画像生成装置１０の機能ブロック図である。図１に示される画像生成装置１０は、細胞などの透光性を有する物質の画像を生成する装置であって、撮影部１００と、記憶部１１０と、暗画像処理部１２０と、出力部１３０とを備える。

［２−１．撮影部］
まず、撮影部１００の構成について説明する。撮影部１００は、照明器１４０と、イメージセンサ１５０と、制御部１６０とを備える。撮影部１００は、対象物である物質の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅ）を取得する。ここでは、撮影部１００は、フォーカスレンズを有さない。なお、実施の形態１に係る画像生成装置１０は、制御部１６０、記憶部１１０および出力部１３０を備えているが、これらの構成要素は必須ではなく、画像生成装置１０はこれらの構成要素を備えていなくてもよい。

実施の形態１における照明器１４０は、第１の光源１４１Ａと、第２の光源１４１Ｂと、マスク１４２とを備える。第１の光源１４１Ａは、物質を照明する点光源である。第２の光源１４１Ｂは、第１の光源１４１Ａから所定の距離だけ離れた位置からその物質を照明する点光源である。マスク１４２は、第１の光源１４１Ａおよび第２の光源１４１Ｂからの光が透過する透光部分、ならびにその光を遮蔽する遮光部分を有し、イメージセンサ１５０と第１の光源１４１Ａおよび第２の光源１４１Ｂとの間に位置する。なお、上述の所定の距離の例は、後述の周期の１／３または２／３に相当する距離である。

以下、この照明器１４０の詳細について説明する。

図３は、実施の形態１における照明器１４０の構造の一例を模式的に示す図である。具体的には、照明器１４０は、上述の第１の光源１４１Ａおよび第２の光源１４１Ｂを含む複数の点光源１４１と、マスク１４２とを備える。マスク１４２は、スリットまたはチェッカーパタンを有する。つまり、マスク１４２は、光を透過する透光部分と光を遮断する遮光部分とを有する。

図４は、複数の点光源１４１の配置の一例を示す模式図である。図４の例では、複数の点光源１４１は、等間隔に配列されている。複数の点光源１４１のそれぞれは、例えば、発光する発光面を有し、マスク１４２に対応する遮光板に取り付けられる。遮光板は、マスク１４２の透光部分に対応する複数のピンホールを有する。複数の点光源１４１は、複数のピンホールを介して、点光源１４１の発光面が露出するように、位置している。発光面から出力される光は、点光源１４１を中心に全方向へ均等に広がる。発光面の大きさの一例は、直径１０μｍであり、ピンホールの大きさの一例も、直径１０μｍである。

図５は、マスク１４２の例を示す。具体的には、図５の（ａ）は、スリットを有するマスク１４２の一例を示し、図５の（ｂ）は、チェッカーパタンを有するマスク１４２の一例を示す。なお、図５中の黒色の部分は、上述の遮光部分であり、白色の部分は、上述の透光部分である。図５の例では、（ａ）のスリットにおいて、黒色ラインの遮光部分と白色ラインの透光部分との幅は同一である。また、（ｂ）のチェッカーパタンにおいて、黒色正方形の遮光部分と、白色正方形の透光部分との大きさは同一である。また、複数の透光部分と複数の遮光部分はマスク１４２上では等間隔に設定されている。つまり、マスク１４２の複数の透光部分および複数の遮光部分は、周期的に規則正しく配置されている。また、スリットにおけるラインの幅あるいはチェッカーパタンにおける正方形の一辺の長さは、何れかの点光源１４１からマスク１４２を通った光束によって対象物の一部が明るく、残りの部分が暗くなるように設定されている。つまり、その光束による対象物およびイメージセンサ１５０上での光の明暗パタンが対象物を少なくとも２つの領域（明るい領域と暗い領域）に分割するように、上述の幅あるいは正方形の一辺の長さが設定されている。例えば、対象物が１００μｍを有する場合、スリットにおけるラインの幅あるいはチェッカーパタンの正方形の一辺の長さは、例えば３０μｍである。マスク１４２は、例えばガラス上に金属を蒸着することで実現される。

図６は、イメージセンサ１５０の上に設置した対象物の一例である。なお、図６では、透明保護膜１５０ａなどを省略している。イメージセンサ１５０の上に直接、撮影の対象物が設置されている。対象物は、例えば複数の半透明の物質である。複数の物質は３次元的に重なって位置する。物質の具体例は、細胞または培養細胞である。図６の例では、対象物は初期胚である。

イメージセンサ１５０は、複数の画素を有し、上述の物質が配置される。イメージセンサ１５０の各画素は、受光面に配置され、複数の点光源１４１から照射された光の強度（すなわち輝度値）を取得する。イメージセンサ１５０は、各画素により取得された光の強度に基づいて、撮影画像を取得する。つまり、イメージセンサ１５０は、複数の点光源１４１のうちの第１の光源１４１Ａにより照明されたときに、物質の第１の画像を取得し、複数の点光源１４１のうちの第２の光源１４１Ｂにより照明されたときに、物質の第２の画像を取得する。

イメージセンサ１５０の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

照明器１４０の複数の点光源１４１は、順に光を照射する。複数の点光源１４１は互いに異なる位置に配置され、互いに異なる方向からマスク１４２を通して対象物に光を照射する。

制御部１６０は、複数の点光源１４１による光の照射、及びイメージセンサ１５０による撮影を制御する。具体的には、制御部１６０は、複数の点光源１４１が光を照射する順番、複数の点光源１４１が光を照射する時間間隔を制御する。制御部１６０は、ＣＰＵ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。制御部１６０の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、制御部１６０の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

図７は、点光源１４１の位置と、イメージセンサ１５０が受ける光との関係の一例を示す。図７の例において、物質は培養液中に位置する。例えば、図７の（ａ）に示すように、点光源１４１からマスク１４２の透光部分を透過した光は、物質の一部と、イメージセンサ１５０の受光面の一部の領域ｂとを照らすこのとき、物質の一部と、イメージセンサ１５０の領域ｂとを照らす光は、点光源１４１からの直接光だけでなく、屈折光も含む。屈折光は、点光源１４１からマスク１４２の透光部分を透過し、培養液または透過性を有する物質によって屈折、反射または散乱した光である。一方、点光源１４１からの一部の直接光は、マスク１４２の遮光部分によって遮られ、イメージセンサ１５０の受光面の領域ａには到達しない。しかし、屈折光はその領域ａに到達する。したがって、イメージセンサ１５０の受光面の領域ａは、屈折光のみを受光するため暗く、領域ｂは、直接光と屈折光とを受光するため明るい。

しかし、図７の（ａ）に示す点光源１４１が消灯し、図７の（ｂ）に示す他の点光源１４１が点灯すると、イメージセンサ１５０の受光面のうち領域ａと異なる領域ｅが、屈折光のみを受光するため暗くなる。また、イメージセンサ１５０の受光面のうち領域ｂと異なる領域ｆが、屈折光と直接光とを受光するため明るくなる。

つまり、物質を照明する点光源１４１の位置が異なると、イメージセンサ１５０の受光面の一部の領域は、屈折光と直接光とを受光するために明るくなったり、屈折光のみを受光するために暗くなったりする。実施の形態１では、図４に示すように配置された複数の点光源１４１、具体的には、マスク１４２の透光部分および遮光部分が交互に規則的に配列されている方向に沿う複数の点光源１４１が、順に照明する。したがって、イメージセンサ１５０の受光面の一部の領域（具体的には画素）は、周期的に、明るくなったり、暗くなったりする。以下、明るくなる期間を、明区間といい、暗くなる期間を、暗区間という。実施の形態１では、このイメージセンサ１５０の受光面の領域（例えば画素）ごとに、その暗い輝度を利用することによって、物質の鮮明な画像を生成する。

［２−２．記憶部］
記憶部１１０は、イメージセンサ１５０で取得された画像を、制御部１６０で設定された撮影時に照明または点灯していた点光源１４１の位置（以下、照明位置ともいう）と対応させて記憶する。

図８は、記憶部１１０が記憶する情報の例である。記憶部１１０は、イメージセンサ１５０で取得した画像を識別するＩＤと、撮影時に点灯していた点光源１４１の照明位置とを対応させて、記憶する。照明位置は、例えば、イメージセンサ１５０の複数の有効画素を含む平面の左上角を原点とし、イメージセンサ１５０の横方向をｘ軸、縦方向をｙ軸とする座標上の点として示される。実施の形態１の照明器１４０の例では、複数の点光源１４１は、イメージセンサ１５０の表面（すなわち受光面）と平行な平面上に、イメージセンサ１５０の表面に対向するように配置されている。つまり、イメージセンサ１５０の表面から、すべての点光源１４１のそれぞれまでの距離は同一である。そのため、照明位置は２次元で表現されている。照明位置は、３次元で表現されてもよい。また、全ての点光源１４１が直線状に配置されている場合には、照明位置は１次元で表現されてもよい。

［２−３．暗画像処理部］
暗画像処理部１２０は、少なくとも１つの制御回路または処理回路によって実現される。実施の形態１では、暗画像処理部１２０は、上述の第１の画像における第１の画素領域に対応する第１の画素情報と、第２の画像における第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する。ここで、イメージセンサ１５０は、第１の画素領域および第２の画素領域を含み、第１の画素領域と第１の光源との間に、マスク１４２の遮光部分が位置し、第２の画素領域と第２の光源との間に、マスク１４２の遮光部分が位置する。なお、画素領域は、画素であってもよく、複数の画素からなるブロックであってもよい。また、画素情報は、本実施の形態では輝度または輝度値であるが、画素に関する他の値であってもよい。

図９は、暗画像処理部１２０の詳細な構成を示す機能ブロック図である。図９に示すように、暗画像処理部１２０は、データ取得部１２１と、最小値決定部１２３と、画像生成部１２５と、画素選択部１２６と、記憶部１２７とからなる。

データ取得部１２１は、画像処理に使用する画像、すなわちその画像に含まれる画素ごとの輝度値と、その画像に対応する照明位置とを、記憶部１１０から取得する。

画素選択部１２６は、イメージセンサ１５０の複数の画素、すなわち生成しようとする画像中の複数の画素より、輝度計算を行う画素を選択する。なお、この画素選択部１２６によって選択される画素を、以下、選択画素ともいう。

最小値決定部１２３は、記憶部１１０に記憶された複数の画像のそれぞれの、画素選択部１２６が選択した画素と同一位置にある画素の輝度値を比較し、最小の輝度値を有する画素を含む画像を、その複数の画像から特定する。最小値決定部１２３は、その最小の輝度値を、選択画素の輝度の最小値として決定する。

なお、最小値決定部１２３は、上述のように、複数の画像のそれぞれの輝度値を比較することによって、選択画素の輝度の最小値を決定するが、他の方法によって選択画素の輝度の最小値を決定してもよい。つまり、最小値決定部１２３は、その選択画素に対して予め定められた照明位置の点光源１４１が照明されたときの撮影によって取得された画像を特定し、その画像において、選択画素と同一位置にある画素の輝度値を最小値として決定する。予め定められた照明位置は、例えば事前に対象物の無い状態での撮影によって取得された画像より決定される。また、予め定められた照明位置は、点光源とマスク１４２とイメージセンサ１５０との幾何学的な関係によって決定されてもよい。

図１０は、点光源と、マスク１４２の遮光部分の中心と、画素との位置関係を示す。

図１０に示すように、点光源１４１ａまたは１４１ｂと、マスク１４２の遮光部分の中心と、イメージセンサ１５０の画素とは、幾何的な位置関係を有する。このような位置関係から、各画素に対して、遮光部分の中心に位置する照明位置、あるいは画素と遮光部分の中心とを結ぶ直線上に位置する照明位置が決定される。

図１１は、画素ごとに予め定められた照明位置が記録されたテーブルを示す。このテーブルには、例えばイメージセンサ１５０上のｘｙ座標によって示される全ての画素位置のそれぞれに対して、当該の画素位置と遮光部分の中心とを結ぶ直線上に位置する点光源１４１の照明位置が記録されている。照明位置は、イメージセンサ上のｘｙ座標で示されている。つまり、最小値決定部１２３は、何れかの照明位置の点光源１４１が点灯するときに撮像によって得られた画像のうち、そのテーブルにおいてその照明位置に関連付けられている画素位置の画素の輝度値を、選択画素の輝度の最小値として決定する。

記憶部１２７は、データ取得部１２１が記憶部１１０より取得した画像および照明位置と、最小値決定部１２３が決定した最小値とを記憶する。

画像生成部１２５は、画像を生成する。生成される画像に含まれる画素は、最小値決定部１２３によって決定された最小値の輝度を有する。つまり、画像生成部１２５によって生成される画像は、上述の第３の画像であって、暗画像ともいう。

なお、暗画像処理部１２０に含まれるデータ取得部１２１、最小値決定部１２３、計算部１２４、および画像生成部１２５は、ＣＰＵ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。暗画像処理部１２０の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、暗画像処理部１２０の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

［２−４．出力部］
出力部１３０は、暗画像処理部１２０によって生成された画像を提示する出力装置、またはその画像を電子データとして出力する手段である。画像を提示する出力装置は、例えばディスプレイである。電子データとして出力する手段は、例えばＵＳＢコネクタである。

［３．画像生成装置の動作］
次に、以上のように構成された画像生成装置１０の動作について説明する。

図１２は、実施の形態１に係る画像生成装置１０の動作の一例を示すフローチャートである。

画像生成装置１０は、図示しない動作開始命令の入力により動作を開始する。

（ステップＳ１２００）
撮影部１００は、照明器１４０の複数の点光源１４１を用いて、複数の対象物の画像を撮影する。この撮影は多光源撮影とも表記される。マスク１４２を通過した光により対象物が照明されたとき、複数の対象物の画像を撮影する。具体的には、撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれが対象物を照明するたびに、イメージセンサ１５０の受光面に到達した光の強度を記録することにより、複数の対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた点光源１４１の位置情報（すなわち照明位置）とともに記憶部１１０で記憶される。ここでは、複数の点光源１４１の位置は、イメージセンサ１５０に対して固定されており、複数の点光源１４１の各々の位置情報は予め定められている。多光源撮影の詳細は後述する。

（ステップＳ１３００）
暗画像処理部１２０は、照明器１４０のマスク１４２によってステップＳ１２００で撮影された画像上の暗部に対して、暗画像処理を行う。ステップＳ１２００において、互いに異なる複数の位置の点光源１４１のそれぞれにより照明して撮影を行うことで、画像ごとに暗部の位置が異なる。暗画像処理部１２０は、ステップＳ１２００で撮影された複数の画像に対して、同一の画素位置の輝度について、画像間で比較する。暗画像処理部１２０は、画素位置（または選択画素）ごとに、輝度の最小値を決定する。暗画像処理の詳細は後述する。

（ステップＳ１４００）
暗画像処理部１２０の画像生成部１２５は、ステップＳ１３００で画素位置ごとに決定された輝度の最小値に基づき画像を生成し、出力する。その後、画像生成装置１０は動作を終了する。

このように、実施の形態１に係る画像生成方法は、透光性を有する物質の画像を生成する画像生成方法であって、第１の光源１４１Ａと、第２の光源１４１Ｂと、イメージセンサ１５０と、マスク１４２とを用いる。そして、この画像生成方法では、ステップＳ１２００において、（ａ）第１の光源１４１Ａが照明されたときに、イメージセンサ１５０が物質の第１の画像を取得し、（ｂ）第２の光源１４１Ｂが照明されたときに、イメージセンサ１５０が物質の第２の画像を取得する。ここで、イメージセンサ１５０は、第１の画素領域及び第２の画素領域を含み、第１の画素領域と第１の光源１４１Ａとの間に、遮光部分が位置し、第２の画素領域と第２の光源１４１Ｂとの間に、遮光部分が位置する。このような場合に、さらに、この画像生成方法では、ステップＳ１３００およびステップＳ１４００において、第１の画像における第１の画素領域に対応する第１の画素情報と、第２の画像における第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する。

［３−１．多光源撮影］
ここで、図１２に示すステップＳ１２００の撮影部１００の動作の詳細を説明する。

図１３は、撮影部１００の動作の一例を示すフローチャートである。

（ステップＳ１２１０）
制御部１６０は、予め定められた複数の照明位置を示すリスト、すなわち照明器１４０の複数の点光源１４１の位置を示すリスト（以下、照明位置リストという）を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。

ここで、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１２１０においてｙｅｓ）、ステップＳ１３００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１２１０においてｎｏ）、ステップＳ１１２０へ進む。なお、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合とは、２周期分の複数の照明位置からの照明による撮影が終了していることを意味する。その２周期分の周期の詳細については、図１４を用いて後述する。

（ステップＳ１２２０）
制御部１６０は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、照明器１４０へ制御信号を出力する。この制御信号には、選択された照明位置が含まれている。照明位置リストにおける各照明位置、すなわち各点光源１４１の位置は、例えば、点光源１４１ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、イメージセンサ１５０表面をｘｙ平面とするｘｙｚ空間における座標値、または、イメージセンサ１５０表面に平行な面上に設定されたｘｙ平面における座標値によって示される。照明位置の選択は、例えば、照明位置リストの昇順に行われる。

（ステップＳ１２３０）
照明器１４０は、ステップＳ１２２０で制御部１６０より出力された制御信号に従って、対象物への照明を開始する。つまり、照明器１４０に含まれる複数の点光源１４１のうち、ステップＳ１２２０で選択された照明位置にある点光源１４１が光の照射を開始する。

（ステップＳ１２４０）
点光源１４１によって対象物が照明されている間に、イメージセンサ１５０は、当該点光源１４１からマスク１４２を通し、さらに対象物を透過した光によって形成される画像を取得する。

（ステップＳ１２５０）
制御部１６０は、ステップＳ１２４０で取得した画像と、当該画像の取得時に照明していた点光源１４１の照明位置とを対応付けて記憶部１１０に出力する。記憶部１１０は画像と照明位置とを対応付けて記憶する。

（ステップＳ１２６０）
その後、制御部１６０は、照明器１４０へ制御信号を出力して、対象物への照明を停止させる。なお、照明の停止は、制御部１６０からの制御信号に従って行われなくてもよい。例えば、照明器１４０は、点光源１４１のうちの１つの点光源による照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１２４０でイメージセンサ１５０が画像の取得を終了した後に、イメージセンサ１５０は、照明を停止するための制御信号を照明器１４０に出力してもよい。ステップＳ１２６０の後、ステップＳ１２１０へ戻る。

ステップＳ１２１０からステップＳ１２６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の点光源１４１から順次対象物に光が照射される。そして、対象物にマスク１４２を通して光が照射されるたびに、イメージセンサ１５０が画像を取得する。

［３−２．点光源配置］
ここで、照明位置すなわち複数の点光源１４１の位置について詳細に説明する。

図１４は、イメージセンサ１５０上の任意の１画素における、点光源１４１の位置とマスク１４２の位置とによる明暗のパタンを説明する模式図である。マスク１４２の黒く塗りつぶした長方形は遮光部分を示し、白抜きの長方形は光を透過する透光部分を示している。なお、図１４中、点光源１４１ａ、点光源１４１ｂおよび点光源１４１ｃのそれぞれは、照明器１４０に含まれる複数の点光源１４１のうちの何れかである。

点光源１４１ａからイメージセンサ１５０上の任意の画素Ａへ届く光は、光線１であり、マスク１４２の遮光部分１４２ｂと透光部分１４２ａとの境界線上を通る。点光源１４１ｂから画素Ａへ届く光は、光線２であり、マスク１４２の遮光部分１４２ｂと透光部分１４２ｃとの境界線上を通る。図１４中の点光源１４１ａより左側で、点光源１４１ｂより右側に点光源１４１が位置する場合、当該点光源１４１から画素Ａへ照射する光線は、マスク１４２の遮光部分１４２ｂにさえぎられる。すなわち、画素Ａに対して、点光源１４１ａの位置から点光源１４１ｂの位置までの区間は、光源からの直接光がマスク１４２の遮光部分１４２ｂによってさえぎられて光線が到達せず暗い区間（以降では暗区間と表示する）となる。なお、暗区間は、点光源１４１ａ〜点光源１４１ｂまでの各点光源が順に照明する期間とも言える。

一方、点光源１４１ｃから画素Ａへ届く光線は、光線３であり、マスク１４２の透光部分１４２ｃと遮光部分１４２ｄとの境界線上を通る。図１４中の点光源１４１ｂより左側で、点光源１４１ｃより右側に点光源１４１が位置する場合、当該点光源１４１から画素Ａへ照射する光線は、マスク１４２の透光部分１４２ｃを透過して、イメージセンサ１５０表面の画素Ａに到達する。すなわち、画素Ａに対して、点光源１４１ｂの位置から点光源１４１ｃの位置までの区間は、光源からの直接光が到達する明るい区間（以降では明区間と表示する）となる。なお、明区間は、点光源１４１ｂ〜点光源１４１ｃまでの各点光源が順に照明する期間とも言える。上述の周期は、明区間および暗区間からなる。すなわち、１つの明区間と１つの暗区間とをあわせて照明の１周期とする。言い換えれば、照明器１４０における複数の点光源１４１のそれぞれが、等間隔離れて配置され、予め定められた時間ごとに順に照明する場合、１つの明区間と１つの暗区間とに配置された複数の点光源１４１のそれぞれが順に照明する期間が、１周期となる。

画素Ａとは位置の異なる画素Ｂにおいては、明区間と暗区間の境界位置が画素Ａに対する境界位置とは異なる。しかしながら、画素Ａに対する明区間と暗区間の大きさと、画素Ｂに対する明区間と暗区間の大きさとは、同一である。これは、画素Ａと画素Ｂとに対して、マスク１４２の遮光部分と透光部分の大きさ、マスク１４２とイメージセンサ１５０表面との距離、および、点光源１４１とイメージセンサ１５０表面との距離が同じであるからである。すなわち、イメージセンサ１５０上の任意の画素において、明暗の周期は同じであるが、画素の位置によって明暗パタンの位相が異なることになる。

図１２に示すステップＳ１３００において、暗画像処理部１２０は、イメージセンサ１５０の各画素について、撮影によって取得された複数画像のそれぞれの同一位置の画素での輝度の最小値を決定する。この輝度の最小値は、イメージセンサ１５０上の各画素の暗区間に対応している。

すなわち、実施の形態１では、イメージセンサ１５０の受光面の一部の領域は、物質を照明する第１の光源とその領域との間にマスク１４２の遮光部分が配置されている状態で第１の画像を取得する。これにより、暗区間にある第１の画像が取得される。また、イメージセンサ１５０の受光面の一部の他の領域は、物質を照明する第２の光源とその領域との間にマスク１４２の遮光部分が配置されている状態で第２の画像を取得する。これにより、暗区間にある第２の画像が取得される。

ここで、撮影された画像の全画素で、輝度の最小値を特定するために必要な撮影の条件は、イメージセンサ１５０上の全画素で、暗区間の照明状態で撮影が行われていることである。イメージセンサ１５０上の全画素のそれぞれでは、位相は異なるが、周期は同一である。したがって、少なくとも、図１４に示す暗区間に配置された１つの点光源１４１から照明が行われたときの撮影が必要である。すなわち、照明する点光源１４１の位置が少なくとも半周期分に相当する距離だけ移動する必要がある。実際には、複数の点光源１４１からの光を順にマスク１４２に通過させると、明区間と暗区間との境界は、はっきりとはしない。

図１５は、イメージセンサ１５０上の各位置における光の強度を示す。例えば、図１５のように、境界部分の輝度はなだらかに変化する。そのため、照明する点光源１４１が、半周期分に相当する距離だけ移動しても、イメージセンサ１５０上の全画素で明区間と暗区間での撮影結果を得ることができない場合がある。発明者らは経験的に、２周期分に対応する移動の範囲において、１／３周期に対応する間隔で点光源１４１を配置し、逐次点光源１４１を点灯して撮影を行うと、イメージセンサ１５０上の全画素で明区間と暗区間での撮影結果が得られることを確認している。つまり、照明器１４０における複数の点光源１４１の間隔は、１／２周期に対応する距離以下であり、好ましくは、１／３周期に対応する距離以下である。そして、上述の第１の光源１４１Ａと第２の光源１４１Ｂとの間の所定の距離は、イメージセンサ１５０上の任意の画素に対する明区間の照明位置と、その画素に対する暗区間の照明位置との間の距離である。具体的には、複数の点光源１４１の間隔が１／３周期に対応する距離である場合、上述の第１の光源１４１Ａと第２の光源１４１Ｂとの間の所定の距離は、その周期の１／３または２／３に相当する距離である。

ステップＳ１２１０で参照される照明位置リストは、例えば２周期の範囲を１／３周期に対応する間隔で、スリットを横切る方向に点光源１４１を配置した際の７点の照明位置を示したリストである。なお、スリットを横切る方向とは、マスク１４２の遮光部分と透光部分とが交互に配列される方向である。

［３−３．暗画像処理］
図１２に示すステップＳ１３００の暗画像処理部１２０の動作の詳細を説明する。

図１６は、実施の形態１に係る暗画像処理部１２０の動作の一例を示すフローチャートである。

（ステップＳ１３１０）
暗画像処理部１２０のデータ取得部１２１は、ステップＳ１２００で取得された画像およびその画像に対応する照明位置を、記憶部１１０より取得する。

（ステップＳ１３２０）
画素選択部１２６は、生成される画像に含まれる全画素について暗画像処理が終了したか否かを判定する。暗画像処理とは、ステップＳ１３２０からステップＳ１３６０までの処理を意味する。

生成される画像に含まれる全画素について暗画像処理が終了している場合（ステップＳ１３２０においてｙｅｓ）、暗画像処理部１２０は、暗画像処理を終了する（ステップＳ１４００へ進む）。

生成される画像に含まれるいずれかの画素について暗画像処理が終了していない場合（ステップＳ１３２０においてｎｏ）、暗画像処理部１２０は、暗画像処理を続行する（ステップＳ１３３０へ進む）。なお、生成される画像は、ステップＳ１２００で取得された複数の画像のうちの最も画素の少ない画像より、少ない画素を含む。

(ステップＳ１３３０)
画素選択部１２６は、生成される画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、生成される画像に含まれる複数の画素のうち、暗画像処理がまだ実行されていない画素である。なお、生成される画像の画素値の初期値は０である。

(ステップＳ１３４０)
最小値決定部１２３は、ステップＳ１３３０で選択された画素の画素位置について、ステップＳ１２００で撮影された複数の画像のそれぞれにおける当該画素位置の画素の輝度値を比較し、最小の輝度値を決定する。

(ステップＳ１３６０)
画像生成部１２５は、ステップＳ１３４０で決定した最小の輝度値を、ステップＳ１３３０で選択された画素の輝度値として記憶する。

ステップＳ１３２０からステップＳ１３６０までの各処理を繰り返すことで、生成される画像の全画素の輝度値を生成することができる。これにより、第３の画像である暗画像が生成される。

［４．効果］
以上のように実施の形態１に係る画像生成装置１０によれば、位置の異なる複数の点光源１４１からの光を、マスク１４２に通して対象物およびイメージセンサ１５０に投射して、透過光による撮影を行う。マスク１４２は、スリットあるいはチェッカーパタンなどの、遮光部分と透光部分との繰り返しパタンを持つ。取得された複数の画像から、画素位置ごとに、マスク１４２の遮光部分により点光源１４１からの直接光がさえぎられた状態で撮影されたときの、最小輝度値を決定する。最小輝度値は、直接光がなく、対象物による散乱光あるいは屈折光のみを含む輝度を示す。最小輝度値により画像を生成することで、直接光を除外し、散乱光あるいは屈折光による中間の輝度の情報が多い、見やすい画像を暗画像として生成することができる。

図１７は、本実施の形態における暗画像と、従来の画像とを比較して示す。

図１７の（ａ）に示す画像は、１つの点光源による透過光でイメージセンサ上に設置した胚を撮影した撮影画像である。図１７の（ｂ）に示すグラフは、（ａ）の撮影画像に含まれる画素の、輝度(画素値)に対するヒストグラムである。図１７の（ｃ）に示す画像は、本実施の形態によって得られた胚の画像（すなわち暗画像）である。図１７の（ｄ）に示すグラフは、（ｃ）の暗画像に含まれる画素の、輝度(画素値)に対するヒストグラムである。点光源による透過光で撮影された（ａ）に示す撮影画像のヒストグラムでは、（ｂ）に示すように、極端に明るい画素と極端に暗い画素とが多く、コントラストは強いがちらつきあるいはぎらつきが多い。したがって、このヒストグラムは、（ａ）の撮影画像が対象物の形を判別しにくい画像であることを示している。これに対して、本実施の形態により生成された（ｃ）に示す暗画像では、（ｄ）のヒストグラムに示すように、極端に暗い画素、および極端に明るい画素は多くなく、中間の輝度に画素が多く分布し、濃淡の情報が多い。したがって、（ｃ）に示す暗画像は、線や面による形の判別がしやすい画像である。このように、本実施の形態では、濃淡の情報が多く見やすい画像を得ることができる。

なお、本実施の形態１では、暗画像処理部１２０は、複数の異なる照明位置の点光源１４１のそれぞれが順に照明したときに撮影された複数の画像から、処理対象の画素位置にある画素の輝度の最小値を選択した。そして、暗画像処理部１２０は、その選択された最小値を、暗画像におけるその画素位置にある画素の輝度として決定した。しかし、図１１に示すように、予め定められた画素が、最小の輝度値を有する画素（暗画素）となる照明位置を示す情報にしたがって、処理対象の画素位置にある画素の輝度を選択してもよい。つまり、その情報にしたがって、撮影された画像から、その撮影時に照明していた点光源１４１の照明位置に対して予め定められた画素位置の画素を選択する。そして、その選択された画素位置の画素の輝度値を、暗画像におけるその画素位置の画素の輝度値として決定する。また、図１０に示すような幾何的関係を記憶しておき、都度、処理対象の画素位置にある画素に対応する照明位置を計算で求めてもよい。この場合、求められた照明位置での照明時に撮影された画像から、その処理対象の画素位置にある画素の輝度値を選択し、その選択された輝度値を、暗画像におけるその画素位置の画素の輝度値として決定する。

（実施の形態２）
実施の形態１では、各画素が明区間及び暗区間の１周期以上を含むの期間において撮影され、画素位置ごとに、複数の画像から最小輝度値を決定して、暗画像におけるその画素位置の画素の輝度値を決定した。実施の形態２では、実施の形態１の暗画像処理によって生成された暗画像の輝度分布を解析することにより、対象物（例えば、胚に含まれる細胞）の配置を特定する。以下、実施の形態２について詳細に説明する。

図１８は、実施の形態２に係る画像生成装置１０の機能ブロック図である。

実施の形態２に係る画像生成装置１０は、実施の形態１の画像生成装置１０の全ての構成要素を備えるとともに、細胞位置特定部２１０を備える。なお、この細胞位置特定部２１０は、暗画像処理部１２０と同様に、処理回路によって実現される。

［細胞位置特定部］
細胞位置特定部２１０は、例えばユーザによる操作に応じて細胞数を取得し、暗画像からその細胞数だけの細胞の位置を特定する。つまり、本実施の形態では、対象物である物質は、細胞を含む胚である。そして、細胞位置特定部２１０は、暗画像である第３の画像における第１の閾値以上の輝度を有する領域を、細胞の位置する領域と特定する。なお、この細胞の位置する領域を、細胞領域ともいう。

図１９は、細胞位置特定部２１０の詳細な構成を示す機能ブロック図である。図１９に示すように、細胞位置特定部２１０は、暗画像取得部２１１、閾値決定部２１２、細胞数取得部２１３、クラスタリング部２１４、重心計算部２１５、輪郭線推定部２１６、および画像合成部２１７を備える。

暗画像取得部２１１は、暗画像処理部１２０によって生成された暗画像を取得する。

閾値決定部２１２は、暗画像取得部２１１によって取得された暗画像の、輝度の範囲に基づいて、クラスタリングの対象となる画素を選択するための、輝度の閾値を決定する。この閾値は、例えば、暗画像における全画素の輝度分布において、その閾値以下の輝度を有する画素の数が全画素数のうちの５０％になるという条件を満たす輝度である。つまり、この閾値は、暗画像における全画素の輝度分布の中央値である。

細胞数取得部２１３は、指定された細胞数を取得する。例えば、細胞数取得部２１３は、図示しない入力手段によってユーザによる細胞数の入力を受付ける。あるいは、細胞数取得部２１３は、例えば、図示しない記憶部にテーブルとして記憶された、培養時間と細胞数との対応情報を参照し、図示しない計時手段によって計測された培養時間に基づいて、そのテーブルから細胞数を取得する。

クラスタリング部２１４は、暗画像取得部２１１によって取得された暗画像中の複数の画素であって、閾値決定部２１２によって決定された閾値以上の輝度を持つ複数の画素からなる集合を、細胞数取得部２１３によって取得された細胞数のクラスタに分割する。クラスタリング部２１４は、クラスタリングに、画素の輝度と座標とを用いる。クラスタリングの方法は例えばｋ−ｍｅａｎｓ法である。

重心計算部２１５は、クラスタリング部２１４による分割によって得られた細胞数のクラスタのそれぞれについて、そのクラスタに含まれる複数の画素の重心位置を求める。

輪郭線推定部２１６は、重心計算部２１５によってクラスタごとに計算された重心位置を中心とする円の円周を、細胞の輪郭線として推定する。円は例えば、クラスタの重心位置を中心とし、クラスタの全ての要素（全ての画素）のうちの８０％以上の要素を含む円であって、半径が最小の円である。

画像合成部２１７は、暗画像に対して、重心計算部２１５によって算出された重心位置を示すマーク（例えば、×）と、輪郭線推定部２１６によって推定された輪郭線とを合成することによって、合成画像を生成する。つまり、画像合成部２１７は、暗画像である第３の画像と、細胞が位置する領域とを用いて、細胞が位置する領域が強調された第４の画像を合成画像として生成する。

図２０は、実施の形態２に係る画像生成装置１０の動作の一例を示すフローチャートである。

（Ｓ１５００）
画像生成装置１０は、実施の形態１と同様、ステップＳ１２００〜Ｓ１４００の処理を行うが、さらに、細胞の位置を判定する。

ここで、図２０に示すステップＳ１５００の細胞位置特定部２１０の動作の詳細を説明する。

図２１は、細胞位置特定部２１０の動作の一例を示すフローチャートである。

（Ｓ１５１０）
まず、閾値決定部２１２は、クラスタリングの対象となる画素を選択するための輝度の閾値を決定する。

（Ｓ１５２０）
次に、クラスタリング部２１４は、その閾値を用いて、暗画像からクラスタリングの対象となる複数の画素を選択し、その選択された複数の画素からなる集合を細胞数のクラスタに分割する。

（Ｓ１５３０）
次に、細胞位置特定部２１０は、細胞数のクラスタのそれぞれに対して、細胞の輪郭線を推定する。つまり、重心計算部２１５が、クラスタの重心位置を算出する。そして、輪郭線推定部２１６が、その重心位置を中心とする円であって、クラスタの全画素のうちの８０％の画素を含む円の円周を、細胞の輪郭線として導出する。

図２２は、閾値決定部２１２の動作の一例を示すフローチャートである。つまり、この図２２は、図２１のフローチャートにおけるステップＳ１５１０の処理の詳細を示す。

（Ｓ１５１１）
まず、閾値決定部２１２は、暗画像処理部１２０によって生成された暗画像を、暗画像取得部２１１を介して取得する。

（Ｓ１５１２）
次に、閾値決定部２１２は、暗画像における全画素の輝度分布の中央値を算出する。

（Ｓ１５１３）
そして、閾値決定部２１２は、その算出された中央値を閾値として決定する。

図２３は、暗画像の輝度分布の中央値を示す。

閾値決定部２１２は、図２３に示すように、暗画像における全画素の輝度分布において、閾値以下の輝度を有する画素の数が、暗画像の全画素数の５０％になる条件を満たすその閾値を、クラスタリングの対象となる画素を選択するための閾値として決定する。

図２４は、重心計算部２１５および輪郭線推定部２１６の動作の一例を示すフローチャートである。つまり、この図２４は、図２１のフローチャートにおけるステップＳ１５３０の処理の詳細を示す。

（Ｓ１５３１）
重心計算部２１５は、全てのクラスタに対して細胞の輪郭線が推定されたか否かを判定する。ここで、推定された場合（ステップＳ１５３１のｙｅｓ）、細胞位置特定部２１０は、ステップＳ１４００の処理に進む。

（Ｓ１５３２）
ステップＳ１５３１において、全てのクラスタに対して輪郭線が推定されていないと判定すると（ステップＳ１５３１のｎｏ）、重心計算部２１５は、細胞数のクラスタのうち、輪郭線が推定されていない細胞に対応する１つのクラスタを選択する。

（Ｓ１５３３）
重心計算部２１５は、選択されたクラスタの重心位置、つまり、クラスタに含まれる複数の画素の重心位置を算出する。

（Ｓ１５３４）
次に、輪郭線推定部２１６は、円の初期半径を設定する。

（Ｓ１５３５）
次に、輪郭線推定部２１６は、重心計算部２１５によって算出された重心位置を中心とする円に、クラスタの全画素のうちの８０％の画素が含まれているか否かを判定する。この円の半径は、ステップＳ１５３７の処理が行われていない場合には、ステップＳ１５３４によって設定された初期半径であり、ステップＳ１５３７の処理が行われている場合には、直近のステップＳ１５３７の処理によって設定された半径である。

（Ｓ１５３６）
輪郭線推定部２１６は、８０％の画素が含まれていると判定すると（ステップＳ１５３５のｙｅｓ）、ステップＳ１５３５の判定に用いられた円の半径を、細胞の輪郭線の半径として決定する。つまり、円の中心と半径が決定されることによって、細胞の輪郭線が決定または推定される。このように細胞の輪郭線が推定されると、重心計算部２１５は、ステップＳ１５３１からの処理を繰り返し実行する。

（Ｓ１５３７）
一方、輪郭線推定部２１６は、８０％の画素が含まれていないと判定すると（ステップＳ１５３５のｎｏ）、ステップＳ１５３５の判定に用いられた円の半径を伸長することによって、その半径を設定し直す。そして、輪郭線推定部２１６は、ステップＳ１５３５からの処理を繰り返し実行する。

図２５は、暗画像から輪郭線が推定されるまでの処理を模式的に示す。

例えば、細胞位置特定部２１０は、図２５の（ａ）に示す暗画像を取得し、その暗画像に含まれる全ての画素から、閾値を用いて、図２５の（ｂ）に示すように、クラスタリングの対象とされる画素の集合を選択する。

次に、細胞位置特定部２１０は、図２５の（ｃ）に示すように、その画素の集合を細胞数のクラスタに分割し、図２５の（ｄ）に示すように、各クラスタの重心位置を算出する。そして、細胞位置特定部２１０は、図２５の（ｅ）に示すように、その重心位置を中心とする円の円周を、細胞の輪郭線として推定する。

図２６は、画像合成部２１７によって生成される合成画像の例を示す。

画像合成部２１７は、細胞数が２の場合、例えば図２６の（ａ）に示す合成画像を生成する。また、画像合成部２１７は、細胞数が４の場合、例えば図２６の（ｂ）に示す合成画像を生成する。この図２６に示す例において、×は、細胞の重心位置を示すマークであり、破線の円周は、細胞の輪郭線を示す。

［効果］
暗画像では細胞が、散乱光によって一様に高い輝度で撮影される。細胞内部の散乱物質は、細胞内にある微細構造物である。胚の中でも、細胞外には微細構造物が非常に少なく光は散乱されない。すなわち、胚の中でも細胞のみが高い輝度で撮影されることとなる。そこで、暗画像から閾値以上の輝度を持つ画素を抽出し、さらに抽出された画素をクラスタリングすることで、複数の細胞の位置を精度良く特定することができる。

（実施の形態３）
実施の形態１では、各画素が明区間と暗区間の１周期以上の期間において撮影され、画素位置ごとに、複数の画像から最小輝度を抽出して、その画素位置における画素の輝度を求めた。また、実施の形態２では、取得された暗画像の輝度分布より対象物の配置を特定した。実施の形態３では、実施の形態１の暗画像処理によって生成された暗画像の輝度により、対象物の内部の微細構造物の量から細胞の異常を判定する。以下、実施の形態３について詳細に説明する。

図２７は、実施の形態３に係る画像生成装置１０の機能ブロック図である。

実施の形態３に係る画像生成装置１０は、実施の形態２の画像生成装置１０の全ての構成要素を備えるとともに、異常細胞検出部２２０を備える。なお、この異常細胞検出部２２０は、暗画像処理部１２０と同様に、処理回路によって実現される。

［異常細胞検出部］
異常細胞検出部２２０は、暗画像処理部１２０から暗画像を取得し、さらに、細胞位置特定部２１０によって推定された細胞の輪郭線を取得する。そして、異常細胞検出部２２０は、その輪郭線によって囲まれた細胞領域を暗画像から特定し、その細胞領域に対応する細胞の異常を検出する。つまり、本実施の形態では、対象物である物質は、複数の細胞を含む胚である。そして、異常細胞検出部２２０は、（ａ１）暗画像である第３の画像における第１の閾値以上の輝度を有する複数の細胞領域を抽出し、（ａ２）その複数の細胞領域のそれぞれの輝度が第２の範囲内にあるか否かを判定し、（ａ３）その判定結果を出力する。

図２８は、異常細胞検出部２２０の詳細な構成を示す機能ブロック図である。図２８に示すように、異常細胞検出部２２０は、暗画像取得部２２１、領域取得部２２２、領域平均輝度計算部２２３、および異常判定部２２４を備える。

暗画像取得部２２１は、暗画像処理部１２０によって生成された暗画像を取得する。

領域取得部２２２は、細胞位置特定部２１０の輪郭線推定部２１６から、推定された全ての輪郭線を取得する。輪郭線は、円周の中心および半径によって定義される。

領域平均輝度計算部２２３は、領域取得部２２２によって取得された全ての輪郭線のそれぞれによって囲まれた細胞領域を暗画像から特定する。そして、領域平均輝度計算部２２３は、特定された全ての細胞領域のそれぞれの平均輝度値を算出する。

異常判定部２２４は、領域平均輝度計算部２２３によって算出された平均輝度値を用いて、全ての細胞領域のそれぞれに対応する細胞が異常か否かを判定する。具体的には、異常判定部２２４は、全ての細胞領域のそれぞれの輝度平均値の平均を全平均値として算出し、さらに標準偏差を求める。そして、異常判定部２２４は、「全平均値−ＳＤ（標準偏差）」より小さい輝度平均値を有する細胞領域に対応する細胞は、異常であると判定する。

また、細胞領域が３つ以下の場合、異常判定部２２４は、全ての細胞領域のそれぞれの輝度平均値のうちの最大の値を選択し、その最大の値から一定の値を下回る輝度平均値を有する細胞領域に対応する細胞は、異常であると判定する。例えば、異常判定部２２４は、その最大の値の６０％以下の輝度平均値を有する細胞領域に対応する細部は、異常であると判定する。

このように、異常判定部２２４は、複数の細胞領域のそれぞれの輝度が第２の範囲内にある場合には、その複数の細胞は正常であることを示す判定結果を出力し、その複数の細胞領域のそれぞれの輝度が第２の範囲外である場合には、その複数の細胞は異常であることを示す判定結果を出力する。

なお、上述の例では、異常であるか否かを判定するために、細胞領域の輝度平均値を比較したが、全ての細胞領域のそれぞれの輝度の分散を比較してもよい。輝度の分散あるいは標準偏差を比較する場合は、異常判定部２２４は、細胞領域の分散あるいは標準偏差が、他の細胞領域の分散あるいは標準偏差より一定以上大きい場合、その細胞領域に対応する細胞は異常であると判定する。

図２９は、実施の形態３に係る画像生成装置１０の動作の一例を示すフローチャートである。

（Ｓ１６００）
画像生成装置１０は、実施の形態２と同様、ステップＳ１２００〜Ｓ１５００の処理を行うが、さらに、暗画像における細胞領域に対応する細胞が異常であるか否かを判定する。

ここで、図２９に示すステップＳ１６００の異常細胞検出部２２０の動作の詳細を説明する。

図３０は、異常細胞検出部２２０の動作の一例を示すフローチャートである。

（Ｓ１６０１）
まず、暗画像取得部２２１は、暗画像処理部１２０から暗画像を取得し、領域取得部２２２は、細胞位置特定部２１０の輪郭線推定部２１６によって推定された全ての輪郭線を取得する。そして、領域平均輝度計算部２２３は、その全ての輪郭線のそれぞれによって囲まれた細胞領域を暗画像から取得する。

（Ｓ１６０２）
次に、領域平均輝度計算部２２３は、全ての細胞領域に対して平均輝度値を算出する処理が終了したか否かを判定する。

（Ｓ１６０３）
領域平均輝度計算部２２３は、全ての細胞領域に対して処理が終了していないと判定すると（ステップＳ１６０２のｎｏ）、全ての細胞領域のうち、平均輝度値が算出されていない１つの細胞領域を決定する。

（Ｓ１６０４）
そして、領域平均輝度計算部２２３は、その決定された細胞領域の平均輝度値を算出し、ステップＳ１６０２からの処理を繰り返し実行する。

（Ｓ１６０５）
一方、ステップＳ１６０２において、全ての細胞領域に対して平均輝度値を算出する処理が終了したと判定されると（ステップＳ１６０２のｙｅｓ）、異常判定部２２４は、全ての細胞領域のそれぞれの平均輝度値を判定値と比較する。この判定値は、例えば「全平均値−ＳＤ（標準偏差）」である。

（Ｓ１６０６）
異常判定部２２４は、ステップＳ１６０５の比較によって、全ての細胞領域のそれぞれの平均輝度値が判定値よりも小さいか否かを判定する（ステップＳ１６０６）。

（Ｓ１６０７）
何れかの細胞領域の平均輝度値が判定値よりも小さいと判定すると（ステップＳ１６０６のｙｅｓ）、異常判定部２２４は、その細胞領域に対応する細胞が異常であると判定する。

（Ｓ１６０８）
そして、異常判定部２２４は、その細胞が異常であることを細胞位置特定部２１０の画像合成部２１７に通知する。つまり、異常判定部２２４は、異常と判定された細胞領域を異常領域として画像合成部２１７に出力する。

（Ｓ１６０９）
一方、ステップＳ１６０６において、何れの細胞領域の平均輝度値も判定値以上であると判定すると（ステップＳ１６０６のｎｏ）、異常判定部２２４は、何れの細胞領域にも異常がないことを細胞位置特定部２１０の画像合成部２１７に通知する。つまり、異常判定部２２４は、異常なしを画像合成部２１７に出力する。

図３１は、画像合成部２１７によって生成される合成画像の一例を示す。

画像合成部２１７は、異常細胞検出部２２０の異常判定部２２４から異常領域を取得すると、図３１に示すように、その異常領域の輪郭線が強調された合成画像を生成する。また、画像合成部２１７は、異常領域の重心位置を示すマークが強調された合成画像を生成してもよい。画像合成部２１７は、輪郭線または重心位置を示すマーク（例えば×）を太くすることによって、それらを強調してもよい。また、画像合成部２１７は、その異常領域が他の細胞領域の色と異なる色によって表された合成画像を生成してもよい。また、画像合成部２１７は、その異常領域が点滅によって表された合成画像を生成してもよい。

［効果］
細胞の膜の形状を示す輪郭線では細胞内部の状態はわからない。細胞内部の微細構造物の量は蛍光染色によって確認する必要があった。実施の形態３では、細胞内部の微細構造物を直接観察することは出来ないが、細胞内の微細構造物の量を暗画像の輝度として観察することが出来る。これにより、染色等の細胞に対する処理なしに、細胞内部の微細構造物の量から、細胞の良否の状態を推定することが出来る。

（実施の形態３の変形例）
本変形例では、異常細胞検出部２２０は、あらかじめ定められた判定値を輝度判定基準として保持している。

図３２は、実施の形態３の変形例に係る異常細胞検出部２２０の詳細な構成を示す機能ブロック図である。図３２に示すように、本変形例に係る異常細胞検出部２２０は、上記実施の形態３の異常細胞検出部２２０の全ての構成要素を備えるとともに、さらに、判定基準保持部２２５を備える。

この判定基準保持部２２５は、予め定められた輝度の判定値（例えば１３００）を保持している。

異常判定部２２４は、例えば、細胞領域の平均輝度値がその判定値を下回る場合に、その細胞領域に対応する細胞は異常であると判断する。

図３３は、本変形例に係る異常細胞検出部２２０の動作の一例を示すフローチャートである。

（Ｓ１６１１）
まず、暗画像取得部２２１は、暗画像処理部１２０から暗画像を取得し、領域取得部２２２は、細胞位置特定部２１０の輪郭線推定部２１６によって推定された全ての輪郭線を取得する。そして、領域平均輝度計算部２２３は、その全ての輪郭線のそれぞれによって囲まれた細胞領域を暗画像から取得する。

（Ｓ１６１２）
次に、領域平均輝度計算部２２３は、全ての細胞領域に対して異常の有無の判定処理が終了したか否かを判定する。

（Ｓ１６１３）
領域平均輝度計算部２２３は、全ての細胞領域に対して処理が終了していないと判定すると（ステップＳ１６１２のｎｏ）、全ての細胞領域のうち、判定処理が行われていない１つの細胞領域を決定する。

（Ｓ１６１４）
そして、領域平均輝度計算部２２３は、その決定された細胞領域の平均輝度値を算出する。

（Ｓ１６１５）
次に、異常判定部２２４は、判定基準保持部２２５から判定値を取得し、算出された細胞領域の平均輝度値がその判定値以上か否かを判定する。

（Ｓ１６１６）
細胞領域の平均輝度値が判定値未満であると判定すると（ステップＳ１６１５のｎｏ）、異常判定部２２４は、その細胞領域に対応する細胞が異常であると判定する。そして、異常細胞検出部２２０は、ステップＳ１６１２からの処理を繰り返し実行する。

（Ｓ１６１７）
一方、細胞領域の平均輝度値が判定値以上であると判定すると（ステップＳ１６１５のｙｅｓ）、異常判定部２２４は、その細胞領域に対応する細胞は異常ではないと判定する。そして、異常細胞検出部２２０は、ステップＳ１６１２からの処理を繰り返し実行する。

（Ｓ１６１８）
ステップＳ１６１２において、全ての細胞領域に対して異常の有無の判定処理が終了したと判定されると（ステップＳ１６１２のｙｅｓ）、異常判定部２２４は、ステップＳ１６１６およびＳ１６１７によって判定された結果を、細胞位置特定部２１０の画像合成部２１７に出力する。つまり、ステップＳ１６１６で何れかの細胞が異常であると判定された場合には、異常判定部２２４は、その異常である細胞の細胞領域を異常領域として画像合成部２１７に出力する。

ここで、判定基準保持部２２５は、予め定められた判定値の代わりに、暗画像から判定値を導出してもよい。

図３４は、暗画像の輝度分布を示す。

判定基準保持部２２５は、図３４に示すように、暗画像における全画素の輝度分布において、判定値以下の輝度値を有する画素の数が、暗画像の全画素の７０％になる条件を満たすその判定値を、細胞の異常の有無を判定するための判定値として算出する。

図３５は、判定基準保持部２２５の動作の一例を示すフローチャートである。

（Ｓ１９０１）
判定基準保持部２２５は、暗画像処理部１２０から暗画像取得部２２１を介して暗画像を取得する。

（Ｓ１９０２）
次に、判定基準保持部２２５は、その暗画像における輝度分布に基づいて、設定輝度値以下の輝度値を有する画素の数が、暗画像の全画素の７０％になる条件を満たすその設定輝度値を算出する。

（Ｓ１９０３）
判定基準保持部２２５は、その算出された設定輝度値を、細胞の異常の有無を判定するための判定値として決定する。 （実施の形態４）
実施の形態４では、少なくとも１つの細胞領域のそれぞれについて、その細胞領域の密度を特定して表示する。

図３６は、実施の形態４に係る画像生成装置１０の機能ブロック図である。

実施の形態４に係る画像生成装置１０は、実施の形態２の画像生成装置１０の全ての構成要素を備えるとともに、細胞密度特定部２３０を備える。なお、この細胞密度特定部２３０は、暗画像処理部１２０と同様に、処理回路によって実現される。

［細胞密度特定部］
細胞密度特定部２３０は、暗画像処理部１２０から暗画像を取得し、さらに、細胞位置特定部２１０によって推定された細胞の輪郭線を取得する。そして、細胞密度特定部２３０は、その輪郭線によって囲まれた細胞領域の輝度に基づいて、その細胞領域に対応する細胞の密度を特定し、その密度を表示する。つまり、本実施の形態では、対象物である物質は、細胞を含む胚である。そして、細胞密度特定部２３０は、（ｂ１）暗画像である第３の画像における第１の閾値以上の輝度を有する細胞領域を抽出し、（ｂ２）その細胞領域の輝度に基づいて、細胞の密度を算出する。

図３７は、細胞密度特定部２３０の詳細な構成を示す機能ブロック図である。図３７に示すように、細胞密度特定部２３０は、暗画像取得部２３１、領域取得部２３２、領域平均輝度計算部２３３、密度特定部２３４、および関数記憶部２３５を備える。

暗画像取得部２３１は、暗画像処理部１２０によって生成された暗画像を取得する。

領域取得部２３２は、細胞位置特定部２１０の輪郭線推定部２１６から、推定された全ての輪郭線を取得する。輪郭線は、円周の中心および半径によって定義される。

領域平均輝度計算部２３３は、領域取得部２２２によって取得された全ての輪郭線のそれぞれによって囲まれた細胞領域を暗画像から特定する。そして、領域平均輝度計算部２３３は、特定された全ての細胞領域のそれぞれの平均輝度値を算出する。

関数記憶部２３５は、あらかじめ測定によって定められた平均輝度値と細胞の密度との関係を示す関数を記憶している。なお、関数記憶部２３５は、関数の代わりに、その関係を示す対応表を記憶していてもよい。

密度特定部２３４は、関数記憶部２３５から関数を読み出す。そして、密度特定部２３４は、その関数を参照して、領域平均輝度計算部２３３によって算出された全ての細胞領域のそれぞれの平均輝度値に対応する密度を特定する。密度特定部２３４は、全ての細胞領域のそれぞれに対して特定された密度を、出力部１３０に出力する。

図３８は、関数記憶部２３５に記憶されている関数の一例を示す。

この関数記憶部２３５に記憶されている関数は、正常細胞の平均輝度値に対応する密度として１００％を示す。また、その関数は、正常でない細胞の平均輝度値に対応する密度として、１００％未満の割合を示す。ここで、正常でない細胞は、実験的に正常細胞に含まれる複数の微細構造物のうち特定の物質（ミトコンドリアまたは微小管等）の量を薬物によって減少させた細胞である。つまり、関数は、このような細胞に対して実験的に測定された平均輝度値と、その細胞において減少された物質の量の割合とを対応付けて示す。また、関数記憶部２３５は、細胞種類（例えば初期胚、軟骨細胞、心筋細胞、または神経細胞等）ごとに、その細胞種類に応じた関数を記憶していてもよい。

図３９Ａおよび図３９Ｂは、実施の形態４に係る出力部１３０によって表示される合成画像の一例を示す。

出力部１３０は、例えば、図３９Ａに示すように、細胞領域の重心位置を示すマークおよび輪郭線と、カーソルとが重畳された暗画像を表示する。出力部１３０は、ユーザによる操作に応じてカーソルを移動させ、そのカーソルが当てられている細胞領域に対して特定された密度（例えば４０％）を細胞密度として表示する。また、その細胞密度が異常値に該当する場合には、出力部１３０は、その細胞密度に対応する細胞領域を強調して表示する。異常値は、例えば６０％以下の密度である。また、出力部１３０は、細胞領域を強調するときには、細胞領域の輪郭線の色の変更、反転表示、または点滅によって、その細胞領域を強調する。

また、出力部１３０は、例えば、図３９Ｂに示すように、細胞領域の重心位置を示すマークおよび輪郭線と、カーソルとが重畳された暗画像を表示するとともに、全ての細胞領域に対して特定された密度を細胞密度として表示してもよい。この場合、出力部１３０は、ユーザによる操作に応じてカーソルを移動させ、そのカーソルが当てられている細胞領域に対して表示されている細胞密度を強調する。例えば、出力部１３０は、その細胞密度を反転表示する。また、出力部１３０は、カーソルが当てられている細胞領域を強調して表示してもよい。

［効果］
細胞内部の微細構造物の量は蛍光染色によって確認する必要があった。実施の形態４では、暗画像の輝度と、細胞内の微細構造物の量との関係を実験的に測定した関数をあらかじめ用意し、参照することで、染色等の処理なく、可視光による観察のみで、細胞内部の微細構造物の密度を推定することが出来る。これにより、細胞の良否の状態を推定することが出来る。

（その他の実施の形態）
以上、一つまたは複数の態様に係る画像生成装置について、各実施の形態およびその変形例に基づいて説明したが、本開示は、これらの各実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態またはその変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態または各変形例の画像生成装置などを実現するソフトウェアプログラムは、図１２、図１３、図１６、図２０〜図２２、図２４、図２９、図３０、図３３、および図２５に示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。

また、本開示において、ユニット、デバイスの全部又は一部、又は図２、図９、図１８、図１９、図２７、図２８、図３２、図３６および図３７に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（processor）によって実行された場合に、ソフトウエ
アは、ソフトウエア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行
させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えば
インターフェース、を備えていても良い。

本開示は、例えば培養中の細胞あるいは胚等の細胞塊の画像を生成する装置などに広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。

１０ 画像生成装置
１００ 撮影部
１１０、１２７ 記憶部
１２０ 暗画像処理部
１２１ データ取得部
１２３ 最小値決定部
１２５ 画像生成部
１２６ 画素選択部
１３０ 出力部
１４０ 照明器
１４１ 点光源
１４２ マスク
１６０ 制御部
１５０ イメージセンサ
２１０ 細胞位置特定部
２１１、２２１、２３１ 暗画像取得部
２１２ 閾値決定部
２１３ 細胞数取得部
２１４ クラスタリング部
２１５ 重心計算部
２１６ 輪郭線推定部
２１７ 画像合成部
２２０ 異常細胞検出部
２２２、２３２ 領域取得部
２２３、２３３ 領域平均輝度計算部
２２４ 異常判定部
２２５ 判定基準保持部
２３０ 細胞密度特定部
２３４ 密度特定部
２３５ 関数記憶部

Claims (7)

1. 透光性を有する物質の画像を生成する画像生成装置であって、
   第１の光源と、
   前記第１の光源と所定の距離離れて位置する第２の光源と、
   前記物質が配置されるイメージセンサと、
   前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源および前記第２の光源との間に位置するマスクと、
   処理回路とを備え、
   前記イメージセンサは、
   前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、
   前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、
   ここで、前記イメージセンサは、第１の画素領域及び第２の画素領域を含み、
   前記第１の画素領域と前記第１の光源との間に、前記遮光部分が位置し、
   前記第２の画素領域と前記第２の光源との間に、前記遮光部分が位置し、
   前記処理回路は、
   前記第１の画像における前記第１の画素領域に対応する第１の画素情報と、前記第２の画像における前記第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する、
   画像生成装置。
2. 前記物質は、細胞を含む胚であり、
   前記処理回路は、
   前記第３の画像における第１の閾値以上の輝度を有する領域を、前記細胞の位置する領域と特定する、
   請求項１に記載の画像生成装置。
3. 前記処理回路は、
   前記第３の画像と、前記細胞が位置する領域とを用いて、前記細胞が位置する領域が強調された第４の画像を生成する、
   請求項２に記載の画像生成装置。
4. 前記物質は、複数の細胞を含む胚であり、
   前記処理回路は、
   （ａ１）前記第３の画像における第１の閾値以上の輝度を有する複数の細胞領域を抽出し、
   （ａ２）前記複数の細胞領域のそれぞれの輝度が第２の範囲内にあるか否かを判定し、
   （ａ３）前記判定結果を出力する、
   請求項１に記載の画像生成装置。
5. 前記処理回路は、
   前記（ａ３）において、
   前記複数の細胞領域のそれぞれの輝度が前記第２の範囲内にある場合には、前記複数の細胞は正常であることを示す判定結果を出力し、
   前記複数の細胞領域のそれぞれの輝度が前記第２の範囲外である場合には、前記複数の細胞は異常であることを示す判定結果を出力する、
   請求項４に記載の画像生成装置。
6. 前記物質は、細胞を含む胚であり、
   前記処理回路は、
   （ｂ１）前記第３の画像における第１の閾値以上の輝度を有する細胞領域を抽出し、
   （ｂ２）前記細胞領域の輝度に基づいて、前記細胞の密度を算出する、
   請求項１に記載の画像生成装置。
7. 透光性を有する物質の画像を生成する画像生成方法であって、
   第１の光源と、
   前記第１の光源と所定の距離離れて位置する第２の光源と、
   前記物質が配置されるイメージセンサと、
   前記第１の光源および前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源および前記第２の光源との間に位置するマスクとを用い、
   ここで、前記イメージセンサは、第１の画素領域及び第２の画素領域を含み、
   前記第１の画素領域と前記第１の光源との間に、前記遮光部分が位置し、
   前記第２の画素領域と前記第２の光源との間に、前記遮光部分が位置し、
   （ａ）前記第１の光源が照明されたときに、前記イメージセンサが、前記物質の第１の画像を取得し、
   （ｂ）前記第２の光源が照明されたときに、前記イメージセンサが、前記物質の第２の画像を取得し、
   （ｃ）前記第１の画像における前記第１の画素領域に対応する第１の画素情報と、前記第２の画像における前記第２の画素領域に対応する第２の画素情報とを用いて、第３の画像を生成する、
   画像生成方法。