JP2019041737A - 画像処理装置、観察装置、及びプログラム - Google Patents

Abstract

【課題】細胞の状態の判定精度を向上する。【解決手段】画像処理装置は、複数の細胞の集合状態に基づいて、複数の細胞が撮像された細胞画像を複数の分割画像に分割する画像分割部と、画像分割部が分割した分割画像毎に、分割画像の階調の調整を実行する画素値演算部と、を備える。【選択図】図２

Description

本発明は、画像処理装置、観察装置、及びプログラムに関するものである。

細胞が撮像された画像を用い、細胞を評価する技術が知られている（特許文献１参照）。細胞を評価する技術は、例えば、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野で用いられている。細胞が撮像された画像を用いた細胞の評価において、評価不良を抑制することが望まれている。

米国特許出願公開第２０１０／０２０８０５２号明細書

本発明の一態様は、複数の細胞の集合状態に基づいて、当該複数の細胞が撮像された細胞画像を複数の分割画像に分割する画像分割部と、画像分割部が分割した分割画像毎に、分割画像の階調の調整を実行する画素値演算部と、を備える画像処理装置である。

本発明の一態様は、培養中の複数の細胞を撮像して細胞画像を生成する撮像部と、上述の画像処理装置とを備える観察装置である。

本発明の一態様は、コンピュータに、複数の細胞の集合状態に基づいて、複数の細胞が撮像された細胞画像を複数の分割画像に分割する画像分割ステップと、画像分割ステップにおいて分割された分割画像毎に、分割画像の階調の調整を実行する画素値演算ステップと、を実行させるためのプログラムである。

本実施形態の観察装置の構成の概要を示す模式図である。 本実施形態の画像処理装置の機能構成を示すブロック図である。 本実施形態の細胞画像の一例を示す図である。 本実施形態の分割画像の一例を示す図である。 本実施形態の細胞画像の一部を拡大した場合の一例を示す図である。 本実施形態の分割画像の大きさの一例を示す図である。 本実施形態の画素値演算部による画素値の補正対象の分割画像の一例を示す図である。 本実施形態の画素値の補正対象の分割画像の一部を拡大した場合の一例を示す図である。 本実施形態の画素値演算部が出力する画像の一例を示す図である。 本実施形態の画像処理装置の動作の一例を示す図である。

［実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。初めに、図１を参照して、本発明の実施形態による観察装置１の構成について説明する。
図１は、本実施形態の観察装置１の構成の概要を示す模式図である。観察装置１は、画像処理装置１０と、表示部２０と、位相差顕微鏡装置３０とを備える。なお、観察装置１は、観察対象である被検体Ｓを拡大する装置でなくても構わない。また、観察装置１は位相差顕微鏡に限られず、例えば、明視野顕微鏡、暗視野顕微鏡、倒立顕微鏡、正立顕微鏡、微分干渉顕微鏡（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｃｏｎｔｒａｓｔ ｍｉｃｒｏｓｃｏｐｅ；ＤＩＣ）、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡でも構わない。また、顕微鏡として、複数の機能を有していても構わない。例えば、蛍光観察と共焦点観察とが可能な機能を有していても構わない。

［位相差顕微鏡装置の構成］
位相差顕微鏡装置３０は、観察対象である被検体Ｓに照明光Ｌを照射し、この被検体Ｓからの透過光Ｌｐの位相差を明暗差に変換することによって得られた被検体Ｓの拡大像を得る。この位相差顕微鏡装置３０の具体的な構成について説明する。

位相差顕微鏡装置３０は、照明光Ｌを出射する光源３１と、光源３１からの照明光Ｌを被検体Ｓに照射する照明光学系３２と、被検体Ｓからの透過光Ｌｐを結像する結像光学系３３と、結像光学系３３により結像された透過光Ｌｐを受光し電気信号に変換して被検体Ｓの画像を生成する固体撮像素子３４とを備えている。

照明光学系３２と結像光学系３３との間には、ステージ３６が配置されている。
ステージ３６は、被検体Ｓが載置される載置面３６ａを有している。また、ステージ３６は、その面内において互いに直交する２つの方向（図１中に示すＸ軸方向及びＹ軸方向）に移動操作される。これにより、被検体Ｓの観察位置を任意に変更することが可能となっている。さらに、ステージ３６は、高さ方向（図１中に示すＺ軸方向）に移動操作される構成であってもよい。

なお、以下において、光源３１から出射された照明光Ｌの光軸（光束の中心軸）をＺ軸方向とし、このＺ軸と直交する面内において互いに直交する２つの方向をＸ軸方向及びＹ軸方向として説明する。なお、光源３１から出射された照明光Ｌを、図１の破線によって模式的に示す。

光源３１は、例えば白色光などの可視光又はその近傍の波長域の光を照明光Ｌとして照射する。光源３１には、反射鏡等を利用して自然光や白色蛍光灯、白色電球などの外部光源からの光を照明光Ｌとして用いることができる。また、光源３１には、ハロゲンランプやタングステンランプなどの内部光源からの光を照明光Ｌとして用いることができる。

また、光源３１には、発光ダイオード（ＬＥＤ）等を用いてもよい。この場合、光源３１は、例えば赤、青、緑の各波長の光を発するＬＥＤの組み合わせにより構成することができる。また、これら波長の異なるＬＥＤの点灯及び消灯を制御することによって、光源３１が発する照明光の波長を可変に制御できるため、このようなＬＥＤを光源３１に用いた場合は、波長フィルタなどの波長変換部材を省略することが可能である。

照明光学系３２には、光源３１側から順に、第１のコンデンサレンズ３７と、第１の空間光変調素子３８と、第２のコンデンサレンズ３９とが配置されている。これらのうち、第１のコンデンサレンズ３７、及び第２のコンデンサレンズ３９は、光源３１から出射された照明光Ｌをステージ３６上の被検体Ｓに集光させる。

第１の空間光変調素子３８は、結像光学系３３の瞳位置に対して共役となる位置に配置されている。第１の空間光変調素子３８は、被検体Ｓに照射される照明光Ｌの光強度分布を可変に調整するもの（絞り）であり、この絞りの開口（照明光Ｌを通過させる領域）３８ａの形状や大きさ等を自由に変化させることが可能である。

結像光学系３３は、上記ステージ３６側から順に、対物レンズ４０と、第２の空間光変調素子４１とが配置されている。

対物レンズ４０は、被検体Ｓからの透過光Ｌｐを固体撮像素子３４の受光面上に結像させる。

第２の空間光変調素子４１は、結像光学系３３の瞳位置又はその近傍に配置されている。また、第１の空間光変調素子３８と第２の空間光変調素子４１とは、互いに共役な位置に配置されている。

第２の空間光変調素子４１は、被検体Ｓからの透過光Ｌｐに付加する位相の空間分布を可変に調整するものであり、透過光Ｌｐに付加する位相を０°又は±９０°に調整する。
具体的に、この第２の空間光変調素子４１は、被検体Ｓからの透過光Ｌｐのうち、被検体Ｓを通過した直接光（０次光）を４分の１波長（±９０°）だけ位相がずれた状態で透過させる位相変調領域４１ａと、この位相変調領域４１ａの周囲に被検体Ｓで回折した回折光をそのままの位相（０°）で透過させる回折光透過領域４１ｂとを有している。

第２の空間光変調素子４１は、この回折光透過領域４１ｂに対して位相変調領域４１ａの形状や大きさ等を自由に変化させることが可能である。また、このような第２の空間光変調素子４１としては、例えば液晶パネル（液晶素子）などを用いることができる。

さらに、第２の空間光変調素子４１は、上述した位相の空間分布と共に、被検体Ｓからの透過光Ｌｐを透過させる透過率の空間分布を可変に調整する機能を有することが好ましい。一般に、第２の空間光変調素子４１を通過する透過光Ｌｐのうち、位相変調領域４１ａを透過する直接光は、回折光透過領域４１ｂを透過する回折光に比べて光強度が強いため、ＮＤフィルタ等を用いて光強度を弱める調整を行う。

なお、このようなＮＤフィルタについては、例えば特表２０１０−５０７１１９号公報に開示されているような透過率の空間分布を可変に調整できる光学素子などを用いることができる。また、上記第２の空間光変調素子４１には、このような光学素子等を付加したものを用いることができる。

固体撮像素子３４は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの受光波長の異なる受光素子を複数有するものからなり、上述した結像光学系３３により結像された透過光Ｌｐを受光し電気信号（画像信号）に変換して、細胞画像ＰＣＬとして画像処理装置１０に出力する。ここで、細胞画像ＰＣＬとは、複数の細胞が撮像された画像である。

以上のような構造を有する位相差顕微鏡装置３０では、光源３１から出射された照明光Ｌが第１のコンデンサレンズ３７を通過することによって、平行な照明光Ｌに変換された後、この平行な照明光Ｌが第１の空間光変調素子３８に入射することになる。そして、この第１の空間光変調素子３８の開口３８ａを通過した照明光Ｌが第２のコンデンサレンズ３９を通過することによって、平行な照明光Ｌに変換された後、この平行な照明光Ｌがステージ３６の載置面３６ａ上に載置された被検体Ｓに照射される。

そして、被検体Ｓからの透過光Ｌｐが対物レンズ４０を通過した後、第２の空間光変調素子４１に入射する。このとき、被検体Ｓからの透過光Ｌｐのうち、位相変調領域４１ａを透過した直接光が、４分の１波長だけ位相がずれた状態で、ＮＤフィルタで減光された後、固体撮像素子３４の受光面上に結像される。一方、回折光透過領域４１ｂを透過した回折光がそのままの位相（０°）で、固体撮像素子３４の受光面上に結像される。位相差顕微鏡では、これら直進光と回折光との干渉によって、位相の変化を光の明暗として観察することが可能である。

[判定対象の細胞について]
ここで、位相差顕微鏡装置３０の被検体Ｓ、すなわち観察装置１の判定対象の細胞の具体例について説明する。
細胞の状態を評価する技術は、医療分野や医薬品のスクリーニングを含む幅広い分野で用いられている。細胞の状態としては、細胞の培養状態が含まれている。例えば、再生医療分野では、in vitroで細胞を増殖、分化させるプロセスが存在する。そして、そのプロセスでは、細胞の分化の成否、細胞の癌化や感染の有無を管理するために、細胞の培養状態を的確に評価することが求められている。その細胞の培養状態を評価する一例として、細胞が撮像された画像を画像処理することによって、細胞の培養状態を判定することが可能である。細胞の培養状態を判定することは、例えば、米国公開公報２０１０／０２０８０５２号に開示されている。
例えば、細胞を培養すると、細胞の密度が増すことにより、細胞同士が重層化することがある。また、色素細胞の場合には、個々の細胞において細胞由来の色素が発現することがある。本実施形態の一例において、被検体Ｓとは、色素細胞である。この一例の場合、色素細胞は、メラニンなどの色素によって黒色化する。また、この色素細胞は、培養状態によっては重層化する場合がある。ここで、細胞同士の重層化の有無や、細胞由来の色素の発現の有無を判定することにより、細胞の培養状態を判定することができる場合がある。しかしながら、色素細胞を撮像した画像の階調値を用い、色素細胞を評価する場合に、色素細胞の状態が黒色化した色素細胞と重層化した色素細胞とで異なるものの、黒色化した色素細胞と重層化した色素細胞とを区別することが困難な場合であった。例えば、細胞同士が重層化した場合と、細胞由来の色素が発現した場合とで、これらの細胞を撮像した画像の明るさが、いずれも低下してしまうことがある。そのため、色素細胞が、黒色化した状態又は重層化した状態かを判定不良を抑制することが望ましい。また、色素細胞が、黒色化した状態または重層化した状態かの判定精度を向上することができることが望ましい。色素細胞が、黒色化した状態又は重層化した状態かを判定することにより、色素細胞を評価することが可能となる。培養した色素細胞である場合には、色素細胞の評価から、培養状態を判定することが可能となる。色素細胞が、黒色化した状態又は重層化した状態のいずれの状態であるかの判定精度を向上させることにより、色素細胞の培養状態判定精度を向上させることができる。以下、色素細胞が、黒色化又は重層化のいずれの状態であるかの判定精度を向上させるための、画像処理装置１０の構成について図２を参照して説明する。

なお、被検体Ｓとして、色素細胞を挙げたがこれに限られない。例えば、神経細胞、血液細胞、心筋細胞がある。
なお、色素細胞の状態として、黒色化した色素細胞と、重層化した色素細胞とを評価したが、評価する色素細胞の状態はこれに限られない。例えば、重層化した色素細胞の重層の程度を評価しても構わない。勿論、評価する色素細胞の状態の種類は２種類よりも多くても構わない。
なお、細胞の状態の評価として、色素細胞を例にし、色素細胞の色情報の変化と、色素細胞の構造的な変化として重層化を評価することとしたが、細胞の状態の評価としてはこれに限られない。例えば、組織内の癌細胞の浸潤度合などの細胞の疾患状態の評価として構わない。
なお、本実施形態では色素細胞の黒色化した色素細胞と、重層化した色素細胞とを評価することで、培養された色素細胞の培養状態もしくは成熟状態を判断したが、これに限られない。組織内の色素細胞が、黒色化した色素細胞か、重層化した色素細胞かを評価することで、例えば組織の良否状態を判断しても構わない。

［判定装置の構成］
図２は、本実施形態の画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、制御部１１と、記憶部１２とを備えている。
記憶部１２には、細胞画像ＰＣＬの画像処理に用いられる画像処理プログラムと、位相差顕微鏡装置３０の制御プログラムとが予め記憶されている。
制御部１１は、ＣＰＵ（Central Processing Unit）を備えており、記憶部１２に記憶されている制御プログラムに従って、位相差顕微鏡装置３０の各部を駆動する。この制御部１１による位相差顕微鏡装置３０の制御の具体的な内容については、既知であるため、その説明を省略する。

制御部１１は、画像分割部１１１と、画素値演算部１１２と、分割サイズ算出部１１３とを、その機能部として備えている。
画像分割部１１１は、位相差顕微鏡装置３０によって撮像された細胞画像ＰＣＬを取得する。この細胞画像ＰＣＬの一例について、図３を参照して説明する。

図３は、本実施形態の細胞画像ＰＣＬの一例を示す図である。この細胞画像ＰＣＬには、領域ＡＲ１と、領域ＡＲ２とが含まれている。ここで、領域ＡＲ１とは、色素細胞が黒色化している領域である。また、領域ＡＲ２とは、色素細胞が重層化している領域である。なお、以下の説明において、各画像内の位置を示す場合には、軸Ｐｘ及び軸Ｐｙを用いた座標によって示す。

図２に戻り、画像分割部１１１は、取得した細胞画像ＰＣＬを、複数の分割画像ＰＤに分割する。この分割画像ＰＤの一例について、図４を参照して説明する。

図４は、本実施形態の分割画像ＰＤの一例を示す図である。この一例において、画像分割部１１１は、細胞画像ＰＣＬを、軸Ｐｘ方向に９分割し、軸Ｐｙ方向に７分割する。具体的には、画像分割部１１１は、軸Ｐｙ方向の１行目について、細胞画像ＰＣＬを、分割画像ＰＤ１１〜分割画像ＰＤ１９に分割する。また、画像分割部１１１は、軸Ｐｘ方向の１列目について、細胞画像ＰＣＬを、分割画像ＰＤ１１〜分割画像ＰＤ７１に分割する。すなわち、この一例において、画像分割部１１１は、細胞画像ＰＣＬを正方格子状に分割する。なお、この分割画像ＰＤの形状は一例であって、分割画像ＰＤは、正方形でなくてもよく、更に、矩形でなくてもよい。

これら分割画像ＰＤのうち、軸Ｐｘ方向に８列目、軸Ｐｙ方向に３行目の分割画像ＰＤ３８について着目する。この分割画像ＰＤ３８は、軸Ｐｘ方向の幅Ｘ_ＰＤ、軸Ｐｙ方向の高さＹ_ＰＤの大きさを有する。なお、この一例においては、分割画像ＰＤ３８以外の各分割画像ＰＤについても、分割画像ＰＤ３８と同一の大きさを有するとして説明するが、これに限られない。分割画像ＰＤは、分割画像ＰＤ毎に、他の分割画像ＰＤとは相違する大きさを有していてもよい。また、分割画像ＰＤを、他の分割画像ＰＤと相違させる場合には、細胞画像に基づいて大きさを変えても構わない。例えば、画像のうち細胞が撮像されている領域のみを分割することで、他の分割画像ＰＤとの大きさを変えても構わない。

図５は、本実施形態の細胞画像ＰＣＬの一部を拡大した場合の一例を示す図である。この細胞画像ＰＣＬには、複数の細胞の画像が含まれている。具体的には、細胞画像ＰＣＬには、細胞ＣＬ１１〜細胞ＣＬ１３、細胞ＣＬ２１〜細胞ＣＬ２３、細胞ＣＬ３１〜細胞ＣＬ３３の各画像が含まれている。これら９個の細胞は、培養された結果、隣接する細胞どうしが接触するまで密集している。ここで、細胞ＣＬ１１、細胞ＣＬ１２、細胞ＣＬ２１及び細胞ＣＬ２２の４個の細胞に囲まれた領域ＧＰ１が生じる。また、細胞ＣＬ１２、細胞ＣＬ１３、細胞ＣＬ２２及び細胞ＣＬ２３の４個の細胞に囲まれた領域ＧＰ２が生じる。以下において、領域ＧＰ１及び領域ＧＰ２を区別しない場合には、領域ＧＰと総称して説明する。

領域ＧＰとは、細胞どうしの間隙を示す領域である。領域ＧＰ１は、細胞ＣＬ１１、細胞ＣＬ１２、細胞ＣＬ２１及び細胞ＣＬ２２の集合状態が密になるほど、その大きさ（例えば、面積）が小さくなる。また、領域ＧＰ１は、細胞ＣＬ１１、細胞ＣＬ１２、細胞ＣＬ２１及び細胞ＣＬ２２の集合状態が疎なるほど、その大きさが大きくなる。領域ＧＰ２についても、領域ＧＰ１と同様に、細胞の集合状態が変化すると、その大きさが変化する。つまり、細胞どうしの間隙の状態は、細胞の集合状態に依存している。

領域ＧＰの大きさは、一例として、領域ＧＰの外接枠の大きさや、領域ＧＰの内接枠の大きさなどによって示すことができる。図５に示す一例において、領域ＧＰ１の大きさは、細胞画像ＰＣＬ内の外接枠ＷＤ１によって示される。具体的には、領域ＧＰ１の大きさは、外接枠ＷＤ１の幅Ｘ_ＷＤ１及び高さＹ_ＷＤ１によって示される。また、領域ＧＰ２の大きさは、細胞画像ＰＣＬ内の内接枠ＷＤ２によって示される。具体的には、領域ＧＰ２の大きさは、内接枠ＷＤ２の幅Ｘ_ＷＤ２及び高さＹ_ＷＤ２によって示される。

図２に戻り、分割サイズ算出部１１３は、細胞画像ＰＣＬに基づいて、分割画像ＰＤの大きさを算出する。この分割サイズ算出部１１３による分割画像ＰＤの大きさの算出について、図６を参照して説明する。

図６は、本実施形態の分割画像ＰＤの大きさの一例を示す図である。分割画像ＰＤの大きさは、領域ＧＰの大きさに基づいて定められる。この一例の場合、分割画像ＰＤの大きさは、幅Ｘ_ＰＤ、高さＹ_ＰＤである。ここで、分割画像ＰＤの大きさは、領域ＧＰの外接枠ＷＤ１及び内接枠ＷＤ２のいずれの大きさよりも大きい。具体的には、分割画像ＰＤの幅Ｘ_ＰＤは、外接枠ＷＤ１の幅Ｘ_ＷＤ１及び内接枠ＷＤ２の幅Ｘ_ＷＤ２のいずれよりも大きい。また、分割画像ＰＤの高さＹ_ＰＤは、外接枠ＷＤ１の高さＹ_ＷＤ１及び内接枠ＷＤ２の高さＹ_ＷＤ２のいずれよりも大きい。なお、分割画像ＰＤの大きさは、内接枠ＷＤ２よりも大きければよい。例えば、分割画像ＰＤの大きさは、内接枠ＷＤ２よりも大きければ、外接枠ＷＤ１よりも小さくてもよい。

分割サイズ算出部１１３は、細胞画像ＰＣＬを取得し、取得した細胞画像ＰＣＬの中から、領域ＧＰを抽出する。具体的には、分割サイズ算出部１１３は、細胞画像ＰＣＬに対して、２値化やフィルタリングなどの既知の画像処理を施すことにより、領域ＧＰを抽出する。より具体的には、分割サイズ算出部１１３は、取得した細胞画像ＰＣＬのうち、細胞の画像と、細胞以外の画像（例えば、領域ＧＰ）とをそれぞれ抽出する。また、分割サイズ算出部１１３は、抽出した細胞の画像に囲まれる細胞以外の画像の大きさを算出する。この面積は、上述した領域ＧＰの外接枠の大きさであってもよく、領域ＧＰの内接枠の大きさであってもよい。分割サイズ算出部１１３は、算出した領域ＧＰの大きさに基づいて、分割画像ＰＤの大きさを算出する。換言すれば、分割画像ＰＤの大きさは、細胞の集合状態に基づいて定められている。また、分割サイズ算出部１１３は、算出した領域ＧＰの大きさよりも、分割画像ＰＤの大きさを大きくして、分割画像ＰＤの大きさを算出する。つまり、分割画像ＰＤの大きさは、細胞どうしの間隙の大きさよりも大きくして定められている。

分割画像ＰＤの大きさが、領域ＧＰの大きさ、すなわち細胞どうしの間隙の大きさよりも大きいことは、分割画像ＰＤには、いずれかの細胞の画像が含まれることを意味している。換言すれば、分割画像ＰＤの大きさが、領域ＧＰの大きさよりも大きいことは、分割画像ＰＤには、いずれの細胞の画像も含まれずに細胞どうしの間隙のみが含まれる、ということが無いことを意味している。

すなわち、画像分割部１１１は、複数の細胞の集合状態に基づいて、当該複数の細胞が撮像された細胞画像ＰＣＬを複数の分割画像ＰＤに分割する。具体的には、画像分割部１１１は、分割サイズ算出部１１３が算出した分割画像ＰＤの大きさＰＳＺに基づいて、細胞画像ＰＣＬを複数の分割画像ＰＤに分割する。

なお、この一例では、分割サイズ算出部１１３が、分割画像ＰＤの大きさを算出する場合について説明したがこれに限られない。分割画像ＰＤの大きさは、細胞画像ＰＣＬに撮像されている細胞の種類などに応じて、予め定められていてもよい。また、分割画像ＰＤの大きさを示す情報が、記憶部１２に予め記憶されていてもよい。分割画像ＰＤの大きさを示す情報が、予め定められている場合には、分割サイズ算出部１１３は、省略可能である。

図２に戻り、画像分割部１１１は、分割したそれぞれの分割画像ＰＤを、画素値演算部１１２に出力する。
画素値演算部１１２は、画像分割部１１１が分割した分割画像ＰＤ毎に、分割画像ＰＤの画素値を演算する。ここで、画素値を演算することには、画素値の階調の調整を実行することが含まれる。この分割画像ＰＤの画素値とは、分割画像ＰＤに含まれる各画素の画素値の代表値である。この代表値には、分割画像ＰＤに含まれる各画素の画素値の平均値、最大値、最小値、最頻値などが含まれる。また、ここでいう画素値には、画素の輝度、画素の明るさ、明度、彩度、ＲＧＢ値、コントラストなどが含まれる。
本実施形態では、画像を２５６の階調で表すことができる。階調とは画素の色もしくは明るさの変化の段階である。すなわち、本実施形態では、画素の色もしくは明るさを２５６段階で表現することができる。本実施形態では、撮像素子は光の三原色のＲＧＢそれぞれを２５６段階で表現することができる。本実施形態では、ＲＧＢの三色をそれぞれ２５６段階で表現できるので、合計２５６×２５６×２５６色となり、約１６７８万色を表現することができる。なお、階調は２５６段階に限られず、１６階調でも構わない。
画素値演算部１１２が行う、画素値の階調の調整には、例えば、階調を調整する対象画像の画素の輝度の変化を２５６段階で表現することが含まれる。この場合に、対象画像のうち、最も輝度値の大きい画素と、最も輝度値の小さい画素との間の輝度値を２５６段階で表現する。２５６段階で表現する場合には、最も輝度値の大きい値と、最も輝度の小さい値との間の輝度を２５６段階で分割し、輝度の変化を表現する。２５６段階で分割する場合には一定の輝度の変化毎に段階を変更する。もちろん、輝度の値に応じて変更する段階を調整しても構わない。例えば、輝度の値の範囲が所定範囲内である場合に、１段階で表現する輝度の値の範囲を変更しても構わない。

つぎに、画素値演算部１１２による画素値の演算の一例を示す。画素値演算部１１２は、例えば、ＲＧＢもしくは明るさの階調を調整することができる。この一例では、画素値演算部１１２は、トーンカーブによる演算を行う。トーンカーブは、例えば、特開２０１４−２０４３９１号、特開２０１６−８６２７０号、特開２０１６−２３３３３８号、特開２０１５−１２００９２号に記載されている。具体的には、画素値演算部１１２は、分割画像ＰＤに含まれる各画素の輝度値の平均値Ｙ_ａｖｇを算出する。
また、画素値演算部１１２は、算出した平均値Ｙ_ａｖｇを次の式（１）に代入することにより、式（１）に示す各パラメータを算出する。

次に、画素値演算部１１２は、算出した各パラメータと、分割画像ＰＤに含まれる画素毎のＲＧＢ値ｒ_ｘとを次の式（２）に代入することにより、演算後のＲＧＢ値Ｒ_ｘを算出する。

なお、画素値演算部１１２は、算出したＲＧＢ値Ｒ_ｘを更に補正してもよい。例えば、画素値演算部１１２が、分割画像ＰＤ毎にトーンカーブによる演算を行うと、隣接する分割画像ＰＤ間において、ＲＧＢ値Ｒ_ｘに急激な変化が生じる場合がある。この場合、画素値演算部１１２は、隣接する分割画像ＰＤ間のＲＧＢ値Ｒ_ｘの変化に基づいて、ＲＧＢ値Ｒ_ｘを補正する。このようにしてＲＧＢ値Ｒ_ｘの補正を行うことにより、画素値演算部１１２は、ＲＧＢ値Ｒ_ｘに急激な変化が生じることを低減することができる。より具体的な一例について、図７及び図８を参照して説明する。

図７は、本実施形態の画素値演算部１１２による画素値の補正対象の分割画像ＰＤの一例を示す図である。画素値演算部１１２は、隣接する分割画像ＰＤ間において、画素値の変化を低減させる画像処理を行う。具体的には、画素値演算部１１２は、分割画像ＰＤ_Ａと分割画像ＰＤ_Ｂとの間において、ＲＧＢ値Ｒ_ｘの補正を行う。この一例において、分割画像ＰＤ_Ａは、領域Ａ１、領域Ａ２、領域Ａ３及び領域Ａ４の４つの補正対象領域に分割されている。

図８は、本実施形態の画素値の補正対象の分割画像ＰＤの一部を拡大した場合の一例を示す図である。この一例において、分割画像ＰＤ_Ａのうち領域Ａ１は、軸Ｐｘ方向に８分割され、軸Ｐｙ方向に８分割されている。画素値演算部１１２は、式（３）に基づいて、補正後の輝度値の平均値Ｙ_ａｖｇを算出する。

なお、この一例の場合、式（３）において、補正対象領域とは、分割画像ＰＤ_Ａのうち領域Ａ１であり、参照する領域とは、分割画像ＰＤ_Ｂである。また、Ｐｘ方向の領域の分割数及びＰｙ方向の領域の分割数は、いずれも８である。このようにして画素値演算部１１２が画素値を補正することにより、隣接する分割画像ＰＤ間において、画素値に急激な変化が生じることを低減することができる。
本実施形態においては、分割画像ＰＤの輝度値の平均値を用いていたが、これに限られない。分割画像ＰＤの画素の輝度値の中央値でも構わない。また、画素値は輝度に限られず、ＲＧＢ値でも構わない。勿論、画素値の複数の値を用いても構わない。

図２に戻り、画素値演算部１１２は演算結果である結果画像ＰＲを生成し、生成した結果画像ＰＲを、表示部２０に出力する。表示部２０は、結果画像ＰＲを表示する。この結果画像ＰＲの一例について、図９を参照して説明する。

図９は、本実施形態の画素値演算部１１２が出力する結果画像ＰＲの一例を示す図である。この結果画像ＰＲには、図３に示す細胞画像ＰＣＬに含まれる領域ＡＲ１に対応する領域ＡＲ１０と、図３に示す細胞画像ＰＣＬに含まれる領域ＡＲ２に対応する領域ＡＲ２０とが含まれる。上述したように、画素値演算部１１２は、分割画像ＰＤの画素値を演算して階調を調整することにより、結果画像ＰＲを生成する。つまり、画素値演算部１１２は、領域ＡＲ１の各分割画像ＰＤの画素値を、領域ＡＲ１０の各分割画像ＰＤの画素値に変換する。画素値演算部１１２は、領域ＡＲ２の各分割画像ＰＤの画素値を、領域ＡＲ２０の各分割画像ＰＤの画素値に変換する。

ここで、結果画像ＰＲは、画素値演算部１１２によってトーンカーブなどを用いたコントラスト強調処理が施されている。つまり、画素値演算部１１２は、細胞画像ＰＣＬにおいて淡い画像領域がより淡く、濃い画像領域がより濃くなるように演算して、結果画像ＰＲを生成する。すなわち、画素値演算部１１２がトーンカーブなどを用いて、画素値を補正することにより、画像の階調の見え方が補正される。結果画像ＰＲは、画素値演算部１１２により、画像の階調値を調整した画像である。したがって、調整前の画像の所定の画素の輝度の階調値と、調整後の画像の所定の画素の輝度の階調値とが異なる。もちろん、画素値演算部１１２はすべての画素の階調値を、調整前と調整後とで変えなくても構わない。調整対象の画像のうち、一部の画素のみが調整前と調整後とで画素の階調値が変わっても構わない。

細胞画像ＰＣＬにおいて、色素細胞が黒色化している領域は、重層化している領域に比べて、濃い画像領域である場合がある。この場合には、画素値演算部１１２によってコントラスト強調処理が施されることにより、色素細胞が黒色化している領域がより濃く、重層化している領域がより淡くなるようにして画素値が変換された結果画像ＰＲが生成される。したがって、色素細胞の黒色化している領域を表す階調値が、細胞画像ＰＣＬと結果画像ＰＲとで異なる。また、色素細胞の重層化している領域を表す階調値が、細胞画像ＰＣＬと結果画像ＰＲとで異なる。この場合に、細胞画像ＰＣＬにおける黒色化している領域の階調値と重層化している領域の階調値の差と、結果画像ＰＲにおける黒色化している領域の階調値と重層化している領域の階調値の差とが異なる。細胞画像ＰＣＬにおける黒色化している領域の階調値と重層化している領域の階調値との差は、結果画像ＰＲにおける黒色化している領域の階調値と重層化している領域の階調値との差よりも小さい。したがって、画像を用い、色素細胞の黒色化している領域と色素細胞の重層化している領域との画像上で領域の判別をする場合に、結果画像ＰＲを用いたほうが細胞画像ＰＣＬよりも容易に判別することができる。

［画像処理装置１０の動作］
次に、画像処理装置１０の動作の流れについて図１０を参照して説明する。
図１０は、本実施形態の画像処理装置１０の動作の一例を示す図である。画像分割部１１１は、位相差顕微鏡装置３０から、細胞画像ＰＣＬを取得する（ステップＳ１０）。次に、画像分割部１１１は、ステップＳ１０において取得した細胞画像ＰＣＬのうち、細胞がパッキングされている領域を抽出する（ステップＳ２０）。ここで、細胞がパッキングされている領域とは、細胞画像ＰＣＬのうち、複数の細胞が密集している領域である。つまり、細胞がパッキングされている領域とは、細胞画像ＰＣＬのうち、細胞の集合状態が密である領域である。
なお、本実施形態では、細胞画像ＰＣＬのうち、細胞の集合状態が密である領域を抽出しているが、手法はこれに限られない。例えば、細胞画像ＰＣＬのうち、細胞の集合状態が疎である領域を抽出し、それ以外の領域が細胞の集合状態が疎であると推定し、領域を指定しても構わない。

次に、分割サイズ算出部１１３は、細胞画像ＰＣＬを取得し、取得した細胞画像ＰＣＬに基づいて、分割画像ＰＤの大きさを算出する（ステップＳ３０）。この一例では、分割サイズ算出部１１３は、分割画像ＰＤの大きさを、細胞どうしの間隙の大きさよりも大きくして算出する。

なお、分割サイズ算出部１１３は、細胞画像ＰＣＬのうち、ステップＳ２０において抽出されたパッキングされている領域の画像に基づいて、分割画像ＰＤの大きさを算出してもよい。このように構成することにより、分割サイズ算出部１１３は、分割画像ＰＤの大きさを、細胞の密度が高い領域の画像に基づいて算出することができる。つまり、分割サイズ算出部１１３は、細胞の密度が低い領域の画像の影響を低減して、分割画像ＰＤの大きさを算出することができる。一例として、分割サイズ算出部１１３は、細胞密度の高い領域と細胞密度の低い領域とを含む細胞画像ＰＣＬから、細胞密度の高い領域の分割画像を算出することができる。したがって、画像処理装置１０によると、色素細胞の黒色化や重層化が、細胞の密度が高い領域において生じている場合には、色素細胞が黒色化又は重層化のいずれの状態であるかを精度よく判定することができる。

次に、画像分割部１１１は、ステップＳ３０において算出された分割画像ＰＤの大きさに基づいて、細胞画像ＰＣＬを分割画像ＰＤに分割する（ステップＳ４０）。
次に、画素値演算部１１２は、ステップＳ４０において分割された分割画像ＰＤ毎に、分割画像ＰＤの画素値を算出（ステップＳ５０）することにより、結果画像ＰＲを生成し、処理を終了する。
本実施形態においては、細胞密度の高い領域と細胞密度の低い領域とを含む細胞画像ＰＣＬから、分割画像を作成した。分割画像は、細胞の集合状態に基づいて分割されるので、細胞密度の高い領域の分割画像を作成することが可能である。分割画像において、細胞密度の高い領域の分割画像の階調値を調整する。この場合に、細胞密度の低い領域を含まないので、細胞密度の高い領域のみの画素の情報に基づいて、画像の階調値を調整することが可能である。したがって、細胞密度の高い領域に着目して、階調値の調整を実行することができたので、細胞密度の高い領域を示す画素値の階調を調整することができるので、細胞密度の高い領域に含まれる細胞の構造を明らかとすることができた。なお、細胞密度の低い領域の分割画像においても同様に、細胞密度の低い領域のみの画素の情報に基づいて、画像の階調値の調整を実行することができるので、細胞密度の低い領域に含まれる細胞の構造を明らかとすることができた。さらに、本実施形態においては、分割画像内で階調の調整を行い、隣接する分割画像ＰＤ間において、画素値の階調の変化を低減させる画像処理を行った。隣接する分割画像間で、画素値の階調の急激な変化が抑制された複数の分割画像から構成される画像を作成することができる。これにより、評価対象の画像に、異なる細胞密度領域がある場合でも、細胞の密度状態に応じた階調の調整を行い、その行った分割画像を統合するので、細胞の構造を明らかとすることが可能である。

以上説明したように、画像処理装置１０は、画像分割部１１１と画素値演算部１１２とを備えている。この画像分割部１１１は、複数の細胞の集合状態に基づいて、細胞画像ＰＣＬを複数の分割画像ＰＤに分割する。また、画素値演算部１１２は、画像分割部１１１が分割した分割画像ＰＤ毎に画素値を演算して、結果画像ＰＲを生成する。したがって、画像処理装置１０によれば、分割画像ＰＤの画素値の演算を、複数の細胞の集合状態に基づいて行うことができるため、隣接する細胞の相対的な位置関係に応じて分割画像ＰＤの画素値の演算を行うことができる。このように構成することにより、画像処理装置１０は、細胞の培養状態の判定精度を向上可能な画像を提供することができる。すなわち、画像処理装置１０によれば、細胞の状態の判定精度を向上することができる。例えば、観察対象の細胞が培養されている場合には、細胞の培養状態の判定精度を向上することができる。

また、画像処理装置１０は、画像分割部１１１が、細胞どうしの間隙の状態に基づいて、細胞画像ＰＣＬを複数の分割画像ＰＤに分割する。このように構成することにより、画像処理装置１０は、細胞の内部の画像と、細胞の外部の画像とを区別して、画素値を演算することができる。したがって、画像処理装置１０によれば、細胞画像ＰＣＬに撮像されている画像が、細胞の内部の画像であるか、細胞の外部の画像であるかの判定を容易にすることができる。

また、画像処理装置１０において、分割画像ＰＤの大きさが、細胞どうしの間隙の大きさよりも大きくして定められている。このように構成することにより、画像処理装置１０は、細胞以外の画像のみが分割画像ＰＤに含まれることを低減することができる。したがって、画像処理装置１０によれば、分割画像ＰＤには細胞の画像が含まれるため、細胞の画像の特徴をより多く捉えた結果画像ＰＲを生成することができる。したがって、画像処理装置１０は、細胞の培養状態の判定精度を向上可能な画像を提供することができる。すなわち、画像処理装置１０によれば、細胞の培養状態の判定精度を向上することができる。

また、画像処理装置１０は、分割サイズ算出部１１３を備えている。この分割サイズ算出部１１３は、細胞画像ＰＣＬに基づいて、分割画像ＰＤの大きさを算出する。この分割サイズ算出部１１３を備えることにより、画像処理装置１０は、細胞画像ＰＣＬに撮像されている細胞の種類が予め特定されていなくても、分割画像ＰＤの大きさを細胞の集合状態に応じて定めることができる。

なお、本発明の実施形態における観察装置１又は画像処理装置１０の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。

１…観察装置、１０…画像処理装置、１１１…画像分割部、１１２…画素値演算部、１１３…分割サイズ算出部、２０…表示部、３０…位相差顕微鏡装置

Claims (10)

1. 複数の細胞の集合状態に基づいて、当該複数の細胞が撮像された細胞画像を複数の分割画像に分割する画像分割部と、
   前記画像分割部が分割した前記分割画像毎に、前記分割画像の階調の調整を実行する画素値演算部と、
   を備える画像処理装置。
2. 前記細胞の集合状態には、細胞どうしの間隙の状態が含まれ、
   前記画像分割部は、
   前記細胞どうしの間隙の状態に基づいて、前記細胞画像を複数の前記分割画像に分割する
   請求項１に記載の画像処理装置。
3. 前記分割画像の大きさが前記細胞の集合状態に基づいて定められている
   を備える請求項１又は請求項２に記載の画像処理装置。
4. 前記細胞の集合状態には、細胞どうしの間隙の大きさが含まれ、
   前記分割画像の大きさは、前記細胞どうしの間隙の大きさよりも大きくして定められている
   請求項３に記載の画像処理装置。
5. 前記細胞画像に基づいて、前記分割画像の大きさを算出する算出部
   を備える請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記分割画像の階調の調整は、前記分割画像の色調を調整する、請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記分割画像の階調の調整は、前記分割画像のコントラストを調整する、請求項１から請求項６のいずれか一項に記載の画像処理装置。
8. 前記分割画像の階調の調整は、トーンカーブを用いて調整する、請求項１から請求項７のいずれか一項に記載の画像処理装置。
9. 培養中の複数の細胞を撮像して前記細胞画像を生成する撮像部と、
   請求項１から請求項８のいずれか一項に記載の画像処理装置と
   を備える観察装置。
10. コンピュータに、
    複数の細胞の集合状態に基づいて、当該複数の細胞が撮像された細胞画像を複数の分割画像に分割する画像分割ステップと、
    前記画像分割ステップにおいて分割された前記分割画像毎に、前記分割画像の階調の調整を実行する画素値演算ステップと、
    を実行させるためのプログラム。

Images