JP2020060823A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】グレースケール撮像した細胞の蛍光画像から疑似的なカラー画像を高い精度で生成することのできる画像処理技術を提供する。【解決手段】本発明に係る画像処理方法は、グレースケール撮像した細胞の蛍光画像を処理対象画像Ｉｔとして取得する工程と、予め構築された学習モデルに処理対象画像を入力し、学習モデルが出力する画像を結果画像Ｉｃとして出力する工程とを備え、学習モデルは、互いに同一の試料に対応する第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、第１教師画像は試料のグレースケール蛍光画像であってディープラーニングにおいては入力に対応づけられ、第２教師画像は試料のカラー蛍光画像であってディープラーニングにおいては出力に対応づけられる。【選択図】図１

Description

この発明は、細胞の蛍光画像を処理対象とする画像処理方法および画像処理装置に関するものである。

生体から採取された組織や培養された細胞等の生試料を観察する目的においては、細胞を含む試料を蛍光撮像した蛍光画像が用いられることがある。このような蛍光画像は、特定の属性を有する部位（例えば細胞核）において選択的に蛍光発光するようなマーカーを予め細胞に導入しておき（この操作はラベリングとも称される）、励起光照明下で試料を蛍光撮像することにより得られる。

このような蛍光撮像においては、マーカーの発光波長は予めわかっているため、当該波長の光を感度よく検出することができれば足り、高精度な色再現性は必ずしも必要とされない。このことから、例えば特許文献１に記載の撮像装置は、励起光照明下で試料から出射される光のうち特定の波長成分のみが光検出器に受光されるように構成されている。このため、得られる画像はグレースケール画像となる。

特開２０１７−０８３４２６号公報（例えば図６）

上記従来技術では、マーカーの発光波長に適合させた光学フィルタ等を用いることで、当該波長について選択的に高い感度で撮像を行うことが可能となる。その一方で、専用の器具を使用せず、したがってより汎用性が高く簡便な撮像方法としてのフルカラー撮像の需要も大きい。

このようにして得られるグレースケール画像とカラー画像とを直接比較することはできない。仮にグレースケール画像に擬似的な着色を施したとしても、他の色成分は十分に保存されていないため本来の色彩を再現することはできない。また、カラー画像をグレースケール化したとしても、他の波長成分も含めてグレースケール表現されるため、グレースケール撮像された画像との対比に適したものとはならない。

これらのことから、試料をグレースケール撮像して得られるグレースケール蛍光画像と、当該試料をカラー撮像して得られるカラー蛍光画像とを高い精度で結び付けるような画像処理技術の確立が望まれる。

この発明は上記課題に鑑みなされたものであり、グレースケール撮像した細胞の蛍光画像から疑似的なカラー蛍光画像を高い精度で生成することのできる画像処理技術を提供することを目的とする。

この発明に係る画像処理方法の一の態様は、上記目的を達成するため、グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する工程と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料のグレースケール蛍光画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料のカラー蛍光画像であって前記ディープラーニングにおいては出力に対応づけられる。

また、この発明に係る画像処理方法の他の態様は、上記目的を達成するため、細胞を含む試料を蛍光撮像したグレースケール画像およびカラー画像を収集する工程と、互いに同一の前記試料に対応する前記グレースケール画像と前記カラー画像とのセットを教師データとし、前記グレースケール画像を第１教師画像として入力に、前記カラー画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する工程と、前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備えている。

また、この発明に係る画像処理装置の一の態様は、上記目的を達成するため、グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する画像取得部と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料のグレースケール蛍光画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料のカラー蛍光画像であって前記ディープラーニングにおいては出力に対応づけられる。

このように構成された発明では、試料を蛍光撮像したグレースケール蛍光画像である第１教師画像と、同じ試料のカラー蛍光画像である第２教師画像とのセットが教師データとされる。このような教師データに基づくディープラーニングを実行すると、同一試料に対応するグレースケール画像とカラー画像とにそれぞれ現れる形態的特徴に基づきそれらの画像を相互に関連付ける学習モデルが構築されることになる。

このとき、グレースケール画像である第１教師画像を入力に対応させ、カラー画像である第２教師画像を出力に対応させる。そのようにして構築された学習モデルは、あるグレースケール画像が入力されるとそれに対応するカラー画像、つまりグレースケール撮像された試料をカラー撮像したときに得られる画像を模した画像を出力することとなる。

なお、ここでいうカラー画像は、全ての色成分に同一の重みを与える、いわゆるフルカラー画像である必要は必ずしもない。すなわち、特定の波長帯域をフィルタにより通過させあるいは遮断した状態で撮像された画像であってもよい。例えば第２教師画像としてこのようなフィルタ付きで撮像されたカラー画像が使用された場合には、処理対象画像に対して出力される結果画像も、このようなフィルタ付きの条件で試料がカラー撮像されたときの画像を模したものとなる。

被撮像物が種々の色彩を有し得る一般的な画像においては、グレースケール画像から高精度なカラー画像を生成することは非常に難しい。これに対して、画像が細胞の蛍光画像である場合、蛍光の波長は特定されており、また細胞自体の色合いもある程度推定することができる。特に細胞の種類がわかっている場合には、細胞内の構造物がどのような色を有しているかは他の事例から高い精度で推定可能である。したがって、多くの事例を収集することで、このような画像生成は十分に実用的なものとなり得る。

画質の良好な教師データのセットを多数用意し学習を行わせることで、出力画像の精度を高めることが可能である。そして、高度に学習した学習モデルを用いれば、グレースケール撮像された新たな蛍光画像である処理対象画像から、これに対応する疑似的なカラー蛍光画像を生成しそれを結果画像として出力することが可能になる。なおここでいう精度とは、グレースケール蛍光画像が与えられた学習モデルが出力する画像と、当該グレースケール蛍光画像が撮像された試料を実際にカラー撮像して得られるカラー蛍光画像との類似の度合いを意味するものである。

教師付き機械学習により細胞の画像を分類することは以前から行われているが、それらの多くは人為的に選択された特徴量に基づく特徴量空間内でのクラスタリングによるものである。この場合、どのような特徴量を使用するかが分類精度に影響を与えるため、観察対象の細胞が示す特徴に応じて特徴量を決定する必要がある。したがって、運用に当たっては特徴量を選択するための専門的知識が必要となり、また種々の細胞に対する汎用性は必ずしも高くない。

これに対し、ディープラーニングによる本発明では、事前の特徴量の選択が不要であり、教師データとなる画像サンプルを十分に用意することさえできれば、高精度な学習モデルを構築することが可能である。このため、画像に現れる特徴が異なる種々の細胞についても、同一の学習アルゴリズムでの対応が可能となる。

本発明によれば、同一試料に対応するグレースケール蛍光画像とカラー蛍光画像とのセットを教師データとするディープラーニングにより構築された学習モデルを使用することで、未知のグレースケール画像である処理対象画像から、これに対応する疑似的なカラー画像を高い精度で生成することが可能である。

本発明の一実施形態である画像処理プロセスの概念を示す図である。 この画像処理プロセスを示すフローチャートである。 学習モデルを構築するための学習プロセスを示すフローチャートである。 本実施形態が採用する学習モデルの動作を示す模式図である。 本実施形態の画像処理プロセスの作用を示す画像の例である。 本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。

図１は本発明の一実施形態である画像処理プロセスの概念を示す図である。また、図２はこの画像処理プロセスを示すフローチャートである。この画像処理プロセスの目的は、蛍光マーカーを付与された細胞を含む試料を励起光照明下でグレースケール撮像することで得られたグレースケール蛍光画像であるテスト画像Ｉｔから、疑カラー蛍光画像Ｉｃを生成することである。ここでいう「疑カラー蛍光画像」とは、テスト画像Ｉｔが撮像されたものと同じ試料の同じ箇所をカラー撮像した場合に得られる画像を模した疑似的なカラー蛍光画像である。

以下の説明において、「グレースケール蛍光画像に対応するカラー蛍光画像」という表現は、あるグレースケール蛍光画像に対して、当該グレースケール蛍光画像が撮像されたものと同一試料の同一箇所をカラー撮像したときに得られる画像を意味するものとする。また、本明細書では「グレースケール蛍光画像」および「カラー蛍光画像」をそれぞれ「グレースケール画像」および「カラー画像」と略称することがある。

擬カラー蛍光画像Ｉｃを表す画像データは、実際にカラー撮像により得られたデータを使用することなく、グレースケール蛍光画像であるテスト画像Ｉｔの画像データが有する情報に基づいて作成される。擬カラー蛍光画像Ｉｃを高い精度で、すなわち実際にカラー撮像されることにより得られる真のカラー蛍光画像に対し高い類似性を有するように作成することができれば、擬カラー蛍光画像Ｉｃを真のカラー蛍光画像の代替物として利用することが可能となる。その用途としては次のような例が挙げられる。

例えば、複数の試料を比較観察する際に、それらが別の環境で撮像されることでグレースケール画像とカラー画像とが混在することがあり得る。このような場合にも、新たにカラー撮像を行うことなく、グレースケール蛍光画像を擬カラー蛍光画像に変換することにより同じ観察条件での比較が可能になる。また、グレースケール画像のみが保存されている過去の試料についても、これに対応するカラー画像を事後的に作成することが可能となる。

また例えば、１つの試料に対し発光波長の異なる２種類以上のマーカーが付与される場合がある。この場合、波長成分ごとのグレースケール蛍光画像を適宜に着色し合成することで擬似的なカラー画像を生成することは可能であるが、本実施形態の画像処理により擬カラー蛍光画像に変換した上で合成する方が、より本来の試料の色彩に近い画像を生成することが可能である。

また、画像に対し何らかの画像解析処理を施すことで定量的な情報を得ようとする場合がある。例えば画像中の細胞の位置や種別を特定したり、その個数を計数したりする目的の画像解析処理がある。このような処理において、処理のための入力画像としてカラー画像が想定されている場合があり得る。このような処理に際しグレースケール画像しか準備できない場合があったとしても、前処理としてグレースケール画像からカラー画像の生成を行うことによって、良好な結果を得ることが可能になる。

具体的な処理プロセスの概要は以下の通りである。まず対象となるテスト画像Ｉｔが取得される（ステップＳ１０１）。テスト画像Ｉｔは新たに撮像を実行することによって取得されてもよく、また予め撮像され適宜の記憶手段に保存されている画像データを読み出すことにより取得されてもよい。

テスト画像Ｉｔは学習モデル１０に入力される（ステップＳ１０２）。学習モデル１０は、テスト画像Ｉｔに基づき作成した擬カラー蛍光画像Ｉｃを出力する（ステップＳ１０３）。前述のように、擬カラー蛍光画像Ｉｃは、グレースケール撮像されたテスト画像Ｉｔと同一のサンプルの同一箇所がもしカラー撮像されれば得られるであろう画像を、テスト画像Ｉｔが有する情報から推定し作成したものである。学習モデル１０から出力された擬カラー蛍光画像Ｉｃは、本処理の結果画像として、表示手段への表示出力、記憶手段への書き込み、通信回線を介した外部装置への送信出力等の適宜の出力形態でユーザに提示される（ステップＳ１０４）。

グレースケール画像からの擬カラー画像の生成という目的のために、学習モデル１０は、予め収集された教師データを用いたディープラーニングによって構築される。教師データは、細胞を含んで予め用意された学習用の蛍光試料の同一位置に対応するグレースケール蛍光画像である第１教師画像Ｉ１とカラー蛍光画像である第２教師画像Ｉ２とのセットを、多数収集したものである。

このような第１教師画像Ｉ１と第２教師画像Ｉ２との間では、画像内で対応する位置同士を比較することで、試料中の同一オブジェクトをグレースケール撮像した場合とカラー撮像した場合との間での画像への現れ方を相互に関連付けることができる。テスト画像Ｉｔに含まれる細胞の種類が予め特定されている場合には、第１および第２教師画像Ｉ１，Ｉ２についても同種の細胞が含まれていることが好ましい。

第１および第２教師画像Ｉ１，Ｉ２の収集は、以下のようにして行うことができる。例えば、カラー撮像機能およびグレースケール撮像機能を併せ持つ装置であれば、同一試料の同一位置を視野に収めてグレースケール撮像とカラー撮像とをそれぞれ実行することで、１セット分の第１教師画像Ｉ１と第２教師画像Ｉ２とを取得することができる。同一試料で撮像位置を変えて同様に、また別途用意した他の試料についても同様に、グレースケール撮像とカラー撮像とをそれぞれ実行することで、第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを多数収集することができる。また１つの画像内の複数位置から部分画像を切り出してそれらを複数の教師画像としてもよい。

また、カラー撮像された蛍光画像からグレースケール画像を作成することも可能である。例えばカラー画像を適宜の色変換ツールでグレースケール画像に変換してもよい。このようにすれば、撮像済みのカラー画像があればそれから容易に教師データを作成することができ、教師データ作成のためにグレースケール撮像を行う必要はない。例えば既存のカラー画像ライブラリを利用することができれば、多数の教師データを効率よく準備することが可能となり、事例学習の精度向上にも寄与することとなる。この場合、同一試料に対するカラー画像とグレースケール画像との間で細胞の位置が完全に一致するという利点もある。

なお、教師データとしてのカラー画像は、全ての色成分に同一の重みを与えたいわゆるフルカラー画像である必要は必ずしもない。すなわち、特定の波長帯域をフィルタにより通過させあるいは遮断した状態で撮像された画像であってもよい。例えば第２教師画像Ｉ２としてこのようなフィルタ付きで撮像されたカラー画像が使用された場合には、テスト画像Ｉｔに対して出力される結果画像（擬カラー蛍光画像Ｉｃ）も、試料が同様のフィルタを介してカラー撮像されたときの画像を模したものとなる。

このような事例を多数収集して教師データとして用い機械学習を実行することで、例えばグレースケール画像に現れるオブジェクトが、カラー画像においてどのような像として現れるかを類推することが可能となる。このことを利用して、グレースケール画像から疑似的なカラー画像、すなわち本明細書にいう擬カラー蛍光画像を作成することが可能である。特に学習アルゴリズムとしてディープラーニングを用いたとき、画像を解析するための特徴量を人為的に与える必要がないので、用途に応じて適切に特徴量を選定するための専門的知識が不要であり、しかも特徴量の不適切な選択による誤判定の可能性を排除した最適な学習モデルを構築することが可能である。

ディープラーニングの原理や学習アルゴリズムについては種々の公知資料が既に存在しているため、ここでは詳しい説明を省略する。本実施形態において利用可能なディープラーニング手法は特定のアルゴリズムに限定されるものではない。なお本実施形態において特に好適に利用可能な、画像等の対データを入出力に用い対データ間の相関を学習させるディープラーニング手法としては、例えばConditional GANをベースにしたpix2pixとして知られた方法がある（参考文献：Phillip Usola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016、ＵＲＬ：https://arxiv.org/pdf/1611.07004v1.pdf）。

図３は学習モデルを構築するための学習プロセスを示すフローチャートである。上記したように、教師データとなる種々の試料についての蛍光画像を複数収集し（ステップＳ２０１）、これらを教師データとしてディープラーニングを実行することにより、学習モデル１０を構築することができる（ステップＳ２０２）。例えば、互いに同一試料の同一位置をそれぞれグレースケール蛍光撮像およびカラー蛍光撮像することで得られるグレースケール画像とカラー画像とのセットを多数収集することで、教師データを準備することができる。

なおカラー蛍光画像をグレースケール変換して用いる場合、実質的には、第２教師画像Ｉ２となるカラー蛍光画像だけを複数収集すればよいこととなる。こうして収集されたカラー蛍光画像のそれぞれをグレースケール画像に変換したものが、第２教師画像Ｉ２としての当該カラー蛍光画像に対応する第１教師画像Ｉ１として利用可能となるからである。この意味において、ステップＳ２０１は、第２教師画像Ｉ２としてのカラー蛍光画像を収集する工程と、収集されたカラー蛍光画像をグレースケール変換して第１教師画像Ｉ１を生成する工程とを含むものとすることもできる。

図４は本実施形態が採用する学習モデルであるpix2pixアルゴリズムの動作を示す模式図である。図４に示すように、学習モデル１０は、画像生成部１１と、識別部１２と、オプチマイザ１３とを備えている。画像生成部１１は、複数段の畳み込み層で画像特徴を捉えるエンコーダ１１ａと、同じ段数の逆畳み込み層でその特徴から逆演算を行って画像生成を行うデコーダ１１ｂとを有する。

グレースケール画像である第１教師画像Ｉ１が入力画像として画像生成部１１に与えられると、エンコーダ１１ａがその画像特徴を求め、求められた画像特徴に基づきデコーダ１１ｂが画像生成を行って生成画像Ｉｇを出力する。

識別部１２は、画像特徴から入力画像か生成画像かを識別する。具体的には、識別部１２はカラー画像である第２教師画像Ｉ２を識別部１２に入力として本物学習を行う一方、画像生成部１１から出力された生成画像Ｉｇを入力として偽物学習を行う。オプチマイザ１３は、画像生成部１１が出力した生成画像Ｉｇが本物（第２教師画像Ｉ２）に近づくように学習モデルの内部パラメータ調整を行う。これを繰り返すことで学習が進む。十分学習が進めば、学習モデル１０は、未知のグレースケール画像（テスト画像Ｉｔ）からこれに対応する疑似的なカラー画像（擬カラー蛍光画像Ｉｃ）を生成する機能を有することとなる。

このようにして構築された学習モデル１０を用いることで、本実施形態の画像処理プロセスでは、細胞を含む蛍光試料のグレースケール画像がテスト画像Ｉｔとして与えられると、これに対応するカラー画像を模した疑似的な画像である擬カラー蛍光画像Ｉｃを生成し結果画像として出力することが可能である。前記した各事例のように、カラー蛍光画像が必要であるが取得することが難しい場合に上記の画像処理プロセスを実行することで、生成される擬カラー蛍光画像Ｉｃを本来のカラー蛍光画像の代替物として利用することができる。

次に説明するように、良質の教師データを収集して学習モデルを構築すれば、実際のカラー撮像により得られる画像と遜色のない擬カラー画像をグレースケール画像から生成することが可能である。

図５は本実施形態の画像処理プロセスの作用を示す画像の例である。図のＡ欄は、ディープラーニングにおける教師データとして用いられた試料の一例に対応しており、左端の画像は第１教師画像Ｉ１として使用された、当該試料をグレースケール撮像して得られたグレースケール蛍光画像である。また、右端の画像は第２教師画像Ｉ２として使用された、当該試料のカラー撮像により得られたカラー蛍光画像である。これら２つの画像は同一試料の同一位置を撮像範囲として撮像されたものである。一方、中央の画像は、この試料の画像（グレースケール画像およびカラー画像）を含む教師データに基づくディープラーニングの実行により構築された学習モデル１０にこの試料のグレースケール画像（左端に示す画像）をテスト画像として入力して生成された画像（擬カラー蛍光画像）である。

試料としては、培養されたヒーラ（HeLa）細胞に細胞核を染色するマーカーであるHoechst染料が導入されたものを用いた。このような試料では、励起光照明下でHoechst染料に起因する青色の発光が細胞核の位置において生じる。したがって、例えばＲＧＢカラー撮像機能を有する撮像装置では分版された青色（Ｂ）画像を簡易的なグレースケール画像とみなすことも可能である。

Ｂ欄の画像は教師データとして用いられた他の試料の例である。上記と同様に、左端の画像が当該試料のグレースケール画像、右端の画像がカラー画像であり、これらはそれぞれディープラーニングにおける第１教師画像Ｉ１、第２教師画像Ｉ２として用いられたものである。また、中央の画像は、左端のグレースケール画像を学習モデル１０に入力して得られた擬カラー画像である。

本実施形態の画像処理プロセスにおいて使用される学習モデル１０の理想的な動作は、Ａ、Ｂ各欄左端のグレースケール画像が入力されたときに、右端のカラー画像と同じ画像を出力することである。この意味において右端のカラー画像は、本学習モデル１０が出力すべきターゲット画像であると言える。

各欄において、入力画像を与えられた学習モデル１０が学習の結果に基づき生成し出力した中央の生成画像（擬カラー画像）を、実際に試料をカラー撮像して得られた画像である右端のターゲット画像と比較すると、細胞核の位置を示す発光点の位置やその大きさ、明るさ等が極めてよく一致している。このことから、本実施形態の画像処理プロセスがグレースケール画像から生成する擬カラー画像は、実際のカラー撮像により得られるカラー画像の代替物として十分に利用可能なものであると言える。

図５のＣ欄およびＤ欄の画像はそれぞれ教師データとして用いられていない試料の例である。これらにおいても、左端の画像がグレースケール画像、右端の画像がこれに対応するカラー画像であり、中央の画像は左端のグレースケール画像に基づき学習モデル１０が出力した擬カラー画像である。右端のカラー画像は本来必要ではないが、学習モデル１０が生成する擬カラー画像との比較のために取得されたものである。

教師データとして用いられなかった、つまり学習モデル１０にとって未知の入力画像であっても、学習モデル１０が出力した擬カラー画像（中央）は、実際のカラー撮像により得られたカラー画像（右端）とよく似たものとなっている。このことからも、本実施形態の画像処理プロセスが有効な擬カラー画像を生成する機能を有することがわかる。したがって、カラー撮像の結果が存在しないグレースケール蛍光画像から生成される擬カラー蛍光画像についても、実際にカラー撮像されれば得られるであろう画像を精度よく模したものになっていると期待される。

図６は本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。この装置は、本発明に係る画像処理方法を実行可能な画像処理システムの一例である。画像処理システム１００は、本発明に係る画像処理装置の一実施形態であり、データ処理装置１１０および撮像装置１２０を備えている。データ処理装置１１０は、画像処理部１１２を内蔵するＣＰＵ（Central Processing Unit）１１１と、メモリ１１３と、インターフェース１１４と、表示部１１５とを備えている。

ＣＰＵ１１１は、メモリ１１３に予め記憶された所定の制御プログラムを実行することで、上記した画像処理プロセスおよびディープラーニングを実行する。該プロセスにおいて画像データに対する処理は画像処理部１１２により実行される。メモリ１１３はＣＰＵ１１１が実行する制御プログラムや処理により生成されるデータを記憶する。インターフェース１１４は外部装置とのデータ通信を司る。インターフェース１１４はまた、図示しない入力装置（例えばキーボード、マウス等）を介してユーザからの操作入力を受け付ける。表示部１１５は、プロセスの進行状況や結果を表示出力してユーザに報知する。

撮像装置１２０は、例えば撮像機能を備えた顕微鏡装置である。撮像装置１２０は、例えばウェルプレートで培養された細胞等の試料を撮像して画像データを生成し、データ処理装置１１０のインターフェース１１４に送信する。撮像装置１２０が第１教師画像Ｉ１および第２教師画像Ｉ２を収集する目的で設けられる場合、グレースケール撮像機能とカラー撮像機能とを有していることが望ましいが、簡易的にはカラー撮像機能を有していればよい。

一方、撮像装置１２０がテスト画像Ｉｔを撮像することを目的として設けられる場合、グレースケール撮像機能を有していればよく、カラー撮像機能は不要である。言い換えれば、撮像装置１２０がカラー撮像機能を有しているのであれば、グレースケール画像を撮像しそれをテスト画像Ｉｔとして擬カラー画像Ｉｃを生成するという処理を行う必要性が生じない。さらに言い方を変えれば、本実施形態の画像処理を組み込むことにより、撮像装置からカラー撮像機能を省くことができる。これにより、装置の小型化および低コスト化を図ることが可能である。

このように、グレースケール蛍光画像から高精度の擬カラー蛍光画像を生成することができる本実施形態の画像処理をカラー撮像機能のない撮像装置に組み合わせれば、当該撮像装置をカラー撮像機能を有する装置と同様に機能させることが可能である。

なお、画像処理システムの構成は上記に限定されず、例えばデータ処理装置１１０と撮像装置１２０とが一体的に構成されていてもよい。また、例えば過去に撮像された画像データのライブラリを（例えばインターフェース１１４を介して受信することで）利用することができる場合には、画像処理システム１００が撮像機能を有していなくてもよい。このため、本実施形態の画像処理プロセスは、パーソナルコンピュータとして一般的なハードウェア構成を有するコンピュータ装置に、上記処理を実現するための適宜のソフトウェアを実装することによっても実施可能である。

以上のように、この実施形態では、予め収集された同一試料に対応するグレースケール蛍光画像とカラー蛍光画像とのセットを教師データとするディープラーニングにより構築される学習モデル１０が予め準備される。そして、テスト画像Ｉｔとしてのグレースケール蛍光画像が学習モデル１０に入力されると、学習モデル１０は、学習結果に基づき、テスト画像Ｉｔに対応するカラー蛍光画像を疑似的に模した擬カラー蛍光画像Ｉｃを出力する。つまり、学習モデル１０は、蛍光ラベリングが施された細胞を含む試料を励起光照明下でグレースケール撮像したグレースケール画像から、同じ試料に対しカラー撮像を行ったのと同様の画像を作成することができる。

このため、グレースケール画像しか取得できない環境においても、実際にカラー撮像を行うことなく、グレースケール画像から精度の高い擬カラー画像を生成することが可能である。こうして生成される生成画像は、カラー画像が必要とされるが取得不可能な状況において、その代替物として有効に機能し得るものである。また、カラー撮像が実行可能な環境においても、擬カラー画像を利用することで撮像を省略することが可能となる。

以上説明したように、上記の実施形態においては、第１教師画像Ｉ１、第２教師画像Ｉ２およびテスト画像Ｉｔがそれぞれ本発明の「第１教師画像」、「第２教師画像」および「処理対象画像」に相当している。また、擬カラー蛍光画像Ｉｃが本発明の「結果画像」に相当している。また、本発明の「画像処理装置」として機能する図７の画像処理システム１００においては、データ処理装置１１０が本発明の「画像処理部」として機能し、撮像装置１２０が本発明の「画像取得部」として機能している。なお、外部の画像ライブラリ等に記録されている画像データを受け入れて処理する態様においては、外部データを受け入れるインターフェース部１１４が本発明の「画像取得部」として機能することになる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、複数の試料ごとに第１教師画像Ｉ１と第２教師画像Ｉ２とのセットが取得される。しかしながら、同一の試料の互いに異なる位置から複数のセットが取得されてもよい。

また例えば、上記実施形態では、学習モデル１０が生成出力する擬カラー蛍光画像Ｉｃがそのまま表示出力または画像データとして出力される。しかしながら、本実施形態の画像処理は、他の画像処理プロセスの前処理として実行されてもよい。具体的には、例えば生体から採取された組織標本や培養された細胞等の画像に対し画像解析処理を施して細胞の種類を同定したりその個数を計数したりする解析処理のために、本実施形態の画像処理を利用することが可能である。画像解析処理がカラー蛍光画像を対象とするものであるがグレースケール蛍光画像しか入手できないとき、本実施形態の画像処理によりグレースケール蛍光画像から擬カラー蛍光画像を生成し、これを入力画像として解析処理に供するようにすれば、良好な解析結果を得ることが可能となる。

また、カラー蛍光画像を教師画像として構築された学習モデルを用いてグレースケール画像を解析することも可能となる。すなわち、このような学習モデルでは入力画像としてカラー蛍光画像が想定されているが、テスト画像としてのグレースケール画像を上記方法で擬カラー蛍光画像に変換した上で学習モデルの入力画像とすることで、結果的にグレースケール蛍光画像の解析を行うことができる。

また例えば、学習モデルを構築するための処理を実行する装置と、その結果を利用してテスト画像Ｉｔを処理する装置とが異なっていてもよい。例えば、ある画像処理装置においてディープラーニングを実行することで構築された学習モデル１０を他の画像処理装置に移植し、移植先の装置がテスト画像Ｉｔを処理するように構成されてもよい。学習モデルの構築を例えばスーパーコンピュータにより実行するようにすれば、大量のデータを用いて精度の高い学習モデルを構築することが可能となる。一方、構築された学習モデルを利用してテスト画像Ｉｔを処理する装置では、比較的簡単な演算のみで済むため高い演算能力を備える必要がなく、例えば撮像装置に内蔵された比較的単純な演算装置で処理を実行することが可能になる。

また例えば、上記実施形態の画像処理システム１００は、テスト画像Ｉｔを撮像するための撮像装置１２０を備えているが、撮像機能を有していない画像処理装置を構成することも可能である。すなわち、外部の画像ライブラリ等に記録されている画像データを受け入れて処理する画像処理装置によっても、本実施形態の画像処理を実行することが可能である。この場合、外部データを受け入れるインターフェース部が本発明の「画像取得部」として機能することになる。

以上、具体的な実施形態を例示して説明してきたように、この発明において、例えば処理対象画像は、グレースケール撮像機能を有しカラー撮像機能を有さない撮像装置によって撮像されたものであってもよい。本発明ではグレースケール画像である処理対象画像からのデータ処理により疑似的なカラー画像を作成することができるから、カラー撮像機能のない環境下で処理対象画像が撮像される場合に、特に顕著な効果を奏することになる。

また例えば、第１教師画像は、第２教師画像をグレースケール画像に変換した画像であってもよい。カラー画像をグレースケール画像に変換する技術は広く用いられている。このような技術を適用し第２教師画像となるカラー画像から第１教師画像となるグレースケール画像を作成するようにすれば、カラー画像である蛍光画像のみを収集するだけで、実質的には第１教師画像と第２教師画像とのセットが収集されることとなる。したがって教師データを効率よく準備することができる。

また例えば、試料は、処理対象画像の撮像対象となった細胞と同一種類の細胞を含むものであってもよい。細胞の種類によって付与するマーカーを変える必要がある場合があり、それにより当然に蛍光の発光態様も異なる。このことから、処理対象画像内の細胞と同種の細胞を含む試料を撮像した画像を教師データとすることで、より精度の高い、すなわち実際の撮像で得られるカラー蛍光画像との差異の小さい擬カラー蛍光画像を生成することが可能になる。

この発明は、細胞を含む試料を撮像したグレースケール蛍光画像から、実際に撮像することで得られるカラー蛍光画像を模した擬似的なカラー蛍光画像を生成することが可能であり、カラー蛍光画像に基づく観察や画像処理に好適に適用可能である。例えば医療や創薬などの医学分野や生化学分野に広く応用することができる。

１０ 学習モデル
１００ 画像処理システム
１１０ 画像処理装置
１１１ ＣＰＵ
１１２ 画像処理部
１１４ インターフェース
１２０ 撮像装置（撮像部）
Ｉ１ 第１教師画像
Ｉ２ 第２教師画像
Ｉｃ 擬カラー蛍光画像（結果画像）
Ｉｔ テスト画像（処理対象画像）

Claims (6)

1. グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する工程と、
   予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
   を備え、
   前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
   前記第１教師画像は前記試料のグレースケール蛍光画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料のカラー蛍光画像であって前記ディープラーニングにおいては出力に対応づけられる、画像処理方法。
2. 細胞を含む試料を蛍光撮像したグレースケール画像およびカラー画像を収集する工程と、
   互いに同一の前記試料に対応する前記グレースケール画像と前記カラー画像とのセットを教師データとし、前記グレースケール画像を第１教師画像として入力に、前記カラー画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、
   グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する工程と、
   前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
   を備える画像処理方法。
3. 前記処理対象画像が、グレースケール撮像機能を有しカラー撮像機能を有さない撮像装置によって撮像されたものである請求項１または２に記載の画像処理方法。
4. 前記第１教師画像は、前記第２教師画像をグレースケール画像に変換した画像である請求項１ないし３のいずれかに記載の画像処理方法。
5. 前記試料は、前記処理対象画像の撮像対象となった前記細胞と同一種類の細胞を含むものである請求項１ないし４のいずれかに記載の画像処理方法。
6. グレースケール撮像した細胞の蛍光画像を処理対象画像として取得する画像取得部と、
   予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部と
   を備え、
   前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
   前記第１教師画像は前記試料のグレースケール蛍光画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料のカラー蛍光画像であって前記ディープラーニングにおいては出力に対応づけられた、画像処理装置。

Images