JP2013137635A - 画像表示装置および画像表示方法 - Google Patents

Abstract

【課題】試料保持プレートの窪部を撮像した画像を表示する技術において、ユーザが種々の観点から画像を観察・比較することができるような表示機能を有する画像表示装置または画像表示方法を提供する。
【解決手段】マイクロプレート全体を撮像してなる全体画像から、各ウェルに対応する領域を切り出す。各ウェルの画像に対して、ユーザにより指定された分類基準による分類結果に基づく色付けや輪郭強調等の画像処理を施して素材画像を作成し、マイクロプレート上での配列順に沿った配列で素材画像を配列した表示用画像を作成して表示する。異なる分類基準で分類した結果を並べて表示することで、異なる観点からの比較観察を容易にする。
【選択図】図６

Description

この発明は、試料保持プレートの窪部を撮像した画像に所定の画像処理を施し、その結果を反映させた画像を表示する画像表示装置および画像表示方法に関するものである。

医療や生物科学の実験においては、例えばウェルとも称される窪部を多数配列して設けたプレート状の器具（例えばマイクロプレート、マイクロタイタープレート等と呼ばれる）の各ウェルに液体（例えば培養液）や培地等を注入し、ここで培養した細胞等を観察することが行われる。このような技術では、例えば試料に対する前処理や試薬の使用によって特定の分子を蛍光発光させるなどの方法が従来から行われてきた。また近年では、試薬を用いず簡便で低コストな方法として、画像処理技術を利用して原画像を解析し表示する技術も検討されている。例えば特許文献１に記載の画像処理システムでは、複数の生細胞を観測試料としてその画像を撮像し、該画像を解析することによって認識した細胞領域をその特徴量に応じて色付けした画像を表示させるように構成されている。

特開２００６−３５０７４０号公報

上記従来技術は、二次元的に培養された試料を個々の細胞が認識できる程度の高解像度で撮像した画像を対象とするものである。一方、より生体内の状況に近い状態での実験を行うために、三次元的に培養された細胞の集塊を観察の対象とすることがある。このような場合、個々の細胞レベルの情報よりも細胞集塊に関する情報が重要である。また、このような細胞集塊レベルでの画像の評価方法については未だ基準が確立されていないことから、予め定められたルールで画像を解析するだけでなく、ユーザが種々の観点から画像を観察・比較することができるような表示機能を有する装置が切望されている。しかしながら、上記特許文献１に記載のものをはじめ、従来の技術においては、このようなニーズに応えることのできる機能を備えたものはなかった。

この発明は上記課題に鑑みなされたものであり、試料保持プレートの窪部を撮像した画像を表示する技術において、上記のようなユーザの要求に応えることのできる画像を表示する画像表示装置または画像表示方法を提供することを目的とする。

この発明の一の態様は、試料を保持するための窪部が複数配列された試料保持プレートの各窪部を撮像してなる画像を表示する画像表示装置であって、上記目的を達成するため、一の前記窪部を撮像した原画像に対して当該原画像の内容に応じた視覚情報を付与する画像処理を施した素材画像を作成するとともに、互いに異なる複数の前記素材画像を配した表示用画像を作成する画像処理手段と、前記表示用画像を表示する表示手段とを備えている。

また、この発明の他の態様は、試料を保持するための窪部が複数配列された試料保持プレートの各窪部を撮像してなる画像を表示する画像表示方法であって、上記目的を達成するため、一の前記窪部を撮像した原画像に対して当該原画像の内容に応じた視覚情報を付与する画像処理を施した素材画像を作成するとともに、互いに異なる複数の前記素材画像を同一フレーム内に配した表示用画像を作成する画像作成工程と、前記表示用画像を表示する表示工程とを備えている。

これらの発明において、前記表示用画像は、（１）互いに異なる前記窪部に対応する前記原画像のそれぞれに対して同一の画像処理を施してなる複数の前記素材画像、（２）同一の前記原画像に対して互いに異なる画像処理を施してなる複数の前記素材画像、の少なくとも一方を含むものである。このように、画像処理に基づく視覚情報が付与された素材画像を複数配した画像を提示することで、この発明では、窪部を撮像してなる画像を種々の観点から比較したいというユーザの要求に応じた画像表示装置または画像表示方法を提供することが可能となっている。すなわち、上記（１）の素材画像を複数配置した画像を表示することによって、例えば異なる条件で作成した試料を同一条件で比較観察することができるようになる。また、上記（２）の素材画像を複数配置した画像を表示することによって、同一の試料を同時に異なる観点から比較観察することができるようになる。

ここで、素材画像に視覚情報を付与する手段としては、例えば、色分け、塗り潰し、明度の変更、輪郭の強調、囲み枠やポインタの付加、テキスト情報の付加などによるものやそれらの組み合わせによるものを用いることが可能である。

ここで、例えば、素材画像の選択および画像処理の内容の選択の少なくとも一方に関するユーザからの指示入力を受け付け、該指示入力に応じた表示用画像を作成するようにしてもよい。このような構成とすることにより、ユーザの多様な要求に応じた種々の画像を適宜表示して、ユーザの作業を効率的に支援することが可能となる。

また、上記した画像表示装置において、例えば、画像処理手段は、原画像内で特定の光学的特性を有する特定部位を検出する特定部位検出部と、検出された特定部位の特徴量を算出する特徴量算出部と、算出された特徴量の値に応じた視覚情報を原画像に付与する視覚情報付与部とを備えるようにしてもよい。このようにすると、画像内に含まれる特定の特徴を有する部位（特定部位）を他の部分と容易に区別することが可能となる表示用画像をユーザに提示することができる。

この場合において、視覚情報付与部は、例えば原画像内の特定部位に対応する位置に、当該特定部位について算出された特徴量の値に応じた視覚情報を付与するようにしてもよい。これにより、ユーザは特定部位の分布状況を容易に把握することができ、しかも複数の素材画像間での分布状態の比較も容易に行うことが可能となる。

また、この発明において、例えば、互いに異なる窪部に対応する複数の素材画像を試料保持プレートにおける各窪部の配列順序に対応させて配置した表示用画像を作成するようにしてもよい。このようにすると、ユーザは表示された素材画像相互の関係性を容易に把握することが可能であり、比較観察を効率的に行うことができる。

また例えば、同一の原画像に対して互いに異なる特徴量に基づく視覚情報がそれぞれ付与された複数の素材画像を含むように、表示用画像を作成してもよい。このようにすると、１つの試料を異なる観点から処理した素材画像が同時に表示されるため、ユーザは当該試料の観察をより効率よく行うことが可能となる。

また例えば、表示用画像における素材画像の表示倍率を変更設定可能として、設定された表示倍率に応じて素材画像に付与する視覚情報を異ならせるようにしてもよい。こうすることで、ユーザにとってより視認しやすい表示用画像を提示することが可能となる。

また例えば、同一の原画像内の同一の一部領域に互いに異なる画像処理を施してなる複数の素材画像を含む表示用画像を作成するようにしてもよい。観察の目的によっては、ユーザが原画像のうちの一部領域のみを表示させることを望む場合がある。このような場合に、原画像の一部領域に対応する複数の素材画像が互いに同一領域を表すものとすることによって、ユーザによる観察をより効率的に支援することが可能となる。

また例えば、素材画像と、当該素材画像の内容に関する文字情報とを含む表示用画像を作成するようにしてもよい。こうすることで、より画像内容に関するより詳細な情報をユーザに提供することができる。

また例えば、試料保持プレートに対して撮像素子を相対的に走査移動させて原画像を撮像する撮像手段を備えるようにしてもよい。このように構成された画像表示装置では、原画像の撮像からそれに対する画像処理および表示までの一連の処理を単一の装置で完結させることができる。また、試料保持プレートに対する撮像素子の走査移動により撮像を行うことで試料保持プレートの広範囲を高い分解能で撮像することができるので、ユーザに高精彩な画像を提示することができる。

また、この発明では、例えば細胞または微生物を含んだ透明な液体またはゲル体を試料として保持する窪部を撮像した画像を、原画像として用いてもよい。このような試料を用いる実験においては、条件を異ならせた複数の試料を作成してそれらの差異を比較するという過程が多用されており、本発明をこのような試料の観察に適用することで、ユーザの作業を大幅に効率化・簡略化することが可能である。

この発明によれば、試料が保持された試料保持プレートの窪部を撮像した原画像に所定の画像処理を施してなる素材画像を複数配した表示用画像をユーザに提示することで、試料の比較観察に好適な画像を望むユーザの要求に応えることができる。

この発明にかかる画像表示装置の一実施形態の概略構成を示す図である。 撮像部のより詳細な構成を示す図である。 この画像表示装置における表示処理を示すフローチャートである。 ウェル画像の再構成の原理を示す図である。 プレートビューの表示例を示す図である。 拡大表示したプレートビューの表示例を示す図である。 輪郭線の作成原理を示す図である。 シングルビューの表示例を示す図である。 拡大表示したシングルビューの表示例を示す図である。 シングルビューの他の表示例を示す図である。

図１はこの発明にかかる画像表示装置の一実施形態の概略構成を示す図である。この画像表示装置１は、図１（ａ）に示すように、それぞれに例えば培養液、培地、試薬などの液体等（図示せず）が注入された複数の、例えば９６個（１２×８のマトリクス配列）のウェルＷを形成されたサンプル（マイクロプレート）Ｍの下面周縁部に当接して該マイクロプレートＭを略水平状態に保持するホルダ１１と、該ホルダ１１の上部に設けられた光源１２と、ホルダ１１の下部に設けられた撮像ユニット１３と、これらを司って所定の動作を実行させる制御部１０とを備えている。以下の説明のために図１に示す通りに座標軸を設定する。Ｘ−Ｙ平面は水平面であり、Ｚ軸は鉛直軸である。

マイクロプレートＭにおける各ウェルＷの直径および深さは代表的には数ｍｍ程度である。一例として、後述する実験において用いられたマイクロプレートＭの各部の寸法を示す。図１（ｂ）に示すように、各ウェルＷの上部における開口Ｗｔの直径Ｄｔが６．６９ｍｍである一方、ウェル底面Ｗｂの内径Ｄｂが６．５８ｍｍである。これからわかるように、ウェルＷの内壁面Ｗｓは単純な円筒面ではなく、側面が斜めに傾斜したテーパー形状となっている。また、ウェルＷの深さＤｄは１０．９ｍｍであり、複数ウェルＷの配列ピッチＤｐは９ｍｍである。なお、各部の寸法は単なる例であって、この撮像装置１が対象とするマイクロプレートのサイズはこれらに限定されるものではなく任意である。

光源１２は、制御部１０に設けられた光源制御部１１２によって制御され、光源制御部１１２からの制御指令に応じてホルダ１１に保持されたマイクロプレートＭの上方から複数のウェルＷに対して一括して光Ｌを照射する。照射される光は可視光であり、特に白色光が好ましい。

撮像ユニット１３は、光源１２から出射されてホルダ１１に保持されたマイクロプレートＭの下方に透過してくる透過光Ｌｔを受光することでマイクロプレートＭの画像を撮像するカメラとして機能するものである。撮像ユニット１３は制御部１０に設けられたカメラ駆動機構１１３に連結されており、カメラ駆動機構１１３は、ホルダ１１に保持されたマイクロプレートＭの下面に沿って撮像ユニット１３を水平面（Ｘ−Ｙ平面）内で走査移動させる。

すなわち、この実施形態では、撮像ユニット１３がマイクロプレートＭの下面に沿って走査移動可能となっている。なお、ここでは撮像ユニット１３がマイクロプレートＭに対して移動するが、撮像ユニット１３とマイクロプレートＭとの間の相対移動が実現されれば足り、この意味でマイクロプレートＭを撮像ユニット１３に対して移動させるようにしてもよい。

撮像ユニット１３により撮像された画像データは画像処理部１１４に与えられる。画像処理部１１４は、撮像ユニット１３からの画像データに対して適宜画像処理を施したり、画像データに基づく所定の演算処理を実行する。処理前後のデータは必要に応じて記憶部１１５に記憶保存される。また、検出処理部１１６は、画像処理部１１４から与えられる画像データに基づき所定の検出処理を行って、画像に含まれる特徴的な部位を検出する。この検出処理は、例えば画像の輝度データを解析することによって当該画像の中で光学的特性がその周囲領域とは異なる領域を検出する処理であり、また当該領域について特徴量を算出することにより、当該領域がどのような起源・種類のものであるかの分類が可能である。このように画像からある特徴を有する部位を識別し検出する処理や、そのような処理に好適な特徴量については種々の技術が公知であるので、ここでは詳しい説明を省略する。

検出処理部１１６による検出結果も記憶部１１５に保存される。また、後述するように、画像処理部１１４は必要に応じて検出処理部１１６による検出結果に基づいた画像処理を行う場合がある。そして、適宜の画像処理が施された画像データは例えば液晶ディスプレイ等の表示手段を有する表示部１１８に与えられ、表示部１１８は与えられた画像データに対応する画像を表示してユーザに提示する。さらに、この画像表示装置１は、画像処理の内容や表示の態様等についてユーザからの操作指示入力を受け付けるための入力受付部１１７を有している。入力受付部１１７は、例えばキーボード、マウス、タッチパッド等の入力受付手段またはそれらを適宜組み合わせたものであり、ユーザからの指示入力を受け付けて制御部１０がこれを装置の動作に反映させることで、ユーザが所望する機能を実現する。

この画像表示装置１は、各ウェルＷに保持された液体等（本明細書では、液体、ゲル状のまたは半流動性を有する固体、および、例えば軟寒天のように流動性を有する状態でウェルに注入されその後固化するものの総称である）およびその中に含まれる細胞等の撮像対象物の光学像を撮像したり、その光学像から所定の光学的特徴を有する、より具体的にはウェルＷに保持された液体等とは異なる光学的特性を有する特異な部分をその光学的特性の差異を利用して検出するという用途に適用することができる。例えば、培養液や培地中の細胞や細胞集塊（スフェロイド）を撮像対象物として撮像したり、さらに画像処理によりそのような細胞等を自動的に検出する目的に好適に使用することができる。

図２は撮像部のより詳細な構成を示す図である。図２（ａ）に示すように、撮像ユニット１３は、入射光に応じた電気信号を出力する例えばＣＣＤによるラインセンサ１３１と、ホルダ１１に保持されたマイクロプレートＭの底面から出射される光をラインセンサ１３１の受光面に結像させる結像光学系１３２とを備えている。結像光学系１３２はレンズ等の光学部品を複数備えるものであってよいが、ここでは理解を容易にするために代表的に単一のレンズによって示している。

ラインセンサ１３１は多数の微細な撮像素子１３１ａをＹ方向に一次元配列したものであり、その長手方向には結像光学系１３２を介して少なくとも１つのウェルＷ全体、より望ましくは複数の（同図では３つの）ウェルＷを一度に撮像範囲ＳＲに含めることができるよう構成されている。図では、ラインセンサ１３１のＹ方向長さを符号ｗ、これによるマイクロプレートＭの底面における視野のＹ方向長さを符号ｗ’により表している。

また、図２（ｂ）に示すように、カメラ駆動機構１１３によるラインセンサ１３１の走査移動方向はＸ方向である。このように、Ｙ方向に沿って撮像素子が配列されたラインセンサ１３１をマイクロプレートＭの底面に沿ってＸ方向に走査移動させることで、底面側から見たマイクロプレートＭの二次元画像を撮像することが可能である。また、ラインセンサ１３１のＹ方向位置を異ならせて上記走査移動を繰り返すことで、マイクロプレートＭに形成された多数のウェルＷを順次撮像することができる。

ラインセンサ１３１は各撮像素子の画素サイズが小さいため高精彩の画像を得ることが可能である。また、多数の撮像素子をライン状に配列するとともに各撮像素子にウェルＷ各部の光学像を結像させるように結像光学系１３２を構成してそれらを適切な位置に配置し、１つまたはそれ以上のウェルＷからの光をラインセンサ１３１に入射させるようにすることで、１つのウェルＷを撮像するのに必要な時間が短くなる。これにより、多数のウェルＷについての撮像を高速で行うことができる。このようにしてマイクロプレートＭ全体の画像を予め取得しておけば、以後は撮像された画像に所定の加工が施され以下に説明する種々の表示モードで表示されることにより、ユーザに対して、その目的に応じた態様で種々の画像が提示されることとなる。

上記のように構成された画像表示装置１では、入力受付部１１７を介したユーザからの操作指示に応じて、撮像ユニット１３がマイクロプレートＭの各ウェルＷを撮像し、その画像データに基づいて、画像処理部１１４および検出処理部１１６がユーザにより指定された画像処理および検出処理を施して、その結果が表示部１１８に表示される。ユーザから撮像指示が与えられたとき、制御部１０が以下に説明する一連の処理を行うことで、上記機能が実現される。

図３はこの画像表示装置における表示処理を示すフローチャートである。ユーザから撮像指示が与えられると、撮像ユニット１３が動作してマイクロプレートＭの全体を撮像し、全てのウェルＷについての原画像を取得する（ステップＳ１０１）。マイクロプレートＭの全体を走査して撮像した画像は全てのウェルＷの画像を部分画像として含んでいるが、ウェルＷ以外のマイクロプレートＭ表面を撮像した部分は不要であり、また表示部１１８の表示スペースを有効に活用するという点からは無駄なものである。そこで、得られた画像から以下のようにしてウェルＷに相当する部分の画像のみを抽出し並べ直すことにより、画像の再構成を行う（ステップＳ１０２）。

図４はウェル画像の再構成の原理を示す図である。図４（ａ）に示すように、マイクロプレートＭの全体を示す画像Ｉｍは、マイクロプレートＭに対して撮像ユニット１３が走査移動することで撮像された複数のバンド画像Ｉｂからなる。この全体画像Ｉｍから、マトリクス状に配された各ウェルＷに対応する部分画像Ｉｐのみを切り出し、図４（ｂ）に示すように切り出した部分画像Ｉｐを並べて再構成されたウェル画像Ｉｗを得る。マイクロプレートＭにおける各ウェルＷの口径や配列ピッチは予めわかっているから、例えば、全体画像Ｉｍ内における座標位置に基づいて、各ウェルＷに対応する領域を特定することが可能である。また、各ウェルＷに対応する領域がサイズ既知の略円形であることから、画像解析によってそのような条件に該当する領域を抽出することによっても、ウェルＷに対応する領域を特定することができる。

部分画像Ｉｐとしては、各ウェルＷに対応する略円形の領域のみが切り出されたものであってもよく、また図４（ａ）に示すように、ウェルＷに対応する円形領域を含む矩形によって切り出された画像であってもよい。後者の場合、ウェルＷの重心位置を中心とし１辺の長さがウェルＷの直径と略等しい、つまりウェルＷの円形領域に外接する正方形の領域を切り出すことによって、所望の部分画像Ｉｐが得られる。

再構成されたウェル画像Ｉｗにおける各ウェルＷ相互の位置関係は、全体画像Ｉｍにおける各ウェルの位置関係、つまり実際のマイクロプレートＭ上におけるウェルＷ相互の位置関係と同じになるように配置される。すなわち、図４（ａ）に示す全体画像Ｉｍにおいては、左上隅から右方に向かってウェルＷa1，Ｗa2，Ｗa3，…が順に並んでおり、また左上隅から下方に向かってウェルＷa1，Ｗb1，Ｗc1，…が順に並んでいる。図４（ｂ）に示すように、再構成されたウェル画像Ｉｗにおいても、ウェルＷa1，Ｗa2，Ｗa3，…に相当する部分画像Ｉｐa1，Ｉｐa2，Ｉｐa3，…が左上隅から右方に向かって順に並ぶように配列され、またウェルＷa1，Ｗb1，Ｗc1，…に相当する部分画像Ｉｐa1，Ｉｐb1，Ｉｐc1，…が左上隅から下方に向かって順に並ぶように配列される。

全体画像Ｉｍから切り出された部分画像Ｉｐa1，Ｉｐa2，Ｉｐa3，…のそれぞれが、ウェルＷa1，Ｗa2，Ｗa3，…のそれぞれに対応するウェル単位の原画像として扱われる。ウェル単位の原画像Ｉｐa1，Ｉｐa2，Ｉｐa3，…に対しては、マイクロプレートＭにおける配列位置がインデックス情報として関連付けられる。具体的には、図４（ｂ）における横方向（行方向）に並ぶ各ウェルに対して、１〜１２の行インデックスを付す。また、縦方向（列方向）に並ぶ各ウェルに対して、Ａ〜Ｈの列インデックスを付す。これにより、各ウェルはＡ〜Ｈのアルファベットと１〜１２の数字との組み合わせによって識別することが可能となる。このインデックス情報に基づき各部分画像を配列し画像を再構成することにより、ウェルＷ間の位置関係を維持しつつ、観察の対象ではない「余白」に相当するウェル以外のマイクロプレートＭの表面領域を取り除いたウェル画像Ｉｗが作成される。

図３に戻って表示処理の説明を続ける。こうして作成されたウェル画像Ｉｗの全体が、表示部１１８に表示される（ステップＳ１０３）。これにより、ユーザは撮像された画像の概要を確認することができる。この状態で、ユーザから表示モードに関する指示入力が与えられるまで待機する（ステップＳ１０４）。ユーザによるウェルＷの観察作業を支援するために有効な表示モードは種々のものを採用可能であるが、ここではその一部を例示する。

表示モードに関わる第１の要素は、マイクロプレートＭに配列された複数のウェルＷの全体を表示させるか各ウェルＷを個別に表示させるかという点である。この種の装置を使用する目的の１つとして、例えばウェルＷごとに少しずつ条件を変えて作成した複数の試料の画像を同一画面に表示させることで、それらを比較観察するという作業がある。このような目的のために、複数のウェルＷに対応する画像を同時に表示する表示モードが必要である。このとき、表示される画像における各ウェルＷの配置が実際のマイクロプレートＭ上における配置と一致していれば、ユーザは各ウェルＷ相互の関連性を把握しやすい。その一方で、撮像されたマイクロプレートＭの全体画像Ｉｍをそのまま表示したのでは、マイクロプレートＭ上のウェル以外の余白部分が表示エリアの利用効率を低下させる。

そこで、この実施形態では、マイクロプレートＭの全体画像Ｉｍから各ウェルＷに対応する部分画像Ｉｐを切り出し、かつそれらをマイクロプレートＭ上における配置と同じ配置で並べてなるウェル画像Ｉｗを表示できるようにする。このような表示の態様を、本明細書では「プレートビュー」と称する。プレートビューにおいては、常に全てのウェルＷを表示することを要するものではなく、必要に応じて、一部のウェルＷのみをその配列を維持した状態で表示するようにしてもよい。

一方、各ウェルＷの画像をより詳細に観察したいという用途もあり、任意のウェルＷをユーザに選択させ当該ウェルのみを表示する機能も必要である。このような表示の態様を本明細書では「シングルビュー」と称する。単独のウェルＷのみを観察するケースの他、任意に選択したいくつかのウェルを比較しつつ観察するケースに対応するため、シングルビューにおいては少なくとも２つのウェルを表示可能とすることが好ましい。

表示モードに関わる第２の要素は、画像の倍率である。ユーザにとっては、目的によって画像の全体を俯瞰するように見たい場合と、そのうちの一部を拡大して見たい場合との両方がある。したがって、画像を任意の倍率に拡大または縮小して表示する機能を有することが好ましい。

表示モードに関わる第３の要素は、表示する画像に対する画像処理の態様に関するものである。撮像された原画像をそのまま表示するだけではなく、画像を解析してその結果に基づく種々の情報を画像に付与して表示することにより、ユーザによる観察作業をより有効に支援することが可能となる。

このような画像解析技術としては種々のものが公知であり、本実施形態においても種々の解析技術を適用することが可能である。例えば、画像に含まれる種々のオブジェクトを、その光学的または幾何学的特徴によって分類する分類技術を適用することができる。分類はオブジェクトの特徴量を算出しこれに基づいて行うことが可能であり、分類の基準としては、当該オブジェクトのサイズ、濃度、面積、外接円の直径、外接球の体積、およびそれらから推定される細胞の種類等を単独でまたは適宜組み合わせて用いることができる。

また、解析結果を画像に反映させる方法としては、例えば画像の色情報を変更することによる色分け、ハッチング、塗り潰し、明度の変更、輪郭の強調、囲み枠やポインタの付与およびテキスト情報の付与など、視覚により識別可能な各種の情報（視覚情報）を単独でまたは適宜組み合わせて付加することが可能である。

この実施形態の画像表示装置１では、上記した３種類の要素の組み合わせにより特定される複数の表示モードの中から１つの表示モードがユーザからの指示入力により指定されると（ステップＳ１０４）、指定された表示モードで表示を行うために必要な画像処理が行われる（ステップＳ１０５）。より具体的には、画像処理部１１４および検出処理部１１６によって、画像に対する各種の解析・分類処理と、その結果に基づいて画像を加工する画像処理とが、各ウェルＷに対応する部分画像Ｉｐのうち表示対象となるものに対して行われる。

そして、こうして加工された各部分画像を素材画像として、これを所定の配置および倍率で表示エリア内に配した表示用画像を画像処理部１１４が作成し、表示部１１８がこの表示用画像を表示する（ステップＳ１０６）。この状態でユーザからの新たな指示入力を待ち（ステップＳ１０７）、終了指示があれば処理を終了する一方、新たなモード指示入力があればそれに応じた処理を改めて実行する。

次に、上記のように構成された表示処理において実行可能な表示モードにおける、いくつかの表示画像の例を順次説明する。ここでは、各ウェルごとに培養条件（具体的には培地に添加する薬剤の濃度）を規則的に変化させてウェル内で培養した細胞またはその集合体（細胞集塊）をオブジェクトとして観察する細胞観察装置に本実施形態の装置を適用した場合を例に挙げて説明する。

図５はプレートビューの表示例を示す図である。この種の実験では、例えばウェルごとの薬剤濃度をその配列に沿って規則正しく変化させた試料を作成してそれを観察するという作業が多用されており、プレート全体を表示するプレートビューでは、前述したように各ウェルの配列の視認性が重要である。

図５（ａ）は９６穴（１２穴×８列）のマイクロプレートに対応するプレートビュー画像の一例を示しており、画面中央の２つの表示領域Ｖ11、Ｖ12に、それぞれ全てのウェルを含むウェル画像Ｉｗ11、Ｉｗ12が表示される。各ウェルは原画像そのままではなく、指定された基準に基づいて分類された結果に基づく色分け（同図ではグレースケール表示）がなされた状態で表示される。２つの表示領域Ｖ11、Ｖ12に表示されたウェル画像Ｉｗ11、Ｉｗ12は同一のマイクロプレートを撮像した同一の画像に対応するものであるが、指定された分類基準が互いに相違しているため、表示内容は一般には互いに異なったものとなる。

具体的には、左側の表示領域Ｖ11に表示されたウェル画像Ｉｗ11は、表示領域Ｖ11の上部に配されたメニュー領域Ｍ11に示されるように、各ウェルに含まれるオブジェクトの面積を基準パラメータとした分類の結果によって色分けされている。すなわち、各ウェルに含まれるオブジェクトそれぞれの面積が画像処理部１１４および検出処理部１１６によって求められており、ウェルごとに求めたそれらの面積の平均値の大小に応じた色で、各ウェルが塗り潰されている。一方、右側の表示領域Ｖ12に表示されたウェル画像Ｉｗ12では、上部のメニュー領域Ｍ12に示されるように、各ウェルに含まれるオブジェクトの直径（より詳しくはオブジェクトの外接円の直径）による分類に基づく色分けがなされている。

このような表示モードでは、薬剤濃度の変化に伴って各ウェル間に生じるオブジェクト（細胞集塊）の形状の変化の概略的な傾向を容易に視認することのできる画像をユーザに提示することができる。また、撮像対象物は同一であるが互いに異なる基準に基づき分類した２つのウェル画像を並べて表示することにより、ユーザが観察作業をより効率よく行うことが可能な環境を提供することができる。

なお、このようにプレート全体を包括的に観察する場合、各ウェル内の画像に含まれる種々の構造物を詳細に表示することは却って視認性を低下させる場合もあり得る。そのため、ここでは分類基準として指定されたパラメータのウェル内平均値に応じた色で各ウェルを塗り潰すという表示方法が採られている。これ以外に、各ウェルの背景を基準パラメータの値に応じて色付けするようにしてもよい。

ユーザは、画面に表示された各種の設定機能を必要に応じて操作することにより、表示画像を種々に切り替えることができる。すなわち、ユーザは画面上のメニュー領域Ｍ11や「設定」ボタンをクリックして、各種設定メニューを呼び出して設定を行うことができる。また「倍率」ボタンにより画像の表示倍率を増減することができる。こうして新たな表示モードが指定されたとき、図３のステップＳ１０５以降の処理が再実行されて、指示された表示モードの画像が表示される。例えば、図５（ｂ）に示す例では、左側の表示領域Ｖ11に表示されたウェル画像Ｉｗ21は、オブジェクトの面積に関して所定の閾値で二値化した画像となっている。多値画像、二値化画像のいずれを表示させるか、また二値化の閾値をどのように設定するか等については、設定メニューにより設定できるようにすることができる。

図６は拡大表示したプレートビューの表示例を示す図である。図６（ａ）に示す例は中程度の拡大倍率（例えば５倍）を想定したものであるが、ユーザは画像上部に表示された操作バー（倍率バー）を操作して倍率を任意に設定することができる。このとき、２つの表示領域Ｖ11、Ｖ12に表示される拡大ウェル画像Ｉｗ31、Ｉｗ32の双方に同一の倍率が適用される。拡大された画像においても、各ウェルの位置関係は維持される。

また、画像を拡大することによりウェル画像の全体を表示することができなくなった場合には、ウェル画像の一部範囲が拡大されて表示領域Ｖ11、Ｖ12に表示されるとともに、表示領域の外側に操作バー（スクロールバー）が表示されて、ウェル画像中の表示範囲を移動させることができるようになっている。このとき、拡大ウェル画像Ｉｗ31、Ｉｗ32は常に元のウェル画像中の同一範囲を示すものとされる。すなわち、一方の画像においてスクロールバーが操作されたとき、これに応じて２つの拡大ウェル画像Ｉｗ31、Ｉｗ32の表示範囲が同時に変化する。

また、各ウェルが比較的広い面積で表示される拡大ウェル画像においては、ウェル単位での塗り潰しは行わず、各ウェル内に含まれるオブジェクトのそれぞれに対して、分類基準に基づく色分けやハッチングの付与などの加工が施される。

このような表示モードでは、各ウェル内におけるオブジェクトの分布の様子を詳細に観察しつつも、近接する位置にある（つまり作成条件が少しだけ異なる）ウェル間での比較を行うための環境をユーザに提供することができる。操作バーを用いて表示範囲および倍率を連続的に変化させることができるようにすることで、ウェル間での比較観察を容易に行うことが可能となる。

このとき、２つの画像Ｉｗ31、Ｉｗ32の拡大倍率およびウェル画像全体のうちの表示範囲が一致するように両画像を連動させることにより、比較対象となる１対のウェルが同じ位置関係で表示されるため、ユーザは常に異なる基準での解析結果を見比べながら、各ウェルの観察を行うことが可能である。

図６（ｂ）に示す例は、拡大倍率を最大に設定したときのプレートビューの表示例である。このとき、各表示領域Ｖ11、Ｖ12にほぼ１つのウェルが収まるように、拡大倍率が選ばれる。この表示モードでは、ウェル内のオブジェクトのそれぞれは原画像の色を維持した状態で表示され、その輪郭線のみが分類基準に基づいて色付けされる（同図では破線のドットピッチの違いが輪郭線の色の違いを示している）。オブジェクトの輪郭線の作成は、例えば以下のようにして行うことができる。

図７は輪郭線の作成原理を示す図である。図７（ａ）は輪郭線の作成処理を示すフローチャートを示す。画像内で輪郭線を作成すべきオブジェクトについては、画像内における当該オブジェクトの領域を２値画像として抽出する（ステップＳ２０１）。これにより、当該オブジェクトの領域が所定の画素値で塗り潰されることになる。続いて、２値画像として抽出された領域を、例えばモフォロジー処理におけるエロージョン処理により、所定の画素数だけ収縮させる処理を行う（ステップＳ２０２）。ここで、収縮させる画素数については、領域自体の形状が大きく変わらないように、領域のサイズに対して十分に小さな値に選ばれることが好ましく、例えば１画素とすることができる。

続いて、図７（ｂ）に示すように、元の２値画像領域Ｒ1から収縮された領域Ｒ2を減算する（ステップＳ２０３）。これにより、２つの領域Ｒ1，Ｒ2が重なった部分では画素値が相殺される一方、周縁部では、収縮させた画素数分だけ元の画像領域Ｒ1の外周部分（図７（ｂ）においてハッチングを付した部分）が残ることとなる。こうして残った部分を原画像に合成し、当該オブジェクトの輪郭線として当該オブジェクトに重畳させることで（ステップＳ２０４）、オブジェクトの輪郭を強調表示することができる。輪郭線に相当する部分の色については、オブジェクトの特徴に応じて選択することで、分類結果を画像に反映させることができる。

原画像におけるオブジェクトと輪郭線とを精度よく重ねるためには、原画像におけるオブジェクトの領域とこれを２値化した画像領域、さらにそれを収縮させてなる画像領域の姿勢、位置を互いに揃えておくことが重要である。この目的のためには、例えば、図７（ｃ）に示すように、これらの画像領域Ｒ1，Ｒ2にそれぞれ外接する矩形Ｓ1，Ｓ2を仮想的に設定し、それらの矩形Ｓ1，Ｓ2の重心Ｇが互いに一致し、かつ対応する辺が互いに平行となるように、各画像領域を重ねればよい。

ここまで、複数のウェルＷをマイクロプレートＭ上における配列と同じ配列で表示するプレートビューの機能について説明してきた。プレートビューにおいては、ユーザはマイクロプレートＭを直接観察する場合と同様の操作性で各ウェルの観察を行うことができる。また、異なる基準での分類結果を並べて表示することで、様々な観点から観察を行うことができる。また、画像を拡大して全体画像のうちの一部を表示させるときには、２つの表示領域において画像の倍率および表示範囲を連動させることにより、観察したい部分についての２種類の分類結果が常に提示されて、より観察を効率よく行うことができる。また、倍率の変更に伴って画像に付される視覚情報の態様が自動的に変更されるので、それぞれの倍率の画像において各ウェル、あるいはウェル内の各オブジェクトの状態を容易に視認することが可能である。

次に、各ウェルＷのうち、ユーザにより選択された特定のウェルのみの画像を表示する「シングルビュー」機能について説明する。図３のステップＳ１０４において、ユーザが表示モードとしてシングルビューを選択し、表示させるべきウェルの選択を行うと、以下に例示するシングルビュー表示画面が表示される。

図８はシングルビューの表示例を示す図である。シングルビュー表示画面では、４つの表示領域Ｖ21、Ｖ22、Ｖ31、Ｖ32が２×２のマトリクス状に配置されており、各表示領域には単一のウェルに対応する１つの部分画像Ｉｐが表示される。このうち上段の２つの表示領域Ｖ21、Ｖ22には、同一のウェルをそれぞれ異なる基準（この例ではオブジェクトの面積および直径）で分類した結果を反映させた画像、具体的にはこれらの基準パラメータの値に応じてオブジェクトを色付けした画像が表示される。表示領域Ｖ21の左側のプルダウンメニューボックスに示されているように、ここで表示されているウェルはインデックス情報「Ａ−１」により特定されるウェルであり、図４（ａ）に示すプレート画像Ｉｐにおいて左上隅に位置するウェルＷa1に相当する。ユーザはプルダウンメニューの操作により、表示させるウェルを変更することができる。

また、下段の２つの表示領域Ｖ31、Ｖ32には、上記とは別のウェル（この例ではインデックス「Ｃ−１」により特定されるウェルＷc1）に対応する原画像に、オブジェクトの面積、直径をそれぞれ基準とした分類結果を反映させた画像が表示される。つまり、この表示モードでは、左右方向には同一ウェルをそれぞれ異なる基準で分類した結果を表す画像が並べて表示される一方、上下方向には異なるウェルを互いに同じ基準で分類した結果を表す画像が並べて表示される。

また、上段および下段それぞれの右端には、対応する各ウェルにおける解析結果を数値により表示するテキストボックスＴＢ1、ＴＢ2が設けられる。この例では、上段のテキストボックスＴＢ1には、上段で選択されているウェルＷa1において検出された全オブジェクトの面積、直径、濃度の各パラメータの統計情報（平均値および標準偏差（ＳＤ）値）が表示される。一方、下段のテキストボックスＴＢ2には、下段で選択されているウェルＷc1における同様の統計情報が表示されている。表示すべきテキスト情報はこれらに限定されず任意である。

この表示モードでは、ユーザは、２つのウェルをそれぞれ２つの基準で分類した結果を相互に対照しながら画像の観察を行うことができる。また、表示すべきウェルや分類基準については、メニューボックスの操作によりこれらを適宜切り替えながら観察を行うことができる。また、テキストボックスに表示されるテキスト情報から、各ウェルに関するより詳細な情報を得ることができる。これらにより、この実施形態では、ウェルの詳細な観察、特に、異なるウェル間、あるいは同一ウェルの異なる分類基準間での比較観察を効率よく行うことが可能となっている。

図９は拡大表示したシングルビューの表示例を示す図である。図９（ａ）は中程度（例えば５倍）の拡大倍率、図９（ｂ）は最大倍率がそれぞれ選択された場合の表示例を示している。プレートビューの場合と同様に、シングルビューにおいても、画像の表示倍率を適宜変更可能であり、ウェル全体が表示範囲に入り切らない場合には各表示領域において表示範囲が連動する。また、分類結果を表すために画像に付与される視覚情報の態様も、表示倍率の変化に伴って自動的に変更される。これらの表示機能により、ユーザは、同一のウェルを異なる基準で、また異なるウェル間を同一の基準で画像処理した結果を同時に観察することができる。なお、テキストボックスＴＢ1、ＴＢ2に表示される統計情報は１つのウェル全体での解析結果を表すものであり、表示倍率の変更によって変化するものではない。

図１０はシングルビューの他の表示例を示す図である。図１０（ａ）に示す例では、図９（ａ）に示す内容に加えて、各表示領域ごとに、ユーザにより指定された適合条件に合致するオブジェクトの検出個数が当該領域の左上に表示されている。例えば、分類基準についてユーザによる閾値の設定を受け付けて、当該閾値以上の値を持つオブジェクトの数を表示させることができる。このような表示モードでは、ユーザによる所定の条件を満たすオブジェクトの探索作業を効率よく支援することができる。

また、図１０（ｂ）に示す例では、上下各段のうち左側の表示領域Ｖ21、Ｖ31には、「直径」を分類基準とした分類結果を前述の視覚情報によって付与した画像が表示される一方、右側の表示領域Ｖ22、Ｖ32には、同じ分類基準（直径）に基づく分類結果がヒストグラムとして表示されている。なお、ヒストグラムは１つのウェル全体での解析結果を表すものであり、表示倍率には影響されない。このような表示モードによれば、ユーザは所定の条件を満たすオブジェクトのウェル内における分布の状況やその発生頻度などを同一画面上で確認することが可能となる。

以上のように、この実施形態は、例えば細胞や細胞集塊のような生体試料を観察するための画像表示装置であって、ユーザが複数の画像を対比しながら観察することができるようにするための種々の表示機能を備えている。

すなわち、マイクロプレートＭ上のウェルＷを概括的に表示するプレートビュー機能においては、
（１）マイクロプレートに対して撮像ユニットを走査させて撮像した原画像から、観察の対象であるウェル部分の画像を抽出し、それらをマイクロプレート上での配列に準じた配列で表示する、
（２）各ウェルについては、ユーザにより指定された分類基準に基づく分類結果に応じた視覚情報（例えば色分け）を付与して表示する、
（３）視覚情報の付与の態様について、ユーザ指定による変更が可能である、
（４）画面上の２つの表示領域に、互いに異なる分類基準に基づく２種類の分類結果を並べて表示する、
（５）画像の拡大が可能であり、２つの表示領域における表示倍率および表示範囲が同一である（一方がユーザにより変更されると、これに伴って他方も自動的に変更される）、
（６）拡大画像では、ウェル内の各オブジェクトに対して、分類結果に基づく視覚情報を付与して表示する、
（７）指定された表示倍率に応じて、ウェルまたはオブジェクトに付与する視覚情報を自動的に変更する、
という機能が実現されている。

また、個々のウェルＷを個別に表示するシングルビュー機能においては、
（１）ウェル内の各オブジェクトに対して、分類結果に基づく視覚情報を付与して表示する、
（２）視覚情報の付与の態様について、ユーザ指定による変更が可能である、
（３）表示対象とするウェルをユーザが指定可能であり、複数の表示領域に、指定された複数のウェル画像を並べて表示することができる、
（４）複数のウェル画像は、同一ウェルを互いに異なる分類基準で分類した結果を反映させたもの、または、互いの異なるウェルに対して同一の分類基準を適用して分類した結果を反映させたものを含む、
（５）画像の拡大が可能であり、複数の表示領域における表示倍率および表示範囲が同一である、
（６）指定された表示倍率に応じて、オブジェクトに付与する視覚情報を自動的に変更する、
（７）分類結果に関わる数値データをテキスト情報やグラフとして表示する、
という機能が実現されている。

これら各種の表示機能により、この実施形態では、ユーザに対して、種々の観点から試料を効率よく観察することが可能な環境を提供することが可能となっている。特に、異なるウェル間での比較や、同一ウェルを異なる観点から解析した結果の比較が容易となっており、個々の細胞やその内部構造の観察よりも細胞集塊のレベルで状態を観察することが有意義な、例えば細胞の薬剤感受性試験などに好適に利用可能である。

以上説明したように、この実施形態では、マイクロプレートＭが本発明の「試料保持プレート」に相当しており、各ウェルＷが本発明の「窪部」に相当している。また、プレート全体の原画像Ｉｍのうちの各ウェルに対応する部分画像Ｉｐが本発明の「原画像」に相当しており、これらに画像処理を施した後の画像が本発明の「素材画像」に相当する。そして、この素材画像を含む図５、図６、図８ないし図１０に示される各画像が、本発明の「表示用画像」に相当している。

また、この実施形態では、検出処理部１１６が本発明の「特定部位検出部」および「特徴量算出部」としての機能を有する一方、画像処理部１１４が本発明の「視覚情報付与部」として機能しており、これらが一体として本発明の「画像処理手段」として機能している。

また、上記実施形態では、入力受付部１１７が本発明の「受付手段」として機能しており、表示部１１８が本発明の「表示手段」として機能している。また、撮像ユニット１３が本発明の「撮像手段」として機能している。

また、図３に示すこの実施形態の表示処理においては、ステップＳ１０４、Ｓ１０５およびＳ１０６がそれぞれ本発明の「受付工程」、「画像作成工程」および「表示工程」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態はマイクロプレートに形成されたウェルを撮像する撮像ユニットを備えた画像表示装置であるが、上記したとおり、本実施形態の表示処理はマイクロプレート全体を撮像した画像を種々に加工して表示することでユーザの観察を支援するものであるため、表示モードが変更されても改めて撮像を要するものではない。この意味から、撮像手段を備えることは必須でなく、例えば他の撮像装置で撮像された画像データを適宜の通信手段を介して受け取り、これを加工して表示する装置に対しても、本発明を適用することが可能である。

また、上記実施形態では、ウェル中のオブジェクトについて、その面積や直径など主に形状に関わる基準に基づく分類を行っているが、分類基準はこれらに限定されず、細胞や生体組織の観察において用いられる種々の分類基準を適用可能である。例えば、オブジェクトの形状や色、サイズ等から総合的に細胞種を判別し、細胞種ごとに色分け表示するといった応用が考えられる。また、既知のサンプルを用いた事例学習に基づく分類を適用してもよい。

また、例えば、上記実施形態では撮像素子を一次元配列してなるラインセンサ１３１をマイクロプレートＭに対し相対移動させることで撮像を行っているが、撮像素子を二次元にマトリクス配列したＣＣＤアレイを用いて撮像を行うようにしてもよい。

この発明は、例えば医療・生物科学分野で用いられるマイクロプレートのような、多数のウェルのそれぞれに保持された試料の観察を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。

１３ 撮像ユニット（撮像手段）
１１４ 画像処理部（視覚情報付与部、画像処理手段）
１１６ 検出処理部（特定部位検出部、特徴量算出部、画像処理手段）
１１７ 入力受付部（受付手段）
１１８ 表示部（表示手段）
Ｉｐ 部分画像（原画像）
Ｍ マイクロプレート（試料保持プレート）
Ｓ１０４ 受付工程
Ｓ１０５ 画像作成工程
Ｓ１０６ 表示工程
Ｗ ウェル（窪部）

Claims (13)

1. 試料を保持するための窪部が複数配列された試料保持プレートの各窪部を撮像してなる画像を表示する画像表示装置において、
   一の前記窪部を撮像した原画像に対して当該原画像の内容に応じた視覚情報を付与する画像処理を施した素材画像を作成するとともに、互いに異なる複数の前記素材画像を配した表示用画像を作成する画像処理手段と、
   前記表示用画像を表示する表示手段と
   を備え、
   前記表示用画像は、
   互いに異なる前記窪部に対応する前記原画像のそれぞれに対して同一の画像処理を施してなる複数の前記素材画像、または、
   同一の前記原画像に対して互いに異なる画像処理を施してなる複数の前記素材画像、
   の少なくとも一方を含む
   ことを特徴とする画像表示装置。
2. 前記素材画像の選択および前記画像処理の内容の選択の少なくとも一方に関するユーザからの指示入力を受け付ける受付手段を備え、前記画像処理手段は、前記受付手段への指示入力に応じた前記表示用画像を作成する請求項１に記載の画像表示装置。
3. 前記画像処理手段は、
   前記原画像内で特定の光学的特性を有する特定部位を検出する特定部位検出部と、
   検出された前記特定部位の特徴量を算出する特徴量算出部と、
   算出された特徴量の値に応じた前記視覚情報を前記原画像に付与する視覚情報付与部と
   を備える請求項１または２に記載の画像表示装置。
4. 前記視覚情報付与部は、前記原画像内の前記特定部位に対応する位置に、当該特定部位について算出された特徴量の値に応じた前記視覚情報を付与する請求項３に記載の画像表示装置。
5. 前記画像処理手段は、互いに異なる前記窪部に対応する複数の前記素材画像を前記試料保持プレートにおける各窪部の配列順序に対応させて配置した前記表示用画像を作成する請求項１ないし４のいずれかに記載の画像表示装置。
6. 前記画像処理手段は、同一の前記原画像に対して互いに異なる特徴量に基づく前記視覚情報がそれぞれ付与された複数の前記素材画像を含む前記表示用画像を作成する請求項３または４に記載の画像表示装置。
7. 前記画像処理手段は、前記表示用画像における前記素材画像の表示倍率を変更設定可能となっており、設定された前記表示倍率に応じて前記素材画像に付与する前記視覚情報を異ならせる請求項１ないし６のいずれかに記載の画像表示装置。
8. 前記画像処理手段は、同一の前記原画像内の同一の一部領域に互いに異なる画像処理を施してなる複数の前記素材画像を含む前記表示用画像を作成する請求項１ないし７のいずれかに記載の画像表示装置。
9. 前記画像処理手段は、前記素材画像と、当該素材画像の内容に関する文字情報とを含む前記表示用画像を作成する請求項１ないし８のいずれかに記載の画像表示装置。
10. 前記試料保持プレートに対して撮像素子を相対的に走査移動させて前記原画像を撮像する撮像手段を備える請求項１ないし９のいずれかに記載の画像表示装置。
11. 試料を保持するための窪部が複数配列された試料保持プレートの各窪部を撮像してなる画像を表示する画像表示方法において、
    一の前記窪部を撮像した原画像に対して当該原画像の内容に応じた視覚情報を付与する画像処理を施した素材画像を作成するとともに、互いに異なる複数の前記素材画像を同一フレーム内に配した表示用画像を作成する画像作成工程と、
    前記表示用画像を表示する表示工程と
    を備え、
    前記表示用画像は、
    互いに異なる前記窪部に対応する前記原画像のそれぞれに対して同一の画像処理を施してなる複数の前記素材画像、または、
    同一の前記原画像に対して互いに異なる画像処理を施してなる複数の前記素材画像、
    の少なくとも一方を含む
    ことを特徴とする画像表示方法。
12. 前記素材画像の選択および前記画像処理の内容の選択の少なくとも一方に関するユーザからの指示入力を受け付ける受付工程を備え、前記画像作成工程では、前記受付工程での指示入力に応じた前記表示用画像を作成する請求項１１に記載の画像表示方法。
13. 細胞または微生物を含んだ透明な液体またはゲル体を前記試料として保持する前記窪部を撮像した画像を、前記原画像として用いる請求項１１または１２に記載の画像表示方法。