JP2010170025A - 画像出力システム、画像出力方法及び画像出力プログラム - Google Patents

Abstract

【課題】 バーチャル顕微鏡等において、画像中の、ユーザの観察対象となる何れの位置においても焦点が合うと共に画像のずれが生じることがない画像を容易に提供する。
【解決手段】 画像出力サーバ１０は、所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶部１１と、画像データにおける領域を指定する情報を入力する指定領域入力部１２と、複数の画像データ各々における、指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得部１３と、焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択部１４と、選択された画像データを出力する出力部１５とを備える。
【選択図】 図１

Description

本発明は、バーチャル顕微鏡等に用いられる画像を出力する画像出力システム、画像出力方法及び画像出力プログラムに関する。

近年、病理学の分野等において、光学顕微鏡によって撮像された画像をデジタルデータ化して、ディスプレイ上で観察できるバーチャル顕微鏡が用いられている。特許文献１では、撮像対象となる領域を複数のメッシュに区切り、各メッシュに対して、撮像方向における異なる焦点位置（焦点距離）で複数の画像を撮像して、撮像された画像のうち焦点が合っている部分画像をつなぎ合わせて、バーチャル顕微鏡に用いる１枚の画像を得ることが記載されている。このように取得された画像は、何れのメッシュにおいても焦点が合ったものとなる。
特開２００５−３７９０２号公報

しかしながら、特許文献１の方法では、メッシュ中に複数の焦点位置となる部分が含まれていた場合、画像中に焦点が合っていない部分がでてきてしまうことがある。仮にメッシュを細かくしていったとしても、高対物レンズの視野領域を細かくするには限界があり難しい。また、画像取得に時間がかかり利便性が損なわれる。また、異なる焦点位置の画像をつなぎ合わせているため、つなぎ目に当る部分に画像のずれが生じることもある。

本発明は、以上の問題点を解決するためになされたものであり、バーチャル顕微鏡等において、画像中の、ユーザの観察対象となる何れの位置においても焦点が合うと共に画像のずれが生じることがない画像を容易に提供することができる画像出力システム、画像出力方法及び画像出力プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像出力システムは、所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶部と、画像記憶部に記憶された画像データにおける領域を指定する情報を入力する指定領域入力手段と、画像記憶部に記憶された複数の画像データ各々における、指定領域入力手段によって入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得手段と、焦点情報取得手段によって取得された、複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択手段と、画像選択手段によって選択された画像データを出力する出力手段と、を備えることを特徴とする。

本発明に係る画像出力システムでは、撮像方向における焦点位置が異なる複数の画像のデータ各々における、指定された領域の焦点の合致度合を示す情報が取得され、当該合致度合を示す情報に基づいて、画像データが選択され出力される。従って、本発明に係る画像出力システムによれば、ユーザの観察対象となる位置を含むように上記の領域が指定されることによって、当該領域において焦点が合う画像が出力される。また、本発明に係る画像出力システムでは、１枚の画像において焦点を合わせるための画像のつなぎ合わせ等がされていないので、ずれが生じない画像が出力される。

本発明に係る画像出力システムは、画像記憶部に記憶される複数の画像データを撮像により取得することが望ましい。この構成によれば、画像記憶部に記憶される画像データが確実に取得されるため、確実に画像の提供を行うことができる。

指定領域入力手段は、画像記憶部に記憶された画像データにおける位置を示すカーソルの位置を示す情報を入力して、当該位置に基づいて領域を特定することが望ましい。この構成によれば、ユーザにとって容易かつ確実に領域の指摘を行うことができ、ユーザの利便性を向上させることができる。

指定領域入力手段は、カーソルの動きを検出して、当該カーソルの動きが検出された場合に、当該カーソルの位置に基づいて領域を特定することが望ましい。この構成によれば、ユーザの指定位置の変更に応じて、自動的に焦点が合った画像が出力されるので、更にユーザの利便性を向上させることができる。

焦点情報取得手段は、画像データ各々における領域の画素の画素値から焦点の合致度合を示す値を算出することが望ましい。この構成によれば、適切な焦点の合致度合を示す情報が取得されるので、確実に焦点が合った画像を出力することができる。

焦点情報取得手段は、焦点の合致度合を示す値として、画像データ各々における領域の画素の画素値のばらつきを示す値を算出することが望ましい。この構成によれば、より適切な焦点の合致度合を示す情報が取得されるので、より確実に焦点が合った画像を出力することができる。

焦点情報取得手段は、特定の色に関する画素値から焦点の合致度合を示す値を算出することが望ましい。この構成によれば、色彩に特異性を有する特定の対象物に焦点を合わせることが可能になる。

指定領域入力手段は、画像記憶部に記憶された画像データにおける領域を指定する情報として、当該画像データにおける位置を示す情報を入力して、焦点情報取得手段は、画像データを複数のエリアに区切り、当該エリア毎に焦点の合致度合を示す情報を予め記憶しておき、指定領域入力手段によって入力された情報により示される位置が含まれるエリアの焦点の合致度合を示す情報を取得する、ことが望ましい。この構成によれば、画像データの出力を行う際に、焦点の合致度合を算出する必要がないため、画像データにおける領域の指定から画像データの出力までの時間を短くすることができる。

ところで、本発明は、上記のように画像出力システムの発明として記述できる他に、以下のように画像出力方法及び画像出力プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る画像出力方法は、所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶部を備える画像出力システムによる画像出力方法であって、画像記憶部に記憶された画像データにおける領域を指定する情報を入力する指定領域入力ステップと、画像記憶部に記憶された複数の画像データ各々における、指定領域入力ステップにおいて入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得ステップと、焦点情報取得ステップにおいて取得された、複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択ステップと、画像選択ステップにおいて選択された画像データを出力する出力ステップと、を含むことを特徴とする。

本発明に係る画像出力プログラムは、所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶機能と、画像記憶機能により記憶された画像データにおける領域を指定する情報を入力する指定領域入力機能と、画像記憶機能により記憶された複数の画像データ各々における、指定領域入力機能によって入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得機能と、焦点情報取得機能によって取得された、複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択機能と、画像選択機能によって選択された画像データを出力する出力機能と、をコンピュータに実行させることを特徴とする。

本発明によれば、ユーザの観察対象となる位置を含むように上記の領域が指定されることによって当該領域において焦点が合う画像が出力される。また、本発明によれば、１枚の画像において焦点を合わせるための画像のつなぎ合わせ等がされていないので、ずれが生じない画像が出力される。即ち、本発明によれば、画像中の、ユーザの観察対象となる何れの位置においても焦点が合うと共に画像のずれが生じることがない画像を容易に提供することができる。

以下、図面と共に本発明に係る画像出力システム及び画像出力方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を詳細する。

図１に本実施形態に係る画像出力システム１の構成を示す。画像出力システム１は、画像出力サーバ１０を含んで構成されている。また、画像出力システム１は、顕微鏡装置２０と、画像閲覧ＰＣ（Personal Computer）３０とを含んでいてもよい。画像出力システム１は、顕微鏡装置２０によって撮像された画像のデータ（画像データ）を画像出力サーバ１０に記憶させておき、ユーザ（例えば、画像閲覧ＰＣ３０）からの要求に応じて画像出力サーバ１０から出力するシステムである。具体的には、画像出力システム１は、バーチャル顕微鏡システムに相当する。

上記のように画像出力サーバ１０は、画像データを記憶しておき、要求に応じて画像データを出力する装置である。画像出力サーバ１０の機能については、より詳細に後述する。顕微鏡装置２０は、所定の撮像対象（観察対象）を撮像し、撮像によって得られた画像を画像データとして取得する撮像手段たる装置である。顕微鏡装置２０の撮像対象は、例えば、バーチャル顕微鏡システムで利用される画像データを取得する場合における、スライドガラスに組織切片等の生体サンプルが密封された試料スライド（プレパラート）である。顕微鏡装置２０としては、具体的には、スキャナー方式で画像をスキャンする光学顕微鏡が用いられる。このような装置を用いることにより、例えば、２０億画素の高解像度の画像データが取得される。

顕微鏡装置２０は、一つの撮像対象に対して、撮像方向（焦点深度方向）における焦点位置が異なる複数回の撮像を行い、焦点位置が異なる複数の画像データを取得することができる。焦点位置が異なる複数の画像は、例えば、次のようにして得られる。まず、撮像対象である試料スライド（の撮像方向と垂直となる面）に、小さいものであれば１点、中程度の大きさであれば３点、大きいものであれば４点以上のフォーカスポイントを指定し、それぞれのフォーカスポイントで自動フォーカス（焦点位置）を求める。自動フォーカスは、例えば、フォーカスポイントを含む近傍の領域で最も画素値の大きい撮像方向（Ｚ方向）の位置（Ｚ位置）を算出することにより行われる。フォーカスポイントが１点の場合はそのＺ位置を通るＺ方向に垂直な平面、３点の場合はその３点を含む平面、複数ポイントであれば全ての点に最も近い平面を図２（ａ）に示すような基準フォーカス面５０ａとする。顕微鏡装置２０は、基準フォーカス面５０ａを焦点位置（撮像面）として撮像を行い、画像データを取得する。

撮像対象が非常に大きい場合は、ガラススライドのゆがみなどで、一平面ではフォーカスが合わないことがある。その場合、一定の間隔に分割して分割部分毎に、基準フォーカス面を取得することとしてもよい。その場合、図２（ｂ）に示すように、部分毎の複数の基準フォーカス面を結合することで、１枚の基準フォーカス面５０ｂを生成する。

このように得られた基準フォーカス面５０ａ，５０ｂを挟んで、図３に示すように＋方向及び−方向（撮像位置からみて焦点位置が離れる方向と近づく方向）Ｚ位置を変更した面５１ａ，５１ｂを焦点位置として撮像を行い、複数枚の画像データを取得する（図３（ａ）及び図３（ｂ）は、それぞれ図２（ａ）及び図２（ｂ）の基準フォーカス面５０ａ，５０ｂに対応する焦点位置を示す面である）。

例えば、撮像方向における焦点位置が異なる９枚の画像データが取得される。ここで撮像面を＋方向及び−方向に変化させる数は、必ずしも同じ数でなくてもよい。また、各撮像面の間隔は、顕微鏡装置２０の対物レンズの焦点深度（フォーカスの合う範囲、例えば、０．５〜１ミクロン）程度とすると効率がよい。即ち、上記のような間隔とすれば、焦点が合わない部分が発生しないようにした上でより広い撮像方向の範囲において焦点を合わすことが可能になる。

顕微鏡装置２０は、ケーブル等で画像出力サーバ１０と接続されており、データの送受信を行うことができる。顕微鏡装置２０は、上記のように取得したそれぞれＺ位置の異なる複数の画像データを画像出力サーバ１０に送信する。画像出力サーバ１０に送信される画像には、一連の画像データを特定するＩＤ等の情報や各画像データのＺ位置を示す情報（例えば、プレーン番号）等が対応付けられていてもよい。

画像閲覧ＰＣ３０は、ユーザによって用いられる、画像出力サーバ１０に記憶された画像データを観察するための装置である。画像出力システム１には、複数の画像閲覧ＰＣ３０が含まれていてもよい。画像閲覧ＰＣ３０は、インターネットＮ等を介して画像出力サーバ１０に接続されておりデータの送受信を行うことができる。画像閲覧ＰＣ３０は、（画像閲覧ＰＣ３０からの）要求に応じて画像出力サーバ１０から送信される画像データを受信して、当該画像データを画像閲覧ＰＣ３０が備えるディスプレイ等の表示装置に表示する。また、画像閲覧ＰＣ３０はマウス等の入力装置を備えており、表示装置に表示された画像データ上に重畳して表示されるカーソルを当該入力装置によって操作すること等によって、表示された画像データにおける観察位置を指定することができる。画像閲覧ＰＣ３０は、指定された観察位置を示す情報を画像出力サーバ１０に送信する。観察位置を示す情報は、例えば、画像データにおける座標を示す情報（ＸＹ位置情報）である。本画像出力システム１では、後述する機能によって、指定された観察位置で焦点が合った画像データが表示される。

画像閲覧ＰＣ３０における画像データの表示は、例えば、図４に示すように、画像データ全体を示す低倍率画像６０からその一部の視野６１が指定されて、その部分の画像データである高倍率画像（画面、視野）６２が表示されることにより行われる。これにより、低倍率画像６０に写っている組織７０の中の特定の細胞７１を観察できる。なお、低倍率画像６０は、例えば、顕微鏡装置２０によって撮像された全体の画像の解像度を落とす変換をすることによって得ることができる。

低倍率画像６０における高倍率画像６２の部分６１の指定、及び高倍率画像６２における観察位置の指定は、それらの画像中に重畳して表示されるカーソル６３によって行われる。具体的には、例えば、マウスがクリックされると行われる。上記のようにカーソル６３によって指定された位置を示す情報は、画像閲覧ＰＣ３０から画像出力サーバ１０に送信される。なお、低倍率画像６０は、高倍率画像６２を指定しやすいように、サムネイルとして高倍率画像６２に重畳して（例えば、表示画面における右下の表示領域）表示させておいてもよい。

引き続いて、画像出力サーバ１０の機能を説明する。図１に示すように、画像出力サーバ１０は、画像記憶部１１と、指定領域入力部１２と、焦点情報取得部１３と、画像選択部１４と、出力部１５とを備えて構成される。

画像記憶部１１は、顕微鏡装置２０によって撮像された複数の画像データを記憶する部分である。画像記憶部１１は具体的には、画像出力サーバ１０が備えるメモリやストレージ等の記憶装置に相当する。顕微鏡装置２０から送信された画像データは画像出力サーバ１０によって受信されて、上記のメモリやストレージ等の記憶装置に記憶される。画像記憶部１１は、画像データを、当該画像データを特定するＩＤ等の情報や各画像データのＺ位置を示す情報等と対応付けて記憶する。

指定領域入力部１２は、画像記憶部１１に記憶された画像データにおける領域を指定する情報を入力する指定領域入力手段である。指定領域入力部１２は、画像閲覧ＰＣ３０からインターネットＮを介して所定の情報を受信することによって、当該情報を入力（特定）する。この領域は、焦点の合致（フォーカスが合っていること）が判断される領域である。当該領域は、具体的には例えば、図４に示した高倍率画像６２において観察位置として指定された位置のＸＹ位置情報に基づいて決定される。

指定領域入力部１２は、高倍率画像６２において観察位置を示すカーソル６３の位置を示す情報を画像閲覧ＰＣ３０から受信する。続いて、指定領域入力部１２は、指定された画像データにおける位置と上記の領域６４との位置関係（例えば、指定された位置が領域６４の中心位置である等）に基づいて、領域６４を特定する。領域６４の形状としては、図４に示すような矩形や円形等を用いることができる。なお、上記の指定された位置と領域６４との位置関係を示す情報、及び領域６４のサイズを示す情報は、予め設定されて指定領域入力部１２に記憶されている。あるいは、これらの情報も併せて画像閲覧ＰＣ３０から指定されることとしてもよい。指定領域入力部１２は、入力された領域６４を示す情報（大きさ、位置）を焦点情報取得部１３に出力する。

図４に示すように、高倍率画像６２の解像度（例えば、画像閲覧ＰＣ３０のディスプレイの解像度に対応）が１２８０画素（横方向）×８００画素（縦方向）（約１００万画素）であった場合に、この領域６４は、少なくとも３２画素×３２画素（約１０００画素）程度の大きさとするのがよい。焦点の合致を判断するのに、最低、この程度の画素数が必要となるためである。

焦点情報取得部１３は、画像記憶部１１に記憶された焦点位置（Ｚ位置）の異なる複数の画像データ各々における、指定領域入力部１２によって入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得手段である。焦点の合致度合は、一般的には当該領域のコントラストによって表され、コントラストが高いものが焦点の合致度合が高いものになる。

具体的には、焦点情報取得部１３は、画像記憶部１１から、複数の画像データ各々における指定領域入力部１２によって入力された情報により指定される領域の画素値を取得する。焦点情報取得部１３は、取得された画素値から、各画像データに対する上記の焦点の合致度合を示す値を算出する。算出は、例えば、画素値として輝度を用い、上記の範囲の輝度の標準偏差を算出し、その値を焦点の合致度合を示す値とする。この場合、値が大きい程、焦点の合致度合が高いことを示している。また、上記の範囲の輝度の最大値及び最小値の差分を算出（検出）し、その値を焦点の合致度合を示す値としてもよい。この場合、値が大きい程、焦点の合致度合が高いことを示している。上記のように、焦点の合致度合を示す値として、上記の領域の画素の画素値のばらつきを示す値を用いるのがよい。あるいは、上記の範囲の最大輝度又は最小輝度を算出（検出）し、その値を焦点の合致度合を示す値としてもよい。最大輝度を用いる場合、値が大きい程、焦点の合致度合が高いことを示している。最小輝度を用いる場合、値が小さい程、焦点の合致度合が高いことを示している。

また、画像データを構成する各色であるＲＧＢの輝度値全てを用いて焦点の合致度合を示す値の算出を行う以外に、特定の色の輝度値を用いて焦点の合致度合を示す値の算出を行うこととしてもよい。この場合、色彩に特異性を有する特定の対象物に焦点を合わせたい場合に有効である。例えば、観察対象に含まれる赤血球に焦点を合わせたい場合は、赤の輝度値のみを焦点の合致度合を示す値の計算対象としてもよい。あるいは、赤血球以外に焦点を合わせたい場合には、赤以外の輝度値のみを焦点の合致度合を示す値の計算対象としてもよい。

焦点情報取得部１３は、取得した、領域の焦点の合致度合を示す情報を、複数の画像データ各々を示す情報に対応付けて画像選択部１４に出力する。

画像選択部１４は、焦点情報取得部１３から入力された、複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の画像データから、画像閲覧ＰＣ３０に出力する画像データを選択する画像選択手段である。画像選択部１４は、複数の画像データのうち、焦点の合致度合が最も高いとされたものを、出力する画像データとして選択する。画像選択部１４は、選択した画像データを画像記憶部１１から取得して出力部１５に出力する。なお、画像閲覧ＰＣ３０に出力する画像データが、画像データ全体でなく高倍率画像６２である場合は、画像選択部１４は、画像データ全体から出力する部分のみを切り取って取得する（その場合、高倍率画像６２の部分を示す情報は、画像出力サーバ１０によって画像閲覧ＰＣ３０から受信されている）。

出力部１５は、画像選択部１４によって選択された画像データを画像閲覧ＰＣ３０に出力する出力手段である。画像閲覧ＰＣ３０への出力は、インターネットＮを通じて画像データを送信することによって行われる。

画像出力システム１では、画像データ中のカーソル等の位置に応じて、上述したように焦点が合った画像データが画像出力サーバ１０から画像閲覧ＰＣ３０に送信されて表示される。即ち、オートフォーカスが行われるが、そのタイミングについて説明する。

上述した例では、図５に示すように、画像閲覧ＰＣ３０において、マウスがクリックされた際に、高倍率画像６２においてカーソル６３の位置が検出されて、焦点の合致度合いを検出する領域を示す位置の情報（指定領域入力部１２に入力される情報）として、画像閲覧ＰＣ３０から画像出力サーバ１０に送信されることとしていた。なお、図５において、破線で示される観察対象である細胞７１は焦点が合っていないことを示しており、実線で示される観察対象である細胞７１は焦点が合っていることを示している（以下、同様）。オートフォーカスが行われるタイミングは、上記のように、マウスのクリック等が行われたときに限られない。

例えば、図６に示すように、画像閲覧ＰＣ３０において表示される高倍率画像６２（高倍率画像６２ａから高倍率画像６２ｂに）が切り替えられる場合にもオートフォーカスが行われることとしてもよい。この切り替えは、画像閲覧ＰＣ３０におけるユーザの操作等をトリガとして行われる。この場合、上記のようにカーソルの位置に基づく領域から焦点合わせを行ってもよいが、高倍率画像６２ａ全体を対象として焦点合わせを行なうこととしてもよい。

即ち、画像出力サーバ１０の指定領域入力部１２に入力される領域を指定する情報が、高倍率画像６２全体の領域を示すものにする。この場合、焦点を合わす領域を示す位置の情報として、高倍率画像６２の切り替えに関する情報が、画像閲覧ＰＣ３０から画像出力サーバ１０に送信される。このようにすることで、切り替え後の高倍率画像６２が画面全体として最も焦点が合ったものにすることができる。

また、図７に示すように、高倍率画像６２におけるカーソル６３の動き（即ち、マウスの動き）に合わせて、焦点を合わす領域を示す位置としてカーソル６３の位置を検出して（その情報を画像出力サーバ１０に送信して）、オートフォーカスが行われてもよい。その場合、例えば、画像閲覧ＰＣ３０において一定時間間隔（例えば、１秒毎等）でカーソル６３の位置を検出することとすればよい。あるいは、カーソル６３に動きがあったことを検出して、動きが検出された場合にカーソル６３の位置を検出することとしてもよい。

更に、図８に示すようにそれらの組み合わせによるオートフォーカスが行われてもよい。即ち、高倍率画像６２の切り替えが行われた際、並びにマウスのクリック等の操作及びカーソル６３の移動がされた際に、焦点を合わす領域を示す位置を検出して（その情報を画像出力サーバ１０に送信して）、オートフォーカスが行われてもよい。

上記のように、画像閲覧ＰＣ３０に、オートフォーカスが行われるタイミングを制御する機能を持たせることができる。即ち、画像閲覧ＰＣ３０が、画像出力サーバ１０の画像記憶部１１に記憶された画像データにおける領域を指定する情報を入力する指定領域入力手段の一機能を有している形態とすることもできる。

上記の画像出力サーバ１０としては、具体的には、ＣＰＵ（Central Processing Unit）、メモリ及びディスク装置等のハードウェアを備えるコンピュータが用いられ、これらが動作することによりそれぞれの装置の機能が発揮される。また、通常、画像閲覧ＰＣ３０も同様のハードウェア構成である。

引き続いて、図９のシーケンス図を用いて、画像出力システム１により実行される処理（画像出力方法）を説明する。

まず、顕微鏡装置２０によって撮像対象が撮像されて、当該撮像により画像が取得される（Ｓ０１、撮像ステップ）。上述したようにこの撮像は焦点位置を変えて複数回行われ、撮像方向の焦点位置が異なる複数の画像データが取得される。この撮像は、例えば、オペレータの操作に基づいて行われる。取得された画像データは、顕微鏡装置２０から画像出力サーバ１０に送信される（Ｓ０２）。画像出力サーバ１０では、それらの画像データが受信されて画像記憶部１１に格納される。以上が、画像出力サーバ１０の画像記憶部１１に画像データが記憶されるまでの処理である。

続いて、画像出力サーバ１０と画像閲覧ＰＣ３０とで画像データを出力する処理が行われる。本処理は、必ずしも上記の画像出力サーバ１０の画像記憶部１１に画像データが記憶されるまでの処理（Ｓ０１，Ｓ０２）と連続して行われる必要はない。本処理は、例えば、ユーザの操作等に基づいて画像閲覧ＰＣ３０から画像出力サーバ１０に対して画像データの要求が行われることにより開始される。画像データの要求に係る処理において、画像閲覧ＰＣ３０によって取得される画像データ（１つの撮像対象に対する撮像により得られた一連の画像データ）が特定されてもよい。

本処理では、まず、画像閲覧ＰＣ３０において、画像データにおける観察位置の指定が行われる（Ｓ１１）。なお、観察位置の指定の方法は、上述した図５〜図８に示した方法が用いられる。例えば、上述したようにユーザによってマウスが操作されて、画像閲覧ＰＣ３０において表示された画像データ上のカーソルの位置に基づいて行われる。観察位置の指定は、表示された画像データを参照しながら行なわれることが好ましい。従って、この処理に先立って、まず、画像閲覧ＰＣ３０では、画像出力サーバ１０から図４に示すような低倍率画像６０が取得されて表示され、表示された低倍率画像６０における位置を指定することによって（観察位置が含まれる）高倍率画像６２が取得されるようにしてもよい。ここで、画像閲覧ＰＣ３０によって取得される各画像データは、基本的には基準フォーカス面の画像データである。

観察位置が指定されると、画像閲覧ＰＣ３０から画像出力サーバ１０に対して、指定された位置を示す情報が送信される。画像出力サーバ１０では、送信された情報が、指定領域入力部１２によって受信される（Ｓ１２、指定領域入力ステップ）。続いて、指定領域入力部１２によって、当該情報に基づいて、焦点の合致の判断に用いられる領域が特定される（Ｓ１３、指定領域入力ステップ）。特定された領域を示す情報は、指定領域入力部１２から焦点情報取得部１３に入力される。

続いて、焦点情報取得部１３によって、画像記憶部１１から、複数の画像データ各々における指定領域入力部１２によって入力された情報により指定される領域の画素値が取得される。続いて、焦点情報取得部１３によって、各画像データについて、取得された画素値から、各画像データに対する焦点の合致度合を示す値が算出される（Ｓ１４，焦点情報取得ステップ）。取得された焦点の合致度合を示す値は、複数の画像データ各々を示す情報に対応付けられて、焦点情報取得部１３から画像選択部１４に出力される。

続いて、画像選択部１４によって、焦点情報取得部１３から入力された、複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の画像データから、画像閲覧ＰＣ３０に出力する画像データが選択される（Ｓ１５、画像選択ステップ）。選択された画像データは、画像選択部１４によって、画像記憶部１１から取得されて出力部１５に出力される。

続いて、出力部１５によって、画像選択部１４によって選択された画像データが画像閲覧ＰＣ３０に送信される（Ｓ１６、出力ステップ）。画像閲覧ＰＣ３０では、当該画像データが受信され、表示出力がなされる（Ｓ１７、出力ステップ）。以上が、画像出力サーバ１０と画像閲覧ＰＣ３０とで画像データを出力する処理である。ここで、Ｓ１１〜Ｓ１７の処理は、画像閲覧ＰＣ３０における観察位置の指定毎に繰り返し行われる。

上記のように本実施形態によれば、ユーザは、画像出力サーバ１０に記憶された、焦点位置が異なる複数の画像データのうち、指定した観察位置において常に焦点が合った画像データを参照することができる。また、本実施形態においては、１枚の画像において焦点を合わせるための画像データのつなぎ合わせ等がされておらず、このようなつなぎ合わせによるつなぎ目等に起因するずれが生じない画像を参照することができる。即ち、本実施形態によれば、画像中の、ユーザの観察対象となる何れの位置においても焦点が合うと共に画像のずれが生じることがない画像を容易に提供することができる。なお、本実施形態においても、例えば、図２（ｂ）に示すフォーカス面の画像を生成するために、複数の画像データをつなぎ合わせることがある。しかしながら、これは、１枚の画像において焦点を合わせるためのつなぎ合わせではなく、特殊なフォーカス面の画像を生成するためのものである。このようなつなぎ合わせであれば、つなぎ合わせ部分を含んだ箇所を表示しても、ずれの生じない画像が出力される。

なお、本実施形態では、画像出力システム１には、顕微鏡装置２０及び画像閲覧ＰＣ３０を含むこととしていたが必ずしも含まれる必要はなく、画像データが記憶されている画像出力サーバ１０のみで構成されていてもよい。但し、顕微鏡装置２０を画像出力システム１に含むこととすれば、画像出力サーバ１０の画像記憶部１１に記憶される画像データが確実に取得されるため、確実に画像の提供を行うことができる。

また、焦点の合致が判断される領域を、画像閲覧ＰＣ３０において表示されるカーソルに基づいて特定することとすれば、ユーザにとって容易かつ確実に領域の指摘を行うことができ、ユーザの利便性を向上させることができる。更に、カーソルの動きを検出して、領域を特定することとすれば、ユーザの指定位置の変更に応じて、自動的に焦点が合った画像が出力されるので、更にユーザの利便性を向上させることができる。

また、上述したように画像データの画素値に基づいて、焦点の合致度合を示す値を算出することとすれば、適切な焦点の合致度合を示す情報が取得されるので、確実に焦点が合った画像を出力することができる。

更に、本実施形態のように焦点が合った画像データのみが画像出力サーバ１０から画像閲覧ＰＣ３０に送信されているので、オートフォーカスを行うに際して、画像出力サーバ１０と画像閲覧ＰＣ３０との間で送受信されるデータの量が極めて小さくて済む（例えば、画像データの高倍率画像の生データで数ＭＢ程度であり、圧縮すればデータサイズが１／１０〜１／２０程度になる）。従って、本実施形態のように、インターネットＮを介した画像出力システム１であっても、焦点が合った画像が表示されるまでの時間が短くてすみ、ユーザのフラストレーションを低減することができる。

但し、画像出力サーバ１０と画像閲覧ＰＣ３０との間の回線が十分に高速である回線である場合は、必ずしも上記の構成としなくてもよい。即ち、画像閲覧ＰＣ３０側に上述した実施形態の画像出力サーバ１０の各機能部に対応する機能が備えられていてもよい。

その場合に、画像出力サーバ１０ａと画像閲覧ＰＣ３０ａとの間で行われる処理を図１０のシーケンス図に示す（図１０のシーケンス図では、画像出力サーバ１０ａの画像記憶部に画像データが記憶されるまでの処理は、図９のＳ０１，Ｓ０２と同様の処理であり、それらの処理の図示、説明は省略する）。

本処理では、まず、画像閲覧ＰＣ３０ａにおいて、画像データ全体における高倍率画像６２の位置の指定が行われる（Ｓ２１）。指定された高倍率画像６２の位置を示す情報が、画像閲覧ＰＣ３０ａから画像出力サーバ１０ａに送信される（Ｓ２２）。

画像出力サーバ１０ａでは、当該情報が受信され、から、当該情報により示される位置の高倍率画像６２が、画像記憶部に記憶された焦点位置が異なる複数の画像データ全てから取得される。取得された、焦点位置が異なる複数の高倍率画像６２は画像出力サーバ１０ａから画像閲覧ＰＣ３０ａに送信される（Ｓ２３）。

続いて、画像閲覧ＰＣ３０ａによって、焦点位置が異なる複数の高倍率画像６２が受信され、以下のように焦点が合った画像データの表示出力に用いられる。画像閲覧ＰＣ３０ａでは、高倍率画像６２における観察位置の指定が行われる（Ｓ２４、指定領域入力ステップ（Ｓ１１に相当））。ここで、観察位置の指定のために、基準フォーカス面の高倍率画像６２が表示されるのが望ましい。ここでの観察位置の指定は、Ｓ２１において位置が指定された高倍率画像６２の範囲であり、高倍率画像６２の切り替えが行われる場合はＳ２１から再度処理が行われる。

続いて、観察位置が指定されると、画像閲覧ＰＣ３０ａでは、指定された位置に基づいて、焦点の合致の判断に用いられる領域が特定される（Ｓ２５、指定領域入力ステップ（Ｓ１３に相当））。続いて、複数の高倍率画像６２各々における特定された領域の画素値が取得される。続いて、各高倍率画像６２について、取得された画素値から、各高倍率画像６２に対する焦点の合致度合を示す値が算出される（Ｓ２６，焦点情報取得ステップ（Ｓ１４に相当））。算出された複数の画像データ各々に対する焦点の合致度合を示す情報に基づいて、当該複数の高倍率画像６２から、表示出力を行う高倍率画像６２が選択される（Ｓ２７、画像選択ステップ（Ｓ１５に相当））。続いて、選択された画像データの表示出力がなされる（Ｓ２８、出力ステップ（Ｓ１６，Ｓ１７に相当））。以上が、画像出力サーバ１０ａと画像閲覧ＰＣ３０ａとで画像データを出力する処理である。ここで、Ｓ２４〜Ｓ２８の処理は、画像閲覧ＰＣ３０ａにおける観察位置の指定毎に繰り返し行われる。

上述したような構成及び処理によっても、画像出力サーバ１０に記憶された、焦点位置が異なる複数の画像データのうち、指定した観察位置において常に焦点が合った画像データを参照することができる。また、１枚の画像において焦点を合わせるための画像データのつなぎ合わせ等がされておらず、このようなつなぎ合わせによるつなぎ目等に起因するずれが生じない画像を参照することができる。また、この構成にすれば、画像出力サーバ１０ａの負荷が軽減され、多くの画像閲覧ＰＣ３０ａに対して画像データの提供が可能になる。

上述した実施形態では、観察位置が指定された後に、観察位置に応じた領域における焦点の合致度合を示す値を算出することとしていた。しかしながら、図１１（ａ）に示すように予め画像データ全体の表示領域６５を複数のエリア６６に区切り、焦点情報取得部１３が、当該エリア６６毎に焦点の合致度合を示す情報を予め記憶しておき、それを利用して焦点の合致度合を示す値を取得することとしてもよい。このエリア６６としては、例えば、表示領域６５の表示領域を格子状に区切ったものが用いられる。

焦点情報取得部１３が記憶する焦点の合致度合を示す情報としては、例えば、各エリア６６において、焦点の合致度合が最も高くなる画像データのＺ位置の情報を、基準フォーカス面からの差分としたものである。例えば「＋２」の場合は、図３（ａ）に示すように基準フォーカス面からＺ位置を＋方向に２つずらした面での画像データであることを示している。この情報は、各エリア６６を上述した焦点の合致が判断される領域として、全てのエリア６６について上述した焦点の合致度合を示す値を算出することによって得ることができる。この演算は、撮像されて画像データが取得された後、適宜行うことができる。また、この演算は画像出力サーバ１０で行われてもよいし、別の装置で行われてもよい。

この構成では、指定領域入力部１２が、画像閲覧ＰＣ３０から画像データにおける位置を示す情報を受信して、焦点情報取得部１３に出力する。焦点情報取得部１３は、指定領域入力部１２から入力された位置が何れのエリア６６に含まれるか判断して、当該位置が含まれるエリア６６に対応付けられた上記の焦点の合致度合を示す情報を取得する。焦点情報取得部１３は、焦点の合致度合を示す情報を画像選択部１４に出力し、画像選択部１４は当該情報に基づいて、画像データの選択を行う。

この構成によれば、画像データの出力を行う際に、焦点の合致度合を算出する必要がないため、画像データにおける領域の指定から画像データの出力までの時間を短くすることができる。また、画像データの出力時の画像出力サーバ１０の負荷を軽減することができる。

ここで、画像データ全体の表示領域６５が分割された場合の複数のエリア６６は、個々の画素であってもよい。その場合、例えば、焦点の合致が判断される領域は上述した実施形態と同様に当該画素の位置と当該領域との位置関係（例えば、画素の位置が領域の中心位置である等）に基づいて定められる。

また、上述した一連の実施形態においては、画像データを記憶する装置（画送出力サーバ）と画像データを表示する装置（画像閲覧ＰＣ）とが別々の装置であるものとしたが、それらが一体となっている装置であってもよい。また、本実施形態では、画像データ全体の一部である高倍率画像６２に対して、焦点を合わすこととしているが、例えば画像データ全体がそれほど大きなデータサイズでない場合等は画像データ全体を対象として焦点を合わす構成としてもよい。

引き続いて、上述した一連の画像出力システム１（画像出力サーバ１０）の画像出力を行う処理をコンピュータに実行させるための画像出力プログラムを説明する。図１２に示すように、画像出力プログラム８１は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納される。

画像出力プログラム８１は、画像出力処理を統括的に制御するメインモジュール８１ａと、画像記憶モジュール８１ｂと、指定領域入力モジュール８１ｃと、焦点情報取得モジュール８１ｄと、画像選択モジュール８１ｅ、出力モジュール８１ｆとを備えて構成される。画像記憶モジュール８１ｂ、指定領域入力モジュール８１ｃ、焦点情報取得モジュール８１ｄ、画像選択モジュール８１ｅ及び出力モジュール８１ｆを実行させることにより実現される機能は、上述した画像出力サーバ１０の画像記憶部１１、指定領域入力部１２、焦点情報取得部１３、画像選択部１４及び出力部１５の機能とそれぞれ同様である。

なお、画像出力プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。

本発明の実施形態に係る画像出力システムの構成を示す図である。 顕微鏡装置において撮像される際の基準フォーカス面を示す図である。 顕微鏡装置において撮像される際の焦点位置（撮像面）を示す図である。 画像出力システムにおいて出力される画像データの構成を示す図である。 観察位置の指定に応じた焦点の変更方法の１つ目の例を示す図である。 観察位置の指定に応じた焦点の変更方法の２つ目の例を示す図である。 観察位置の指定に応じた焦点の変更方法の３つ目の例を示す図である。 観察位置の指定に応じた焦点の変更方法の４つ目の例を示す図である。 本発明の実施形態に係る画像出力システムより実行される処理（画像出力方法）を示すシーケンス図である。 本発明の実施形態に係る画像出力システムより実行される処理（画像出力方法）の別の例を示すシーケンス図である。 画像データの指定位置における焦点の合致度合を示す情報の取得方法を示す図である。 本発明の実施形態に係る画像出力プログラムの構成を示す図である。

１…画像出力システム、１０，１０ａ…画像出力サーバ、１１…画像記憶部、１２…指定領域入力部、１３…焦点情報取得部、１４…画像選択部、１５…出力部、２０…顕微鏡装置、３０…画像閲覧ＰＣ、Ｎ…インターネット、８０…記録媒体、８０ａ…プログラム格納領域、８１…画像出力プログラム、８１ａ…メインモジュール、８１ｂ…画像記憶モジュール、８１ｃ…指定領域入力モジュール、８１ｄ…焦点情報取得モジュール、８１ｅ…画像選択モジュール、８１ｆ…出力モジュール。

Claims (10)

1. 所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶部と、
   前記画像記憶部に記憶された画像データにおける領域を指定する情報を入力する指定領域入力手段と、
   前記画像記憶部に記憶された前記複数の画像データ各々における、前記指定領域入力手段によって入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得手段と、
   前記焦点情報取得手段によって取得された、前記複数の画像データ各々に対する前記焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択手段と、
   前記画像選択手段によって選択された画像データを出力する出力手段と、
   を備える画像出力システム。
2. 前記画像記憶部に記憶される前記複数の画像データを撮像により取得する撮像手段を更に備える請求項１に記載の画像出力システム。
3. 前記指定領域入力手段は、前記画像記憶部に記憶された画像データにおける位置を示すカーソルの位置を示す情報を入力して、当該位置に基づいて前記領域を特定することを特徴とする請求項１又は２に記載の画像出力システム。
4. 前記指定領域入力手段は、前記カーソルの動きを検出して、当該カーソルの動きが検出された場合に、当該カーソルの位置に基づいて前記領域を特定することを特徴とする請求項３に記載の画像出力システム。
5. 前記焦点情報取得手段は、前記画像データ各々における前記領域の画素の画素値から前記焦点の合致度合を示す値を算出することを特徴とする請求項１〜４の何れか一項に記載の画像出力システム。
6. 前記焦点情報取得手段は、前記焦点の合致度合を示す値として、前記画像データ各々における前記領域の画素の画素値のばらつきを示す値を算出することを特徴とする請求項５に記載の画像出力システム。
7. 前記焦点情報取得手段は、特定の色に関する画素値から前記焦点の合致度合を示す値を算出することを特徴とする請求項５又は６に記載の画像出力システム。
8. 前記指定領域入力手段は、前記画像記憶部に記憶された画像データにおける領域を指定する情報として、当該画像データにおける位置を示す情報を入力して、
   前記焦点情報取得手段は、前記画像データを複数のエリアに区切り、当該エリア毎に前記焦点の合致度合を示す情報を予め記憶しておき、前記指定領域入力手段によって入力された情報により示される位置が含まれるエリアの前記焦点の合致度合を示す情報を取得する、
   ことを特徴とする請求項１又は２に記載の画像出力システム。
9. 所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶部を備える画像出力システムによる画像出力方法であって、
   前記画像記憶部に記憶された画像データにおける領域を指定する情報を入力する指定領域入力ステップと、
   前記画像記憶部に記憶された前記複数の画像データ各々における、前記指定領域入力ステップにおいて入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得ステップと、
   前記焦点情報取得ステップにおいて取得された、前記複数の画像データ各々に対する前記焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択ステップと、
   前記画像選択ステップにおいて選択された画像データを出力する出力ステップと、
   を含む画像出力方法。
10. 所定の撮像対象を撮像した、撮像方向における焦点位置が異なる複数の画像データを記憶する画像記憶機能と、
    前記画像記憶機能により記憶された画像データにおける領域を指定する情報を入力する指定領域入力機能と、
    前記画像記憶機能により記憶された前記複数の画像データ各々における、前記指定領域入力機能によって入力された情報により指定される領域の焦点の合致度合を示す情報を取得する焦点情報取得機能と、
    前記焦点情報取得機能によって取得された、前記複数の画像データ各々に対する前記焦点の合致度合を示す情報に基づいて、当該複数の画像データから出力する画像データを選択する画像選択機能と、
    前記画像選択機能によって選択された画像データを出力する出力機能と、
    をコンピュータに実行させる画像出力プログラム。
    

Images