JP2004515812A - データ取得および表示システムおよび方法 - Google Patents

Abstract

データ取得および表示システムであって：少なくとも第１（６０）および第２（６２）データ取得方法の各々を使用して関心視野全体を走査してデータを取得するように作動可能な、カメラ、顕微鏡、望遠鏡、熱画像装置、医療用画像装置、レーダなどのデータ取得装置を含むデータ取得および表示システム。視野データ格納装置は、関心視野内の位置を記述する対応する視野位置データと共に視野データを格納する。スクリーン（６４）などの視野データ表示装置は、異なるデータ取得方法によってそれぞれ取得した関心視野内の合致した位置からのデータを同時に表示するように作動可能である。前記データ、一般的に画像データは希望に応じて重ね合わせるか、あるいは横に並べて表示することができる。好ましくは、表示される画像の１つは生であり、もう１つは視野データ格納装置から呼び出される。

Description

【０００１】
発明の分野
本発明は、データ取得および表示システムおよび方法に関し、さらに詳しくは、画像データ取得表示システムに関するが、それのみに限定されない。
【０００２】
発明の背景
データ収集技術において、さらに詳しくは画像収集技術において、多数の異なる画像収集技術を使用して所与の視野を画像化することが可能である。例えば、標準光学顕微鏡は、明視野照明および暗視野照明を使用してスライドを画像化することができる。代替的に、同じ顕微鏡を使用して、同一照明条件であるが異なる光フィルタを用いて、同じ視野を見ることができる。同様に標準カメラは、異なるフィルタを用いて、または異なる照明条件下で、または異なる時間にシーンを見ることができる。
【０００３】
上記は、あらゆる種類の電子および従来型の顕微鏡、カメラ、あらゆる種類の波長用の望遠鏡、レーダ、熱画像装置、映像増倍管、レーザ測距装置、ならびに例えば磁気共鳴画像装置またはスキャナ、ＰＥＴスキャナ、Ｘ線装置等を含む医療用画像装置を含め、あらゆる種類の画像収集技術に適用される。電子顕微鏡は例えば走査型電子顕微鏡、透過型電子顕微鏡を含み、望遠鏡は反射および屈折望遠鏡のみならず、電波望遠鏡ならびにＸ線およびガンマ線望遠鏡をも含む。装置は、画像検出用にＣＣＤ技術を使用した高精度装置を含めることができる。
【０００４】
さらに、装置が一度に画像化できる最大視野より大きい、関心のある大視野を画像化することが望ましいことがしばしばある。この場合、したがって画像は部分または区画に分けて見られる。次いで関心視野が異なる画像化方法を用いて再画像化される場合、２つの方法を用いて画像化された同一部分を同時に見ることがしばしば望ましい。さらに、見られている２つの画像の一方が、現在画像化されている最中のものであることがしばしばある。２つの画像を横に並べて表示し、あるいは代替的に、相互に重ね合わせることが望ましいかもしれない。
【０００５】
画像装置は、任意の数の画像化方法を用いて関心視野を画像化することができることがある。そのような場合、各方法による各々の対応する画像を同時に見ることが望ましいことがある。
【０００６】
関心視野は、全部を一度に画像化するには大きすぎる領域であるかもしれず、あるいはそれは一度に画像化することのできない被写界深度であるかもしれない。代替的に、時間と共に変化する視野、あるいは上記の任意の組合せであるかもしれない。
【０００７】
画像化は、地上をベースとするプラットフォーム、空中プラットフォーム、および宇宙をベースとするプラットフォームを使用して実行される。同じ問題がこれらの場合の全てに適用される。
【０００８】
発明の概要
本発明の実施形態は、画像装置を用いて関心視野全体を移動して、１つの画像化方法を用いて関心視野を画像化しながら、同時にかつ自動的に、以前に同じまたは異なる画像化方法を用いて取得した視野の同じ部分の１つまたは複数の画像を表示させ、画像装置が関心視野全体を移動するにつれてこの後者の画像が自動的に置換されるようにする可能性を使用者に提供することが好ましい。
【０００９】
本発明の第１態様では、したがって、
少なくとも第１および第２データ取得方法の各々を使用して、走査可能な関心視野から、視野位置データを有する現在の観察視野の視野データを取得するように作動可能な少なくとも１つのデータ取得装置と、
前記視野データを前記対応する視野位置データと共に格納するための視野データ格納装置と、
前記第１および第２データ取得方法によってそれぞれ取得した前記現在の観察視野の視野データであって、前記視野位置データによって照合可能である前記視野データを、同時に表示するように動作可能な視野データ表示装置と
を備えたデータ取得および表示システムを提供する。
【００１０】
好ましくは、視野データは画像データを含む。
【００１１】
好ましくは、走査可能な関心視野は前記現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする。
【００１２】
好ましくは、前記走査可能な関心視野は前記現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする。
【００１３】
好ましくは、前記視野データ格納装置は、前記第１データ取得方法に従って取得した前記走査可能な関心視野の画像データを格納するように作動可能である。
【００１４】
好ましくは、前記データ取得装置は前記第２データ取得方法を使用して現在の観察視野の画像データを取得するように作動可能であり、前記視野データ表示装置は、前記第１データ取得方法を使用して取得した対応する画像と共に、前記画像データを表示するように作動可能である。
【００１５】
好ましくは、前記データ取得装置は顕微鏡である。
【００１６】
好ましくは、前記データ取得装置は顕微鏡であり、前記顕微鏡は、光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである。
【００１７】
代替的に、前記データ取得装置は望遠鏡である。
【００１８】
好ましくは、前記望遠鏡は、屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである。
【００１９】
好ましくは、前記データ取得装置は地上をベースとする。
【００２０】
代替的に、前記データ取得装置は航空機搭載に適している。
【００２１】
さらなる代替例として、前記データ取得装置は宇宙機搭載に適している。
【００２２】
本発明の第２態様では、走査可能な関心視野の複数の部分の画像データを、前記走査可能な関心視野内の前記部分の位置データと一緒に格納する画像データ格納装置を提供する。
【００２３】
本発明の第３態様では、少なくとも２つのデータ取得方法に従って画像データを取得するために作動可能な少なくとも１つの画像データ取得装置とデータ表示装置とをコーディネートするための取得および表示コーディネータであって、第１データ取得方法を用いて得られた画像データを走査可能な関心視野内の前記画像の位置データと共に格納し、かつ、前記画像を、第２データ取得方法を用いて取得した同様の位置データを有する画像と同時に表示するように作動可能であるコーディネータを提供する。
【００２４】
好ましくは、前記走査可能な関心視野は現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする。
【００２５】
好適な実施形態は、前記第１データ取得方法に従って取得した前記走査可能な関心視野全体の画像データを格納するように作動可能であることが好ましい。
【００２６】
好ましくは、前記データ取得装置は、前記第２データ取得方法を用いて現在の観察視野の画像データを取得するように作動可能であり、前記視野データ表示装置は前記画像データを、前記第１データ取得方法を用いて取得した前記対応する画像と共に、実時間に表示する。
【００２７】
好ましくは、前記データ取得装置は顕微鏡である。
【００２８】
一代替例では、前記顕微鏡は光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである。
【００２９】
代替的に、前記データ取得装置は熱画像装置、画像増倍管、望遠鏡、カメラ、およびレーダを含むグループのいずれか１つである。
【００３０】
好ましくは、前記望遠鏡は屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである。
【００３１】
一実施形態では、前記データ取得装置は地上をベースとする。
【００３２】
代替的に、前記データ取得装置は航空機搭載に適している。
【００３３】
さらなる代替例として、前記データ取得装置は宇宙機搭載、例えば衛星搭載に適している。
【００３４】
好ましくは、コーディネータは前記データ取得装置を位置決めするように作動可能である。
【００３５】
好ましくは、前記位置データは焦点面を画定するための集束データをさらに含む。
【００３６】
コーディネータは、前記データ取得装置と作動的に関連付けられるコンピュータにインストールするためのコンピュータ可読媒体上のソフトウェアを含むことが好ましい。
【００３７】
本発明の第４態様では、
第１データ取得方法を用いて走査中の関心視野内の視野の第１データを取得するステップと、
前記データを、走査中の前記関心視野内の前記視野の視野位置データと共に格納するステップと、
その後、第２データ取得方法を用いて走査中の前記関心視野内の対応する視野の第２データを取得するステップと、
前記視野位置データを用いて前記第１データを検索し、前記第１データおよび第２データを同時に表示するステップと
を含む、取得および表示コーディネート方法を提供する。
【００３８】
好ましくは、前記第１データおよび前記第２データはそれぞれ第１および第２画像である。
【００３９】
好ましくは、前記同時に表示される第１および第２画像は相互に重ね合わされる。
【００４０】
好ましくは、前記同時に表示される画像は横に並べて表示される。
【００４１】
好ましくは、前記データは、熱画像装置、顕微鏡、画像増倍管、望遠鏡、カメラ、およびレーダを含むグループのいずれか１つを用いて取得される。
【００４２】
好ましくは、前記顕微鏡は光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである。
【００４３】
好ましくは、前記望遠鏡は屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである。
【００４４】
好ましくは、前記データ取得装置は、複数の異なる波長でデータを収集するように動作可能な望遠鏡および熱画像装置を含むグループの１つであり、各データ取得方法は前記波長のうちの異なる一波長でデータを収集することを含む。
【００４５】
本発明の第５態様では、
第１データ取得方法を用いて関心視野を走査するステップと、
前記関心視野の複数の第１画像を形成するステップと、
前記画像に指標を付けるステップと、
前記指標を付けた画像を格納するステップと、
第２データ取得方法を用いて関心視野を走査して、前記第１画像の１つに対応する少なくとも１つの第２画像を形成するステップと、
前記第１画像のうちのどれが前記第２画像に対応するかを前記指標から決定するステップと、
前記第２画像および前記対応する第１画像を同時に表示するステップと
を含む、走査可能な関心視野から少なくとも２つのデータ取得方法で取得したデータの表示方法を提供する。
【００４６】
本発明の第６態様では、
第１データ取得方法を用いて関心視野を走査するステップと、
前記関心視野の複数の第１画像を形成するステップと、
前記画像に指標を付けるステップと、
前記指標を付けた画像を格納するステップと、
第２データ取得方法を用いて関心視野を走査して、前記第１画像のうちの予め定められた一画像の指標に対応する少なくとも１つの第２画像を形成するステップと、
前記第２画像および前記対応する第１画像を同時に表示するステップと
を含む、走査可能な関心視野から少なくとも２つのデータ取得方法で取得したデータの表示方法を提供する。
【００４７】
本発明の第７態様では、
外部から提供される位置決め命令に従って、複数の画像収集方法を用いて画像データを収集するように作動可能な画像収集装置を提供するステップと、
画像格納装置を提供し、前記データに対応する前記外部から提供された位置決め命令に関連して前記画像収集装置から収集されたデータを格納することができるように前記画像格納装置を前記画像収集装置に接続するステップと、
同一位置決め命令で異なる画像収集方法を使用して収集された複数の画像を同時に表示するための画像表示装置を提供するステップと
を含む、画像収集および表示コーディネートシステムを構築する方法を提供する。
【００４８】
好ましくは、前記画像表示装置は、前記格納装置からの少なくとも１つの画像を、前記画像収集装置から直接の１つの画像と共に表示するように作動可能である。
【００４９】
本発明の第８態様では、少なくとも２つのデータ取得方法に従って画像データを取得するために作動可能な画像データ取得装置およびデータ表示装置を制御するための制御システムであって、第１データ取得方法を用いて得た画像データを走査可能な関心視野内の前記画像の位置データと共に格納し、かつ前記画像を第２データ取得方法を用いて取得した同様の位置データを有する画像と同時に表示するように作動可能である制御システムを提供する。
【００５０】
本発明の第９態様では、画像装置および表示装置を一緒に制御して、使用者が前記画像装置を用いて関心視野にわたって移動して、１つの画像化方法を用いて視野を部分に分けて画像化し、かつ前記画像装置に現在の部分を表示しながら、同時にかつ自動的に、以前に異なる画像化方法を用いて取得した視野の同一部分の第２画像を表示し、画像装置が関心視野の異なる部分に移動すると第２画像が自動的に置換されることを可能にする制御装置を提供する。
【００５１】
好ましくは、画像装置は、少なくとも３つの画像化方法を用いて前記関心視野を画像化するように作動可能であり、前記表示装置は、現在観察されている前記関心視野の一部の全画像を同時に表示するように作動可能である。
【００５２】
本発明の第１０態様では、
関心視野を走査し、かつ、少なくとも第１および第２データ取得方法の各々を用いて前記走査可能な関心視野から視野位置データを有する部分の視野データを取得するように作動可能な少なくとも１つのデータ取得装置と、
前記視野データを前記対応する視野位置データと共に格納するための視野データ格納装置と、
前記第１および前記第２データ取得方法によってそれぞれ取得した視野データであって、前記視野位置データによって照合可能である前記視野データを同時に表示するように作動可能である視野データ表示装置と
を含むデータ取得および表示システムを提供する。
【００５３】
本発明の第１１態様では、固有の座標系をマウントおよび対象物（ｍｏｕｎｔ−ａｎｄ−ｏｂｊｅｃｔ）システムに適用する方法であって、
自動画像処理を用いて前記マウントおよび対象物システムの複数のエッジ点を識別するステップと、
前記エッジ点間に直線を内挿するステップと、
前記内挿された直線から２本の直角をなす直線を識別するステップと、
前記直角をなす直線間の交点を識別するステップと、
前記交点を前記固有の座標系の原点と定義するステップと
を含む方法を提供する。
【００５４】
好ましくは、前記マウントおよび対象物システムは実質的に矩形の輪郭を有する。
【００５５】
本発明の第１２態様では、内部座標系を用いてマウントおよび対象物システムを画像化する方法であって、
自動画像処理を用いて前記マウントおよび対象物システムの複数のエッジ点を識別するステップと、
前記エッジ点間に直線を内挿するステップと、
前記内挿された直線から２本の直角をなす直線を識別するステップと、
前記直角をなす直線間の交点を識別するステップと、
前記交点を前記固有の座標系の原点と定義するステップと
前記マウントおよび対象物システム上の異なる位置で複数の画像を作成するステップと、
前記固有の座標系で表現したそのそれぞれの位置に基づいて前記画像に指標を付けるステップと
を含む方法を提供する。
【００５６】
好ましくは、前記マウントおよび対象物システムは実質的に矩形である。
【００５７】
該方法は好ましくは、同一マウントおよび対象物システムを２系列の前記画像間で微調整するさらなるステップを含み、該ステップは
各系列の画像における同一特徴を識別するステップと、
各系列の前記画像における前記同一特徴上にクロスヘアを配置するステップと、
クロスヘアの中心を各セットの画像上の同一位置にあると定義して固有の座標系を変更するステップと
を含む。
【００５８】
図面の簡単な説明
本発明をよりよく理解するために、かつそれをいかに実施するかを示すために、純粋に例として、今から添付の図面を参考しながら本発明を説明する。
図１は、異なる染色技法を用いで生成された顕微鏡スライドの同一部分の一連の４つの画面を示す略図である。
図２は、本発明の第１実施形態を示す一般ブロック図である。
図３は、本発明の実施形態の動作を説明する簡略流れ図である。
図４は、本発明の実施形態に対する固有の座標系の適用を示す簡略図である。
図５は、本発明に適用された３次元座標系を示す簡略図である。
図６は、ＰＣモニタに異なる倍率で横に並べて表示された２セットの条件下で染色されたスライドを示す簡略図である。
【００５９】
好適な実施形態の説明
本発明の実施形態は一般的に、
少なくとも第１および第２データ取得方法の各々を用いた関心視野にわたる走査中にデータを取得するように作動可能である、カメラ、顕微鏡、望遠鏡、熱画像装置、医療用操作装置、レーダ等のようなデータ取得装置と、
関心視野内の位置を記述する対応する視野位置データと共に視野データを格納する視野データ格納装置と、
異なるデータ取得方法によってそれぞれ取得した関心視野内の合致した位置からのデータを同時に表示するように作動可能である、スクリーンなどの視野データ表示装置と
を備えているデータ取得および表示システムを提供する。
【００６０】
データ、一般的に画像データは希望に応じて重ね合わせるか、あるいは横に並べて表示することができる。好ましくは、表示される画像の１つは生で表示され、もう１つは視野データ格納装置から呼び出される。多数の異なる画像化技術が使用される場合、各々の技術または技術の部分集合に関連する格納された画像を、好ましくは生の、すなわち現在の画像と並んで表示することができる。
【００６１】
今、図１を参照すると、これは本発明の第１実施形態に係るコーディネートされた画像表示を示す。モニタディスプレイ１０は、顕微鏡を用いて撮影された同一対象物の１系列４つの画像１２、１４、１６、および１８を同時に示しており、各画像は異なる染色条件下で撮影されたものである。４つの画像は全て以前に撮影され、メモリから呼び出されたものとすることができ、あるいは画像の１つは顕微鏡を介する直接表示とすることができる。４つの画像は関心視野全体の図とすることができ、その場合、画像をコーディネートすることは比較的容易である。しかし、関心視野が個々の画像よりかなり大きい場合がある。例えば、スライド全体を見たいかもしれず、その場合、使用する倍率によって、各染色技術で数十、数百、または数千の画像が撮影されることがある。したがって、顕微鏡はスライド全体を移動しながら、技術の１つを用いて画像化を実施するので、多数の他の画像の間で選択することによって残りの３つの図を更新する必要がある。以下でさらに詳述する通り、これは各画像を、画像が撮影されたときの顕微鏡の位置を記述する位置データに関連付けることによって達成することができる。画像は位置データと共に格納され、その後、顕微鏡が同一位置でさらなる画像化を実施するときに呼び出される。
【００６２】
図１は、横に並べて表示された画像を示すが、多くの状況で画像を重ね合わせることが望ましいかもしれない。
【００６３】
熟練者は、重ね合わせのための多数の技術があることを承知されるであろう。背景色を除去してそれを透明にし、次いで例えば、両方の画像の染色された領域が２色の混色に見えるように、２つの画像を単に相互に重ねて配置することができる。代替的に、２つの画像によって染色された領域を識別し、それらに異なる色を指定することができる。
【００６４】
今、図２を参照すると、それは、図１のコーディネートされた画像を提供するための装置を示す簡略ブロック図である。顕微鏡２０にはカメラ２２が結合されている。顕微鏡２０は、モータ駆動ステージ２４上に配置されたスライドの画像を生成し、それをカメラが記録する。カメラ２２は画像をディジタル形式で記録することが好ましい。モータ駆動ステージ２４はステージ制御装置２６によって操作され、例えばステージの異なる部分を観察することができ、かつスライドまたはスライドの部分に焦点を合わせることができるようにステージを移動させる。
【００６５】
画像データを得るときのステージの位置を決定するために、コントローラＰＣ２８をカメラ２２およびモータ駆動ステージ２４に接続することが好ましい。加えて、ディジタルカメラ、例えばカラーＣＣＤカメラとすることができるカメラ２２から画像データを収集し、画像データをモータ駆動ステージ２４から得た位置情報と共に格納することができる。位置データを伴う画像データは、メモリ３０に格納することが好ましい。画像データが得られるときに、それをモニタ３２上に表示することもできる。
【００６６】
顕微鏡２０はスライドを走査して、スライド上で関心のある全てを包括的に網羅する一連の画像を生成することが好ましい。次いで、新しい画像化技術を使用して、スライドを再び走査する。第１走査からの画像に対応する第２走査からの画像は、それらが同一位置情報付きで格納されるので、容易に識別可能である。したがって、第２走査中に、得られる各画像に対し、該画像を第１走査からの対応する画像と共に同時表示することが可能である。
【００６７】
第２走査の後に、第３画像化技術を用いて第３走査を続けることができ、第３走査中に各画像が得られるときに、それをモニタ３２上に第１および第２走査からの対応する画像と共に表示することができ、同様に、さらなる画像化技術を用いて第４およびそれ以上の走査を続けることができる。こうして使用者は関心視野全体を移動して、対応する画像の自動更新を得ることができ、したがって本発明はスライドを走査して、複数のセットの条件下で対象物を自動的に見る能力を提供する。
【００６８】
異なるセットの条件は、照明方法、フィルタ、適用する染料またはマーカ、焦点面または焦点深度の変化を含む。多数の他の変化の可能性が熟練者には明らかであろう。
【００６９】
上述した通り、標準光学顕微鏡は、明視野照明および染色を用いて、かつ蛍光照明および染色を用いても、スライドを画像化することができる。代替的に、同じ顕微鏡は、同一照明条件であるが異なる染色条件を用いて、かつ異なる光フィルタを用いて、同じ画像を見ることができる。標準カメラは同様に、異なるフィルタを用いて、あるいは異なる照明条件下で、または異なる時間にシーンを見ることができる。
【００７０】
図２の上記の説明で、コンピュータ３０は単に画像が得られる位置を観察すると説明した。したがって走査自体は、使用者が顕微鏡制御装置、例えばジョイスティックまたは類似物を操作することによって実施される。しかし、代替実施形態では、コンピュータがモータ駆動ステージ２４の移動を制御し、したがって予め定められたプログラム走査を実行する。この場合、コンピュータ３０は、ステージ制御装置２６のみならず、モータ駆動ステージ２４自体にも接続することができる。
【００７１】
上記の説明で、生の画像と格納された画像の同時表示について述べた。１つの特定の実施形態では、格納された画像を選択することができ、画像と共に位置データを使用して、別の対応する画像を得るために顕微鏡を自動的に位置決めすることができる。
【００７２】
代替実施形態では、画像のセットを取得し、生の画像を使用することなく該セットから対応する画像を一緒に表示するように、収集機能と表示機能との分離を提供することができる。
【００７３】
今、図３を参照すると、それは、本発明で使用される画像収集および表示手順を示す簡略流れ図である。最初に、ステップＳ１で、スライド上の試料にマーカが適用される。ステップＳ２で、スライドはモータ駆動ステージ２４上に配置され、次いでステップＳ３で、レジストレーション粗調整を実施することが好ましい。レジストレーション粗調整ステップは、図４に関連して以下でさらに詳述する。ステップＳ４で、スライドは走査され、一連の画像が生成され、格納される。全ての必要なマーカが使用されるまで、異なるマーカを用いて、ステップ１ないし４が繰り返される。ステップＳ５で全ての必要なマーカを使用し終わると、次いでステップＳ６で同時表示が開始される。スライドが再びステージ２４上に装着され、ステップＳ７で、各々のセットからスライド上の所与の位置に対応する全ての画像が開かれる。スライドが正しく位置合わせされていない場合（ステップＳ８）には、ステップＳ９のレジストレーション微調整が必要である。レジストレーション微調整のステップについても以下でさらに詳述する。次いで、スライドは顕微鏡によって走査され、対応する画像の全てのセットが、現在観察されている画像に並べて、またはその上に重ね合わせて表示される（ステップＳ１０）。
【００７４】
今、図４を参照すると、それは、スライドの壁がいかにスライドの内部座標系の基準点を提供するかを示す簡略図である。ステージ２４上に配置され続けるスライドの基準を提供することは簡単であるが、本実施形態は、例えば洗浄および再染色のためにステージから取り外されるスライド上の位置を正確に識別するための手段を提供する。スライドがステージ上に正しく再配置されないときに、ステージの位置を見出すことができる。
【００７５】
図４で、スライド４０は第１エッジ４２および第２エッジ４４を有し、第１および第２エッジは隅４６で交差する。隅４６は単に、スライドに固有であってステージまたは画像収集機構の他のいかなる部分にも依存しないｘ，ｙ座標系の原点として使用される。レジストレーション粗調整プロセスは単に、スライドのそれぞれ第１および第２エッジを識別し、かつ、こうしてそれらの交点を識別するだけである。
【００７６】
スライドの内部座標系を得るための好適な手順は次の通りである。
スライドの第１および第２エッジに沿って、１セットの画像を撮影する。
スライドのエッジに沿って（ステージ２４に対する）多数の位置の座標を得る。
各々のエッジに対し、直線に対する座標の線形当てはめを得る。
２本の直線の交点を得る。
交点をスライドの固有の座標系の原点と定義する。
【００７７】
上記手順を最初に、スライドに対する座標系を確立するために実行し、スライドを交換するたびにそれを繰り返す。個々の画像の座標をスライドの内部座標系で表現する。
【００７８】
図３に戻って、ステップＳ４で、上述した通り、スライドを走査して一連の画像が生成され、それはディジタル化され、それぞれの座標と共にメモリに格納される。走査は２軸（ｘ，ｙ）または３軸（ｘ，ｙ，ｚ）とすることができる。前者の場合、コンピュータはスライドの全部の領域を画像化することによって画像補足を制御することができる。後者の場合、スライドの各部分に対し、異なる深度の焦点合わせも行われる。いずれの場合も、走査される領域はスライド全体またはその部分集合とすることができ、ここでは関心視野と呼ぶ。３軸の場合、事実上スライドの３次元表現がメモリに格納される（以下の図５の説明参照）。
【００７９】
ステップＳ７で、メモリから検索された以前に取得したセットからの画像が、対応する生の画像と共に表示される。これは部分的に、表示を試みる前にレジストレーション粗調整ステップを通して適正なレジストレーションが達成されたことを確認するものであるので、ステップ１０の画像の最終表示とは別個のステップである。顕微鏡２０を介して現在見られている生の画像は、格納された画像と共に表示され、レジストレーションが充分に正確であることを確認する機会が使用者に与えられる。使用者がそうでないと判断した場合には、レジストレーション微調整手順に入る機会が与えられる。該システムに利用可能な画像処理技術によって、レジストレーション微調整の自動選択の可能性がある。
【００８０】
レジストレーション微調整手順は、レジストレーション粗調整で充分な精度の配置が達成されなかった場合に、レジストレーション粗調整機構の変位および回転誤差を補正することを意図している。レジストレーション微調整手順では、画像の１つが基準として選択される。その画像内の対象物がスクリーンの中央に配置される。対応する画像で同一対象物が識別される。次いでレジストレーション微調整が起動され、それは異なるセットにおける対象物の全ての出現に配置するためのクロスヘアマークの生成を含む。クロスヘアマークは対象物上の同一点に配置されて、対象物の向きを示し、システムはクロスヘアを全ての画像セットで同一座標として扱うように通知される。したがって、システムは内部座標系の平行移動および回転誤差を補正することができる。
【００８１】
上述の通り、多数の動作モードがある。第１モードでは、スライドの１セットまたは複数セットの画像が事前格納される。コンピュータは顕微鏡を制御してスライドにわたって走査し、走査中に新しい生画像が選択されるたびに、対応する格納画像が表示される。
【００８２】
代替動作モードでは、スライドは自動的に走査されず、むしろ使用者が所与の位置を示すように顕微鏡に指示する。次いでコンピュータは、選択された位置に対応する格納画像を自動的に選択する。
【００８３】
別の代替動作モードでは、使用者は顕微鏡を直接制御して関心ある箇所に移動する。コンピュータは位置を追跡し、そのメモリから対応する画像データを自動的に生成する。
【００８４】
さらなる代替動作モードでは、生画像は表示されず、むしろスライド中を移動する上記モードのいずれかが使用され、表示される画像は全てメモリから検索される。
【００８５】
今、図５を参照すると、それは、スライドの単一領域の一連の撮影画像を概略的に示しており、各画像は異なる深度に焦点が合わされている。
【００８６】
上述の通り、２次元または３次元のいずれかを使用してスライド全体を範囲に含めることができる。図５は、全てがスライド上の対象物の異なる深さに焦点を合わせた一連の画像５０．１．．．５０．ｎを概略的に示す。一実施形態では、異なる深さからの画像が横に並べて表示されるか、あるいは画像の種類に対してそれが道理に適うならば重ね合わされ、使用者は物体の異なる深さを同時に見ることができる。
【００８７】
代替実施形態では、スライドは一連の画像化技術を用いて異なる深さを画像化され、各画像は位置および深さに従って指標を付けられる。次いで、スライドは、同一位置および深さで撮影された複数の画像を同時に示すことによって観察され、次いで別の深さまたは別の位置、またはその両方に移動する。同時に示される画像は全て格納された画像とすることができ、あるいは画像の１つは生画像とすることができる。
【００８８】
今、図６を参照すると、２つの関連画像に本発明をいかに適用してコーディネートされた表示を提供することができるかが示されている。第１画像６０は、一種類の染色および一拡大レベルによるスライドの領域を示す。第２画像６２は、第２種類の染色および第２拡大レベルを使用して画像化されたスライドの同一領域を示す。
【００８９】
次いで、第１および第２画像６０および６２の各々からの画像化領域の部分を用いて、スクリーン表示６４が作成される。２つの画像は異なる倍率で示される。
【００９０】
上記の実施形態は顕微鏡の使用に関連して説明した。しかし、本発明は他の形の画像化に、特に視野が関心視野より小さい画像化の形態に、かつ、特に幾つかの写真撮影方法または他の画像収集技術が適用可能である場合に、適用できることを当業者は理解されるであろう。
【００９１】
天文学では、所望のレベルの倍率で望遠鏡によって画像化できる視野はしばしば、関心視野より小さいようである。また、単に従来の光学望遠鏡を使用して、様々なフィルタを使用し、または異なる露光時間を使用して、または単に異なる時間に、同一視野を画像化することが可能である。例えば、スターフィールドを背景にして惑星のような物体を識別しようとする場合、空の同一領域を異なる時間に撮影し、画像を重ね合わせることが一般的である。恒星のような物体は比較的固定されているが、太陽系の物体は恒星を背景にして現れたり消えたりする。上記の実施形態を使用すると、使用者は空の連続領域を撮影し、各領域を少なくとも２回異なる時間に撮影し、次いで対応する画像を自動的に重ね合わせながら異なる領域を循環して、太陽系の物体を探索することが可能になる。
【００９２】
さらなる実施形態は、異なる望遠鏡または異なる種類の望遠鏡間のコーディネートを可能にする。例えば、空の同一領域を異なる波長で撮影する１つの方法は、２つまたはそれ以上の異なる望遠鏡を使用するものである。上述の実施形態を使用すると、異なる望遠鏡によって生成された画像を同時に見ることが可能になる。固有の座標系として、そのようなさらなる実施形態は空の赤経座標系を使用することができる。
【００９３】
本発明のさらなる適用は、医療用画像化に関する。医療用画像装置は多数の種類のスキャナ、例えばＣＴ、ＮＭＲ、およびＰＥＴスキャナを含む。各種の走査はその強みおよび弱点を持ち、しばしば医療従事者は２つ以上の技術の結果を使用することが好都合であることを認めるであろう。本発明は、上記の実施形態に関連して説明した通り、異なる画像化技術を用いて生成された身体の画像を簡単に比較することを可能にする。
【００９４】
本発明のさらなる適用は、熱画像化および夜間撮影に関する。熱画像化は例えば、建物の断熱の効率を調査するために使用することができる。こうして建物を異なる暖房条件下で画像化し、画像を比較することができる。これは、本発明の実施形態を使用して効率的に行うことができる。
【００９５】
本発明のさらなる適用は、空から、または宇宙からの特に地球の表面の走査または撮影に関する。そのような走査は、異なる撮影技術を用いて実施することができ、あるいは異なる時間に同一スポットを撮影することを含むことができる。本発明の実施形態は、効率的な比較のために、対応する画像を横に並べて、または重ね合わせて同時に表示することを可能にする。
【００９６】
こうして、少なくとも第１および第２データ取得方法の各々を使用した関心視野にわたる走査中にデータを取得するように作動できる、カメラ、顕微鏡、望遠鏡、熱画像装置、医療用走査装置、レーダ等のようなデータ取得装置を備えたデータ取得および表示システムが提供される。視野データ格納装置は、関心視野内の位置を記述する対応する視野位置データと共に視野データを格納する。スクリーンなどの視野データ表示装置は、異なるデータ取得方法によってそれぞれ取得した関心視野の合致した位置からのデータを同時に表示するように作動可能である。データ、一般的に画像データは、希望に従って重ね合わせるか、または横に並べて表示することができる。好ましくは、表示される画像の１つは生であり、他は視野データ格納装置から呼び出される。
【００９７】
１つの特定の実施形態では、本発明は生物学的試料を分析するために使用することができる。生物学的試料、例えば細胞および組織は多くの場合、分析の前に染色される。一部の（従来の）染料は透過顕微鏡を用いて視覚化される。他は蛍光顕微鏡を用いて視覚化される。多くの場合、単一試料を１つまたは複数の従来の染料および１つまたはそれ以上の蛍光染料で同時染色することが有利である。従来の染料は、透過顕微鏡を用いて同時観察される。各々の蛍光染料は、染料同士を区別するように専用のフィルタを利用して蛍光顕微鏡で観察される。これは例えば、複数の遺伝子、クロモソーム全体、および／またはＲＮＡを同時視覚化するために使用される多重染料蛍光ｉｎ ｓｉｔｕハイブリダイゼーション（ＦＩＳＨ）、および幾つかの細胞マーカを同時視覚化するために使用される蛍光ラベル付けされた抗体染色の場合である。本発明は、使用者が簡単に関心視野を走査し、そこから導き出される全ての画像データを走査と同時に提示することができる手段を提供する。
【００９８】
分かりやすくするために別個の実施形態の文脈で説明した本発明の特定の特徴は、単一の実施形態で組み合わせて提供することもできることを理解されたい。逆に、分かりやすくするために、単一の実施形態の文脈で説明した本発明の様々な特徴は、別個に、または任意の適切な部分組合せとして提供することができる。
【００９９】
本発明は、特に図示しかつ本書で上述したものに限定されないことを当業者は理解されるであろう。むしろ、本発明の範囲は、請求の範囲の記載によって定義され、本書で上述した様々な特徴の組合せおよび部分組合せの両方を含むだけでなく、上記の説明を読むことにより当業者が思いつくようなその変形および変更をも含む。
【図面の簡単な説明】
【図１】
異なる染色技法を用いで生成された顕微鏡スライドの同一部分の一連の４つの画面を示す略図である。
【図２】
本発明の第１実施形態を示す一般ブロック図である。
【図３】
本発明の実施形態の動作を説明する簡略流れ図である。
【図４】
本発明の実施形態に対する固有の座標系の適用を示す簡略図である。
【図５】
本発明に適用された３次元座標系を示す簡略図である。
【図６】
ＰＣモニタに異なる倍率で横に並べて表示された２セットの条件下で染色されたスライドを示す簡略図である。

Claims (50)

1. データ取得および表示システムであって、
   少なくとも第１および第２データ取得方法の各々を使用して、走査可能な関心視野から、視野位置データを有する現在の観察視野の視野データを取得するように作動可能な少なくとも１つのデータ取得装置と、
   前記視野データを前記対応する視野位置データと共に格納するための視野データ格納装置と、
   前記第１および第２データ取得方法によってそれぞれ取得した前記現在の観察視野の視野データであって、前記視野位置データによって照合可能である前記視野データを、同時に表示するように動作可能な視野データ表示装置と
   を備えたデータ取得および表示システム。
2. 前記視野データは画像データである請求項１記載の装置。
3. 前記走査可能な関心視野は前記現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする請求項１記載の装置。
4. 前記走査可能な関心視野は前記現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする請求項２記載の装置。
5. 前記視野データ格納装置は、前記第１データ取得方法に従って取得した前記走査可能な関心視野全体の画像データを格納するように作動可能である請求項４記載の装置。
6. 前記データ取得装置は前記第２データ取得方法を使用して現在の観察視野の画像データを取得するように作動可能であり、前記視野データ表示装置は前記第１データ取得方法を使用して取得した対応する画像と共に、前記画像データを表示するように作動可能である請求項５記載の装置。
7. 前記データ取得装置は顕微鏡である請求項１記載の装置。
8. 前記データ取得装置は顕微鏡であり、前記顕微鏡は、光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである請求項７記載の装置。
9. 前記データ取得装置は望遠鏡である請求項１記載の装置。
10. 前記望遠鏡は、屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである請求項９記載の装置。
11. 前記データ取得装置は地上をベースとする請求項１記載の装置。
12. 前記データ取得装置は航空機搭載に適している請求項１記載の装置。
13. 前記データ取得装置は宇宙機搭載に適している請求項１記載の装置。
14. 走査可能な関心視野の複数の部分の画像データを、前記走査可能な関心視野内の前記部分の位置データと一緒に格納する画像データ格納装置。
15. 少なくとも２つのデータ取得方法に従って画像データを取得するために作動可能な少なくとも１つの画像データ取得装置とデータ表示装置とをコーディネートするための取得および表示コーディネータであって、第１データ取得方法を用いて得られた画像データを走査可能な関心視野内の前記画像の位置データと共に格納し、かつ、前記画像を、第２データ取得方法を用いて取得した同様の位置データを有する画像と同時に表示するように作動可能であるコーディネータ。
16. 前記走査可能な関心視野は現在の観察視野より実質的に大きいので、前記走査可能な関心視野を網羅するために複数の観察視野を必要とする請求項１５記載の取得および表示コーディネータ。
17. 前記第１データ取得方法に従って取得した前記走査可能な関心視野全体の画像データを格納するように作動可能である請求項１６記載の取得および表示コーディネータ。
18. 前記データ取得装置は、前記第２データ取得方法を用いて現在の観察視野の画像データを取得するように作動可能であり、前記視野データ表示装置は前記画像データを、前記第１データ取得方法を用いて取得した前記対応する画像と共に、実時間に表示するように作動可能である請求項１６記載の取得および表示コーディネータ。
19. 前記データ取得装置は顕微鏡である請求項１５記載の取得および表示コーディネータ。
20. 前記顕微鏡は光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである請求項１９記載の取得および表示コーディネータ。
21. 前記データ取得装置は熱画像装置、画像増倍管、望遠鏡、カメラ、およびレーダを含むグループのいずれか１つである請求項１５記載の取得および表示コーディネータ。
22. 前記望遠鏡は屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである請求項２１記載の取得および表示コーディネータ。
23. 前記データ取得装置は地上をベースとする請求項１５記載の取得および表示コーディネータ。
24. 前記データ取得装置は航空機搭載に適している請求項１５記載の取得および表示コーディネータ。
25. 前記データ取得装置は宇宙機搭載に適している請求項１５記載の取得および表示コーディネータ。
26. コーディネータは前記データ取得装置を位置決めするように作動可能である請求項１５記載の取得および表示コーディネータ。
27. コーディネータは前記データ取得装置の位置決めをモニタするように作動可能である請求項１５記載の取得および表示コーディネータ。
28. 前記位置データは焦点面を画定するための集束データをさらに含む請求項１５記載の取得および表示コーディネータ。
29. 前記データ取得装置と作動的に関連付けられるコンピュータにインストールするためのコンピュータ可読媒体上のソフトウェアを含む請求項１５記載の取得および表示コーディネータ。
30. 取得および表示コーディネート方法であって、
    第１データ取得方法を用いて走査中の関心視野内の視野の第１データを取得するステップと、
    前記データを、走査中の前記関心視野内の前記視野の視野位置データと共に格納するステップと、
    その後、第２データ取得方法を用いて走査中の前記関心視野内の対応する視野の第２データを取得するステップと、
    前記視野位置データを用いて前記第１データを検索し、前記第１データおよび第２データを同時に表示するステップと
    を含む、取得および表示コーディネート方法。
31. 前記第１データおよび前記第２データはそれぞれ第１および第２画像である請求項３０記載の取得および表示コーディネート方法。
32. 前記同時に表示される第１および第２画像は相互に重ね合わされる請求項３１記載の取得および表示コーディネート方法。
33. 前記同時に表示される画像は横に並べて表示される請求項３１記載の取得および表示コーディネート方法。
34. 前記データは、熱画像装置、顕微鏡、画像増倍管、望遠鏡、カメラ、およびレーダを含むグループのいずれか１つを用いて取得される請求項３１記載の取得および表示コーディネート方法。
35. 前記顕微鏡は光学顕微鏡、走査型電子顕微鏡、および透過型電子顕微鏡を含むグループのいずれか１つである請求項３４記載の取得および表示コーディネート方法。
36. 前記望遠鏡は屈折望遠鏡、反射望遠鏡、赤外線望遠鏡、電波望遠鏡、ガンマ線望遠鏡、およびＸ線望遠鏡を含むグループのいずれか１つである請求項３４記載の取得および表示コーディネート方法。
37. 前記データ取得装置は、複数の異なる波長でデータを収集するように動作可能な望遠鏡および熱画像装置を含むグループの１つであり、各データ取得方法は前記波長のうちの異なる一波長でデータを収集することを含む請求項３４記載の取得および表示コーディネート方法。
38. 走査可能な関心視野から少なくとも２つのデータ取得方法で取得したデータの表示方法であって、
    第１データ取得方法を用いて関心視野を走査するステップと、
    前記関心視野の複数の第１画像を形成するステップと、
    前記画像に指標を付けるステップと、
    前記指標を付けた画像を格納するステップと、
    第２データ取得方法を用いて関心視野を走査して、前記第１画像の１つに対応する少なくとも１つの第２画像を形成するステップと、
    前記第１画像のうちのどれが前記第２画像に対応するかを前記指標から決定するステップと、
    前記第２画像および前記対応する第１画像を同時に表示するステップと
    を含むデータの表示方法。
39. 走査可能な関心視野から少なくとも２つのデータ取得方法で取得したデータの表示方法であって、
    第１データ取得方法を用いて関心視野を走査するステップと、
    前記関心視野の複数の第１画像を形成するステップと、
    前記画像に指標を付けるステップと、
    前記指標を付けた画像を格納するステップと、
    第２データ取得方法を用いて関心視野を走査して、前記第１画像のうちの予め定められた一画像の指標に対応する少なくとも１つの第２画像を形成するステップと、
    前記第２画像および前記対応する第１画像を同時に表示するステップと
    を含むデータの表示方法。
40. 画像収集および表示コーディネートシステムを構築する方法であって、
    外部から提供される位置決め命令に従って、複数の画像収集方法を用いて画像データを収集するように作動可能な画像収集装置を提供するステップと、
    画像格納装置を提供し、前記データに対応する前記外部から提供された位置決め命令に関連して前記画像収集装置から収集されたデータを格納することができるように前記画像格納装置を前記画像収集装置に接続するステップと、
    同一位置決め命令で異なる画像収集方法を使用して収集された複数の画像を同時に表示するための画像表示装置を提供するステップと
    を含む方法。
41. 前記画像表示装置は、前記格納装置からの少なくとも１つの画像を、前記画像収集装置から直接の１つの画像と共に表示するように作動可能である請求項４０記載の方法。
42. 少なくとも２つのデータ取得方法に従って画像データを取得するために作動可能な画像データ取得装置およびデータ表示装置を制御するための制御システムであって、第１データ取得方法を用いて得た画像データを走査可能な関心視野内の前記画像の位置データと共に格納し、かつ前記画像を第２データ取得方法を用いて取得した同様の位置データを有する画像と同時に表示するように作動可能である制御システム。
43. 画像装置および表示装置を一緒に制御して、使用者が前記画像装置を用いて関心視野にわたって移動して、１つの画像化方法を用いて視野を部分に分けて画像化し、かつ前記画像装置に現在の部分を表示しながら、同時にかつ自動的に、以前に異なる画像化方法を用いて取得した視野の同一部分の第２画像を表示し、画像装置が関心視野の異なる部分に移動すると第２画像が自動的に置換されることを可能にする制御装置。
44. 前記画像装置は、少なくとも３つの画像化方法を用いて前記関心視野を画像化するように作動可能であり、前記表示装置は、現在観察されている前記関心視野の一部の全画像を同時に表示するように作動可能である請求項４３記載の制御装置。
45. データ取得および表示システムであって、
    関心視野を走査し、かつ、少なくとも第１および第２データ取得方法の各々を用いて前記走査可能な関心視野から視野位置データを有する部分の視野データを取得するように作動可能な少なくとも１つのデータ取得装置と、
    前記視野データを前記対応する視野位置データと共に格納するための視野データ格納装置と、
    前記第１および前記第２データ取得方法によってそれぞれ取得した視野データであって、前記視野位置データによって照合可能である前記視野データを同時に表示するように作動可能である視野データ表示装置と
    を含むデータ取得および表示システム。
46. 固有の座標系をマウントおよび対象物システムに適用する方法であって、
    自動画像処理を用いて前記マウントおよび対象物システムの複数のエッジ点を識別するステップと、
    前記エッジ点間に直線を内挿するステップと、
    前記内挿された直線から２本の直角をなす直線を識別するステップと、
    前記直角をなす直線間の交点を識別するステップと、
    前記交点を前記固有の座標系の原点と定義するステップと
    を含む方法。
47. 前記マウントおよび対象物システムは実質的に矩形の輪郭を有する請求項４６記載の方法。
48. 内部座標系を用いてマウントおよび対象物システムを画像化する方法であって、
    自動画像処理を用いて前記マウントおよび対象物システムの複数のエッジ点を識別するステップと、
    前記エッジ点間に直線を内挿するステップと、
    前記内挿された直線から２本の直角をなす直線を識別するステップと、
    前記直角をなす直線間の交点を識別するステップと、
    前記交点を前記固有の座標系の原点と定義するステップと
    前記マウントおよび対象物システム上の異なる位置で複数の画像を作成するステップと、
    前記固有の座標系で表現したそのそれぞれの位置に基づいて前記画像に指標を付けるステップと
    を含む方法。
49. 前記マウントおよび対象物システムは実質的に矩形である請求項４８記載の方法。
50. 同一マウントおよび対象物システムを２系列の前記画像間で微調整するさらなるステップを含む請求項４８記載の方法であって、前記ステップは
    各系列の画像における同一特徴を識別するステップと、
    各系列の前記画像における前記同一特徴上にクロスヘアを配置するステップと、
    クロスヘアの中心を各セットの画像上の同一位置にあると定義して固有の座標系を変更するステップと
    を含む方法。

Images