JP2006519443A - バーチャルスライドを閲覧するためのシステムおよび方法 - Google Patents

バーチャルスライドを閲覧するためのシステムおよび方法 Download PDF

Info

Publication number
JP2006519443A
JP2006519443A JP2006503911A JP2006503911A JP2006519443A JP 2006519443 A JP2006519443 A JP 2006519443A JP 2006503911 A JP2006503911 A JP 2006503911A JP 2006503911 A JP2006503911 A JP 2006503911A JP 2006519443 A JP2006519443 A JP 2006519443A
Authority
JP
Japan
Prior art keywords
image
virtual slide
virtual
data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006503911A
Other languages
English (en)
Inventor
オール・アイヒホーン
アン・ブルム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2006519443A publication Critical patent/JP2006519443A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/32Micromanipulators structurally combined with microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

バーチャルスライド画像データおよび対応する情報が、バーチャルスライド画像サーバ上のデータ記憶領域に保存される。クライアント・ビューアが、特定の解像度で画像データを要求する。画像サーバが、要求された解像度に最も近い解像度で、データ記憶領域から対応する画像データを取得する。次いで、この画像データがクライアント・ビューアへと送信される。クライアント・ビューアは、画像データを受信し、この画像データを表示に先立って要求された解像度へと拡大縮小する。

Description

関連出願
本出願は、本出願と同時に係属中である「全自動高速顕微鏡スライド・スキャナ(FULLY AUTOMATIC RAPID MICROSCOPE SLIDE SCANNER)」という名称の米国特許出願第09/563,437号の部分継続出願であり、かつ本出願と同時に係属中である「直線アレイ・ベースの顕微鏡スライド・スキャナにおけるデータ管理のためのシステムおよび方法(SYSTEM AND METHOD FOR DATA MANAGEMENT IN A LINEAR‐ARRAY‐BASED MICROSCOPE SLIDE SCANNER)」という名称の米国特許出願第10/371,586号の部分継続出願であって、2003年2月28日付の米国特許仮出願第60/451,079号および2003年7月9日付の米国特許仮出願第60/485,873号の優先権を主張している。これらの出願のそれぞれは、その全体がここで参照によって本明細書に組み込まれるものとする。
本発明は、一般に、コンピュータの支援による大型の画像の閲覧に関し、さらに詳しくは、コンピュータの支援によるバーチャル顕微鏡スライドの閲覧に関する。
大視野バーチャル顕微鏡観察において、乗り越えるべき最初の課題は、顕微鏡スライドのデジタル画像化(「スキャン」)に関連していた。従来からの画像タイル法が、バーチャル顕微鏡業界で広く普及している手法の1つである。顕微鏡スライドをスキャンするための画像タイル法では、面積固定の電荷結合素子(「CCD」)カメラを使用し、顕微鏡スライドにおいて隣り合う領域について、数百または数千の別個独立の画像(「画像タイル」)を撮影する。これらの画像タイルがコンピュータに保存されるとともに、各画像タイルの名前および大型画像内におけるそれらの位置を特定するために、インデックスが使用される。従来からの画像タイル法が、米国特許第6,101,265号に説明されている。速度が遅くかつ扱いにくいものではあるが、従来からの画像タイル法は、バーチャルスライド生成のための顕微鏡スライドのスキャンにおいて、成功を収めた。
ひとたびバーチャルスライドがコンピュータ・システム内に収められると、数千の画像タイルという固有の性質ゆえ、スライドの各部位の閲覧は比較的単純である。ユーザは、バーチャルスライドの或る部位を閲覧したいと望む場合、その部位を選択するだけでよく、システムが対応する個々の画像タイルを認識し、それらのタイルを表示することができる。このように、バーチャル顕微鏡観察における閲覧の局面は、従来からの画像タイル法にとってそれほど困難ではなかった。
とくに、新規な直線アレイ・ベースの線スキャン法が、アペリオ・テクノロジーズ社(Aperio Technologies,Inc.)によって開発されている。この手法は、「全自動高速顕微鏡スライド・スキャナ(Fully Automatic Rapid Microscope Slide Scanner)」という名称の米国特許第 号に記載されているように、直線アレイの検出器を専用の光学系と組み合わせて使用しており、スキャンスコープ(ScanScope(登録商標))という名称で現在市販されている。
さらに最近では、バーチャル顕微鏡観察産業に、バーチャルスライドを生成するためのきわめて優れたシステムが導入されている。アペリオ・テクノロジーズ社が、今や、米国特許第 号に記載の直線アレイ・ベースの線スキャン法を提供している。この革新的な線スキャン法によって、バーチャルスライドの生成のための時間が、数時間から数分へと短縮される。高速なデータ取得に加え、線スキャンは、一貫して優れた画像データを確保する幾つかの利点からも利益をもたらす。第1に、画像タイルの全体が必然的にただ1つの焦点面に制限される画像タイル・システムと対照的に、直線アレイの焦点を、或る1つの線から次の線へと調節することが可能である。第2に、線スキャン・システムにおける直線アレイ・センサは一次元であるため、スキャン軸に沿った光学収差が存在しない。画像タイル・システムにおいては、光学収差が、画像タイルの中央を中心として環状に対称である。第3に、非隣接ピクセルからの色値を(例えばベイヤー・マスク(Bayer Mask)を使用して)補間しなければならないために空間分解能を喪失してしまうカラーCCDカメラと異なり、直線アレイ・センサは、完全な(100%の)開口率(fill factor)を有しており、完全なピクセル分解能(色チャネルごとに8ビット)をもたらす。
線スキャン法によってもたらされる他の大きな進歩は、従来からの画像タイル・システムが数千もの別個独立の画像タイルを生成するのとまったく対照的に、バーチャルスライドがコンピュータ・システム上のただ1つの画像ファイルに含まれるという点にある。1つのバーチャルスライドについてただ1つの画像ファイルを管理すればよいため、数千もの別個独立の画像タイルを対応するインデックスとともに管理することに比べ、オペレーティング・システムに必要とされるオーバヘッドがきわめて小さくなる。しかしながら、1つのバーチャルスライドについて画像ファイルをただ1つ生成するということは、きわめて効率的であって要する時間も少ない反面、それらバーチャルスライドの閲覧に関して、挑戦すべき新たな困難を生じさせる。画像タイルのサイズが1MB程度であるのと対照的に、線スキャナによって生成されるバーチャルスライド・ファイルは、4ギガバイト(「GB」)にもなる可能性がある。
したがって、バーチャルスライドを生成するための優れた線スキャン・システムを導入することにより、この新規な技法によって課される固有の必要性に適合するバーチャルスライド閲覧システムおよび閲覧方法に対するニーズが、この業界において生じている。
本発明は、大量の視覚画像データについて、スタンドアロン装置での閲覧あるいは構内または広域通信網を介しての閲覧を容易にするバーチャルスライド画像ファイル・フォーマットを提供する。バーチャルスライド画像データおよび対応する情報が、バーチャルスライド画像データおよび対応する情報への高性能なアクセスを提供するバーチャルスライド画像サーバ上のデータ記憶領域に保存される。バーチャルスライド画像データを効率的に表示および操作するように構成されたクライアント・ビューアが、特定の解像度で画像データを要求する。画像サーバが、要求された解像度に最も近い解像度で、データ記憶領域から対応する画像データを取得する。次いで、この画像データがクライアント・ビューアへと送信される。バーチャルスライド・クライアント・ビューアは、バーチャルスライド画像データを保存された解像度で受信し、次いでこの画像データを閲覧のため適切な解像度へと拡大縮小する。したがって、ベースライン解像度でスキャンされたバーチャルスライド画像を、より高い任意の解像度で画像の忠実度を損なうことなく閲覧することができる。さらに、ウェブ・ベースのシステムも提供される。
さらに、バーチャルスライド画像サーバは、リーダ・クライアント・ビューアおよび幾つかの参加者クライアント・ビューアによるバーチャルスライドの同時協働閲覧を容易にする。参加者クライアント・ビューアは、閲覧するバーチャルスライドの操作について制限されているが、協働セッションのリーダは、リーダの役割を参加者クライアント・ビューアに引き継ぐことができ、引き継ぎののち、新たなリーダが閲覧の制御を行なうことができ、先のリーダは参加者クライアントへと格下げされる。
さらに本発明は、バーチャルスライドの三次元閲覧を提供する。顕微鏡スライドの標本が、複数の垂直レベルでスキャンされ、それぞれの垂直レベルについて別個のバーチャルスライド画像が生成される。この複合バーチャルスライド画像の閲覧が要求され、要求されたレベルが2つのスキャン・レベルの間にあるとき、要求された閲覧レベルを画像の忠実度を損なうことなく生成するため、直上のレベルおよび直下のレベルが補間される。さらに、直上のレベルの画像の画像ピクセルを第1の方向にずらすとともに直下のレベルの画像の画像ピクセルを反対方向にずらして、要求されたレベルについてスキューされた画像を提供することによって、三次元閲覧を提供することができ、複合画像の三次元閲覧が可能である。
添付の図面を検討することによって、本発明の詳細を、その構成および動作の両者に関して或る程度学ぶことができるであろう。添付の図面において、同様の参照番号は同様な部分を指し示している。
本明細書に開示する或る幾つかの実施の形態は、ファイル・サイズが4GBにもなるきわめて大きな画像(100GBにもなる圧縮前の生の画像データを含んでいる)であるバーチャル顕微鏡スライドを閲覧するためのシステムおよび方法を提供する。本発明は、このような大型の画像ファイルにアクセスし、対応する画像データをローカルまたはリモートの閲覧用ステーションに表示するための高速かつ効率的なシステムおよび方法を提供する。例えば、本明細書に開示の一方法によれば、クライアント・ビューアが、バーチャルスライド画像ファイルからの画像データを特定の解像度で要求できる。サーバ・システムが、要求された解像度に近い解像度にある画像データを含んでいる画像データの圧縮済みブロックを取得し、このデータ・ブロックをクライアントへと送信する。次いで、クライアントは、この画像データを拡大縮小し、要求された解像度で画像を提示する。
当業者であれば、この説明を読むことによって、他のさまざまな実施の形態および他のさまざまな用途において本発明をどのように実行するのかを、理解できるであろう。本発明の種々の実施の形態を本明細書にて説明するが、これらの実施の形態があくまで例であって、本発明を限定するものではないことを理解すべきである。すなわち、種々の代替となる実施の形態についてここで詳細に説明するが、それらを添付の特許請求の範囲に記載される本発明の技術的範囲を制限するものとして解釈すべきではない。
図1は、本発明の一実施の形態に従ってバーチャルスライド画像を閲覧するための典型的なシステム10を示したネットワーク図である。図示の実施の形態において、システム10は、クライアント・ビューア70およびウェブ・ビューア80にネットワーク60を介して通信可能に接続したバーチャルスライド・サーバ30を有している。複数のクライアント・ビューア70が存在してもよく、複数のウェブ・ビューア80が存在してもよい。さらに、システム10がウェブ・サーバ40を備えていてもよい。図示のとおり、ウェブ・サーバ40は別個独立であってよく、あるいは複合サーバ20としてバーチャルスライド・サーバと同じ場所に位置してもよい。複合サーバ50は、データ記憶領域50を備えて構成される。あるいは、バーチャルスライド・サーバ30がウェブ・サーバ40と別個独立である場合には、別個のサーバのそれぞれが、好ましくは自身のデータ記憶領域(図示されていない)を備えて構成される。そのような実施の形態においては、バーチャルスライド・サーバ30が、バーチャルスライド画像データを保存する(他のデータとともに)ためのデータ記憶領域を有することができ、ウェブ・サーバ40が、ウェブページ・データを保存する(他のデータとともに)ためのデータ記憶領域を有することができる。
クライアント・ビューア70も、データ記憶領域72を備えて構成される。このデータ記憶領域は、好ましくはバーチャルスライド画像、ならびにバーチャルスライドの閲覧を容易にするための他のデータまたは情報を、ローカルに保存するために使用することができる。ウェブ・ビューア80は、キャッシュが好ましくはローカルのディスク式記憶装置ではなくコンピュータのメモリを使用して実行されるため、データ記憶領域を必要としない。他の実施の形態においては、データ記憶領域を備えてもよい。
ネットワーク60は、種々ある任意のネットワーク形態および物理層を含むことができる。例えば、ネットワーク60は、構内通信網(「LAN」)、広域通信網(「WAN」)、無線広域通信網(「WWAN」)、またはインターネットなどのネットワークの組み合わせであってよい。さらに、ネットワーク60は、TCP/IPなどのさまざまな通信プロトコルを使用でき、HTTPなどのアプリケーション・プロトコルを使用することができる。
図2Aは、本発明の一実施の形態による典型的なバーチャルスライド・サーバ20を示したブロック図である。図示の実施の形態においては、バーチャルスライド・サーバ20が、接続モジュール100、バーチャルスライド・モジュール110、注釈モジュール160、認証モジュール130、およびデータベース・モジュール140を有している。このサーバ20は、データ記憶領域50を備えて構成されている。代案として、データ記憶領域50を、データ記憶領域120とデータ記憶領域150など、2つ以上の別個のデータ記憶領域へと物理的または論理的(あるいは両方)に分割することができる。データ記憶領域120が、バーチャルスライド画像データを含んでおり、データ記憶領域150が、注釈およびユーザ認証情報、ならびにおそらくはバーチャルスライド状況情報などの他の管理上のデータを含んでいる。
接続モジュール100は、好ましくは、クライアント・ビューアまたはウェブ・ビューアからの要求を受信するように構成されている。要求によって、情報または画像データあるいは両者を求めることができる。さらに、要求によって、認証情報または注釈情報などの情報をもたらすことができる。別個に図示されているが、注釈モジュール160および認証モジュール130は、接続モジュール100の一部であってよい。
バーチャルスライド画像に関する要求は、接続モジュール100によって、バーチャルスライド・モジュール110へと導かれる。バーチャルスライド・モジュールは、データ記憶領域120から画像データを取得し、この画像データを必要に応じて処理し、要求元のビューア(クライアント・ビューアまたはウェブ・ビューア)へと応答を送り返す。さらに、バーチャルスライド・モジュールは、注釈モジュール160と通信し、バーチャルスライド画像に注釈の重ね合わせをもたらすことができる。注釈モジュール160は、種々のバーチャルスライド画像についての注釈を、別個のレイヤーにて保持しており、バーチャルスライド・モジュール110と関連して、注釈の生成および変更ならびに注釈レイヤーの表示を容易にする。
認証モジュール130は、要求を送信しているビューアを検証するように構成されている。認証モジュール130は、秘密に属するバーチャルスライド画像データおよび/または関連のデータベース情報が、権限のない要求元ビューアへと誤って提供されてしまうことがないよう、ユーザおよびパスワードまたは他の認証情報(例えば、IPアドレス)についてのデータベースを保持できる。このデータベースは、データ記憶領域150内に保持できる。データ記憶領域150内にデータを保存するさまざまなモジュールは、データベース・モジュール140を介して当該データにアクセスできる。一実施の形態においては、モジュールが、従来からのファイル・システムにてデータ記憶領域150にデータを保存でき、したがって実際のデータベース構造のオーバヘッドを必要としない。しかしながら、データ記憶領域150と関連してデータベースを使用することによって、或る幾つかの利点および最適化を実現することができ、そのような場合、データベース・モジュール140によって、照会、取り出し、および保存などのデータベースとの通信を、容易にすることができる。
図2Bは、本発明の一実施の形態による典型的なバーチャルスライド・モジュール110を示したブロック図である。図示の実施の形態においては、バーチャルスライド・モジュール110は、要求ハンドラ170、入出力(「I/O」)モジュール172、1つ以上のデータ符号器/復号器(「コーデック」)174、および画像キャッシュ176を含んでいる。I/Oモジュール172が、データ記憶領域120にアクセスし、バーチャルスライド画像データおよび他の関連のバーチャルスライド情報の取り出しおよび保存を行なう。例えば、バーチャルスライド画像データの要求に応じ、I/Oモジュール172によってデータ記憶領域120からの取り出しが行なわれる。さらに、バーチャルスライド画像について直角回転または新規に拡大縮小(スケーリング)されたレベルを、I/Oモジュール172によって画像キャッシュ176に保存することができる。
要求ハンドラは、受信した要求の種類を特定するように構成されている。例えば、要求は、バーチャルスライド画像の特定のブロックを要求するものであってよく、あるいはバーチャルスライド画像の特定のサブ領域を要求するものであってよい。要求は、バーチャルスライドについての情報を要求するものであってもよい。バーチャルスライド画像ファイルのブロックとサブ領域との間の相違は、図4A〜4Fに関して後で詳しく説明するとおり、バーチャルスライド画像ファイルの構造にもとづいている。しかしながら、基本的には、ブロックは、保存されたバーチャルスライド画像のファイル構造に固有の所定のデータ・ブロックである。一方、サブ領域は、バーチャルスライド画像の任意の領域であって、ただ1つのブロックまたは2つ以上のブロックの任意の組み合わせからなる部分集合であってよい。したがって、ブロックの読み出しがきわめて効率的である一方で、サブ領域の読み出しおよび構成は、プロセッサをより多く使用する。
コーデック174は、好ましくは、種々さまざまな圧縮技法を実行するように構成されている。好ましい実施の形態においては、バーチャルスライド画像ファイルについてJPEG2000圧縮が使用され、したがってコーデック174が、JPEG2000の規格に従って圧縮および解凍を行なうように構成されている。さらに、コーデック174を、JPEGおよびレンペル‐ジブ‐ウェルチ(Lempel‐Ziv Welch)(「LZW」)の圧縮の規格、ならびに他の可逆および不可逆の画像圧縮技法に従って圧縮および解凍を行なうように構成してもよい。バーチャルスライド・モジュール110は、複数の圧縮技法を同時にサポートすることができ、その場合、画像の属性にもとづいて選択されるコーデック174の複数のインスタンスが存在するであろう。
キャッシュ176は、ただ1つの物理的なキャッシュとして、あるいは複数の別個の物理的なキャッシュとして、実装することができる。一実施の形態においては、画像ブロックのためのキャッシュ、画像サブ領域のためのキャッシュ、およびバーチャルスライド情報のためのキャッシュなど、論理的に別個である複数のキャッシュが、バーチャルスライド・モジュール110によって使用される。
図2Cは、本発明の一実施の形態に従ってバーチャルスライド画像のブロックの要求を取り扱うための典型的なプロセスを示したフロー図である。最初に、ステップ178において、バーチャルスライド・モジュールが、クライアント・ビューアからの要求を受信する。要求は、要求ハンドラによって受信され、処理のためにI/Oモジュールへと渡される。ステップ180において、I/Oモジュールが、要求されたブロックをデータ記憶領域から取り出し、当該ブロックを要求ハンドラへと返す。あるいは、画像データがキャッシュにあるかどうかを調べるため、I/Oモジュールが、最初にキャッシュをチェックしてもよい。次に、要求ハンドラは、要求されたブロックをステップ182において要求元のビューアへと送り返し、さらにステップ184に示されているとおり、要求されたブロックをブロック・キャッシュに保存する。
さらに、要求ハンドラまたはI/Oモジュールが、要求されるであろう隣接または他のブロックの可能性を判断するため、予測機能を実行してもよい。この可能性が或る閾値を超えると判断される場合、その特定されたブロックを、要求を先取りすべくI/Oモジュールによってデータ記憶領域からあらかじめ読み出し、一時的にブロック・キャッシュに配置することができる。このような先読み機能によれば、閲覧システムの動作全体を大幅に改善することができ好都合である。この先読みの予測機能は、それまでの要求およびユーザのアクセスのパターンにもとづく経験則を実装することができる。
図2Dは、本発明の一実施の形態に従ってバーチャルスライド画像のサブ領域の要求を取り扱うための典型的なプロセスを示したフロー図である。ステップ188において、要求ハンドラが要求を受信し、その要求をデータの取り出しのためI/Oモジュールへと渡す。ステップ190に示すとおり、I/Oモジュールが、当該サブ領域の構築に必要とされる1つまたは複数のブロックを、キャッシュまたはデータ記憶領域から取り出す。1つまたは複数のブロックが入手されると、ステップ192でサブ領域が構築され、ステップ194でサブ領域のフォーマットが変換される。
画像データをウェブ・ビューアへと提供するときに、特定のウェブ・ビューア・クライアントが本来のフォーマット(例えばJPEG2000)に対応しない場合に、サブ領域のフォーマットの変換は必要になることが多い。圧縮形式の他に、画像データの拡大縮小、画像データの変形(回転または反転)、色の補正、コンボリューションマトリクスの適用、などのため、さらなる変換を実行してもよい。これらのステップは、すべて要求元クライアントの代理として要求ハンドラによって実行することができる。さらに、他の実施の形態においては、画像データの変換によってサブ領域を構築するステップを、本閲覧システムにおいて要求側に位置するクライアント・ビューアのプログラムによって好都合に実行することができる。したがって、サブ領域の構築および変換のステップは、より効率的であるブロック・レベルの画像を要求および処理することができないウェブ・ビューア・クライアントまたは他のビューア・クライアントから要求を受け取った場合にのみ、必要とすることができる。
ひとたびサブ領域が構築されて、画像が(必要であれば)変換されると、得られたサブ領域が、ステップ196に示すとおり、要求元のビューアへと送信される。サブ領域が送信されると、バーチャルスライド・モジュールは、好ましくはステップ198に示すとおり、当該サブ領域をサブ領域キャッシュに保存する。
図3は、本発明の一実施の形態に従ってバーチャルスライド画像を閲覧するための典型的なウェブ・サーバ40を示したネットワーク図である。図示の実施の形態においては、ウェブ・ビューア・クライアント80が、ネットワーク(図示されていない)を介してウェブ・サーバ40に通信可能に接続されている。好都合なことに、ウェブ・ビューア・クライアントは、特別なソフトウェア・モジュールを必要とせず標準的なウェブ・ブラウザ210を備えているだけである。
ウェブ・サーバ40は、コモン・ゲートウェイ・インターフェイス(「CGI」)220、ウェブ・ビューア230、およびHTMLビルダを有している。一実施の形態においては、HTMLビルダを、ウェブ・ビューア230の一部として実装できる。さらに、図示の実施の形態には、バーチャルスライドに関する画像データおよび他の情報を保持および提供するバーチャルスライド・サーバ30が示されている。
図示のとおり、ウェブ・ビューア80がウェブ・サーバ40へとHTTP要求を送信して、バーチャルスライドを要求する。CGI220が、この要求を受信してウェブ・ビューア230に渡し、ウェブ・ビューア230が、対応するバーチャルスライド要求を、HTTP要求によってバーチャルスライド・サーバ30へと送信する。バーチャルスライド・サーバ30は、画像情報を含んでなるHTTP応答によって、この要求に応答する。ウェブ・サーバ40へのHTTP応答は、実際の画像データは含んでおらず、画像属性などの他の情報を含んでいる。バーチャルスライド・サーバ30からHTTP応答を受信したのち、ウェブ・サーバ40において、ウェブ・ビューア230がHTTPビルダ240と協働し、ウェブ・ビューア80のためのHTTP応答を構築する。好ましくは、HTTP応答が、バーチャルスライド画像を表示するためのHTMLの枠組みをウェブ・ブラウザ210に提供するとともに、本来の画像データ(例えば、JPEG)についての画像タグ参照を含んでいる。ウェブ・ブラウザ210は、ウェブ・サーバ40からのHTTP応答を処理する際に画像タグ参照を発見し、これに従ってウェブ・ビューア80に、画像データを求めるHTTP要求をバーチャルスライド・サーバ30へと送信させる。ウェブ・ビューア80からの要求に応じ、バーチャルスライド・サーバが、画像データをウェブ・ブラウザ210によって表示できるフォーマットで送信する。
図4Aは、本発明の一実施の形態による典型的なバーチャルスライド・ファイル・フォーマット250を示したブロック図である。バーチャルスライド画像ファイルが複数の画像を含んでおり、これら複数の画像はそれぞれ、バーチャルスライドの全体についての異なる解像度での画像である。一実施の形態においては、バーチャルスライドを閲覧する際により効率的な拡大縮小の入手を提供するため、バーチャルスライドが生成されるときに、中間レベルの画像もいくつか生成され、バーチャルスライド画像ファイルに保存される。
図示の実施の形態においては、ファイル・フォーマットが、ヘッダ260およびチェックサム310を含んでいる。チェックサム310は、任意であってよい。一実施の形態においては、バーチャルスライド画像が大きく、全画像についてチェックサムを計算することが現実的でないため、チェックサムをブロック・レベルに使用することができる。さらに、ブロック・レベルにおける他の検証または保全も、使用することができる。ヘッダは、好ましくはファイル情報およびベースライン画像270への参照を含んでおり、ベースライン画像270は、バーチャルスライド画像を線スキャナ装置から受け取ったままの本来の解像度で含んでいる。一実施の形態においては、ファイルにおいてベースライン画像270の次に、バーチャルスライド全体の低解像度のサムネイル画像を含んでいるサムネイル画像280が続いている。同様に、ファイルにおいてサムネイル画像280の次には、ベースレベルから作られた中間画像のすべてについて、中間画像レベル290が続き、さらに中間レベル291が続き、以下同様である。
ベースライン画像270および中間レベル画像290、291は、ランダム・アクセスを容易にするため、ブロックの連続として組織されている。個々のブロックを圧縮してもよい。好ましくは、ブロックは、JPEG2000の規格に従って圧縮される。代案として、あるいはこれに加えて、個々のブロックをJPEG規格に従って圧縮してもよく、あるいはLZW(可逆)符号化によって圧縮してもよい。さらに、個々のブロックが、画像の完全性を検証すべく使用されるチェックサムを含んでもよく、さらに/あるいは元の圧縮なしの画像データからの平均二乗平均平方根(「RMS」)または平均三乗平均立方根(「RMC」)距離など、圧縮後の画像の忠実度についての指標を含んでもよい。
一実施の形態においては、バーチャルスライド画像ファイル・フォーマットが、ここでの参照によってその全体が本明細書に組み込まれる1992年6月3日付の最終のTIFF規格、リビジョン6.0に記載のファイル・フォーマットに、事実上合致している。
図4B〜Fは、ファイル中に種々の解像度レベルを含んでなる本発明の一実施の形態による典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。図から理解されるように、ベースライン画像の種々のレベルを解像度が小さくなっていく順序で垂直に積層させたとき、ピラミッドが形成される。図4Bに示すとおり、ピラミッドの底部はベースライン画像270である。次のレベルは、図4Cに示すとおり中間画像290である。中間画像290は、バーチャルスライド中の他のすべての解像度のなかで、最もベースライン解像度に近いバーチャルスライド画像である。図4Dは、ピラミッドにおいてベースライン画像および第1の中間レベル画像の上方に位置する第2の中間レベル画像291を示している。任意の数の中間画像を含むことができる。例えば、一実施の形態においては、隣り合う中間画像が、それぞれ先の画像の1/4の解像度を有している。最後に、図4Eにおいて、サムネイル画像280が、バーチャルスライド画像ファイルを構成する画像のピラミッドの最上部に位置している。これら種々のレベルの解像度およびそれらに対応するバーチャルスライド・ファイル中の各画像によって、バーチャルスライドの閲覧時に、解像度レベルをまたがるより効率的な拡大縮小を、好都合に提供できる。
例えば、図4Fは、第2の中間レベル画像291とサムネイル画像280との間にある現在閲覧中のレベル320を示している。一実施の形態においては、ビューアが現在の閲覧レベル320の解像度でのバーチャルスライドの閲覧を選択したとき、バーチャルスライド・サーバは、クライアント・ビューアへと第2の中間レベル画像291からの1つ以上のブロックを提供でき、クライアント・ビューアが、それらを現在の閲覧レベルの解像度へと縮小(スケールダウン)することができる。他の実施の形態においては、ビューアが現在の閲覧レベル320の解像度でバーチャルスライドを閲覧することを選択したとき、バーチャルスライド・サーバが、より低い解像度レベルの画像をクライアント・ビューアへと提供でき、クライアント・ビューアが、それを現在の閲覧レベルの解像度へと拡大(スケールアップ)することができる。好ましくは、画像の忠実度を保つため、より高解像度の画像が縮小される。または、バーチャルスライド・サーバは相互レベル補間を実行できる。一実施の形態においては、バーチャルスライドの種々の解像度レベルにまたがっての高速な拡大縮小をさらに改善するため、補間によって中間レベルを得たのち、当該新しいレベルを、ビューアまたはサーバのキャッシュに加えることができる。或る状況においては、最初のレンダリングの後に現在の閲覧をディスクに保存するよりもむしろ、現在の閲覧レベルを後続の第2の時に再度解釈し、後の第2の閲覧のために保存された画像を後に取り出すことがより効率的であり得る。
図4Gは、本発明の一実施の形態による典型的なバーチャルスライド・ファイル・フォーマットを、種々の解像度レベルとの関連について示したブロック図である。
図5Aは、本発明の一実施の形態による典型的なクライアント・ビューア70を示したブロック図である。クライアント・ビューア70は、ネットワークを介してバーチャルスライド・サーバと通信可能に接続され、あるいは場合によってはコンピュータ・ケーブルなどで直接接続されるリモート装置上で動作するアプリケーションである。図示の実施の形態においては、クライアント・ビューア70は、グラフィカル・ユーザ・インターフェイス(「GUI」)ハンドラ350、バーチャル顕微鏡カンファレンス(virtual microscopy conferencing)(「VMC」)モジュール360、および表示域コントローラ(viewport control)370を有している。
GUIハンドラ350は、ウインドウおよびそれらウインドウの中身の閲覧装置上への表示を管理する。さらに、GUIハンドラ350は、クライアント・ビューア70へのすべてのキーボードおよびマウス入力を管理する。VMCモジュール360は、図7A〜7Bに関して後に詳述するバーチャル顕微鏡カンファレンス・セッションのために使用される。表示域コントローラ370は、ローカルのバーチャルスライド・ファイルへの直接アクセスを介し、あるいはすでに述べたとおりバーチャルスライド・サーバへのリモート・アクセスを介するバーチャルスライドについてのすべてのやり取りを管理する。
図5Bは、本発明の一実施の形態による典型的な表示域コントローラ370を示したブロック図である。図示の実施の形態では、表示域コントローラが、注釈コントローラ400、レンダリング・エンジン420、先読み器430、I/Oモジュール440、通信モジュール450、1つ以上のコーデック460、およびキャッシュ470を有している。
注釈コントローラ400は、新規注釈の追加、注釈の削除、種々の注釈レイヤーの提示などの注釈要求を処理する。レンダリング・エンジン420は、バーチャルスライド画像データの表示および操作を管理する。レンダリング・エンジン420は、バーチャルスライド画像についてバーチャルスライド内の任意の位置、任意の寸法、および任意の解像度で可能な限り良好な閲覧を提供するため、キャッシュされた画像データを使用するように構成されている。より多くのデータがバーチャルスライド・サーバから受信されるとき、レンダリング・エンジン420は、画像を向上させるべく現在表示されている画像を好都合に更新する。
先読み器430は、バーチャルスライドの画像データを、レンダリング・エンジン420からの要求を先取りして動的に取り出す。先読み器430は、表示域コントローラ370によって表示されたバーチャルスライドにおけるユーザのナビゲーション動作を追跡し、バーチャルスライド画像の特定の方向への動きを判断する。これにより、先読み器430は、スライドの動きの方向に従って画像データを取り出し、レンダリング・エンジン420によって要求される画像データを先取りする。
I/Oモジュール440は、ローカル・データ記憶領域(図示せず)からのバーチャルスライド・データについてのすべての要求を処理する。好都合には、ローカル・クライアント・ビューアは、スタンドアロンでバーチャルスライドを閲覧できるよう、画像データをローカルに記憶することができる。これらの画像は、好ましくは、I/Oモジュール440によってアクセス可能なローカル・データ記憶領域に保存される。通信モジュール450は、バーチャルスライド・サーバとのネットワーク通信を取り扱う。好ましくは、通信モジュール450は、先読み器430、レンダリング・エンジン420、および表示域コントローラ370の他のコンポーネント、ならびにクライアント・ビューアと協働し、バーチャルスライド・サーバのデータおよび情報にアクセスする。さらに、通信モジュール450は、好ましくは、注釈コントローラ400と協働し、バーチャルスライド・サーバに新規の注釈、注釈の変更、および注釈の削除を提供する。
さらに、表示域コントローラは、好ましくは種々さまざまな圧縮および解凍技法を実行するように構成された1つ以上のコーデック460を有している。好ましい実施の形態においては、バーチャルスライド画像ファイルについてJPEG2000圧縮が使用され、したがってコーデック460は、JPEG2000の規格に従って圧縮および解凍を実行するように構成されている。さらに、コーデック460を、JPEGおよびレンペル‐ジブ‐ウェルチ(「LZW」)の圧縮規格に従って圧縮および解凍を実行するように構成してもよい。表示域コントローラは、複数の圧縮技法を同時にサポートすることができ、その場合、画像の属性にもとづいて選択されるコーデック460の複数のインスタンスが存在するであろう。
最後に、表示域コントローラは、キャッシュ470を有している。キャッシュ470は、ただ1つの物理的なキャッシュとして、あるいは複数の別個の物理的なキャッシュとして、実装することができる。一実施の形態においては、ブロックのためのキャッシュ、画像サブ領域のためのキャッシュ、およびバーチャルスライド情報のためのキャッシュなど、論理的に別個である複数のキャッシュが、表示域コントローラ370によって使用される。I/Oモジュール440が、データをローカル・ディスクまたはリモート・サーバから取り出す前に、ブロックおよび/または画像データについて適切なキャッシュ470をチェックするとともに、新たに取り出したデータでキャッシュを更新する。
図5Cは、本発明の一実施の形態による典型的なレンダリング・エンジン420を示したブロック図である。レンダリング・エンジン420は、表示域コントローラの主要コンポーネントであり、ガンマ調節器500、フィルタ処理モジュール510、拡大縮小(スケーリング)モジュール520、および変形モジュール530を有している。
ガンマ調節器500は、画像データ内の赤‐緑‐青(「RGB」)値の実際にモニタ上に表示されるピクセルへのカラーマッピングについて、リアルタイムでの調節を提供する。この能力の利点は、バーチャルスライドを閲覧するときに環境光およびモニタ特性の相違を補償できる点にある。フィルタ処理モジュール510は、所定またはユーザ指定のコンボリューションマトリクスを画像データに適用することによって、バーチャルスライド画像データのフィルタ処理を可能にし、コントラストの強調、エッジの鮮鋭化、および他の画像処理能力を提供する。
拡大縮小モジュール520は、画像の忠実度の喪失を小さく抑えつつ、バーチャルスライド画像の解像度の増減を可能にする。好都合なことに、拡大縮小に必要な時間は、バーチャルスライド画像ファイルに種々の中間レベル解像度画像290、291を前もって備えておくことによって、大幅に低減される。変形モジュール530は、90°回転などバーチャルスライド画像の直角回転を可能にし、さらに画像の水平および垂直反転を実現できる。
図5D〜Hは、本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。図5Dは、典型的なクライアント・ビューア・ウインドウを示している。このウインドウは、それぞれ別個のスライドの画像を表示している2つの表示域540に分割されている。右側の表示域540がアクティブなウインドウであり、このウインドウについての情報が、ステータス・バー542に示されている。ステータス・バーには、この画像が73,042×62,633ピクセルであり、このバーチャルスライドの画像データが約13.1GBである旨が示されている。さらに、ステータス・バーは、表示域540が現在データを先読みしていることを示している。
さらに、それぞれの表示域540には、サムネイル画像544など、バーチャルスライド全体のサムネイル画像が示されている。好都合なことに、サムネイル画像内でマウスをクリックまたはドラッグすると、これに対応して表示域ウインドウ内の拡大画像を位置させることができる。さらに、現在の閲覧の相対位置およびサイズを示すため、サムネイル画像内に四角形が表示されている。
さらに、それぞれの表示域540に拡大鏡ウインドウ546を開くことができる。好都合なことに、拡大鏡ウインドウ546は、カーソルの周囲の領域を2倍の相対倍率で表示することができる。マウスをドラッグすることによって、マウスの周囲の拡大領域を移動させることができる。コンピュータ画面上のピクセルのサイズが小さいため、好都合には、ビューア(すなわち、人物)により多くの情報を提供すべく、スキャンした解像度レベルを超えて画像を拡大することができる。拡大鏡ウインドウ546によって、ユーザは、追加の2倍の解像度を得るべく表示された画像データ上を移動することができる。この追加の解像度は、ベースライン画像についても利用可能である。
さらに、各表示域ウインドウの解像度を所定の特定の解像度に設定できるよう、ツールバー548も用意されている。好都合には、この所定の解像度が、バーチャルスライド画像ファイルにすでに存在しているベースラインおよび中間レベルに、直接対応しているとよい。最後に、ズーム・スライダ550によって、任意の解像度レベルを選択することができるとともに、表示域コントローラ内のバーチャルスライド画像について迅速な拡大縮小が可能である。
図5Eは、典型的なガンマ調節ウインドウを示している。画像の明るさ/コントラスト、画像のカラーバランス、および画像のカラー曲線を調節し、さらに調節設定の読み込みおよび保存を行なうため、さまざまなタブが利用可能である。図示の実施の形態では、カラー曲線タブが示されている。カラー曲線552によって、ユーザは、スペクトルに沿ってカラーマッピングを調節することができる。左側のカラー・ボックスによって、ユーザは、変更しようとする特定のカラー・チャネルについての曲線を独立に選択でき、あるいはすべてのカラー・チャネルを同時に変更すべく選択することができる。
図5Fは、典型的なフィルタ処理ウインドウを示している。ウインドウの上部には、あらかじめ定められたいくつかのフィルタが挙げられており、所望のラジオ・ボタンを選択することによって適用することができる。さらに、カスタム設定できる5×5のコンボリューションマトリクスを、ダイアログ・ボックスの入力フィールド556に適当な値を入力することによって定義することができる。コンボリューションマトリクスによって、コントラストの強調、エッジの強調、および他の画像処理機能が可能である。
図5Gは、典型的な変形ウインドウを示している。変形ウインドウにより、所望のラジオ・ボタンを選択することによって、ユーザは、バーチャルスライド画像を90°回転させることができ、あるいは水平または垂直の中心線を横切って画像を鏡像反転させることができる。
図5Hは、典型的なウェブ・ビューア・ウインドウを示している。ウェブ・ビューア・ウインドウは、HTMLおよび埋め込みされた画像で作られている。標準的なテキスト560を、図3に関してすでに説明したとおりウェブ・ビューアによって生成し、所望のとおり表示および配置することができる。また、サムネイル画像562も、内部サイズおよび中間解像度画像564の位置確認のための位置基準とともに提供されている。さらに、中間解像度画像564の内部には、高解像度画像566の現在の位置を示す同様の基準が提示されている。
図6Aは、本発明の一実施の形態による典型的な注釈モジュール160を示したブロック図である。注釈モジュール160は、注釈ビューア164および注釈ハンドラ162を有している。注釈ビューア164は、バーチャルスライド・モジュール110と関連して動作し、バーチャルスライド画像データに重ねて表示すべく注釈情報(すなわち、レイヤー)を提供する。注釈ハンドラ162が、クライアント・ビューア80などのビューアからの注釈の生成、編集、および削除の要求を処理する。さらに、注釈ハンドラ162は、データ記憶領域150への注釈情報の保持を管理するとともに、適切な場合、注釈データを取り出して、当該注釈情報を注釈ビューア164に提供する。
一実施の形態において、ユーザはクライアント・ビューア80において、例えば注釈コントローラ400を使用して注釈を生成することができる。注釈情報が、クライアント・ビューア80の通信モジュール450によって、バーチャルスライド・サーバ20へと送信される。注釈の生成を含んでいる要求が、通信モジュール100によって処理され、注釈ハンドラ162に渡される。次いで、注釈ハンドラ162が、注釈をデータ記憶領域150への保存のためにデータベース・モジュール140へと提供する。
図6B〜Cは、本発明の一実施の形態による典型的な注釈を示したスクリーンショットである。図6Bは、構造化言語による典型的な注釈を示している。図示の実施の形態においては、注釈が拡張可能マークアップ言語(「XML」)で示されているが、他の構造化言語も使用可能である。好都合には、当業者であれば理解できるとおり、このような注釈を、単純な文字列としてデータベースに保存することができる。
注釈は、バーチャルスライドのベース解像度レベルに対応する座標を使用して記述でき、保存でき、取り出すことができる。これにより、注釈を、それらが説明している画像データとともに、任意の解像度レベルへと拡大縮小することができる。図示の実施の形態においては、注釈が、表示される1つ以上の特徴または領域で構成されており、レイヤーへとグループ化されている。一実施の形態においては、個々の注釈レイヤーを選択的に有効にでき、あるいは無効にできる。
図6Cは、注釈を有する典型的な表示域ウインドウを示している。フローティング(移動可能な)ダイアログ・ボックス602が、ユーザに注釈コントローラを提供し、注釈レイヤーおよびレイヤー属性の選択を容易にする。同様に、ダイアログ・ボックス604が、現在のレイヤー内で個々の注釈および注釈属性を追加し、編集し、削除する能力を、ユーザに提供する。
個々の注釈606は、いくつか例を挙げると、楕円、矢印、自由形状多角形、および矩形など、種々さまざまな形態を具現化できる。一実施の形態においては、或る特定のレイヤー内の各注釈が、例えば現在選択されている注釈が黒の縁取りを有するなど、異なる色で表示される。注釈作成ツールがメニューバー608に出現し、いくつか例を挙げると、ペン・ツール、形状ツール(矩形および楕円形)、および矢印ツールを含んでいる。
一実施の形態においては、注釈が、バーチャルスライドのベースライン画像に対して特定の位置に関連付けられた注釈領域で構成されている。各注釈領域に関してさまざまな値を設定でき、注釈文字列にkey=valueの形式で保存することができる。注釈レイヤーが、複数の注釈領域を含んでもよい。さらに、注釈レイヤーが、さまざまな値を例えばkey=valueの形式でレイヤーに関連付け、注釈文字列とともに保存して有してもよい。
図7Aは、本発明の一実施の形態による典型的なVMC閲覧システム12を示したネットワーク図である。図示の実施の形態においては、VMCサーバ32が、リーダ・クライアント・ビューア74および参加者クライアント・ビューア76に、ネットワーク62を介して通信可能に接続されている。一実施の形態においては、複数の参加者クライアント・ビューア76が存在してよいが、リーダ・クライアント・ビューア74は、カンファレンスのセッションごとに1つだけである。リーダ・クライアント・ビューア74は、ローカルなデータ記憶領域75を備えて構成でき、各参加者クライアント・ビューア76も、同様にローカルなデータ記憶領域77を備えて構成できる。代案となる実施の形態においては、2つ以上のリーダ・クライアント・ビューア74が存在してもよい。
図7Aに示すとおり、本発明の一実施の形態においては、バーチャルスライド・サーバ34が、データ記憶領域50または画像キャッシュ(図示せず)から、バーチャル顕微鏡カンファレンス・セッションのすべての参加者74および76に、画像データを供給する。任意により、バーチャルスライド・サーバ34が、バーチャル顕微鏡カンファレンス・サーバ32と同じ位置にあってもよく、さらに/あるいはサーバ34および32を、1つの共有サーバ21へと一体に組み合わせてもよい。
バーチャル顕微鏡カンファレンスにおいては、リーダ・クライアント・ビューア74が、セッションの閲覧を管理する。リーダ・クライアント・ビューア74から受け取ったバーチャルスライド指令により、VMCサーバ32が、それらの指令を当該セッションの他の参加者ビューアに伝達する。例えば、注釈レイヤーの表示および注釈領域の生成を含め、リーダ・クライアント・ビューア74から受信される視点の移動および拡大縮小ならびに他の相互作用の指令がすべて、ローカルで実行され、他のすべての参加者ビューアへと伝達される。さらに、画像を開く指令および閉じる指令、ならびに他のセッション制御行為は、当該セッション・リーダによって開始される。参加者クライアントは、自身の画像表示をローカルで変更(視点移動、拡大縮小、など)してもよいが、これらの動作がVMCサーバ32を介して他のセッション参加者に伝えられることはない。
図7Bは、本発明の一実施の形態によるバーチャル顕微鏡カンファレンスのための典型的なVMCサーバ32を示したブロック図である。VMCサーバ32は、VMCセッション・マネージャ620およびVMCセッション・テーブル630を備えている。認証モジュール130およびデータベース・モジュール140が、VMCセッションの参加者を認証するために使用される。
好都合には、VMCセッション・マネージャが、リーダ・クライアント・ビューアから受け取るすべてのVMC要求を処理する。さらに、VMCセッション・マネージャ620は、どのクライアントがリーダであるのかを把握し、リーダシップを要求したクライアントの待ち行列を保持するため、VMCセッション・テーブル630を維持する。さらに、VMCセッション・テーブル630は、好ましくは、各参加者クライアント・ビューアの現在のバーチャルスライド閲覧をリーダ・クライアント・ビューアのものと同期させるため、各参加者クライアント・ビューアの状態を保持する。
一実施の形態においては、VMCセッション・テーブル630が、リーダ・クライアント・ビューアになることを要求した参加者クライアント・ビューアのリストを含んでいる。好都合には、リーダ・クライアント・ビューアが、VMCサーバ32においてセッション・リーダーシップ待ち行列中で順番を待っている次の参加者クライアントを選択するように要求することで、明示的または暗黙裡に、セッションのリーダシップをいずれかの参加者クライアント・ビューアへと、いつでも渡すことができる。
VMCセッション・マネージャ620は、まず、第1のクライアント・ビューアからセッションを確立するためのVMC要求を受信する。この第1のクライアント・ビューアがリーダ・クライアント・ビューアとなって、パスワードおよびセッション識別子を設定する。このセッション識別子を指定し、かつ正しいパスワードを提示するさらなるクライアント・ビューアが、参加者クライアント・ビューアになる。一実施の形態においては、各参加者クライアント・ビューアが、当該参加者クライアント・ビューアの状態を追跡すべく生成された固有のVMCセッション・テーブルを有している。
リーダ74およびすべての参加者76を含むVMCセッションのクライアントは、すでに述べたとおり、画像データを取得するための1つ以上のバーチャルスライド・サーバ34へのアクセスを共有する。画像データへのアクセスは、画像ブロック・レベルであって、ブロックの処理がクライアントによって行なわれてもよく、あるいは画像サブ領域のレベルであって、サブ領域を描くためのブロックの処理がクライアントの代理としてサーバによって行なわれてもよい。
一実施の形態においては、バーチャルスライド画像のガンマ調節が、個々の参加者ベースで利用可能である。ガンマ調節は、個々のモニタおよび環境光のそれぞれに固有であって、したがってVMCセッションの個々の参加者クライアント・ビューアのそれぞれによって制御可能であると好都合である。ガンマ調節の操作は、バーチャルスライド・サーバ34上で実行できるが、より一般的には、ローカルのクライアント・ビューアにて実行される。
図7Cは、バーチャルスライド・ビューア70内へと作りこまれたバーチャル顕微鏡カンファレンス・クライアント(リーダまたは参加者のいずれか)の典型的な一実施の形態を示している。フローティング(移動可能な)ダイアログ・ボックスが、参加者のリスト702など現在のセッションの状態を表示している。セッションのリーダシップを要求し、割り当て、放棄するため、コントローラ704が設けられている。
図8Aは、本発明の一実施の形態による典型的な三次元バーチャルスライドを示したブロック図である。三次元バーチャルスライドは、垂直の次元に複数の画像平面を含んでいる。例えば、顕微鏡スライドにおいて組織標本がかなりの厚さを有している場合、標本全体を垂直方向のただ1つの焦点面で捉えることは、多くの場合困難である。したがって、顕微鏡スライドが、焦点面の異なるいくつかの垂直レイヤーにてスキャン(すなわち、デジタル化)され、垂直レイヤーのそれぞれが別個の垂直スライド画像を構成する。
図示の実施の形態においては、顕微鏡スライドが5つの別個の垂直レイヤーにてスキャンされ、これら5つのレイヤー(0〜4)のそれぞれについてバーチャルスライドが生成され、保存される。さらに、各レイヤーについての垂直軸(本明細書において「Z軸」とも称する)方向のオフセットが、各レイヤーについてのバーチャルスライドと垂直軸方向のオフセット716とからなる複合画像ファイルを生成するため、保存される。したがって、クライアント・ビューアが、レイヤー0の画像712とレイヤー1の画像714との間に位置する現閲覧レイヤー712など、Z軸において5つあるレイヤーのうちの2つのレイヤーの間の閲覧を要求したとき、直上のレイヤーおよび直下のレイヤーが、要求された垂直レベルについての閲覧をユーザに提供すべく補間される。
図8Bは、本発明の一実施の形態による三次元バーチャルスライド・スキュー720を示したブロック図である。垂直軸について現閲覧レベルを補間することの利点は、得られる現在の閲覧をスキューできる点にある。例えば、レイヤー0の画像710からの画像ピクセルを或る一方向にずらすことができ、レイヤー1の画像714からの画像ピクセルを、反対方向にずらすことができる。この結果、得られる現在の閲覧レベルの画像が、実際のスキャン方向への角度を近似する視点をもたらすことになる。三次元バーチャルスライドのスキューを操作することによって、ユーザは、好都合にも、スライド上の対象組織または細胞の回転三次元画像を見ることができる。
図8Cは、バーチャルスライド・ビューア70内へと作りこまれた本発明の一実施の形態による典型的な三次元バーチャルスライド閲覧ウインドウを示したスクリーンショットである。図示の実施の形態においては、表示域画像540が、直上の画像レイヤーと直下の画像レイヤーとから補間された現在の閲覧レベルを表示している。垂直方向のレイヤーの奥行きについてのスライダ・コントローラ730によって、ユーザは、表示域の表示をZ軸に沿って変化させることができる。さらに、スキュー・コントローラ732によって、ユーザは、表示域内のバーチャルスライド画像について、スキュー方向およびスキューの量を動的に変化させることができる。一実施の形態においては、スキュー制御ウインドウ内の十字線をドラッグすることによって、三次元の視点を変化させることができる。好都合には、暗い影の円が、対象物(例えば、白い円)に対する視点(例えば、十字線)の関係を示している。
典型的な実施の形態
以下で、本発明の典型的な実装例を、図9A〜9Fに関して説明する。この典型的な実施の形態は、あくまで例として説明されるものであり、これまでに記載し添付の特許請求の範囲にも記載される本発明の広がりおよび技術的範囲を限定するものとして解釈するべきではない。
図9A〜9Fは、バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。図9Aは、バーチャルスライド閲覧システムの各コンポーネントおよびそれらの間のインターフェイスを、下記のとおり説明している。
図示の実施の形態は、デジタル化スキャンによる顕微鏡スライド(「バーチャルスライド」)の閲覧および管理のためのコンピュータ・システムを含んでいる。このコンピュータ・システムは、バーチャルスライド情報を保存する1つ以上のサーバ装置、およびスライド情報の閲覧に使用される1つ以上のクライアント装置を有している。システム内のコンピュータは、TCP/IP(インターネットで使用される標準的なネットワーク・プロトコル)によるHTTP要求を使用して通信する。システムのコンピュータは、互いに物理的に近くにあって構内通信網(「LAN」)によって通信してもよく、あるいは物理的に離れていて広域通信網(「WAN」)によって通信してもよい。このシステムの重要な特徴は、WANにおいて優秀な性能を示す点にあり、すなわちLANの装置間帯域幅を必要としない点にある。
サーバ装置は、典型的には、インテル社(Intel)のアーキテクチャのプロセッサを特徴として備え、マイクロソフト社(Microsoft)のウインドウズ(Windows)またはリナックス(Linux)を動作させる強力なPCである。システムのアーキテクチャは、サーバの実装の詳細とは無関係である。システムのすべてのサーバ・コンポーネントは、1つのサーバ装置に同居してもよく、あるいは性能向上または保守性を考慮して別個独立であってもよい。
このシステムは、2つの閲覧環境を提供する。クライアント閲覧インターフェイスは、簡単かつ簡潔なグラフィカル・ユーザ・インターフェイス(「GUI」)を提供するスタンドアロンの閲覧プログラム(「イメージスコープ(ImageScope)」)を使用する。ウェブ閲覧インターフェイスは、任意の標準的なインターネットブラウザを使用し、クライアント側にアプレット、プラグイン、または他のソフトウェアを必要としない。クライアント閲覧インターフェイスは、任意のインテル・アーキテクチャのコンピュータ上で、マイクロソフト・ウインドウズの任意のバージョン上で動作する。このシステムの特徴は、クライアント装置の構成とは無関係である。ウェブ閲覧インターフェイスは、そのような環境がHTMLページの処理およびJPEG画像の表示という標準的なウェブ・ブラウザの能力を提供する限りにおいて、あらゆるコンピュータ上で、あらゆるオペレーティング・システムのあらゆるバージョン上で動作する。
A‐イメージサーバ(ImageServer)装置
このコンピュータは、バーチャルスライド画像を収容し、スライド・データへのアクセスのために使用されるネットワーク・アプリケーション・プログラム・インターフェイス(「API」)を提供する。この装置は、インテル‐アーキテクチャのコンピュータであってマイクロソフト・ウインドウズまたはリナックスを動作させており、典型的には、かなりのメモリ(キャッシュ用)および大量のディスク記憶領域(バーチャルスライドの保存用)を装備する強力なPCである。
B‐ウェブ・サーバ装置
このコンピュータは、ウェブ・インターフェイスを使用してバーチャルスライド・データにアクセスするために使用されるウェブサイトを収容している。ウェブビューア(WebViewer)ソフトウェアが、ウェブサーバに一体化されている。この装置は、マイクロソフト・ウインドウズおよびマイクロソフト・インターネット・インフォメーション・サーバ(IIS)を動作させるインテル‐アーキテクチャのコンピュータであってよく、あるいはアパッチ(Apache)を動作させる任意のアーキテクチャのコンピュータであってよい。ウェブ・サーバ装置が、イメージサーバ装置と同じであることも可能である。
C‐バーチャルスライド画像ファイル
バーチャルスライドは、典型的には200MB〜4GBのサイズの別個独立のファイルとして保存される。イメージサーバ装置は、容量および堅牢性の理由で、複数の別個独立のディスクからなる冗長アレイ(「RAID」)を備えて構成されることが多い。
D‐データベース
認証用のデータおよび注釈を含むバーチャルスライド情報が、SQLデータベースに保存される。このデータベースは、通常はイメージサーバ装置に位置するが、必ずしもそのようである必要はない。典型的な実装例は、マイクロソフト・データベース・エンジン(「MSDE」)またはマイクロソフトSQLサーバを使用する。データベースへのアクセスは、システムの一部として提供されるサービスを経由する。このサービスへのインターフェイスは、TCP/IPによるHTTPであり、データベース・アクセスの分散を可能にする。
E‐イメージサーバ(ImageServer)
イメージサーバは、バーチャルスライド・データへのアクセスのためのネットワークAPIを提供するスタンドアロンのアプリケーションである。イメージサーバは、バーチャルスライド画像ファイルにアクセスするとともに、認証および注釈データへのアクセスのため、データベースへのインターフェイスを有している。
F‐イメージスコープ(ImageScope)ビューア
イメージスコープは、スライド情報の閲覧のために簡単かつ簡潔なグラフィカル・ユーザ・インターフェイスを提供するスタンドアロンのアプリケーションである。イメージスコープは、イメージサーバのネットワークAPIを利用してイメージサーバとやり取りし、あるいはバーチャルスライド・ファイルを直接読み出すことができる。
G‐ウェブビューア(WebViewer)
ウェブビューア・ソフトウェアは、スライド情報を閲覧するためのHTMLユーザ・インターフェイスをウェブ・ブラウザに届けるため、標準的なウェブ・サーバのもとで動作する。HTMLページは、ウェブ・ブラウザにイメージサーバからのJPEG画像情報を要求させる画像タグ(<IMG>)を含んでいる。HTMLページとJPEG画像の組み合わせが、ウェブビューア・インターフェイスを構成する。
H‐ウェブ・ブラウザ
任意のプラットフォーム上のあらゆる標準的なウェブ・ブラウザを、ウェブビューアを利用してバーチャルスライド・データを閲覧すべく使用することができる。
X‐画像ブロックAPI
イメージサーバは、バーチャルスライド・ファイルのブロックにアクセスするため、TCP/IPによるHTTPメッセージ・インターフェイスをサポートしている。これらのブロックは、イメージビューア(クライアント側)によって解凍され、処理される。
Y‐画像サブ領域API
イメージサーバは、バーチャルスライド・ファイルのサブ領域にアクセスするため、TCP/IPによるHTTPメッセージ・インターフェイスをサポートしている。これらの領域は、イメージサーバ(サーバ側)によって解凍および処理され、JPEG画像として再圧縮されてブラウザへと送信される。
Z‐ウェブ・サーバへのHTMLインターフェイス
これは、ウェブ・ブラウザとウェブ・サーバとの間の標準的なTCP/IPによるHTTPインターフェイスであって、ブラウザへとHTMLページを届けるために使用される。ウェブビューアが、ページの動的な生成、および応答データの処理を行なう。
図9Bは、イメージ・サーバの内部の実装の詳細を、以下に説明するとおり示している。
イメージサーバは、バーチャルスライド画像データへのアクセスのため、クライアントにネットワークAPIを提供するスタンドアロンのアプリケーションである。クライアントは、画像ブロック(圧縮された生の画像データ)または画像領域(解凍され、拡大縮小され、変形され、フィルタ処理され、JPEGフォーマットへと再圧縮された画像データ)にアクセスすることができる。さらに、種々の画像属性(寸法、説明文、など)および注釈情報へのアクセスも提供される。
イメージサーバは、複数のクライアントに同時にサービスを提供することができ、画像データへのアクセスを高速化するために複数のメモリ・キャッシュを使用する。サーバへの要求はすべて、状態と無関係(stateless)である。要求は、TCP/IPによってHTTPで行なわれる。HTTP 1.1の要求パイプラインがサポートされている(1つのソケット接続によって複数の要求を順次に行なうことができる)。
イメージサーバは、クライアントからの新規ソケット接続を受け入れて、すべてのクライアント要求を管理する接続マネージャ・コンポーネントを含んでいる。各クライアント要求は、任意により、HTTP認証ヘッダを含むことができる。このヘッダは、ウェブ・ブラウザ(ユーザが、ユーザID/パスワード認証情報を入力したとき)およびイメージスコープなどのスタンドアロン・クライアント・プログラムによって生成される。接続マネージャは、届いた要求のすべての認証情報を検証する。認証は、ディレクトリ・レベルで実行される。いくつかのディレクトリは「パブリック」であってよく(認証が要求されない)、他のディレクトリは、当該ディレクトリ内のあらゆる画像を閲覧可能にする前に、明示的な認証を要求することができる。
A‐接続マネージャ・コンポーネントが、クライアントからの新規ソケット接続を受け入れ、すべてのクライアント要求を管理し、認証の確認を実行する。
B‐各要求(すべての接続は状況と無関係である)においてクライアントが、HTTP認証ヘッダ内にユーザID/パスワード情報を供給することによって、認証証明を提示する。
C‐要求ごとに認証データベースにアクセスしなくてもよいよう、認証キャッシュが、イメージサーバによって保持される。このキャッシュは、定期的に新規の接続が確立されたときに書き換えられ、あるいは明示的にリセット(RESET)要求が受信されたときに書き換えられる。
D‐データベース・サービスが、データベースへのインターフェイスを提供する。このサービスは、HTTP要求を受け入れ、データベースをイメージサーバとは別個の装置に配置できるようにする。このサービスは、データベース情報にアクセスするために標準的なSQL要求を使用する。
E‐認証および注釈の情報を保存するため、SQLデータベースが使用される。このデータベースは、通常は、マイクロソフト・データベース・エンジン(「MSDE」)を使用して実装されるが、SQLサーバであってもよく、あるいは他の任意のSQL準拠のデータベースであってよい。
F‐クライアントによって画像情報要求が行なわれ、画像の寸法、説明文、およびピラミッド構造などの属性が返される。情報要求は、データを返すためにイメージオブジェクト(Image Object)のプロパティ(properties)を使用する。
G‐イメージサーバによって管理される別個のバーチャルスライド画像のそれぞれについて、イメージオブジェクトがインスタンス作成され、バーチャルスライドとやり取りするためのプロパティおよび方法が提供される。性能上の目的で、最近アクセスされたオブジェクトのキャッシュが保持される。イメージオブジェクトは、バーチャルスライドの詳細な実装からアプリケーションを切り離すため、システム全体において使用される。
H‐バーチャルスライド・ファイルへのアクセスをカプセル化(encapsulate)するため、イメージオブジェクト内にファイルオブジェクト(File Object)がインスタンス作成され、そのようなファイルとやり取りするためのプロパティおよび方法が提供される。
I‐性能上の目的で、ファイル情報キャッシュが、すべてのファイルオブジェクトにわたって保持される。これにより、要求がなされたとき、最近アクセスされたファイルについてのすべての情報を再ロードする必要なく、イメージオブジェクトをインスタンス作成し、破壊することが可能である。ファイル情報キャッシュは、ファイルオブジェクトがインスタンス作成されたときに定期的に書き換えられ、あるいは明示的にリセット要求が受信されたときに書き換えられる。
J‐バーチャルスライド・ファイル情報にアクセスするため、I/Oライブラリが、ファイルオブジェクトによって使用される。このライブラリは、タグ付き画像ファイル・フォーマット(「TIFF」)ファイル・ヘッダの詳細をカプセル化している。
K‐バーチャルスライド画像ファイルは、通常のファイルと同様にイメージサーバ装置上に保存される(たとえ、きわめて大きいファイルであっても)。
L‐ブロック要求は、画像ファイル・ブロックを直接デコードできるクライアント(すなわち、イメージオブジェクトを含んでいるクライアント)によってなされる。これは、スキャンスコープ・ビューアならびにアルゴリズム・フレームワーク(Algorithm Framework)を含んでいる。ブロック要求は、直接ファイルオブジェクトへとイメージオブジェクトを通過し、I/Oライブラリへと渡される。ブロック要求は、サーバにおいて必要とされる処理がきわめて少ないため高速であり、バーチャルスライド画像の元のJPEG2000圧縮がクライアント/サーバ・インターフェイスを横断して保たれるため、高密度である。
M‐性能上の目的で、ブロック・キャッシュが、最近使用(「MRU」)基準にもとづき、すべてのファイルオブジェクトを横断して保持される。ブロック・キャッシュの大きさは、イメージサーバ装置上に構成されたメモリの量の関数であり、イメージサーバ・プロセスに渡されたパラメータによる。
N‐領域要求は、画像ファイル・ブロックを直接デコードすることができないクライアント(ウェブ・ブラウザ、など)によってなされる。「領域」が、画像の任意のサブサーフェイス領域を指しており、画像ファイルまたは画像ファイルが取得されたやり方についての固定の属性ではないことに、注意すべきである。この点で、ここに記載の典型的な実施の形態は、画像データがタイルとして取得されてタイルとして保存されていて、タイルが画像の物理的なプロパティである他のシステムと、根本的に相違している。画像のサブ領域は、画像内の任意の(X,Y)位置について、任意の解像度および任意の寸法で要求することができる。領域は、JPEG2000データを理解できないクライアントとの互換性のため、JPEG画像としてエンコードされて返される。領域要求は、サーバにおいて必要とされる前処理の量ゆえにブロック要求よりも低速であり、画像データがJPEG2000ではなくJPEGにエンコードされて返されるため、ブロック要求よりも密度が低い。
O‐さまざまな圧縮機構をカプセル化するため、コーデックオブジェクト(Codec Object)が、イメージオブジェクトとともにインスタンス作成される。バーチャルスライド画像については、通常は、高い画像忠実度ゆえJPEG2000が好ましいが、JPEGおよびLZWならびに生の画像(圧縮なし)もサポートされる。
P‐性能上の目的で、領域キャッシュが、最近使用基準にもとづき、すべてのイメージオブジェクトを横断して保持される。領域キャッシュの大きさは、イメージサーバ装置上に構成されたメモリの量の関数であり、イメージサーバ・プロセスに渡されたパラメータによる。
Q‐画像についての注釈情報を要求および更新するため、注釈要求がクライアントによってなされる。注釈は、XMLにて保存され、データベース・サービスへとなされた要求によって、データベースからクライアントへと直接、「ブロブ(blob)」として返される。クライアントは、適切な認証を有している場合に、画像についての注釈情報を更新することができる。
W‐注釈データ・インターフェイス
クライアントがHTTP要求を行い、応答としてXMLフォーマットの画像注釈データを受け取る。さらに、注釈データを、XMLフォーマットの画像注釈データを含んでいるHTTP投稿によって、更新することができる。
X‐画像ファイル情報インターフェイス
クライアントがHTTP要求を行い、画像属性を取得するためのXMLフォーマットの応答データを受け取る。
Y‐画像ブロック・インターフェイス
クライアントがHTTP要求を行い、応答として画像ファイル・ブロックを受け取る。ブロックは、(X,Y)位置およびレベルによって要求される。クライアントが、画像ファイル・ブロックの解凍(JPEG2000コーデックを使用)および適切な解像度への拡大縮小を担当する。
Z‐画像領域インターフェイス
クライアントがHTTP要求を行い、応答としてJPEG画像を受け取る。領域は、画像の任意のサブ領域であり、(X,Y)位置および解像度ならびに所望の寸法によって要求される。JPEG2000の解凍および適切な解像度への拡大縮小は、イメージサーバ・プロセスによってなされる。
図9Cは、イメージスコープ・ビューアの内部の実装の詳細を、以下に説明するとおり示している。
イメージスコープは、スライド情報の閲覧のために簡単かつ簡潔なグラフィカル・ユーザ・インターフェイスを提供するスタンドアロンのアプリケーションである。イメージスコープは、イメージサーバのネットワークAPIを利用してイメージサーバとやり取りし、あるいはバーチャルスライド・ファイルを直接読み出すことができる。
イメージスコープは、きわめて大きなバーチャルスライドについてのリアルタイムでの視点移動および拡大縮小、複数の同時画像および表示窓の同期のサポート、JPEG2000(ウェーブレット)の画像品質、性能を改善するための予測によるデータの先読み、性能向上のためのブロックおよび領域のキャッシュ、リアルタイムで調節可能なガンマ(RGBカラーマッピング)、コンボリューションフィルタのリアルタイム適用、リアルタイムでの直角変形(90°回転および鏡像反転)、レイヤーによる注釈の表示および編集のサポート、バーチャル顕微鏡カンファレンス(「VMC」)のサポート、および複数のZ軸スキャンにて得たスライド・データの3D閲覧、など、バーチャルスライドの精査を容易にするための独自の特徴を提供する。
イメージスコープは、その機能の大部分をビューポート(viewport)と呼ばれるアクティブエックス(ActiveX)コントローラにカプセル化する新規なアーキテクチャで実装される。ビューポート・コントローラは、バーチャルスライド閲覧能力を提供するため、さまざまなアプリケーションに容易に組み込むことができる。
ビューポート・コントローラは、性能を最適化するため広範囲にわたるキャッシュおよび先読みの技法を使用する。アプリケーションは、性能の最大化および利用可能なメモリの活用のため、オブジェクト間キャッシュを共有する複数の表示域をインスタンス化できる。ビューポートそのものがイメージオブジェクトをカプセル化し、次にイメージオブジェクトが、ファイルオブジェクトをカプセル化し、イメージオブジェクトおよびファイルオブジェクトが、イメージサーバ・プログラムと共有される。
イメージスコープ・プログラムおよびビューポート・コントローラの重要な属性は、きわめて大きいバーチャルスライド画像を、ネットワーク帯域幅が比較的低速(300K)である広域通信網を介して閲覧できるという能力にある。この理由のため、画面の書き換えは決して同時性ではなく、代わりにビューポートは、現在キャッシュから利用可能である画像ビューの最良のバージョンを表示し、このビューのますます高い解像度のバージョンをイメージサーバから取り出すように継続的に試み、それがなされると画面を更新する。エンドユーザにとっての効用は、応答を感じることができ、接続の帯域幅を意識することがないという点にある。
A‐イメージスコープ・アプリケーションは、バーチャルスライドへのアクセスのためのグラフィカル・ユーザ・インターフェイス(「GUI」)を収容し、ビューポート・アクティブエックス・コントローラの複数のインスタンスのための容器として機能する。
B‐GUIスクリーン・マネージャは、イメージスコープ・プログラムの主たる論理をカプセル化し、バーチャルスライド表示窓ならびにすべてのキーボードおよびマウス入力を管理する。
C‐ビューポート・アクティブエックス・コントローラ
このコントローラのプロパティおよび方法は、バーチャルスライドへのすべてのアクセスをカプセル化する。コントローラのウインドウが、スライド情報を表示する表示窓の表面である。
D‐「レンダリング・エンジン」が、ビューポート・コントローラの核心である。このエンジンは、任意の位置、寸法、および解像度におけるバーチャルスライド画像の任意の閲覧の「最良」のバージョンを構築するため、キャッシュされたデータを使用する。「より良い」バージョンが入手可能である(より多くのデータがイメージサーバから取り出される)とき、エンジンは、現在表示されている画面を更新する。
E‐バーチャルスライド画像をカプセル化すべく、ビューポート・コントローラによってイメージオブジェクトがインスタンス作成され、バーチャルスライドとやり取りするためのプロパティおよび方法が提供される。
F‐イメージオブジェクトは、領域配置のためのロジックを含んでおり、バーチャルスライドの任意の領域を所望の任意のレベルの解像度で描く。このロジックは、先読みスレッド(prefetch thread)によって惹起されたときなど、同期的(必要な画像情報を要求する)であってよく、あるいはレンダリング・エンジンによって惹起されたときなど、非同期(入手できる画像情報のみを使用する)であってよい。
G‐コーデックオブジェクトが、種々の圧縮機構をカプセル化するため、イメージオブジェクトとともにインスタンス作成される。バーチャルスライド画像については、通常は、高い画像忠実度ゆえJPEG2000が好ましいが、JPEGおよびLZWならびに「生の」画像(圧縮なし)もサポートされる。
H‐バーチャルスライド・ファイルへのアクセスをカプセル化するため、イメージオブジェクト内にファイルオブジェクトがインスタンス作成され、そのようなファイルとやり取りするためのプロパティおよび方法が提供される。ファイルオブジェクトは、リモート(TCP/IPライブラリを介してイメージサーバからアクセスされる)またはローカル(I/Oライブラリを介してローカルのファイルシステムからアクセスされる)であってよいバーチャルスライド・ファイルについて、場所に依存しないアクセスを可能にする。
I‐TCP/IPライブラリが、イメージサーバへのネットワーク・インターフェイスをカプセル化するため、ファイルオブジェクトによって使用される。このライブラリは、サーバへのブロック・インターフェイスを使用する。
J‐I/Oライブラリが、ローカルのバーチャルスライド・ファイルにアクセスするためファイルオブジェクトによって使用される。このライブラリは、TIFFファイル・ヘッダ(タグ付き画像ファイル・フォーマット)の詳細をカプセル化している。
K‐バーチャルスライド画像ファイルをローカルに保存でき、ビューポートを使用してアクセスする(そして、イメージスコープを使用して閲覧する)ことができる。
L‐性能上の目的で、ブロック・キャッシュが、最近使用(MRU)基準にもとづき、すべてのファイルオブジェクトを横断して保持される(このキャッシュは、1つのプログラム内の複数のビューポートにまたがる)。ブロック・キャッシュの大きさは、イメージスコープ装置上に構成されたメモリの量の関数であり、イメージスコープ・プログラムに渡されたパラメータによる。
M‐性能上の目的で、ファイル情報キャッシュが、すべてのファイルオブジェクトを横断して保持される(このキャッシュは、1つのプログラム内の複数のビューポートにまたがる)。
N‐性能上の目的で、領域キャッシュが、最近使用(MRU)基準にもとづき、すべてのイメージオブジェクトを横断して保持される(このキャッシュは、1つのプログラム内の複数のビューポートにまたがる)。領域キャッシュの大きさは、イメージスコープ装置上に構成されたメモリの量の関数であり、イメージスコープ・プログラムに渡されたパラメータによる。
O‐ビューポートは、リアルタイムでの直角変形(90°回転および鏡像反転)をサポートする。これらの変形は、レンダリング・エンジンにて適用される。
P‐ビューポートは、所望の任意の解像度へのリアルタイムでの拡大縮小をサポートする。この能力は、バーチャルスライド画像レベルの上に作られる。拡大縮小は、レンダリング・エンジンに作り込まれる。
Q‐ビューポートは、リアルタイムでのフィルタ処理をサポートし、所定またはカスタム設定の5×5のコンボリューション・カーネルを画像に適用できる。フィルタ処理は、レンダリング・エンジンに作り込まれる。
R‐ビューポートは、リアルタイムでのガンマ調節をサポートし、実際に表示されるピクセルへのRGB値のカラーマッピングを、調節できるようにする。この能力は、バーチャルスライドが閲覧されるときの環境光およびモニタ特性の相違を補償するために、きわめて重要である。ガンマ調節は、レンダリング・エンジンに作り込まれる。
S‐ビューポートは、注釈レイヤーの表示および編集をサポートする。注釈の表示は、レンダリング・エンジンに作り込まれる。
T‐ビューポートは、表示されているバーチャルスライドについての画像データをレンダリング・エンジンの要求を先取りして動的に取り出す先読みスレッドを組み込んでなる。先読みのロジックが、現在のユーザの画像とのやり取りについて「動き」を割り出し、これを先読みを案内するために使用する(例えば、ユーザが画像を右へとスクロールしている場合、さらに右側の新しい画像データが先読みされる)。
U‐イメージスコープは、GUIスクリーン・マネージャとビューポート・コントローラとの間に位置するVMCインターセプト(VMC Intercept)を含んでいる。VMCインターセプトは、ビューポートへのユーザ指令をVMCサーバへと伝達し、さらにVMCサーバからの指令を受け付けて、あたかもGUIスクリーン・マネージャからのものであるようにビューポートへと供給する。
X‐イメージサーバ・インターフェイス
ビューポート/ファイルオブジェクト/TCP/IPライブラリが、イメージサーバへのHTTP要求を生成し、応答としてバーチャル・ファイル・ブロックを受け取る。さらに、このインターフェイスは、画像属性を取り出すためにも使用される。
Y‐VMCサーバ・インターフェイス
MVCインターセプトが、VMCサーバへのHTTP要求を生成し、XMLフォーマットの応答を受け取る。このインターフェイスは、インターセプトした指令をVMCサーバへと渡すために使用され(このアプリケーションがセッションを「リード」している場合)、VMCサーバからの指令を受信するために使用される(このアプリケーションが「従」である場合)。
図9Dは、ウェブビューアの各コンポーネントおよびそれらの間のインターフェイスを示し、以下に説明するとおりである。
ウェブビューア・ソフトウェアは、標準的なウェブ・サーバの元で動作し、ウェブ・ブラウザでスライド情報を閲覧するためのHTMLユーザ・インターフェイスを届ける。HTMLページは、ウェブ・ブラウザにイメージサーバからのJPEG画像情報を要求せしめる画像タグ(<IMG>)を含んでいる。HTMLページとJPEG画像との組み合わせが、ウェブビューア・インターフェイスを構成する。
ウェブビューア・インターフェイスの重要な特徴は、追加のアプレット、プラグイン、または他のソフトウェアを一切必要とせず、あらゆる標準的なウェブ・ブラウザで利用できる点にある。これにより、きわめて可搬性に富んだ(事実上あらゆるプラットフォームで利用できる)ものとなり、新たなユーザも、すぐにバーチャルスライド・データを閲覧することができる。
A‐ウェブ・ブラウザ
あらゆるプラットフォーム上のあらゆる標準的なブラウザがサポートされる。
B‐ウェブ・サーバ装置
これは、通常は、ウインドウズのもとで動作するマイクロソフト・インターネット・インフォメーション・サーバ(IIS)、またはリナックスまたはユニックス(Unix)のもとで動作するアパッチである。コーン・シェル(Korn Shell)をサポートするプラットフォーム上でCGIインターフェイスをサポートするあらゆるウェブ・サーバが、サポートされる。
C‐ウェブビューア・スクリプト
これらは、ウェブ・サーバ・プロセスのもとで動作し、コモン・ゲートウェイ・インターフェイス(CGI)を通じて惹起される。これらのスクリプトは、常駐のコーン・シェル・インタプリタを必要とする。ウェブビューアが、ウェブ閲覧のためのインターフェイスを有するHTMLページを構築し、インターフェイスからの入力(マウスのクリック)を処理する。
D‐CGIは、コモン・ゲートウェイ・インターフェイスであり、ウェブ環境にてHTTP入力を処理して出力としてHTMLページ・コンテンツを生成するプログラムを動作させるためにウェブ・サーバによって提供される標準的な機構である。
E‐ウェブビューアは、バーチャルスライドの表示に使用されるHTMLを生成するHTMLページビルダ・モジュールを含んでいる。各スライド領域が、ウェブ・ブラウザが複数の画像サブ領域を並行して取り出すことができ、さらに画像サブ領域をキャッシュすることができるよう、多数の小さな領域から構成される。
F‐イメージサーバ・プロセスが、実際の画像データを提供する。画像属性が、HTMLページビルダによって要求される。HTMLページは、イメージサーバの画像データを要求するURLを含んでいるIMGタグのアレイを含んでいる。これらのURLは、イメージサーバへの領域インターフェイスを使用してJPEGサブ領域を要求し、次いで、これらサブ領域がウェブ・ブラウザによって表示される。
X‐ウェブ・ブラウザとウェブ・サーバとの間のHTTPインターフェイスは、標準的である。HTTP要求がブラウザによって送信され、CGIを通じてウェブビューアへと導かれ、HTMLページが生成されてブラウザへと返される。
Y‐ウェブビューアは、画像属性を取得するため、イメージサーバへと直接にHTTP要求を行なう。
Z‐ウェブ・ブラウザは、HTMLページに生成されたIMGタグから、イメージサーバへとHTTP要求を行なう。これらの要求は、イメージサーバへの領域インターフェイスを使用し、応答としてJPEG画像が返される。
図9Eは、バーチャルスライド閲覧システムにおける注釈サポートの詳細な実装を、以下に説明するとおり示している。
このバーチャルスライド閲覧システムは、画像ごとに複数のレイヤー上の複数の注釈をサポートしている。注釈は、(i)矩形領域、(ii)楕円形領域、(iii)特定のスポットを指し示す矢印、および(iv)任意の数の頂点を有する任意の多角形領域、という4つの形態のうちの1つをとる注釈領域で構成される。
領域は、常にバーチャルスライドのベースライン画像に対して配置され、解像度とは無関係である(すなわち、注釈領域が画像とともに拡大縮小される)。各注釈領域は、1つ以上の属性を、「key=value」のかたちで自身に関連付けて有することができる。「key」のセットは、注釈内のすべての領域について同じである。
注釈内のすべての領域がまとまって、注釈レイヤーを構成する。注釈レイヤーは、画像上へのプラスチックの重ね合わせと考えることができる。各レイヤーを個々に表示でき、あるいは隠すことができる。レイヤーは、1つ以上の属性を、「key=value」のかたちで自身に関連付けて有することができる。注釈レイヤーについての「key」は、任意の1つのレイヤーの領域についての「key」と異なっていてもよい。
表示域コントローラが、画像注釈の表示を管理するためのプロパティおよび方法を提供する。画像データが表示のためにフォーマットされるとき、有効にされている注釈レイヤーが画像上に描かれる。
イメージスコープ・アプリケーションが、注釈を編集するためのGUIツール一式を提供する。これらのツールを使用し、ユーザは、表示域コントローラの表面上のバーチャルスライドに注釈領域を対話的に「描く」ことができる。移動可能なウインドウが、注釈領域およびレイヤーに関する属性を入力するためのインターフェイスを提供する。
画像についてのすべての注釈は、XML文字列として保存される。表示域コントローラがXML文字列をフォーマットし、これをローカル・ファイルとしてディスクに保存でき、あるいはデータベースへの保存のためにイメージサーバへと送信できる。同様に、注釈を、データベースまたはローカル・ファイルから取り出すことができる。
A‐閲覧クライアント装置
イメージスコープが動作しているコンピュータ。
B‐イメージスコープ・ビューア
注釈の表示および編集のためのユーザ・インターフェイスを提供するアプリケーション。
C‐イメージサーバ装置
イメージサーバが動作しているコンピュータ。
D‐イメージサーバ・アプリケーション
注釈を含むバーチャルスライド画像データへのアクセスのためのネットワークAPIを提供するプロセス。
E‐データベース
このSQLデータベース(典型的には、MSDEまたはSQLサーバ)が、サーバ上に注釈情報を保存する。
F‐イメージスコープのGUIスクリーン・マネージャ・コンポーネントが、注釈の編集に使用される入力ツールおよびマウスの動きを管理する。
G‐表示域コントローラが、注釈表示ロジックを含むバーチャルスライドへのすべてのアクセスをカプセル化する。注釈へのアクセスは、オープンAPIによって提供される。
H‐ビューポート内の注釈ロジックが、バーチャルスライドについてのすべての注釈を、画像データ上に要求どおりに描く。
I‐表示域コントローラのレンダリング・エンジンが、表示のための画像領域を構成し、これが注釈表示ロジックへと渡される。
J‐バーチャルスライド・ファイルそのものへのアクセスをカプセル化するため、イメージオブジェクトが、各表示域コントローラ内でインスタンス作成される。
K‐イメージサーバと要求/応答の通信を行なうため、TCP/IPライブラリが、イメージオブジェクトによって使用される。
L‐イメージサーバの接続マネージャが、新規のソケット接続を受け付け、クライアントからのすべての要求を管理する。
M‐接続マネージャ内の認証レイヤーが、注釈についての要求を含む各要求について、認証証明を検証する。認証情報は、画像のための注釈レイヤーのそれぞれについて別個に保持され、すなわち、或る何人かのユーザが、或る幾つかのレイヤーについて読み出しのみのアクセスを有し、他のレイヤーについて更新アクセスを有してもよい。
N‐注釈要求は、HTTPインターフェイスを使用してデータベース・サービスに渡される。
O‐データベース・サービスは、イメージサーバとデータベースとの間のインターフェイスを提供し、データベースを別個の装置上に配置してもよいようにする。
P‐イメージスコープ内のVMCインターセプトが、表示域コントローラへのすべての指令をVMCサーバへと導き(ユーザが、セッションの「リーダ」である場合)、さらに/あるいはVMCサーバからの指令をビューポートへと導く(ユーザが、セッションの「追従者」である場合)。これは、注釈の表示および編集の指令を含んでいる。
図9Fは、以下に説明するバーチャルスライド閲覧システムにおけるVMCサポートの内部の実装の詳細を示している。
VMCは、複数のユーザが同時に閲覧セッションに参加して同じバーチャルスライドを閲覧する技法である。各ユーザのビューが他のユーザのビューに同期され、すなわち全員が同じ情報を眺めることになる。
あらゆる瞬間について、各セッションにおいては1人のユーザがセッション「リーダ」であり、他のユーザは「追従者」である。リーダが、視点の移動および拡大縮小、ビューの変更、注釈の作成、などを実行し、これらの指令のそれぞれが、すべての追従者に伝達される。リーダは、いつでも、セッションのリーダシップを他の任意のユーザに譲り渡すことができる。追従者は、当該セッションのリーダになりたい旨をリーダに伝えることができる。VMCサーバが、各セッションについてリーダになることを希望する追従者の待ち行列を保持する(先入れ先出し(FIFO)の順番で)。リーダは、セッションのリーダシップを他のユーザに渡そうとするときに、特定のユーザを明示的に指名することができ、あるいは先頭で待っている追従者へとリーダシップを渡してもよい。
VMCセッションは、VMCサーバ装置を使用して確立される。VMCサーバへと接続する最初のユーザが、セッションを生成し、説明用の名称を与え、パスワードを割り当てる。VMCサーバへと接続する後続のユーザは、説明用の名称によってセッションを特定でき、パスワードを入力することによって参加をすることができる。同時にVMCセッションに参加できるユーザの数に、制限はない。新規セッションを定めた最初のユーザが、最初のリーダになる。
必要であれば、特定のVMCサーバへの接続のために認証を要求することができる。この認証は、サーバそのものにアクセスするためのものであり、個々のセッションは、固有のパスワードを最初に接続したユーザが確立したとおり有している。
新たなユーザが進行中のVMCセッションに加わるとき、当該セッションのために現在開かれているあらゆる画像が、この新規ユーザのために開かれ、すべての表示窓が、当該セッションにおける現在の位置に同期させられる。
セッションにおいて、リーダは、1つ以上のバーチャルスライドを開くことができる。それらのスライドは、当該セッションのすべてのユーザにとってアクセスできるイメージサーバ上になければならない。画像が開かれるとき、セッションの他のすべてのユーザも、その画像を同時に開く。イメージサーバは、VMCサーバと同じ装置であってよいが、必ずしも同じ装置である必要はなく、同じ場所に位置している必要もない。
セッション・リーダが画像を閉じるとき、その画像は、セッションのすべてのユーザについても閉じられる。
セッション・リーダは、セッションの一部である任意の画像において、任意の位置および任意の倍率へと視点の移動および拡大縮小を行なうことができる。他のすべてのユーザは、これに自動的に倣う。閲覧ウインドウの寸法および構成は、個々のユーザが寸法の異なるモニタを使用している可能性がある点などを考慮するため、各ユーザの制御下に残される。各画像の配置は、常に閲覧ウインドウの中心を基準にする。
セッションにおいて、各ユーザのイメージサーバへの接続の帯域幅が異なっている可能性があり、この結果、視点移動および拡大縮小において、応答時間が異なる可能性がある。ビューポート更新の非同期の性質ゆえ、これらの操作において、最悪でも或るユーザが他のユーザと同じ解像度では画像ビューを眺めることができない(より高解像度のデータがサーバから取り出されるまで)だけであり、いずれのユーザも「阻止」されることがないようにされる。
イメージスコープ・ビューアのガンマ調節設備は、セッションのすべてのユーザについて同期されてはいない。これは、各ユーザが自身の好みに合わせて調節する余地を残している。これは、ガンマ調節が、通常は室内光およびモニタ温度ならびに個人の好みを補償するために行なわれるからであり、したがってリーダのガンマ設定をすべての追従者に渡しても意味がないからである。
セッション・リーダは、VMCセッションの一部として開かれたバーチャルスライドについて、注釈を有効および無効にすることができる。すべてのユーザが、同時に注釈を有効および無効にする。さらに、セッション・リーダは、新規の注釈レイヤーおよび領域を生み出すことができる。セッションの各ユーザは、部分的に完成したレイヤーおよび領域を見る。これは、注釈が本質的に一時的である可能性があるため、イメージサーバ上の注釈データベースを通じて同期をするのではなく、リーダの注釈コマンドをすべてのユーザに伝達することによって、達成される。
幾つかのセッションでは、1つの注釈レイヤー上で協働(リーダシップをお互いに渡すことによって)でき、他のセッションにおいては、各ユーザが自身の注釈レイヤーを有することができる。この決定は、セッションのユーザの責任である。
ユーザは、いつでもVMCセッションを離れることができる。ユーザがセッションを離れるとき、当該セッションの一部であったすべての画像表示窓が閉じられる。そのユーザがセッション・リーダであった場合、待ち行列中の「次の」追従者が、セッション・リーダになる。リーダになるのを待っている追従者がいない場合、リーダはランダムに選ばれる(いずれの瞬間においても、1ユーザがセッション・リーダでなければならない)。
最後のユーザがVMCセッションを離れることによって、当該セッションが終息する。サーバは、終息したセッションについてはいかなる情報も保持しない。
A‐閲覧クライアント装置
各ユーザがイメージスコープ・ビューアを動作させているコンピュータ。
B‐イメージスコープ・ビューア
VMCセッションのためのクライアント・インターフェイスを実装するアプリケーション・プログラム。
C‐VMCサーバ装置
VMCサーバ・アプリケーションが動作しているコンピュータ。このコンピュータは、VMCセッションにおいて閲覧される画像を提供するイメージサーバ装置と同じであってよいが、必ずしも同じである必要はない。
D‐VMCサーバ・プロセス
イメージスコープ・ビューアを一体に相互接続することによってVMCセッションを管理するアプリケーション。各クライアントは、TCP/IPによるHTTP要求を使用してVMCサーバと通信する。
E‐データベース
SQLデータベース(典型的には、MSDEまたはSQLサーバ)が、認証情報を保存する。これがVMCサーバへとアクセスするための認証情報であり、イメージサーバ装置上の画像にアクセスするために必要とされる認証情報と相違していてよいことに、注意すべきである。
F‐イメージスコープのGUIスクリーン・マネージャが、各ユーザに彼らのセッションを管理するためのインターフェイスを提供する。ユーザがセッションの「追従者」である場合、当該セッションにおいて開かれている画像の視点移動または拡大縮小あるいは注釈の作成を、行なうことはできない。
G‐VMCインターセプトが、GUIスクリーン・マネージャと表示域コントローラとの間に位置し、セッション・リーダによって与えられたすべての指令をVMCサーバへと導く。セッションの追従者によって与えられたあらゆる指令は、無視される。さらに、VMCインターセプトは、セッションの追従者へのVMCサーバからの指令を受信し、あたかもGUIスクリーン・マネージャからのものであるように表示域コントローラへと導く。
H‐表示域コントローラは、バーチャルスライドへのすべてのアクセスをカプセル化する。このコントローラのプロパティおよび方法は、GUIとバーチャルスライドとの間(ならびにVMCセッションとバーチャルスライドとの間)のインターフェイスである。各表示域コントローラが、VMCセッションの各画像についてイメージサーバへの接続を行なう点、およびそれらの接続がVMCサーバへの接続とは別個である点に、注意すべきである。
I‐VMCサーバ・プログラム内の接続マネージャが、すべてのソケット接続を取り扱い、すべてのクライアント要求を処理する。永続のソケット接続が、各VMCセッションの動作中のクライアントのそれぞれへと保たれる(通常のHTTP 1.1要求と異なり、これらの接続はタイムアウトしない)。これにより、セッション・リーダからの指令を、各追従者のVMCインターセプトへと非同期で送り返すことができる。
J‐VMCセッション・マネージャが、各VMCセッションにおける指令の流れを制御する(各VMCサーバ・プロセスが、複数のVMCセッションを同時に管理してもよい)。
K‐VMCセッション・テーブルが、現在のリーダ、すべての画像表示窓の現在の状態、リーダになることを希望する追従者の待ち行列、など、活動中の各VMCセッションおよび各セッション中のすべてのユーザについて、情報を保存する。
L‐接続マネージャの認証レイヤーが、VMCサーバへと接続する新規ユーザのそれぞれについて認証証明を検証する。この認証は、サーバへのアクセスを可能にし、次いでユーザは、既存のセッションに参加するために正しいパスワードを提示しなければならない。
M‐データベース・サービスが、VMCサーバとデータベースとの間のインターフェイスを提供し、データベースを別個の装置上に配置してもよいようにする。
X‐イメージスコープ・クライアント(VMCインターセプト)とVMCサーバ・プログラムとの間のインターフェイスは、TCP/IPによるHTTPである。各クライアントは、VMCセッションの間、サーバへの恒久的なソケット接続を有する。セッション・リーダであるクライアントが、サーバへと要求を送信し、応答を受信する。セッションの追従者であるクライアントは、サーバからの要求を受信し、応答を送信する。
図10は、本明細書に記載の種々の実施の形態に関連して使用できる典型的なコンピュータ・システム950を示したブロック図である。例えば、コンピュータ・システム950を、すでに述べたとおりバーチャルスライド・サーバ、ウェブ・サーバ、または閲覧クライアントと関連して使用することができる。しかしながら、当業者にとっては明白であるとおり、他のコンピュータ・システムおよび/またはアーキテクチャも使用可能である。
コンピュータ・システム950は、好ましくは、プロセッサ952などの1つ以上のプロセッサを備えている。入/出力を管理するための補助プロセッサ、浮動小数点演算操作を行なうための補助プロセッサ、信号処理アルゴリズムの高速な実行のために適したアーキテクチャを有する特殊目的のマイクロプロセッサ(例えば、デジタル・シグナル・プロセッサ)、主処理システムに従属するスレーブ・プロセッサ(例えば、バックエンド・プロセッサ)、デュアルまたは複数プロセッサ・システムのための追加のマイクロプロセッサまたはコントローラ、あるいはコプロセッサなど、追加のプロセッサを設けてもよい。このような補助的なプロセッサは、別個のプロセッサであってよく、あるいはプロセッサ952と統合されてもよい。
プロセッサ952は、好ましくは通信バス954に接続される。通信バス954は、記憶領域とコンピュータ・システム950の他の周辺コンポーネントとの間の情報の伝達を容易にするため、データ・チャネルを含むことができる。さらに、通信バス954は、データ・バス、アドレス・バス、および制御バスなど(図示されていない)、プロセッサ952との通信に使用される信号一式を提供することができる。通信バス954は、例えばインダストリ・スタンダード・アーキテクチャ(「ISA」)、拡張インダストリ・スタンダード・アーキテクチャ(「EISA」)、マイクロ・チャネル・アーキテクチャ(「MCA」)、ペリフェラル・コンポーネント・インターコネクト(「PCI」)ローカル・バス、あるいはIEEE488汎用インターフェイス・バス(「GPIB」)やIEEE696/S‐100などの米国電気電子技術者協会(「IEEE」)によって広められた規格に準拠したバス・アーキテクチャなど、任意の標準的または標準的でないバス・アーキテクチャからなることができる。
コンピュータ・システム950は、好ましくは主メモリ996を備えており、さらに二次メモリ958を備えることができる。主メモリ996は、プロセッサ952上で動作するプログラムのためのインストラクションおよびデータの記憶領域を提供する。主メモリ996は、通常は、ダイナミック・ランダム・アクセス・メモリ(「DRAM」)および/またはスタティック・ランダム・アクセス・メモリ(「SRAM」)などの半導体ベースのメモリである。半導体ベースの他の種類のメモリには、読み出し専用メモリ(「ROM」)を含み、シンクロナス・ダイナミック・ランダム・アクセス・メモリ(「SDRAM」)、ラムバス(Rambus)ダイナミック・ランダム・アクセス・メモリ(「RDRAM」)、強誘電体ランダム・アクセス・メモリ(「FRAM」)、などがある。
二次メモリ958は、任意により、ハードディスク・ドライブ960、および/または例えばフロッピーディスク・ドライブ、磁気テープ・ドライブ、コンパクトディスク(「CD」)ドライブ、デジタル多用途ディスク(「DVD」)ドライブなどのリムーバブルストレージ・ドライブ962を備えることができる。リムーバブルストレージ・ドライブ962は、広く知られたやり方で、着脱可能な記憶媒体964からの読み出し、および/または着脱可能な記憶媒体964への書き込みを行なう。着脱可能な記憶媒体964は、例えば、フロッピーディスク、磁気テープ、CD、DVDなどであってよい。
着脱可能な記憶媒体964は、好ましくは、コンピュータで実行可能なコード(すなわち、ソフトウェア)および/またはデータが保存されているコンピュータで読み取り可能な媒体である。着脱可能な記憶媒体964に保存されているコンピュータ・ソフトウェアまたはデータは、電気通信信号978としてコンピュータ・システム950に読み込まれる。
他の実施の形態においては、二次メモリ958が、コンピュータ・プログラムまたは他のデータあるいはインストラクションをコンピュータ・システム950へとロードできるようにするための他の同様の手段を備えることができる。そのような手段には、例えば、外部記憶媒体972およびインターフェイス970が含まれる。外部記憶媒体972の例としては、外部のハードディスク・ドライブまたは外部の光学式ドライブ、あるいは外部の光磁気ドライブがある。
二次メモリ958の他の例には、プログラマブル読み出し専用メモリ(「PROM」)、消去可能プログラマブル読み出し専用メモリ(「EPROM」)、電気的に消去可能な読み出し専用メモリ(「EEPROM」)、またはフラッシュメモリ(EEPROMに類似するブロック指向のメモリ)など、半導体ベースのメモリが含まれる。さらには、リムーバブルストレージ・ユニット972からコンピュータ・システム950へとソフトウェアおよびデータを伝送できる他の任意のリムーバブルストレージ・ユニット972およびインターフェイス970も含まれる。
さらに、コンピュータ・システム950は、通信インターフェイス974を含むことができる。通信インターフェイス974は、ソフトウェアおよびデータを、コンピュータ・システム950と外部の装置(例えば、プリンタ)、ネットワーク、または情報源との間で伝送できるようにする。例えば、コンピュータ・ソフトウェアまたは実行可能コードを、通信インターフェイス974を介してネットワーク・サーバからコンピュータ・システム950へと伝送することができる。通信インターフェイス974の例としては、いくつか例を挙げると、モデム、ネットワーク・インターフェイス・カード(「NIC」)、通信ポート、PCMCIAスロットおよびカード、赤外線インターフェイス、およびIEEE1394ファイアワイヤ(fire‐wire)がある。
通信インターフェイス974は、好ましくは、イーサネットIEEE802規格、ファイバーチャネル(Fiber Channel)、デジタル加入者線(「DSL」)、非同期デジタル加入者線(「ADSL」)、フレームリレー、非同期転送モード(「ATM」)、総合デジタル・サービス網(「ISDN」)、パーソナル通信サービス(「PCS」)、伝送制御プロトコル/インターネット・プロトコル(「TCP/IP」)、シリアル線インターネット・プロトコル/ポイント・トゥー・ポイント・プロトコル(「SLIP/PPP」)、など、この業界で普及しているプロトコル規格を実装するが、専用または非標準のインターフェイス・プロトコルを実装することも可能である。
通信インターフェイス974を介して伝送されるソフトウェアおよびデータは、一般に、電気通信信号978の形式である。これらの信号978は、好ましくは、通信チャネル976を介して通信インターフェイス974へともたらされる。通信チャネル976が信号978を運ぶが、いくつか例を挙げると、ワイヤまたはケーブル、光ファイバ、従来からの電話線、携帯電話リンク、無線(RF)リンク、または赤外線リンクなど、種々の通信手段を使用して実装することができる。
コンピュータで実行可能なコード(すなわち、コンピュータ・プログラムまたはソフトウェア)が、主メモリ996および/または二次メモリ958に記憶される。さらに、コンピュータ・プログラムを、通信インターフェイス974を介して受信して、主メモリ996および/または二次メモリ958に記憶することができる。そのようなコンピュータ・プログラムを実行することで、コンピュータ・システム950は、すでに説明したとおり本発明のさまざまな機能を実行することができる。
本明細書において、「コンピュータで読み取り可能な媒体」という用語は、コンピュータで実行可能なコード(例えば、ソフトウェアおよびコンピュータ・プログラム)をコンピュータ・システム950へともたらすために使用されるあらゆる媒体を指して使用されている。それら媒体の例には、主メモリ996、二次メモリ958(ハードディスク・ドライブ960、リムーバブル記憶媒体964、および外部の記憶媒体972を含む)、および通信インターフェイス974に通信可能に接続される任意の周辺機器(ネットワーク情報サーバまたは他のネットワーク装置を含む)が含まれる。これらコンピュータで読み取り可能な媒体は、コンピュータ・システム950に実行可能コード、プログラミング・インストラクション、およびソフトウェアをもたらすための手段である。
ソフトウェアを使用して実装される一実施の形態においては、当該ソフトウェアをコンピュータで読み取り可能な媒体に保存し、リムーバブルストレージ・ドライブ962、インターフェイス970、または通信インターフェイス974によって、コンピュータ・システム950にロードすることができる。そのような実施の形態においては、ソフトウェアが、電気通信信号978の形式でコンピュータ・システム950へとロードされる。プロセッサ952によって実行されるとき、当該ソフトウェアが、本明細書にてすでに説明した本発明の特徴および機能を、プロセッサ952に実行せしめる。
さらに、さまざまな実施の形態を、例えば特定用途向け集積回路(「ASIC」)またはフィールド・プログラマブル・ゲート・アレイ(「FPGA」)などのコンポーネントを使用して、ハードウェア主体で実装することも可能である。本明細書に記載の機能を実行できるハードウェア状態機械の実装も、当業者にとって明らかであろう。さらに、種々の実施の形態を、ハードウェアおよびソフトウェアの両者の組み合わせを使用して実装することも可能である。
本明細書に示して詳しく説明した特定のシステムおよび方法は、本発明の前記目的を完全に達成することができるが、本明細書に提示した説明および図面が本発明の現時点での好ましい実施の形態を示したものであって、本発明が広く想定する主題の代表であることを、理解すべきである。さらに、本発明の技術的範囲が、当業者にとって自明になるであろう他の実施の形態を完全に包含しており、したがって本発明の技術的範囲は、添付の特許請求の範囲以外のなにものによっても限定されないことを、理解すべきである。
本発明の一実施の形態に従ってバーチャルスライド画像を閲覧するための典型的なシステムを示したネットワーク図である。 本発明の一実施の形態による典型的なバーチャルスライド・サーバを示したブロック図である。 本発明の一実施の形態による典型的なバーチャルスライド・モジュールを示したブロック図である。 本発明の一実施の形態に従ってバーチャルスライド画像のブロックの要求を取り扱うための典型的なプロセスを示したフロー図である。 本発明の一実施の形態に従ってバーチャルスライド画像のサブ領域の要求を取り扱うための典型的なプロセスを示したフロー図である。 本発明の一実施の形態に従ってバーチャルスライド画像を閲覧するための典型的なウェブ・サーバを示したネットワーク図である。 本発明の一実施の形態による典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による種々の解像度レベルを含む典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による種々の解像度レベルを含む典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による種々の解像度レベルを含む典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による種々の解像度レベルを含む典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による種々の解像度レベルを含む典型的なバーチャルスライド・ファイル・フォーマットを示したブロック図である。 本発明の一実施の形態による典型的なバーチャルスライド・ファイル・フォーマットを、種々の解像度レベルとの関連について示したブロック図である。 本発明の一実施の形態による典型的なクライアント・ビューアを示したブロック図である。 本発明の一実施の形態による典型的な表示域コントローラを示したブロック図である。 本発明の一実施の形態による典型的なレンダリング・エンジンを示したブロック図である。 本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。 本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。 本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。 本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。 本発明の一実施の形態による典型的な閲覧ウインドウおよび操作制御ウインドウを示したスクリーンショットである。 本発明の一実施の形態による典型的な注釈モジュールを示したブロック図である。 本発明の一実施の形態による典型的な注釈を示したスクリーンショットである。 本発明の一実施の形態による典型的な注釈を示したスクリーンショットである。 本発明の一実施の形態による典型的なバーチャル顕微鏡カンファレンス閲覧システムを示したネットワーク図である。 本発明の一実施の形態によるバーチャル顕微鏡カンファレンスのための典型的なバーチャルスライド・サーバを示したブロック図である。 本発明の一実施の形態による典型的なバーチャル顕微鏡カンファレンス・クライアント示したスクリーンショットである。 本発明の一実施の形態による典型的な三次元バーチャルスライドを示したブロック図である。 本発明の一実施の形態による典型的なスキュー済み三次元バーチャルスライドを示したブロック図である。 本発明の一実施の形態による典型的な三次元バーチャルスライド閲覧ウインドウを示したスクリーンショットである。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 バーチャル顕微鏡スライド画像を閲覧するための典型的な実施の形態を示したブロック図である。 本明細書に記載の種々の実施の形態に関連して使用できる典型的なコンピュータ・システムを示したブロック図である。

Claims (48)

  1. バーチャル顕微鏡スライドを閲覧するためのサーバ・システムであって、
    バーチャルスライド画像ファイル、認証情報、および注釈データを含んでいるデータ記憶領域と、
    バーチャルスライド要求を受信し、要求の種類を特定し、処理のために該要求を案内し、応答を提供するように構成された接続モジュールと、
    バーチャルスライド要求を受信し、前記データ記憶領域からバーチャルスライド・データを取り出し、応答としてバーチャルスライド・データを提供するように構成されたバーチャルスライド・モジュールと、を有しているサーバ・システム。
  2. 前記バーチャルスライド要求が、ユーザ認証情報を含んでおり、
    前記接続モジュールが、該バーチャルスライド要求内のユーザ認証情報を検証するため、前記データ記憶領域の認証情報にアクセスするように構成されている請求項1に記載のシステム。
  3. 前記バーチャルスライド要求が、バーチャルスライド画像データの要求を含んでいる請求項1に記載のシステム。
  4. 前記バーチャルスライド要求が、バーチャルスライドに関連する情報の要求を含んでいる請求項1に記載のシステム。
  5. 前記接続モジュールから注釈データを受信して、前記データ記憶領域に注釈データを保存するよう構成された注釈モジュールをさらに有している請求項1に記載のシステム。
  6. 前記バーチャルスライド要求が、注釈データの要求を含んでいる請求項5に記載のシステム。
  7. さらに前記バーチャルスライド・モジュールが、
    前記データ記憶領域からのバーチャルスライド・データを一時的に保存するように構成されたキャッシュと、
    バーチャルスライド画像データを圧縮および解凍するように構成されたコーデック、とを有している請求項1に記載のシステム。
  8. さらに前記キャッシュが、
    最近に閲覧したバーチャルスライド画像の個別的な部位であって、前記データ記憶領域内のバーチャルスライド画像の対応する部位と事実上同じフォーマットで前記個別的な部位を保存するように構成されたブロック・キャッシュと、
    最近にアクセスしたバーチャルスライド情報を保存するように構成されたファイル情報キャッシュと、
    最近に閲覧したバーチャルスライド画像の個別的なサブ領域を保存するように構成され、前記コーデックに通信可能に接続されているサブ領域キャッシュと、を有している請求項7に記載のシステム。
  9. 前記個別的なサブ領域が、前記データ記憶領域内のバーチャルスライド画像のフォーマットと異なるフォーマットに変換されている請求項8に記載のシステム。
  10. 前記キャッシュが、最近に認証されたユーザに関する情報を保存するように構成された認証キャッシュをさらに有している請求項7に記載のシステム。
  11. 当該サーバ・システムに通信リンクを介して通信可能に接続されるクライアント・ビューアをさらに有している請求項1に記載のシステム。
  12. 前記通信リンクが直接のケーブル接続である請求項11に記載のシステム。
  13. 前記通信リンクがネットワーク接続である請求項11に記載のシステム。
  14. 前記クライアント・ビューアが、
    バーチャルスライド画像データおよび関連するバーチャルスライド情報を受信して、該画像データおよび情報を閲覧のために処理するように構成された表示域コントローラと、
    前記バーチャルスライド画像データおよび関連するバーチャルスライド情報を表示するように構成されたグラフィカル・ユーザ・インターフェイスと、を有している請求項11に記載のシステム。
  15. 前記表示域コントローラが、
    画像データを受信し、画像データをキャッシュに保持し、画像データを表示のために前記グラフィカル・ユーザ・インターフェイスへと提供するように構成されたレンダリング・エンジンをさらに有している請求項14に記載のシステム。
  16. 前記レンダリング・エンジンが、バーチャルスライド画像データを所望の解像度へと拡大縮小するように構成された画像拡大縮小モジュールをさらに有している請求項15に記載のシステム。
  17. 前記レンダリング・エンジンが、バーチャルスライド画像データを直角方向に回転させるように構成された画像変形モジュールをさらに有している請求項15に記載のシステム。
  18. 前記レンダリング・エンジンが、バーチャルスライド画像データをフィルタ処理するように構成された画像フィルタ処理モジュールをさらに有している請求項15に記載のシステム。
  19. 前記レンダリング・エンジンが、バーチャルスライド画像データに対応する表示ピクセルのカラー値を変更するよう構成された画像ガンマ調節器をさらに有している請求項15に記載のシステム。
  20. 当該サーバ・システムから受信したバーチャルスライド画像データのブロックを解凍するように構成されたコーデックをさらに有している請求項11に記載のシステム。
  21. 当該サーバ・システムに通信可能に接続されたウェブ・サーバおよび要求元ブラウザをさらに有しており、
    該ウェブ・サーバが、該要求元ブラウザからバーチャルスライド要求を受信し、該要求を当該サーバ・システムへと送信し、対応する応答を当該サーバ・システムから受信し、該対応する応答を前記要求元ブラウザに提供するように構成されている請求項1に記載のシステム。
  22. バーチャルスライドの同時閲覧のためのシステムであって、
    バーチャル顕微鏡カンファレンス・サーバと、
    リーダ・クライアント・ビューアと、
    参加者クライアント・ビューアとを有しており、
    前記リーダ・クライアント・ビューアが、前記バーチャル顕微鏡カンファレンス・サーバへとバーチャルスライド閲覧指令を発し、該サーバが、応答としてのバーチャルスライド・データを前記リーダ・クライアント・ビューアおよび前記参加者クライアント・ビューアに提供することを特徴とするシステム。
  23. 前記バーチャル顕微鏡カンファレンス・サーバが、前記バーチャルスライド閲覧指令を受信および処理するように構成されたバーチャル顕微鏡カンファレンス・セッション・マネージャをさらに有している請求項22に記載のシステム。
  24. 前記バーチャル顕微鏡カンファレンス・サーバが、複数のエントリを含んでいるバーチャル顕微鏡カンファレンス・セッション・テーブルをさらに有しており、
    第1のセッション・テーブル・エントリが、前記リーダ・クライアント・ビューアに関連付けられ、第2のセッション・テーブル・エントリが、前記参加者クライアント・ビューアに関連付けられている請求項23に記載のシステム。
  25. セッション・テーブルのエントリが、対応するクライアント・ビューアについての現在の閲覧状態を含んでいる請求項24に記載のシステム。
  26. バーチャルスライド画像データを閲覧するための方法であって、
    複数の焦点レベルで顕微鏡スライドをスキャンするステップと、
    対応する焦点レベルのそれぞれについて個別的なバーチャルスライド画像を生成するステップと、
    前記複数の焦点レベルのそれぞれに対応する複数のバーチャルスライド画像を、三次元バーチャルスライド画像へと組み合わせるステップと、
    所望の焦点レベルおよび所望の解像度を含んでいるバーチャルスライド画像要求を受信するステップと、
    第1のバーチャルスライド画像および第2のバーチャルスライド画像を、前記所望の焦点レベルが該第1のバーチャルスライド画像の焦点レベルと該第2のバーチャルスライド画像の焦点レベルとの間になるように特定するステップと、
    前記第1のバーチャルスライド画像の解像度を前記所望の解像度へと拡大縮小するステップと、
    前記第2のバーチャルスライド画像の解像度を前記所望の解像度へと拡大縮小するステップと、
    応答用のバーチャルスライド画像を、前記拡大縮小された第1のバーチャルスライド画像および前記拡大縮小された第2のバーチャルスライド画像から補間するステップと、
    前記所望の焦点レベルおよび前記所望の解像度にある前記応答用のバーチャルスライド画像を提供するステップと、を含んでいる方法。
  27. 前記バーチャルスライド画像要求が、所望の位置をさらに含んでおり、
    前記特定するステップが、前記第1のバーチャルスライド画像の或る部位および前記第2のバーチャルスライド画像の或る部位を特定するステップをさらに含んでおり、前記所望の位置が各部位の中にある請求項26に記載の方法。
  28. 前記応答用のバーチャルスライド画像をスキューするステップをさらに含んでいる請求項26に記載の方法。
  29. 前記スキューするステップが、
    前記拡大縮小された第1のバーチャルスライド画像の画像ピクセルを、第1の方向にずらすステップと、
    前記拡大縮小された第2のバーチャルスライド画像の画像ピクセルを、前記第1の方向と反対である第2の方向にずらすステップとをさらに含んでいる請求項28に記載の方法。
  30. バーチャルスライド画像ファイルの構造であって、
    バーチャルスライド画像を取り込んだ際の解像度に事実上等しい解像度を有するベースライン画像と、
    ベースライン画像の全体の画像であって、かつベースライン画像よりも低い解像度を有しているサムネイル画像と、
    ベースライン画像の全体の拡大縮小バージョンであり、かつベースライン画像よりも低くサムネイル画像よりも高い解像度を有している中間レベル画像とを含んでいるバーチャルスライド画像ファイルの構造。
  31. 前記ベースライン画像が、複数のデータ・ブロックをさらに含んでいる請求項30に記載のバーチャルスライド画像ファイルの構造。
  32. 各データ・ブロックが圧縮されている請求項31に記載のバーチャルスライド画像ファイルの構造。
  33. 各データ・ブロックがJPEG2000を使用して圧縮されている請求項32に記載のバーチャルスライド画像ファイルの構造。
  34. 各データ・ブロックが、画像の完全性を検証するためのチェックサムを含んでいる請求項31に記載のバーチャルスライド画像ファイルの構造。
  35. 各データ・ブロックが、圧縮後の画像の忠実度の指標を含んでいる請求項31に記載のバーチャルスライド画像ファイルの構造。
  36. 前記画像の忠実度の指標が、元の画像データからの平均二乗平均平方根距離として計算される請求項35に記載のバーチャルスライド画像ファイルの構造。
  37. 前記画像の忠実度の指標が、前記元の画像データからの平均三乗平均立方根距離として計算される請求項35に記載のバーチャルスライド画像ファイルの構造。
  38. 前記サムネイル画像が、JPEG2000を使用して圧縮されている請求項30に記載のバーチャルスライド画像ファイルの構造。
  39. 前記サムネイル画像が、最大512ピクセルの幅および最大512ピクセルの高さを有している請求項30に記載のバーチャルスライド画像ファイルの構造。
  40. 複数の中間レベル画像をさらに含んでいる請求項30に記載のバーチャルスライド画像ファイルの構造。
  41. 各中間レベル画像が、複数のデータ・ブロックをさらに含んでいる請求項40に記載のバーチャルスライド画像ファイルの構造。
  42. 各データ・ブロックが圧縮されている請求項41に記載のバーチャルスライド画像ファイルの構造。
  43. 各データ・ブロックがJPEG2000を使用して圧縮されている請求項42に記載のバーチャルスライド画像ファイルの構造。
  44. 各データ・ブロックが、画像の完全性を検証するためのチェックサムを含んでいる請求項41に記載のバーチャルスライド画像ファイルの構造。
  45. 各データ・ブロックが、圧縮後の画像の忠実度の指標を含んでいる請求項41に記載のバーチャルスライド画像ファイルの構造。
  46. 前記画像の忠実度の指標が、前記元の画像データからの平均二乗平均平方根距離として計算される請求項45に記載のバーチャルスライド画像ファイルの構造。
  47. 前記画像の忠実度の指標が、前記元の画像データからの平均三乗平均立方根距離として計算される請求項45に記載のバーチャルスライド画像ファイルの構造。
  48. 前記バーチャルスライド画像ファイルが、タグ付き画像ファイル・フォーマット規格を使用して保存される請求項41に記載のバーチャルスライド画像ファイルの構造。
JP2006503911A 2003-02-28 2004-02-27 バーチャルスライドを閲覧するためのシステムおよび方法 Pending JP2006519443A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US45107903P 2003-02-28 2003-02-28
US48587303P 2003-07-09 2003-07-09
PCT/US2004/006012 WO2004077338A2 (en) 2003-02-28 2004-02-27 System and method for viewing virtual slides

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009248187A Division JP5243387B2 (ja) 2003-02-28 2009-10-28 バーチャルスライドを閲覧するためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2006519443A true JP2006519443A (ja) 2006-08-24

Family

ID=32930587

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006503911A Pending JP2006519443A (ja) 2003-02-28 2004-02-27 バーチャルスライドを閲覧するためのシステムおよび方法
JP2009248187A Expired - Lifetime JP5243387B2 (ja) 2003-02-28 2009-10-28 バーチャルスライドを閲覧するためのシステムおよび方法
JP2011268426A Expired - Fee Related JP5584193B2 (ja) 2003-02-28 2011-12-07 バーチャルスライドを閲覧するためのシステムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009248187A Expired - Lifetime JP5243387B2 (ja) 2003-02-28 2009-10-28 バーチャルスライドを閲覧するためのシステムおよび方法
JP2011268426A Expired - Fee Related JP5584193B2 (ja) 2003-02-28 2011-12-07 バーチャルスライドを閲覧するためのシステムおよび方法

Country Status (4)

Country Link
US (4) US7738688B2 (ja)
EP (1) EP1597695A4 (ja)
JP (3) JP2006519443A (ja)
WO (1) WO2004077338A2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
JP2010540906A (ja) * 2007-09-21 2010-12-24 アペリオ・テクノロジーズ・インコーポレイテッド 診断分解能デジタルスライド画像のための改善した画質
JP2011008339A (ja) * 2009-06-23 2011-01-13 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム
EP2336969A1 (en) 2009-11-30 2011-06-22 Sony Corporation Information processing apparatus, method, and computer-readable medium
WO2011155118A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
JP2012014251A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
JP2012133714A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、画像データ最適化方法、プログラム
JP2012155016A (ja) * 2011-01-24 2012-08-16 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2012530987A (ja) * 2009-06-24 2012-12-06 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・データ資産を要求するための装置、方法、およびコンピュータ・プログラム(コンピュータ・データ資産の要求)
JP2013105208A (ja) * 2011-11-10 2013-05-30 Olympus Corp 画像管理サーバ
WO2013099616A1 (en) * 2011-12-26 2013-07-04 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, image processing system, and program
WO2013186995A1 (ja) 2012-06-14 2013-12-19 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2014211615A (ja) * 2013-04-01 2014-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9323037B2 (en) 2009-04-01 2016-04-26 Sony Corporation Biological image presentation device, biological image presentation method, program, and biological image presentation system
WO2016098247A1 (ja) * 2014-12-19 2016-06-23 株式会社島津製作所 分析装置
JP2017161912A (ja) * 2011-12-26 2017-09-14 キヤノン株式会社 表示データを生成する装置、方法、及びプログラム
US10185804B2 (en) 2012-07-03 2019-01-22 Sony Corporation Input apparatus and information processing system
JP2020184262A (ja) * 2019-05-09 2020-11-12 キヤノンメディカルシステムズ株式会社 医用情報処理システム

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018734A (ja) * 2003-04-30 2005-01-20 Seiko Epson Corp ファイル管理方法及びその装置、並びにアノテーション情報生成方法及びその装置
US8984644B2 (en) 2003-07-01 2015-03-17 Securityprofiling, Llc Anti-vulnerability system, method, and computer program product
US20070113272A2 (en) 2003-07-01 2007-05-17 Securityprofiling, Inc. Real-time vulnerability monitoring
US9100431B2 (en) 2003-07-01 2015-08-04 Securityprofiling, Llc Computer program product and apparatus for multi-path remediation
US7372985B2 (en) * 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
US8068988B2 (en) 2003-09-08 2011-11-29 Ventana Medical Systems, Inc. Method for automated processing of digital images of tissue micro-arrays (TMA)
WO2005027015A2 (en) * 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
JP2005277908A (ja) * 2004-03-25 2005-10-06 Nec Access Technica Ltd 画像処理装置、その画像処理方法およびカメラつき携帯電話
US7312803B2 (en) * 2004-06-01 2007-12-25 X20 Media Inc. Method for producing graphics for overlay on a video source
US8462384B2 (en) * 2004-09-29 2013-06-11 Apple Inc. Methods and apparatuses for aesthetically enhanced image conversion
JP4408794B2 (ja) * 2004-11-18 2010-02-03 ザイオソフト株式会社 画像処理プログラム
US20060114820A1 (en) * 2004-11-26 2006-06-01 Agfa Inc. System and method for caching and fetching data
US7664870B2 (en) * 2005-02-25 2010-02-16 Microsoft Corporation Method and system for providing users a lower fidelity alternative until a higher fidelity experience is available
JP4667944B2 (ja) * 2005-04-20 2011-04-13 シスメックス株式会社 画像作成装置
US8722650B1 (en) 2005-06-24 2014-05-13 Medicis Pharmaceutical Corporation Extended-release minocycline dosage forms
WO2007095184A2 (en) * 2006-02-13 2007-08-23 Decarta, Inc. Draggable maps
US20070203682A1 (en) * 2006-02-28 2007-08-30 Microsoft Corporation External display simulator
US8249315B2 (en) * 2006-05-22 2012-08-21 Upmc System and method for improved viewing and navigation of digital images
JP5484048B2 (ja) 2006-06-30 2014-05-07 アペリオ・テクノロジーズ・インコーポレイテッド Dicomを介した大画像保存および取得方法
US20080072131A1 (en) * 2006-09-11 2008-03-20 Reddel Frederick A V Methods, Systems, and Devices for Creating, Storing, Transferring and Manipulating Electronic Data Layers
DE102007033793A1 (de) * 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
WO2009031476A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 顕微鏡装置、およびプログラム
US7933473B2 (en) * 2008-06-24 2011-04-26 Microsoft Corporation Multiple resolution image storage
US8064733B2 (en) 2008-06-24 2011-11-22 Microsoft Corporation Variable resolution images
US8381123B2 (en) * 2008-06-27 2013-02-19 Microsoft Corporation Positioning and realizing of virtualized visible content within a viewport
WO2011024535A1 (ja) * 2009-08-28 2011-03-03 株式会社ヤッパ 情報表示装置
US20100223340A1 (en) * 2009-02-27 2010-09-02 Rob Pope System for remotely scanning a document
BRPI1011689B1 (pt) 2009-03-11 2019-12-17 Sakura Finetek Usa Inc método de autofocalização e dispositivo de autofocalização
US20110010629A1 (en) 2009-07-09 2011-01-13 Ibm Corporation Selectively distributing updates of changing images to client devices
US8891851B2 (en) * 2009-07-15 2014-11-18 Glenn F. Spaulding Home healthcare management system and hardware
US9341835B2 (en) 2009-07-16 2016-05-17 The Research Foundation Of State University Of New York Virtual telemicroscope
WO2011017041A2 (en) 2009-07-27 2011-02-10 Corista LLC System for networked digital pathology exchange
US8504726B2 (en) 2009-07-27 2013-08-06 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
SG187479A1 (en) 2009-10-19 2013-02-28 Ventana Med Syst Inc Imaging system and techniques
JP2011090633A (ja) * 2009-10-26 2011-05-06 Sony Computer Entertainment Inc 情報処理装置
JP5589366B2 (ja) * 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5614032B2 (ja) * 2009-11-30 2014-10-29 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5561027B2 (ja) * 2009-11-30 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5568970B2 (ja) * 2009-11-30 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5477087B2 (ja) 2010-03-17 2014-04-23 株式会社リコー 画像形成装置および画像形成方法
US8559794B2 (en) * 2010-05-21 2013-10-15 International Business Machines Corporation System and method for recording collaborative information
US9864501B2 (en) * 2010-07-30 2018-01-09 Apaar Tuli Displaying information
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
WO2012037417A1 (en) 2010-09-16 2012-03-22 Omnyx, LLC Control configuration for digital image system
US9143633B2 (en) * 2010-10-12 2015-09-22 Lexmark International Technology S.A. Browser-based scanning utility
US8640147B2 (en) 2010-11-11 2014-01-28 International Business Machines Corporation Method and system for virtualizing connection end-points in distributed, component based applications at runtime
US8811695B2 (en) * 2010-12-14 2014-08-19 General Electric Company Methods, apparatus and articles of manufacture to adaptively reconstruct medical diagnostic images
EP2469434A1 (de) * 2010-12-27 2012-06-27 Siemens Aktiengesellschaft Verfahren und Einrichtung zur Anzeige von medizinischen Bilddaten
US20120176412A1 (en) * 2011-01-07 2012-07-12 General Electric Company Method and system for improved medical image analysis
US20120209954A1 (en) * 2011-02-15 2012-08-16 Wright John W Systems and Methods for Online Session Sharing
US8760464B2 (en) * 2011-02-16 2014-06-24 Apple Inc. Shape masks
JP2012186616A (ja) 2011-03-04 2012-09-27 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US10018631B2 (en) 2011-03-17 2018-07-10 Cernostics, Inc. Systems and compositions for diagnosing Barrett's esophagus and methods of using the same
US8970618B2 (en) * 2011-06-16 2015-03-03 University Of Leeds Virtual microscopy
US9561241B1 (en) 2011-06-28 2017-02-07 Medicis Pharmaceutical Corporation Gastroretentive dosage forms for minocycline
JP5889559B2 (ja) * 2011-07-13 2016-03-22 ソニー株式会社 情報処理方法および情報処理システム
AU2012283869B2 (en) 2011-07-20 2017-06-15 Mikroscan Technologies, Inc. Network-based pathology system with desktop slide scanner
JP5853458B2 (ja) 2011-07-21 2016-02-09 ソニー株式会社 マーク情報記録装置及びマーク情報提示装置
US8934718B2 (en) 2011-08-02 2015-01-13 Nec Laboratories America, Inc. Interactive analytics of digital histology slides
JP5906605B2 (ja) * 2011-08-12 2016-04-20 ソニー株式会社 情報処理装置
US8856803B2 (en) 2011-11-02 2014-10-07 Oracle International Corporation Content delivery within an application
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2013152453A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
JP2013167798A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像生成装置及びその制御方法
US20140082661A1 (en) * 2012-03-06 2014-03-20 Google Inc. Low latency video storyboard delivery with selectable resolution levels
JP2013200640A (ja) * 2012-03-23 2013-10-03 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9235925B2 (en) 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9043722B1 (en) 2012-06-19 2015-05-26 Surfwax, Inc. User interfaces for displaying relationships between cells in a grid
US9390155B2 (en) 2012-08-22 2016-07-12 Adobe Systems Incorporated Accessing content in a content-aware mesh
US8983237B2 (en) 2012-08-22 2015-03-17 Adobe Systems Incorporated Non-destructive collaborative editing
US9514157B2 (en) * 2012-08-22 2016-12-06 Adobe Systems Incorporated Multi-dimensional browsing of content
JP2014044629A (ja) * 2012-08-28 2014-03-13 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
US9836865B2 (en) 2012-12-06 2017-12-05 Ge Healthcare Biosciences Corp. Systems and methods for split screen display of biological specimen and for capturing records thereof
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
US9439565B1 (en) * 2013-07-08 2016-09-13 Dermatopathology Laboratory of Central States, Inc. Wireless viewing of digital pathology specimens
CN105378538B (zh) * 2013-07-18 2019-05-31 文塔纳医疗系统公司 用于多频谱成像的自动聚焦方法和系统
JP2015094855A (ja) * 2013-11-12 2015-05-18 オリンパス株式会社 顕微鏡システム
JP2017506367A (ja) 2013-11-15 2017-03-02 マイクロスキャン テクノロジーズ,インク. 地質学のスキャナ
US20150142884A1 (en) * 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
US9668367B2 (en) 2014-02-04 2017-05-30 Microsoft Technology Licensing, Llc Wearable computing systems
WO2015134866A1 (en) * 2014-03-06 2015-09-11 Rutgers, The State University Of New Jersey Methods and systems of annotating local and remote display screens
US9547898B2 (en) * 2014-03-26 2017-01-17 Sectra Ab Automated cytology/histology viewers and related methods
USD823312S1 (en) * 2014-08-11 2018-07-17 Sony Corporation Display panel or screen with graphical user interface
WO2016069794A1 (en) 2014-10-28 2016-05-06 Mikroscan Technologies, Inc. Microdissection viewing system
CN104750874A (zh) * 2015-04-22 2015-07-01 成都理工大学 一种多尺度岩石切片图像管理系统
US10261669B2 (en) * 2015-07-14 2019-04-16 Adobe Inc. Publishing electronic documents utilizing navigation information
US9910967B2 (en) * 2015-07-27 2018-03-06 International Business Machines Corporation File origin determination
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
DE102015222489B4 (de) 2015-11-13 2017-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zur Visualisierung von Bilddaten
CN109643316A (zh) 2016-08-25 2019-04-16 皇家飞利浦有限公司 将空间数据存储在数据库中/从数据库中检索空间数据
US10489633B2 (en) 2016-09-27 2019-11-26 Sectra Ab Viewers and related methods, systems and circuits with patch gallery user interfaces
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
EP3563292A4 (en) 2016-12-30 2020-08-12 Leica Biosystems Imaging, Inc. LOW RESOLUTION SLIDE IMAGING AND SLIDE LABEL IMAGING AND HIGH RESOLUTION SLIDE IMAGING USING TWO OPTICAL PATHS AND A SINGLE IMAGING SENSOR
US10663711B2 (en) * 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
WO2018131172A1 (ja) * 2017-01-16 2018-07-19 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
US10522326B2 (en) 2017-02-14 2019-12-31 Massachusetts Institute Of Technology Systems and methods for automated microscopy
DE102017108016A1 (de) 2017-04-13 2018-10-18 Carl Zeiss Microscopy Gmbh Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
US10496742B2 (en) * 2017-06-02 2019-12-03 Proscia Inc. System for and method of evaluating medical images in a networked computer environment
US10943346B2 (en) 2018-05-21 2021-03-09 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
JP6587078B2 (ja) * 2018-06-27 2019-10-09 ソニー株式会社 情報処理方法および情報処理装置
WO2020091965A2 (en) 2018-11-02 2020-05-07 Hologic, Inc. Digital imaging system and method
US11193950B2 (en) 2019-03-29 2021-12-07 Sakura Finetek U.S.A., Inc. Slide identification sensor
JP2019215926A (ja) * 2019-09-12 2019-12-19 ソニー株式会社 表示方法、情報処理装置、および情報処理システム
CN110990153B (zh) * 2019-11-27 2022-03-08 南京甄视智能科技有限公司 基于SpringCache的分布式环境下Dubbo接口缓存方法与装置
EP3876193A1 (de) * 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
US11782254B2 (en) * 2020-07-24 2023-10-10 United Scope LLC Digital microscopy system and graphical user interface
US20240177369A1 (en) * 2022-11-22 2024-05-30 Pramana, Inc. System and methods for color gamut normalization for pathology slides

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306320A (ja) * 1998-04-21 1999-11-05 Canon Inc 画像処理方法及び画像読み取りシステム及び記憶媒体
JPH11331555A (ja) * 1998-05-20 1999-11-30 Canon Inc 画像処理方法および装置
JP2001052026A (ja) * 1999-08-16 2001-02-23 Fuji Xerox Co Ltd ドキュメント処理装置
WO2001026541A1 (en) * 1999-10-08 2001-04-19 The Research Foundation Of State University Of New York Virtual telemicroscope
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6314452B1 (en) * 1999-08-31 2001-11-06 Rtimage, Ltd. System and method for transmitting a digital image over a communication network
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3643015A (en) * 1970-06-19 1972-02-15 Paul Davidovits Scanning optical microscope
US4926489A (en) 1983-03-11 1990-05-15 Kla Instruments Corporation Reticle inspection system
US4742558A (en) * 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
EP0169387B1 (en) * 1984-06-25 1990-04-25 Olympus Optical Co., Ltd. Microscope
US4700298A (en) 1984-09-14 1987-10-13 Branko Palcic Dynamic microscope image processing scanner
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
US4673958A (en) * 1985-01-31 1987-06-16 Texas Instruments Incorporated Monolithic microwave diodes
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4760385A (en) * 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4777525A (en) * 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
US4700928A (en) * 1986-10-31 1987-10-20 Masco Corporation Of Indiana Valve assembly
US4845552A (en) * 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
US4806015A (en) 1987-12-08 1989-02-21 Cottingham Hugh V Agglutination detection apparatus
US5740270A (en) * 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
JP2749069B2 (ja) 1988-04-26 1998-05-13 オリンパス光学工業株式会社 蛍光顕微鏡装置
JP2513862B2 (ja) 1988-10-11 1996-07-03 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニー 走査型レ−ザ顕微鏡装置
US5067152A (en) 1989-01-30 1991-11-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
US4960999A (en) * 1989-02-13 1990-10-02 Kms Fusion, Inc. Scanning and storage of electrophoretic records
US4987480A (en) 1989-07-11 1991-01-22 Massachusetts Institute Of Technology Multiscale coding of images
US5086477A (en) * 1990-08-07 1992-02-04 Northwest Technology Corp. Automated system for extracting design and layout information from an integrated circuit
JP2991483B2 (ja) 1990-11-27 1999-12-20 日本分光工業株式会社 顕微鏡イメージマッピング装置及び方法
US5257182B1 (en) * 1991-01-29 1996-05-07 Neuromedical Systems Inc Morphological classification system and method
US5784162A (en) 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5231663A (en) 1991-03-18 1993-07-27 Earl Joseph G Image processing system
US5185638A (en) 1991-04-26 1993-02-09 International Business Machines Corporation Computer controlled, multiple angle illumination system
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
KR960007481B1 (ko) 1991-05-27 1996-06-03 가부시끼가이샤 히다찌세이사꾸쇼 패턴검사방법 및 장치
US5790710A (en) * 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
JPH0576005A (ja) 1991-09-13 1993-03-26 Nikon Corp 画像入力装置
US5172228A (en) 1991-11-19 1992-12-15 Utah State University Foundation Image compression method and apparatus employing distortion adaptive tree search vector quantization
US5495535A (en) 1992-01-31 1996-02-27 Orbotech Ltd Method of inspecting articles
US5912699A (en) * 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
US5448399A (en) * 1992-03-13 1995-09-05 Park Scientific Instruments Optical system for scanning microscope
JPH05264221A (ja) * 1992-03-17 1993-10-12 Fujitsu Ltd 半導体露光装置用マーク位置検出装置及びこれを用いた半導体露光装置用位置合わせ装置
JPH05316302A (ja) 1992-05-13 1993-11-26 Minolta Camera Co Ltd 画像入力装置
JP3275368B2 (ja) * 1992-07-09 2002-04-15 株式会社ニコン 露光方法及び装置
US5734915A (en) * 1992-11-25 1998-03-31 Eastman Kodak Company Method and apparatus for composing digital medical imagery
US5633948A (en) * 1992-11-30 1997-05-27 Kegelmeyer, Jr.; W. Philip Method and apparatus for detecting a desired behavior in digital image data
US5479252A (en) * 1993-06-17 1995-12-26 Ultrapointe Corporation Laser imaging system for inspection and analysis of sub-micron particles
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US5483055A (en) * 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
DE59305782D1 (de) * 1993-06-28 1997-04-17 Siemens Ag Verfahren zum Erkennen von Verbrennungsaussetzern bei mehreren Zylindern
US5793969A (en) * 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
JP3426663B2 (ja) * 1993-10-05 2003-07-14 富士通株式会社 文書エディタにおける細部表示制御方式
FR2712411B1 (fr) * 1993-11-08 1995-12-22 Bull Sa Système de communication avec un réseau incluant un ensemble d'administration.
GB2286309B (en) * 1994-02-01 1998-04-15 Rank Cintel Ltd High resolution film scanner
US5578832A (en) * 1994-09-02 1996-11-26 Affymetrix, Inc. Method and apparatus for imaging a sample on a device
JPH07243823A (ja) 1994-03-03 1995-09-19 Toshiba Corp パターン検査装置
US5932872A (en) 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
US5714281A (en) * 1994-07-29 1998-02-03 Sony Corporation Non-aqueous liquid electrolyte secondary cell
JP3333893B2 (ja) * 1994-09-07 2002-10-15 富士写真フイルム株式会社 電子編集システムにおける画像の表示方法
US5647025A (en) 1994-09-20 1997-07-08 Neopath, Inc. Automatic focusing of biomedical specimens apparatus
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
WO1996039619A1 (en) 1995-06-06 1996-12-12 Kla Instruments Corporation Optical inspection of a specimen using multi-channel responses from the specimen
US5922282A (en) * 1995-06-07 1999-07-13 Ledley; Robert S. Super fast tuberculosis diagnosis and sensitivity testing method
JPH0923005A (ja) 1995-07-06 1997-01-21 Mitsubishi Electric Corp 半導体装置およびその製造方法
WO1997004347A1 (en) * 1995-07-19 1997-02-06 Morphometrix Technologies Inc. Automated scanning of microscope slides
JP3459707B2 (ja) * 1995-08-11 2003-10-27 キヤノン株式会社 情報処理装置及びその制御方法
DE69529071T2 (de) * 1995-09-29 2003-08-21 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Überfliegen von elektronisch gespeicherten Informationen
EP0797896B1 (en) 1995-10-18 2002-01-16 Koninklijke Philips Electronics N.V. Region-based texture coding method and decoding method, and corresponding systems
US5710835A (en) * 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
CA2236268A1 (en) 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US5710635A (en) * 1995-12-06 1998-01-20 Xerox Corporation Generic assembly trees providing job control and mix and match of modules
JPH09197290A (ja) 1996-01-12 1997-07-31 Omron Corp 顕微鏡画像入力装置
US6005964A (en) * 1996-01-24 1999-12-21 The Board Of Trustees Of The University Of Illinois Automatic machine vision microscope slide inspection system and method
US5872591A (en) * 1996-02-21 1999-02-16 Pakon, Inc. Film scanner
JPH09247545A (ja) 1996-03-11 1997-09-19 Matsushita Electric Ind Co Ltd スキャナ型電子カメラ
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US6091846A (en) * 1996-05-31 2000-07-18 Texas Instruments Incorporated Method and system for anomaly detection
AU3723697A (en) 1996-07-12 1998-02-09 Erim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US5754291A (en) 1996-09-19 1998-05-19 Molecular Dynamics, Inc. Micro-imaging system
GB9622055D0 (en) * 1996-10-23 1996-12-18 Univ Strathclyde Vector quantisation
JPH10215356A (ja) * 1996-11-27 1998-08-11 Fuji Photo Film Co Ltd 再プリント用写真画像データの保管方法およびシステム
US5796851A (en) * 1996-12-05 1998-08-18 Advanced Micro Devices, Inc. Digital method to eliminate power-on pops and clicks
US5968731A (en) * 1996-12-10 1999-10-19 The Regents Of The University Of California Apparatus for automated testing of biological specimens
US20010017941A1 (en) 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
JPH10275150A (ja) * 1997-03-28 1998-10-13 Toa Medical Electronics Co Ltd 画像ファイリングシステム
DE19714221A1 (de) 1997-04-07 1998-10-08 Zeiss Carl Fa Konfokales Mikroskop mit einem motorischen Scanningtisch
US6002789A (en) * 1997-06-24 1999-12-14 Pilot Industries, Inc. Bacteria colony counter and classifier
EP0996340A4 (en) * 1997-07-14 2000-08-30 Sunsweet Growers PROCESS FOR THE PREPARATION OF BROKEN DRIED FRUITS WITHOUT PRESERVATIVE
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体
US5895915A (en) 1997-07-24 1999-04-20 General Scanning, Inc. Bi-directional scanning system with a pixel clock system
US6262838B1 (en) 1998-03-20 2001-07-17 Genetic Microsystems Inc Focusing in microscope systems
JP3824116B2 (ja) 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
CA2229175A1 (en) 1998-02-06 1999-08-06 Morphometrix Technologies Inc. Automatic focus system
JPH11238113A (ja) 1998-02-20 1999-08-31 Toshiba Corp 画像入力装置
US6185030B1 (en) 1998-03-20 2001-02-06 James W. Overbeck Wide field of view and high speed scanning microscopy
US6041143A (en) * 1998-04-14 2000-03-21 Teralogic Incorporated Multiresolution compressed image management system and method
JP3706740B2 (ja) * 1998-06-24 2005-10-19 ドリームテクノロジーズ株式会社 画像表示及びデータ読み込みのための装置及び方法
EP0967556A2 (en) * 1998-06-26 1999-12-29 Hewlett-Packard Company Flat image delivery server
US5943122A (en) * 1998-07-10 1999-08-24 Nanometrics Incorporated Integrated optical measurement instruments
US6230171B1 (en) * 1998-08-29 2001-05-08 International Business Machines Corporation Markup system for shared HTML documents
JP3139998B2 (ja) * 1998-12-01 2001-03-05 株式会社東京精密 外観検査装置及び方法
US6330348B1 (en) * 1999-01-21 2001-12-11 Resolution Sciences Corporation Method and apparatus for measurement of microtome performance
US6249341B1 (en) 1999-01-25 2001-06-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
JP4323608B2 (ja) 1999-03-12 2009-09-02 キヤノン株式会社 露光装置およびデバイス製造方法
JP3663960B2 (ja) * 1999-03-15 2005-06-22 富士ゼロックス株式会社 情報処理装置および情報処理方法
US7106895B1 (en) 1999-05-05 2006-09-12 Kla-Tencor Method and apparatus for inspecting reticles implementing parallel processing
JP3544892B2 (ja) 1999-05-12 2004-07-21 株式会社東京精密 外観検査方法及び装置
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
BR0011984A (pt) * 1999-06-30 2004-06-22 Silverbrook Res Pty Ltd Método e sistema para conferência
JP3956584B2 (ja) * 2000-06-02 2007-08-08 株式会社日立製作所 全焦点画像合成方法及び装置
JP3594229B2 (ja) * 1999-09-27 2004-11-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 文書ファイル共有化システム、コラボレーションサーバー、文書ファイルの転送方法、及び記憶媒体
US6594401B1 (en) 1999-10-20 2003-07-15 Xerox Corporation Detection and elimination of scanning artifacts
US6556724B1 (en) * 1999-11-24 2003-04-29 Stentor Inc. Methods and apparatus for resolution independent image collaboration
JP2001210263A (ja) 2000-01-27 2001-08-03 Hitachi Ltd 走査電子顕微鏡、そのダイナミックフォーカス制御方法および半導体デバイスの表面および断面形状の把握方法
JP2001243195A (ja) * 2000-03-02 2001-09-07 Fujitsu Ltd 共有情報利用システム、方法及び記憶媒体
JP2001243165A (ja) * 2000-03-02 2001-09-07 Fujitsu Ltd 共有情報利用システム、方法及び記憶媒体
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
JP2001350774A (ja) * 2000-06-05 2001-12-21 Fuji Xerox Co Ltd 文書処理システム
JP2002042706A (ja) 2000-07-25 2002-02-08 Hitachi Ltd 走査電子顕微鏡の自動焦点機能
JP2002073242A (ja) * 2000-08-31 2002-03-12 Internatl Business Mach Corp <Ibm> アノテーション方法、アプリケーションウィンドウに対する追加的な書き込み方法、コンピュータ装置、自動契約機、コラボレーションシステム、記憶媒体、コンピュータ・プログラム・プロダクト、およびプログラム伝送装置
US6763140B1 (en) 2000-09-07 2004-07-13 Chipworks Method and apparatus for focusing a micro-imaging system onto a tilted or uneven sample to acquire images of the sample
JP3830743B2 (ja) * 2000-09-14 2006-10-11 エヌ・ティ・ティ・アドバンステクノロジ株式会社 表示制御装置
JP2002175315A (ja) * 2000-09-28 2002-06-21 Nikon Corp 画像注釈サーバー、画像注釈サービス方法、画像照会装置、電子カメラ、望遠光学機器、および記録媒体
US20020085030A1 (en) * 2000-12-29 2002-07-04 Jamal Ghani Graphical user interface for an interactive collaboration system
JP2002207725A (ja) * 2001-01-10 2002-07-26 Planet Computer:Kk 電子文書に対する隠蔽処理装置
US7155049B2 (en) 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
JP4505995B2 (ja) * 2001-01-22 2010-07-21 ソニー株式会社 情報空間管理方法および装置
JP4067773B2 (ja) * 2001-02-27 2008-03-26 富士通株式会社 会議サーバプログラム、会議管理方法、および会議サーバ
US7225225B2 (en) * 2001-03-30 2007-05-29 Sharp Laboratories Of America, Inc. Selective synchronization of web browsers
JP2002318799A (ja) * 2001-04-20 2002-10-31 Planet Computer:Kk 電子校正システム
US6829378B2 (en) * 2001-05-04 2004-12-07 Biomec, Inc. Remote medical image analysis
JP2003044429A (ja) * 2001-05-25 2003-02-14 Nippon Telegraph & Telephone East Corp コラボレーション用の端末、コラボレーションシステム及びコラボレーション方法
US7338168B2 (en) 2001-07-06 2008-03-04 Palantyr Research, Llc Particle analyzing system and methodology
DE10232242A1 (de) 2002-07-17 2004-02-05 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zum Rastern einer Probe mit einem optischen ab Bildungssystem
US7209948B2 (en) * 2002-12-20 2007-04-24 International Business Machines, Corporation Collaborative review of distributed content
JP4194905B2 (ja) 2003-08-18 2008-12-10 株式会社ノリタケカンパニーリミテド 多孔質筒体の支持構造および支持部材の固着方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JPH11306320A (ja) * 1998-04-21 1999-11-05 Canon Inc 画像処理方法及び画像読み取りシステム及び記憶媒体
JPH11331555A (ja) * 1998-05-20 1999-11-30 Canon Inc 画像処理方法および装置
JP2001052026A (ja) * 1999-08-16 2001-02-23 Fuji Xerox Co Ltd ドキュメント処理装置
US6314452B1 (en) * 1999-08-31 2001-11-06 Rtimage, Ltd. System and method for transmitting a digital image over a communication network
WO2001026541A1 (en) * 1999-10-08 2001-04-19 The Research Foundation Of State University Of New York Virtual telemicroscope
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
US9710694B2 (en) 2007-09-21 2017-07-18 Leica Biosystems Imaging, Inc. Image quality for diagnostic resolution digital slide images
JP2010540906A (ja) * 2007-09-21 2010-12-24 アペリオ・テクノロジーズ・インコーポレイテッド 診断分解能デジタルスライド画像のための改善した画質
US9098736B2 (en) 2007-09-21 2015-08-04 Leica Biosystems Imaging, Inc. Image quality for diagnostic resolution digital slide images
US9323037B2 (en) 2009-04-01 2016-04-26 Sony Corporation Biological image presentation device, biological image presentation method, program, and biological image presentation system
US10963729B2 (en) 2009-04-01 2021-03-30 Sony Corporation Biological image presentation device, biological image presentation method, program, and biological image presentation system
US10410083B2 (en) 2009-04-01 2019-09-10 Sony Corporation Biological image presentation device, biological image presentation method, program, and biological image presentation system
JP2011008339A (ja) * 2009-06-23 2011-01-13 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム
JP2012530987A (ja) * 2009-06-24 2012-12-06 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ・データ資産を要求するための装置、方法、およびコンピュータ・プログラム(コンピュータ・データ資産の要求)
US9147006B2 (en) 2009-06-24 2015-09-29 International Business Machines Corporation Requesting computer data assets
US10078876B2 (en) 2009-11-30 2018-09-18 Sony Corporation Information processing apparatus, method, and computer-readable medium
US11227355B2 (en) 2009-11-30 2022-01-18 Sony Corporation Information processing apparatus, method, and computer-readable medium
EP2336969A1 (en) 2009-11-30 2011-06-22 Sony Corporation Information processing apparatus, method, and computer-readable medium
JP5726868B2 (ja) * 2010-06-07 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
WO2011155118A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
CN102473322A (zh) * 2010-06-07 2012-05-23 松下电器产业株式会社 对象选择装置、对象选择程序及对象选择方法
JP2012014251A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
US8682046B2 (en) 2010-06-29 2014-03-25 Sony Corporation Image management server, image display apparatus, image provision method, image acquisition method, program, and image management system
JP2012133714A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、画像データ最適化方法、プログラム
JP2012155016A (ja) * 2011-01-24 2012-08-16 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013105208A (ja) * 2011-11-10 2013-05-30 Olympus Corp 画像管理サーバ
WO2013099616A1 (en) * 2011-12-26 2013-07-04 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, image processing system, and program
JP2017161912A (ja) * 2011-12-26 2017-09-14 キヤノン株式会社 表示データを生成する装置、方法、及びプログラム
JP2013152423A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、その制御方法、画像処理システム、及びプログラム
EP3276332A2 (en) 2012-06-14 2018-01-31 Sony Corporation Information processing apparatus, information processing method, and information processing program
US10460075B2 (en) 2012-06-14 2019-10-29 Sony Corporation Information processing apparatus and method to move a display area of a needle biopsy image
WO2013186995A1 (ja) 2012-06-14 2013-12-19 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10185804B2 (en) 2012-07-03 2019-01-22 Sony Corporation Input apparatus and information processing system
JP2014211615A (ja) * 2013-04-01 2014-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2016098247A1 (ja) * 2014-12-19 2016-06-23 株式会社島津製作所 分析装置
JP2020184262A (ja) * 2019-05-09 2020-11-12 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP7382735B2 (ja) 2019-05-09 2023-11-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム

Also Published As

Publication number Publication date
WO2004077338A3 (en) 2005-06-09
US8582849B2 (en) 2013-11-12
JP5584193B2 (ja) 2014-09-03
US20140068442A1 (en) 2014-03-06
JP2012059290A (ja) 2012-03-22
US7738688B2 (en) 2010-06-15
EP1597695A4 (en) 2007-06-06
EP1597695A2 (en) 2005-11-23
US20100260407A1 (en) 2010-10-14
JP5243387B2 (ja) 2013-07-24
US9723036B2 (en) 2017-08-01
US20120002892A1 (en) 2012-01-05
JP2010061678A (ja) 2010-03-18
US20040167806A1 (en) 2004-08-26
WO2004077338A2 (en) 2004-09-10

Similar Documents

Publication Publication Date Title
JP5584193B2 (ja) バーチャルスライドを閲覧するためのシステムおよび方法
US20210279274A1 (en) Systems and Methods of Building and Using an Image Catalog
Tuominen et al. The application of JPEG2000 in virtual microscopy
US6356283B1 (en) Method and system for HTML-driven interactive image client
WO2003104914A2 (en) Apparatus and method for sharing digital content of an image across a communication network
US20020122073A1 (en) Visual navigation history
US20120011194A1 (en) Systems and methods for networked, in-context, high resolution image viewing
US20050060382A1 (en) On-Demand Electronic Documents Processing and Sharing
KR20020007945A (ko) 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치
US20050116966A1 (en) Web imaging serving technology
EP3247108B1 (en) Multi-resolution lightfield rendering using image pyramids
Lee et al. Evaluation and optimization for liquid-based preparation cytology in whole slide imaging
US7954057B2 (en) Object movie exporter
CN114038541A (zh) 数字病理图像的数据流的处理系统
US20130216096A1 (en) Information processing apparatus, information processing method, program, and information processing system
WO2007021135A1 (en) Processing method of data structure for real-time image processing
WO2013183223A1 (en) Information processor, information processing method, program, and image display device
US6628282B1 (en) Stateless remote environment navigation
Romero et al. Virtual microscopy in medical images: A survey
KR20090124177A (ko) 대용량 이미지 처리 장치 및 그 방법
KR20190130959A (ko) 크로마 서브 샘플링된 이미지들에 대한 빠른 참조 객체 저장 형식에 대한 방법
Meessen et al. Layered architecture for navigation in JPEG2000 mega-images
JP5613644B2 (ja) 映像情報処理ファイルシステム
WO2022173757A1 (en) Rendering pipeline for tiled images
Pietzsch et al. Bigdataviewer: Interactive visualization and image processing for terabyte data sets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070227

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070807

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090721

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090818

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090924

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110607