JP2014066788A - 画面表示装置及び画面表示システム - Google Patents

画面表示装置及び画面表示システム Download PDF

Info

Publication number
JP2014066788A
JP2014066788A JP2012210577A JP2012210577A JP2014066788A JP 2014066788 A JP2014066788 A JP 2014066788A JP 2012210577 A JP2012210577 A JP 2012210577A JP 2012210577 A JP2012210577 A JP 2012210577A JP 2014066788 A JP2014066788 A JP 2014066788A
Authority
JP
Japan
Prior art keywords
cancer
data
image
pathological
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012210577A
Other languages
English (en)
Inventor
Kenji Yamane
健治 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012210577A priority Critical patent/JP2014066788A/ja
Priority to US13/973,339 priority patent/US9620089B2/en
Priority to CN201310421262.0A priority patent/CN103678868A/zh
Publication of JP2014066788A publication Critical patent/JP2014066788A/ja
Priority to US14/665,703 priority patent/US9966045B2/en
Priority to US15/967,783 priority patent/US10403240B2/en
Priority to US16/527,357 priority patent/US10832638B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00Teaching hand-writing, shorthand, drawing, or painting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Abstract

【課題】 デジタル顕微鏡における診断の効率を向上できる画像表示装置等を提供すること。
【解決手段】 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する表示制御部を備える画面表示装置;病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示するカーソル表示部を有する画像表示制御部を備える画面表示システム;病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示制御部を備える画面表示システムを有する顕微鏡システム。
【選択図】図1

Description

本技術は、顕微鏡により撮像された画像を表示する画面表示装置、画面表示システム、画像処理方法及びプログラム、並びに症例診断の効率を向上できる顕微鏡システムに関する。より詳しくは、デジタル顕微鏡における症例の診断の効率を向上する技術に関する。
医療、病理、生物及び材料等の分野において、広視野かつ高倍率の顕微鏡観察画像を得るための、デジタル顕微鏡により観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせる技術が用いられている。この技術を用いたバーチャル顕微鏡システムは、得られた顕微鏡観察画像を、ユーザが任意の位置を任意の倍率で表示させることができ、またネットワークを介して離れた場所で表示させることもできる。このようなことから、病理診断における組織・細胞検査用途で特に注目されている。
従来、医療機関等のユーザの利便性向上のため、表示部に、顕微鏡観察画像と共に各種情報を表示する技術が提案されている(特許文献1参照)。
特許文献1に記載の病理診断システムでは、染色標本画像(顕微鏡観察画像)の他に、要診断領域等が表示され、ユーザは、表示部で表示されている顕微鏡観察画像と併せて要画像診断領域を適宜修正しながら、病理診断を行う。
特許文献2011−181015号公報
しかしながら、前述した従来のバーチャル顕微鏡システムでは、ユーザ自身が、表示部で表示される画像診断領域を最終的に適切なものに修正する判断を行い、また病理診断も行なっている。このような実状ではユーザにとって最も重要な症例判断を行う際の情報が不足しており、また症例判断を行うための情報を取得する又は操作するために別の煩雑な画面上の操作が要求される。すなわち、デジタル顕微鏡における診断の作業効率を向上できているとは言い難い。
そこで、本開示は、デジタル顕微鏡における診断作業を向上させることが可能な顕微鏡により撮像された画像を表示する画面表示装置、画面表示システム、顕微鏡システム、画像処理方法及びプログラムを提供することを主目的とする。
すなわち、本開示の画面表示装置は、病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する表示制御部を備える。
前記表示合成部が、病理スライド画像の表示倍率に応じて病理指標カーソルの大きさを変更してもよい。
前記表示合成部は、癌の病期分類に応じて病理指標カーソルを点滅及び/又は色変更してもよい。
前記表示合成部は、回転及び/又は移動可能な病理指標カーソルを表示してもよい。
前記表示合成部は、スライド画像、前記カーソルを選択するための癌指標リストを表示してもよい。
前記癌指標リストが、癌侵襲距離データ、癌侵襲面積データ、癌深達度データ、癌染色データ、核/細胞質比データ、癌原因微生物数データ、癌ステージ分類データから選ばれる1種又は2種以上のものででもよい。
さらに、前記病理スライド画像に関する情報に基いて癌指標リストデータを取得するデータ応答部を有する情報提供装置から送信された、病理スライド画像に関するデータ、癌症例データ及び癌指標リストデータを前記表示制御部が処理し、病理スライド画像及び癌指標リストを表示してもよい。
前記情報提供装置は、さらに、病理スライド画像に関するデータ、これに対応する癌症例データ及び癌指標リストデータを保持する情報保持部を備える。また、前記データ応答部は、病理スライド画像に関する情報を元に、前記情報保持部から、当該病理スライド画像に関するデータ、その癌症例データ及び癌指標リストデータを取得し、前記表示制御部に送信してもよい。
本開示の画面表示システムは、病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示制御部を備える画面表示システムを備える。
さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得するデータ応答部を有する情報提供装置を備えてもよい。
本開示の顕微鏡システムは、病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示装置を備える画面表示システムを有する。
さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得し、前記画像表示装置に送信するデータ応答部を有する情報提供装置を備える画像表示システムを有してもよい。
本開示の画像処理方法は、病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する。
病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得すること、当該癌症例データ及びその癌指標リストデータに基づき、病理スライド画像、前記病理指標カーソルを選択するための癌指標リストを表示すること、でもよい。
前記癌指標リストから選択された病理指標カーソルを単数又は複数表示することでもよい。
前記病理スライド画像に関する情報を元に、当該病理スライド画像に関するデータに対応する癌症例データ及びその癌指標リストデータを取得することでもよい。
本開示のプログラムは、病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示する画像表示機能と、を画像表示装置に実行させる。
病理スライド画像に関するデータ、これに対応する癌症例データ及びその癌指標リストデータを保持し、病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示し、さらに当該癌指標リストから選択された病理指標カーソルを単数又は複数表示する画像表示機能と、を画像表示装置に実行させてもよい。
本開示によれば、デジタル顕微鏡における診断の作業効率を向上させることが可能となる。
本開示の第1の実施形態の顕微鏡システムの概要を示す図である。 図1に示すデジタル顕微鏡1の構成例を示すブロック図である。 図1に示す情報処理装置2の構成例を示すブロック図である。 図1に示す情報提供装置(サーバ3)の構成例を示すブロック図である。 図1に示す画像表示装置4の構成例を示すブロック図である。 スライドID/症例データ保持部332による癌症例リストの画像表示装置4への各種データの送信を示すフロー図である。 「スライドID−癌症例リスト」の一例が表示部41に表示された状態を示す図である。 「癌の症例−癌指標リスト」の一例が表示部41に表示された状態を示す図である。 「病理スライド画像a」、「癌指標リストb」、「病理指標カーソルc」が表示部41にカーソル形式にて表示された状態を示す図である。 「病理スライド画像a」、「癌指標リストb」、「病理指標カーソルc」が表示部41に矢印形式にて表示された状態を示す図である。 病理スライド画像(合成画像)に関するデータ選択/癌指標リストデータ取得部による各種データの取得を示すフロー図である。 病理スライド画像(合成画像)に関するデータ選択/癌指標リストデータ取得部による各種データの取得及びデコードを示すフロー図である。 スライド画像データ選択/デコード部による合成画像に関するデータの取得及び合成画像のデコードを示すフロー図である。 病理指標カーソルを表示するためのフロー図である。
以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の手順で行う。
1.本開示の第1の実施の形態
<1.第1の実施の形態>
[顕微鏡システムの構成]
まず、本開示の第1の実施形態に係るバーチャル顕微鏡システムについて説明する。
図1は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものである。当該顕微鏡システムは、例えば、図1に示すように、デジタル顕微鏡1、情報処理装置2、情報提供装置(サーバ)3及び画像表示装置4等で構成されている。
本実施形態の顕微鏡システムにおいて、情報処理装置2と画像表示装置4とは直接接続されていてもよいが、ネットワーク5を介して接続されていてもよい。また、情報処理装置2と画像表示装置4は、ネットワーク5を介して情報提供装置3と相互に通信可能に接続されていてもよい。
また、情報提供装置3が情報処理装置2を兼ねていてもよく、情報処理装置2が情報提供装置3を兼ねていてもよい。
さらに、画像表示装置4が、情報処理装置2及び/又は情報提供装置3を備えてもよい。各種データを情報提供装置3に記憶することが望ましいので、本実施形態において画像表示装置4と情報提供装置3とは別々に構成されていることが好適である。
また、便宜上図1には各装置が1台しか示されていないが、各装置が単数又は複数台備えられ、それぞれが有機的に接続されていてもよい。例えば、画像表示装置が複数台の場合には、医療機関等のユーザ同士や、ユーザと患者での画面に表示された画像や情報の共有が可能となる。
本実施形態のバーチャル顕微鏡システムは、医療、病理、生物及び材料等の各種分野に適用可能である。例えば、病理診断に用いる場合には、観察対象物は生体の臓器、組織及び細胞等であり、プレパラート標本にはそれらの切片が封入されている。そして、例えば、プレパラート標本が病理標本である場合には、画像表示装置4のユーザ(画像の閲覧者)は医師等であり、表示された画像に基いて病理診断を行う。
そして、本実施形態のバーチャル顕微鏡システムにおいて、ユーザ等は癌の症例や癌の状態等を診断するが、本実施形態は少なくとも本開示の画像表示装置4を備えることが重要であり、さらに情報提供装置3と協働するのが好適である。
[デジタル顕微鏡1]
デジタル顕微鏡1は、光源、対物レンズ、撮像素子及びステージ等を備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光等を撮像する。図2はデジタル顕微鏡1の構成例を示すブロック図である。図2に示すように本実施形態の顕微鏡システムが備えるデジタル顕微鏡1には、全体画像撮像部11と部分画像撮像部12とが設けられている。
全体画像撮像部11は、光源、低倍率の対物レンズ及び低解像度の撮像素子等で構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率及び低解像度で撮影する。一方、部分画像撮像部12は、光源、高倍率の対物レンズ及び高解像度の撮像素子等で構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率及び高解像度で撮影する。即ち、デジタル顕微鏡1では、低解像度の全体画像(サムネイル画像)と、全体画像よりも高解像度の部分画像(スライド画像)が撮像される。
また、デジタル顕微鏡1には、全体画像撮像部11及び部分画像撮像部12による撮像処理を制御する撮影装置コントローラ13や、情報処理装置2と接続するための入出力インターフェイス部14等が設けられていてもよい。入出力インターフェイス部14を設けることで、情報処理装置2からの制御コマンドの入力や、情報処理装置2に対する全体画像撮像部11及び部分画像撮像部12で撮像された各画像データの出力が可能となる。
[情報処理装置2]
図3は情報処理装置2の構成を示すブロック図である。図3に示すように、情報処理装置2には、デジタル顕微鏡1で撮像された部分画像(スライド画像)を繋ぎあわせる画像生成部22が設けられている。また、この情報処理装置2には、撮像制御部21、画像処理部23、CPU(Central processing Unit)24、メモリ25、ハードディスク26及び入出力インターフェイス部27,28等が設けられていてもよい。
(画像生成部22)
図4は画像生成部22の構成を示すブロック図である。図4に示すように、画像生成部22は、観察対象領域の一部が撮像された複数の部分画像(スライド画像)を繋ぎ合わせる画像合成部221と、画像合成部221で合成された合成画像の繋合情報を生成する繋合情報生成部222とを備えている。
画像合成部221では、デジタル顕微鏡1で撮像された複数の部分画像(スライド画像)を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像(合成画像)を合成する。具体的には、繋合対象の部分画像(スライド画像)についてマッチング処理を行い、その結果に基づいて部分画像(スライド画像)同士の繋ぎ合わせ(スティッチング)処理を行う。
さらに、画像合成部221は、合成画像(顕微鏡観察画像)等の各種スライド画像データに識別子を付属させ、病理スライド画像に関する情報にすることも可能である。
一方、繋合情報生成部222では、画像合成部221で合成された合成画像について、繋合情報として、例えば各部分画像(スライド画像)の繋合位置に関する情報と、各繋合位置における繋合位置における繋合信頼性に関する情報を形成する。また、繋合情報には、異物の有無や異物の位置に関する情報が含まれていてもよい。
例えば、繋合信頼性情報として、スティッキング処理において生じる隣接する部分画像(スライド画像)間の相対的なずれ量を取得することもできる。
そして、画像合成部221で合成された合成画像(広視野顕微鏡観察画像)及び繋合情報生成部222で生成された各種繋合情報は、入出力インターフェイス部28やネットワーク5を介して、サーバ3や画像表示装置4に出力される。
(撮像制御部21)
撮像制御部21は、部分画像(スライド画像)及び全体画像(サムネイル画像)等を撮像する際のデジタル顕微鏡1の駆動や、画像生成部22及び画像処理部23の動作等を制御することが可能である。
(画像処理部23)
画像処理部23では、観察対象領域全体を撮像した全体画像(サムネイル画像)の解析、デジタル顕微鏡1で部分画像を撮像する順序(撮像シーケンス)の作成等を行う。ここで作成された撮像順序は、撮像制御部21に出力される。
(CPU24)
CPU24は、情報処理装置2に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部23や撮像制御部21等を統括的に制御するプログラムを実行する。また、CPU24は情報処理装置2の各部で実行される演算処理を行ったり、画像のエンコードや画像合成部で実行される部分画像のパターンマッチング処理等を行うこともできる。
(メモリ25)
メモリ25は、CPU24の作業領域として用いられ、デジタル顕微鏡1で撮像され入出力インターフェイス部27から入力された部分画像(スライド画像)や全体画像(サムネイル画像)等を一時的に記憶する。
(ハードディスク26)
ハードディスク26には、例えば画像処理部23等での処理結果(撮像順序等)、画像合成部で合成された合成画像(広視野顕微鏡観察画像)及び繋合情報生成部で生成された繋合情報等が記憶されている。
また、前述した情報処理装置2の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の記憶媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。
[情報提供装置(サーバ)3]
情報提供装置3は、情報処理装置2からアップロードされた各種データを管理し、要求に応じて画像表示装置4や情報処理装置2に出力する。
図4は情報提供装置3の構成例を示すブロック図である。図4に示すように、情報提供装置(サーバ)3は、ネットワーク5を介して情報処理装置2や画像表示装置4と接続されている。さらに、情報提供装置(サーバ)3は、ハードディスク31、データ応答部32、情報保持部33、CPU34、メモリ35、入出力インターフェイス部36,37等で構成されている。
(データ応答部32)
データ応答部32は、情報処理装置2に要求し、情報処理装置2から合成画像に関するデータ等の各種データを送信させることが可能であり、情報処理装置2から受信した各種データ等を情報保持部33に記憶させる。
合成画像に関するデータとして、例えば、合成画像(広視野顕微鏡観察画像)及び繋合情報、並びに低解像度の全体画像(サムネイル画像)、繋合対象の部分画像(スライド画像)及び撮像順序情報等の各種データが挙げられる。
以下、「合成画像(広視野顕微鏡観察画像)」は、「病理スライド画像」、「合成画像」、「合成画像(観察画像)」ともいう。
また、「低解像度の全体画像(サムネイル画像)」は、「全体画像(サムネイル画像)」ともいう。
また、「繋合対象の部分画像(スライド画像)」は、「部分画像」、「部分画像(スライド画像)」ともいう。
例えば、データ応答部32は、情報処理装置2から、病理スライド画像をパケット送信等のデータ分割で送信させ、受信後データを病理スライド画像に復元してもよい。また、データ応答部32は、情報処理装置2から、部分画像及び撮像順序情報を送信させ、受信後に部分画像を撮像順序情報の撮像順序に基づき病理スライド画像に復元してもよい。
また、データ応答部32は、ユーザ等がスライドIDを選択することで、各種データを記憶している情報保持部33に要求し、情報保持部33からスライドIDに対応する各種データを情報処理装置2及び画像表示装置4等に送信させることが可能である。
例えば、図6に示すように、データ応答部32は、ユーザ等が診断を行う際にスライドIDを選択することで、このスライドIDに対応する「癌の症例」を後述の情報保持部33に要求し、「癌の症例」を特定する。そして、データ応答部32は、「スライドID及び癌の症例」のデータを画像表示装置4に送信する。当該各種データは、合成画像等として表示され(例えば図7参照)、これにより、ユーザがスライドIDと症例との確認が容易となり、作業中の標本の取り間違え等の誤認が低減できる。
さらに、データ応答部32は、「癌の症例」が決定することで、予め情報保持部33に保持されている、癌の症例に対応する1つ又は複数の「癌の指標リスト」を検索し、特定する。そして、データ応答部32は、1つ又は複数の「癌指標リスト」のデータを画像表示装置4に送信する。「癌指標リスト」が表示され(例えば、図8参照)、これにより、1つ又は複数の癌の診断に用いる指標を表示できるので、ユーザの癌の診断作業の効率が向上する。
(情報保持部33)
情報保持部33は、情報処理装置2から送信された前述した合成画像に関するデータ及び画像表示装置4で処理されたデータ等の各種データを記憶することが可能である。
そして、情報保持部33は、スライド画像データ保持部331、スライドID/症例データ保持部332及び癌指標リスト保持部333を備え、それぞれに各種データを記憶し、保持している。また、情報保持部33はデータ応答部32にて制御されており、当該データ応答部32は、情報保持部33で保持する各種データ等の読み書き処理、画像の合成処理等の制御を行うことが可能である。
(スライド画像データ保持部331)
スライド画像データ保持部331には、前述した病理スライド画像に関するデータ及びこれに付属する識別子が記憶されている。なお、スライド画像データ保持部321は、記憶する病理スライド画像に関するデータに識別子を紐付けることも可能である。紐付けにより、病理スライド画像に関する情報を得ることができる。
(スライドID/症例データ保持部332)
スライドID/症例データ保持部332には、1つの病理スライド画像に関するデータのスライドIDと、この病理スライド画像に関するデータに対応する1つ癌の症例データとが紐付き状態で記憶されている(例えば、図6参照)。なお、ユーザの選択等によって1つの病理スライド画像に関するデータに対応して複数の癌症例データが紐付き状態で記憶されてもよい。
「スライドID」は、ユーザ等が入力する任意番号でもよい、また、「スライドID」は、スライドID/症例データ保持部322やデータ応答部32にて、患者番号、検査日、検査番号、検査項目、標本番号、標本番号の枝番、ユーザ任意番号等から選択して合成されてもよい。この患者番号等は情報提供装置3に記憶されているのが好ましい。
また、「癌の症例」は、後述するが、胃がん、肺がん、大腸がん等の癌の症例である。
「スライドID」及び/又は「癌の症例」のデータは、スライドID/症例データ保持部322やデータ応答部32にて、合成画像データに、「識別子」として紐付けることが可能である。この紐付き状態でスライドID/症例データ保持部332に記憶されてもよい。
スライドID等の識別子の「紐付け」は、検体を顕微鏡観察した際や合成画像データを処理した際等にユーザ等が入力により行なってもよい。また、「識別子」の紐付けは、検査項目、患者番号、検査日及び検査番号、標本番号、標本番号の枝番から選ばれた1又は2以上のものに対応してデータ応答部32にて行われてもよい。紐付けにより、病理スライド画像に関する情報を得ることができる。
一例として、データ応答部32が、合成画像に関するデータ等が記憶されている情報処理装置2に、合成画像に関するデータ等を要求し、これに対応する検査項目及び検査番号等を情報保持部33に要求する。そして、データ応答部32は、病理スライド画像データ−「スライド01−胃がん」等と、病理スライド画像データに識別子が付属されるように合成する。これにより、病理スライド画像に関する情報を得ることができる。そして、このデータ(情報)が情報保持部33に保持される。
なお、病理スライド画像データを情報提供装置3で保持していないときには、「スライド01−胃癌」等の識別子が選択されることで、データ応答部32は病理スライド画像データのある装置(例えば情報処理装置2)に要求することも可能である。そして、データ応答部32は、病理スライド画像データを画面表示装置4に送信させ、表示部41で表示させることも可能である。
(癌指標リスト保持部333)
癌指標リスト保持部333には、癌を診断する際に指標とする種々のリストである癌指標リストが記憶されている。
本開示で診断する癌は、特に限定されない。例えば、脳腫瘍、乳がん、子宮頚癌、卵巣癌、食道癌、胃癌、大腸癌、肛門癌、肝癌、膵臓癌、喉頭癌、口腔癌、舌癌、甲状腺癌、腎臓癌、肺癌、骨肉腫、前立腺癌、精巣腫瘍、腎細胞癌、膀胱癌、横紋筋肉腫、皮膚癌、白血病等が挙げられる。
この中には、ウイルスや細菌感染が癌に関与することが知られているため、病因微生物の検査も癌の診断(検診)では重要になっている。例えば、子宮頸部扁平上皮癌ではヒトパピローマウイルス16型、18型;成人T細胞白血病では、ヒトTリンパ球好性ウイルス;肝細胞癌ではB型肝炎ウイルス(HBV);C型肝炎ウイルス(HCV);胃癌ではヘリコバクター・ピロリ等が挙げられる。
一般的に癌の診断で利用されている指標として、国際的にはUICC(International Union Against Cancer)のTNM分類が用いられる。また、日本では、学会や厚生労働省等が取りまとめた「胃癌取扱い規約による病期分類」「大腸癌取り扱い規約」等に基づく病期分類が広く使用されている。
そして、一般に癌の診断を行う際に、部位、検体の大きさ、肉眼分類、病変の大きさ、組織型、深達度、リンパ管侵襲、静脈侵襲、水平断端(距離)、垂直断端(距離)等の確認が行われる。
本開示の「癌指標リスト」とは、上述の如き、一般的に癌の診断で利用されているものを、癌の症例ごとに病期分類をリスト化したものである。
そして、本開示の癌指標リストは、癌侵襲距離、癌深達度、癌染色、核/細胞質比、病因微生物、癌ステージ分類等が各癌の症例ごとに作成されている。これにより、ユーザ(医師等)等は、本開示の癌指標リストを基準として、癌の状態を診断することが可能である。
なお、「癌染色」とは、癌組織を染色させることであり、免疫組織化学的染色及びルゴール染等の染色剤による染色等が挙げられる。
このような各癌の症例の1つ又は複数の病期分類のデータを本開示の「癌指標リスト」とし、癌指標リスト保持部333に、記憶し保持する。この「癌指標リスト」は、予め入力し保持しておくことも可能である。また、「癌指標リスト」を選択した場合に、「癌の症例」及び「癌指標リスト」に基づき、ネットワークを介して学会等のホームページ等から「癌指標リスト」に関するデータを取得することも可能である。
具体的な「癌指標リスト」として、例えば、癌侵襲距離データ、癌侵襲面積データ、癌深達度データ、癌染色データ、核/細胞質比データ、癌原因微生物数データ、癌ステージ分類データ等が挙げられる。この中から選ばれる1種又は2種以上を使用してもよい。これらは、主として、長さ及び/又は色を基準にして癌の診断を行うものである。
そして、1つの癌の症例ごとに、1つ又は複数の「癌指標リスト」が紐付きで設けられている。例えば、図7を参照すると、1つの癌の症例である「胃癌」に、1つの癌指標リストである癌侵襲距離リストの「5mm、10mm、15mm」が表示されている。
これにより、合成画像データに識別子として付属している「スライドID」又は「癌の症例」を選択することで、この癌の症例に対応した1つ又は複数の癌指標リストが表示部41に表示される。
なお、1つの癌の症例に対応する指標リストが複数存在する場合、表示される指標リストの順番は、ユーザ等が予め設定することも可能である。また表示される指標リストの順序は、検査項目に対応する癌指標リストが優先的に表示されるように設定されていてもよい。
例えば、癌細胞染色が検査項目であった場合には、癌指標リストとして癌染色データが自動的にアップされる。また、癌の侵襲を観るための検査項目であった場合には、癌侵襲距離データ、癌侵襲面積データ、癌深達度データが自動的にアップされる。
また、病因微生物を観るための検査項目であった場合には、癌原因微生物数データがアップされる。また、癌細胞を顕微鏡観察する検査項目であった場合には、細胞の核の容積を細胞質容積で割った値の核/細胞比データが自動的にアップする。
さらに、癌ステージ分類は通常診断結果として分類されるため、癌ステージ分類データは随時アップされてもよく、ユーザが容易に選択できるような記号にして設けられていてもよい。
(CPU34)
CPU34は、情報提供装置3に設けられた各部を統括的に制御するものであり、例えば前述したデータ応答部32や情報保持部33等を統括的に制御するプログラムを実行する。また、CPU34は情報提供装置3の各部で実行される演算処理を行ったり、画像のエンコードや画像合成部で実行される部分画像のパターンマッチング処理等を行うこともできる。
(メモリ35)
メモリ35は、CPU34の作業領域として用いられ、外部から送信されるデータを入出力インターフェイス部36,37から入力された部分画像(スライド画像)や全体画像(サムネイル画像)、スライドID、癌の症例、癌指標リスト等を一時的に記憶する。
(ハードディスク31)
ハードディスク31には、例えばデータ応答部32等での処理結果等が記憶されている。
また、前述した情報提供装置3の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の記憶媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。
なお、前述した情報提供装置3は、後述する画像表示装置4内に、情報提供部として含むことも可能である。
[画像表示装置4]
図5は、画像表示装置4の構成例を示すブロック図である。図5に示すように、画像表示装置4は、ネットワークを介して情報処理装置2及び/又は情報提供装置(サーバ)3と接続されている。画像表示装置4は、表示部41、表示制御部42、CPU43、メモリ44、ハードディスク45、入出力インターフェイス部46等で構成されている。
なお、画像表示装置4に情報(文字等)を入力したり、ポイント・アンド・クリックを行う際に、キーボード、ポインティングデバイス(マウス、トラックボール、タッチパッド等)等の入力部(図示せず)から行うことが可能である。また、タッチパネル形式の表示部41がタッチパネル形式の場合には、画面上で行うことも可能である。
(表示部41)
表示部41は、デジタル顕微鏡における診断の作業を行うための情報を表示するものであり、当該情報が閲覧可能なものである。当該表示される情報として、例えば、合成画像等の検体画像、スライドID、癌指標リスト、病理指標カーソル等が挙げられる。また、表示情報として、病理スライド画像(検体画像)、スライドID、癌指標リストを適宜組み合わせて表示してもよく、例えば図7及び8に示すように、「スライドID−癌の症例」のリスト、「癌の症例−癌指標リスト」のリスト等であってもよい。
また、例えば、表示部41には、図9及び10に示すように、癌の診断の作業を行う際には、表示部41には、病理スライド画像、前記カーソルを選択するための癌指標リスト等が表示される。そして、前記カーソルを選択するための癌指標リストの1つを選択することで、マウスポインターが病理指標カーソル(例えばルーラ形式、印形式等)に変化し、表示されている。ルーラ形式の場合には、癌指標リストの中で選択したものに対応してルーラの長さや大きさ、向き等が変更されてもよい。また、印形式の場合には、癌指標リストの中で選択したものに対応して印が点滅、色変化、説明枠として機能することも可能である。
また、前記カーソルを選択するための癌指標リストの1つを選択することで、マウスポインターは変化せず、新たな病理指標カーソルが表示されてもよく、この場合には複数のポインティングデバイスやタッチ操作で対応することも可能である。
(表示制御部42)
表示制御部42は、情報アクセス処理部421及び表示合成部422が備えられており、これらを統括的に制御するものである。
情報アクセス処理部421は、病理スライド画像データに関する情報(病理スライド画像に関するデータに付属する識別子等)に基づいて、データ応答部32及び情報保持部33を有する情報提供装置(サーバ)3に要求し、必要な各種データを取得する。このとき、情報アクセス処理部421が要求した癌症例データ、その癌指標リストデータ、病理スライド画像(合成画像)に関するデータが情報提供装置3から送信される。
この送信された癌症例データ及びその癌指標リストデータ等の各種データを、表示制御部42の表示合成部422が処理し、処理された画像(病理スライド画像、癌指標リスト、病理指標カーソル等)や文字情報等を表示部41に表示する。
(情報アクセス処理部421)
情報アクセス処理部421は、合成画像に関するデータ、癌指標リストデータ、スライドIDデータ等の各種データを、情報提供装置3から画像表示装置4に送信するように要求する。そして、情報アクセス処理部421は、取得した各種データを、必要に応じて画像表示装置4のHDD45やメモリ44等に保持させてもよい。また、情報アクセス処理部421は、当該取得した各種データのデコード(復元)等の処理を行なってもよい。
さらに、情報アクセス処理部421は、合成画像に関するデータ選択/癌指標リストデータ取得部及び合成画像に関するデータ要求/デコード部(図示せず)を備えてもよい。これを備えることで、より作業効率が向上する。
なお、以下、合成画像に関するデータ選択/癌指標リストデータ取得部を「データ選択/取得部」ともいう。また、合成画像に関するデータ要求/デコード部を、「要求/デコード部」ともいう。
[合成画像に関するデータ選択/癌指標リストデータ取得部]
データ選択/取得部は、図11〜13に示すように、ユーザ等が表示部41に表示されている合成画像に関するデータを選択すると対応するスライドIDが決定される。この決定により、病理スライド画像に関する情報(スライドID等の識別子)に基づき癌症例を情報提供装置3に検索させる。さらに、データ選択/取得部は、情報提供装置3が病理スライド画像に関する情報(癌症例等の識別子)に基づきそれに対応する1つ又は複数の癌症例リストを検索した結果を送信するように要求する。データ選択/取得部の要求によって、画像表示装置4は、病理スライド画像に関する情報(識別子)に基づき、スライドIDデータ、癌症例データ、癌症例に対応する1つ又は複数の癌症例リストのデータを取得する。さらに、データ選択/取得部は、これら取得したデータをHDD45等に保持させることも可能である。
これら取得したデータは、表示制御部42によって「スライドID−癌の症例」のリスト、「癌の症例−癌指標リスト」のリスト、「癌の指標リスト」等の必要な情報に合成される。これにより、「スライドID−癌の症例リスト」、「癌の症例−癌指標スト」、「癌の指標リスト」等の合成された画像や文字情報等が表示部41に表示される。
また、データ選択/取得部は、ユーザ等が合成画像に関するデータではなく、識別子(例えばスライドIDや癌症例等)を選択した場合には、この識別子に基づき情報提供装置3から各種データを要求し、取得することが可能である。
[スライド画像データ要求/デコード部]
要求/デコード部は、図12に示すように、ユーザ等が表示部41に表示されている全体画像(サムネイル画像)等を選択する。全体画像(サムネイル画像)等を選択すると当該スライドIDが決定され、要求/デコード部は、スライドIDを情報提供装置3に送信し、必要な合成画像に関するデータ等の各種データを取得し、取得したデータを必要に応じてデコード(復元)する。要求/デコード部は、病理スライド画像データを情報提供装置3から取得し、病理スライド画像データの復元をし、その復元した画像は後述する表示合成部に送信することが可能である。そして、これらデータは表示合成部にて病理スライド画像(合成画像)に合成される。
また、「全体画像(サムネイル画像)−スライドID」のリスト又はスライドIDのリストにおいて、スライドIDをユーザ等が選択する。これによっても、要求/デコード部は、画像に関する各種データを情報提供装置3がら取得し、デコードすることが可能である。
(表示合成部422)
表示合成部422は、ユーザ等が選択したスライドID又は合成画像データ等の病理スライド画像に関する情報に基づいて、情報提供装置3に要求し、情報提供装置3から必要な各種データを取得する。このとき、病理スライド画像に関する情報における各種データは情報アクセス処理部421にて、癌症例リスト、合成画像、癌指標リスト等に合成され、表示合成部422に送信される。なお、スライドID及び癌症例等が、病理スライド画像データに付属する識別子として機能してもよい。
そして、表示合成部422は、病理スライド画像(合成画像)、病理指標カーソルを選択するための癌指標リストを表示部41にて表示する。
さらに、表示合成部422は、癌指標リストから癌指標の1つを選択した場合、その癌指標リストに対応する病理指標カーソルを合成する。
なお、表示合成部422は、病理指標カーソルの大きさを決定する場合には、情報提供部3等から取得したスライドの合成画像又は全体画像の大きさに基づき行うことが可能である。この画像に対応する病理指標カーソルの伸縮は、予め、メモリ、記憶部等に保持されていてもよい。
具体的には、癌侵襲距離データ、癌侵襲面積データ、癌深達度データ等のような距離や面積等で判断するようなものがユーザ等によって選択された場合には、距離や面積を計測可能なルーラ形式かつ合成画像等の大きさに対応する病理指標カーソルが決定される。そして、表示合成部422にてルーラ形式の病理指標カーソルが合成され、表示部41に表示される。ルーラ形式病理指標カーソルの形状は、特に限定されず、例えば三角形状、長方形状、正方形状、楕円形状、円形状等が挙げられる。ルーラ形式の病理指標カーソルは、目盛を有するものが、診断作業の効率向上のため、好適である。
また、癌染色データ、核/細胞比データ、癌原因微生物数データ等の個数及び割合等の数値で判断するようなものがユーザ等によって選択された場合には、その数値が判断でき、かつ合成画像等の大きさに対応する印形式の病理指標カーソルが決定される。そして、表示合成部422にて印形式の病理指標カーソルが合成され、表示部41に表示される。印の形状は、特に限定されない。例えば、前記数値の判断が容易なように点滅及び/又は色変更するものでもよく、また個数の総計番号や割合の程度を近傍に付してもよい。また、矢印として及び/又は文字情報を表示するための枠として表示されていてもよい。
また、癌ステージ分類データで判断する場合には、ステージ分類を判断するための図や数値が表示されてもよく、また、前述した癌侵襲距離データ、癌侵襲面積データ、癌深達度データ、癌染色データ、核/細胞比データ、癌原因微生物数データ等から導き出すことも可能である。
さらに、表示合成部422は、癌指標リストにおいてルーラ形式の病理指標カーソルになる癌指標が選択され、さらに病期状態が選択された場合には、その大きさに対応するように病理指標カーソルの大きさが決定され、病理指標カーソルが合成される。
また、表示合成部422は、癌指標リストにおいて印形式の病理指標カーソルになる癌指標が選択された場合には、その合成画像の大きさに対応するように病理指標カーソルの大きさが決定され、病理指標カーソルが合成される。
また、表示合成部422は、ユーザ等が表示されている合成画像の表示倍率を変更した場合に、その病理スライド画像の表示倍率に応じて病理指標カーソルの大きさが変更することが可能である。これにより、癌の診断作業が向上し、また誤認も低減できる。
また、表示合成部422は、病理指標カーソルが回転及び/又は移動可能であるように設定し、表示部41に表示することも可能である。これにより、確認したい癌部分の形状に応じてカーソルの向きを適宜選択することが可能となり、診断の作業効率が向上する。
また、表示合成部422は、表示された病理指標カーソルが、癌の病期分類に応じて点滅及び/又は色変更するように設定することも可能である。これにより、例えば数や大きさが所定(閾値)以上になった場合に、病理指標カーソルが点滅や色変更することで、どの程度の病期分類に達しているかを理解しやすく、診断の作業効率が向上する。
次に、本実施形態の顕微鏡システムを用いて、癌の診断作業が行えるように表示する画像処理方法について説明する。特に、画像表示装置4による画像表示処理における基本的な動作について説明する。
[動作1]
ユーザが合成画像に関するデータのスライドIDを画像表示装置4にて選択すると、表示制御部42は、病理スライド画像に関する情報(例えば、紐付きのスライドID等)に基づき、1つ又は複数の癌症例リストを取得する。
また、ユーザが病理スライド画像に関する情報(例えばスライドID等)を画像表示装置4にて選択すると、表示制御部42は、当該病理画像に関する情報(例えば、スライドID等)に基づき、病理スライド画像(合成画像)に関するデータを取得する。このとき、標本の大きさ、合成画像の大きさ等のデータも含まれる。
そして、表示制御部42は、取得し、合成した病理スライド画像(合成画像)及び1つ又は複数の症例リストを表示するように制御する。症例リストの病期分類の何れか1つをユーザが選択することで、病理指標カーソルが合成され、表示される。このとき病理指標カーソルの大きさは、標本の大きさ及び病理スライド画像(合成画像)の大きさを考慮して決定される。例えば、ルーラ形式の病理指標カーソルの場合には、現在選択した癌侵襲距離等の長さを、標本の大きさ及び合成画像の大きさを考慮して計算し、カーソルの大きさとして合成し、表示される。
また、表示制御部42が、症例リストの病期分類の何れかを又は分類のうち一番低いものを自動的に選択し、それに対応した病理指標カーソルが合成され、表示されてもよい。
病期分類の選択とは、例えば、癌侵襲距離での診断の場合には、図9の「癌指標リスト」で距離別に表示されている数値の何れかを選択することになる。
ユーザ等は表示された病理指標カーソルを移動させること及び回転させること等を行うことが本開示の病理指標カーソルでは可能であるので(図9の病理指標カーソル参照)、癌の診断作業が容易に行うことができる。
また、病理指標カーソルは複数別々の箇所にも設けることも可能であり、ユーザが使用する際に適宜クリック等で選択することで個々の病理指標カーソルを使用することが可能である。
また、ユーザ等が表示部41に表示されている全体画像(サムネイル画像)を選択し、これに付属している識別子から上述のようなフローで、癌の診断作業を行うことも可能である。
従来のシステムであれば、画像表示装置で閲覧している標本番号をユーザがLIS(Laboratory Information System)等で参照する。ユーザが、LISの情報をもとに、合成画像の症例がどのようなものであるかを確認する。さらに、ユーザが、合成画像で異変がある組織と異変のない組織を確認する。ユーザがカーソルを操作して、異変のある組織の距離を2点指定し、その距離を計測する。ユーザが計測した値を元に、どの癌の病期分類に当てはまるかを、ユーザが診断基準の資料等を検索して判断し、最終的に癌の診断を行う。2点指定はユーザにとっては煩雑であり、しかも合成画像のデータ容量は大きいため、装置の処理能力に負担をかけ、処理速度も低下しやすい。このような状況下で、ユーザの癌の診断の作業効率は低下しているのが実状である。
また、複数の検査項目がある場合には、それぞれの判断基準を確認しながら行う必要があるため、検索項目を1つ1つ順次に診断を行うため、診断の作業効率が良くない。
しかしながら、本開示によれば、識別子を用いることで、画像表示装置4の装置自体の作業負担を軽減させて、必要な判断基準となる1つ又は複数の癌症例リスト及び選択した病理指標カーソルを表示部に表示させることが可能となる。
また、識別子を用いることで、ユーザは診断の際に、煩雑な判断基準の資料の検索を行わなくとも癌指示リストが表示されているので、このなかから好適と思われる病理指標カーソルを選択することも可能である。
さらに、選択された病理指標カーソルは、検査項目に対応してルーラ形式や印式等で用いることが可能である。
これにより、ユーザの負担を軽減でき、癌の診断の作業効率を向上させることが可能となる。
また、サーバ3等を利用すれば、画像表示装置4における画像処理の負担が少なくなるため、画像表示装置4で癌症例リストを複数表示して、複数の検査項目による癌の診断を行っても、ユーザがスムーズに作業を行うことも可能である。これにより、ユーザ等の癌の病期分類の診断の作業効率が向上する。
以下に、さらに具体的な本実施形態の動作について説明する。
[動作1a]
情報提供装置3に、病理スライド画像(合成画像)に関するデータ、癌症例データ、癌指標リストデータを保持する。具体的には、情報提供装置3のデータ応答部32にて、病理スライド画像(合成画像)に関するデータと癌の症例とを紐付け、そのデータを情報保持部33で保持する。また、癌の症例と1つ又は複数の癌症例リストとを紐付けて、そのデータを情報保持部33で保持する。
ユーザ等は、画像表示装置4にて、閲覧している画像(病理スライド画像(合成画像)、全体画像(サムネイル画像)等)又はそのスライドIDを選択する。このとき、病理スライド画像(合成画像)データにスライドIDが識別子として付属している。
画像表示装置4の表示制御部42は、病理スライド画像に関する情報であるスライドIDを元に、情報提供装置3のデータ応答部32に問い合わせる。当該データ応答部32は、スライドIDに対応する癌の症例、癌の症例に対応する1つ又は複数の症例リスト、さらにスライドIDに対応する合成画像に関するデータを情報保持部33内で検索し、見つけ出す。なお、見つけ出せない場合には、データ応答部32は、「検索不可」や「別の記憶装置を検索するか」と表示させ、一旦終了する。
見つけ出された画像表示に必要な各種データは、データ応答部32にて、画像表示装置4に送信される。送信された各種データは、表示制御部42にある情報アクセス処理部421にて、癌症例リストのデータ、病理スライド画像(合成画像)のデータ等に復元される。そして、これら復元された各種データを表示合成部422は、合成画像及び癌症例リストとして合成し、表示部41に表示する。なお、表示合成部422は、対象となる標本の大きさに関するデータについて取得して、合成画像及び癌指標に適した病理指標カーソルの大きさを予め決定する。
さらに癌症例リストにある病期分類をユーザ等がクリック等にて選択することで、そのクリックした部分に対応する病理指標カーソルが選択され、表示される(例えば図9及び10参照)。
ユーザが、ルーラ形式の病理指標カーソルを選択した場合には、この病理指標カーソルを、移動、回転等を行なって、ユーザは癌の診断作業を行う。
ユーザが印形式の病理指標カーソルを選択した場合には、癌指標リストに表示されている所定の数値範囲に該当すると印形式の病理指標カーソルが点滅、色変更したりする。これによってユーザは癌の診断作業を行う。なお、ユーザが画面上で、削除又は追加すること、また点滅の有/無の選択や色を変更することも可能である。
また、ユーザが合成画像の倍率を変更した場合には、その変更倍率に対応して病理指標カーソルの大きさも変更となる。
[動作1b]
動作1aのとおり、各種データは情報提供装置3にて保持されている。また、動作1aと同じ動作については省略する。
画像表示装置4は、スライドID−癌症例、癌症例−1つ又は複数の癌症例リストとなる識別子に関するデータをHDD45等に保持している。
画像表示装置4にてユーザが、スライドIDを選択すると、表示制御部42は、そのスライドIDに対応する合成画像に関するデータ及び1つ又は複数の癌症例リストのデータを情報提供装置3のデータ応答部32に要求する。
データ応答部32は、情報提供装置3の情報保持部33から要求された各種データを検索し、その各種データを画像表示装置4に送信する。各種データは、表示制御部42にて、合成画像及び癌症例リストへ処理されて、表示部41に表示される。ユーザが癌症例リストの病期状態から病理指標カーソルを選択することで、癌の診断作業を行う。
[動作1c]
情報処理装置2にて、全体画像及び部分画像の撮像を行い、合成画像が合成されてもよい。この場合には、これら合成画像に関するデータは、情報処理装置2から、情報提供装置3に送信され、これらデータは、情報保持部33に保持される。
以後の動作は、動作1a、1bの何れでもよい。
[動作1d]
情報提供装置3は、情報処理装置2の画像生成部22及び画像処理部23と同じ性能の画像生成部及び画像処理部を備える。
そして、情報処理装置2にて、撮像が行われ、これら合成画像に関するデータが情報提供装置3に送信される。情報提供装置3の画像生成部及び画像処理部にて合成画像等に合成された合成画像に関するデータは、情報保持部33にて保持される。
以後の動作は、動作1a、1bの何れでもよい。
以下に、さらに詳細な動作を説明するが、本技術はこれに限定されるものではない。
癌の標本を確認する場合、癌侵襲距離や癌深達度がどの病期状態のラインを超えるかどうかが重要になってくる。例えば、胃癌の場合には、癌の侵襲が5mmを超えるかどうかが重要な判断ポインとなってくる。しかしながら、従来のシステムでは、上述のとおり、困難である。
サーバで、病理スライド画像に関するデータとこれに対応する症例(識別子)とを紐付けて保持する。また、この症例と、この症例に対応する距離のリスト(識別子)をサーバ3に保持する。
ビューワで閲覧しているスライド画像(サムネイル画像、合成画像等)のスライドIDを識別子として元に、サーバに問い合わせ、サーバはそのスライド画像に対応する重要な距離のリストをビューワに送信する。
ビューワでは、選択した距離のリストから、選択した病理指標カーソルが表示部に表示される。
また、サーバの動作について説明する。
ビューワにより、スライドIDを指定して要求がくる。データ応答部は、当該スライドIDを元に、情報保持部のスライドID/症例データ保持部に問い合わせる。当該症例データ保持部は、それに対応する症例を見出し、さらに、情報保持部は、その症例を元に癌指標リストを保持する癌指標リスト保持部に、それに対応する癌指標リストを問い合わせる。当該癌指標リスト保持部は、それに対応する癌指標リストを見出し、さらに、ビューワ4にそれらの結果の各種データを返信する。
なお、上述のように、データ応答部は、病理スライド画像に関するデータ→症例、症例→癌侵襲距離リストのリレーションでデータを処理し、情報保持部にて保持してもよい。また、病理スライド画像に関するデータ→癌侵襲距離リストのように処理し、保持してもよい。その場合には、データ応答部は、癌指標リスト保持部に、スライドIDから癌侵襲距離リストを問い合わせ、この癌侵襲距離リストを見出す。さらにデータ応答部は、ビューワ4にそれらの結果の各種データを返信する。
ビューワの動作について説明する。
情報アクセス処理部のデータ選択/取得部は、病理スライド画像に関するデータを取得したら、当該スライドIDの癌侵襲距離リストを取得し、取得した距離情報リストを、保持する。
また、情報アクセス処理部の要求/デコード部は、病理スライド画像に関するデータを取得したら、当該スライドIDをサーバに送信し、病理スライド画像に関するデータの各種データを取得する。そののち、スライドのデータをデコードし、デコードした画像に関するデータを保持する。
そして、表示合成部は、データ選択/取得部から、距離のリストと現在選択している距離を取得する。また表示合成部は、要求/デコード部から、デコードした画像データを取得する。そして、表示合成部は、デコードした画像データと、距離のリスト、及び現在選択している距離を病理指標カーソルの大きさとして合成し、表示する。
ユーザは、病理指標カーソルを用いて、癌の診断作業を行う。
図12に、本開示の全体のシーケンスの一例を示す。
ユーザにより、スライド01が選択された。まず、ビューワ4はスライド01の距離情報を取得する。サーバ3は5mm、10mm、15mmの距離リストを返信する。
次に、ビューワ4は、選択したスライド01の病理スライド画像に関するデータの要求を行う。サーバ3は、これに対応する合成画像に関するデータを返信する。
ビューワ4は、返信された合成画像に関するデータをデコード(復元)し、記憶部にて保持する。
ユーザにより癌侵襲距離リストのうち5mmが選択された。ビューワ4は病理指標カーソルを5mmの大きさに表示する。
このシーケンスは例であって、例えば、距離情報とデータの取得の順番はどちらが先でもよい。
本技術は以下の構成を採用することも可能である。
〔1〕 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する表示制御部を備える画面表示装置。
〔2〕 前記表示合成部が、病理スライド画像の表示倍率に応じて病理指標カーソルの大きさを変更する前記〔1〕記載の画像表示装置。
〔3〕 前記表示合成部は、癌の病期分類に応じて病理指標カーソルを点滅及び/又は色変更する前記〔1〕又は〔2〕記載の画像表示装置。
〔4〕 前記表示合成部は、回転及び/又は移動可能な病理指標カーソルを表示する前記〔1〕〜〔3〕の何れか1項記載の画像表示装置。
〔5〕 前記表示合成部は、病理スライド画像、前記病理指標カーソルを選択するための癌指標リストを表示する前記〔1〕〜〔4〕の何れか1項記載の画像表示装置。
〔6〕 前記癌指標リストが、癌侵襲距離データ、癌侵襲面積データ、癌深達度データ、癌染色データ、核/細胞質比データ、癌原因微生物数データ、癌ステージ分類データから選ばれる1種又は2種以上のものである前記〔5〕記載の画像表示装置。
〔7〕 さらに、前記病理スライドに関する情報に基いて、それに対応する癌症例データ及びその癌指標リストデータを取得するデータ応答部を有する情報提供装置から送信された、病理スライド画像に関するデータ、癌症例データ及び癌指標リストデータを前記表示制御部が処理し、病理スライド画像及び癌指標リストを表示する前記〔1〕〜〔6〕の何れか1項記載の画像表示装置。
〔8〕 前記情報提供装置は、さらに、病理スライド画像に関するデータ、これに対応する癌症例データ及び癌指標リストデータを保持する情報保持部を備え、前記データ応答部は、病理スライド画像に関する情報を元に、前記情報保持部から、当該病理スライド画像に関するデータ、その癌症例データ及び癌指標リストデータを取得し、前記表示制御部に送信する前記〔7〕記載の画像表示装置。
〔9〕 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示制御部を備える画面表示システム。
〔10〕 さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得するデータ応答部を有する情報提供装置を備える前記〔9〕記載の画像表示システム。
〔11〕 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示装置を備える画面表示システムを有する顕微鏡システム。
〔12〕 さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得し、前記画像表示装置に送信するデータ応答部を有する情報提供装置を備える画像表示システムを有する前記〔11〕記載の顕微鏡システム。
〔13〕 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する画像処理方法。
〔14〕 病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得すること、
当該癌症例データ及びその癌指標リストデータに基づき、病理スライド画像、前記病理指標カーソルを選択するための癌指標リストを表示することを有する前記〔13〕記載の画像処理方法。
〔15〕 前記癌指標リストから選択された病理指標カーソルを単数又は複数表示する前記〔14〕記載の画像処理方法。
〔16〕 前記病理スライド画像に関する情報を元に、当該病理スライド画像に関するデータに対応する癌症例データ及びその癌指標リストデータを取得する前記〔14〕記載の画像処理方法。
〔17〕 病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示する画像表示機能と、を画像表示装置に実行させるプログラム。
〔18〕
病理スライド画像に関するデータ、これに対応する癌症例データ及びその癌指標リストデータを保持し、病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、
前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示し、さらに当該癌指標リストから選択された病理指標カーソルを単数又は複数表示する画像表示機能と、を画像表示装置に実行させるプログラム。
1 デジタル顕微鏡;2 情報処理装置;3 サーバ;4 画像表示装置;5 ネットワーク
21 撮像制御部;22 画像生成部;23 画像処理部;24 CPU;25 メモリ;26 ハードディスク;27、28 インターフェース;221 画像合成部;222 繋合情報生成部
31 ハードディスク;32 データ応答部;情報保持部33;スライド画像データ保持部;34 CPU;35 メモリ;36、37 インターフェース;331;スライドID/症例データ保持部332;癌指標リスト保持部333
41 表示部;42 表示制御部;43 CPU;44 メモリ;45 ハードディスク;46 インターフェース;情報アクセス処理部421;表示合成部422

Claims (18)

  1. 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する表示制御部を備える画面表示装置。
  2. 前記表示合成部が、病理スライド画像の表示倍率に応じて病理指標カーソルの大きさを変更する請求項1記載の画像表示装置。
  3. 前記表示合成部は、癌の病期分類に応じて病理指標カーソルを点滅及び/又は色変更する請求項2記載の画像表示装置。
  4. 前記表示合成部は、回転及び/又は移動可能な病理指標カーソルを表示する請求項2記載の画像表示装置。
  5. 前記表示合成部は、病理スライド画像、前記病理指標カーソルを選択するための癌指標リストを表示する請求項3記載の画像表示装置。
  6. 前記癌指標リストが、癌侵襲距離データ、癌侵襲面積データ、癌深達度データ、癌染色データ、核/細胞質比データ、癌原因微生物数データ、癌ステージ分類データから選ばれる1種又は2種以上のものである請求項5記載の画像表示装置。
  7. 前記画像表示装置は、さらに、前記病理スライドに関する情報に基いて癌指標リストデータを取得するデータ応答部を有する情報提供装置から送信された、病理スライド画像に関するデータ、癌症例データ及び癌指標リストデータを前記表示制御部が処理し、病理スライド画像及び癌指標リストを表示する請求項1記載の画像表示装置。
  8. 前記情報提供装置は、さらに、病理スライド画像に関するデータ、これに対応する癌症例データ及び癌指標リストデータを保持する情報保持部を備え、
    前記データ応答部は、病理スライド画像に関する情報を元に、前記情報保持部から、当該病理スライド画像に関するデータ、その癌症例データ及び癌指標リストデータを取得し、前記表示制御部に送信する請求項7記載の画像表示装置。
  9. 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示制御部を備える画面表示システム。
  10. 前記画像表示システムは、さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得するデータ応答部を有する情報提供装置を備える請求項9記載の画像表示システム。
  11. 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する表示合成部を有する画像表示装置を備える画面表示システムを有する顕微鏡システム。
  12. 前記顕微鏡システムは、さらに、病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得し、前記画像表示装置に送信するデータ応答部を有する情報提供装置を備える画像表示システムを有する請求項11記載の顕微鏡システム。
  13. 病理スライド画像に関する情報に基いて、病理指標カーソルを単数又は複数表示する画像処理方法。
  14. 病理スライド画像に関する情報に基いて、癌症例データ及びその癌指標リストデータを取得すること、
    当該癌症例データ及びその癌指標リストデータに基づき、病理スライド画像、前記病理指標カーソルを選択するための癌指標リストを表示することを有する請求項13記載の画像処理方法。
  15. 前記癌指標リストから選択された病理指標カーソルを単数又は複数表示する請求項14記載の画像処理方法。
  16. 前記病理スライド画像に関する情報を元に、当該病理スライド画像に関するデータに対応する癌症例データ及びその癌指標リストデータを取得する請求項14記載の画像処理方法。
  17. 病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、
    前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示する画像表示機能と、
    を画像表示装置に実行させるプログラム。
  18. 病理スライド画像に関するデータ、これに対応する癌症例データ及びその癌指標リストデータを保持し、
    病理スライド画像に関する情報に基いて、これに対応する癌症例データ及びその癌指標リストデータを取得し、送信する情報提供機能と、
    前記癌指標リストデータに基づき、前記病理指標カーソルを選択するための癌指標リストを表示し、
    さらに当該癌指標リストから選択された病理指標カーソルを単数又は複数表示する画像表示機能と、
    を画像表示装置に実行させるプログラム。
JP2012210577A 2012-09-25 2012-09-25 画面表示装置及び画面表示システム Pending JP2014066788A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012210577A JP2014066788A (ja) 2012-09-25 2012-09-25 画面表示装置及び画面表示システム
US13/973,339 US9620089B2 (en) 2012-09-25 2013-08-22 Image display device and image display system
CN201310421262.0A CN103678868A (zh) 2012-09-25 2013-09-16 图像显示装置和图像显示系统
US14/665,703 US9966045B2 (en) 2012-09-25 2015-03-23 Image display device and image display system for improving diagnosis using digital microscope
US15/967,783 US10403240B2 (en) 2012-09-25 2018-05-01 Image display device and image display system
US16/527,357 US10832638B2 (en) 2012-09-25 2019-07-31 Image display device and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012210577A JP2014066788A (ja) 2012-09-25 2012-09-25 画面表示装置及び画面表示システム

Publications (1)

Publication Number Publication Date
JP2014066788A true JP2014066788A (ja) 2014-04-17

Family

ID=50316398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012210577A Pending JP2014066788A (ja) 2012-09-25 2012-09-25 画面表示装置及び画面表示システム

Country Status (3)

Country Link
US (4) US9620089B2 (ja)
JP (1) JP2014066788A (ja)
CN (1) CN103678868A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099350B1 (ko) * 2019-06-07 2020-04-09 주식회사 뷰노 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
US11638000B2 (en) 2018-08-06 2023-04-25 Sony Olympus Medical Solutions Inc. Medical observation apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310598B2 (en) 2009-03-11 2016-04-12 Sakura Finetek U.S.A., Inc. Autofocus method and autofocus device
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
CN105324698B (zh) * 2013-05-01 2019-07-02 生物辐射实验室股份有限公司 可调节的数字显微镜显示
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
US10070049B2 (en) * 2015-10-07 2018-09-04 Konica Minolta Laboratory U.S.A., Inc Method and system for capturing an image for wound assessment
US10607724B2 (en) * 2016-08-10 2020-03-31 Sysmex Corporation Information processing apparatus and method for clinical laboratory management
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
US11026649B2 (en) * 2018-06-25 2021-06-08 Siemens Medical Solutions Usa, Inc. Method and system for determining tumor burden in medical images
CN112132772B (zh) * 2019-06-24 2024-02-23 杭州迪英加科技有限公司 一种病理切片实时判读方法、装置及系统
CN110807732B (zh) * 2019-10-11 2023-08-29 武汉兰丁智能医学股份有限公司 用于显微图像全景拼接系统及方法
CN111175958A (zh) * 2019-12-31 2020-05-19 杭州迪英加科技有限公司 针对显微镜下病理切片的远程会诊方法和系统
US11373300B2 (en) 2020-01-31 2022-06-28 International Business Machines Corporation Image stitching using geometry-based image orientation
CN112419452B (zh) * 2020-12-24 2022-08-23 福州大学 一种胃癌pd-l1数字病理切片图像快速合并系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128522A (en) * 1997-05-23 2000-10-03 Transurgical, Inc. MRI-guided therapeutic unit and methods
CA2511274A1 (en) * 2004-07-02 2006-01-02 Research Machines Plc A computer method for controlling a display, and graphical tools for on-screen analysis
JP5196751B2 (ja) * 2006-09-13 2013-05-15 株式会社東芝 コンピュータ支援診断装置
WO2009106081A1 (en) * 2008-02-29 2009-09-03 Dako Denmark A/S Systems and methods for tracking and providing workflow information
US8079609B2 (en) * 2010-01-28 2011-12-20 Felt Racing, Llc Aerodynamic brake system
JP2011181015A (ja) 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP5560966B2 (ja) * 2010-07-01 2014-07-30 ソニー株式会社 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11638000B2 (en) 2018-08-06 2023-04-25 Sony Olympus Medical Solutions Inc. Medical observation apparatus
KR102099350B1 (ko) * 2019-06-07 2020-04-09 주식회사 뷰노 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
US9966045B2 (en) 2018-05-08
US10403240B2 (en) 2019-09-03
US20150199945A1 (en) 2015-07-16
US20180247614A1 (en) 2018-08-30
US9620089B2 (en) 2017-04-11
US20140085453A1 (en) 2014-03-27
US20190355327A1 (en) 2019-11-21
CN103678868A (zh) 2014-03-26
US10832638B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
US10832638B2 (en) Image display device and image display system
Hanna et al. Augmented reality technology using Microsoft HoloLens in anatomic pathology
JP6134315B2 (ja) 画像データにおける所見の解剖学的タグ付けの方法
US11594002B2 (en) Overlay and manipulation of medical images in a virtual environment
Douglas et al. Augmented reality: Advances in diagnostic imaging
US20130093781A1 (en) Examination information display device and method
JP5355110B2 (ja) 診断支援装置及び診断支援方法
JP2009086765A (ja) 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2009090120A (ja) 容積式位置揃えのための改良型システム及び方法
JP2007037781A (ja) 画像処理装置及び画像処理システム
CN103733200B (zh) 由带有解剖学标记临床管理促进的检查审阅
JP2013153883A (ja) 画像処理装置、撮影システム及び画像処理方法
EP2724272A2 (en) Anatomical tagging of findings in image data of serial studies
KR20150090117A (ko) 제 1 랜더링된 투영 및 제 2 랜더링된 투영간의 전이를 사용자에게 디스플레이하는 방법 및 시스템
JP2018529475A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
Mapelli et al. Preliminary results of an ongoing prospective clinical trial on the use of 68Ga-PSMA and 68Ga-DOTA-RM2 PET/MRI in staging of high-risk prostate cancer patients
JP6026982B2 (ja) 画像表示制御装置およびその作動方法並びに画像表示制御プログラム
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
JP2013178742A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
GB2504385A (en) User interactive navigation of medical images using a navigation map
JP2010282355A (ja) 医療検査情報管理システム
CN116235223A (zh) 使用基于目光的跟踪的注释数据收集
JP2010240141A (ja) 情報処理装置、画像診断システム、および診断用画像の表示制御方法
US20090022261A1 (en) Method for evaluating a tomography data record, and a tomography workstation
Buchbender et al. Virtual 18F-FDG PET/CT bronchoscopy for lymph node staging in non-small-cell lung cancer patients: present and future applications