JP2019135488A - 表示方法、プログラムおよび病理システム - Google Patents

表示方法、プログラムおよび病理システム Download PDF

Info

Publication number
JP2019135488A
JP2019135488A JP2019043924A JP2019043924A JP2019135488A JP 2019135488 A JP2019135488 A JP 2019135488A JP 2019043924 A JP2019043924 A JP 2019043924A JP 2019043924 A JP2019043924 A JP 2019043924A JP 2019135488 A JP2019135488 A JP 2019135488A
Authority
JP
Japan
Prior art keywords
image
pathological image
guide
mode
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019043924A
Other languages
English (en)
Other versions
JP6816782B2 (ja
Inventor
長谷川 寛
Hiroshi Hasegawa
寛 長谷川
日高 内田
Hidaka Uchida
日高 内田
陽一 水谷
Yoichi Mizutani
陽一 水谷
重篤 吉岡
Shigeatsu Yoshioka
重篤 吉岡
雅人 梶本
Masato Kajimoto
雅人 梶本
浩次 小倉
Koji Ogura
浩次 小倉
雅士 木元
Masashi Kimoto
雅士 木元
田上 直樹
Naoki Tagami
直樹 田上
徹 見留
Toru Mitome
徹 見留
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019135488A publication Critical patent/JP2019135488A/ja
Application granted granted Critical
Publication of JP6816782B2 publication Critical patent/JP6816782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

【課題】針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える情報処理装置、情報処理方法、および情報処理プログラムを提供する。【解決手段】検体の病理画像に対応付けられた第1の病理画像の表示に関する情報、または病理医に対応付けられた第2の病理画像の表示に関する情報の少なくとも1つに基づき、前記病理画像の表示範囲を決定する制御部を具備する。【選択図】図12

Description

本技術は、針生検画像を閲覧する際に、閲覧個所をガイドする情報処理装置、情報処理方法、および情報処理プログラムに関する。
従来からの閲覧方法では、クライアント・ビューワは、画像サーバにタイル状に分割して蓄積された画像(タイル画像)を、ユーザによるナビゲーション操作指示に従い読み込んで表示していた。ユーザが閲覧を望む部位を選択するだけでシステムが対応するタイル画像を認識し、表示することができる。
また、例えば、特許文献1には、以下の技術が開示されている。まずクライアント・ビューワがバーチャルスライド画像ファイルからの画像データを特定の解像度で要求する。次にサーバ・システムが要求された解像度に近い解像度にある画像データを含んでいる画像データの圧縮済みブロックを取得し、このデータ・ブロックをクライアントへと送信する。次いで、クライアントはこの画像データを拡大縮小し、要求された解像度で画像を提示する。
特表2006−519443号公報
しかし、従来の閲覧方法を用いて針生検の画像を閲覧する場合には、ユーザによるナビゲーション操作の自由度が有り過ぎ、細長い検体の方向に沿って表示領域を適切に移動させることは困難であった。
以上のような事情に鑑み、本技術の目的は、針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
(1)上記目的を達成するため、本技術の一形態に係る情報処理装置は、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備する。
本技術では、ユーザが入力したスクロール指示のみに基づいて観察画像の病理画像上での範囲を変更する従来の方法とは異なり、ユーザからのスクロール指示も考慮するものの、ガイド情報に依存して観察画像の病理画像上での範囲を決める。ガイド情報は、病理画像上での観察画像の範囲を決める際に重要な役割を果たす。それ故、検体の形状に対するガイド情報の決め方が重要である。ガイド情報は、検体の形状の中心線に沿って観察画像が得られるように設定されるので、病理画像の観察者であるユーザが観察画像の範囲を変更するために大雑把な指示を入力しても、情報処理装置が適切に検体の形状の中心線に沿った観察画像の範囲を算出してくれる。
この構成を採ることにより、例えば、上下方向に細長い検体の場合、ユーザは観察画像のスクロール方向として大雑把に、「上方向」か「下方向」かを入力するだけで済む。検体の形状に沿ったスクロールは情報処理装置がやってくれるので、ユーザはスクロール方向を微妙に調整作業から解放される。それ故、ユーザは病理画像の診断に集中する事ができる。
(2)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記ガイド情報は、前記病理画像上の検体の中心線上に予め定められた間隔により検体全体に設定される点の前記病理画像上の位置情報の並びである構成でもよい。
この構成を採ることにより、ガイド情報は検体の中心線上に設定された点の列となるので、観察画像の範囲を容易に検体の中心線に沿った位置に決めることができる。また、ガイド情報は、検体の全体に設定されるので、ガイド情報に基づき観察画像の病理画像上での範囲を動かしてゆくと、検体の端から端まで観察できるので、観察者である病理医が検体の一部の領域を見落とすことを防ぐことができる。
(3)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記指示のみをもとに算出される前記観察画像の前記病理画像上の範囲の中心点を第1の中心点とし、当該第1の中心点に対応する、前記ガイド情報に含まれる隣接する点を結んだ線分上の点を第2の中心点として、当該第2の中心点を持つ前記観察画像の前記病理画像上の範囲を算出する構成でもよい。
この構成を採ることにより、ユーザによる操作指示が大雑把なものであっても、ガイド情報に沿った範囲に、観察画像の範囲を修正できる。
(4)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記線分上の、前記第1の中心点に最も近い点を第2の中心点とする構成でもよい。
この構成を採ることにより、病理画像上に撮影された検体の形状が垂直方向に長いものであっても、水平方向に長いものであっても、同じアルゴリズムを用いて、ユーザの指示に対応したガイド情報に基づく範囲を観察画像の範囲とすることができる。
(5)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記第1の中心点から水平方向および垂直方向に引いた補助線が前記線分と交わった点のうち当該第1の中心点に最も近い点を第2の中心点とする構成でもよい。
この構成を採ることにより、簡単なアルゴリズムを用いて、ユーザの指示に対応したガイド情報に基づく範囲を算出することができる。
(6)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記ガイド情報と前記入力部が受け付けると予測される前記指示とに基づいて予測される前記観察画像を前記記憶部から先読みする構成でもよい。
この構成では、先読みキャッシュのヒット率は非常に高い。それは、観察画像の範囲がガイド情報により予め定められており、次に表示される観察画像の範囲を予測することが容易であるからである。ヒット率が非常に高いので、観察画像の表示を高速に行うことができる。特に、情報処理装置が低スループット環境にある場合に、観察画像の表示に関する使用感を向上させることができる。
(7)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記指示と前記ガイド情報とに基づいて前記観察画像の前記病理画像上の範囲を算出するガイドモードと、前記指示のみに基づいて前記観察画像の前記病理画像上の範囲を算出する通常モードとを切り替える構成でもよい。
この構成を採ることにより、ユーザである病理医は、大雑把な操作指示により病理画像の観察に集中することができる上に、病理画像の表示を自分の好きなように動かして観察することもできる。
(8)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記入力部が受け付けた前記ユーザによる明示的なモード切り替え指示に基づき前記ガイドモードと前記通常モードとを切り替える構成でもよい。
この構成を採ることにより、病理医であるユーザは、確実に二つのモードを切り替えて、病理画像の観察を行うことができる。
(9)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記ガイドモードのときに前記入力部が受け付ける前記指示の入力方法を第1の入力方法とし、前記通常モードのときに前記入力部が受け付ける、前記第1の入力方法とは異なる前記指示の入力方法を第2の入力方法として、いずれの入力方法により前記指示が入力されたかを判定し、当該判定に基づき前記ガイドモードと前記通常モードとを切り替える構成でもよい。
この構成を採ることにより、病理医であるユーザが二つのモードを切り替える手間を省くことができる。
(10)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記検体の一部が観察画像として表示されている前記画面上に、当該検体の、当該観察画像から外れた部分が続く位置および方向を示す矢印を表示する構成でもよい。
この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。
(11)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記ガイド情報を前記画面上に表示する構成でもよい。
この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。
(12)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記ガイド情報を前記病理画像の全体が表示されるサムネイルマップ上に表示する構成でもよい。
この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。また、ガイド情報に基づかずユーザが観察画像の範囲を移動する場合には、この矢印を指標として範囲を移動させる指示を出すことができる。
(13)また、上記目的を達成するため、本技術の一形態に係る情報処理装置は、傾きセンサを有するコントローラをさらに具備し、前記ユーザは、当該コントローラを傾けることにより前記指示を入力する構成でもよい。
この構成を採ることにより、病理医であるユーザは、例えば、コントローラを傾けることにより、病理画像上の観察画像の範囲を一方向に連続的に移動させるという、顕微鏡の操作に類似した操作が行えるので、病理診断との親和性を高めることができる。
(14)また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記ガイド情報は、前記病理画像に撮影された前記検体が複数ある場合、1つの前記検体の端の前記観察画像に続いて別の前記検体の端が前記観察画像になるように前記制御部に前記病理画像上の範囲を算出させる構成でもよい。
この構成を採ることにより、病理医であるユーザは、病理画像に撮影された複数の検体の間で、手動により観察画像の範囲を移動させる手間を省くことができる。
(15)また、上記目的を達成するため、本技術の一形態に係る情報処理方法では、記憶部が、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶し、表示制御部が、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示し、入力部が、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付け、制御部が、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する。
(16)また、上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部、および前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部としてコンピュータを動作させる情報処理プログラムである。
(17)また、上記目的を達成するため、本技術の一形態に係る情報処理システムは、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、記憶された前記病理画像および前記ガイド情報をクライアントコンピュータに提供する提供部とを具備するサーバコンピュータと、前記サーバコンピュータから前記病理画像および前記ガイド情報を取得する取得部と、前記取得された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記取得されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備するクライアントコンピュータとからなる。
以上のように、本技術によれば、針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える。
針生検の検体を撮影したバーチャルスライドの例を示す図である。 本技術に係るビューワコンピュータの典型的な使用環境を表した図である。 本技術に係るビューワコンピュータのハードウェアの構成を示すブロック図である。 コントローラの具体例である、ゲームコントローラを示す図である。 イメージ管理サーバの機能ブロックを示す図である。 ビューワコンピュータの機能ブロックを示す図である。 コントローラのスティックを微調整しながら表示範囲をスクロールさせる例を示す図である。 コントローラのスティックを大雑把に操作しながら表示範囲を正確にスクロールさせる例を示す図である。 病理画像の画像解析を行い、検体の上にガイドデータとなる点列を配した例を示す図である。 最も長さが短い線分の中点として、点Pnを求める場合の例を示す図である。 水平線を定め、検体の水平方向の幅の中心点を用いて点Pnを求める場合の例を示す図である。 ビューポイント候補から次のビューポイントを求める例を示す図である。 ビューポイント候補Cに最も近い点列線分上の点Qを求めるアルゴリズムを示す図である。 次のビューポイントを求める別のアルゴリズムを説明する図である。 点列を構成する点の内、どの点がエッジポイントであるかを示す図である。 ガイド線が、ビューワ画面上において表示される例を示す図である。 ビューワ画面の観察領域上に、スクロール方向を示す矢印ARを表示させる例を示す図である。 スクロール方法の流れを示すフローチャートである。 先読みする対象の範囲を示す図である。 先読みの具体例を示す図である。 現在の表示範囲DA1のビューポイントがエッジポイントにかかる場合の先読み範囲PR1を示す図である。 先読み処理の流れを示すフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[針生検について]
針生検とは、人体に針を刺し、針の穴の中に検体となる組織を採ったものを顕微鏡を用いて観察する診断である。針を用いるので、検体をスライドガラスの上に置いた形状は、細長い線状のものとなる。通常、複数本の針から得た検体を一つのスライドガラスの上に並べて観察を行うので、複数本の細長い検体が並んだ画像を病理医は観察する。
病理医は、直接顕微鏡を覗いて観察することもあるが、本実施の形態のように、顕微鏡に取り付けた撮像装置を用いて撮像した画像をバーチャルスライドとしてビューワコンピュータを介して観察する方法もある。以下の説明では、病理医が、バーチャルスライドとして撮影された病理画像を、ビューワコンピュータを用いて観察することを前提にする。
図1は、針生検の検体を撮影したバーチャルスライドの例を示す図である。この例では、3本の針から得られた検体をスライドガラスの上に並べて撮影したものである。中央の検体は、1本の針から取り出されたものであるが、途中で2個所切れているため、3つの部分に分かれてしまっている。
[ビューワコンピュータの使用環境について]
図2は、本技術に係るビューワコンピュータ500の典型的な使用環境を表した図である。
顕微鏡10およびスキャナ用コンピュータ20からなるスキャナ100は、病院内の組織学ラボHLに設置されている。顕微鏡10により撮影されたRAW画像は、スキャナ用コンピュータ20上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、8bit化処理などの画像処理が行われる。その後、縦横256ピクセルのタイル状に分割され、JPEG(Joint Photographic Experts Group)画像に変換され圧縮された後、ハードディスクHD1上に格納される。
スキャナ用コンピュータ20のハードディスクHD1に格納されたJPEG画像は、次に、同じ病院内のデータセンタDCにあるイメージ管理サーバ400上のハードディスクHD2に、ネットワーク300を経由してアップロードされる。観察者である病理医は、病院内の病理学室PRまたは病院外の建物EXにいてイメージ管理サーバ400とネットワーク300により接続されたビューワコンピュータ500を用いて、イメージ管理サーバ400のハードディスクHD2に格納されたJPEG画像を観察する。
[ビューワコンピュータ500の構成]
次に、ビューワコンピュータ500の構成について説明する。
図3は、本技術に係るビューワコンピュータ500のハードウェアの構成を示すブロック図である。
ビューワコンピュータ500は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26、記憶部27、ネットワークインターフェイス部28、およびこれらを互いに接続するバス29を備える。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、コントローラ30が接続される。コントローラ30には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。またコントローラ30は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ30を傾けたり振ったりすることによりコントローラ30に与える指示を受け付けることができる。
ネットワークインターフェイス部28には、ネットワーク300が接続される。表示部26には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、表示部26及び記憶部27を適宜制御する。
CPU21は、後述する各機能ブロックを実現する。CPU21は、ROM22および記憶部27等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、ビューワコンピュータ500は、種々の機能ブロックを実現することができ、上記各部材を、ビューワコンピュータ500として動作させることができる。
[コントローラ30の具体例]
図4は、コントローラ30の具体例である、ゲームコントローラを示す図である。このコントローラ30は、両手により保持することができ、左右それぞれの人差し指および親指により十字キーなどのボタンを操作できる。また、左右それぞれの親指が当たる個所には左右それぞれ1本、合計2本のスティックが設けられており、360度に亘って方向を入力することができる。
なお、上述のとおり、コントローラ30には加速度センサや傾きセンサが設けられているので、コントローラ30本体を振ったり傾けたりすることにより、様々な指示を入力することができる。
[コントローラ30の使用による利点]
病理診断では、巨大な画像を扱うので、画像が表示された画面に対してスクロールの指示を多く連続して与える機会がある。その際、マウスを用いると、例えば、画像をドラッグしてスクロールさせる場合、ドラッグ操作を何度も繰り返さなければならない。
その点、コントローラ30では、スティックを一定方向に倒して保持する操作やコントローラ30本体を一定量傾けて保持する操作に対応した処理として、連続的なスクロール動作を割り当てておけば、容易にスクロールし続けることができる。また、連続的なスクロール操作は、顕微鏡の操作に類似しているので、病理診断との親和性が高い。
また、病理診断では、病理医は、画像に集中し画像から目を離さない状態で頻繁な画像の拡大縮小やスクロールを行いたいと思う。そのため、マウスによるメニュー操作よりも、コントローラ30のボタンやスティックに処理を割り付けて直接的に操作を行ったり、コントローラ30本体を振ったり傾けたりする動作に処理を割り付けることが有効である。
[コントローラ30による指示入力の具体例]
コントローラ30による指示入力の具体例としては、以下のものが考えられる。コントローラ30を縦に振って、画像の拡大を行う。コントローラ30を横に振って、画像を横にスクロールする。コントローラ30を斜めに振って、画面上に表示された追加的な情報を隠す。コントローラ30を一瞬だけ傾けて次の画像を表示させる。コントローラ30の左側スティックの操作により、画面を分割する、などである。
なお、後述するスクロールモードに関して、通常モードおよびガイドモードでの動作をコントローラ30に割り付けることができる。例えば、通常モードのときは、コントローラ30を傾けることにより画面をスクロールさせ、ガイドモードのときは、コントローラ30上の右側スティックを傾けることにより、後述するガイド線に沿ったスクロールをさせることができる。
[イメージ管理サーバ400の構成]
次に、イメージ管理サーバ400の構成について説明する。
イメージ管理サーバのハードウェア構成は、コントローラ30が接続されない点を除けば、基本的にビューワコンピュータ500のハードウェア構成と同じである。そのため、詳細な説明は省略する。
[イメージ管理サーバ400の機能ブロック]
次に、イメージ管理サーバ400の機能ブロックについて説明する。イメージ管理サーバ400の主な機能は、ビューワコンピュータ500に対して、タイル化された病理画像や後述のガイドデータを提供することである。図5は、イメージ管理サーバ400の機能ブロックを表す図である。
イメージ管理サーバ400は、画像格納部41(記憶部)、画像提供部42、ガイドデータ生成部43、ガイドデータ格納部44(記憶部)、およびガイドデータ提供部45を備えている。
画像格納部41は、病理画像を格納している。病理画像は、縦横それぞれ256ピクセルのタイル状の画像に分割され保存されており、ビューワコンピュータ500からの画像要求に対応して、画像提供部42を介してビューワコンピュータ500に提供される。
画像提供部42は、ビューワコンピュータ500からの画像要求を受け付け、画像要求に対応した病理画像を画像格納部41から取得し、ビューワコンピュータ500に送信する。
ガイドデータ生成部43は、画像格納部41から病理画像全体を取得し、ガイドデータを生成する。ガイドデータの生成は、病理画像のスライド1枚分が揃った時点において、バッチ処理として行われる。ビューワコンピュータ500からの画像要求と同期して少しずつ生成されるわけではない。生成されたガイドデータは、ガイドデータ格納部44に格納される。
ガイドデータ格納部44は、ガイドデータ生成部43により生成された病理画像のガイドデータを格納する。格納されているガイドデータは、ビューワコンピュータ500からのガイドデータ要求に対応して、ガイドデータ提供部45を介してビューワコンピュータ500に提供される。
ガイドデータ提供部45は、ビューワコンピュータ500からのガイドデータ要求を受け付け、対応するガイドデータをガイドデータ格納部44から取得し、ビューワコンピュータ500に送信する。
なお、イメージ管理サーバ400とビューワコンピュータ500とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ400上に限定されるものではなく、クライアント側であるビューワコンピュータ500上において実行される構成でもよい。
[ビューワコンピュータ500の機能ブロック]
次に、ビューワコンピュータ500の機能ブロックについて説明する。ビューワコンピュータ500の主な機能は、病理医であるユーザからの操作指示を受け付け、対応する病理画像およびガイドデータをイメージ管理サーバ400から取得し、ユーザに対し表示することである。図6は、ビューワコンピュータ500の機能ブロックを示す図である。
ビューワコンピュータ500は、ガイドデータ取得部51、画像取得部52、入力制御部53(入力部)、表示制御部54(表示制御部)、移動先計算部55(制御部)、先読み部56(制御部)、モード切替部57(制御部)、およびガイド方向計算部58(制御部)を備えている。
ガイドデータ取得部51は、後述するガイドデータをイメージ管理サーバ400から取得する。病理医であるユーザが観察を行う病理画像をイメージ管理サーバ400から取得してビューワコンピュータ500上に表示するが、その際、まずその病理画像に対応したガイドデータがガイドデータ取得部51により取得される。取得されたガイドデータは、移動先計算部55、先読み部56、およびガイド方向計算部58に渡され、それぞれの目的に応じて利用される。
画像取得部52は、イメージ管理サーバ400から、ユーザが観察をするために指定した病理画像を取得する。また、ユーザが病理画像を拡大縮小したり、表示領域をスクロールしたりして、新たな画像の取得が必要になるたびに、画像取得部52がイメージ管理サーバ400から適切な画像を取得する。
画像の取得は、ユーザの操作に応じて行われると共に、先読み部56による先読みによっても取得される。イメージ管理サーバ400から取得した画像は、表示制御部54を介して、表示部26上に表示される。
入力制御部53は、操作入力部24、例えばキーボードやマウスにより受け付けられたユーザによる操作や、インターフェイス部25を介してコントローラ30、例えばゲームコントローラにより受け付けられた操作を解釈し、関係する各機能ブロックに指示を出す。
例えば、スクロールモードが通常モードであるときに、コントローラ30が傾けられた場合、傾けられた方向および量を認識して、その方向に傾けた量に応じた速度により画像を連続的にスクロールするように、関係する機能ブロックに指示を出す。
表示制御部54は、画像取得部52によりイメージ管理サーバ400から取得された画像や、ユーザが各種操作を入力するためのGUI(Graphical User Interface)などを、表示部26の画面上に表示する。また、表示制御部54は、スクロールモードがガイドモードである場合に、ガイド方向計算部58が計算した位置および方向に、後述する矢印を表示する。
移動先計算部55は、現在画面に表示されている病理画像の表示範囲をどのように動かすか、また、表示範囲を動かした際にどの位置の画像を新たにイメージ管理サーバから読み込むべきかを計算する。
スクロールモードが通常モードである場合は、ユーザによるコントローラ30の操作により受け付けたスクロール方向およびスクロール量に応じて、新しい画面の表示範囲を計算する。スクロールモードがガイドモードである場合は、ガイドデータに基づいたスクロール方向およびスクロール量を計算し、新しい画面の表示範囲を求める。ガイドデータに基づいたスクロール方向およびスクロール量の計算方法については後述する。
先読み部56は、表示部26への画像の表示をスムーズに行う為に、現在の画像の表示範囲や現在行われているユーザ操作などに基づいて、次に表示されると予測される表示範囲に含まれる病理画像を、予めイメージ管理サーバ400から先読みする。先読みする画像の範囲は、スクロールモードが通常モードであるかガイドモードであるかにより大きく異なる。どのモードのときにどの範囲を先読みするかについて、詳細は後述する。
モード切替部57は、入力制御部53を介して、ユーザからスクロールモードの切り替えを受け付ける。モード切替部57は、ユーザにより、スクロールモードが通常モードとガイドモードとの間で切り替えられるたびに、移動先計算部55、先読み部56、およびガイド方向計算部58に指示を出し、それぞれのモードに応じた処理を行わせる。
ガイド方向計算部58は、スクロールモードがガイドモードである場合に、スクロール方向を示す矢印を画面上に表示する際の、矢印の表示位置および表示方向を計算する。計算された表示位置および表示方向は、表示制御部54に伝えられ、表示制御部54および表示部26を介して、画面上の予め定められた位置に、スクロール方向を示す矢印が表示される。
なお、上述のとおり、ビューワコンピュータ500とイメージ管理サーバ400とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックのうち、一部の実行場所は上述のビューワコンピュータ500上に限定されるものではなく、サーバ側であるイメージ管理サーバ400上において実行される構成でもよい。
[針生検画像をビューワにより観察する際の問題点と解決策]
次に、針生検画像をビューワにより観察する際の問題点とその解決策について説明する。まず問題点である。従来は、針生検画像に撮影された細長い検体にそって観察を行う際、ユーザは、スクロール方向を微調整しながら、不規則な検体の形状に沿って表示範囲をスクロールさせなければならなかった。その為、コントローラ30のスティック操作を微調整しながらスクロールしなければならず、画像診断に集中することが困難であるという問題があった。
図7は、コントローラ30のスティックを微調整しながら表示範囲をスクロールさせる例を示す図である。表示範囲をDA1からDA2にスクロールさせるために、ユーザは、コントローラ30のスティックを倒す方向を左下方向に倒し、表示範囲が検体から外れないように倒す方向を微調整している。表示範囲をDA2からDA3にスクロールさせるためには、ユーザは、スティックを右下方向に倒し、同じ様に微調整を繰り返している。
次に解決策である。解決策は、ユーザによるスクロール指示が大雑把なものであっても、ビューワコンピュータ500が不規則な検体の形状に沿って正確に表示範囲をスクロールさせるというものである。
このような方法を採ることにより、例えば、上下方向に細長い検体の場合、ユーザはスクロール方向として大雑把に、「上方向」か「下方向」かを入力するだけで済む。検体の形状に沿ったスクロールはビューワコンピュータ500がやってくれるので、ユーザはコントローラ30のスティックを傾ける方向を微妙に操作する作業から解放される。それ故、ユーザは病理画像の診断に集中する事ができる。
また、ビューワコンピュータ500によるスクロールは、検体の端から端まで行われるので、病理医であるユーザが、検体の一部の領域を見落とすことを防ぐことができる。
なお、この解決策にあたるスクロールモードのことをここではガイドモードと呼び、従来からのユーザが指定した自由な方向にスクロールが行われるスクロールモードを通常モードと呼んで区別を行う。
図8は、コントローラ30のスティックを大雑把に操作しながら表示範囲を正確にスクロールさせる例を示す図である。表示範囲は最初DA1にあり、そこから左下にあるDA2にスクロールさせる。このときユーザが行う操作は、コントローラ30のスティックを、下方向に倒すことである。倒す方向は下方向の成分が入っている角度ならば、右下方向でも左下方向でも真下方向でもよい。この例では、ユーザは真下方向にスティックを倒している。
表示範囲をDA2から右下のDA3にスクロールさせる場合も、ユーザが行うべき操作は、スティックを下方向に倒すだけである。この例では、ユーザがスティックを真下に倒したのに対し、表示範囲は右下にスクロールされている。
なお、上記の解決策を実現するための方法の詳細について、イメージ管理サーバ400およびビューワコンピュータ500が持つべきハードウェアおよび機能ブロックについては、上述のとおりである。その他の詳細については以下に記述する。
[ガイドデータについて]
次に、本技術による解決策である、ビューワコンピュータ500による、検体の形状に沿った正確なスクロールを行う為に必要となるガイドデータについて説明する。なおガイドデータとは、以下に述べる点列の座標の集合のことである。
図9は、病理画像の画像解析を行い、検体の上にガイドデータとなる点列を配した例を示す図である。画像解析の方法については後述する。図には3本の検体が写っている。左側の検体の最上部に最初の点Pが位置する。そこから、検体の中心に沿って、予め定められた間隔により点が定められてゆき、左側の検体の最下部には点P14が配置されている。次の点P15は、中央の検体の最上部に位置し、同様に、中央の検体の最下部にP30が来ている。P30の次の点P31は右側の検体の最上部に続き、最下部にPnが配置されている。
なお、この例では、点列Pn(nは1以上の整数)は、縦に並んだ検体の左側から右側へ、一つの検体の上から下へと順番に並んでいるが、並び方は端から順番に並べる方法であれば、この並び方に限らない。
以下の説明では、点列Pn(nは1以上の整数)のうち、隣り合う点PおよびPj+1(j=1,2,…,n−1)を結んだ線分を点列線分Pj+1と呼ぶ。
ガイドモードでは、ガイドデータの点Pn、または点列線分上の点が表示範囲の中心にくるように、スクロールが行われる。なお、以下では、表示範囲の中心点のことをビューポイントと呼ぶ。
[ガイドデータの計算方法]
次に、イメージ管理サーバ400のガイドデータ生成部43が行う、ガイドデータの計算方法について説明する。ガイドデータである点列Pn(nは1以上の整数)を、検体が撮像された病理画像の解析から求める方法は、検体の中心線を通る点列Pnが得られるのであれば、特に限定されない。
例えば、細長い検体の中央付近では、両側の輪郭線を結んだ線分の内、最も長さが短い線分の中点を用いて点列Pnを求めてもよい。図10は、最も長さが短い線分の中点として、点Pnを求める場合の例を示す図である。
また、例えば、縦に置かれた検体から点列Pnを求める場合、まず検体を水平方向に横切る水平線を定め、検体の水平方向の幅の中心点を用いて点列Pnを求めてもよい。図11は、水平線を定め、検体の水平方向の幅の中心点を用いて点Pnを求める場合の例を示す図である。
[スクロール先となるビューポイントの求め方(その1)]
次に、スクロールモードがガイドモードである場合に、ユーザがコントローラ30のスティックを操作した方向および量に応じて、表示範囲のスクロール先となるビューポイントを求める方法を説明する。
次のビューポイントの設定方法は、ユーザのスティック操作により、次のビューポイント候補が得られたら、そのビューポイント候補の座標から最も近い点列線分上の点を求め、その点を次のビューポイントに設定する方法である。この方法を用いると、検体の置かれた方向が縦方向であっても横方向であっても、適切に次のビューポイントを求めることができる。
図12は、ビューポイント候補から次のビューポイントを求める例を示す図である。次のビューポイント候補Cに最も近い点列線分上の点Qを次のビューポイントとして定める。
[最も近い線分上の点を求めるアルゴリズムについて]
次に、ビューポイント候補Cに最も近い点列線分上の点Qを求めるアルゴリズムについて説明する。図13を用いて説明する。図13は、ビューポイント候補Cに最も近い点列線分上の点Qを求めるアルゴリズムを示す図である。
まず、ビューポイント候補の点Cと点列線分の一つである線分Pj+1が与えられたとき、PjCを結ぶベクトルaとPj+1を結ぶベクトルbの内積a・bを計算する。
i)a・b≦0の場合
a・b=|a||b|cosθ≦0よりcosθ≦0
よってPjが最も近い点となる。(図13の上側の図参照)
ii)a・b>0の場合
|a|cosθ≦|b|ならQが最も近い点となる。(図13の中央の図参照)
|a|cosθ>|b|ならPj+1が最も近い点となる。(図13の下側の図参照)
次に、上記の計算を、ビューポイント候補の点Cと、全ての点列線分Pj+1(j=1,2,…,n−1)に対して適用し、その中で最も距離が短い点を求める。
最後に、最も距離が短い点として求められた点を、次のビューポイントに設定する。
[スクロール先となるビューポイントの求め方(その2)]
上記では、ビューポイント候補Cに最も近い点列線分上の点Qを次のビューポイントとして定めるアルゴリズムを説明した。ここでは、それ以外のアルゴリズムを用いて次のビューポイントを求める方法を説明する。図14は、この別のアルゴリズムを説明する図である。
まず、ビューポイント候補の点Cから、水平方向および垂直方向に、点列線分に向かって補助線を伸ばす。水平方向に伸ばした補助線が点列線分と交わった点を点Qとし、垂直方向に伸ばした補助線が点列線分と交わった点を点Qとする。
次に、線分CQと線分CQとの長さを比較し、短いほうを選択する。図14では、線分CQのほうが短いのでこちらが選択される。
最後に、選択した線分を構成する、点列線分上の点を次のビューポイントに設定する。図14の例では、点Qが次のビューポイントとなる。
[エッジポイントの処理について]
次に、エッジポイントの処理について説明する。エッジポイントとは、検体の上に並ぶ点列の点のうち、最も端にある点のことである。図15は、点列を構成する点の内、どの点がエッジポイントであるかを示す図である。この図では、点P、P14、P15、P30、P31、Pの6個の点がエッジポイントである。
エッジポイントの処理とは、図15を例にとると、ビューポイントが左側の検体の点P14まで下がってきたとき、次の表示範囲を、P14より下に移動させるのではなく、ビューポイントを中央の検体の最上部の点P15に移す処理である。
このように処理を行うことにより、最初の検体の端まで観察した後、ユーザが次の検体の端を探してそこから再度観察を開始する場合に比べ、格段に観察位置を探す手間を省くことができる。
なお、エッジポイントの処理は、スクロールモードがガイドモードである場合のみ有効である。
[ガイド線の表示について]
ガイド線とは、検体の画像の上に、点列線分を実際の線として表示したものである。
図16は、ガイド線が、ビューワ画面上において表示される例を示す図である。この図にあるように、ビューワ画面60は、ビューワ画面60の右上に示されるサムネイルマップ61と、病理画像を観察するための観察領域62とから構成されている。サムネイルマップ61上には、画像全体の縮小画像と、観察領域62に表示されている画像の範囲をサムネイルマップ61上において等価的に示す枠FRと、ガイド線GLとが表示されている。
枠FRは、サムネイルマップ61上において、ユーザからの指示によって観察領域62に表示されている画像がスクロールするたびに、そのスクロールに応じて移動が行われる。
ガイド線GLがサムネイルマップ61上に表示されることにより、ユーザは、スクロールモードがガイドモードである場合に、スクロールがどのように行われるかを予め知る事ができる。
なお、ガイド線GLがサムネイルマップ61上に表示されるのは、スクロールモードがガイドモードの場合に限らず、スクロールモードが通常モードのときであってもよい。ガイド線GLにより、検体の中心線の位置がわかるからである。
また、上記では、ガイド線GLがサムネイルマップ61上に表示されるとしたが、これに限らず、ガイド線GLが観察領域62上に表示される構成でもよい。ガイド線GLが観察領域62上に表示される構成では、さらに、ガイド線GLの表示のオンオフができる構成であることが望ましい。病理医による画像診断の妨げになることを防ぐためである。
[スクロールモードの切り替えについて]
ビューワ画面に表示された病理画像をスクロールする際のスクロールモードには、上述のとおり、通常モードとガイドモードがある。通常モードでは、ユーザが自由にスクロール方向やスクロール量を決めてスクロールを行うことができるのに対し、ガイドモードでは、ユーザによるスクロール指示が修正され、ガイド線に沿ったスクロールが行われる。
通常モードとガイドモードとの切り替えは、ユーザからの指示により行われる。例えば、ユーザがコントローラ30の右側のスティックを押し込む操作をすると、入力制御部53がそれを検知し、モード切替部57に通知することにより、モード切替部57がスクロールモードを切り替える。
なお、上記の説明では、スクロールモードは、通常モードとガイドモードとの間において切り替えられるものであるとした。その場合、二つのモードは同時に併存はしない。
しかし、両方のモードが併存する構成を採ることもできる。例えば、ユーザは、コントローラ30の右スティックを傾けることにより、ガイドモードにおいて規定されたスクロールが行われるが、その後に、ユーザがコントローラ30を傾けることにより、表示範囲の中心がビューポイントから外れるスクロールが行われてもよい。
このように、モード切替部57がユーザによる操作が何を用いて行われたかを判定することにより、通常モードとガイドモードとが自動的に相互に切り替わる構成を採ることができる。この構成により、ユーザがスクロールモードの切り替えを指示する手間を省くことができる。
[ガイド方向の表示について]
スクロールモードがガイドモードである場合に、ユーザに対し、どのようにスクロールが行われるかを示す方法として、上記では、サムネイルマップ61上に示されるガイド線GLについて説明した。これ以外の方法として、ビューワ画面60の観察領域62上に、検体の方向、すなわちガイドモードにおいてスクロールが行われる方向を示す矢印を表示させることもできる。
図17は、ビューワ画面60の観察領域62上に、スクロール方向を示す矢印ARを表示させる例を示す図である。矢印AR以外は、図16において示したビューワ画面と同様なので、説明は省略する。
観察領域62上にこの矢印ARが表示されることにより、ユーザは、ガイドモードのときに画像のスクロールがどちらの方向へ行われるかを予め知ることができる。この矢印ARは、ガイドモードのときのみならず、通常モードのときも表示される構成でもよい。上記の説明ではこの矢印ARがスクロールの方向を示すとしたが、この矢印ARは、同時に観察領域62外のどの方向に検体の画像が伸びているかも示しているため、通常モードにおいてユーザが自由なスクロールを行う際も、矢印ARにより示される情報は有用だからである。
なお、矢印ARの表示位置および方向は、ガイド方向計算部58により計算される。計算方法は、例えば、図17に示した例の場合、検体の上を通っている点列線分上の点であって、観察領域42の縁から予め定められた距離にある点を求め、その点の上に、点列線分の方向に合わせて矢印を表示する方法がある。
[スクロール方法のまとめ]
ここで、画像のスクロール方法の流れをまとめておく。図18は、スクロール方法の流れを示すフローチャートである。
まず、入力制御部53が、コントローラ30の傾きやコントローラ30上のスティックの傾きを検知して、ユーザが入力したスクロール方向およびスクロール量を受け付ける(ステップS1)。
次に、移動先計算部55が、ビューポイントの移動先候補を計算する(ステップS2)。
スクロールモードが通常モードである場合は(ステップS3のN)、ステップS2において計算された移動先候補をそのまま次のビューポイントをして設定する。ビューポイントの移動先を計算する際に、スクロールモードがガイドモードである場合は(ステップS3のY)、ガイドデータに基づき、ビューポイントの移動先を補正して次のビューポイントを設定する(ステップS4)。
ビューポイントの移動先がエッジポイントとなる場合は(ステップS5のY)、次の検体(ライン)上のエッジポイントを次のビューポイントに設定する(ステップS6)。
最後に、表示制御部54が、次のビューポイントに該当する画像を画像取得部52を介してイメージ管理サーバ400から取得し、することにより、設定された次のビューポイントへ、実際のスクロールを行う(ステップS7)。
以上の流れに沿って、病理画像のスクロールは行われることになる。
[画像の先読みについて]
次に画像の先読みについて説明する。
画像の先読みは、通常、スクロール時の新しい表示範囲の表示を高速に行う為に行われる。現在の表示範囲の周辺を先読みしてキャッシュに置いておくことにより、表示の高速化が実現される。
先読みする範囲は、状況により大きく異なる。図19は、先読みする対象の範囲を示す図である。例えば、ある領域が表示され、何もスクロール操作が行われていない静止時には、図19の左側に示すように、現在表示している領域の周辺全てが先読みの対象となる。また、図19の右側にあるように、ある領域が表示された状態からスクロール操作が行われている場合は、スクロール方向が右上なので、先読みの対象となる範囲は、現在の表示領域の右側および上側となる。
このように、先読みを行う範囲は状況によって大きく異なる上、表示範囲の移動先が必ずしも予測した通りにはならないため、先読みした画像が使われないこともあり、先読みの効率(先読みキャッシュのヒット率)は良いとは限らなかった。
しかし、本技術によるガイドモードでのスクロールの場合は、状況が異なってくる。スクロールを行う際の、表示範囲の中心となるビューポイントは、点列線分上、すなわちガイド線GL上を一軸方向に移動するだけであり、次の表示範囲の予測を容易にかつ確実に行うことができる。そのため、先読みキャッシュのヒット率は高く、先読みを行うことは表示を高速化するために非常に有効な手段となる。
図20は、先読みの具体例を示す図である。現在の表示範囲DA1からみて上下方向それぞれに、ガイド線GLに沿った領域が、先読み範囲PR1、PR2、PR3、およびPR4である。
なお、図21に示すように、現在の表示範囲DA1のビューポイントがエッジポイントにかかる場合でも、先読み範囲PR1を正しく読み込むことができる。
[先読み処理の流れについて]
次に、先読み処理の流れについて説明する。図22は、先読み処理の流れを示すフローチャートである。
まず、先読み部56が、現在のスクロールモードがガイドモードであるか否かを判断する(ステップS11)。ガイドモードではない場合は(ステップS11のN)、何もしないで終了する。
次に、先読み部56は、移動先計算部55から、次のビューポイントの位置を取得する(ステップS12)。
次に、先読み部56は、次のビューポイントの位置に対応した画像がキャッシュにあるかどうかを確認する(ステップS13)。もし画像がキャッシュに無い場合は(ステップS13のN)、新たに画像を先読みする(ステップS14)。
最後に、現在のビューポイントの位置を、次のビューポイントの位置を用いて更新しておく(ステップS15)。
以上が、先読みを行う際の処理の流れである。なお、ステップS11では、スクロールモードがガイドモードではない場合は、何もせず終了するとしたが、通常モードの場合も、効率は悪くなるが、先読み処理を行う構成でもよい。
[先読みによる効果について]
スクロールモードがガイドモードである場合に、先読みを行う事による効果について述べる。
まず、上述したように、先読みキャッシュのヒット率があがるので、ビューワコンピュータ500が使用するネットワーク300が低スループット環境にある場合のビューワの使用感が向上する。
また、無駄な画像データの先読みが少なくなるので、ネットワーク帯域を有効に活用することができる。
[その他の先読み例について]
上記では、ガイドモードのときに、ガイド線GLに沿って、画像の先読みを行う方法を示した。これ以外に、病理診断において、画像の先読みを行う方法として、例えば、病理医の癖を学習し、その癖に基づいて先読みを行う方法が考えられる。また、病理画像上にアノテーションが打たれた個所の近傍を優先的に先読みすることも考えられる。
また、先読みキャッシュの予測ヒット率の高さとして先読み信頼度を求め、この先読み信頼度が高い場合は、一度に多くの先読み画像をイメージ管理サーバ400に要求することが考えられる。この場合、多くの画像をまとめて伝送するので、伝送効率を高めることができる。
[本技術の別の構成]
なお、本技術は以下のような構成も採ることができる。
(1)検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、前記ガイド情報は、前記病理画像上の検体の中心線上に予め定められた間隔により検体全体に設定される点の前記病理画像上の位置情報の並びである情報処理装置。
(3)前記(1)または(2)に記載の情報処理装置であって、前記制御部は、前記指示のみをもとに算出される前記観察画像の前記病理画像上の範囲の中心点を第1の中心点とし、当該第1の中心点に対応する、前記ガイド情報に含まれる隣接する点を結んだ線分上の点を第2の中心点として、当該第2の中心点を持つ前記観察画像の前記病理画像上の範囲を算出する情報処理装置。
(4)前記(1)から(3)のうちいずれか1つに記載の情報処理装置であって、前記制御部は、前記線分上の、前記第1の中心点に最も近い点を第2の中心点とする情報処理装置。
(5)前記(1)から(3)のうちいずれか1つに記載の情報処理装置であって、前記制御部は、前記第1の中心点から水平方向および垂直方向に引いた補助線が前記線分と交わった点のうち当該第1の中心点に最も近い点を第2の中心点とする情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、前記制御部は、前記ガイド情報と前記入力部が受け付けると予測される前記指示とに基づいて予測される前記観察画像を前記記憶部から先読みする情報処理装置。
(7)前記(1)から(6)のうちいずれか1つに記載の情報処理装置であって、前記制御部は、前記指示と前記ガイド情報とに基づいて前記観察画像の前記病理画像上の範囲を算出するガイドモードと、前記指示のみに基づいて前記観察画像の前記病理画像上の範囲を算出する通常モードとを切り替える情報処理装置。
(8)前記(7)に記載の情報処理装置であって、前記制御部は、前記入力部が受け付けた前記ユーザによる明示的なモード切り替え指示に基づき前記ガイドモードと前記通常モードとを切り替える情報処理装置。
(9)前記(7)に記載の情報処理装置であって、前記制御部は、前記ガイドモードのときに前記入力部が受け付ける前記指示の入力方法を第1の入力方法とし、前記通常モードのときに前記入力部が受け付ける、前記第1の入力方法とは異なる前記指示の入力方法を第2の入力方法として、いずれの入力方法により前記指示が入力されたかを判定し、当該判定に基づき前記ガイドモードと前記通常モードとを切り替える情報処理装置。
(10)前記(1)から(9)のうちいずれか1つに記載の情報処理装置であって、前記表示制御部は、前記検体の一部が観察画像として表示されている前記画面上に、当該検体の、当該観察画像から外れた部分が続く位置および方向を示す矢印を表示する情報処理装置。
(11)前記(1)から(10)のうちいずれか1つに記載の情報処理装置であって、前記表示制御部は、前記ガイド情報を前記画面上に表示する情報処理装置。
(12)前記(1)から(10)のうちいずれか1つに記載の情報処理装置であって、前記表示制御部は、前記ガイド情報を前記病理画像の全体が表示されるサムネイルマップ上に表示する情報処理装置。
(13)前記(1)から(12)のうちいずれか1つに記載の情報処理装置であって、傾きセンサを有するコントローラをさらに具備し、前記ユーザは、当該コントローラを傾けることにより前記指示を入力する情報処理装置。
(14)前記(1)から(13)のうちいずれか1つに記載の情報処理装置であって、前記ガイド情報は、前記病理画像に撮影された前記検体が複数ある場合、1つの前記検体の端の前記観察画像に続いて別の前記検体の端が前記観察画像になるように前記制御部に前記病理画像上の範囲を算出させる情報処理装置。
(15)記憶部が、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶し、表示制御部が、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示し、入力部が、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付け、制御部が、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する情報処理方法。
(16)検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部、および前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部としてコンピュータを動作させる情報処理プログラム。
(17)検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、記憶された前記病理画像および前記ガイド情報をクライアントコンピュータに提供する提供部とを具備するサーバコンピュータと、前記サーバコンピュータから前記病理画像および前記ガイド情報を取得する取得部と、前記取得された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記取得されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備するクライアントコンピュータとからなる情報処理システム。
10…顕微鏡
20…スキャナ用コンピュータ
21…CPU
22…ROM
23…RAM
24…操作入力部
25…インターフェイス部
26…表示部
27…記憶部
28…ネットワークインターフェイス部
29…バス
30…コントローラ
41…画像格納部
42…画像提供部
43…ガイドデータ生成部
44…ガイドデータ格納部
45…ガイドデータ提供部
51…ガイドデータ取得部
52…画像取得部
53…入力制御部
54…表示制御部
55…移動先計算部
56…先読み部
57…モード切替部
58…ガイド方向計算部
60…ビューワ画面
61…サムネイルマップ
62…観察領域
100…スキャナ
300…ネットワーク
400…イメージ管理サーバ
500…ビューワコンピュータ
本技術は、針生検画像を閲覧する際に、閲覧個所をガイドする表示方法、プログラムおよび病理システムに関する。
以上のような事情に鑑み、本技術の目的は、針生検画像を閲覧する際に、閲覧個所をガ
イドすることにより、ユーザが表示領域を適切に移動させることが容易に行える表示方法、プログラムおよび病理システムを提供することにある。

Claims (8)

  1. 検体の病理画像の少なくとも一部の第一の領域を画面に表示する表示制御部と、
    前記画面に表示された前記第一の領域を変更するためのユーザからの指示を受け付ける入力部と、
    前記第一の領域の変更のモードを通常モードとガイドモードとで切り替えるモード切替部と、
    前記通常モードの場合、前記病理画像の第一の領域、及び前記指示に基づき、前記病理画像の表示範囲を決定し、前記ガイドモードの場合、前記病理画像の第一の領域、前記指示、及び前記病理画像に付された、点列の座標からなるガイドデータに基づき、前記病理画像の表示範囲を決定する制御部を
    具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記ガイドモードの場合、前記ガイドデータが付与された箇所が前記画面の中心にくるよう、前記表示範囲を決定する
    情報処理装置。
  3. 請求項1または2に記載の情報処理装置であって、
    前記入力部が、傾きセンサを有するコントローラである
    情報処理装置。
  4. 請求項3に記載の情報処理装置であって、
    前記コントローラは、スティックが一定方向に倒されて保持されたこと、または前記コントローラの本体が一定量傾けて保持されたことを、前記病理画像の表示範囲を連続的に変更する指示として受け付ける
    情報処理装置。
  5. 請求項1ないし4のいずれか1項に記載の情報処理装置であって、
    前記表示範囲に対応する、前記病理画像の所定の領域を画像管理装置より取得する
    情報処理装置。
  6. 請求項1ないし4のいずれか1項に記載の情報処理装置であって、
    前記制御部は、前記ガイドモードの場合、スクロール方向を示す情報を前記画面に表示するよう制御する
    情報処理装置。
  7. 検体の病理画像の少なくとも一部の第一の領域を画面に表示し、
    前記第一の領域の変更のモードとして通常モードが設定されている場合、ユーザからの前記第一の領域を変更するための指示に基づき前記病理画像の表示範囲を決定し、
    前記第一の領域の変更のモードとしてガイドモードが設定されている場合、ユーザからの前記指示と前記病理画像に付された点列の座標からなるガイドデータに基づき、前記病理画像の表示範囲を決定する
    情報処理方法。
  8. 検体の病理画像の少なくとも一部の第一の領域を画面に表示する表示制御部と、
    前記画面に表示された前記第一の領域を変更するためのユーザからの指示を受け付ける入力部と、
    前記第一の領域の変更のモードを通常モードとガイドモードとで切り替えるモード切替部と、
    前記通常モードの場合、前記病理画像の第一の領域、及び前記指示に基づき、前記病理画像の表示範囲を決定し、前記ガイドモードの場合、前記病理画像の第一の領域、前記指示、及び前記病理画像に付された点列の座標からなるガイドデータに基づき、前記病理画像の表示範囲を決定する制御部として
    コンピュータを動作させる情報処理プログラム。
JP2019043924A 2012-06-14 2019-03-11 表示方法、プログラムおよび病理システム Active JP6816782B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012134441 2012-06-14
JP2012134441 2012-06-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017012242A Division JP6497397B2 (ja) 2012-06-14 2017-01-26 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019135488A true JP2019135488A (ja) 2019-08-15
JP6816782B2 JP6816782B2 (ja) 2021-01-20

Family

ID=49757844

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014520891A Expired - Fee Related JP6083435B2 (ja) 2012-06-14 2013-05-21 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP2017012242A Expired - Fee Related JP6497397B2 (ja) 2012-06-14 2017-01-26 情報処理装置、情報処理方法、および情報処理プログラム
JP2019043924A Active JP6816782B2 (ja) 2012-06-14 2019-03-11 表示方法、プログラムおよび病理システム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014520891A Expired - Fee Related JP6083435B2 (ja) 2012-06-14 2013-05-21 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP2017012242A Expired - Fee Related JP6497397B2 (ja) 2012-06-14 2017-01-26 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (4)

Country Link
US (2) US10460075B2 (ja)
EP (2) EP2863204B1 (ja)
JP (3) JP6083435B2 (ja)
WO (1) WO2013186995A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186995A1 (ja) * 2012-06-14 2013-12-19 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5791744B1 (ja) * 2014-03-18 2015-10-07 株式会社ドワンゴ 端末装置、動画表示方法、及びプログラム
US9442857B2 (en) * 2014-10-03 2016-09-13 Adobe Systems Incorporated Dynamic memory estimations for memory bounded applications
US9957281B2 (en) 2015-07-22 2018-05-01 Enanta Pharmaceuticals, Inc. Benzodiazepine derivatives as RSV inhibitors
US20170226129A1 (en) 2016-01-15 2017-08-10 Enanta Pharmaceuticals, Inc. Heterocyclic compounds as rsv inhibitors
EP3582784B1 (en) 2017-02-16 2022-06-08 Enanta Pharmaceuticals, Inc. Processes for the preparation of benzodiazepine derivatives
JP7198811B2 (ja) 2017-09-29 2023-01-04 エナンタ ファーマシューティカルズ インコーポレイテッド Rsv阻害剤としての組み合わせ医薬剤
IL274534B (en) 2017-11-13 2022-07-01 Enanta Pharm Inc Processes for the separation of 2-one benzodiazepines and 2-one benzodiazepine derivatives
JP6947098B2 (ja) * 2018-03-26 2021-10-13 富士通株式会社 画像処理装置、方法、及びプログラム
US10792568B1 (en) * 2018-09-24 2020-10-06 Amazon Technologies, Inc. Path management for virtual environments

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280655A (ja) * 1995-04-18 1996-10-29 Toshiba Corp 血管像の定量解析装置
JPH10307571A (ja) * 1997-05-09 1998-11-17 Mutoh Ind Ltd 表示画面のスクロール方式
JP2001510894A (ja) * 1997-07-17 2001-08-07 アキュメッド インターナショナル インコーポレイテッド 検体の下調べ機能を備えた検査体系
US20050078182A1 (en) * 2003-09-29 2005-04-14 Lipsky Scott E. Method and system for specifying a pan path
JP2006105695A (ja) * 2004-10-01 2006-04-20 Sysmex Corp 細胞画像表示方法、細胞画像表示システム、細胞画像表示装置、及びコンピュータプログラム
JP2010507150A (ja) * 2006-10-11 2010-03-04 ダッソー システムズ 三次元画像の追従方法
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
JP2011118479A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011227630A (ja) * 2010-04-16 2011-11-10 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP6083435B2 (ja) * 2012-06-14 2017-02-22 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152528A (ja) * 1993-11-26 1995-06-16 Fujitsu Ltd 画面スクロール装置及び方法
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
GB0407336D0 (en) * 2004-03-31 2004-05-05 British Telecomm Pathfinding system
US8463741B2 (en) * 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
JP2012014640A (ja) * 2010-07-05 2012-01-19 Sony Computer Entertainment Inc 画面出力装置、画面出力システム、および画面出力方法
JP6054390B2 (ja) 2011-07-21 2016-12-27 ザ ルブリゾル コーポレイションThe Lubrizol Corporation カルボン酸ピロリジノンおよびその使用方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280655A (ja) * 1995-04-18 1996-10-29 Toshiba Corp 血管像の定量解析装置
JPH10307571A (ja) * 1997-05-09 1998-11-17 Mutoh Ind Ltd 表示画面のスクロール方式
JP2001510894A (ja) * 1997-07-17 2001-08-07 アキュメッド インターナショナル インコーポレイテッド 検体の下調べ機能を備えた検査体系
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法
US20050078182A1 (en) * 2003-09-29 2005-04-14 Lipsky Scott E. Method and system for specifying a pan path
JP2006105695A (ja) * 2004-10-01 2006-04-20 Sysmex Corp 細胞画像表示方法、細胞画像表示システム、細胞画像表示装置、及びコンピュータプログラム
JP2010507150A (ja) * 2006-10-11 2010-03-04 ダッソー システムズ 三次元画像の追従方法
JP2011118479A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011227630A (ja) * 2010-04-16 2011-11-10 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP6083435B2 (ja) * 2012-06-14 2017-02-22 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Also Published As

Publication number Publication date
JP6497397B2 (ja) 2019-04-10
EP2863204A4 (en) 2016-07-13
WO2013186995A1 (ja) 2013-12-19
JP6083435B2 (ja) 2017-02-22
EP3276332A2 (en) 2018-01-31
EP2863204A1 (en) 2015-04-22
JP6816782B2 (ja) 2021-01-20
JPWO2013186995A1 (ja) 2016-02-04
EP2863204B1 (en) 2017-11-01
US20200035336A1 (en) 2020-01-30
EP3276332A3 (en) 2018-04-18
US10460075B2 (en) 2019-10-29
JP2017134075A (ja) 2017-08-03
US20150169826A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP6497397B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US10324602B2 (en) Display of 3D images
JP5563633B2 (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9164621B2 (en) Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium
JP4688739B2 (ja) 情報表示装置
JP2004078693A (ja) 視野移動操作方法
JP2012115519A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2014045966A (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US10185804B2 (en) Input apparatus and information processing system
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US20130234937A1 (en) Three-dimensional position specification method
KR20130052538A (ko) 화상 표시 장치 및 화상 표시 제어 방법 및 프로그램
EP1990668A2 (en) Microscopic-measurement apparatus
JP6049885B2 (ja) カーソル位置制御装置、カーソル位置制御方法、プログラム及び情報記憶媒体
JP6485831B2 (ja) 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
JP5289797B2 (ja) 細胞画像表示システム、細胞画像表示装置およびコンピュータプログラム
JP2014063448A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US9159300B2 (en) Seat layout display apparatus, seat layout display method, and program thereof
JP6024293B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2010107199A (ja) 携帯型ナビゲーション装置
JP2014131754A (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
JP2017159149A (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
JP2018073310A (ja) 表示システム、表示プログラム
JP5463455B2 (ja) 地図表示装置および地図表示方法
JP2000148345A (ja) 表示方法および装置並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151