JP2014021583A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP2014021583A
JP2014021583A JP2012157241A JP2012157241A JP2014021583A JP 2014021583 A JP2014021583 A JP 2014021583A JP 2012157241 A JP2012157241 A JP 2012157241A JP 2012157241 A JP2012157241 A JP 2012157241A JP 2014021583 A JP2014021583 A JP 2014021583A
Authority
JP
Japan
Prior art keywords
image
display
pathological image
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012157241A
Other languages
English (en)
Inventor
Hiroshi Hasegawa
寛 長谷川
Koji Ogura
浩次 小倉
Masato Kajimoto
雅人 梶本
Masashi Kimoto
雅士 木元
Yoichi Mizutani
陽一 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012157241A priority Critical patent/JP2014021583A/ja
Priority to US13/910,496 priority patent/US20140015949A1/en
Priority to CN201310280807.0A priority patent/CN103544370A/zh
Publication of JP2014021583A publication Critical patent/JP2014021583A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できるようにするための情報処理装置、情報処理方法、および情報処理プログラムを提供する。
【解決手段】病理画像を取得する取得部と、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部と、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部とを具備する。
【選択図】図7

Description

本技術は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法、および情報処理プログラムに関する。
医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。
例えば、特許文献1に記載の方法では、顕微鏡により光学的に得られた画像が、CCD(Charge Coupled Device)を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う(例えば、特許文献1の段落[0027]、[0028]、図5参照)。
また、病理医が病理画像内の観察見落としを防ぐ手段として、病理画像を観察した履歴を記録する技術が公開されている(例えば、特許文献2)。
特開2009−37250号公報 特開2011−112523号公報
一般的に、顕微鏡の観察領域は、観察倍率が高いほど観察対象物の全体に対して狭くなる。例えば病理医は、顕微鏡を用いて観察対象物の全体を走査するように観察し、その全体の中の一部を特に高倍率で観察して対象物を検査することが多い。このような検査において、病理医が観察対象物のうち見ていない領域に疾患があった場合、つまり見落としがあった場合、後に重大な問題となることもある。
以上のような事情に鑑み、本発明の目的は、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できるようにするための情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
本発明の別の目的は、その観察対象物が病理画像である場合、個人情報を保護できる情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
本発明のさらに別の目的は、その観察対象物を扱う業界における教育用に有用な情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
(1)上記目的を達成するため、本技術の一形態に係る情報処理装置は、病理画像を取得する取得部と、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、前記病理画像における前記部分表示領域の少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部と、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部とを具備する。
本技術では、まずユーザである病理医が観察する病理画像をサーバから取得し、その病理画像の一部を表示部上の部分表示領域に表示する。そしてユーザは、その部分表示領域を病理画像上で移動させることにより、病理画像の別の個所を表示部に表示し観察する。記録部は、ユーザが観察過程において部分表示領域に表示させた画像の少なくとも位置情報(座標および倍率)を、表示を行った時刻と対応づけて表示履歴として記録する。この表示履歴と観察に使用した病理画像があれば、ユーザは、再現部を用いて、病理画像の観察の過程を再現し、病理画像のどの部分が表示され観察に用いられたかを確認することができる。それ故、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避できる。
(2)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記再現部は、前記病理画像における前記部分表示領域の前記移動を実時間に対応した時間で再現する構成でもよい。
この構成により、例えば、1時間かけて観察を行ったという表示履歴である場合、その再現にも1時間をかけるので、病理画像を観察する際の時間配分を忠実に再現でき、観察を行う感覚を実体験することができる。
(3)上記目的を達成するため、本技術の一形態に係る情報処理装置は、病理画像を観察するユーザの存在を検知する検知部をさらに具備し、前記記録部は、前記ユーザの存在が検知されている間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する構成でもよい。
この構成により、記録部は、病理画像を観察するユーザが確かにいる場合だけ、表示履歴を記録する。ユーザが病理画像の表示を行ったまま離席した場合などには記録は行われず、確かに観察している場合のみ記録されるので、表示履歴の正確性を向上させることができる。
(4)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記検知部は、前記ユーザの顔を撮影するカメラと、前記カメラに前記顔が撮影されているか否かを検出する顔検出部とを有し、前記記録部は、前記顔検出部が前記顔を検出している間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する構成でもよい。
この構成により、病理画像を観察するユーザを検知するために、カメラと顔検知アルゴリズムを用いるので、確かにユーザが病理画像を見ているときに表示履歴を記録できるので、表示履歴の正確性をさらに向上させることができる。
(5)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記記録部はさらに、前記部分表示領域として表示された範囲のうち、同一範囲の表示時間が、予め定められた時間を超えると、当該範囲を画像として記録する構成でもよい。
この構成により、予め定められた時間よりも長い時間に亘って、ユーザが病理画像の一部を観察した場合、その部分が重要な部分である可能性が高くなるので、表示履歴とは別にその部分をスナップショットとして撮影しておく。そうすることにより、表示履歴を再現しなくても、重要な個所の画像を観察することができる。
(6)上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部をさらに具備する構成でもよい。
この構成では、部分表示領域を病理画像上で移動させた軌跡を、直接病理画像に記録するのではなく、病理画像に合成される被合成画像の各画素の値を調整することにより行う。この値とは、例えば画素の透明度を表す値である。病理画像の上に重ね合わせる被合成画像として単色の画像を用意しておき、その透明度を部分表示領域への表示時間に応じて変えてゆくことで、あたかも病理画像上に部分表示領域に表示された個所の軌跡を記録しているように表示させることができる。病理画像と被合成画像が合成された軌跡画像上には、部分表示領域が移動した軌跡として位置と時間が記録されることになる。それ故、ユーザは軌跡画像を見ることにより、どの部分をどれくらいの時間をかけて観察したか把握でき、病理画像の見落としの危険を回避することができる。
(7)上記目的を達成するため、本技術の一形態に係る情報処理方法では、取得部が、病理画像を取得し、表示部が、取得した前記病理画像の少なくとも一部を部分表示領域として表示し、入力部が、前記部分表示領域を移動させる指示をユーザから受け付け、記録部が、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録し、再現部が、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する。
(8)上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、病理画像を取得する取得部、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部、前記部分表示領域を移動させる指示をユーザから受け付ける入力部、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部、および前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部としてコンピュータを機能させるものである。
以上のように、本技術によれば、ユーザによる顕微鏡での観察対象物の見落としの危険性を回避することができる。
本技術に係るビューワコンピュータ500の典型的な使用環境を表した図である。 本技術に係るビューワコンピュータ500のハードウェアの構成を示すブロック図である。 イメージ管理サーバ400の機能ブロックを示す図である。 ビューワコンピュータ500の機能ブロックを示す図である。 ビューワ画面の例を示す図である。 表示記録再生GUIの例を示す図である。 ビューワ操作による画面表示の履歴を記録・再生する流れ、およびユーザの離席に関する処理の流れを説明するシーケンス図である。 表示履歴のフォーマットの例を示す図である。 病理全体画像と表示の軌跡が合成された軌跡画像を示す図である。 病理全体画像Aとマスク画像Bが別の画像であり、それらを重ね合わせている様子を示す図である。 アルファ値の増え方を表したグラフである。 一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。 軌跡画像を生成する処理の流れを説明するフローチャートである。 ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表した図である。 ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表示軌跡として記録した例を示す図である。 本技術の各機能の関係を全体的な処理の流れの中で説明するフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ビューワコンピュータの使用環境について]
最初に、病理診断において、検体を顕微鏡を用いて撮影したバーチャルスライド画像(病理画像)を用いて病理医が診断を行う環境の全体像を説明する。病理医は、ビューワコンピュータ上のビューワを用いて、病理画像を観察し、画像診断を行う。図1は、本技術に係るビューワコンピュータ500の典型的な使用環境を表した図である。
顕微鏡10およびスキャナ用コンピュータ20からなるスキャナ100は、病院内の組織学ラボHLに設置されている。顕微鏡10により撮影されたRAW画像は、スキャナ用コンピュータ20上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、8bit化処理などの画像処理が行われる。その後、縦横256ピクセルのタイル状に分割され、JPEG(Joint Photographic Experts Group)画像に変換され圧縮された後、ハードディスクHD1上に格納される。
スキャナ用コンピュータ20のハードディスクHD1に格納されたJPEG画像は、次に、同じ病院内のデータセンタDCにあるイメージ管理サーバ400上のハードディスクHD2に、ネットワーク300を経由してアップロードされる。
観察者である病理医は、病院内の病理学室PRまたは病院外の建物EXにいてイメージ管理サーバ400とネットワーク300により接続されたビューワコンピュータ500を用いて、イメージ管理サーバ400のハードディスクHD2に格納されたJPEG画像を観察する。
また、観察者である病理医は、ビューワコンピュータ500に指示することにより、自分がJPEG画像を観察する際に行った操作により、JPEG画像の表示がビューワ画面上においてどう変化したかを表示履歴として記録させることができる。記録された表示履歴は、ネットワーク300を介してイメージ管理サーバ400に送られ、格納される。
さらに、病理医は、ビューワコンピュータ500に指示することにより、イメージ管理サーバ400に格納された表示履歴を呼び出し、ビューワ上において、以前行われたJPEG画像の観察の様子を再現させることができる。
[本技術の概要]
次に、本技術の概要を説明する。これまで、ビューワコンピュータ500を用いて病理画像を観察した軌跡を病理画像上に画像として重ねて記録することは行われてきた。しかし、より忠実に、病理医が画像診断を行った際の画面表示の状態を再現することが望まれてきた。そこで本技術では、病理医が画像診断を行った際のビューワ画面を表示履歴として「録画」し、後にその「録画」を動画のように再生することにより、忠実な画面表示の状態の再現を行っている。
このような記録を行うことにより、病理画像の見落としが無かったかを後で検証することができる。また、後で、病理画像を見たことを証明することができる。また、観察行為の忠実な再現であるので、病理医の教育上有用な教材とすることができる。
また、本技術では、カメラを用いて病理画像を観察する病理医が確かにビューワを見ていることを検出することにより、「録画」やその他の記録の正確性を向上させている。
[ビューワコンピュータ500の構成について]
次に、ビューワコンピュータ500のハードウェア構成について説明する。
図2は、本技術に係るビューワコンピュータ500のハードウェアの構成を示すブロック図である。
ビューワコンピュータ500は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令が入力される操作入力部24(入力部)を備える。ビューワコンピュータ500はさらに、インターフェイス部25、出力部26(表示部)、記憶部27、ネットワークインターフェイス部28、およびこれらを互いに接続するバス29を備える。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、コントローラ30およびカメラ31(検知部)が接続されている。コントローラ30には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。またコントローラ30は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ30を傾けたり振ったりすることによりコントローラ30に与える指示を受け付けることができる。カメラ31は、ビューワコンピュータ500を用いて病理画像を観察するユーザの顔を撮影するためのものである。
ネットワークインターフェイス部28には、ネットワーク300が接続される。出力部26には、画像表示用として、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用され、音声出力用としてスピーカー等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
CPU21は、ROM22および記憶部27等に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、出力部26及び記憶部27を適宜制御する。
CPU21は、後述する各機能ブロックを実現する。CPU21は、ROM22および記憶部27等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、ビューワコンピュータ500は、種々の機能ブロックを実現することができ、上記各部材を、ビューワコンピュータ500として動作させることができる。
[イメージ管理サーバ400の構成について]
次に、イメージ管理サーバ400のハードウェア構成について説明する。
イメージ管理サーバのハードウェア構成は、コントローラ30およびカメラ31がインターフェイス部25に接続されていない点を除き、基本的にビューワコンピュータ500のハードウェア構成と同じである。そのため、詳細な説明は省略する。
[イメージ管理サーバ400の機能ブロックについて]
次に、イメージ管理サーバ400の機能ブロックについて説明する。イメージ管理サーバ400の主な機能は、第1に、病理画像を、ビューワコンピュータ500からの要求に従い提供することである。第2に、ビューワコンピュータ500から取得した表示履歴を保存し、ビューワコンピュータ500からの要求に従い提供することである。
第3に、病理医がビューワ上において病理画像の特定個所に付けたコメント(以下、アノテーションという)を保存することである。図3は、イメージ管理サーバ400の機能ブロックを示す図である。
イメージ管理サーバ400は、画像格納部41、画像提供部42、表示履歴格納部43、表示履歴管理部44の機能ブロックを備えている。
画像格納部41には、タイル状に分割されJPEG圧縮された病理画像が格納されている。格納されている病理画像は、ビューワコンピュータ500からの要求に従い、画像提供部42を介してビューワコンピュータ500に提供される。また、ユーザがビューワコンピュータ500上のビューワを用いて病理画像に付したアノテーションもここに保存される。
画像提供部42は、ネットワーク300を介してビューワコンピュータ500から送られてくる画像要求に対応した病理画像を画像格納部41から取得し、ネットワーク300を介してビューワコンピュータ500に送信する。
表示履歴格納部43には、ビューワコンピュータ500上においてユーザが操作したビューワの表示履歴が格納される。
表示履歴管理部44は、ビューワコンピュータ500上において記録され、一旦まとめられた表示履歴をネットワーク300を介して取得する。そして、表示履歴管理部44は、取得した表示履歴を表示履歴格納部43に格納する。また、表示履歴管理部44は、ビューワコンピュータ500からの表示履歴要求を受け付け、その表示履歴要求に応じた表示履歴を表示履歴格納部43から取得し、ネットワーク300を介してビューワコンピュータ500に送信する。
なお、イメージ管理サーバ400とビューワコンピュータ500とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ400上に限定されるものではなく、クライアント側であるビューワコンピュータ500上において実行される構成でもよい。
[ビューワコンピュータ500の機能ブロックについて]
次に、ビューワコンピュータ500の機能ブロックについて説明する。ビューワコンピュータ500の主な機能は、第1に、病理医であるユーザからの操作指示を受け付け、対応する病理画像をイメージ管理サーバ400から取得し、ユーザに対し表示することである。第2に、ユーザが画像診断を行う際のビューワ操作に応じた画像の表示を記録し、その表示履歴を保存のためにイメージ管理サーバ400に送ることである。
第3に、ユーザからの要求に従い、イメージ管理サーバ400に保存されている表示履歴を取得し、ユーザに対して表示履歴に基づき、ユーザが行った操作に応じた画像の表示を再現することである。
図4は、ビューワコンピュータ500の機能ブロックを示す図である。
ビューワコンピュータ500は、画像取得部51(取得部)、表示履歴制御部52(記録部、再現部)、顔検出部53(検知部)、および軌跡画像生成部54(生成部)の機能ブロックを備えている。
画像取得部51は、操作入力部24から入力された、病理医であるユーザの指示に対応した病理画像を、ネットワーク300を介してイメージ管理サーバ400から取得し、取得した病理画像を出力部26を介してユーザに提示する。
表示履歴制御部52は、ユーザの指示により、ユーザが病理画像を観察する際のビューワ操作に応じた画面表示の変化を記録する。記録は、まずビューワコンピュータ500のRAM23または記憶部27を用いて保存される。記録の停止指示により、記録はまとめられ、表示履歴としてイメージ管理サーバ400に送られ、保存される。
表示履歴制御部52は、また、ユーザの指示により、その指示に対応した表示履歴をイメージ管理サーバ400から取得し、取得した表示履歴に記録されているビューワの画面表示を、出力部26を介して、ユーザに提示する。
なお、表示履歴制御部52が行う、ビューワ画面の表示履歴の記録・再生に関するユーザの指示は、後述する操作記録再生GUIを用いて行われる。
表示履歴制御部52は、さらに、病理画像のどの部分がビューワ画面上に表示されているか、またその表示時間はどれだけかの情報を軌跡画像生成部54に渡す。
顔検出部53は、顔検出部53にインターフェイス部25を経由して接続されたカメラ31が撮影する画像に、ビューワコンピュータ500の出力部26の画面上に表示された病理画像を観察する病理医の顔が写っているか否かを検出する。顔検出部53は、最低限人の顔の検出ができればよいが、顔を区別して個人を特定する顔認識まで出来る構成でもよい。もちろん、カメラ31の撮影方向および焦点位置は、ビューワコンピュータ500の出力部26の前に病理医が座って、画面上の画像を観察する際に、顔が来る位置に合わせなければならない。
軌跡画像生成部54は、表示履歴制御部52から、現在、病理画像のどの部分が表示されているかその位置情報と、どの程度の時間、表示されているかその時間情報とを取得し、マスク画像の画素の透明度を下げる。透明度の下げ方の詳細は後述する。
[ビューワ画面について]
次に、ユーザがビューワコンピュータ500上において病理画像を観察するために用いるビューワの画面について説明する。図5は、ビューワ画面の例を示す図である。
ビューワウィンドウ60には、病理画像のどの個所を拡大しているかを示すサムネイルマップ61と、病理画像を観察するための観察領域62と、表示記録再生GUI63とが含まれている。サムネイルマップ61は、バーチャルスライド画像全体の縮小画像と、ビューワウィンドウ60に表示されている画像の範囲をサムネイルマップ61上で等価的に示す枠FRとを有する。
枠FRはサムネイルマップ61上で、ユーザからの指示によって任意の方向へ任意の量だけ移動させることが可能である。なお、サムネイルマップ61において、枠の移動の操作はマウスなどのドラッグ操作などにより行うことも可能である。
表示記録再生GUI63は、ユーザによる、ビューワ操作に応じた表示画面の変化の記録開始指示や記録停止指示を受け付け、受け付けた指示を表示履歴制御部52に伝える。表示記録再生GUI63の詳細については後述する。
[表示記録再生GUIについて]
次に、表示記録再生GUI63について説明する。図6は、表示記録再生GUIの例を示す図である。
この図に示される表示記録再生GUI63では、左上に表示履歴のファイル名が表示されている。上側中央部には、横方向にシークバーSBが示され、その上に、現在の再生位置を示すスライダSLと、アノテーションが付加された時間を示す丸印AT1、AT2、AT3が示されている。
上右側には、ビューワ画面上の表示の変化を記録または再生する際の経過時間が示される。なお、再生の場合には、経過時間のほかに再生に要するトータルの時間も表示する構成でもよい。記録中は、表示記録再生GUI63上に、表示履歴の記録中であることが、例えば記録ボタンの点灯などにより表示され、記録の経過時間が表示記録再生GUI63上に表示される。
また、図に示される表示記録再生GUI63の下側には、巻き戻し、停止、再生、早送り、記録のボタンが示されている。下右側には、ボリュームボタンとマイクボタンが示されている。
この例では、シークバーSB上に、アノテーションが付加された時間を示す丸印AT1、AT2、AT3を表示している。このようにすることにより、ユーザがスライダをドラッグして再生位置を変える場合に、容易に見たいアノテーションを探すことができる。
[ビューワ画面表示の記録再生の流れについて]
次に、ビューワ操作による画面表示の履歴を記録・再生する流れ、およびユーザの離席に関する処理の流れを説明する。図7は、ビューワ操作による画面表示の履歴を記録・再生する流れ、およびユーザの離席に関する処理の流れを説明するシーケンス図である。
まず、表示履歴を記録する流れを説明する。
最初に、ユーザが、表示記録再生GUI63の記録ボタンをクリックすることにより、ビューワ表示の記録開始を表示履歴制御部52に指示する(S1)。その後、ユーザはビューワ上に表示された病理画像の一覧から、観察を行う病理画像を選択する。
表示履歴制御部52が記録開始の指示を受け付けた以降、顔検出部53がビューワ画面を観察するユーザの顔を検出している間、表示履歴制御部52は、ユーザがビューワに対して行った表示位置の変更や、観察倍率の変更による画面表示の変化を周期的に記録する(S2)。
ユーザによる表示位置の変更や、観察倍率の変更が行われた場合、画像取得部51がイメージ管理サーバ400に対して、対応するタイル化された画像を要求し、取得を行う(S3)。
イメージ管理サーバ400から取得された画像は、画像取得部51を経由して画面に表示される(S4)。
ユーザが離席すると(S5)、顔検出部53はユーザの顔を検出できなくなるので、顔を不検出であることを表示履歴制御部52に伝える。表示履歴制御部52は、顔検出部53から顔の不検出を伝えられると、画面表示の変化の記録を一時的に停止する(S6)。
ユーザが席に戻り再度着席すると(S7)、ユーザの顔がカメラ31に撮影され、顔検出部53がユーザの顔を再度検出する。顔検出部53は、顔が検出されていることを表示履歴制御部52に伝える。表示履歴制御部52は、顔検出部53から顔の検出を伝えられると、画面表示の変化の記録を再開する(S8)。
ユーザは、ビューワ画面の操作を継続し(S9)、画像取得部51が病理画像のビューワ画面上への表示を行う(S10)。その間、表示履歴制御部52による、画面表示の状態は表示履歴として記録が継続される。
ユーザが、表示記録再生GUI63の停止ボタンをクリックすることにより、ビューワ表示の記録停止を表示履歴制御部52に指示する(S11)。この際に、記録した表示履歴に名前が付けられる。停止の指示が行われると、表示履歴制御部52は、ローカルに一時保存していた表示履歴を、イメージ管理サーバ400に送信する(S12)。表示履歴管理部44は、受信した表示履歴を表示履歴格納部43に格納する。
以上が表示履歴を記録する流れである。次に、表示履歴を再生する流れを説明する。
最初に、ユーザが、再生したい表示履歴の名前を指定すると共に、表示記録再生GUI63の再生ボタンをクリックすることにより、表示履歴の再生を表示履歴制御部52に指示する(S13)。
表示履歴の再生が指示されると、表示履歴制御部52は、イメージ管理サーバ400の表示履歴管理部44に対して、ユーザにより指定された表示履歴を要求し、イメージ管理サーバ400から取得する(S14)。
また、表示履歴の再生指示がなされると、画像取得部51が、再生時に表示するための画像を、イメージ管理サーバ400の画像格納部41から取得する(S15)。
取得された表示履歴および画像を用いて、ビューワ画面上での表示の再生が行われる(S16)。
最後に、ユーザが表示記録再生GUI63の停止ボタンをクリックすることにより、表示履歴の再生停止を表示履歴制御部52に指示すると(S17)、表示履歴制御部52は、表示履歴の再生を停止する。
以上が表示履歴を再生する流れである。
[表示履歴のフォーマット]
次に、表示履歴制御部52が表示履歴を記録する際の記録フォーマットについて説明する。図8は、表示履歴のフォーマットの例を示す図である。記録する項目は、この例では、「時間」、「中心座標」、「倍率」、「回転角度」、「水平フリップ」、「垂直フリップ」の6項目である。
それぞれの項目の意味を説明する。まず「時間」は、記録を開始してからの経過時間をミリ秒単位で示したものである。この例では、表示履歴の記録を、1/60秒ごと、すなわち約16msecごとに採っているので、このような値になっている。ここで1/60秒を例としているのは、表示履歴を再生する際に60fpsの動画として実時間を用いて再生するために、各フレーム毎に表示履歴の各項目となるデータを記録するためである。
次に、「中心座標」である。これは、ビューワ画面上の観察領域62に、全体画像である病理画像の一部が部分画像として表示されたとき、その部分画像の中心点が、全体画像上でどの座標であるかを示すものである。
「倍率」は、部分画像を観察領域62に表示する際の観察倍率のことである。この例では、最初1.25倍であった観察倍率は、記録開始66msec後には1.29倍まで上がっていることが分かる。
また、「回転角度」は、部分画像を観察領域62に表示する際に画像を回転させた角度である。「水平フリップ」および「垂直フリップ」は、それぞれ水平方向と垂直方向に部分画像の反転が行われているか否かを、TrueまたはFalseを値として用いて示すものである。
以上が基本的な項目を記録する例である。これに加えて、例えば「顔検出」や「アノテーション」の項目を加えてもよい。「顔検出」の項目は、表示履歴の記録を行うタイミングにおいて顔検出部53がユーザの顔を検出できていればTrueとし、検出できていなければFalseとする。
上記の記録再生の流れの説明では、顔不検出時には記録を一時停止する、すなわち記録が行われている場合は必ず顔が検出されているという構成であった。しかし、顔が検出されていない時も記録を継続する構成の場合、この「顔検出」の項目を活用することができる。例えば、表示履歴の再生時に、顔が検出されていた場合は、画面上に「目」のマークを表示し、顔が検出されていなかった場合には、画面上の「目」のマークに「×」印をつけて表示することなどができる。
「アノテーション」の項目は、ユーザが病理画像上に、アノテーションを付加したタイミングにおいて値をTrueにするものである。
[表示軌跡の濃淡表示による記録]
次に、本技術に係るビューワコンピュータ500が有する独立した機能である、部分画像を観察領域62に表示した時間の長さに応じて、表示した部分画像の軌跡を色の濃淡をつけて軌跡画像として記録する機能について、具体例を使って説明する。この機能は軌跡画像生成部54により実行される。なお、この機能は、上記で説明した表示履歴の記録と同時並行して実行されてもよいし、別の機能として実行されてもよいし、一度記録された表示履歴に基づいて実行されてもよい。
なお、この機能は、全体画像となる病理画像(以下、病理全体画像という)上に、表示の軌跡を記録するマスク画像を係数としてアルファ値を用いてアルファブレンドのより合成して軌跡画像を生成することにより実現できる。表示の軌跡を記録する際には、観察領域62に表示された部分画像の範囲をどの程度の時間に亘って表示させたかを計時し、表示された時間が長いほど、その範囲を示す軌跡の色に相当するアルファ値の値を増加させる。
[アルファ値とアルファブレンド]
次に、軌跡画像を生成する際の詳細について説明する。最初にサムネイルマップ61内に表示される病理全体画像上にマスク画像を重ねて表示の軌跡を表現する際に用いるアルファ値とアルファブレンドを説明する。
アルファ値とは、コンピュータが扱うデジタル画像データにおいて、各画素に設定された透明度の情報のことである。また、アルファブレンドとは、2つの画像を係数(アルファ値)により合成することである。2つの画像とは、本技術の場合、サムネイルマップ61内の病理全体画像と、その手前に設定されるマスク画像である。
図9は、病理全体画像と表示の軌跡が合成された軌跡画像を示す図であり、図10は、病理全体画像Aとマスク画像Bが別の画像であり、それらを重ね合わせている様子を示す図である。
これらの図から分かるように、病理全体画像とマスク画像は別の画像である。軌跡画像生成部54は、マスク画像の透明度を表すアルファ値を調整して、表示の軌跡をマスク画像上に記録する。そしてその後、アルファ値が調整されたマスク画像と病理全体画像とをアルファブレンドにより合成して軌跡画像が生成される。
アルファ値は、例えば、0から255までの範囲の整数値をとる。ある画素のアルファ値が0のときは、マスク画像の画素は完全に透明となり、背後の病理全体画像の画素が完全に透けて見える。アルファ値が128程度のときは、マスク画像の画素は半透明となり、色(例えば緑色)が着色される。その際、背後の病理全体画像の画素の色は半分だけ透けて見える。アルファ値が255になると、マスク画像の画素は完全に不透明になり、背後の病理全体画像の色は全く見えなくなる。
本技術では、マスク画像の透明度を最初は完全に透明にしておき、観察領域62に表示される時間に応じて、アルファ値を増加させ、マスク画像の透明度を減少させてマスク画像の色を出していくことにより表示の軌跡を記録する。また、逆に、最初マスク画像の透明度を70%程度にしておき、観察領域62に表示される時間に応じて、アルファ値を減少させ、マスク画像の透明度を増加させてマスク画像の色を消してゆくことにより表示の軌跡を記録する構成でもよい。
なお、マスク画像は、病理全体画像とは別の画像なので、マスク画像のアルファ値を全て0に戻すことにより、軌跡の記録をリセットすることも可能である。
[アルファ値の加算方法(基本)]
本技術では、病理画像の少なくとも一部を観察領域62に表示させる場合、動画のように例えば60fpsのフレームレートを用いて再描画を繰り返しながら表示を行っている。サムネイルマップ61も同じである。そこで、例えば、観察領域62に病理画像の一定の範囲が表示され続ける場合、毎フレーム、アルファ値を1だけ増加させることが考えられる。こうすると、60フレーム分の時間(1秒間)が経つと観察領域に表示された位置に対応するマスク画像の画素のアルファ値は60となり、23%ほど不透明になる。
そのまま表示時間が4秒を過ぎると、アルファ値は255に達し、マスク画像が完全に不透明になってしまう。その場合、背後の病理全体画像が見えないので、ユーザは、病理全体画像の形状と表示の軌跡の対比により、病理画像のどこを観察したのかを把握するのが困難になる。そこで、アルファ値には上限を設けるのがよい。例えば、加算するアルファ値の上限を180とすれば、約70%の透明度でアルファ値の増加が止まるので、背後の病理全体画像が見えなくなることは無い。
なお上記の例では、1フレーム毎にアルファ値が1増加する構成をとったが、例えば30秒ごとにアルファ値が1増加する構成でもよい。こうするとアルファ値が上限である180に達するまでに90分を要するので、長時間の観察を記録する際にも、時間により透明度に差をつけ、適切に表示の軌跡を記録することができる。いずれにしても、典型的な観察時間の長さをもとに、アルファ値の増加率を定めるのがよい。
[アルファ値の加算方法(観察倍率を考慮)]
上記では、観察領域62に病理画像の一定の範囲が表示され続ける場合、無条件にアルファ値を増加させる構成としたが、アルファ値の増加率を、病理画像を観察する観察倍率により異なる値とすることも考えられる。軌跡画像における軌跡の色が濃いほど(マスク画像の不透明度が高いほど)、病理画像をよく観察したことを表す場合、一か所の観察時間が長いほど不透明度が高くなるのがよい。同じく観察倍率が高いほど、詳細に観察を行っていることになるので、アルファ値の増加率を上げるのがよい。
例えば、観察倍率が2倍未満のときは、単位時間当たりのアルファ値の増加量を0とし、軌跡の記録を行わない。観察倍率が2倍以上4倍未満のときは、単位時間当たりのアルファ値の増加量を1とする。観察倍率が4倍以上のときは、単位時間当たりのアルファ値の増加量を2とする。このような構成とする事により、観察倍率も考慮して表示の軌跡を記録することができる。
図11は、この例に沿ったアルファ値の増え方を表したグラフである。図の上側のグラフにあるように、観察倍率が2倍未満のときは、時間がたってもアルファ値はゼロのままであり増えない。観察倍率が2倍以上4倍未満のとき、アルファ値は緩やかに増加する。観察倍率が4倍以上のとき、観察倍率は急に増加するが、上述のとおり上限に達すると、そこからは増えない。
[アルファ値の加算方法(観察時間を考慮)]
上記の構成では、一定の場所の観察を続けた場合、単調にアルファ値が増加する構成であった。しかし、一定の場所を長時間観察するということは、それだけ詳しく観察していることに他ならず、その際には、アルファ値の増加率を高めることが望ましい。
図12は、一定の場所を長時間観察する場合にアルファ値の増加量を変更する様子を示すグラフである。例えば、ある個所を観察領域62に表示して観察を始めてから時間t1が経過するまではアルファ値を単位時間当たりnだけ増加させる。時間t1を経過すると、アルファ値の増加量を1.1倍に増やして、単位時間当たり1.1nとする。
さらに同じ個所を観察し続けて時間t2を経過すると、アルファ値の増加量を1.2倍に増やして、単位時間当たり1.2nとする。nの値は、上記のとおり、観察倍率によって変動する。観察領域62に表示する画像を移動させたときは、アルファ値の増加量はまたnから始まる。
このような構成をとることにより、一定の個所を長時間観察した場合に、その軌跡を強調させて記録することができる。
[軌跡画像生成の流れ]
次に、軌跡画像生成部54が軌跡画像を生成する処理の流れを説明する。図13は、軌跡画像を生成する処理の流れを説明するフローチャートである。なお、上記での説明のとおり、軌跡画像の更新は、フレーム毎(例えば60fpsであれば、1/60秒ごと)に行われているので、このフローチャートの処理もフレーム毎のタイミングにおいて行われる。
まず、軌跡画像生成部54は、現在の観察倍率によってアルファ値を決定する(ステップST11)。
次に、軌跡画像生成部54は、観察領域62に現在の画像を表示し始めてから所定の時間が経過したか否かを判断し、所定の時間が経過している場合は、アルファ値を増やす(ステップST12)。
次に、軌跡画像生成部54は、観察領域62に表示されている画像の範囲から、マスク画像上でアルファ値を変更する矩形の範囲を決定する(ステップST13)。
次に、軌跡画像生成部54は、マスク画像に矩形を軌跡として記録する(ステップST14)。ここでは、ステップST11またはST12において決定されたアルファ値の増分を、マスク画像上の対象となる画素のアルファ値に加算することにより記録が行われる。記録が行われると、サムネイルマップ61上の病理全体画像上に、観察領域62の範囲を示す矩形が、マスク画像の色により表示される。
ここで、軌跡画像生成部54は、操作入力部24から表示の軌跡のリセット要求が来ているか否かを判断し、リセット要求が入力された場合は(ステップST15のY)サムネイルマップ61上の軌跡を全て消去する(ステップST16)。消去は、マスク画像の全画素のアルファ値を初期値に戻すことにより行われる。
以上が軌跡画像生成部54による軌跡画像を生成する処理の流れである。
[軌跡画像の実際例]
以下では、まず、ユーザがどのような時間配分を用いて病理画像を観察したか、その例を説明し、その観察に対応した軌跡の表示がどのような色の濃淡により示されるかを説明する。
図14は、ユーザが撮影された検体SPLを観察領域62に表示させながら閲覧する過程を表した図である。図15は、その表示過程を表示軌跡として記録した例を示す図である。
ユーザが病理画像を、観察領域62にどのように表示させたかを、図14を用いて説明する。
まず、ユーザは検体SPLの上部D1の範囲を、観察倍率1.25倍により観察領域62内に部分画像として表示させ、8秒間観察を行う。なお、表示範囲D1の中心座標は(x1,y1)である。
次に、ユーザは、部分画像の表示範囲をD1からD2に変更し、20秒間観察を行う。部分画像の表示範囲D2の中心座標は(x2,y2)である。
次に、ユーザは、観察倍率を1.25倍から20倍に拡大し、部分画像の表示範囲D3を表示し、35秒間観察を行う。この時、部分画像の中心座標は変化せず(x2,y2)のままである。
次に、ユーザは、部分画像の表示範囲D3を表示範囲D4まで移動し、40秒間観察を行う。部分画像の中心座標は(x3,y3)となる。
次に、ユーザは、観察倍率を20倍から40倍に拡大し、部分画像の表示範囲D5を表示し、2分間観察を行う。この時、部分画像の中心座標は変化せず(x3,y3)のままである。
以下、同様にして観察を行ったとする。30秒以上1分未満の時間で表示された範囲は、D3、D4、D6であるとする。また、1分以上2分未満の時間で表示された範囲は、D8であるとする。また、2分以上の時間で表示された範囲は、D5であるとする。
次に、上述した観察過程の表示軌跡の記録例を、図15を用いて説明する。
30秒以下の時間しか観察を行わなかった表示範囲D1やD2に対応する軌跡であるT1やT2は、最も薄い色により記録されている。それに対し、30秒以上観察を行った表示範囲D3、D4、D6にそれぞれ対応する軌跡T3、T4、T6は、軌跡T1よりも濃い色により軌跡が示されている。
同様にして、さらに濃い色により示されている軌跡がT8となり、最も濃い軌跡がT5である。
このようにして、表示履歴制御部52は、ある部分画像が観察領域62に表示された時間を計測し、表示範囲の軌跡を色の濃淡を用いて表すことにより、ユーザがどの部分の観察にどの程度の時間をかけたかを簡単に表すことができる。病理医が画像診断を行っている間の軌跡を正確に記録できるので、病理画像の見落としを防ぐことができる。
[時間の計測とスナップショットの撮影]
次に、表示履歴制御部52が有する別の機能である、部分画像を観察領域62に表示した時間の長さに応じて、その部分画像のスナップショットを撮影する機能について説明する。この機能は、上記で説明した表示履歴の記録と同時並行して実行されるものである。
表示履歴制御部52は、ある部分画像の観察領域62での表示時間が、例えば3分を超えた場合、その部分画像のスナップショットを撮影する。撮影は、例えばスクリーンコピーにより行われる。このスナップショットを撮影する意味は、一つの部分画像が長時間表示されている場合、その画像の内容が重要であり、観察者であるユーザが、時間をかけて慎重に観察を行っていると解釈できるからである。
従来であれば、ある部分画像を表示してからユーザが離席したようなケースにも、同様に表示時間が長くなり、時間をかけて観察しているケースと区別がつかないが、本技術では、カメラ31を用いてユーザの検出を行っているので、区別することができる。
[時間の計測とスクリーンセーバーの作動]
次に、表示履歴制御部52が有する別の機能である、ビューワの使用中にユーザの顔が不検出となった時間の長さに応じて、警告を発したり、スクリーンセーバーによる画面ロックを行ったりする機能について説明する。この機能は、上記で説明した表示履歴の記録と組み合わせて実行されるものである。
ユーザがビューワを使用していた時に、顔検出部53がユーザの顔を検出できなくなってから第1の所定時間、例えば5分間が経過すると、表示履歴制御部52は、ユーザに対して警告を発する。警告は、例えば警告音によって行われる。顔検出部53がユーザの顔を検出できなくなってから更に第2の所定時間、例えば10分間が経過すると、表示履歴制御部52は、ビューワ画面をロックする。ロックする方法は、例えばパスワード付きのスクリーンセーバーを起動させることにより行える。
顔検出部53がユーザの顔を検出できなくなってから表示履歴制御部52が行う動作を二段階としているのは、ユーザの顔が検出できなくても、離席したのではなく横を向いているだけの可能性もあるからである。しかし、ある程度時間が経過すれば離席の可能性が高くなるので、ビューワ画面をロックする。このようにして、ユーザの状態を判断して、自動的に個人情報である病理画像を保護することができる。
[各機能の動作の流れ]
ここでは、上記において説明した各機能の関係を全体的な処理の流れの中で説明する。図16は、本技術の各機能の関係を全体的な処理の流れの中で説明するフローチャートである。
まず、ユーザがビューワコンピュータ500の前に座り、カメラ31によりユーザの顔が撮影されると、顔検出部53がユーザの顔を検出する(ステップST1のY)。
次に、表示履歴制御部52が、ユーザのビューワ操作により変化する観察領域62の表示状態を表示履歴として記録する(ステップST2)。
次に、表示履歴制御部52は、1つの部分画像が観察領域62に表示されている時間を計測する(ステップST3)。ここでの計測結果は、上記各機能を動作させるための指標として使われる他に、病理画像を実際に見て診断を行っていた時間として病理画像の属性情報としてイメージ管理サーバ400に保存される。顔を検出できた場合だけ計測するので、正確な診断時間を計測することができる。
ユーザが一定時間以上、例えば3分を超えて1つの部分画像を観察領域62に表示し観察を行った場合(ステップST4のY)、表示履歴制御部52は、観察領域62に表示されている部分画像のスナップショットを撮影する(ステップST5)。以上のステップST2からST5までの処理が、ユーザによる表示履歴の記録の指示がありユーザの顔が検出されている間、繰り返される。
一方、カメラ31にユーザの顔が撮影されず、顔検出部53がユーザの顔を検出できない場合(ステップST1のN)、表示履歴制御部52は、第1の時間(例えば5分間)が経過すると(ステップST7のY)、ユーザに対して警告を発する(ステップST7)。
次に、顔が検出されないまま、第2の時間(例えば10分間)が経過すると(ステップST8のY)、表示履歴制御部52は、ビューワ画面をロックする(ステップST9)。
以上が、上記各機能を含む全体的な処理の流れである。
[カメラ31および顔検出部53に代わる構成]
上記の構成では、ビューワコンピュータ500を使って病理画像の観察を行うユーザを検知するために、カメラ31および顔検出部53を用いたが、ユーザの存在を検知できるものであればよく、構成はこれらに限らない。
例えば、机上に物理的なスイッチを設置してもよい。ユーザがこのスイッチを押している間、表示履歴の記録が行われる。また、物理的なスイッチはトグルスイッチでもよい。その場合、スイッチをオンにすればユーザがスイッチを押していなくても表示履歴の記録を行うことができる。また、このトグルスイッチは、ソフトウェアスイッチとして実現されてもよい。その場合、物理的なスイッチを設けるコストを削減することができる。
[本技術の別の構成]
なお、本技術は以下のような構成も採ることができる。
(1)病理画像を取得する取得部と、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、前記病理画像における前記部分表示領域の少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部と、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部とを具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、前記再現部は、前記病理画像における前記部分表示領域の前記移動を実時間に対応した時間で再現する情報処理装置。
(3)前記(1)または(2)に記載の情報処理装置であって、病理画像を観察するユーザの存在を検知する検知部をさらに具備し、前記記録部は、前記ユーザの存在が検知されている間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する情報処理装置。
(4)前記(3)に記載の情報処理装置であって、前記検知部は、前記ユーザの顔を撮影するカメラと、前記カメラに前記顔が撮影されているか否かを検出する顔検出部とを有し、前記記録部は、前記顔検出部が前記顔を検出している間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する情報処理装置。
(5)前記(1)から(4)のうちいずれか1つに記載の情報処理装置であって、前記記録部はさらに、前記部分表示領域として表示された範囲のうち、同一範囲の表示時間が、予め定められた時間を超えると、当該範囲を画像として記録する情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部をさらに具備する情報処理装置。
(7)取得部が、病理画像を取得し、表示部が、取得した前記病理画像の少なくとも一部を部分表示領域として表示し、入力部が、前記部分表示領域を移動させる指示をユーザから受け付け、記録部が、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録し、再現部が、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する情報処理方法。
(8)病理画像を取得する取得部、取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部、前記部分表示領域を移動させる指示をユーザから受け付ける入力部、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部、および前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部としてコンピュータを機能させるための情報処理プログラム。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10…顕微鏡
20…スキャナ用コンピュータ
21…CPU
22…ROM
23…RAM
24…操作入力部
25…インターフェイス部
26…出力部
27…記憶部
28…ネットワークインターフェイス部
29…バス
30…コントローラ
31…カメラ
41…画像格納部
42…画像提供部
43…表示履歴格納部
44…表示履歴管理部
51…画像取得部
52…表示履歴制御部
53…顔検出部
60…ビューワウィンドウ
61…サムネイルマップ
62…観察領域
63…表示記録再生GUI
100…スキャナ
300…ネットワーク
400…イメージ管理サーバ
500…ビューワコンピュータ

Claims (8)

  1. 病理画像を取得する取得部と、
    取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部と、
    前記部分表示領域を移動させる指示をユーザから受け付ける入力部と、
    前記病理画像における前記部分表示領域の少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部と、
    前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記再現部は、
    前記病理画像における前記部分表示領域の前記移動を実時間に対応した時間で再現する
    情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    病理画像を観察するユーザの存在を検知する検知部をさらに具備し、
    前記記録部は、
    前記ユーザの存在が検知されている間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する
    情報処理装置。
  4. 請求項3に記載の情報処理装置であって、
    前記検知部は、
    前記ユーザの顔を撮影するカメラと、
    前記カメラに前記顔が撮影されているか否かを検出する顔検出部と
    を有し、
    前記記録部は、
    前記顔検出部が前記顔を検出している間、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記記録部はさらに、
    前記部分表示領域として表示された範囲のうち、同一範囲の表示時間が、予め定められた時間を超えると、当該範囲を画像として記録する
    情報処理装置。
  6. 請求項1に記載の情報処理装置であって、
    前記表示された部分表示領域の全画素位置についてそれぞれ、当該部分表示領域の表示の時間の長さに対応した値が与えられた被合成画像を一定の時間周期で生成し、前記病理画像に対して累積的に合成して、この合成結果を、前記部分表示領域として表示された範囲の移動の軌跡を示す軌跡画像として生成する生成部
    をさらに具備する情報処理装置。
  7. 取得部が、病理画像を取得し、
    表示部が、取得した前記病理画像の少なくとも一部を部分表示領域として表示し、
    入力部が、前記部分表示領域を移動させる指示をユーザから受け付け、
    記録部が、前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録し、
    再現部が、前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する
    情報処理方法。
  8. 病理画像を取得する取得部、
    取得した前記病理画像の少なくとも一部を部分表示領域として表示する表示部、
    前記部分表示領域を移動させる指示をユーザから受け付ける入力部、
    前記病理画像における前記部分表示領域の、少なくとも位置情報を、表示時刻と対応付けて表示履歴として周期的に記録する記録部、および
    前記病理画像および前記表示履歴をもとに、前記病理画像における前記部分表示領域の移動を再現する再現部
    としてコンピュータを機能させるための情報処理プログラム。
JP2012157241A 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム Pending JP2014021583A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012157241A JP2014021583A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム
US13/910,496 US20140015949A1 (en) 2012-07-13 2013-06-05 Information processing apparatus, information processing method, and information processing program
CN201310280807.0A CN103544370A (zh) 2012-07-13 2013-07-05 信息处理装置、信息处理方法和信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012157241A JP2014021583A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2014021583A true JP2014021583A (ja) 2014-02-03

Family

ID=49913666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012157241A Pending JP2014021583A (ja) 2012-07-13 2012-07-13 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (3)

Country Link
US (1) US20140015949A1 (ja)
JP (1) JP2014021583A (ja)
CN (1) CN103544370A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072272A (ja) * 2016-11-02 2018-05-10 株式会社ニコン 装置、方法、およびプログラム
JP2019204560A (ja) * 2019-09-05 2019-11-28 株式会社リコー プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD746319S1 (en) * 2013-11-25 2015-12-29 Tencent Technology (Shenzhen) Company Limited Portion of a display screen for a graphical user interface
WO2015122976A1 (en) * 2014-02-12 2015-08-20 Lucid Global, Llc. Virtual microscope tool
US10203491B2 (en) * 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
US10820466B2 (en) 2018-07-05 2020-11-03 Deere & Company Orificed check valve in wing circuit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072272A (ja) * 2016-11-02 2018-05-10 株式会社ニコン 装置、方法、およびプログラム
JP2019204560A (ja) * 2019-09-05 2019-11-28 株式会社リコー プログラム

Also Published As

Publication number Publication date
CN103544370A (zh) 2014-01-29
US20140015949A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
JP2014021583A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US8249397B2 (en) Playback of digital images
US20190258889A1 (en) Mark information recording apparatus, mark information presenting apparatus, mark information recording method, and mark information presenting method
JP2005318515A5 (ja)
JP2008228134A5 (ja)
CN102668556A (zh) 医疗支援装置,医疗支援方法以及医疗支援系统
US10936850B2 (en) Information processing apparatus, information processing method, method, and information processing program
JP5910447B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7491360B2 (ja) 放射線画像表示装置、放射線撮影システム及びプログラム
JP5966834B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210989A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6614254B2 (ja) 表示方法および情報処理装置
WO2013129188A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20140089846A1 (en) Information processing apparatus, information processing method, and information processing program
JP6299840B2 (ja) 表示方法、情報処理装置および記憶媒体
JP5920152B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6927274B2 (ja) 表示方法、情報処理システムおよびプログラム
JP2013211821A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5983259B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5910446B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015109497A (ja) 動画再生装置、動画再生方法及びプログラム
WO2013129187A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129190A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2007089759A (ja) 映像表示装置、及び映像表示プログラム
WO2013183222A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム