JP2013200639A - 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム - Google Patents

描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム Download PDF

Info

Publication number
JP2013200639A
JP2013200639A JP2012067577A JP2012067577A JP2013200639A JP 2013200639 A JP2013200639 A JP 2013200639A JP 2012067577 A JP2012067577 A JP 2012067577A JP 2012067577 A JP2012067577 A JP 2012067577A JP 2013200639 A JP2013200639 A JP 2013200639A
Authority
JP
Japan
Prior art keywords
magnification
display
image
drawing data
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012067577A
Other languages
English (en)
Inventor
Minoru Kusakabe
稔 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012067577A priority Critical patent/JP2013200639A/ja
Priority to US13/835,761 priority patent/US9159117B2/en
Publication of JP2013200639A publication Critical patent/JP2013200639A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Microscoopes, Condenser (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)

Abstract

【課題】 少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供すること。
【解決手段】 描画データ生成装置は画像取得手段と倍率取得手段と生成手段を備える。生成手段は、第1の倍率への変更指示を取得した場合には、第1のレイアウトの描画データを生成し、第2の倍率への変更指示を取得した場合には、第2のレイアウトの描画データを生成する。第1のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第1の倍率で表示される。第2のレイアウトでは、表示画像中の部分領域が該部分領域が表示されていた位置上に第2の倍率で表示され、且つ、部分領域及び該部分領域の周辺領域が第2の倍率よりも低い倍率で表示され、且つ、第2の倍率の部分領域と低い倍率の部分領域とが重ならない。
【選択図】 図7

Description

本発明は、撮像画像を表示装置に表示するための描画データを生成する描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システムに関する。
従来、画像を表示する際に表示倍率を変更させながら画像の表示を行う様々な方法がある。例えば、画像中の注目領域において拡大表示を行うと画像全体の表示倍率が変更される方法、或いは、該注目領域近傍のみ部分的にオーバーラップ領域が形成されて拡大画像が元画像の上にオーバーラップされて表示される方法などがある。その他にも、注目領域の拡大前後が比較可能なように拡大画像を表示させる方法が提案されている(特許文献1)。
特許文献1では、注目領域の画像を拡大表示させる際に、注目領域以外の領域にオーバーラップ領域を形成して拡大画像を表示させる方法が開示されている。
特開平7−320085号公報
特許文献1では、ユーザーが指定した注目領域以外の領域に新たにオーバーラップ領域を形成して拡大表示を行っている。このようにすることで、元々観察を行っていた表示倍率で表示された画像と拡大表示を行った表示倍率で表示された画像とが画面内に表示されるため、比較観察を行うことが可能となる。
ここで、大きな画像をスクロールさせながら観察する場合においては、観察位置の移動はスクロール操作によって行われ、表示画面を見るユーザーの視点の位置は移動されない場合や狭い限定された範囲内でのみ移動される場合が多い。これは、スクロールしながら視点を移動させてしまうと、見ている個所が分からなくなり混乱しやすくなるからである。このように、大きな画像をスクロールさせながら観察を行う場合の例としては、地図や医療用の病理診断用画像等の画像を観察する場合が挙げられる。このような画像の観察時にスクロール、及び、表示倍率の変更を繰り返し行う場合には、なるべく画面に対する視点の移動が生じないように表示することが望ましい。ところが特許文献1の方法では、注目領域の画像を拡大して観察したい場合に、注目領域として指定した以外の画面上の位置に、これから観察したい拡大画像が表示されてしまう。その結果、拡大画像を表示させるたびに視点の移動を行わなければならず、観察作業が非効率になってしまう場合があった。
そこで、本発明は、撮像画像の観察を行う際により少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供することを目的とする。
本発明の一側面としての描画データ生成装置は、撮像画像のデータを取得する画像取得手段と、表示倍率の変更指示を取得する倍率取得手段と、前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を備え、前記生成手段は、前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならないことを特徴とする。
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
撮像画像の観察を行う際により少ない視点移動で観察を行うことができ、拡大前後の画像を比較することも可能となる描画データを生成する描画データ生成装置を提供することができる。
本発明における装置構成図 本発明における表示レイアウト切り替えを行うコンピュータの構成図 本発明における撮像対象のプレパラートの例 本発明の実施例1における表示倍率切り替え方法の機能ブロック図 本発明の実施例1における表示倍率切り替え方法の動作の流れを示すフローチャート 本発明の実施例1における表示倍率切り替え方法の動作の流れを示すフローチャート 本発明の実施例1における表示画面の例を示す図 本発明のその他の実施例における表示画面の例を示す図
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、本実施形態はユーザーの視点移動が少なくなるように、表示画像のスクロールと変倍を行いながら表示を行うことを可能にするものである。本実施形態における画像表示の代表的な例としては、大きな画像を表示する用途として医療用画像(特に、病理画像)の観察を目的とした画像表示が挙げられる。以下、高解像度で静止画の撮像を行う顕微鏡等で撮像した撮像画像を想定し、以後の説明を行うものとする。
図1は本実施形態における装置構成を示している。図1中、100は静止画の撮像が可能な顕微鏡装置を示している。101は被写体となる試料が載せられたプレパラートであり、本実施例の説明において試料は透過物体であるものとして説明する。102はプレパラート101を載せるためのステージであり、撮像時に使う対物レンズ104の光軸方向に垂直な平面における位置の移動を行うことが可能である。また、ステージ102は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する位置(焦点)を変更することが可能である。103は光源、104は対物レンズであり、光源103からの光はプレパラート101を透過して対物レンズ104に入射する。105は撮像部であり、対物レンズ104が形成した被写体の像を撮像する。106はコントローラであり、ステージ102、光源103、撮像部105等の動作制御を行う。なお、対物レンズ104は、倍率が可変となるように、複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ106が行うようにすると良い。107は顕微鏡装置100に動作指示を送信するとともに、撮像された画像データを受信するための端末である。なお、コントローラ106の機能が端末107により実現されるような構成でも良い。
108は操作者に対して顕微鏡装置100の動作指示を指定するための画面、及び、撮像された画像情報の表示を行うディスプレイである。109は操作者の操作指示を入力するためのキーボードである。110は操作者の操作指示を入力するためのマウスである。111はネットワークを介して端末107と接続されたサーバーであり、顕微鏡装置100で撮像された画像データを記録する。なお、サーバー111は顕微鏡装置100とネットワークを介して直接接続されていて、撮像された画像データが直接サーバー111に記録されるようにしても良い。
本実施形態の画像表示方法(描画データ生成方法)は、描画データ生成装置としての端末107により実行され、表示装置としてのディスプレイ108により表示されるものである。しかし、顕微鏡装置100が上述の構成に加えてディスプレイ及びボタン等の操作指示入力手段を有している構成にし、端末107の機能をコントローラ106に組み込むことで、本実施形態の画像表示方法をコントローラ106により実現しても良い。なお、本明細書では、描画データ生成装置と表示装置とで構成されるシステムを描画データ生成システムと呼ぶ。
図2は、本実施形態の画像表示を実行する端末(コンピュータ)107の内部構成、及び、外部機器との関係を示している。200はCPUであり、処理に必要な演算を行う。201はプログラムやデータを記憶するROMであり、記憶されているプログラムやデータを読み出すことが可能である。202はRAMであり、プログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。203はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、HDDやSSDなどから構成される。204はグラフィックボードであり、画面表示を行う際に使用する描画データの生成を行う。205はインターフェースであり、端末107が外部機器である顕微鏡装置100との通信を行う際にデータの送受信を行う。206はLANインターフェースであり、端末107がネットワークと接続するサーバー111との通信を行う際にデータの送受信を行う。
以下に説明する本実施形態は、CPU200によって実行されるプログラムにより実現されるものとする。
次に、図3を用いて本実施形態の撮像対象であるプレパラート101の例を説明する。なお、図3を用いて行う以下の説明では、本実施形態に関係するプレパラート作成工程のみ説明するものとし、その他は省略する。
図3は、本実施形態の撮像対象であるプレパラート101の一例を示しており、病理診断時において使用される組織細胞の診断(以下、組織診と呼ぶ)向けのプレパラートの作成例である。組織診用のプレパラートでは、検体の組織的な構造、及び個々の細胞の形態を観察する目的で作成される。
300はパラフィンブロックであり、手術で切り出した検体301を薄切するためにパラフィン302で埋包したものである。通常、病理診断向けのプレパラート作成時には、スライドガラスに載せる試料は細胞1つの厚さに対して十分薄く切断される。そのため、連続的に薄切した試料はほぼ同じ細胞に対する断面とみなすことが可能である。306〜308は、パラフィンブロック300における連続的な切断位置303〜305においてそれぞれ薄切した結果の試料である。309〜311はそれぞれ306〜308からパラフィンを除去し、スライドガラス上に載せて異なる染色、或いは蛍光剤の付与を行った後に、カバーガラスを載せてプレパラートを作成した結果である。そして、各プレパラートの試料に対して拡大、縮小させた像を観察することにより、診断に有用な様々な情報を得ることが可能となる。更に、309〜311に示したように、ほぼ同じ細胞の様子を異なる染色結果や蛍光を用いて比較観察することにより、診断に有用な異なる複数の情報を得ることが可能となる。以上のように、1つのプレパラート内における様々な位置で、試料を拡大、縮小させた結果の比較観察や、異なる作成方法で作成されたプレパラート間の比較観察は、病理診断時において有用な情報を得るために重要である。
以上説明した病理診断用のプレパラートの観察では、高い倍率の対物レンズを用いて該プレパラートを撮像した画像を生成して観察を行う必要がある。そのため、プレパラート1枚分の画像サイズは非常に大きなものとなり、画像を観察する際にはスクロールを繰り返しながら画像を観察する必要がある。また、検体の表面側か内側か等の組織的な構造と、個々の細胞の様子を両方観察する必要が発生する場合も多く、観察時の表示倍率は頻繁に変更される可能性がある。このような画像の観察時にスクロールを行う際にはなるべく画面に対する視点は固定したい。そのため、同じ観察作業の中で頻繁に行われる表示倍率の変更を行った際にも、なるべく視点移動が少ない方が観察作業全体として視点移動が少なくなり作業効率が向上する。本実施形態はこのように表示画像に対するスクロール、及び、変倍が頻繁に発生するような画像観察時に、ユーザーの画面に対する視点移動を減らすことにより、観察作業効率を向上させることを目的とする。
図4は本実施例における描画データ生成システムの機能ブロック図である。400は表示倍率を入力するための表示倍率入力手段であり、画面上に表示された倍率変更ボタンの押下やマウス110に搭載されているホイール、或いは、キーボード109等から入力された指示を入力する。この表示倍率入力手段400が倍率取得手段に相当する。401は画像中の注目位置(注目領域の位置)を変更させる際の注目位置変更指示を入力する注目位置変更指示入力手段であり、画面上に表示された位置変更ボタンの押下やマウス110の移動、或いは、キーボード109等から入力された指示を入力する。402は表示する画像情報を入力するための画像入力端子であり、画像取得手段に相当する。403は予め定められた画面上の視点位置を取得する視点位置入力端子であり、視点位置取得手段に相当する。404は表示レイアウトを記憶するレイアウト記憶部であり、所定の倍率未満の画像表示を行うためのレイアウト、及び、所定の倍率未満の画像と所定の倍率以上の画像の表示を行うためのレイアウトを少なくとも記憶している。
405は高倍率描画範囲決定部であり、所定の倍率以上の表示倍率で画像を表示する際の画像中の描画範囲である高倍率描画範囲を決定する。高倍率描画範囲決定部405は、入力された表示倍率、注目位置、画面上の視点位置、及び、記憶されているレイアウトに応じて描画範囲を決定する。406は低倍率描画範囲決定部であり、所定の倍率未満の表示倍率で画像を表示する際の画像中の描画範囲である低倍率描画範囲を決定する。低倍率描画範囲決定部405は、入力された表示倍率、注目位置、画面上の視点位置、及び、記憶されているレイアウト、及び、高倍率描画範囲に応じて描画範囲を決定する。
407は描画データ生成部であり、低倍率描画範囲決定部406、及び、高倍率描画範囲決定部405で決定された描画範囲、及び、レイアウト記憶部404から取得されたレイアウトに基づいて、画像入力端子402から入力された画像から描画データを生成する。408は描画データ生成部407で生成された描画データを表示する画像表示部であり、表示装置に相当する。
図5、及び、図6は本実施例における画像表示方法の動作フローを示すフローチャートである。処理が開始されるとまず、ステップ500において初期表示を行う画像データの取得が行われる。ステップ501では、低倍率表示用、及び、高倍率表示用の初期注目位置、及び、初期表示倍率が取得される。ステップ502では、初期表示用の表示レイアウト、及び、視点位置の取得が行われる。ステップ503では、注目位置、表示倍率、視点位置、及び、表示レイアウトに基づいて高倍率表示用の表示範囲が決定される。ステップ504では、注目位置、表示倍率、視点位置、及び、表示レイアウトに加え、高倍率表示範囲に基づいて低倍率表示用の表示範囲が決定される。ステップ505では、高倍率表示用の表示範囲、及び、低倍率表示用の表示範囲、及び、表示レイアウトに基づいて表示用描画データの生成を行う。ステップ506では、ステップ505で生成した描画データに基づいて、ディスプレイ108に表示を行う。
ディスプレイ108に画像が表示されると、ステップ507において操作指示が入力されたか否かの判断が行われ、操作指示が入力されていなければ繰り返し操作指示の入力を待つ。ステップ507において操作指示が入力されたと判断されると処理はステップ508に移行し、操作指示が表示倍率の指定指示であったか否かが判定される。ステップ508において操作指示が表示倍率の変更指示であったと判定されると処理は後述する図6の処理に移行する。
ステップ508において操作指示が表示倍率の変更指示ではないと判定されると、処理はステップ509に移行して、操作指示が注目位置の変更指示であったか否かが判定される。ステップ509において注目位置の変更指示であったと判定されると、ステップ510において注目位置の取得を行い、次いでステップ511において予め定められた画面上の視点位置の取得を行う。
そして、ステップ512では現在の表示において高倍率での画像表示が行われていたか否かの判定が行われ、高倍率での画像表示が行われていたと判定された場合には、ステップ513で高倍率表示用の画像表示位置の設定を行う。ステップ513では、高倍率表示されている画像に対して、変更指示により指定された注目領域(部分領域)がステップ511で取得した視点位置に対応する画面上の位置に表示されるように表示位置の設定を行う。ステップ514では低倍率表示用の画像表示位置の決定を行う。ステップ514では後述するように、高倍率表示画像の注目領域と低倍率表示画像の画面上の表示が重ならないように、低倍率表示用の画像表示位置を決定する。一方、ステップ512において高倍率での画像表示が行われていなかったと判定された場合には、ステップ515において低倍率表示用の画像表示位置の設定を行う。ステップ515では、低倍率表示されている画像に対して、変更指示により指定された画像中の注目領域がステップ511で取得した視点位置に対応する画面上の位置に表示されるように表示位置の設定を行う。そして、ステップ514、或いは、ステップ515の処理が終了すると、ステップ503に戻って同様の処理を繰り返す。
一方、ステップ509において操作指示が注目位置の変更指示ではないと判定されると、処理はステップ516に移行して、操作指示が表示画像の変更指示であったか否かを判定する。ステップ516において表示画像の変更指示であると判定されると、処理はステップ517に移行して表示画像データの取得を行った後に、処理はステップ501に戻って同様の処理が繰り返す。
ステップ516において操作指示が表示画像の変更指示ではないと判定されると、処理はステップ518に移行して、操作指示が終了指示であったか否かが判定される。ステップ518において操作指示が終了指示ではないと判定されると、処理はステップ507に戻って操作指示の入力を待つ。一方、ステップ518において操作指示が終了指示であると判定されると、処理を終了する。
次に、ステップ508において操作指示が表示倍率の変更指示であったと判定された場合の処理を、図6を用いて説明する。
処理が開始されるとステップ600において操作指示で指定された表示倍率の取得が行われる。ステップ601では、予め定められた画面上の視点位置の取得が行われる。ステップ602では、ステップ600で取得した表示倍率が所定の閾値よりも大きいか否かの判定が行われる。ステップ602において表示倍率が所定の閾値よりも大きいと判定されると、処理はステップ603に移行し、表示レイアウトとして低倍率と高倍率の画像表示を並列に行うための並列表示レイアウトの選択を行う。ステップ604では、ステップ600で取得した表示倍率に基づいて高倍率表示用の表示倍率の設定を行う。ステップ605では、高倍率表示画像の注目領域がステップ601で取得した画面上の視点位置に表示されるように設定する。ステップ606では、高倍率表示画像の注目領域と低倍率表示画像の画面上の表示が重ならないように、低倍率表示用の画像表示位置を決定する。ステップ606の処理が終了すると、ステップ503に戻って同様の処理を繰り返す。
一方、ステップ602において表示倍率が所定の閾値未満であると判定されると、処理はステップ607に移行し、低倍率の画像表示を行うための基本表示レイアウトの選択を行う。ステップ608では、ステップ600で取得した表示倍率に基づいて低倍率表示用の表示倍率の設定を行う。ステップ609では、低倍率表示画像の注目領域がステップ601で取得した画面上の視点位置に表示されるように設定する。ステップ609の処理が終了すると、処理はステップ503に戻って同様の処理を繰り返す。
次に、図7を用いて、本実施形態の特徴である画像表示の好適な例を説明する。まず、図7(a)を用いて本実施形態において重要な項目である視点位置の説明を行う。図7(a)において、700はアプリケーションウィンドウである。701は画像表示領域であり、表示画像に相当する。702は予め定められた視点位置であり、図7(a)の例では画像表示領域701の中心位置に設定した例を示している。視点位置702は、画像の表示内容や表示レイアウトに依存せず、画像表示領域701或いはアプリケーションウィンドウ700内における相対的な位置関係から予め決定されている。
次に、図7(b)を用いて、基本表示レイアウトを用いた画像表示の好適な例を説明する。図7(b)中、703は所定の表示倍率未満での画像表示が行われている低倍率表示画像である。704は画面内で位置の指定や不図示のボタンなどを選択して操作指示を行うためのカーソルである。基本表示レイアウトでは、表示画像が選択され表示倍率と画像中の注目位置が設定されると、画像中の注目領域を視点位置702の位置に、指定された表示倍率で表示する。そして、表示位置の変更指示が行われると、指定された画像中の注目領域が視点位置に表示されるように表示位置が移動する。また、表示倍率の変更が行われた場合において、基本表示レイアウトで表示されている間は、画像中の注目領域が視点位置に表示されている状態で、注目領域を含む低倍率表示画像703の表示倍率が指定された倍率に変更される。基本表示レイアウト(第1のレイアウト)では、表示倍率が変更される前に注目領域が表示されていた位置上に、指定された新たな倍率(第1の倍率)で拡大された注目領域が表示される。
次に、図7(c)を用いて、並列表示レイアウト(第2のレイアウト)を用いた画像表示の好適な例を説明する。図7(c)中、705は所定の表示倍率以上での画像表示を行うための高倍率画像表示領域であり、視点位置702を含む位置に表示される。706は高倍率画像表示領域に表示されている高倍率表示画像であり、画像中の注目領域が視点位置702に表示されている。707は低倍率表示画像703中の注目領域である。
次に、画像が選択された後の初期表示画面が図7(b)であって、ユーザーの指示により表示画像中の注目領域の表示倍率を変化させ所定の閾値以上とした結果、表示画面が図7(c)のようになった場合の変化の様子を説明する。図7(b)の画面において表示倍率を変化させ所定の閾値以上となると表示レイアウトの変更が行われ、新たに高倍率画像表示領域705が視点位置702を含むように生成される。そして、指定された表示倍率(第2の倍率)を用いて、高倍率画像表示領域705に対して注目領域が視点位置上に表示されるように、注目領域が拡大して表示される。一方、画像表示領域701内であって、高倍率画像表示領域705以外の領域には、表示倍率変更指示前の低い表示倍率で画像の表示を行う。この場合に、低倍率表示画像703中の注目領域が、高倍率画像表示領域705に隠れないように表示する。具体的には、図7(c)に示すように、画像表示領域701内であって高倍率画像表示領域705以外の領域に、倍率表示画像703中の注目領域707が表示されるようにする。
次に、図7(c)のように並列表示レイアウトを用いた表示が行われている場合に、ユーザーの指示により画像中の注目領域の表示倍率を変化させ所定の閾値未満とした結果、表示画面が図7(b)のようになった場合の変化の様子を説明する。図7(c)の表示画面において表示倍率を変化させ所定の閾値未満となると、表示レイアウトの変更が行われ高倍率画像表示領域705が表示されなくなる。その結果、画像表示領域701内には低倍率表示画像703のみが表示されることになる。そして、表示倍率には変更を加えずに、低倍率表示画像703中の注目領域が視点位置702に表示されるように表示位置が変更されて図7(b)の表示状態となる。
図7のように表示を行うことにより、画像観察を行う際にユーザーは視点の移動を行う画像観察と、視点移動の少ない画像観察を選択的に行うことが可能となり、効率的に画像観察を行うことが可能となる。具体的には、表示倍率や表示位置を変化させながら画像の細部を観察する際に、画面内における視点位置を移動させてしまうと、表示内容の変更と視点移動の2重の変化に対応しなくてはならなくなり、見ている個所が分からなくなってしまう場合がある。そのため、視点位置を移動が少なくなるように、指定された位置の表示を行うことが望ましく、表示位置の移動が行われた場合には、図7(b)に示すように指示された注目領域が視点位置に表示されるようにすると良い。また、表示倍率の変更が行われる場合には、注目領域は視点位置に表示されたままで、表示倍率が変更された画像が表示されるようにすると良い。
一方で、画像観察において、所定以上の表示倍率で詳細な様子を観察行いながら、更に所定未満の倍率で全体の様子を観察し、両方の結果を比較しながら観察する場合がある。例えば、図3で説明したような病理画像の観察においては、高倍率の表示で個々の細胞の形状の様子を観察する一方で、低倍率の表示で臓器などの組織的な特徴に基づいて癌の浸潤度や発生位置などを確認する場合がある。このような場合に、異なる表示倍率で同じ位置の画像を比較観察できることが望ましく、表示画面上に異なる表示倍率の画像の表示を行うことで、比較観察を行うことが可能となる。ここで、比較観察を行う場合においては、まず高倍率で表示を行うべき領域を探す必要がある。具体的には、図7(b)で示すような低倍率の表示を行っている状態から、高倍率で確認する領域を拡大して確認することが行われる。この場合、高倍率で確認すべき領域を探している間は、表示位置の移動と倍率の変更が繰り返されるため、視点の移動は少ない方が望ましい。一方、高倍率で確認すべき領域が見つかった後で、低倍率の表示画像との比較観察を行う際には、ユーザー操作による表示位置の移動が行われることが少ないため、表示画面内で視点位置を移動させても、見ている箇所が分からなくなってしまうことが少なくなる。また、図7(c)で示したように高倍率で確認すべき領域の外に、比較すべき注目領域を含むように低倍率の表示を行うことにより、高倍率で確認すべき領域を見つける作業に続いて、比較観察を実行することが可能となる。
なお、図7においては視点位置702、及び、705は矩形で示しているが、本発明はこれに限るものではない。例えば、視点位置内、或いは、視点位置外の領域の色や輝度を変化させても良い。更に、画像表示領域701の内側、或いは、外側に矩形ではない視点位置を示すマーカー等の表示を行う等でも良い。その他、本発明は視点位置をユーザーに対して示すことが可能であれば、視点位置の提示方法は限定されない。また、視点位置を示す表示が画像観察の邪魔になる場合には、表示、非表示を選択可能にしても良い。
なお、本実施例では視点位置は画面の中央であるとしたが、本発明はこれに限るものではなく中央以外の様々な位置にしても良い。
更に、本実施例では表示位置の移動の際に、注目位置を指定するものとして説明したが、特定の位置を指定して観察するのではなく、連続的に位置を変化させながら画像全体を走査して観察する場合であれば、移動速度や移動方向を指定するようにしても良い。この場合であっても、本発明を適用することにより、表示位置の移動、及び、表示倍率の変更時には視点移動の少ない画像観察をすることが可能になり、更に、高倍率表示時において異なる表示倍率での画像比較観察も可能となる。
以上説明したように、本実施形態によるとスクロールや変倍を繰り返し行いながら画像観察を行う場合に、視点移動を低減させながら観察を行うことが可能となる。更に、本実施形態によれば、スクロールや変倍を繰り返し行う観察作業中に、画像中の注目領域に対して異なる倍率での比較観察を行うことが可能となる。その結果、スクロールや変倍を繰り返しながら画像を観察する際のユーザーの負荷を低減させ観察作業の効率を上げることが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、上述の実施例1では高倍率の画像表示は低倍率の画像表示領域の上に重ねて表示する例を示した。しかし、本発明はこれに限定されるものではなく、視点の移動を少なくする方法であれば良いため、例えば画像表示領域を分割する等の表示方法も適用可能である。図8は表示領域を分割する際の一例を示している。図8(a)は基本表示レイアウト時の表示画面を示しており、図7と同様の符号は説明を省略する。図8(b)は並列表示レイアウト(第2のレイアウト)を示しており、図8(a)の表示レイアウトに対して、表示領域が分割されている。なお、視点位置702が画像表示領域701、或いは、アプリケーションウィンドウ700に対して固定されていることは上述の実施例と同様である。図8(a)の画像表示領域701が、図8(b)では高倍率画像表示領域800と、低倍率画像表示領域801に分割される。そして、低倍率画像の表示は図8(b)の802に示すように、注目領域およびその周辺領域が含まれるように低倍率画像表示領域801中に表示する。一方、表示倍率の変更指示に基づいて表示倍率を高めた画像表示を行っている高倍率画像表示領域800では、画像の注目領域が視点位置702に表示されるようにする。
なお、図8の例では表示レイアウトの切り替えに応じて画像表示領域の分割・非分割が切り替わっているが、図8(b)に示すレイアウトのみにして切り替えを行わず、予め分割されていても良い。この場合、表示倍率の変更指示に従って表示倍率を変更する画像表示が視点位置702を含む画像表示領域800に、表示倍率の変更を行わない比較対象の表示倍率の画像表示が他方の画像表示領域801に表示されるようにすると良い。そして、所定の表示倍率を超えたときにのみ画像領域801に低倍率の画像表示を行うようにしても良い。このようにすることで、並列表示の際の画像表示位置が固定的になるため、表示内容の切り替えが発生しても注目領域の画面内での表示位置を予測しやすくなる。なお、レイアウトに関しては上述の説明に限定されるものではなく、視点位置に注目領域を表示させることで視点移動を少なくすることが可能な様々な配置を適用することが可能である。
更に、上述の実施例1では、視点位置は予め定められているとしたが、ユーザーが適宜変更可能にしても良い。このようにすることで、画面内の表示内容に応じて、適切な位置に視点位置を指定することが可能になり、観察作業が効率的になる。
なお、上述の実施例はCPU200によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば、上述の一部、或いは全部をハードウェアにより構成するようにしても良い。
更に、本発明はディスプレイ108が接続された端末107中で実施されるのみならず、ネットワークに接続された他の端末により描画データの生成を行うようにする。そして、ネットワークを介して送信された描画データがディスプレイ108に表示されるような構成であっても良い。つまり、描画データの生成と画像表示が行われるディスプレイが離れた位置にあるようなシステム構成においても適用可能である。
なお、本発明では、常に、上述の描画データ生成方法又は画像表示方法を使ったモードを実行する必要はなく、状況に応じて、そのモードとは別のモードを(ユーザーの指示またはコンピュータの判断により)実行しても良い。
100 顕微鏡装置
101 プレパラート
102 ステージ
103 光源
104 対物レンズ
105 撮像部
106 コントローラ
107 端末
108 ディスプレイ
109 キーボード
110 マウス
111 サーバー
200 CPU
201 ROM
202 RAM
203 ストレージ
204 グラフィックボード
205 I/F
206 LAN I/F
300 パラフィンブロック
301 検体
302 パラフィン
306〜308 試料
309〜311 プレパラート

Claims (9)

  1. 撮像画像のデータを取得する画像取得手段と、
    表示倍率の変更指示を取得する倍率取得手段と、
    前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を備え、
    前記生成手段は、
    前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
    前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
    前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
    前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
    ことを特徴とする描画データ生成装置。
  2. ユーザーの視点位置を取得する視点位置取得手段を備え、
    前記生成手段は、前記部分領域が前記視点位置上に表示されるように、前記描画データを生成する
    ことを特徴とする請求項1に記載の描画データ生成装置。
  3. 前記第2のレイアウトでは、前記第2の倍率の表示領域が、前記低い倍率の表示領域の中に表示される
    ことを特徴とする請求項1又は2に記載の描画データ生成装置。
  4. 前記第2のレイアウトでは、前記第2の倍率の表示領域が、前記低い倍率の表示領域の外に表示される
    ことを特徴とする請求項1又は2に記載の描画データ生成装置。
  5. 前記第1のレイアウトでは、前記第1の倍率の表示領域のみが表示される
    ことを特徴とする請求項1乃至4のいずれか1項に記載の描画データ生成装置。
  6. 前記撮像画像は、顕微鏡で取得した画像である
    ことを特徴とする請求項1乃至5のいずれか1項に記載の描画データ生成装置。
  7. コンピュータが撮像画像のデータを取得する画像取得工程と、
    コンピュータが表示倍率の変更指示を取得する倍率取得工程と、
    コンピュータが前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成工程と、を有し、
    前記生成工程では、
    前記倍率取得工程で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
    前記倍率取得工程で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
    前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
    前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
    ことを特徴とする描画データ生成方法。
  8. 請求項7に記載の描画データ生成方法の各工程をコンピュータに実行させるプログラム。
  9. 表示装置と、撮像画像を前記表示装置に表示するための描画データを生成する描画データ生成装置と、を備える描画データ生成システムであって、
    撮像画像のデータを取得する画像取得手段と、
    表示倍率の変更指示を取得する倍率取得手段と、
    前記撮像画像の少なくとも一部を表示画像として表示装置に表示するための描画データを生成する生成手段と、を有し、
    前記生成手段は、
    前記倍率取得手段で第1の倍率への変更指示を取得した場合には、第1のレイアウトの前記描画データを生成し、
    前記倍率取得手段で前記第1の倍率よりも高い第2の倍率への変更指示を取得した場合には、前記第1のレイアウトと異なる第2のレイアウトの前記描画データを生成し、
    前記第1のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第1の倍率で表示され、
    前記第2のレイアウトでは、前記表示画像中の部分領域が該部分領域が表示されていた位置上に該第2の倍率で表示され、且つ、該部分領域及び該部分領域の周辺領域が該第2の倍率よりも低い倍率で表示され、且つ、該第2の倍率の該部分領域と該低い倍率の該部分領域とが重ならない
    ことを特徴とする描画データ生成システム。
JP2012067577A 2012-03-23 2012-03-23 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム Pending JP2013200639A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012067577A JP2013200639A (ja) 2012-03-23 2012-03-23 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム
US13/835,761 US9159117B2 (en) 2012-03-23 2013-03-15 Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system for changing magnification of displayed images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012067577A JP2013200639A (ja) 2012-03-23 2012-03-23 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム

Publications (1)

Publication Number Publication Date
JP2013200639A true JP2013200639A (ja) 2013-10-03

Family

ID=49211373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012067577A Pending JP2013200639A (ja) 2012-03-23 2012-03-23 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム

Country Status (2)

Country Link
US (1) US9159117B2 (ja)
JP (1) JP2013200639A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515912A (ja) * 2018-03-06 2021-06-24 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102065408B1 (ko) * 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
CN104408687B (zh) * 2014-10-31 2018-07-27 酷派软件技术(深圳)有限公司 一种图片播放的方法及装置
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
US10782875B2 (en) * 2018-10-17 2020-09-22 Emagine Solutions Technology LLC Touchscreen method for medically precise measurements in ultrasound images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274741A (ja) * 1997-03-31 1998-10-13 Tsushin Hoso Kiko 被検体遠隔観測システム
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2006145857A (ja) * 2004-11-19 2006-06-08 Olympus Corp 走査型レーザ顕微鏡
JP2006343573A (ja) * 2005-06-09 2006-12-21 Olympus Corp 顕微鏡システム、観察方法および観察プログラム
US20090028544A1 (en) * 2007-07-27 2009-01-29 Nikon Corporation Microscope system and microscope observation method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320085A (ja) 1994-05-27 1995-12-08 Ricoh Co Ltd 画像情報処理装置
US5754348A (en) * 1996-05-14 1998-05-19 Planetweb, Inc. Method for context-preserving magnification of digital image regions
JP3713696B2 (ja) * 1997-06-02 2005-11-09 ソニー株式会社 デジタルマップの拡大縮小表示方法、デジタルマップの拡大縮小表示装置、及びデジタルマップの拡大縮小表示プログラムを格納した格納媒体
US7474960B1 (en) * 2002-12-30 2009-01-06 Mapquest, Inc. Presenting a travel route
US8031206B2 (en) * 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
WO2008047518A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de synthèse d'image, procédé de synthèse d'image, programme de synthèse d'image, circuit intégré
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
JP5652227B2 (ja) * 2011-01-25 2015-01-14 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10274741A (ja) * 1997-03-31 1998-10-13 Tsushin Hoso Kiko 被検体遠隔観測システム
JP2001059940A (ja) * 1999-08-24 2001-03-06 Nikon Corp 顕微鏡及び記録媒体
JP2006145857A (ja) * 2004-11-19 2006-06-08 Olympus Corp 走査型レーザ顕微鏡
JP2006343573A (ja) * 2005-06-09 2006-12-21 Olympus Corp 顕微鏡システム、観察方法および観察プログラム
US20090028544A1 (en) * 2007-07-27 2009-01-29 Nikon Corporation Microscope system and microscope observation method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016002244; 山口 雅浩、外4名: '"定量的病理診断を可能とする病理画像認識技術の開発"' 電子情報通信学会技術研究報告 Vol.111, No.389, 20120112, pp.165-170, 社団法人電子情報通信学会 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515912A (ja) * 2018-03-06 2021-06-24 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
JP7183286B2 (ja) 2018-03-06 2022-12-05 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
US11656446B2 (en) 2018-03-06 2023-05-23 Ventana Medical Systems, Inc. Digital pathology scanning interface and workflow

Also Published As

Publication number Publication date
US9159117B2 (en) 2015-10-13
US20130249952A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
US9891804B2 (en) Selection and display of biomarker expressions
JP2013200639A (ja) 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム
JP5561027B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
JP5617233B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
US8417006B2 (en) System and method for improved viewing and navigation of digital images
JP2006343573A (ja) 顕微鏡システム、観察方法および観察プログラム
JP2013134574A (ja) 画像データ生成装置、画像データ表示システムおよび画像データ生成方法
JP2014021490A (ja) スタックされた顕微鏡画像をナビゲートするための方法及び装置
WO2014165989A1 (en) Method and apparatus for small and large format histology sample examination
CN112585692A (zh) 医疗系统、医疗设备和医疗方法
US7865007B2 (en) Microscope system, observation method and observation program
JP2011227629A (ja) 情報処理装置及びそのプログラム
US9214019B2 (en) Method and system to digitize pathology specimens in a stepwise fashion for review
EP1990668A2 (en) Microscopic-measurement apparatus
CN114388105A (zh) 病理切片处理方法、装置、计算机可读介质及电子设备
JP5858774B2 (ja) 表示画面生成装置及びその制御方法
JP2016038542A (ja) 画像処理方法および画像処理装置
JP2013190787A (ja) 描画データ生成装置、描画データ生成方法、及びプログラム
CN116235223A (zh) 使用基于目光的跟踪的注释数据收集
JP2013200638A (ja) 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160628