JP2013167798A - 画像生成装置及びその制御方法 - Google Patents
画像生成装置及びその制御方法 Download PDFInfo
- Publication number
- JP2013167798A JP2013167798A JP2012031671A JP2012031671A JP2013167798A JP 2013167798 A JP2013167798 A JP 2013167798A JP 2012031671 A JP2012031671 A JP 2012031671A JP 2012031671 A JP2012031671 A JP 2012031671A JP 2013167798 A JP2013167798 A JP 2013167798A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- image
- display
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008859 change Effects 0.000 claims abstract description 117
- 238000009826 distribution Methods 0.000 claims abstract description 65
- 238000003860 storage Methods 0.000 claims description 65
- 238000003745 diagnosis Methods 0.000 claims description 16
- 238000010186 staining Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 24
- 238000004043 dyeing Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 50
- 238000004364 calculation method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000011161 development Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 230000004043 responsiveness Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 12
- 238000002360 preparation method Methods 0.000 description 11
- 238000010827 pathological analysis Methods 0.000 description 9
- 230000003139 buffering effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000002738 Giemsa staining Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000007447 staining method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000008393 encapsulating agent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000000879 optical micrograph Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N1/31—Apparatus therefor
- G01N1/312—Apparatus therefor for samples mounted on planar substrates
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Digital Computer Display Output (AREA)
Abstract
【解決手段】ユーザの操作には、表示する領域を水平方向に移動する第1の変更操作、表示する領域を奥行き方向に移動する第2の変更操作、表示倍率を変更する第3の変更操作などがある。画像生成装置では、複数の変更操作のそれぞれについて、変更操作が行われた場合に表示用の画像データの更新に必要となるデータを予測し、変更操作ごとに予測したデータをメモリ領域に格納する。ここで、メモリ領域に格納可能なデータ量の変更操作ごとの配分が、現在の表示倍率、ユーザ設定モード、アノテーション情報、操作履歴、ユーザ情報、染色の種別などに応じて、適応的に変わる。
【選択図】図9
Description
バーチャル・スライド・システムで作成したデータの量は膨大であるが、それゆえ、ビューアで拡縮を行うことでミクロ(細部拡大像)からマクロ(全体俯瞰像)まで観察することができ、種々の利便性を提供する。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが欲する解像度・倍率による即時の表示が可能となる。
特許文献1における先読み処理の一例として、表示履歴に基づく予測が開示されている。しかし、初めて観察する領域(未表示の領域)には表示履歴が存在しないため、有効な先読みが実現できず、画像更新の応答速度向上ができないという課題があった。また、特許文献1では先読み処理の他の一例として、画像内容に基づく予測が開示されている。しかし、この予測では、表示と同時に画像解析を行うため、負荷が大きく、応答速度向上を実現しづらい課題があった。
また、特許文献1では、メインメモリにロードする画像ブロックとして、表示画像と同一階層内の画像ブロックより別の階層、すなわち拡大画像及び縮小画像の画像ブロックを優先させる規則を開示している。これは階層を移動すると、デコードしたメモリを全て更新するため、それを避ける必要性に基づく。しかし、この規則を適用すると、ユーザがもっぱら同一階層内で表示領域を移動させる場合や、表示領域を同一階層内で大きく移動させた場合に、バッファが有効に利かず応答速度が低下してしまうという課題がある。
(全体構成)
図1は、本発明の実施形態に係る画像表示システムの構成を示している。
画像生成装置(ホストコンピュータ)100には、ユーザからの入力を受け付ける入力操作デバイス110と、画像生成装置100で処理した画像をユーザに表示する為のディスプレイ(表示装置)120が接続される。入力操作デバイス110には、キーボード111、マウス112、ユーザの操作性を高めるための専用コントローラ113(例えばトラックボール)などがある。また画像生成装置100には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置130、ネットワークI/Fを通じてアクセスできる他のコンピュータシステム140が接続されている。なお、図1では記憶装置130は画像生成装置100の外部に存在するが、画像生成装置100に内蔵しても良い。
画像生成装置100では、入力操作デバイス110から入力されたユーザの制御信号に従い、記憶装置130から画像データを取得し、表示用の画像データを生成・更新する。
図2は、画像生成装置100で生成した表示データを、画像表示アプリケーションを通じて、ディスプレイ120に表示した場合の一例である。
(例えばCtrlキー)を押しながらのマウスホイールの回転操作で実現できる(例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる)。
図3は画像生成装置100の内部のハードウェア構成を示す図である。
CPU301はメインメモリ302に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またCPU301は、以降の実施形態で説明する各種演算処理及びデータ処理、例えば、符号化圧縮データのデコード、画像の拡大縮小や回転、画像ビューアの実行、表示画像の更新、データの先読み(バッファリング)等を行う。
図4は本発明における被写体の一例である病理標本のプレパラート400を表す。病理標本のプレパラート400では、スライドグラス410上に設置した検体401が封入剤(不図示)とその上に載せるカバーグラス411によって封入されている。検体401の大きさや厚みは検体毎によって異なっている。更にスライドグラス410上には検体401に関する情報を記載したラベルエリア412が存在する。
図5は被写体をデジタル化する撮像装置の構成の一部を表す。
プレパラート400をステージ502に置き、照明ユニット501から光を照射し、交換可能な対物レンズを含む結像光学系503によって、撮像センサ504上に結像させ、光電変換によって撮像センサ504上の像をデジタル化する。座標は図5に示すように、結像光学系503の光軸方向をZに割り当てる。
図6は被写体を撮影して構成した画像ファイルのデータ構造の一例を示す模式図である。図6に示すように、1つの被写体のデータは、水平(XY)位置、奥行き(Z)位置、及び、倍率(M)が異なる複数枚の2次元画像データから構成された、階層構造をもつ階層画像データとなっている。
像する場合にはディスプレイ表示時に倍の視野を持たせるため、一辺が倍率40倍の半分となるように設定し、40000×40000画素となる。同様に倍率10倍、倍率5倍で撮像する場合には、それぞれ20000×20000画素、10000×10000画素となる。
図7は、画像表示アプリケーションに対するユーザ操作に応じて、表示画像の更新ならびに階層画像データからのデータの先読み(バッファの制御)を行うための構成を示す機能ブロック図である。本実施形態では、プログラムを実行するCPU301によりこれらの機能を実現しているが、もちろん専用の演算処理ボードやロジック回路でこれらの機能を実現してもよい。図8は図7の各部の入出力画像データの格納場所や構造を説明する図である。以降、図7および図8を用いて、ユーザ操作に応じた表示更新及びデータ先読み処理について説明する。
112のカーソル位置や表示倍率、表示奥行き位置、階層画像データに格納されたアノテーション情報、画像表示アプリケーションに格納された各種設定情報等である。詳細は後述する。
いし、表示領域820内のデコードが全て完了した時点で実行しても良い。また、表示領域820の画像データの生成に必要なデータがメモリ領域A802、メモリ領域B803のいずれにも存在しない場合には、ハードディスク801から直接画像データを読み出し、デコード及び表示用画像の生成を行ってもよい。すなわち、表示更新及びデータ先読み処理の実行順序は、ユーザ操作に対する表示画面更新の応答性を高めるために、様々に工夫することが出来る。
続いて、先読み領域計算部703の内部処理について説明する。
図9は先読み領域計算部703の内部処理である先読み領域計算処理を示すフローチャートである。図9の処理により、画像表示アプリケーションからのユーザ入力情報に基づいて、ユーザが表示する可能性が高い先読み領域を計算し、画像更新の応答性を高めることが出来る。
領域グループ設定処理S901について詳しく説明する。
まず、階層画像データの領域の表現方法について説明する。倍率および奥行き位置で一意に指定できるレイヤー画像をI(Z,M)で表し、画像表示アプリケーションで表示する奥行き(Z)方向および倍率(M)方向の値をZpおよびMpとすると、表示するレイヤー画像はI(Zp,Mp)となる。
続いて、本実施形態における先読み領域データ量取得処理S902の詳細を説明する。
本実施形態では、先読みデータ量として、メモリ領域A802およびメモリ領域B80
3に割り当てられたメモリ量を取得する。先読みデータ量全体として割り当て可能なメモリ量は、予め画像表示アプリケーションに設定されている。画像表示アプリケーションは、OS(Operating System)上の利用可能な最大メモリ量を参照し、その最大メモリ量を超えないように先読みデータ量を計算しているとする。
続いて、表示倍率を用いた領域グループ別データ配分決定処理S903について説明する。
画像表示アプリケーションの表示領域205に現在表示されている画像が、図6の表示倍率20倍のZスタック画像603の一番上のレイヤー画像の一部であると仮定し、以下の説明を行う。
領域グループ別データ配分情報910には、表示倍率に対する、水平(XY)領域グループ、奥行き(Z)領域グループ、倍率(M)領域グループそれぞれの先読みデータ量の配分率が記載されている。表1の例は、現在の表示倍率が5倍のとき、水平(XY)領域グループには80%の、奥行き(Z)領域グループには0%の、倍率(M)領域グループには20%のメモリ量を割り当てることを示している。また、現在の表示倍率が40倍のときは、水平(XY)領域グループには20%の、奥行き(Z)領域グループには60%の、倍率(M)領域グループには20%のメモリ量が割り当てられる。
続いて、領域グループ別先読み領域決定処理S904の詳細を説明する。メモリ領域A
802に格納する先読み領域Aは、メモリ領域B803に格納する先読み領域Bとほぼ同様に計算出来るため、先に先読み領域Bの決定方法について説明する。なお、以下では、水平(XY)領域グループに対する先読み領域を「水平(XY)先読み領域」と呼ぶ。同様に、奥行き(Z)領域グループ、倍率(M)領域グループに対する先読み領域をそれぞれ「奥行き(Z)先読み領域」、「倍率(M)先読み領域」と呼ぶ。
階層画像データに含まれる、倍率(M)の異なるZスタック画像の数をWとすると、図10ではW=4となる。倍率(M)領域グループには、現在の表示倍率を除く、W−1枚のレイヤー画像が含まれている。本実施形態では、W−1枚のレイヤー画像のそれぞれに対し、等しいサイズの先読み領域を確保する。
図11(a)および(b)は、前述のメモリ配分率を用いて定めた、メモリ領域Bにロードする水平(XY)先読み領域および奥行き(Z)先読み領域を示す模式図である。図11(a)はすべての奥行き位置で同じサイズの画像データをロードする例、図11(b)は奥行き位置に応じて画像データのサイズを変化させる例を示している。
N=sqrt(asign_mem_xy/pix_Byte/aspect) …<1>式
M=1.6×N …<2>式
Sx=floor(aspect×N/block_x)×block_x …<3>式
Sy=floor(N/block_y)×block_y …<4>式
ここで、floor(x)はxを超えない最大の整数を求める関数、sqrt(x)はxの平方
根を求める関数を表す。なお、上記の各変数の意味は下記の通りである。
N:画面表示サイズのアスペクト比となるように先読み領域を計算した場合のY方向の最大長(分割ブロックを考慮しない値)
block_x:分割ブロックのX方向の長さ
block_y:分割ブロックのY方向の長さ
asign_mem_xy:水平(XY)領域グループに割り当てられたメモリ量[Byte]
pix_Byte:1画素のバイト数
aspect:画面表示サイズのアスペクト比(横/縦)
Sx=ceil(x_disp/block_x)×block_x …<5>式
Sy=ceil(y_disp/block_y)×block_y …<6>式
D=floor(asign_mem_z/(Sx×Sy×pix_Byte)) …<7>式
ここで、Ceil(x)はxを超える最小の整数を求める関数を表す。
各変数の意味は下記の通りである。
x_disp:先読みしたいX方向の画素数(分割ブロックを考慮しない値)
y_disp:先読みしたいY方向の画素数(同上)
asign_mem_z:奥行き(Z)領域グループに割り当てられたメモリ量[Byte]
block_x=block_y=256
pix_Byte=3(RGBカラーを想定し、3バイトに設定)
aspect=1920/1200
x_disp=1920
y_disp=1200
なお、現在の表示倍率は5倍と仮定し、水平(XY)領域グループ、奥行き(Z)領域グループそれぞれのメモリ割り当ては以下のとおりとする。
asign_mem_xy=104857600(=100MB)
asign_mem_z=0
なお「画面カバー率」は、メモリ領域Bにおいて水平(XY)先読み領域として確保した画素数が画面表示の縦横サイズの何%に相当する領域をカバーするかを示している。この数字が大きい程、水平方向もしくは奥行き方向への移動に対して高速に画面更新できる領域が広いこと、即ち低速のメモリや記憶媒体へのアクセスが少なくて済むことを示している。
asign_mem_xy=78643200(=75MB)
asign_mem_z=26214400(=25MB)
であり、倍率20倍におけるメモリ割り当ては、
asign_mem_xy=52428800(=50MB)
asign_mem_z=52428800(=50MB)
であり、倍率40倍におけるメモリ割り当ては、
asign_mem_xy=26214400(=25MB)
asign_mem_z=78643200(=75MB)
である。
上記の表3〜表5より10倍、20倍、40倍と高倍になるにつれ、水平方向の画面カバー率を下げつつも、奥行き方向の画像の先読み枚数を増やしていることが分かる。これは、ユーザのニーズと良く合致している。低倍では概要確認を行うため、水平方向の移動に対する画面更新の応答性能が重要である。一方、倍率が大きくなるにつれ、被写界深度が浅くなる為、奥行き方向の観察の頻度が上がり、奥行き方向の画面更新の応答性能が重要となる。
また、領域グループ別先読み領域決定処理S904における別の計算方法として、表示倍率における奥行き方向の枚数(D)を用いて、全ての奥行き方向の画像が表示できるように先読み領域を決定しても良い。
画像データにおける圧縮符号化された画像データを格納するので、メモリ領域A802のみかけのメモリ量が大きくなるという点だけである。メモリ領域AとBが同じメモリ量である場合に、例えば圧縮率が1/10であれば、メモリ領域Aの方が10倍の分割ブロックの画像データを格納することができる。
以上、先読み領域計算部703の内部処理について説明した。
続いて先読み画像データ取得部704の内部処理について述べる。
先読み画像データ取得部704は、階層画像データが格納されたファイルから、先読み領域計算部703で求めた先読み領域Aの画像データを取得する。この際、既にメモリ領域A802には、以前のユーザの入力情報に従って取得した分割ブロックの画像データ群が存在する場合がある。そのため、先読み画像データ取得部704は、データ取得に当たり、まず取得予定の全ての分割ブロックのインデックス情報を記録した「メモリ領域A取得予定画像リスト」を作成する。また、メモリ領域A802に現在格納されている分割ブロックのインデックス情報は、「メモリ領域A取得済み画像リスト」に記載されている。先読み画像データ取得部704は、メモリ領域A802に分割ブロックの画像データを書き込んだり、メモリ領域A802から画像データを消去したりするたびに、メモリ領域A取得済み画像リストの内容を更新する。
高めることが出来る。
以上、先読み画像データ取得部704の内部処理について説明した。
続いて、表示画像展開部705の内部処理について説明する。
表示画像展開部705においても先読み画像データ取得部704と同様に処理前後のリストを作成、比較することにより、デコードしていない分割ブロックの画像データのみを効率的に処理し、応答速度を高めることが出来る。
以上、表示画像展開部705の内部処理について説明した。
続いて、表示領域取得部706の内部処理について説明する。
表示領域取得部706はメモリ領域Bに展開された画像データの中から、表示領域820に該当する範囲の画像データを取得し、表示用の画像データとしてフレームメモリ804に転送する。
メモリ領域Bに展開された画像データは、表示領域820に対して若干のマージンを持っているために水平方向の平行移動に対する画面更新の応答性は高い。
以上述べたように、本実施形態では、水平方向移動、奥行き方向移動、倍率変更といったユーザによる変更操作のそれぞれに対応する領域グループごとに先読みすべきデータを予測し、予測したデータを高速なメモリ領域A及びBへ予めロードしておく。したがって、ユーザによる変更操作が行われた時に、元の階層画像データが格納されている低速なデバイス(ハードディスクや画像サーバなど)の代わりに、高速なメモリから必要なデータを読み出すことができ、表示画像の更新の応答性を高めることができる。また、本実施形態では、領域グループごと(変更操作ごと)のメモリ容量の配分を変更可能としたので、発生確率の高い変更操作に対して適応的に多くのメモリを割り当てるといった柔軟な制御が可能となる。これにより、バッファメモリの使用効率を向上し、低速なデバイスへのアクセス頻度を減らすことができるので、画像表示アプリケーションの応答速度を高めることができる。特に本実施形態では、病理診断等の画像観察におけるユーザの操作傾向に着目し、現在の表示倍率に応じてメモリ容量の配分を自動的に変更するよう制御したので、
ユーザの操作に対する応答性が一層向上するものと期待できる。
第2実施形態では、ユーザが設定可能な設定モードに基づいて、領域グループ毎の先読みデータの配分率を決定する方法について説明する。
よい。
第3実施形態では、画像データに付与されたアノテーション情報に基づき、領域グループ毎の先読みデータの配分率を決定する方法について説明する。
表8に従えば、現在表示されている画像上にアノテーション情報が存在しない場合には、メモリ領域Bに割り当てられた100MBのメモリ量はそのまま水平(XY)領域グループに割り当てられる。その結果、表2と同様の先読み領域が得られる。
例えば、アノテーション情報が存在する場合に奥行き方向の画像を閲覧する可能性が高い場合には、倍率(M)領域グループだけでなく奥行き(Z)領域グループの先読みデータ量を増やすと良い。
第4実施形態では、ユーザの変更操作履歴に応じて、領域グループ毎の先読みデータの配分率を決定する方法について説明する。
表9では、奥行き位置の変更が0回の場合には奥行き(Z)領域グループへ割り当てるメモリ量の比率は0%であるが、奥行き位置の変更が少なくとも1回以上行われた場合には、奥行き(Z)領域グループに割り当てるメモリ量の比率を20%に上げている。これ
により奥行き(Z)方向の画像の先読み領域を広げ、奥行き位置の変更に対する画面更新の応答性を高めることが出来る。
第5実施形態では、ユーザの識別情報、例えば、画像生成装置100にログインするユーザIDや画像表示アプリケーションで設定するユーザIDに応じて、領域グループ毎の先読みデータの配分率を決定する方法について説明する。
上記のように、ユーザ毎に領域グループ別のデータ配分量を変更することで、ユーザの操作傾向に適合した先読みが可能となり、画像更新の応答性を高めることが出来る。
第6実施形態では検体401の種別により、領域グループ毎の先読みデータの配分率を決定する方法について説明する。
第7実施形態では、奥行き位置(焦点位置)の異なる複数枚の2次元画像データから構成される階層画像データを用いる場合について説明する。
第8実施形態では、倍率(解像度)の異なる複数枚の2次元画像データから構成される階層画像データを用いる場合について説明する。
ケーションで画像を表示する際に、事前に各2次元画像データを所定サイズのブロックに分割し、上記実施形態と同じ処理を適用してもよい。
703:先読み領域計算部、704:先読み画像データ取得部、705:表示画像展開部、706:表示領域取得部
801:ハードディスク、802:メモリ領域A、803:メモリ領域B
Claims (17)
- 元の画像データの一部に対応する画像を表示し、その表示する部分をユーザの操作に従って変更する機能を有するビューアのために、元の画像データから表示用の画像データを生成する画像生成装置であって、
元の画像データを記憶する第1の記憶手段と、
前記元の画像データの一部のデータを一時的に格納可能であって且つ前記第1の記憶手段よりも高速にデータを読み出し可能である第2の記憶手段と、
ユーザの操作に応じて、前記元の画像データから表示用の画像データを生成する生成手段であって、表示用の画像データの生成に必要なデータが前記第2の記憶手段に格納されている場合には前記第2の記憶手段に格納されているデータを用いる、生成手段と、
前記生成手段で利用されるデータを予測して、前記元の画像データのうちどの部分のデータを前記第2の記憶手段に格納するかを制御する制御手段と、
を備え、
前記ユーザの操作には、表示する領域を水平方向に移動する第1の変更操作と、表示する領域を奥行き方向に移動する第2の変更操作および表示倍率を変更する第3の変更操作の少なくともいずれかと、を含む複数の変更操作があり、
前記制御手段は、前記複数の変更操作のそれぞれについて、変更操作が行われた場合に表示用の画像データの更新に必要となるデータを予測し、変更操作ごとに予測したデータを前記第2の記憶手段に格納するものであり、
前記第2の記憶手段に格納可能なデータ量の変更操作ごとの配分が変更可能である
ことを特徴とする画像生成装置。 - 前記制御手段が、前記ビューアまたは前記元の画像データから取得される情報に応じて、前記第2の記憶手段に格納可能なデータ量の変更操作ごとの配分を自動的に変更する
ことを特徴とする請求項1に記載の画像生成装置。 - 前記情報は、前記ビューアに現在表示されている画像の表示倍率の情報である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記制御手段は、前記表示倍率が低いほど、前記第1の変更操作に対する配分を多くする
ことを特徴とする請求項3に記載の画像生成装置。 - 前記情報は、前記ビューアにおいてユーザにより設定されるモードの情報である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記モードは、組織診か細胞診かを指定するためのものであり、
前記制御手段は、組織診が指定された場合に、細胞診が指定された場合よりも、前記第1の変更操作に対する配分を多くする
ことを特徴とする請求項5に記載の画像生成装置。 - 前記モードは、前記複数の変更操作のうち優先すべき操作を指定するためのものであり、
前記制御手段は、優先すべき操作として指定された変更操作に対する配分を、他の変更操作に対する配分よりも多くする
ことを特徴とする請求項5に記載の画像生成装置。 - 前記情報は、前記元の画像データの中の注目領域に対して付されたアノテーション情報である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記制御手段は、前記ビューアに現在表示されている画像上にアノテーション情報が存在する場合に、アノテーション情報が存在しない場合よりも、前記第2または第3の変更操作に対する配分を多くする
ことを特徴とする請求項8に記載の画像生成装置。 - 前記情報は、前記元の画像データを前記ビューアで表示する際にユーザにより行われた変更操作の履歴情報である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記制御手段は、前記第2の変更操作が1回以上行われていた場合に、前記第2の変更操作が1回も行われていない場合よりも、前記第2の変更操作に対する配分を多くする
ことを特徴とする請求項10に記載の画像生成装置。 - 前記情報は、前記ユーザを識別するための情報である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記制御手段は、前記情報によって前記ユーザがスクリーニング作業を行う者か詳細観察を行う者かを判別し、スクリーニング作業を行う者である場合に、詳細観察を行う者である場合よりも、前記第1の変更操作に対する配分を多くする
ことを特徴とする請求項12に記載の画像生成装置。 - 前記情報は、前記元の画像データの中の被写体に施された染色の種別である
ことを特徴とする請求項2に記載の画像生成装置。 - 前記制御手段は、前記染色の種別によって前記元の画像データが組織診のためのデータか細胞診のためのデータかを判断し、組織診のためのデータである場合に、細胞診のためのデータである場合よりも、前記第1の変更操作に対する配分を多くする
ことを特徴とする請求項14に記載の画像生成装置。 - 元の画像データを記憶する第1の記憶手段と、
前記元の画像データの一部のデータを一時的に格納可能であって且つ前記第1の記憶手段よりも高速にデータを読み出し可能である第2の記憶手段と、
前記元の画像データの一部に対応する画像を表示し、その表示する部分をユーザの操作に従って変更する機能を有するビューアのために、前記元の画像データから表示用の画像データを生成する生成手段であって、表示用の画像データの生成に必要なデータが前記第2の記憶手段に格納されている場合には前記第2の記憶手段に格納されているデータを用いる、生成手段と、
を備える画像生成装置の制御方法であって、
前記ユーザの操作には、表示する領域を水平方向に移動する第1の変更操作と、表示する領域を奥行き方向に移動する第2の変更操作および表示倍率を変更する第3の変更操作の少なくともいずれかと、を含む複数の変更操作があり、
前記制御方法は、
前記ビューアまたは前記元の画像データから取得される情報に応じて、前記第2の記憶手段に格納可能なデータ量の変更操作ごとの配分を変更するステップと、
前記複数の変更操作のそれぞれについて、変更操作が行われた場合に表示用の画像データの更新に必要となるデータを予測し、変更操作ごとに予測したデータを前記配分に従って前記第2の記憶手段に格納するステップと、
を含むことを特徴とする画像生成装置の制御方法。 - 元の画像データを記憶する第1の記憶手段と、
前記元の画像データの一部のデータを一時的に格納可能であって且つ前記第1の記憶手段よりも高速にデータを読み出し可能である第2の記憶手段と、
前記元の画像データの一部に対応する画像を表示し、その表示する部分をユーザの操作に従って変更する機能を有するビューアのために、前記元の画像データから表示用の画像データを生成する生成手段であって、表示用の画像データの生成に必要なデータが前記第2の記憶手段に格納されている場合には前記第2の記憶手段に格納されているデータを用いる、生成手段と、備え、
前記ユーザの操作には、表示する領域を水平方向に移動する第1の変更操作と、表示する領域を奥行き方向に移動する第2の変更操作および表示倍率を変更する第3の変更操作の少なくともいずれかと、を含む複数の変更操作がある、
画像生成装置に対し、
前記ビューアまたは前記元の画像データから取得される情報に応じて、前記第2の記憶手段に格納可能なデータ量の変更操作ごとの配分を変更するステップと、
前記複数の変更操作のそれぞれについて、変更操作が行われた場合に表示用の画像データの更新に必要となるデータを予測し、変更操作ごとに予測したデータを前記配分に従って前記第2の記憶手段に格納するステップと、
を実行させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012031671A JP2013167798A (ja) | 2012-02-16 | 2012-02-16 | 画像生成装置及びその制御方法 |
EP13749262.5A EP2815394A4 (en) | 2012-02-16 | 2013-02-05 | IMAGE GENERATING APPARATUS AND METHOD FOR CONTROLLING THE SAME |
US14/363,831 US20140327687A1 (en) | 2012-02-16 | 2013-02-05 | Image generating apparatus and method for controlling the same |
PCT/JP2013/000610 WO2013121735A1 (en) | 2012-02-16 | 2013-02-05 | Image generating apparatus and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012031671A JP2013167798A (ja) | 2012-02-16 | 2012-02-16 | 画像生成装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013167798A true JP2013167798A (ja) | 2013-08-29 |
Family
ID=48983872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012031671A Ceased JP2013167798A (ja) | 2012-02-16 | 2012-02-16 | 画像生成装置及びその制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140327687A1 (ja) |
EP (1) | EP2815394A4 (ja) |
JP (1) | JP2013167798A (ja) |
WO (1) | WO2013121735A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016139397A (ja) * | 2015-01-23 | 2016-08-04 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム |
CN110188020A (zh) * | 2018-02-22 | 2019-08-30 | 欧姆龙株式会社 | I/o管理装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN117259959A (zh) | 2015-02-12 | 2023-12-22 | 格罗弗治公司 | 用于激光加工的视觉预览 |
US10509390B2 (en) | 2015-02-12 | 2019-12-17 | Glowforge Inc. | Safety and reliability guarantees for laser fabrication |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
US10768406B2 (en) * | 2016-06-20 | 2020-09-08 | Scanogen Inc. | Imaging system |
WO2018098399A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Controlled deceleration of moveable components in a computer numerically controlled machine |
WO2018098397A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Calibration of computer-numerically-controlled machine |
WO2018098394A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Fabrication with image tracing |
US11389896B2 (en) | 2017-04-04 | 2022-07-19 | Nlight, Inc. | Calibration test piece for galvanometric laser calibration |
US11579440B2 (en) | 2019-03-14 | 2023-02-14 | Nlight, Inc. | Focus assessment in dynamically focused laser system |
US11525968B2 (en) * | 2019-03-14 | 2022-12-13 | Nlight, Inc. | Calibration validation using geometric features in galvanometric scanning systems |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009072311A1 (ja) * | 2007-12-05 | 2009-06-11 | Sharp Kabushiki Kaisha | 表示装置及び表示方法 |
WO2010038337A1 (ja) * | 2008-09-30 | 2010-04-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6396941B1 (en) * | 1996-08-23 | 2002-05-28 | Bacus Research Laboratories, Inc. | Method and apparatus for internet, intranet, and local viewing of virtual microscope slides |
US7738688B2 (en) * | 2000-05-03 | 2010-06-15 | Aperio Technologies, Inc. | System and method for viewing virtual slides |
-
2012
- 2012-02-16 JP JP2012031671A patent/JP2013167798A/ja not_active Ceased
-
2013
- 2013-02-05 WO PCT/JP2013/000610 patent/WO2013121735A1/en active Application Filing
- 2013-02-05 US US14/363,831 patent/US20140327687A1/en not_active Abandoned
- 2013-02-05 EP EP13749262.5A patent/EP2815394A4/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009072311A1 (ja) * | 2007-12-05 | 2009-06-11 | Sharp Kabushiki Kaisha | 表示装置及び表示方法 |
WO2010038337A1 (ja) * | 2008-09-30 | 2010-04-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016139397A (ja) * | 2015-01-23 | 2016-08-04 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム |
CN110188020A (zh) * | 2018-02-22 | 2019-08-30 | 欧姆龙株式会社 | I/o管理装置 |
CN110188020B (zh) * | 2018-02-22 | 2023-06-16 | 欧姆龙株式会社 | I/o管理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2815394A1 (en) | 2014-12-24 |
US20140327687A1 (en) | 2014-11-06 |
WO2013121735A1 (en) | 2013-08-22 |
EP2815394A4 (en) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013167798A (ja) | 画像生成装置及びその制御方法 | |
US20220076411A1 (en) | Neural netork based identification of areas of interest in digital pathology images | |
JP6348504B2 (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
US9891804B2 (en) | Selection and display of biomarker expressions | |
JP2013117848A (ja) | 画像処理装置及び画像処理方法 | |
EP2535757B1 (en) | Virtual microscopy | |
US20120162228A1 (en) | Information processor, image data optimization method and program | |
JP2008535528A (ja) | スライドの可変品質画像を形成するためのシステムおよび方法 | |
EP2402812B1 (en) | Microscope control device, image management server, image processing method, program, and image management system | |
JP5568970B2 (ja) | 情報処理装置、情報処理方法及びそのプログラム | |
US9159117B2 (en) | Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system for changing magnification of displayed images | |
CN115410693A (zh) | 一种数字病理切片的存储系统、浏览系统及方法 | |
JP2020038600A (ja) | 医療システム、医療装置および医療方法 | |
JP2013068706A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
US20130216096A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP2016139397A (ja) | 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム | |
US20150123981A1 (en) | Image data forming apparatus and control method therefor | |
US20230334621A1 (en) | Technologies for Improved Whole Slide Imaging | |
US11875893B2 (en) | Method and apparatus for outputting information related to a pathological slide image | |
WO2024045819A1 (zh) | 病变区域确定方法、模型训练方法及装置 | |
JP2015090429A (ja) | 画像形成装置およびその制御方法 | |
Jesus et al. | Vendor Neutral Cloud Platform for 4D Digital Pathology | |
JP2015219598A (ja) | 画像形成装置およびその制御方法 | |
Choi | Knife-Edge Scanning Microscope Mouse Brain Atlas In Vector Graphics For Enhanced Performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20160726 |