JP2013200640A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2013200640A JP2013200640A JP2012067578A JP2012067578A JP2013200640A JP 2013200640 A JP2013200640 A JP 2013200640A JP 2012067578 A JP2012067578 A JP 2012067578A JP 2012067578 A JP2012067578 A JP 2012067578A JP 2013200640 A JP2013200640 A JP 2013200640A
- Authority
- JP
- Japan
- Prior art keywords
- image
- request
- display
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012508 change request Methods 0.000 claims abstract description 9
- 230000004043 responsiveness Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 35
- 238000003860 storage Methods 0.000 description 23
- 238000012546 transfer Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000009467 reduction Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000008393 encapsulating agent Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】 応答性の優れた動作ができるように階層画像データを処理する画像処理装置を提供すること。
【解決手段】 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置は、スクロール要求または倍率変更要求を検知する検知部と、前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備える。前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する。
【選択図】 図9
【解決手段】 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置は、スクロール要求または倍率変更要求を検知する検知部と、前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備える。前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する。
【選択図】 図9
Description
本発明は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。
プレパラート上の試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像を取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている(特許文献1)。
また、バーチャル・スライド画像のような高精細、高解像の画像データの構造として、異なる解像度の画像を階層構造で表現することが知られている(特許文献2)。
また、自然なスクロール表示と高速スクロールとを実現する画像処理技術が知られている(特許文献3)。
特許文献2で示された階層構造に表示画像の解像度の画像データがない場合には、階層画像データから表示画像を生成しなければならない、という画像構造上の特徴がある。そのため、特許文献3で提示された技術を適用することで自然なスクロール表示はできるが、高速スクロールの実現が困難であるという課題があった。
特許文献2では、階層構造に表示画像の解像度の画像データがない場合には近傍の階層の画像データを用いる形態を示している。この場合、高速スクロールでの画像データの読み出し動作に時間がかかり、応答性の良いスクロール動作が必ずしもできない事態が発生するという課題があった。
そこで、本発明は、応答性の優れた動作ができるように階層画像データを処理する画像処理装置を提供することを目的とする。
本発明の一側面としての画像処理装置は、解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置であって、スクロール要求または倍率変更要求を検知する検知部と、前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備え、前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成することを特徴とする。
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
本発明の一側面としての画像処理装置によれば、応答性の優れた動作ができるように階層画像データを処理できる。
以下、図面を参照しながら本発明の実施の形態を説明する。
本実施例の画像処理システムについて、図1を用いて説明する。
図1は、本実施例の画像処理システムであり、撮像装置101、画像処理装置102、表示装置103、データサーバ104から構成され、撮像対象となる標本の2次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102との間は、専用もしくは汎用I/Fのケーブル105で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル106で接続される。データサーバ104と画像処理装置102との間は、ネットワーク107を介して、汎用I/FのLANケーブル108で接続される。
撮像装置101は、2次元の平面方向(XY方向)に位置の異なる複数枚の2次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置(バーチャルスライドスキャナ)である。2次元画像の取得にはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置101を構成することもできる。
画像処理装置102は、撮像装置101から取得した複数枚の原画像データから、表示装置103に表示するデータを、原画像データをもとにユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置102は、CPU(中央演算処理装置)、RAM、記憶装置、操作部を含む各種I/Fなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、OS(オペレーティングシステム)などが格納されている。上述した各機能は、CPUが記憶装置からRAMに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。
表示装置103は、画像処理装置102が演算処理した結果である観察用画像を表示するディスプレイであり、CRTや液晶ディスプレイ等により構成される。
データサーバ104は、ユーザが標本を診断する際の指針となる診断基準情報(診断基準に関わるデータ)が格納されているサーバである。診断基準情報は病理診断の現状に合わせて、随時、更新される。データサーバ104は、その診断基準情報の更新に合わせて、その格納内容を更新する。診断基準情報については図8を用いて後述する。
図1の例では、撮像装置101、画像処理装置102、表示装置103とデータサーバ104の4つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を1つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。
図2は、撮像装置101の機能構成を示すブロック図である。撮像装置101は、概略、照明ユニット201、ステージ202、ステージ制御ユニット205、結像光学系207、撮像ユニット210、現像処理ユニット219、プレ計測ユニット220、メイン制御系221、外部装置I/F222から構成される。
照明ユニット201は、ステージ202上に配置されたスライド206に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ202は、ステージ制御ユニット205によって駆動制御され、XYZの3軸方向への移動が可能である。スライド206は、観察対象となる組織の切片や塗抹した細胞をスライドガラス上に貼り付け、封入剤とともにカバーガラスの下に固定した部材である。
ステージ制御ユニット205は、駆動制御系203とステージ駆動機構204から構成される。駆動制御系203は、メイン制御系221の指示を受け、ステージ202の駆動制御を行う。ステージ202の移動方向、移動量などは、プレ計測ユニット220によって計測した標本の位置情報および厚み情報(距離情報)と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構204は、駆動制御系203の指示に従い、ステージ202を駆動する。
結像光学系207は、スライド206の標本の光学像を撮像センサ208へ結像するためのレンズ群である。
撮像ユニット210は、撮像センサ208とアナログフロントエンド(AFE)209から構成される。撮像センサ208は、2次元の光学像を光電変換によって電気的な物理量へ変える1次元もしくは2次元のイメージセンサであり、例えば、CCDやCMOSデバイスが用いられる。1次元センサの場合、走査方向へスキャンすることで2次元画像が得られる。撮像センサ208からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Bayer配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット210は、ステージ202がXY軸方向に駆動することにより、標本の分割画像を撮像する。
AFE209は、撮像センサ208から出力されたアナログ信号をデジタル信号へ変換する回路である。AFE209は後述するH/Vドライバ、CDS(Correlated Double Sampling)、アンプ、AD変換器およびタイミングジェネレータによって構成される。H/Vドライバは、撮像センサ208を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。CDSは、固定パターンのノイズを除去する相関2重サンプリング回路である。アンプは、CDSでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。AD変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が8ビットの場合、後段の処理を考慮して、AD変換器はアナログ信号を10ビットから16ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはRAWデータと呼ばれる。RAWデータは後段の現像処理ユニット219で現像処理される。タイミングジェネレータは、撮像センサ208のタイミングおよび後段の現像処理ユニット219のタイミングを調整する信号を生成する。
撮像センサ208としてCCDを用いる場合、上記AFE209は必須となるが、デジタル出力可能なCMOSイメージセンサの場合は、上記AFE209の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ208の制御を行う撮像制御部が存在し、撮像センサ208の動作制御や、シャッタースピード、フレームレートやROI(Region Of Interest)など動作タイミングや制御を合わせて行う。
現像処理ユニット219は、黒補正部211、ホワイトバランス調整部212、デモザイキング処理部213、画像合成処理部214、フィルタ処理部216、γ補正部217および圧縮処理部218から構成される。黒補正部211は、RAWデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部212は、照明ユニット201の光の色温度に応じて、RGB各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のRAWデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。
デモザイキング処理部213は、Bayer配列のRAWデータから、RGB各色の画像データを生成する処理を行う。デモザイキング処理部213は、RAWデータにおける周辺画素(同色の画素と他色の画素を含む)の値を補間することによって、注目画素のRGB各色の値を計算する。また、デモザイキング処理部213は、欠陥画素の補正処理(補間処理)も実行する。なお、撮像センサ208がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
画像合成処理部214は、撮像センサ208によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって1回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、1枚の2次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、0.25μmの分解能でスライド206上の10mm角の範囲を撮像すると仮定した場合、一辺の画素数は10mm/0.25μmの4万画素となり、トータルの画素数はその自乗である16億画素となる。10M(1000万)の画素数を持つ撮像センサ208を用いて16億画素の画像データを取得するには、16億/1000万の160個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ202の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、0次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、1枚の大容量画像の生成を想定しているが、画像処理装置102の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。
フィルタ処理部216は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。
γ補正部217は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。
圧縮処理部218は、大容量の2次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、JPEG(Joint Photographic Experts Group)、JPEGを改良、進化させたJPEG2000やJPEG XR等の規格化された符号化方式が広く一般に知られている。また、2次元画像データの縮小処理を実行し、階層画像データを生成する。階層画像データについては図5で説明する。
プレ計測ユニット220は、スライド206上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測(撮像画像データの取得)の前にプレ計測ユニット220によって情報を取得することで、無駄のない撮像を実施することが可能となる。2次元平面の位置情報取得には、撮像センサ208より解像力の低い2次元撮像センサが用いられる。プレ計測ユニット220は、取得した画像から標本のXY平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。
メイン制御系221は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系221および現像処理ユニット219の制御機能は、CPUとROMとRAMを有する制御回路により実現される。すなわち、ROM内にプログラムおよびデータが格納されており、CPUがRAMをワークメモリとして使いプログラムを実行することで、メイン制御系221および現像処理ユニット219の機能が実現される。ROMには例えばEEPROMやフラッシュメモリなどのデバイスが用いられ、RAMには例えばDDR3などのDRAMデバイスが用いられる。なお、現像処理ユニット219の機能を専用のハードウェアデバイスとしてASIC化したもので置き換えてもよい。
外部装置I/F222は、現像処理ユニット219によって生成された階層画像データを画像処理装置102に送るためのインターフェースである。撮像装置101と画像処理装置102とは、光通信のケーブルにより接続される。あるいは、USBやGigabitEthernet(登録商標)等の汎用インターフェースが使用される。
図3は、本実施形態の画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばPC(Personal Computer)が用いられる。PCは、制御部301、メインメモリ302、サブメモリ303、グラフィックスボード304、これらを互いに接続する内部バス305、LANI/F306、記憶装置I/F307、外部装置I/F309、操作I/F310、入出力I/F313を備える。
制御部301は、必要に応じてメインメモリ302、サブメモリ303等に適宜アクセスし、各種演算処理を行いながらPCの各ブロック全体を統括的に制御する。メインメモリ302及びサブメモリ303はRAM(Randam Memory Access)として構成される。メインメモリ302は、制御部301の作業用領域等として用いられ、OS、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ302及びサブメモリ303は、画像データの格納領域としても用いられる。制御部301のDMA(Direct Memory Access)機能により、メインメモリ302とサブメモリ303の間、サブメモリ303とグラフィックスボード304の間の画像データの高速転送を実現できる。グラフィックスボード304は、表示装置103に画像処理結果を出力する。表示装置103は、例えば液晶、EL(Electro−Luminescence)等を用いた表示デバイスである。当該表示装置103は、外部装置として接続される形態を想定しているが、表示装置と一体化したPCを想定してもよい。例えばノートPCがこれに該当する。
入出力I/F313には、LAN I/F306を介してデータサーバ104が、記憶装置I/Fを介して記憶装置308が、外部装置I/F309を介して撮像装置101が、また、操作I/F310を介してキーボード311やマウス312が、接続される。
記憶装置308は、制御部301に実行させるOS、プログラムや各種パラメータなどのファームウェアとして固定的に記憶している情報を記録し、読み出す補助記憶装置である。また、撮像装置101から送られてきた階層画像データの格納領域としても用いられる。HDD(Hard Disk Drive)やSSD(Solid State Disk)等の磁気ディスクドライブもしくはFlashメモリを用いた半導体デバイスが用いられる。
操作I/F310との接続デバイスとしてキーボード311やマウス312等のポインティングデバイスを想定しているが、タッチパネル等、表示装置103の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置103と一体となり得る。
図4は、本実施例の画像処理装置の制御部の機能構成を示すブロック図である。制御部301は、ユーザ入力情報取得部401、画像データ取得制御部402、階層画像データ取得部403、表示データ生成制御部404、表示候補画像データ取得部405、表示候補画像データ生成部406、表示画像データ転送部407から構成される。
ユーザ入力情報取得部401は、ユーザがキーボード311やマウス312に入力した画像表示の開始、終了、表示画像のスクロール動作、拡大・縮小(倍率変更)などの指示内容を操作I/F309を介して取得する。ユーザ入力情報取得部401は、検知部に相当する。なお、本明細書において、スクロールとは、表示装置の画面(表示部)に表示されていない画像を、ユーザの入力操作によってその画面に表示させる処理である。もちろん、X方向へのスクロール及びY方向へのスクロールだけでなく、Z方向へのスクロールも含む。
画像データ取得制御部402は、ユーザ入力情報に基づいて、記憶装置304から読み出してメインメモリ302に展開する画像データの領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。メインメモリ302がその画像領域を保持していなければ、階層画像データ取得部403に対して、その画像領域の記憶装置304からの読み出しとメインメモリ302への展開を指示する。記憶装置304から読み出しは時間を要する処理のため、読み出す画像領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。
階層画像データ取得部403は、画像データ取得制御部402の制御指示に従って、記憶装置304からの画像領域の読み出しと、メインメモリ302への展開を行う。
表示データ生成制御部404は、ユーザ入力情報に基づいてメインメモリ302から読み出す画像領域とその処理方法、グラフィックスボード308に転送する表示画像領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に基づいて、表示画像として必要になると予測される表示候補の画像領域と、実際に表示装置103に表示する表示画像領域を検出する。サブメモリ303が表示候補の画像領域を保持していなければ、表示候補画像データ取得部405に対して、表示候補の画像領域のメインメモリ302からの読み出しを指示する。同時に、表示候補画像データ生成部406に対して、スクロール要求に対する処理方法を指示する。また、表示画像データ転送部407に対して、表示画像領域のサブメモリ303からの読み出しを指示する。記憶装置304からの画像データの読み出しと比較すると、メインメモリ302からの読み出しは高速に実行できるため、上述の表示候補の画像領域は、画像データ取得制御部402での広範囲な画像領域と比較すると狭い範囲となる。
表示候補画像データ取得部405は、表示データ生成制御部404の制御指示に従って、メインメモリ302からの表示候補の画像領域の読み出しを実行し、表示候補画像データ生成部406に転送する。
表示候補画像データ生成部406は、圧縮画像データである表示候補画像データの伸長処理を実行し、サブメモリ303への展開を行う。表示候補画像データ生成部406は、後述するように、低解像度画像データの拡大処理または高解像度画像データの縮小処理を実行できる。表示候補画像データ生成部406は、表示画像生成部に相当する。
表示画像データ転送部407は、表示データ生成制御部404の制御指示に従って、サブメモリ303からの表示画像の読み出しを実行し、グラフィックスボード308に転送する。DMA機能により、サブメモリ303とグラフィックスボード308間の高速画像データ転送を実行する。
図5は、本実施例の階層画像データの構造を示す模式図である。ここでは解像度の違いにより、第1階層画像501、第2階層画像502、第3階層画像503、第4階層画像504の4階層で構成されている。標本505は、観察対象となる組織の切片や塗抹した細胞である。階層構造をイメージしやすいように、各階層での標本505の大きさを明示している。第1階層画像501が最も低解像度の画像であり、サムネイル画像などに用いられる。第2階層画像502、第3階層画像503は中程度の解像度の画像であり、バーチャル・スライド画像の広域観察などに用いられる。第4階層画像504は最も高解像度の画像であり、バーチャル・スライド画像を詳細に観察するときに用いられる。
各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばJPEG圧縮形式の場合には、1つのJPEG画像である。ここでは、第1階層画像501は圧縮画像1ブロックから、第2階層画像502は圧縮画像4ブロックから、第3階層画像503は圧縮画像16ブロックから、第4階層画像504は圧縮画像64ブロックから構成されている。
画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第1階層画像501は低倍での顕微鏡観察、第4階層画像504は高倍での顕微鏡観察に相当する。例えば、ユーザが高倍観察したい場合には、第4階層画像504を表示することで、高倍観察に対応する詳細観察を行うことができる。
図6は、本実施例の表示領域を明示した階層画像データの模式図である。
ある任意の解像度(倍率)での標本601を観察することを考える。任意の解像度(倍率)は、第3階層と第4階層の間の解像度(倍率)とする。表示領域602は、その任意の解像度(倍率)において、表示装置103が表示する標本601の領域を示している。このとき、階層構造に表示画像の解像度の画像データがないため、近傍の階層画像データから表示画像を生成しなければならない。
第3階層にある第3階層画像503から表示領域602を生成する場合の元画像は、低解像度表示領域603となる。低解像度表示領域603を拡大処理して表示領域602を生成することになる。低解像度表示領域603は圧縮画像4ブロックに相当する。
第4階層にある第4階層画像504から表示領域602を生成する場合の元画像は、高解像度表示領域604となる。高解像度表示領域604を縮小処理して表示領域602を生成することになる。高解像度表示領域604は圧縮画像16ブロックに相当する。
ここでの拡大処理、縮小処理では、最近傍法、バイリニア法、バイキュービック法などの補間方法を用いて、拡大後、縮小後の画素値を求める。
低解像度表示領域603は圧縮画像4ブロックから構成されるのに対して、高解像度表示領域604は圧縮画像16ブロックから構成される。画像読み出しに関わる処理時間を考えると、少ない圧縮画像ブロック数である低解像度表示領域603を用いる方が高速である。一方、画像生成後の画質を考えると、サンプリング数の多い高解像度表示領域604を用いる方が精度の高い画像再現ができる。
図7は、本実施例の階層画像データ取得方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、画像データ取得制御部402、階層画像データ取得部403で実行される。
ステップS701では、画像データ取得領域を決定する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。本フローは記憶装置304からの読み出しを実行するものであり、これは時間を要する処理のため、読み出す画像領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。
ステップS702では、S701で決定した画像領域の画像データがメインメモリ302に格納されているかどうかを判断する。メインメモリ302がその画像領域の画像データを保持していれば処理を終了する。メインメモリ302がその画像領域の画像データを保持していなければS703に進む。
ステップS703では、その画像領域の画像データを記憶装置304から取得する。
ステップS704では、記憶装置304から取得した画像データをメインメモリ302に格納する。
図8は、本実施例の表示候補画像データの生成方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、表示データ生成制御部404、表示候補画像データ取得部405、表示候補画像データ生成部406で実行される。
ステップS801では、ユーザ入力情報取得部401でのユーザ入力情報がスクロール要求かどうかを判断する。スクロール要求でなければ処理を終了する。スクロール要求であればS802に進む。
ステップS802では、ユーザ入力情報であるスクロール方向、スクロール速度、及び、現在表示されている領域から、表示画像として必要になると予測される表示候補の画像領域を検出する。
ステップS803では、S802で検出した画像領域の画像データがサブメモリ303に格納されているかどうかを判断する。サブメモリ303がその画像領域の画像データを保持していれば処理を終了する。サブメモリ303がその画像領域の画像データを保持していなければS804に進む。
ステップS804では、メインメモリ302からの表示候補画像データの取得、圧縮画像データである表示候補画像データの伸長処理、サブメモリ303への格納を行う。S804での処理の詳細は、図9を用いて説明する。
図9は、本実施例のスクロール要求に対する画像データ処理方法を説明するフローチャートである。
ステップS901では、ユーザ入力情報取得部401でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であると決定された場合にはS902に進む。高速スクロール要求であると決定されなければ(低速スクロール要求であると決定された場合には)S905に進む。本明細書では、高速スクロールとはユーザが表示内容を認識できない速度でのスクロール動作であり、低速スクロールとはユーザが表示内容を認識できる速度でのスクロール動作であると定義する。高速スクロールか、低速スクロールかの判断は、例えば、マウスの移動速度に予め所定の閾値(所定値)を基準として判断する。閾値以上の速度の場合に高速スクロール、閾値未満の速度の場合に低速スクロールと判断しても良い。なお、その所定の閾値(所定値)は、もちろん可変でも良く、例えば、処理する画像の大きさにあわせて可変としても良い。
ステップS902では、メインメモリ302から低解像度画像データを取得する。低解像度画像データは、図6に示す低解像度表示領域603に対応する。圧縮画像4ブロックしかないため、データ転送時間が短いというメリットがある。
ステップS903では、S902で取得した低解像度画像データの伸長処理(圧縮画像の解凍処理)、拡大処理を実行し、表示候補画像データを生成する。低解像度画像の拡大処理のため、高解像度画像の縮小処理と比較して表示候補画像データの画質は劣化するが、ユーザが表示内容を認識できないほどの高速スクロールであるため、ユーザに違和感を与えることはない。
ステップS904では、メインメモリ302から高解像度画像データを取得する。高解像度画像データは、図6に示す高解像度表示領域604に対応する。
ステップS905では、S904で取得した高解像度画像データの伸長処理(圧縮画像の解凍)、縮小処理を実行し、表示候補画像データを生成する。圧縮画像16ブロックのため画像データ転送に時間がかかるが、低速スクロールで表示画像の更新領域が少ないため、転送速度への影響が少なくてすむ。
ステップS906では、S903やS905で表示候補画像データ生成部406が生成した表示候補画像データをサブメモリ303に格納する。
図10は、本実施例の表示画像データ転送方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、表示データ生成制御部404、表示画像データ転送部407で実行される。
ステップS1001では、ユーザ入力情報取得部401でのユーザ入力情報により表示画像を更新するかどうかを判断する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの指示内容であれば、表示画像を更新する。表示画像を更新するのであればS1002に進み、更新しなければ処理を終了する。
ステップS1002では、ユーザ入力情報であるスクロール方向、スクロール速度などから、更新する表示画像の領域を検出する。
ステップS1003では、表示画像データの転送処理を行う。DMA機能により、サブメモリ303とグラフィックスボード308間の高速画像データ転送を実行する。
以上、図1から図10を用いた説明により、本実施例の画像処理装置で取り扱う階層画像データの画像構造上の特徴を利用することで、応答性の優れスクロール動作を提供できる。
以下では、実施例1の変形例として、高速スクロール中であっても、POI(Point Of Interest)情報の表示ができる構成について説明する。
図11は、本変形例のPOI情報処理を追加した画像処理装置の機能ブロック図である。図4に示した制御部の機能構成ブロック図に、POI情報格納部1101、表示データ生成部1102、表示画像データ出力部1103が追加された構成である。図4と同様の機能ブロック、機能内容についての説明は省略する。
表示データ生成制御部404は、ユーザ入力情報に基づいてメインメモリ302から読み出す画像領域とその処理方法、グラフィックスボード308に転送する表示画像領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に基づいて、表示画像として必要になると予測される表示候補の画像領域と、実際に表示装置103に表示する表示画像領域を検出する。次に、POI情報格納部1101のPOI情報に基づいて、表示候補の画像領域にPOI情報があるかどうかを判断する。高速スクロール中で、且つ、表示候補の画像領域にPOI情報がある場合には、表示データ生成部1102に対して、表示画像にPOI情報のポップアップ表示の描画を指示する。なお、表示候補画像データ生成部406及び表示データ生成部1102が表示画像生成部に相当し、表示データ生成制御部404がPOI検知部に相当する。
POI情報格納部1101は、POI情報が付加された画像データの座標とPOI情報を格納している。POI情報とはユーザの注目する画像領域の情報であり、画像データだけでなく、テキストデータなども含まれる。ユーザが後々に再度観察するなどの目的で、アノテーション機能などを用いて、POI情報を記録することができる。
表示データ生成部1102は、実際に表示装置103に表示する表示画像領域をサブメモリ303から読み出し、高速スクロール中で、且つ、表示候補の画像領域にPOI情報がある場合には、表示画像にPOI情報のポップアップ表示を描画する。ポップアップ表示の例を図19に示す。
表示画像データ出力部1103は、表示データ生成部1102で生成した表示画像データをグラフィックスボード308に転送する。
表示候補の画像領域に対して(表示領域を先読みして)POI情報の探索を行い、(表示候補の画像領域ではなく、)表示画像に対してPOI情報の描画を実行することで、高速スクロールであってもPOI情報の認識が容易になる。
図12は、本変形例のPOI情報処理を追加した表示画像データ出力を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、表示データ生成制御部404、POI情報格納部1101、表示データ生成部1102、表示画像データ転送部407で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。
ステップS1201では、ユーザ入力情報取得部401でのユーザ入力情報スクロール要求であるかどうかを判断する。表示画像のスクロール動作であればS1202に進み、スクロール動作でなければ処理を終了する。
ステップS1202では、ユーザ入力情報であるスクロール方向、スクロール速度などから、表示候補の画像の領域、及び、更新する表示画像の領域を検出する。
ステップS1203では、ユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であればS1204に進み、高速スクロール要求でなければ(低速スクロール要求であれば)S1205に進む。
ステップS1204では、表示候補の画像の領域にPOI情報があるかどうかを判断する。POI情報がある場合にはS1206に進み、POI情報がない場合にはS1207に進む。
ステップS1205では、更新する表示画像の領域にPOI情報があるかどうかを判断する。POI情報がある場合にはS1206に進み、POI情報がない場合にはS1207に進む。
ステップS1206では、更新する表示画像に対してPOI情報の描画を実行し、表示画像データを生成する。高速スクロール要求の場合には、(表示画像領域ではなく、)表示候補の画像領域にあるPOI情報の描画を実行し、低速スクロール要求の場合には、表示画像領域にあるPOI情報の描画を実行する。
ステップS1207では、生成した表示画像データをグラフィックスボード308に出力する。
図19は、本変形例のポップアップ表示の一例である。高速スクロール要求の場合で、表示画像領域ではなく、表示候補の画像領域にあるPOI情報の描画の例を示している。画面左方向に高速スクロール中であり、画面左方向のスクロール先にPOI情報があり、その内容を描画している。
以上、図11、図12、図19を用いた説明により、高速スクロール中であっても、POIが表示装置に表示されていることをユーザが容易に認識できる。
以下では、実施例1の変形例として、Zスタック画像(複数の深度画像)の合焦度を利用した低解像度画像からの表示画像生成について説明する。
図13(a)は、本変形例の深度構造を追加した階層画像データの模式図である。図5で示した階層画像データの構造と同様に、解像度の違いにより、第1階層の深度画像群1301、第2階層の深度画像群1302、第3階層の深度画像群1303、第4階層の深度画像群1304の4階層で構成されている。ただし、図5と異なり各階層で深度構造を考慮しており、各階層は4枚の深度画像を有している。標本1305は、観察対象となる組織の切片や塗抹した細胞である。階層構造をイメージしやすいように、各階層での標本505の大きさを明示している第1階層の深度画像群1301が最も低解像度の画像であり、サムネイル画像などに用いられる。第2階層の深度画像群1302、第3階層の深度画像群1303は中程度の解像度の画像であり、バーチャル・スライド画像の広域観察などに用いられる。第4階層の深度画像群1304は最も高解像度の画像であり、バーチャル・スライド画像を詳細に観察するときに用いられる。
各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばJPEG圧縮形式の場合には、1つのJPEG画像である。ここでは、第1階層画像501は圧縮画像1ブロックから、第2階層画像502は圧縮画像4ブロックから、第3階層画像503は圧縮画像16ブロックから、第4階層画像504は圧縮画像64ブロックから構成されている。
画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第1階層の深度画像群1301は低倍での顕微鏡観察、第4階層の深度画像群1304は高倍での顕微鏡観察に相当する。例えば、ユーザが高倍観察したい場合には、第4階層の深度画像群1304を表示することで、高倍観察に対応する詳細観察を行うことができる。
図13(b)は、深度構造を説明する模式図であり、スライド206の断面を示した図である。スライド206は、標本(観察対象となる組織の切片や塗抹した細胞)をスライドガラス1307上に貼り付け、封入剤とともにカバーガラス1306の下に固定した部材である。標本は数μmから数十μmほどの厚みのある透明体であり、ユーザは標本の深度(深さ方向位置(Z方向位置))が異なる幾つかの面を観察する。ここでは、深度が異なる観察面として、第1深度画像1308、第2深度画像1309、第3深度画像1310、第4深度画像1311を考えている。図13(a)の各階層になる深度画像群は、図13(b)の4つの深度画像群を示している。
図14は、本実施例の深度画像の合焦度を説明する模式図である。各深度画像とそれぞれの合焦情報(画像コントラスト)のテーブルの一例である。第1階層では第1深度画像の合焦情報(画像コントラスト)が最も低い数値であり、これが最も合焦度の低い画像となる。同様に、第2階層から第4階層でも第1深度画像が最も合焦度の低い画像となる。
画像コントラストとは、画像コントラストをE、画素の輝度成分をL(m、n)とした場合に、以下の式を用いて算出できる。ここで、mは画素のY方向位置、nは画素のX方向位置を表している。
右辺の第1項はX方向に隣り合う画素の輝度差を表しており、第2項はY方向に隣り合う画素の輝度差を表している。画像コントラストEは、X方向とY方向に隣り合う画素の輝度差の自乗和を示す指標である。なお、図14では画像コントラストEを0〜1で規格化した値を用いている。
ここでは、第1階層から第4階層までの合焦情報を保持する例を示した。しかし、第1深度画像が最も合焦度が低く、第2深度画像が最も合焦度が高い、といった合焦情報の傾向は、一般に、解像度(倍率)の違いに依らない(階層の違いに依らない)、と考えられる。そのため、第4階層の合焦情報のみを保持する、といった簡便化を行うことも可能である。
深度画像の合焦度は、図2で示した圧縮処理部218での処理の一環として、階層画像データの生成時に上述の画像コントラストを求めることで検知できる。そのため、圧縮処理部218が、合焦度検知部に相当する。
図15は、本変形例の高速スクロール要求に対する低合焦画像データ処理を説明するフローチャートである。図9で説明したスクロール要求に対する画像データ処理と同じ内容には同じ符号を付し、説明を省略する。
ステップS1501では、メインメモリ302から低解像度の低合焦画像データを取得する。低合焦画像データは、図14に示す深度画像の中で画像コントラストが最も低い画像データに対応する。
ステップS1502では、S1501で取得した低解像度の低合焦画像データの伸長処理(圧縮画像の解凍)、拡大処理を実行し、表示候補画像データを生成する。低合焦度で、且つ、低解像度画像の拡大処理のため、表示候補画像はボケた画像となる。そのため、高速スクロールで画像が高速に移動している状態を模擬的に表現でき、ユーザは自然な高速スクロールであると感じることができる。
以上、図13から図15を用いた説明により、低解像度の低合焦画像データを用いて表示画像を生成することで、高速スクロールで画像が高速に移動している状態を模擬的に表現でき、ユーザは自然な高速スクロールであると感じることができる。
本実施例の画像処理システム、画像処理システムにおける撮像装置の機能ブロック、ハードウェア構成、制御部の機能ブロック、層画像データの構造、階層画像データ取得フローは、実施例1の図1から図7で説明した内容と同様であり、説明を省略する。
図16は、本実施例の低速スクロール要求に対する画像データ処理方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、表示データ生成制御部404、表示候補画像データ取得部405、表示候補画像データ生成部406で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。ユーザ入力情報取得部401が検知部に相当し、表示データ生成制御部404が表示制御部に相当する。
ステップS1601では、ユーザ入力情報取得部401でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求であれば処理を終了する。高速スクロール要求でなければ(低速スクロール要求であれば)S1602に進む。
ステップS1602では、ユーザ入力情報であるスクロール方向、スクロール速度、及び、現在表示されている領域から、表示画像として必要になると予測される表示候補の画像領域を検出する。
ステップS1603では、S1602で検出した画像領域の画像データがサブメモリ303に格納されているかどうかを判断する。サブメモリ303がその画像領域の画像データを保持していれば処理を終了する。サブメモリ303がその画像領域の画像データを保持していなければS1604に進む。
ステップS1604では、メインメモリ302から高解像度画像データを取得する。高解像度画像データは、図6に示す高解像度表示領域604に対応する。
ステップS1605では、S1604で取得した高解像度画像データの伸長処理(圧縮画像の解凍)、縮小処理を実行し、表示候補画像データを生成する。圧縮画像16ブロックのため画像データ転送に時間がかかるが、低速スクロールで表示画像の更新領域が少ないため、転送速度への影響が少なくてすむ。
ステップS1606では、S1605で生成した表示候補画像データをサブメモリ303に格納する。
図17は、本実施例の高速スクロール要求に対する表示画像データ出力方法を説明するフローチャートである。本フローは、ユーザ入力情報取得部401でのユーザ入力情報を基に、表示データ生成制御部404、表示画像データ転送部407で実行される。本フローでは、ユーザ入力情報がスクロール要求である場合に限定している。
ステップS1701では、ユーザ入力情報取得部401でのユーザ入力情報により表示画像を更新するかどうかを判断する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの指示内容であれば、表示画像を更新する。表示画像を更新するのであればS1002に進み、更新しなければ処理を終了する。
ステップS1702では、ユーザ入力情報取得部401でのユーザ入力情報が高速スクロール要求かどうかを判断する。高速スクロール要求でなければ(低速スクロール要求であれば)処理を終了する。高速スクロール要求であればS1703に進む。
ステップS1703では、ユーザ入力情報であるスクロール方向、スクロール速度などに基づき、更新する表示画像となるスクロール画像の転送処理を行う。スクロール画像は、スクロール方向、スクロール速度に応じて予め生成し、サブメモリ303に格納してある。
スクロール画像は、撮像装置で実際に取得した撮像画像のデータを用いずに生成した画像であり、例えば、CG(Computer Graphics)画像である。スクロール画像の一例は図18で説明する。なお、ユーザ入力情報取得部401が、方向検知部に相当する。
ステップS1704では、ユーザ入力情報であるスクロール方向、スクロール速度などから、更新する表示画像の領域を検出する。
ステップS1705では、表示画像データの転送処理を行う。DMA機能により、サブメモリ303とグラフィックスボード308間の高速画像データ転送を実行する。
図18は、本実施例のスクロール画像の一例である。図18(a)から(c)は画面右方向に高速スクロール中に表示するCG画像例である。スクロール速度を矢印の数で示し、高速になるほど矢印の数が増えている。高速スクロールを矢印で示したが、漫画風に動線で表現するなどでも良い。図18(d)は画面右斜め上方向に高速スクロール中に表示するCG画像例である。
スクロール画像は、スクロール方向やスクロール速度等のユーザ入力情報(ユーザの要求)の属性を明示したCG画像である。実画像とは異なるCG画像を用いることで、高速スクロールが行われていることや、その方向や速度を、ユーザは容易に認識できる。スクロール画像は図18の画像例に限定されるものではない。例えば、図18では、実画像の代わりにCG画像のみを画面全体に表示させているが、スクロール前の実画像を背景として用いてその背景上に同様のCG画像(矢印のみ)を表示させてもよい。また、XY平面上での方向(速度)だけでなく、Z方向(速度)を明示したり、倍率の拡大・縮小(変更速度)を明示したりしても良い。
以上、図16から図18を用いた説明により、本実施例の画像処理装置で取り扱う階層画像データであっても、応答性の優れた、且つ、ユーザに違和感を与えないスクロール動作を提供できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、以上の実施形態では、スクロール要求(のスクロール速度)に基づいて高速要求または低速要求を判断していたが、倍率変更要求(の変更速度)に基づいて高速要求または低速要求を判断し、同様の処理をしても良い。
Claims (13)
- 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置であって、
スクロール要求または倍率変更要求を検知する検知部と、
前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を備え、
前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
所定値を基準として前記要求が高速要求か低速要求かを決定し、 前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
ことを特徴とする画像処理装置。 - 前記複数の階層画像のそれぞれは、深度が異なる複数の深度画像を含み、
前記表示画像生成部は、前記検知部で検知した要求が高速要求であった場合に、前記低解像度の階層画像の中の合焦度が低い深度画像のデータを用いて前記表示画像のデータを生成する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記複数の深度画像の合焦度を検知する合焦度検知部を備える
ことを特徴とする請求項2に記載の画像処理装置。 - スクロール方向を検知する方向検知部とPOIを検知するPOI検知部とを備え、
前記表示画像生成部は、前記検知部で検知したスクロール要求が高速スクロール要求であった場合に、スクロール方向にPOIを検知するとPOIをポップアップ表示するためのデータを生成する
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 撮像画像を表示装置に表示させる画像処理装置であって、
スクロール要求または倍率変更要求を検知する検知部と、
所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示させる表示制御部と、を備える
ことを特徴とする画像処理装置。 - 前記撮像画像のデータを用いていない画像は、前記要求の属性を明示する画像である
ことを特徴とする請求項5に記載の画像処理装置。 - 前記撮像画像のデータを用いていない画像は、スクロール方向を明示する画像である
ことを特徴とする請求項6に記載の画像処理装置。 - 前記撮像画像のデータを用いていない画像は、CG画像である
ことを特徴とする請求項5乃至7のいずれか1項に記載の画像処理装置。 - 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理装置と、前記表示画像を表示する表示装置と、を備える画像処理システムであって、
スクロール要求または倍率変更要求を検知する検知部と、
前記要求に基づいて前記表示画像のデータを生成する表示画像生成部と、を有し、
前記表示画像生成部は、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
所定値を基準として前記要求が高速要求か低速要求かを決定し、
前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
ことを特徴とする画像処理システム。 - 表示装置と、撮像画像を前記表示装置に表示させる画像処理装置と、を備える画像処理システムであって、
スクロール要求または倍率変更要求を検知する検知部と、
所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示する表示制御部と、を有する
ことを特徴とする画像処理システム。 - 解像度が異なる複数の階層画像のデータから表示画像のデータを生成する画像処理方法であって、
コンピュータが、スクロール要求または倍率変更要求を検知する検知工程と、
コンピュータが、前記要求に基づいて前記表示画像のデータを生成する生成工程と、を有し、
前記生成工程では、前記複数の階層画像と解像度が異なる前記表示画像のデータを生成する場合に、
所定値を基準として前記要求が高速要求か低速要求かを決定し、
前記要求が高速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも低解像度の階層画像のデータを拡大処理して、該表示画像のデータを生成し、
前記要求が低速要求であると決定された場合には、前記複数の階層画像の中の該表示画像よりも高解像度の階層画像のデータを縮小処理して、該表示画像のデータを生成する
ことを特徴とする画像処理方法。 - 撮像画像を表示装置に表示させる画像処理方法であって、
コンピュータが、スクロール要求または倍率変更要求を検知する検知工程と、
コンピュータが、所定値を基準として前記要求が高速要求か低速要求かを決定し、前記要求が高速要求であると決定された場合に、前記撮像画像のデータを用いていない画像を前記表示装置に表示する表示工程と、を有する
ことを特徴とする画像処理方法。 - 請求項11又は12に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012067578A JP2013200640A (ja) | 2012-03-23 | 2012-03-23 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
US13/797,613 US20130250091A1 (en) | 2012-03-23 | 2013-03-12 | Image processing apparatus, image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012067578A JP2013200640A (ja) | 2012-03-23 | 2012-03-23 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013200640A true JP2013200640A (ja) | 2013-10-03 |
Family
ID=49211431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012067578A Abandoned JP2013200640A (ja) | 2012-03-23 | 2012-03-23 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130250091A1 (ja) |
JP (1) | JP2013200640A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015102924A (ja) * | 2013-11-22 | 2015-06-04 | シャープ株式会社 | 表示装置、スクロール表示方法、および、スクロール表示プログラム |
JP2017506384A (ja) * | 2014-02-04 | 2017-03-02 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 少なくとも二画像をレジストレーション及び視覚化するための方法 |
JP2018084942A (ja) * | 2016-11-24 | 2018-05-31 | 京セラドキュメントソリューションズ株式会社 | 表示装置、情報処理装置 |
CN110869917A (zh) * | 2017-07-12 | 2020-03-06 | 歌乐株式会社 | 信息发布系统和车载装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6480713B2 (ja) | 2014-11-18 | 2019-03-13 | オリンパス株式会社 | 顕微鏡システム |
US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
JP6900704B2 (ja) * | 2017-02-28 | 2021-07-07 | 株式会社島津製作所 | 細胞観察システム |
JP7013677B2 (ja) * | 2017-05-01 | 2022-02-01 | ソニーグループ株式会社 | 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272235B1 (en) * | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
US6396941B1 (en) * | 1996-08-23 | 2002-05-28 | Bacus Research Laboratories, Inc. | Method and apparatus for internet, intranet, and local viewing of virtual microscope slides |
US7738688B2 (en) * | 2000-05-03 | 2010-06-15 | Aperio Technologies, Inc. | System and method for viewing virtual slides |
JP4667944B2 (ja) * | 2005-04-20 | 2011-04-13 | シスメックス株式会社 | 画像作成装置 |
US7808514B2 (en) * | 2006-06-21 | 2010-10-05 | Siemens Medical Solutions Usa, Inc. | Multiplanar reformatting visualization with multiple scrolling speeds |
JP5484048B2 (ja) * | 2006-06-30 | 2014-05-07 | アペリオ・テクノロジーズ・インコーポレイテッド | Dicomを介した大画像保存および取得方法 |
US8064733B2 (en) * | 2008-06-24 | 2011-11-22 | Microsoft Corporation | Variable resolution images |
JP5614032B2 (ja) * | 2009-11-30 | 2014-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
JP5663979B2 (ja) * | 2010-06-29 | 2015-02-04 | ソニー株式会社 | 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム |
US20130194295A1 (en) * | 2012-01-27 | 2013-08-01 | Qualcomm Mems Technologies, Inc. | System and method for choosing display modes |
-
2012
- 2012-03-23 JP JP2012067578A patent/JP2013200640A/ja not_active Abandoned
-
2013
- 2013-03-12 US US13/797,613 patent/US20130250091A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015102924A (ja) * | 2013-11-22 | 2015-06-04 | シャープ株式会社 | 表示装置、スクロール表示方法、および、スクロール表示プログラム |
JP2017506384A (ja) * | 2014-02-04 | 2017-03-02 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 少なくとも二画像をレジストレーション及び視覚化するための方法 |
JP2018084942A (ja) * | 2016-11-24 | 2018-05-31 | 京セラドキュメントソリューションズ株式会社 | 表示装置、情報処理装置 |
CN110869917A (zh) * | 2017-07-12 | 2020-03-06 | 歌乐株式会社 | 信息发布系统和车载装置 |
CN110869917B (zh) * | 2017-07-12 | 2023-10-13 | 歌乐株式会社 | 信息发布系统和车载装置 |
Also Published As
Publication number | Publication date |
---|---|
US20130250091A1 (en) | 2013-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013200640A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP6124543B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
JP6091137B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
WO2013100025A1 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP5197785B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP6305175B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP2013152426A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2014130221A (ja) | 画像処理装置、その制御方法、画像処理システム、及びプログラム | |
US20190304409A1 (en) | Image processing apparatus and image processing method | |
JP5350532B2 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
WO2013100026A9 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
US20160042122A1 (en) | Image processing method and image processing apparatus | |
WO2013100029A9 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP5832281B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2016038542A (ja) | 画像処理方法および画像処理装置 | |
JP5818828B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP6338730B2 (ja) | 表示データを生成する装置、方法、及びプログラム | |
JP2016206228A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム | |
JP2013250400A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2016166941A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像システム | |
JP2016038541A (ja) | 画像処理方法および画像処理装置 | |
JP2013250574A (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150311 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20151203 |