JP2013152423A - 画像処理装置、その制御方法、画像処理システム、及びプログラム - Google Patents
画像処理装置、その制御方法、画像処理システム、及びプログラム Download PDFInfo
- Publication number
- JP2013152423A JP2013152423A JP2012221557A JP2012221557A JP2013152423A JP 2013152423 A JP2013152423 A JP 2013152423A JP 2012221557 A JP2012221557 A JP 2012221557A JP 2012221557 A JP2012221557 A JP 2012221557A JP 2013152423 A JP2013152423 A JP 2013152423A
- Authority
- JP
- Japan
- Prior art keywords
- annotation
- image
- display
- data
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】被写体の画像のデータと、該画像に付加された複数のアノテーションのデータと、を取得する取得手段と、前記画像を拡大縮小する場合の表示倍率の指定を受け付ける入力手段と、前記指定される表示倍率で拡大した前記画像の上に前記アノテーションが重ねて表示される表示データを生成する生成手段と、を備え、前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の表示倍率の情報と、を含み、前記生成手段は、付加されたときの画像の表示倍率が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置。
【選択図】図9
Description
やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。 バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆ
え、ビューワで拡大・縮小処理を行うことでミクロ(細部拡大像)からマクロ(全体俯瞰像)まで観察することが可能となり、種々の利便性を提供する。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが求める解像度、倍率による即時の表示が可能となる。
難い。つまり、観察時の焦点位置とアノテーション付加時の焦点位置との違いがユーザに分かり難い。また、複数のアノテーションの付加時の焦点位置が異なる場合に、それぞれのアノテーション付加時の焦点位置と観察時の焦点位置との違いがユーザに分かり難い。
前記画像を拡大縮小する場合の表示倍率の指定を受け付ける入力手段と、
前記指定される表示倍率で拡大した前記画像の上に前記アノテーションが重ねて表示される表示データを生成する生成手段と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の表示倍率の情報と、を含み、
前記生成手段は、付加されたときの画像の表示倍率が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置である。
焦点位置の指定を入力する入力手段と、
前記指定される焦点位置に対応する深度画像の上に前記アノテーションが重ねて表示される表示データを生成する生成手段と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の焦点位置の情報と、を含み、
前記生成手段は、付加されたときの画像の焦点位置が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置である。
前記画像を拡大縮小する場合の表示倍率の指定を受け付ける入力工程と、
前記指定される表示倍率で拡大した前記画像の上に前記アノテーションが重ねて表示される表示データを生成する生成工程と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の表示倍率の情報と、を含み、
前記生成工程は、付加されたときの画像の表示倍率が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置の制御方法である。
焦点位置の指定を入力する入力工程と、
前記指定される焦点位置に対応する深度画像の上に前記アノテーションが重ねて表示される表示データを生成する生成工程と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の焦点位置の情報と、を含み、
前記生成工程は、付加されたときの画像の焦点位置が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置の制御方法である。
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図1を用いて説明する。
図1は、本発明の画像処理装置を用いた画像処理システムであり、撮像装置(顕微鏡装置、又はバーチャルスライドスキャナ)101、画像処理装置102、表示装置103から構成される。この画像処理システムは、撮像対象となる検体(被検試料、被写体)の二次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102との間は、専用又は汎用I/Fのケーブル104で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル105で接続される。
iconductor)等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置101を構成することもできる。
図2は、撮像装置101の機能構成を示すブロック図である。
撮像装置101は、概略、照明ユニット201、ステージ202、ステージ制御ユニット205、結像光学系207、撮像ユニット210、現像処理ユニット219、プレ計測ユニット220、メイン制御系221、データ出力部222から構成される。
量へ変える一次元又は二次元のイメージセンサであり、例えば、CCDやCMOSデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ208からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が必要な場合は、例えば、Bayer配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット210は、ステージ202がXY軸方向に駆動されることにより、検体の分割画像を撮像する。
像すると仮定した場合、一辺の画素数は10mm/0.25μmの4万画素となり、トータルの画素数はその二乗である16億画素となる。10M(1000万)の画素数を持つ撮像センサ208を用いて16億画素の画像データを取得するには、16億/1000万の160個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ202の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点又は線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法等がある。つなぎ合わせの際、0次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置102の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。
図3は、本発明の画像処理装置102の機能構成を示すブロック図である。
画像処理装置102は、概略、画像データ取得部301、メモリ302、ユーザ入力情報取得部303、表示装置情報取得部304、リンク情報生成部305、リンク情報テーブル306、表示データ生成制御部307、アノテーションデータ生成部308、階層画像データ取得部309、表示データ生成部310、及び表示データ出力部311から構成される。
図4は、本実施例の画像処理装置のハードウェア構成を示すブロック図である。画像処理装置として、例えばPC(Personal Computer)が用いられる。
画像処理装置は、CPU(Central Processing Unit)401、RAM(Random Access
Memory)402、記憶装置403、データ入出力I/F405、及びこれらを互いに接
続する内部バス404を備える。
ライブもしくはFlashメモリを用いた半導体デバイスが用いられる。
図5は、複数の異なる倍率の階層画像データからなる画像データの概念図である。ここでは、図2に示す撮像装置101の解像度変換処理部215で生成される階層画像データについて説明する。
像504の1/2、階層画像502は階層画像503の1/2、階層画像501は階層画像502の1/2となっているものとする。どのような倍率の階層画像データを用意するかは任意であり、図5の例に限られない。
本発明の画像処理装置におけるアノテーション付加及び提示の流れを図6のフローチャートを用いて説明する。
り取得する。規定の倍率に対応した階層画像データを取得するようにしても良い。
図7は、図6のステップS606で示したアノテーションを付加する処理の詳細な流れを示すフローチャートである。図7では、付加されたアノテーションの位置情報とアノテーション付加時のバーチャルスライド画像の表示倍率に基づいてリンク情報を生成する流れについて説明する。
中の相対的なアノテーションの位置を、画像データの全領域に対する位置に換算する処理を行うことで、アノテーションの絶対位置情報(座標)を取得する。
図8は、アノテーションを提示する処理の詳細な流れを示すフローチャートである。図8では、リンク情報に基づいてアノテーションを提示するための表示データを生成する流れについて説明する。
ると判断する。アノテーション数が多過ぎる場合、アノテーションを全て表示するとアノテーションの背景となるバーチャルスライド画像がアノテーションで覆われてしまい、観察することが困難となる。どの程度の被覆度合であればバーチャルスライド画像の観察に支障がないか、に応じて、判断に用いる閾値はユーザが任意に設定できる。アノテーション数が多過ぎると判断した場合、表示データ生成制御部307は、ポインタ表示モードでアノテーションの提示を行う。ポインタ表示モードとは、アノテーションの位置情報のみを、アイコン等を用いてバーチャルスライド画像上に表示し、アノテーションの内容を示すテキストや枠画像等を表示しないモードのことである。ポインタ表示モードでは、例えば、ユーザが選択した特定のアノテーションのみ、アノテーションの内容を示すテキストの情報が表示される。アノテーション数が多過ぎると判断しなかった場合、表示データ生成制御部307は、アノテーション表示モードでアノテーションの提示を行う。アノテーション表示モードとは、全てのアノテーションについて、常にアノテーションの位置情報や内容情報をアイコン、テキスト、枠画像等を用いて表示するモードのことである。なお、アノテーションの数に応じてポインタ表示モードとアノテーション表示モードとの切り替えを行うか否かをユーザが設定できる構成でもよい。
ョン表示データを生成する。ポインタ表示モードの場合は、ポインタの選択が解除され、又はマウスカーソルがポインタから外れると、表示データ生成制御部307は、アノテーションの内容のポップアップ表示が消去されたアノテーション表示データを生成する。なお、一度ポインタが選択された後は、アノテーション表示を消す指示が入力されるまではアノテーションの内容表示を継続するようにしてもよい。
図9は、画像処理装置102で生成した表示データを表示装置103に表示した場合の例である。図9では、アノテーションの表示方法の決定、ポインタ表示モード及びアノテーション表示モードの相違、並びに、アノテーションを付加した際の表示位置や表示倍率の再現について説明する。
キーボードの操作により、表示位置の変更(表示範囲の移動)や表示倍率の変更(拡大・縮小)の指示を入力することで、バーチャルスライド画像の表示状態を変更することができる。
表示倍率は5倍になっている。各アノテーションは、付加時のバーチャルスライド画像の表示倍率がそれぞれ異なるものとする。例えば、アノテーション1は10倍、アノテーション2は20倍、アノテーション3は40倍の表示倍率のバーチャルスライド画像において付加されたものとする。本実施例では、図9(d)に示すように、各アノテーションの吹き出しや枠の態様は、アノテーションが付加されたときのバーチャルスライド画像の倍率に応じて異ならされる。そのため、それぞれのアノテーションが付加されたときの表示倍率が異なっていたことをユーザは判別することができる。
本実施例では、バーチャルスライド画像に対しアノテーションが付加される際に、アノテーションの位置情報と、バーチャルスライド画像の倍率の情報と、に基づきリンク情報が生成される。リンク情報は、付加されたアノテーション毎に求められ、画像データを構成する複数の異なる倍率の階層画像データの各々と、当該アノテーションの位置を各階層画像データにおける位置に換算した換算位置情報と、の対応関係を示す情報である。画像データに付加された複数のアノテーションを提示する際に、各アノテーションの表示態様を、そのアノテーションが付加されたときのバーチャルスライド画像の表示倍率に応じて異ならせる。これにより、ユーザは、アノテーション毎の、付加されたときのバーチャルスライド画像の倍率の違いを容易に把握することができる。
本発明の第2実施形態に係る画像処理システムについて図を用いて説明する。
第2の実施形態では、焦点位置が異なる複数の階層画像データからなる画像データに付加された複数のアノテーションを、付加されたときのバーチャルスライド画像の焦点位置
の相違をユーザが把握し易いように提示する例を示す。以下、主に第1実施形態と異なる構成について説明し、第1実施形態と同等の構成については第1実施形態と同じ符号及び名称を用いて詳細な説明を省略する。
図10は、本発明の第2の実施形態に係る画像処理システムを構成する装置の全体図である。
図10で、本発明の画像処理装置を用いた画像処理システムは、画像サーバ1101、画像処理装置102、表示装置103から構成される。画像処理装置102は検体を撮像した画像データを画像サーバ1101から取得し、表示装置103へ表示するための表示データを生成することができる。ここでの画像データは、第1の実施形態で説明した分割撮像により得られた撮像データを合成して得られる高解像度の二次元画像データと、高速表示用の異なる倍率の複数の階層画像データと、異なる焦点位置で撮像された複数の深度画像データと、を含む。深度画像の詳細については図11を用いて後述する。画像サーバ1101と画像処理装置102との間は、ネットワーク1002を介して、汎用I/FのLANケーブル1003で接続される。画像サーバ1101は、バーチャルスライド装置である撮像装置(不図示。実施例1の撮像装置101と同等)によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバ1101は、階層化された異なる焦点位置の画像データ(深度画像データ)を一つのまとまりとして画像サーバ1101に接続されたローカルストレージに保存していても良い。或いは、それぞれを分割してネットワーク上の何処かに存在するサーバ群(クラウド・サーバ)に対して各深度画像データの実体とその実体への参照情報とを分けて保存する構成でもよい。深度画像データ自体も、一つのサーバに保存しておく必要はなく、分散して保存してもよい。なお、画像処理装置102及び表示装置103は第1の実施態様の画像処理システムと同様である。
図11は、複数の異なる焦点位置の深度画像データからなる画像データの概念図である。撮像装置101のステージ202を深度方向(図2のZ方向、ステージに垂直の方向、光軸方向)に移動させながら複数回撮像することで、焦点位置の異なる複数の撮像データが得られる。
観察対象である検体の任意の焦点面において撮像された二次元画像1102を深度画像データと呼ぶ。画像データ群1100は、二次元平面(XY平面)と垂直な深度方向(Z軸方向)に複数枚の深度画像データ1102がスタックされて構成される。図11(a)では10枚の異なる焦点位置における深度画像データから画像データが構成されている例を示している。
ても良いし、分割撮像された画像データをさらに分割する画像データであっても良い。つまり、深度画像データ1102の分割のしかたは任意であり、分割の単位は分割撮像の単位と同じでも異なっていても良い。
図12は、アノテーションを付加する処理の流れを示すフローチャートである。図12では、付加されたアノテーションの位置情報とアノテーションが付加された際のバーチャルスライド画像の焦点位置情報と、に基づいてリンク情報を生成する流れについて説明する。
が図11で説明した階層化された複数の深度画像データのうち何番目の深度画像データに基づき生成されたかを示す情報である。焦点位置の情報は、実施例1と同様に表示装置103から取得される構成でも良いし、画像処理装置102に内部的に保持している表示データ生成に関する情報から取得される構成でも良い。
図13は、アノテーションを提示する処理の流れを示すフローチャートである。図13では、リンク情報に基づいて、アノテーションを提示するための表示データを生成する流れについて説明する。
タ生成制御部307は、ステップS1303へ進む。
本実施例では、バーチャルスライド画像に対しアノテーションが付加される際に、アノテーションの位置情報と、バーチャルスライド画像の焦点位置の情報と、に基づきリンク情報が生成される。リンク情報は、付加されたアノテーション毎に求められ、画像データを構成する複数の異なる焦点位置の深度画像データの各々と、当該アノテーションの位置を各深度画像データにおける位置に換算した換算位置情報と、の対応関係を示す情報である。画像データに付加された複数のアノテーションを提示する際に、各アノテーションの表示態様を、そのアノテーションが付加されたときのバーチャルスライド画像の焦点位置に応じて異ならせる。これにより、ユーザは、アノテーション毎の、付加されたときのバーチャルスライド画像の焦点位置の違いを容易に把握することができる。
本実施例では、表示倍率と表示焦点位置に従って、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションのデータを用いた表示制御を行う場合について述べる。
例えば、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションを表示しない設定になっている場合には、表示中の深度画像と焦点位置が異なる深度画像に付されたアノテーションも表示する設定に変更する。このとき、表示中の深度画像と焦点位置が異なる深度画像のアノテーションが視覚的に識別可能なように設定する。例えば、色や透明度などが元のアノテーション(表示中の深度画像のアノテーション)とは異なるように変更する。
。
本実施例では、表示中の深度画像と焦点位置が異なる深度画像にアノテーションが付加されている場合において、両深度画像におけるアノテーションの近傍領域の画像の類似度合に応じて、アノテーションの表示を制御する実施例について説明する。
まず、S1501で表示データ生成制御部307は表示中の深度画像と焦点位置が異なる深度画像においてアノテーションが存在するかを判断する。存在しない場合、表示データ生成制御部307は処理を終了し、存在する場合、表示データ生成制御部307はS1502に進む。S1502では、表示データ生成制御部307は、アノテーションが存在する深度画像および表示中の深度画像における、アノテーション位置近傍の画像を取得し、S1503に進む。
図16(b)は5つ焦点位置の深度画像データからなる画像データの一例で、焦点位置Z=3の深度画像中にアノテーション1603が付加されている。このアノテーションが付された部位は検体組織の中の空洞部であるとする。
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部又は一部を実現するソフトウェアのプログラムコードを記録した記録媒体(又は記憶媒体)を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行
する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
303: ユーザ入力情報取得部
307: 表示データ生成制御部
308: アノテーションデータ生成部
310: 表示データ生成部
Claims (17)
- 被写体の画像のデータと、該画像に付加された複数のアノテーションのデータと、を取得する取得手段と、
前記画像を拡大縮小する場合の表示倍率の指定を受け付ける入力手段と、
前記指定される表示倍率で拡大した前記画像の上に前記アノテーションが重ねて表示される表示データを生成する生成手段と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の表示倍率の情報と、を含み、
前記生成手段は、付加されたときの画像の表示倍率が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置。 - 前記生成手段は、付加されたときの画像の表示倍率が前記指定される表示倍率と異なるアノテーションと同じアノテーションとでアノテーションの表示態様を異ならせた表示データを生成する請求項1に記載の画像処理装置。
- 前記入力手段は、前記画像の上に重ねて表示されたアノテーションのうちのいずれかを選択する指示を受け付け、
前記生成手段は、前記入力手段が前記選択する指示を受け付けた場合、前記指示により選択されたアノテーションが付加されたときの画像の表示倍率で拡大した前記画像の上に前記選択されたアノテーションが重ねて表示される表示データを生成する請求項1または2に記載の画像処理装置。 - 前記取得手段が取得する前記画像のデータは、解像度が段階的に異なる同じ被写体の複数の階層画像のデータを含み、
前記生成手段は、前記指定される表示倍率に応じた解像度の階層画像のデータを用いて、表示データを生成する請求項1〜3のいずれか1項に記載の画像処理装置。 - アノテーションが付加されたときの画像の表示倍率と、当該アノテーションが付加されたときの画像中の位置と、各階層画像の解像度に対応する表示倍率と、に基づき、各階層画像の上に当該アノテーションを重ねて表示する場合の位置を算出し、当該アノテーションの情報と関連付けてリンク情報として記憶する記憶手段を備え、
前記生成手段は、前記リンク情報に基づき、前記指定される表示倍率に対応するアノテーションの位置を算出し、前記指定される表示倍率で拡大した前記画像の上の前記算出した位置にアノテーションが重ねて表示される表示データを生成する請求項4に記載の画像処理装置。 - 光軸方向の焦点位置を変えながら被写体を撮像して得られる複数の深度画像のデータを含む被写体の画像のデータと、該画像に付加された複数のアノテーションのデータと、を取得する取得手段と、
焦点位置の指定を入力する入力手段と、
前記指定される焦点位置に対応する深度画像の上に前記アノテーションが重ねて表示される表示データを生成する生成手段と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の焦点位置の情報と、を含み、
前記生成手段は、付加されたときの画像の焦点位置が異なるアノテーションの表示態様
を異ならせた表示データを生成する画像処理装置。 - 前記生成手段は、付加されたときの画像の焦点位置が前記指定される焦点位置と異なるアノテーションと同じアノテーションとでアノテーションの表示態様を異ならせた表示データを生成する請求項6に記載の画像処理装置。
- アノテーションが付加されたときの画像の焦点位置と、当該アノテーションが付加されたときの画像中の位置と、に基づき、各深度画像の上に当該アノテーションを重ねて表示する場合の位置を算出し、当該アノテーションの情報と関連付けてリンク情報として記憶する記憶手段を備え、
前記生成手段は、前記リンク情報に基づき、前記指定される焦点位置に対応するアノテーションの位置を算出し、前記指定される焦点位置の深度画像の上の前記算出した位置にアノテーションが重ねて表示される表示データを生成する請求項7に記載の画像処理装置。 - 前記生成手段は、前記指定される焦点位置と異なる焦点位置に対応する深度画像にアノテーションが付加されている場合、当該アノテーションが前記指定される焦点位置に対応する深度画像の上に重ねて表示される表示データを生成する請求項6に記載の画像処理装置。
- 前記入力手段は、前記深度画像を拡大縮小する場合の表示倍率の指定を更に受け付け、
前記生成手段は、前記表示倍率が閾値以上である場合に、前記指定される焦点位置と異なる焦点位置に対応する深度画像に付加されたアノテーションが前記指定される焦点位置の深度画像の上に重ねて表示される表示データを生成する請求項9に記載の画像処理装置。 - 前記生成手段は、前記指定される焦点位置に対応する深度画像に付加されたアノテーションと、前記指定される焦点位置と異なる焦点位置に対応する深度画像に付加されたアノテーションと、で表示態様を異ならせた表示データを生成する請求項9又は10に記載の画像処理装置。
- 前記生成手段は、前記指定される焦点位置と異なる焦点位置に対応する深度画像にアノテーションが付加されており、かつ、前記指定される焦点位置に対応する深度画像における当該アノテーションの座標に対応する位置の近傍の画像と、前記指定される焦点位置と異なる焦点位置に対応する深度画像における当該アノテーションの位置の近傍の画像と、の類似度が閾値以上である場合に、当該アノテーションが前記指定される焦点位置に対応する深度画像の上に重ねて表示される表示データを生成する請求項9〜11のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記指定される焦点位置に対応する深度画像における前記アノテーションの座標に対応する位置の近傍の画像と、前記指定される焦点位置と異なる焦点位置に対応する深度画像における当該アノテーションの位置の近傍の画像と、を所定の範囲内でシフトさせて相関を求めることで類似度を判定し、相関が最も高くなるときのシフト量に基づいて、前記指定される焦点位置と異なる焦点位置に対応する深度画像に付加されたアノテーションを前記指定される焦点位置に対応する深度画像に表示させる位置を決める請求項12に記載の画像処理装置。
- 請求項1〜13のいずれか1項に記載の画像処理装置と、前記画像処理装置から出力される表示データに基づく画像を表示する表示装置と、を備える画像処理システム。
- 被写体の画像のデータと、該画像に付加された複数のアノテーションのデータと、を取得する取得工程と、
前記画像を拡大縮小する場合の表示倍率の指定を受け付ける入力工程と、
前記指定される表示倍率で拡大した前記画像の上に前記アノテーションが重ねて表示される表示データを生成する生成工程と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の表示倍率の情報と、を含み、
前記生成工程は、付加されたときの画像の表示倍率が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置の制御方法。 - 光軸方向の焦点位置を変えながら被写体を撮像して得られる複数の深度画像のデータを含む被写体の画像のデータと、該画像に付加された複数のアノテーションのデータと、を取得する取得工程と、
焦点位置の指定を入力する入力工程と、
前記指定される焦点位置に対応する深度画像の上に前記アノテーションが重ねて表示される表示データを生成する生成工程と、
を備え、
前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションが付加されたときの画像の焦点位置の情報と、を含み、
前記生成工程は、付加されたときの画像の焦点位置が異なるアノテーションの表示態様を異ならせた表示データを生成する画像処理装置の制御方法。 - 請求項15又は16に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012221557A JP6124543B2 (ja) | 2011-12-26 | 2012-10-03 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
US14/356,967 US20140298153A1 (en) | 2011-12-26 | 2012-12-06 | Image processing apparatus, control method for the same, image processing system, and program |
CN201280064064.7A CN104011787A (zh) | 2011-12-26 | 2012-12-06 | 图像处理装置、其控制方法、图像处理系统和程序 |
PCT/JP2012/082267 WO2013099616A1 (en) | 2011-12-26 | 2012-12-06 | Image processing apparatus, control method for the same, image processing system, and program |
US15/966,394 US20180246868A1 (en) | 2011-12-26 | 2018-04-30 | Image processing apparatus, control method image processing system, and program for display of annotations |
US16/660,087 US20200050655A1 (en) | 2011-12-26 | 2019-10-22 | Image processing apparatus, control method for the same, image processing system, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011283721 | 2011-12-26 | ||
JP2011283721 | 2011-12-26 | ||
JP2012221557A JP6124543B2 (ja) | 2011-12-26 | 2012-10-03 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017075099A Division JP6338730B2 (ja) | 2011-12-26 | 2017-04-05 | 表示データを生成する装置、方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013152423A true JP2013152423A (ja) | 2013-08-08 |
JP2013152423A5 JP2013152423A5 (ja) | 2015-11-19 |
JP6124543B2 JP6124543B2 (ja) | 2017-05-10 |
Family
ID=48697108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012221557A Active JP6124543B2 (ja) | 2011-12-26 | 2012-10-03 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US20140298153A1 (ja) |
JP (1) | JP6124543B2 (ja) |
CN (1) | CN104011787A (ja) |
WO (1) | WO2013099616A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018179230A1 (ja) * | 2017-03-30 | 2019-11-14 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2021171444A1 (ja) * | 2020-02-26 | 2021-09-02 | オリンパス株式会社 | 教師データ生成装置、教師データ生成方法、記録装置及び記録方法 |
WO2021193061A1 (ja) * | 2020-03-23 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6032654B2 (ja) | 2013-06-27 | 2016-11-30 | パナソニックIpマネジメント株式会社 | 情報処理装置 |
JP5995206B2 (ja) * | 2013-06-27 | 2016-09-21 | パナソニックIpマネジメント株式会社 | 情報処理装置 |
JP6176041B2 (ja) * | 2013-10-02 | 2017-08-09 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP6146350B2 (ja) * | 2014-03-18 | 2017-06-14 | パナソニックIpマネジメント株式会社 | 情報処理装置およびコンピュータプログラム |
US9639512B1 (en) * | 2014-11-20 | 2017-05-02 | Nicholas M. Carter | Apparatus and method for sharing regional annotations of an image |
US9858642B2 (en) * | 2015-05-08 | 2018-01-02 | Oracle International Corporation | Geometric model for visually debugging massive spatial datasets |
WO2016185947A1 (ja) * | 2015-05-19 | 2016-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法、受信装置および送信装置 |
JP6827706B2 (ja) * | 2015-09-09 | 2021-02-10 | キヤノン株式会社 | 情報処理装置及びその方法、情報処理システム、コンピュータプログラム |
US10419698B2 (en) | 2015-11-12 | 2019-09-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP6720513B2 (ja) * | 2015-12-01 | 2020-07-08 | 株式会社リコー | 通信端末、通信システム、通信制御方法、及びプログラム |
CN105405413B (zh) * | 2015-12-29 | 2018-10-26 | Tcl新技术(惠州)有限公司 | 一种自动调整lcd拼接的白平衡实现方法及系统 |
US10019790B2 (en) * | 2016-01-15 | 2018-07-10 | Deere & Company | Fill level indicator for an automated unloading system |
US11010542B2 (en) * | 2016-02-03 | 2021-05-18 | Ricoh Company, Ltd. | Interactive electronic whiteboard appliance with adaptive application management |
CN107092452A (zh) * | 2016-02-17 | 2017-08-25 | 阿里巴巴集团控股有限公司 | 一种展示业务完成状态的信息处理方法及装置 |
US10860748B2 (en) * | 2017-03-08 | 2020-12-08 | General Electric Company | Systems and method for adjusting properties of objects depicted in computer-aid design applications |
CN108010096A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | Cbct图像重建方法、装置和cbct设备 |
WO2020045536A1 (en) * | 2018-08-31 | 2020-03-05 | Sony Corporation | Medical system, medical apparatus, and medical method |
JP7322409B2 (ja) | 2018-08-31 | 2023-08-08 | ソニーグループ株式会社 | 医療システム、医療装置および医療方法 |
US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
US10699875B2 (en) * | 2018-11-13 | 2020-06-30 | Fei Company | Confocal imaging technique in a charged particle microscope |
US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
CN112100980A (zh) * | 2020-09-21 | 2020-12-18 | 湖南省汉星信息科技有限责任公司 | 附加信息文字的显示方法、装置、设备及存储介质 |
US11336792B1 (en) * | 2021-01-25 | 2022-05-17 | Kyocera Document Solutions Inc. | Exposure correction of an image transparency |
US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
US11966572B2 (en) * | 2021-11-16 | 2024-04-23 | Figma, Inc. | Commenting feature for graphic design systems |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206658A (ja) * | 2002-10-29 | 2004-07-22 | Fuji Xerox Co Ltd | 表示制御方法、情報表示処理システム、クライアント端末、管理サーバ、プログラム |
JP2005339295A (ja) * | 2004-05-28 | 2005-12-08 | Fuji Xerox Co Ltd | 文書処理装置、文書処理方法及び文書処理プログラム |
JP2006519443A (ja) * | 2003-02-28 | 2006-08-24 | アペリオ・テクノロジーズ・インコーポレイテッド | バーチャルスライドを閲覧するためのシステムおよび方法 |
JP2011117991A (ja) * | 2009-11-30 | 2011-06-16 | Sony Corp | 情報処理装置、情報処理方法及びそのプログラム |
JP2011133849A (ja) * | 2009-11-30 | 2011-07-07 | Sony Corp | 情報処理装置、情報処理方法及びそのプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2382509B (en) * | 2001-11-23 | 2003-10-08 | Voxar Ltd | Handling of image data created by manipulation of image data sets |
US7551187B2 (en) * | 2004-02-10 | 2009-06-23 | Microsoft Corporation | Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking |
DE602007008464D1 (de) * | 2006-11-16 | 2010-09-23 | Visiopharm As | Auf merkmalen basierende registrierung von schnittbildern |
US20090254867A1 (en) * | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Zoom for annotatable margins |
US20090307618A1 (en) * | 2008-06-05 | 2009-12-10 | Microsoft Corporation | Annotate at multiple levels |
US8194102B2 (en) * | 2008-10-06 | 2012-06-05 | Microsoft Corporation | Rendering annotations for images |
US20100135562A1 (en) * | 2008-11-28 | 2010-06-03 | Siemens Computer Aided Diagnosis Ltd. | Computer-aided detection with enhanced workflow |
US9524700B2 (en) * | 2009-05-14 | 2016-12-20 | Pure Depth Limited | Method and system for displaying images of various formats on a single display |
WO2011008209A1 (en) * | 2009-07-16 | 2011-01-20 | Jiang Gu | Virtual telemicroscope |
WO2011072170A2 (en) * | 2009-12-10 | 2011-06-16 | Fulcrum Medical, Inc. | Transfer of digital medical images and data |
US9202007B2 (en) * | 2010-01-21 | 2015-12-01 | Mckesson Financial Holdings | Method, apparatus and computer program product for providing documentation and/or annotation capabilities for volumetric data |
JP5685928B2 (ja) * | 2010-12-24 | 2015-03-18 | ソニー株式会社 | 情報処理装置、画像データ最適化方法、プログラム |
US20140006992A1 (en) * | 2012-07-02 | 2014-01-02 | Schlumberger Technology Corporation | User sourced data issue management |
JP2014063448A (ja) * | 2012-09-24 | 2014-04-10 | Sony Corp | 情報処理装置、情報処理方法、および情報処理プログラム |
-
2012
- 2012-10-03 JP JP2012221557A patent/JP6124543B2/ja active Active
- 2012-12-06 WO PCT/JP2012/082267 patent/WO2013099616A1/en active Application Filing
- 2012-12-06 CN CN201280064064.7A patent/CN104011787A/zh not_active Withdrawn
- 2012-12-06 US US14/356,967 patent/US20140298153A1/en not_active Abandoned
-
2018
- 2018-04-30 US US15/966,394 patent/US20180246868A1/en not_active Abandoned
-
2019
- 2019-10-22 US US16/660,087 patent/US20200050655A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206658A (ja) * | 2002-10-29 | 2004-07-22 | Fuji Xerox Co Ltd | 表示制御方法、情報表示処理システム、クライアント端末、管理サーバ、プログラム |
JP2006519443A (ja) * | 2003-02-28 | 2006-08-24 | アペリオ・テクノロジーズ・インコーポレイテッド | バーチャルスライドを閲覧するためのシステムおよび方法 |
JP2005339295A (ja) * | 2004-05-28 | 2005-12-08 | Fuji Xerox Co Ltd | 文書処理装置、文書処理方法及び文書処理プログラム |
JP2011117991A (ja) * | 2009-11-30 | 2011-06-16 | Sony Corp | 情報処理装置、情報処理方法及びそのプログラム |
JP2011133849A (ja) * | 2009-11-30 | 2011-07-07 | Sony Corp | 情報処理装置、情報処理方法及びそのプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018179230A1 (ja) * | 2017-03-30 | 2019-11-14 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2021171444A1 (ja) * | 2020-02-26 | 2021-09-02 | オリンパス株式会社 | 教師データ生成装置、教師データ生成方法、記録装置及び記録方法 |
WO2021193061A1 (ja) * | 2020-03-23 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6124543B2 (ja) | 2017-05-10 |
CN104011787A (zh) | 2014-08-27 |
US20140298153A1 (en) | 2014-10-02 |
US20200050655A1 (en) | 2020-02-13 |
WO2013099616A1 (en) | 2013-07-04 |
US20180246868A1 (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6124543B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
JP6091137B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
WO2013100025A9 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP5780865B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP5350532B2 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
US20140184778A1 (en) | Image processing apparatus, control method for the same, image processing system, and program | |
JP6455829B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2014071207A (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP2012209806A (ja) | 画像処理装置、撮像システム、画像処理システム | |
US20160042122A1 (en) | Image processing method and image processing apparatus | |
WO2013100026A1 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP2013134574A (ja) | 画像データ生成装置、画像データ表示システムおよび画像データ生成方法 | |
WO2013100029A9 (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム | |
JP2013200640A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2013152701A (ja) | 画像処理装置、画像処理システム、画像処理方法 | |
JP6338730B2 (ja) | 表示データを生成する装置、方法、及びプログラム | |
JP2016038542A (ja) | 画像処理方法および画像処理装置 | |
JP5832281B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP5818828B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
WO2013099125A1 (en) | Image processing apparatus, image processing system and image processing method | |
JP2013250400A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2016038541A (ja) | 画像処理方法および画像処理装置 | |
JP2013250574A (ja) | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6124543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |