JP2013152454A - 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP2013152454A
JP2013152454A JP2012282784A JP2012282784A JP2013152454A JP 2013152454 A JP2013152454 A JP 2013152454A JP 2012282784 A JP2012282784 A JP 2012282784A JP 2012282784 A JP2012282784 A JP 2012282784A JP 2013152454 A JP2013152454 A JP 2013152454A
Authority
JP
Japan
Prior art keywords
image
display
magnification
image data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012282784A
Other languages
English (en)
Inventor
Takuya Tsujimoto
卓哉 辻本
Kazuyuki Sato
和行 佐藤
Toru Sasaki
亨 佐々木
Eiju Tsuzuki
英寿 都築
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012282784A priority Critical patent/JP2013152454A/ja
Priority to DE112012005481.4T priority patent/DE112012005481T5/de
Priority to PCT/JP2012/083818 priority patent/WO2013100025A1/ja
Priority to KR1020147019757A priority patent/KR20140103171A/ko
Priority to CN201280064887.XA priority patent/CN104011581A/zh
Priority to US13/910,420 priority patent/US8947519B2/en
Publication of JP2013152454A publication Critical patent/JP2013152454A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

【課題】 光学顕微鏡画像で見える観察視野と同等のバーチャルスライドの表示画像を生成できる画像処理装置を提供する。
【解決手段】 画像表示装置に表示させるバーチャルスライド画像データを処理する画像処理装置であって、
撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
前記顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させる表示用画像データを生成するための画像データ生成ユニットと、を有することを特徴とする画像処理装置。
【選択図】 図５

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、およびプログラムに関する。
近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。
バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。
これまで、医療画像データのピクセルピッチと画像表示装置の表示部（表示画面）のピクセルピッチに基づいて、表示部に医療画像データを原寸大で表示して、医師の診断を支援する医療画像用表示装置が提案されている。
特開２００２−２５１４６４号公報
バーチャルスライドの画像は、観察対象を撮像した画像データを画像処理して表示させるため、顕微鏡で観察した画像とは一般に視野の大きさが異なる。従来、光学顕微鏡で対象物（検体）の画像を観察していたユーザーにとっては、光学顕微鏡画像とバーチャルスライド画像とでは観察視野領域が異なるため、バーチャルスライドで効率的な診断がやり難いという問題があった。
そこで、本発明は、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提案することを目的とする。
その目的を達成するために、本発明の一側面は、
画像表示装置に表示させるためのバーチャルスライド画像データを処理する画像処理装置であって、
撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させるための表示用画像データを生成する画像データ生成ユニットと、を有することを特徴とする画像処理装置である。
また、本発明の他の側面は、
バーチャルスライド画像を処理する画像処理方法であって、
撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
所定の顕微鏡の視野数に応じた表示倍率で画像表示装置に画像を表示させるための表示用画像データを生成する画像データ生成ステップと、を有することを特徴とする。
また、本発明の他の側面は、
上記画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を 所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を表示する画像表示装置と、を備える画像処理システムである。
また。本発明の他の側面は、
上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明のその他の側面は、発明を実施するための形態において、添付の図面等を適宜用いて、明らかにする。
本発明の好適な実施形態によれば、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提供することができる。
本発明の画像処理装置を用いた画像処理システムの装置構成の一例を示す模式的な全体図である。 本発明の画像処理装置を用いた画像処理システムにおける撮像装置の機能構成の一例を示す機能ブロック図である。 本発明の画像処理装置の機能ブロック構成の一例を示す機能ブロック図である。 本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。 表示倍率の概念を説明するための模式図である。 本発明の画像処理装置の表示倍率変更処理の流れの一例を示すフローチャートである。 第２の実施形態の画像処理装置を用いた画像処理システムの装置構成の一例を示す全体図である。 第２実施形態の画像処理装置の表示倍率変更処理の流れの一例を示すフローチャートである。 本発明の画像処理装置の顕微鏡観察視野表示用画像データ生成処理の詳細な流れの一例を示すフローチャートである。 本発明の画像処理システムの表示画面の一例である。
以下、図面を参照しながら本発明の実施の形態を説明する。
本発明の好適な実施形態にかかる画像処理装置は、画像表示装置に表示させるバーチャルスライド画像データを処理する画像処理装置であって、少なくとも、画像データ取得ユニットと画像データ生成ユニットを有する。画像データ生成ユニットでは、所定の顕微鏡の視野数に応じた表示倍率で、撮像対象の画像を画像表示装置に表示させるための表示用画像データを生成することが好ましい。
所定の顕微鏡視野は、画像処理装置または外部記憶装置にあらかじめ保存されている情報及び／又はユーザーの指示に基づいて決定されることが好ましい。いかなる顕微鏡の視野を再現するか、は、上記情報としてあらかじめ保存されていることが望ましい。あらかじめ保存されている情報は、初期視野情報（ユーザーの指示がない場合に顕微鏡視野として選択される情報。以下、単に「初期情報」ともいう。）、及び／又は、具体的な実在する複数の顕微鏡の視野情報（ユーザーが選択可能な複数の顕微鏡視野情報）を含むことが望ましい。なお、初期視野情報は、上記複数の顕微鏡の視野情報のうちの一つの顕微鏡視野情報を選択する、という形式で保存されていてもよい。ここで、顕微鏡の視野情報は、たとえば、視野数、対物レンズの倍率のいずれかもしくは双方を含む。また、ユーザーの指示に基づいて決定される新たな観察領域を追加の視野情報として保存し、視野情報の選択肢の一つとして選択できるようにしてもよい。さらには、ユーザー指示に基づいて決定される新たな観察領域を、使用するユーザー毎に管理するようにしてもよい。
画像データ生成ユニットは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、画像表示装置の画素数に応じて、表示用画像データを生成することができる。また、画像データユニットは、撮像対象を撮像した時の対物レンズ倍率に応じて、表示用画像データを生成することができる。なお、以下の記述及び添付の図面中において、「表示用画像データ」を「表示画像データ」と省略して表記する場合がある。
画像データ生成ユニットは、表示倍率を下記式で表されるピクセル倍率で変倍した表示用画像データを生成することが好ましい。下記ピクセル倍率で表示用画像データを生成した場合には、顕微鏡視野と画像処理装置で生成される画像とを一致させることが可能になる。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
ここで、本明細書及び本発明においては、
撮像センサ１画素分の情報を画像表示装置の表示画面の画素を何個用いて表すかという比率をピクセル倍率と定義する。一般に、画像データの１画素を画像表示装置の表示画面の１画素に対応させて表示することをピクセル等倍表示という。本発明書及び本発明においては、撮像センサ１画素で取得した情報を画像データ１画素に対応させることを前提にする。その場合、ピクセル等倍表示の際のピクセル倍率は１となる。
なお、画素ピッチが長辺と短辺とで異なる場合は、上記「撮像センサの画素ピッチ」及び上記「画像表示装置の表示画面の長辺又は短辺の画素数」で選択した側の辺における画素ピッチを用いてピクセル倍率が定義されることとなる。なお、ここでは、長方形の表示画面を想定して、長辺、短辺という言葉を用いているが、楕円形状の表示画面の場合、その長軸を長辺と定義し、その短軸を短辺と定義する。
また、下記ピクセル倍率で表示用画像データを生成した場合には、異なる表示画面のサイズを持つ画像表示装置間における実際に表示される画像の大きさを一致させることが可能になる。
ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
ここで、拡大倍率とは、撮像対象が表示画面上に何倍に拡大されて表示されているか、を示す倍率である。拡大倍率と表示倍率との関係は、
ピクセル倍率＝（表示倍率）／（撮像時の対物レンズ倍率）
と上式より、以下の式で表すことができる。
拡大倍率＝（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））
画像処理装置は、更に、モード選択ユニットを有することができる。モード選択ユニットでは画像表示装置に表示させる画像を選択するためのモードとして以下の（１）〜（３）うち少なくとも一つのモードを選択することができることが好ましい。
（１）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
（２）ピクセル等倍表示する表示用画像データを表示するモード
（３）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
なお、（１）は顕微鏡視野再現モードである。
本発明の好適な実施形態にかかる画像処理方法は、バーチャルスライド画像を処理する画像処理方法であって、少なくとも、画像データ取得ステップと画像データ生成ステップを有する。画像データ取得ステップでは、撮像対象を撮像することにより得られた画像データを取得する。画像データ生成ステップでは、顕微鏡で見た画像に近い（観察視野）画像を形成するため、前記顕微鏡の視野数に応じた表示倍率で画像を表示させる表示用画像データを生成する。
画像データ生成ステップでは、表示倍率を下記式で表されるピクセル倍率で変倍した表示用画像データを生成することが好ましい。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
本発明のプログラムは、上記の画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
本発明の画像処理システムは、バーチャルスライド画像を処理する画像処理装置と、画像処理装置で処理されたバーチャルスライド画像を表示する画像表示装置とを備える。また、更に、画像データ生成ユニットで生成された画像データを、画像表示装置に表示させる表示ユニットを有しても良い。画像データ取得ユニットでは、撮像対象を撮像することにより得られた画像データを取得する。画像データ生成ユニットでは、前記顕微鏡の視野数に応じた表示倍率で、前記画像処理装置で処理されたバーチャルスライド画像を前記画像表示装置に表示させる表示用画像データを生成する。なお、以下の記述及び添付の図面中において、「画像表示装置」を「表示装置」と省略して表記する場合がある。
本発明の画像形成方法、プログラム及び画像処理システムでは、画像処理装置で記載した態様を反映させることができる。
以下に、実施形態を示して、本発明を説明する。
［第１の実施形態］
本発明の画像処理装置は、撮像装置と画像表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。
（画像処理システムの装置構成）
図１は、本発明の画像処理装置を用いた画像処理システムの一例を示す模式的な全体図であり、撮像装置（顕微鏡装置、またはバーチャルスライド装置）１０１、画像処理装置１０２、画像表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。本例では、撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と画像表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続されている。
撮像装置１０１としては、一枚の二次元画像あるいは二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を好適に用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が好適に用いられる。撮像装置１０１として、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置を用いることもできる。なお、デジタルカメラを用いて撮像した場合であっても、高倍率表示を選択した場合や、撮像領域を変更して複数回撮像することによって得た原画像データを合成して表示用の画像データを形成した場合などには、得られた画像を、観察領域と観察領域外とに区分することが可能である。
画像処理装置１０２としては、撮像装置１０１から取得した一枚もしくは複数枚の原画像データから、画像表示装置１０３に表示するデータを、原画像データをもとにユーザーからの要求に応じて生成する機能等を持つ装置を好適に用いることができる。画像処理装置１０２としては、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される装置を用いることができる。記憶装置としては、ハードディスクドライブなどの大容量情報記憶装置を好適に用いることができる。記憶装置には、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されていることが好ましい。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部１０６は、例えばキーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。操作部１０６は、画像処理装置１０２の一構成要素であってもよい。
本例の画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。なお、画像表示装置として、画像を印刷して表示する印刷装置を用いてもよい。以下、画像表示装置のことをディスプレイと呼ぶ場合がある。
図１の例では、撮像装置１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、画像表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、画像表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の各装置の機能を分割して複数の装置によって実現してもよい。
（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成の一例を示す機能ブロック図である。
本例の撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部（Ｉ／Ｆ）２２２から構成される。
本例の照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、好適には、光源、照明光学系、および光源駆動の制御系から構成される。本例のステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。本例のプレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、この組織の切片や塗抹した細胞を封入剤とともにカバーグラスの下に固定した部材である。
本例のステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。本例において、駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、本例では、プレ計測ユニット２２０によって計測した検体の位置情報および厚み情報（距離情報）と、必要に応じて入力されるユーザーからの指示とに基づいて決定される。本例のステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
本例の結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。
本例の撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。本例の撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサである。撮像センサ２０８としては、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサを用いた場合、一次元センサを走査方向へスキャンすることで二次元画像を得ることができる。本例の撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が望まれる場合には、撮像センサとして、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いることができる。本例の撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に移動させて撮像することにより、検体の分割画像を撮像することができる。
本例のＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成されることが好ましい。本例のＨ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。本例のＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。本例のＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力することが好ましい。ここで、変換されたセンサ出力データをＲＡＷデータと呼ぶ。本例では、ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。本例のタイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。
撮像センサ２０８としてＣＣＤを用いる場合、通常上記ＡＦＥ２０９は必須が用いられる。一方、撮像センサ２０８としてデジタル出力可能なＣＭＯＳイメージセンサを用いる場合は、通常、上記ＡＦＥ２０９の機能がセンサに内包されている。また、不図示ではあるが、本例では、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。
本例の現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。本例の黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。本例のホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。本例の現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。
本例のデモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。本例のデモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、本例の撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
本例の画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より検体の存在範囲が広いため、一枚の二次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万である１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示用データの生成時につなぎ合わせる構成をとってもよい。なお、以下の記述及び添付の図面中において、「表示用データ」を「表示データ」と省略して表記する場合がある。
本例の解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が遅くなってしまう場合がある。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。画質の点を考慮すると高倍率の画像データから表示データを生成することがより好ましい。撮像を高解像で行った場合、表示用の階層画像データは、一番解像力の高い画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどを用いることができる。
本例のフィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。本例のγ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得を行うため、後段の表示処理に適した階調変換が画像データに対して適用される。
本例の圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式を用いることができる。
本例のプレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサを用いることができる。本例のプレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いることができる。
本例のメイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う。メイン制御系２２１および現像処理ユニット２１９の制御は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現することができる。例えば、あらかじめＲＯＭ内にプログラムおよびデータを格納しておき、ＣＰＵがＲＡＭをワークメモリとして用いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭとしては、例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスを用いることができる。ＲＡＭとしては、例えばＤＤＲ３などのＤＲＡＭデバイスを用いることができる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。
本例のデータ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。本例の撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続されている。このケーブルに代えて、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースを用いてもよい。
（画像処理装置の機能構成）
図３は、本発明の画像処理装置１０２の機能構成の一例を示す機能ブロック図である。
本例の画像処理装置１０２は、概略、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザー入力情報取得部３０３、表示装置情報取得部３０４、ピクセル倍率設定部３０５、表示用画像データ取得部３０６、表示データ生成部３０７、および表示用画像データ出力部３０８から構成される。
本例の画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。本例で言う画像データは、検体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ、および二次元画像データをもとに表示倍率毎に階層化された画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。また、撮像仕様である撮像装置１０１の撮像センサ２０８の画素ピッチ、および対物レンズの倍率情報が画像データには付加されているものとする。
本例の記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。また、記憶保持部３０２は、前述した具体的な実在する複数の顕微鏡の視野情報及びそのうちいずれの視野情報を初期に使用するかの情報を、保持していることが望ましい。
本例のユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、表示位置変更や拡大・縮小表示などの表示画像用データの更新指示や、表示モード選択、観察領域の指定（たとえば、記憶保持部が保持している複数の顕微鏡視野情報のうちのいずれかを選択すること）等のユーザーによる入力情報を取得する。本例でいう表示モードとは、顕微鏡観察視野の再現するモードと再現しないモードを含む。表示モードを指定することは表示倍率を指定することと同義に捉えられる場合もある。また、表示モードの指定に加えて、顕微鏡観察視野の再現に必要な再現元となる顕微鏡の視野数の設定も行うようにすることができる。なお、視野数は一般には、１８〜２６．５ｍｍ程度の値となる。
本例の表示装置情報取得部３０４は、画像表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度、ディスプレイサイズ）の他、現在表示されている画像の表示倍率の情報を取得する。
本例のピクセル倍率設定部３０５は、ユーザー入力情報取得部３０３で取得したユーザーからの指示に従い表示倍率を設定するための制御データを生成する。また、設定したピクセル倍率に基づき、表示用の画像データサイズを算出し、表示画像データ取得部３０６へ通知する。
本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、前述した初期視野情報、ユーザーが指定した観察領域情報のいずれかが反映されたものになっている。ここで、ユーザーが指定した観察領域情報としては、具体的な実在する顕微鏡の視野情報のうちユーザーが選択したもの、そのような実在する顕微鏡の視野情報を一部改編するなどしてユーザーが指定した情報、顕微鏡の視野情報とは無関係にユーザーが指定した観察領域の情報、等を挙げることができる。初期視野情報は、記憶保持部３０２が保持している初期視野情報を記憶保持部３０２から読み出したものであってもよい。加えて、本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、画像取得時の対物レンズの倍率、撮像センサの画素ピッチなどの撮像時の情報、及び、画像表示装置の表示画面の画素ピッチ、表示画面の画素数となどの画像表示装置の情報も反映されていることが望ましい。
本例の表示画像データ取得部３０６は、ピクセル倍率設定部３０５の制御指示に従い、表示に必要な画像データを記憶保持部３０２から取得する。
本例の表示データ生成部３０７は、ピクセル倍率設定部で設定された表示モードおよびピクセル倍率に従い、表示画像データ取得部３０６によって取得された画像データから画像表示装置１０３で表示するための表示データを変倍処理で生成する。表示データ生成については図６のフローチャートを用いて後述する。
本例の表示データ出力部３０８は、表示データ生成部３０７で生成された表示データを外部装置である画像表示装置１０３へ出力する。
（画像形成装置のハードウェア構成）
図４は、本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。
本例のＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。
本例のＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を再現した表示用データの生成など処理の対象となる各種データ複数の顕微鏡の視野情報等を含む）等を一時的に保持する。本例の記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。本例のＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。本例の記憶装置４０３は、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を再現した表示用データの生成など処理の対象となる各種データ（複数の顕微鏡の視野情報等を含む）等のうちの一部又は全部を記憶している。
本例のデータ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー７０１が、グラフィクスボードを介して画像表示装置１０３が、外部装置Ｉ／Ｆを介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１がそれぞれ接続されている。
本例の画像表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。当該画像表示装置１０３としては、外部装置として接続される形態を想定しているが、画像表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。
本例の操作Ｉ／Ｆ４０９との接続デバイスとしては、キーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等画像表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは画像表示装置１０３と一体となり得る。
（表示倍率変更の概念図）
図５は、顕微鏡視野ならびに画像表示装置のディスプレイ上で再現された表示形態の概要を示す概念図である。
図５（ａ）は、顕微鏡をのぞいた場合に観察される視野の一例を示している。顕微鏡視野は、顕微鏡の対物レンズの倍率と視野数によって一意に定められる。具体的には、顕微鏡の実視野Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（対物レンズの倍率）となる。ただし、実視野顕微鏡の場合は、Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（（対物レンズの倍率）×（ズーム倍率））となる。顕微鏡をのぞいた場合、図に示されるように円形の領域内５０１に対象物である検体の拡大画像を観察することができる。円形の観察領域外は光が届かないため、像の確認をすることができない。バーチャルスライド装置が存在する以前は、こうした観察像をユーザーである病理医が見て診断を行っていた。
５０２は、円形の顕微鏡観察視野の直径である。実際には、撮像センサ２０８の画素ピッチで割った画素数となる。ここでは、「Ａ」という文字の高さと顕微鏡視野の直径が等しいものとして以下の説明を行う。
図５（ｂ）は、ピクセル等倍表示時の表示画面の例である。ピクセル等倍とは、顕微鏡観察視野をデジタルデータとしてサンプリングした各画素とディスプレイの表示素子とが１対１に対応する状態を指す。５０２で示される顕微鏡視野の直径を、仮に１０００の画素でサンプリングして取得した場合、表示側も同じく１０００画素を用いて表示することになる。５０３は、例えば４ｋ×２ｋの大画面を持つ画像表示装置の表示画面を想定している。５０４は、表示画面５０３の縦方向の表示画面サイズである。なお、ここでは縦方向のサイズが小さいアスペクト比、すなわち縦方向の画素数が横方向の画素数よりも小さいディスプレイを想定している。また、画素ピッチは縦方向と横方向で等しいディスプレイを想定している。５０５は、ピクセル等倍で表示された場合の画像表示サイズである。５０２が１０００画素で構成される場合、５０５も同じく１０００画素となる。このように、ピクセル等倍表示では、取得した元となる画像データをピクセル等倍で表示するため、表示画面５０３のサイズが大きい場合、顕微鏡観察視野より広い画像データを画面上に表示することが可能となる。
図５（ｃ）は、同じくピクセル等倍表示時の表示画面の例である。ここでは図５（ｂ）よりも小型、低解像のディスプレイ上に表示する場合について説明する。
５０６は、例えば１０２４×７６８の画素を持つ比較的小型の画像表示装置の表示画面である。
５０７は、表示画面５０６の縦方向の表示画面サイズである。ここでは、７６８の表示画素で構成されるものとする。
５０８は、ピクセル等倍で表示された場合の画像サイズであり、縦方向の表示サイズ５０７（７６８画素）が、顕微鏡観察視野をサンプリングした画素数（１０００画素）よりも小さいため、顕微鏡視野をすべて表示することができなくなっている。このように、ピクセル等倍表示では、表示画面５０６のサイズが小さい場合、顕微鏡観察視野より狭い範囲の画像データしか画面上に表示することができなくなる。なお、前述したとおり、本発明及び本明細書において、ピクセル等倍表示のピクセル倍率は１と定義するものとする。
図５（ｄ）は、異なるサイズ、表示解像度のディスプレイ間でも、対象となる画像のサイズを同じくするように表示倍率を変更した同一サイズ表示の表示画面の例である。５０３、５０６と図５（ｂ）および（ｃ）で説明したサイズが異なる二つの表示画面が存在していても、５０９のサイズで示されるようにディスプレイ上に表示される画像の大きさ（物理的なサイズ）は同じになっている。なお、前述したとおり、本発明及び本明細書において、同一サイズ表示のピクセル倍率は以下の式（１）で定義するものとする。
ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ） ・・・式（１）
同一サイズ表示は、例えば遠隔での診断等、異なるユーザーや場所においても対象物の表示サイズを同じにする場合に有効である。
図５（ｅ）は、本発明の特徴である顕微鏡の観察視野と画像表示装置の表示領域における見えの大きさを合わせた顕微鏡観察視野再現の表示画面の例である。図５（ｄ）と同じくサイズが異なる二つの表示画面が存在していても、観察視野の直径５０２と各表示領域の縦方向のサイズ５１０および５１１を合わせることで、ディスプレイの仕様や性能に依らずユーザーにとって見慣れた顕微鏡観察視野に合わせた表示画像を表示することができる。
なお、顕微鏡観察視野を再現するピクセル倍率は以下の式で算出することができる。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置上での表示倍率／画像取得時の対物レンズ倍率） ・・・式（２）
上記のように、縦方向の画素数が縦方向の画素数よりも小さい表示画面を想定した場合には、表示画面の縦方向の画素数が式（２）にいう短辺の画素数になる。そして、式（２）を
ピクセル倍率＝（画像表示装置の表示画面の縦方向の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置上での表示倍率／画像取得時の対物レンズ倍率）
として計算することで、表示画面内に顕微鏡視野のすべてが表示される画像データを生成することができる。このように、表示画面内に顕微鏡視野のすべてを表示させようとする場合、短辺の画素数を式（２）に代入することとなる。
なお、式（２）は以下のような場合も含む。すなわち、たとえば、一部の画素を画像表示以外の情報を表示するために用いる場合、一部の画素を枠として用いる場合、一部の画素を他の画像を表示するために用いる場合などには、それらの画素は除外した上で上記「画像表示装置の表示画面の長辺又は短辺の画素数」をカウントする。また、式（２）は、画像表示装置の表示画面の長辺又は短辺の画素数を基準とした場合に１０画素以内の誤差も許容する。
（表示倍率変更処理）
本発明の画像処理装置における表示倍率変更処理の流れの一例を図６のフローチャートを用いて説明する。
ステップＳ６０１では、画像表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度である画素数）を画像表示装置１０３から画像表示装置情報取得部３０４より取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いる。
ステップＳ６０２では、画像表示装置１０３に現在表示されている画像の表示倍率の情報を表示装置情報取得部３０４より取得する。初期の段階では規定の倍率を設定する。表示倍率は、階層画像から何れかの画像データを選択する際に用いる。また、生成する表示データのサイズを決める際にも用いる。後述する顕微鏡観察視野を再現するモードで必要となる視野数の数値も規定された値として取得もしくはユーザー指定による取得を行う。
ステップＳ６０３では、表示モード設定情報を取得する。ここでいう表示モードは大きく、顕微鏡観察視野再現表示モードと、ピクセル等倍表示モードである。
ステップＳ６０４では、ユーザーが顕微鏡観察視野再現表示モードを選択したか否かを判断する。顕微鏡観察視野再現表示モードが選択された場合はステップＳ６０５へ、通常観察視野であるピクセル等倍の表示モードが選択された場合はステップＳ６０７へそれぞれ進む。
ステップＳ６０５では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０２で取得した表示倍率、視野数の情報に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
ステップＳ６０６では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式に基づく変倍処理を行う。
ステップＳ６０７では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０２で取得した表示倍率情報に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
ステップＳ６０８では、通常観察視野であるピクセル等倍の表示モードの選択を受けて、通常観察視野用の表示用画像データの生成を行う。その際、ステップＳ６０３で取得した階層画像中の近接する表示倍率の画像データを、所望の解像度となるよう解像度変換処理を適用する。必要に応じて画像表示装置１０３の特性に合わせた補正処理を行う。
ステップＳ６０９では、ステップＳ６０６またはステップＳ６０８で生成した表示データを画像表示装置１０３に対して出力する。
ステップＳ６１０では、画像表示装置１０３が入力された表示データを画面に表示する。
ステップＳ６１１では、画像表示が終了したか否かを判断する。ユーザーによって別の検体画像が選択された場合、表示用アプリケーションの操作が完了した場合は処理を終了する。表示画面の更新が引き続き行われる場合には、ステップＳ６０２に戻り以降の処理を繰り返す。
（本実施形態の効果）
光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成することにより、見慣れた顕微鏡観察環境をディスプレイ上でも再現できる。
［第２の実施形態］
本発明の第２実施形態に係る画像処理システムについて図を用いて説明する。
第１の実施形態では、バーチャルスライド画像を、一般的なピクセル等倍の表示の他、顕微鏡観察視野を再現する変倍表示ができるようにした。第２の実施形態では、第１の実施形態に同一サイズ表示を行う変倍表示の機能を追加する。また、より顕微鏡観察の環境を再現するために、円形の視野領域を設け、観察を注視しやすくする。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。
（画像処理システムの装置構成）
図７は、本発明の第２の実施形態に係る画像処理システムを構成する装置の一例を示す模式的な全体図である。
図７で例示されている画像処理装置を用いた画像処理システムは、画像サーバー７０１、画像処理装置１０２、画像表示装置１０３およびネットワーク７０２を介して遠隔地にある画像処理装置７０４、同じくネットワーク７０２を介して遠隔地にあり画像処理装置７０４と接続された画像表示装置７０５から構成される。本例の画像処理装置１０２は検体を撮像した画像データを画像サーバー７０１から取得し、画像表示装置１０３へ表示するための画像データを生成することができる。本例では、画像サーバー７０１と画像処理装置１０２との間は、ネットワーク７０２を介して、汎用Ｉ／ＦのＬＡＮケーブル７０３で接続される。本例の画像サーバー７０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。本例の画像サーバー７０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー７０１に接続されたローカルストレージに保存していても良いし、それぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および画像表示装置１０３は第１の実施態様の画像処理システムと同様である。画像処理装置７０４は、ネットワーク７０２を介して遠隔地にあるものとする。機能は画像処理装置１０２と同じである。取得された画像データを画像サーバー７０１に格納することで、画像処理装置１０３、７０４双方から画像データを参照することができる。
図７の例では、画像サーバー７０１と画像処理装置１０２、７０４と画像表示装置１０３、７０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、画像表示装置１０３、７０５が一体化した画像処理装置１０２、７０４を用いてもよいし、画像処理装置１０２、７０４の持つ機能の一部を画像サーバー７０１に組み込んでもよい。また逆に、画像サーバー７０１や画像処理装置１０２、７０４の機能を分割して複数の装置によって実現してもよい。
（顕微鏡視野表示用画像データ生成処理）
図８は、第１の実施形態の図６で説明した顕微鏡観察視野表示用画像データ生成の処理に対して、本実施例の特徴である、画像表示装置１０３、７０５の解像度等の仕様、性能が異なる場合においても同じ大きさで画像を提示する同一サイズ表示の変倍機能を追加した顕微鏡視野表示用画像データ生成処理の流れの一例を示すフローチャートである。同一サイズ表示モードおよび顕微鏡観察視野再現の処理プロセス以外は図６と同様のため、同じ処理の説明については省略する。
ステップＳ６０１からステップＳ６０４までのピクセル倍率変更に伴う変倍処理に必要な各種情報の取得と分岐処理の内容は第１の実施形態の図６で説明した内容と同様である。
ステップＳ８０１では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。式（２）を用いたピクセル倍率の変倍処理はステップＳ６０６と同様であるが、さらに顕微鏡観察視野を模した円形領域の表示を行う処理が追加される。詳細については図９を用いて説明する。
ステップＳ８０２では、顕微鏡観察視野再現モード以外の表示モード選択を受けて、同一サイズで表示するか、それともピクセル等倍で表示するかを判断する。同一サイズのピクセル倍率変更表示を行う場合はステップＳ８０３へ、ピクセル等倍の表示モードを選択する場合はステップＳ６０７へそれぞれ進む。
ステップＳ８０３では、ステップＳ６０１で取得した表示エリアのサイズ情報、表示画素ピッチのサイズ情報およびステップＳ６０２で取得した表示倍率に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
ステップＳ８０４では、同一サイズ表示モードの選択を受けて、同一サイズ表示用の画像データを生成する。具体的には取得した画像データに対して、式（１）で示したピクセル倍率の算出式に基づく変倍処理を行う。
ステップＳ６０５の表示画像データの取得およびステップＳ６０７の表示画像データの取得以降のステップＳ６１１までの処理は第１の実施の形態と同じため、説明は省略する。
（顕微鏡視野表示画像データ生成処理）
図９は、図８のステップＳ８０１で示した顕微鏡観察視野を再現する表示用の画像データ生成処理の詳細な流れを示すフローチャートである。
ステップＳ９０１では、マスク情報を取得する。マスク情報は、画像表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにしたものと、表示画素毎にどの程度の輝度変更を行うか判断できるようにしたものの、２種類がある。ステップＳ９０４以降の輝度値シフトの処理を行う場合は、各５ビットの値を持ち、マスク情報が０のときは画像データの値をそのまま表示用データとして使用し、任意の値のときはその値に応じて下位方向に輝度値をビットシフトすることにする。例えば８ビット２５６階調の輝度データを保有している場合、マスク情報の値が１のときは１ビット左シフトすることで輝度データは半分の値になる。８ビットシフトすれば画像データの値は０となるため、完全に表示画素をマスクする（対象となる表示画素の輝度値を０にする）ことになる。本実施の形態では、マスク情報との演算先として各画素の輝度データを想定しているが、ＲＧＢのカラー画像データが対象となる場合、一端ＹＵＶやＹＣＣ等の輝度／色差信号へ変換し、変換後の輝度情報を演算処理の対象とすることができる。また、ＲＧＢ各色に対してビットシフトを適用する構成をとってもよい。ビットシフトは、表示エリア内の表示画素に対して任意に設定することができるが、ここでは顕微鏡における観察視野を再現するため、円形の視野内のマスク値を０、それ以外の領域のマスク値を２として以後の説明を行う。マスク値として２が設定された表示エリア内は、取得した画像データの輝度値を１／４に低下させることになる。さらには、特定のビットに意味を持たせる構成をとることで、逆に輝度を上げる処理を適用させることもできる。
また、ステップＳ９０７以降の表示画素単位で輝度値を変化させる処理を行う場合は、各８ビットの値を持ち、マスク情報と画像データの各輝度値との乗算結果を新たに算出した画素の輝度値とする。
ステップＳ６０６では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式で変倍の処理を行う。こちらの内容は、図６で説明したものと同じである。
ステップＳ９０２では、顕微鏡観察視野を模した円形の表示領域設定を行うか否かを判断する。円形の表示領域を設定する場合はステップＳ９０３へ、第１の実施形態で説明した顕微鏡視野再現のサイズで画面上に画像の表示を行う場合は処理を終了する。
ステップＳ９０３では、円形の表示領域外をシフト処理による輝度低下の画像で表示するか、表示画素単位で輝度低下の画像で表示するかを判断する。
シフト処理を行う場合はステップＳ９０４へ、マスク情報と画素の輝度値との乗算を行う場合はステップＳ９０７へそれぞれ進む。
ステップＳ９０４では、顕微鏡視野を再現することを受けて、ステップＳ９０１で取得、把握したマスク情報の値を各対応画素間で参照する。参照した対応する表示画素のマスク情報の値が０であるか、すなわち注視領域として提示される通常輝度となる画素か、それとも顕微鏡観察視野外の輝度を低下させる対象となる画素かを判断する。マスク値が０の場合はステップＳ９０５へ、マスク値が０以外の場合、すなわちビットシフトにより画素の輝度値を低下させる場合はステップＳ９０６へそれぞれ進む。
ステップＳ９０５では、マスク値が０であることを受けて、取得した画像データの画素の輝度値をそのまま表示用の画素値として採用する。なお、画像表示装置１０３の特性に合わせた補正処理を行う場合は、輝度値が変化する場合もある。
ステップＳ９０６では、マスク値が０以外の値であることを受けて、取得した画像データの画素の輝度値を、ステップＳ９０１で取得したマスク情報の値に応じて下位方向にビットシフト演算を行う。この結果、マスク値に応じた輝度の低下を実現することができる。
ステップＳ９０７では、画像データの各画素に対応するマスク情報を把握する。マスク情報は例えば８ビットの情報であり、０から２５５までの値をとる。
ステップＳ９０８では、対応する画素の輝度値とマスク情報の値を乗算し、新たな輝度値として算出する。実際には、乗算された結果をマスク情報の最大値である２５５で割った値で正規化することによって、マスク情報が２５５の場合には除算前と同じ輝度値が算出されることになる。このように画素単位で同一処理を適用することでも顕微鏡視野を再現することができる。ビットシフトによって輝度低下を行っていたのに対して、マスク情報との乗算によって算出できることになり、より輝度の設定の自由度が増えることになる。マスク情報は予め用意しておいた規定の値を用いても、ユーザー指示によって変更または新たに設定することも可能である。その結果、顕微鏡視野を模した円形の観察視野形状以外の形状にも柔軟に対応することができる。
（表示画面レイアウト）
図１０は、本発明の画像処理装置１０２で生成した表示データを画像表示装置１０３に表示した場合の表示画面の一例である。図１０では、顕微鏡観察視野を模した二つの表示モードについて説明する。
図１０（ａ）は、画像表示装置１０３の画面レイアウトの基本構成である。表示画面は、全体ウィンドウ１００１内に、表示や操作のステータスと各種画像の情報を示す情報エリア１００２、観察対象の検体サムネイル画像１００３、サムネイル画像中に詳細観察のエリアを示す詳細表示領域１００４、詳細観察用の検体画像データの表示領域１００５、表示領域１００５の表示倍率１００６、からそれぞれ構成されている。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ１００１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像１００３は、検体の全体像における検体画像データの表示領域１００５の位置や大きさを表示する。位置や大きさは、詳細表示領域１００４の枠によって把握することができる。詳細表示領域１００４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域１００５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。
バーチャルスライド装置で取得された画像データは、検体の一部領域を分割して撮像した画像データの繋ぎ合わせの画像として用意される。このように、ピクセル等倍表示では、画像表示装置１０３全面に顕微鏡視野よりも広い範囲で情報を提示することが可能であり、のぞき込む動作がなくなること、ある程度の視距離を確保できること、より多くの画像データや検体に関連する情報を合わせて表示することができるなど、種々の利便性を提供することができる。
図１０（ｂ）は、顕微鏡視野を再現し、顕微鏡観察視野外は均一な輝度低下を行った表示画面の例である。１００６は表示倍率を示している。ここでは高倍の４０倍で表示されているものとする。１００８は顕微鏡の視野を模した観察領域で、円形の視野内は通常の輝度で画像が表示されている。これに対し、１００７の顕微鏡視野外の領域は一定の割合で輝度を低下させている。広い表示エリアに検体画像は表示されているものの、注視すべき顕微鏡観察視野以外の領域の輝度を低下させることによって、病理にとって使い慣れた顕微鏡の観察視野を再現するとともに、その周辺領域にもバーチャルスライド装置の利点であるよい多くの画像情報を提示することを両立している。顕微鏡観察視野以外の情報量削減の手法としては、輝度を低下させる以外に、色情報を削減しモノクロのデータとして表示する方法がある。
図１０（ｃ）は、顕微鏡観察視野を再現し、顕微鏡観察視野外は顕微鏡視野中心からの距離に応じて輝度低下を行った表示画面の例である。１００９の顕微鏡観察視野外の領域は、顕微鏡視野を再現した円形の領域の中心からの距離に応じて徐々に輝度が低下している。ここでは、注視すべき顕微鏡観察視野における画像の提示はそのままに、注視点である円形の中心からの距離に応じて、顕微鏡観察視野以外の領域の輝度を低下させている。図１０（ｂ）で示した顕微鏡視野以外の領域に対する一律な情報削減と比べて、注視すべき領域への情報量を増やすことで関心領域が見つけやすくなるなど利便性を増している。
（本実施形態の効果）
本発明によれば、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提供することができる。特に、遠隔地にある画像表示装置の仕様が異なる環境でも同一サイズの画像を表示することができる。また、円形のマスク画像を用意することでさらに顕微鏡の見えと同じにすることができる。
［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
また、第１と第２の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置と撮像装置がローカルで接続されている環境において、第２の実施形態で説明した同一サイズ表示モードを合わせた３つの表示モードを選択できるようにしてもよい。また、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。本発明の技術的範囲は特許請求の範囲中の各請求項によって定められるものであり、上記各実施形態によって限定解釈されるべきものではない。
１０１ 撮像装置
１０２ 画像処理装置
１０３ 画像表示装置
３０１ 画像データ取得部
３０２ 記憶保持部
３０３ ユーザー入力情報取得部
３０４ 表示装置情報取得部
３０５ ピクセル倍率設定部
３０６ 表示用画像データ取得部
３０７ 表示データ生成部
３０８ 表示データ出力部
７０１ 画像サーバー
７０４ ネットワークで接続された遠隔地の画像処理装置
７０５ 画像処理装置と接続される画像表示装置
画像データ生成ユニットは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、画像表示装置の画素数に応じて、表示用画像データを生成することができる。また、画像データ生成ユニットは、撮像対象を撮像した時の対物レンズ倍率に応じて、表示用画像データを生成することができる。なお、以下の記述及び添付の図面中において、「表示用画像データ」を「表示画像データ」と省略して表記する場合がある。
本発明の画像処理方法、プログラム及び画像処理システムでは、画像処理装置で記載した態様を反映させることができる。
本例の画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。なお、画像表示装置１０３として、画像を印刷して表示する印刷装置を用いてもよい。以下、画像表示装置のことをディスプレイと呼ぶ場合がある。
本例の撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。本例の撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサである。撮像センサ２０８としては、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサを用いた場合、一次元センサを走査方向へスキャンすることで二次元画像を得ることができる。本例の撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が望まれる場合には、撮像センサ２０８として、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いることができる。本例の撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に移動させて撮像することにより、検体の分割画像を撮像することができる。
本例のＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）回路、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成されることが好ましい。本例のＨ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。本例のＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。本例のＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力することが好ましい。ここで、変換されたセンサ出力データをＲＡＷデータと呼ぶ。本例では、ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。本例のタイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。
撮像センサ２０８としてＣＣＤを用いる場合、通常上記ＡＦＥ２０９が用いられる。一方、撮像センサ２０８としてデジタル出力可能なＣＭＯＳイメージセンサを用いる場合は、通常、上記ＡＦＥ２０９の機能がセンサに内包されている。また、不図示ではあるが、本例では、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートなど動作タイミングの制御やＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の制御を合わせて行う。
本例の圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を行う。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式を用いることができる。
本例のユーザー入力情報取得部３０３は、マウスやキーボード等の操作部１０６を介して、表示位置変更や拡大・縮小表示などの表示画像用データの更新指示や、表示モード選択、観察領域の指定（たとえば、記憶保持部３０２が保持している複数の顕微鏡視野情報のうちのいずれかを選択すること）等のユーザーによる入力情報を取得する。本例でいう表示モードとは、顕微鏡観察視野の再現するモードと再現しないモードを含む。表示モードを指定することは表示倍率を指定することと同義に捉えられる場合もある。また、表示モードの指定に加えて、顕微鏡観察視野の再現に必要な再現元となる顕微鏡の視野数の設定も行うようにすることができる。なお、視野数は一般には、１８〜２６．５ｍｍ程度の値となる。
本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、前述した初期視野情報、ユーザーが指定した観察領域情報のいずれかが反映されたものになっている。ここで、ユーザーが指定した観察領域情報としては、具体的な実在する顕微鏡の視野情報のうちユーザーが選択したもの、そのような実在する顕微鏡の視野情報を一部改編するなどしてユーザーが指定した情報、顕微鏡の視野情報とは無関係にユーザーが指定した観察領域の情報、等を挙げることができる。初期視野情報は、記憶保持部３０２が保持している初期視野情報を記憶保持部３０２から読み出したものであってもよい。加えて、本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、画像取得時の対物レンズの倍率、撮像センサ２０８の画素ピッチなどの撮像時の情報、及び、画像表示装置１０３の表示画面の画素ピッチ、表示画面の画素数となどの画像表示装置の情報も反映されていることが望ましい。
本例の表示データ生成部３０７は、ピクセル倍率設定部３０５で設定された表示モードおよびピクセル倍率に従い、表示画像データ取得部３０６によって取得された画像データから画像表示装置１０３で表示するための表示データを変倍処理で生成する。表示データ生成については図６のフローチャートを用いて後述する。
（画像処理装置のハードウェア構成）
図４は、本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。
本例のデータ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー７０１が、グラフィクスボード４０７を介して画像表示装置１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１がそれぞれ接続されている。
本例の画像表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。当該画像表示装置１０３としては、外部装置として接続される形態を想定しているが、画像表示装置１０３と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。
５０２は、円形の顕微鏡観察視野の直径である。実際には、直径を撮像センサ２０８の画素ピッチで割った画素数となる。ここでは、「Ａ」という文字の高さと顕微鏡視野の直径が等しいものとして以下の説明を行う。
図５（ｂ）は、ピクセル等倍表示時の表示画面の例である。ピクセル等倍とは、顕微鏡観察視野をデジタルデータとしてサンプリングした各画素とディスプレイの表示素子とが１対１に対応する状態を指す。５０２で示される顕微鏡視野の直径を、仮に１０００の画素でサンプリングして取得した場合、表示側も同じく１０００画素を用いて表示することになる。５０３は、例えば４ｋ×２ｋの大画面を持つ画像表示装置１０３の表示画面を想定している。５０４は、表示画面５０３の縦方向の表示画面サイズである。なお、ここでは縦方向のサイズが小さいアスペクト比、すなわち縦方向の画素数が横方向の画素数よりも小さいディスプレイを想定している。また、画素ピッチは縦方向と横方向で等しいディスプレイを想定している。５０５は、ピクセル等倍で表示された場合の画像表示サイズである。顕微鏡視野の直径５０２が１０００画素で構成される場合、画像表示サイズ５０５も同じく１０００画素となる。このように、ピクセル等倍表示では、取得した元となる画像データをピクセル等倍で表示するため、表示画面５０３のサイズが大きい場合、顕微鏡観察視野より広い画像データを画面上に表示することが可能となる。
５０７は、表示画面５０６の縦方向の表示画面サイズである。ここでは、表示画面サイズ５０７は、７６８の表示画素で構成されるものとする。
５０８は、ピクセル等倍で表示された場合の画像サイズであり、縦方向の表示画面サイズ５０７（７６８画素）が、顕微鏡観察視野をサンプリングした画素数（１０００画素）よりも小さいため、顕微鏡視野をすべて表示することができなくなっている。このように、ピクセル等倍表示では、表示画面５０６のサイズが小さい場合、顕微鏡観察視野より狭い範囲の画像データしか画面上に表示することができなくなる。なお、前述したとおり、本発明及び本明細書において、ピクセル等倍表示のピクセル倍率は１と定義するものとする。
上記のように、縦方向の画素数が横方向の画素数よりも小さい表示画面を想定した場合には、表示画面の縦方向の画素数が式（２）にいう短辺の画素数になる。そして、式（２）を
ピクセル倍率＝（画像表示装置の表示画面の縦方向の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置上での表示倍率／画像取得時の対物レンズ倍率）
として計算することで、表示画面内に顕微鏡視野のすべてが表示される画像データを生成することができる。このように、表示画面内に顕微鏡視野のすべてを表示させようとする場合、短辺の画素数を式（２）に代入することとなる。
（表示倍率変更処理）
本発明の画像処理装置１０２における表示倍率変更処理の流れの一例を図６のフローチャートを用いて説明する。
ステップＳ６０８では、通常観察視野であるピクセル等倍の表示モードの選択を受けて、通常観察視野用の表示用画像データの生成を行う。その際、ステップＳ６０２で取得した階層画像中の近接する表示倍率の画像データを、所望の解像度となるよう解像度変換処理を適用する。必要に応じて画像表示装置１０３の特性に合わせた補正処理を行う。
図７で例示されている画像処理装置を用いた画像処理システムは、画像サーバー７０１、画像処理装置１０２、画像表示装置１０３およびネットワーク７０２を介して遠隔地にある画像処理装置７０４、同じくネットワーク７０２を介して遠隔地にあり画像処理装置７０４と接続された画像表示装置７０５から構成される。本例の画像処理装置１０２は検体を撮像した画像データを画像サーバー７０１から取得し、画像表示装置１０３へ表示するための画像データを生成することができる。本例では、画像サーバー７０１と画像処理装置１０２との間は、ネットワーク７０２を介して、汎用Ｉ／ＦのＬＡＮケーブル７０３で接続される。本例の画像サーバー７０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。本例の画像サーバー７０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー７０１に接続されたローカルストレージに保存していても良いし、それぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および画像表示装置１０３は第１の実施態様の画像処理システムと同様である。画像処理装置７０４は、ネットワーク７０２を介して遠隔地にあるものとする。機能は画像処理装置１０２と同じである。取得された画像データを画像サーバー７０１に格納することで、画像処理装置１０２、７０４双方から画像データを参照することができる。
ステップＳ９０１では、マスク情報を取得する。マスク情報は、画像表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにしたものと、表示画素毎にどの程度の輝度変更を行うか判断できるようにしたものの、２種類がある。ステップＳ９０４以降の輝度値シフトの処理を行う場合は、各画素は５ビットの値を持ち、マスク情報が０のときは画像データの値をそのまま表示用データとして使用し、任意の値のときはその値に応じて下位方向に輝度値をビットシフトすることにする。例えば８ビット２５６階調の輝度データを保有している場合、マスク情報の値が１のときは１ビット右シフトすることで輝度データは半分の値になる。８ビットシフトすれば画像データの値は０となるため、完全に表示画素をマスクする（対象となる表示画素の輝度値を０にする）ことになる。本実施の形態では、マスク情報との演算先として各画素の輝度データを想定しているが、ＲＧＢのカラー画像データが対象となる場合、一端ＹＵＶやＹＣＣ等の輝度／色差信号へ変換し、変換後の輝度情報を演算処理の対象とすることができる。また、ＲＧＢ各色に対してビットシフトを適用する構成をとってもよい。ビットシフトは、表示エリア内の表示画素に対して任意に設定することができるが、ここでは顕微鏡における観察視野を再現するため、円形の視野内のマスク値を０、それ以外の領域のマスク値を２として以後の説明を行う。マスク値として２が設定された表示エリア内は、取得した画像データの輝度値を１／４に低下させることになる。さらには、特定のビットに意味を持たせる構成をとることで、逆に輝度を上げる処理を適用させることもできる。
また、ステップＳ９０７以降の表示画素単位で輝度値を変化させる処理を行う場合は、各画素は８ビットの値を持ち、マスク情報と画像データの各輝度値との乗算結果を新たに算出した画素の輝度値とする。
図１０（ａ）は、画像表示装置１０３の画面レイアウトの基本構成である。表示画面は、全体ウィンドウ１００１内に、表示や操作のステータスと各種画像の情報を示す情報エリア１００２、観察対象の検体サムネイル画像１００３、サムネイル画像１０３中に詳細観察のエリアを示す詳細表示領域１００４、詳細観察用の検体画像データの表示領域１００５、表示領域１００５の表示倍率１００６、からそれぞれ構成されている。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ１００１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像１００３は、検体の全体像における検体画像データの表示領域１００５の位置や大きさを表示する。位置や大きさは、詳細表示領域１００４の枠によって把握することができる。詳細表示領域１００４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域１００５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。

Claims (19)

  1. 画像表示装置に表示させるためのバーチャルスライド画像データを処理する画像処理装置であって、
    撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
    所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させるための表示用画像データを生成する画像データ生成ユニットと、を有することを特徴とする画像処理装置。
  2. 前記画像データ生成ユニットは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
  5. 前記画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
  6. 前記画像データ生成ユニットは、前記画像表示装置の画素数に応じて、前記表示用画像データを生成することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
  7. 前記画像データ生成ユニットは、前記撮像対象を撮像した時の対物レンズ倍率に応じて、前記表示用画像データを生成することを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
  8. 前記画像データ生成ユニットは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成することを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
    ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
  9. 前記画像データ生成ユニットは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成することを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
    ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  10. 前記画像処理装置は、更に、モード選択ユニットを有し、
    前記モード選択ユニットは、画像表示装置に表示させる画像を選択するためのモードとして以下の（１）〜（３）うち少なくとも一つのモードを選択することができることを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
    （１）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
    ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
    （２）ピクセル等倍表示する表示用画像データを表示するモード
    （３）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
    ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  11. バーチャルスライド画像を処理する画像処理方法であって、
    撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
    所定の顕微鏡の視野数に応じた表示倍率で画像表示装置に画像を表示させるための表示用画像データを生成する画像データ生成ステップと、を有することを特徴とする画像処理方法。
  12. 前記画像データ生成ステップは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定するステップであることを特徴とする請求項１１に記載の画像処理方法。
  13. 前記画像データ生成ステップは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定するステップであることを特徴とする請求項１１又は１２に記載の画像処理方法。
  14. 前記画像データ生成ステップは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することを特徴とする請求項１１〜１３のいずれかに記載の画像処理方法。
  15. 前記画像データ生成ステップは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定するステップであることを特徴とする請求項１１〜１４のいずれかに記載の画像処理方法。
  16. 前記画像データ生成ステップは、前記表示倍率を下記式で表されるピクセル倍率で変倍し表示用画像データを生成するステップであることを特徴とする請求項１１〜１５のいずれかに記載の画像処理方法。
    ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
  17. 前記画像データ生成ステップは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成するステップであることを特徴とする請求項１１〜１５のいずれかに記載の画像処理方法。
    ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  18. 請求項１〜１０のいずれかに記載の画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を所定の顕微鏡の視野数に応じた表示倍率で表示する画像表示装置と、を備える画像処理システム。
  19. 請求項１１〜１７のいずれか記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2012282784A 2011-12-27 2012-12-26 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム Pending JP2013152454A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012282784A JP2013152454A (ja) 2011-12-27 2012-12-26 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
DE112012005481.4T DE112012005481T5 (de) 2011-12-27 2012-12-27 Bildverarbeitungsvorrichtung, Bildverarbeitungssystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
PCT/JP2012/083818 WO2013100025A1 (ja) 2011-12-27 2012-12-27 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
KR1020147019757A KR20140103171A (ko) 2011-12-27 2012-12-27 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
CN201280064887.XA CN104011581A (zh) 2011-12-27 2012-12-27 图像处理装置、图像处理系统、图像处理方法和图像处理程序
US13/910,420 US8947519B2 (en) 2011-12-27 2013-06-05 Image processing apparatus, image processing system, image processing method, and image processing program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011286783 2011-12-27
JP2011286783 2011-12-27
JP2012282784A JP2013152454A (ja) 2011-12-27 2012-12-26 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2013152454A true JP2013152454A (ja) 2013-08-08

Family

ID=48697504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012282784A Pending JP2013152454A (ja) 2011-12-27 2012-12-26 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム

Country Status (6)

Country Link
US (1) US8947519B2 (ja)
JP (1) JP2013152454A (ja)
KR (1) KR20140103171A (ja)
CN (1) CN104011581A (ja)
DE (1) DE112012005481T5 (ja)
WO (1) WO2013100025A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811650A (zh) * 2014-01-26 2015-07-29 吴健辉 一种图像采集系统
CN105160625A (zh) * 2015-07-17 2015-12-16 天脉聚源（北京）科技有限公司 图像拼字的方法和装置
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
US11226476B2 (en) 2016-09-30 2022-01-18 Olympus Corporation Specimen observation apparatus
US11460682B2 (en) 2017-05-29 2022-10-04 Evident Corporation Observation device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134574A (ja) * 2011-12-26 2013-07-08 Canon Inc 画像データ生成装置、画像データ表示システムおよび画像データ生成方法
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6355082B2 (ja) * 2013-07-18 2018-07-11 パナソニックＩｐマネジメント株式会社 病理診断支援装置及び病理診断支援方法
JP6363890B2 (ja) * 2014-07-04 2018-07-25 オリンパス株式会社 走査型顕微鏡装置および超解像画像の生成方法
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
US9595086B2 (en) * 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing
US9734553B1 (en) * 2014-12-31 2017-08-15 Ebay Inc. Generating and displaying an actual sized interactive object
DE102015121017A1 (de) * 2015-12-03 2017-06-08 Karl Storz Gmbh & Co. Kg Beobachtungsvorrichtung, insbesondere medizinische Beobachtungsvorrichtung, mit einer Bedieneinheit sowie Verwendung eines Eingabemoduls
JP2017114579A (ja) * 2015-12-21 2017-06-29 株式会社東芝 画像処理装置
CN110431463A (zh) * 2016-08-28 2019-11-08 奥格蒙特奇思医药有限公司 组织样本的组织学检查系统
EP3521410A4 (en) * 2016-09-30 2020-04-15 Olympus Corporation CULTIVATION OBSERVATION SYSTEM
JP6826455B2 (ja) * 2017-02-14 2021-02-03 株式会社日立製作所 画像形成装置
CN107015356B (zh) * 2017-03-17 2019-08-16 中国科学院自动化研究所 显微图像的显示方法、显示装置及包含该装置的成像系统
JP6962714B2 (ja) * 2017-06-07 2021-11-05 オリンパス株式会社 観察装置
JP7165018B2 (ja) 2018-10-03 2022-11-02 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251464A (ja) 2001-02-22 2002-09-06 Yokogawa Electric Corp 医療画像表示装置及び医療画像表示方法
JP4576876B2 (ja) * 2004-05-10 2010-11-10 株式会社ニコン 顕微鏡システム
CN100454078C (zh) * 2006-06-22 2009-01-21 北京普利生仪器有限公司 一种全息数字化切片的显微图像制作方法
JP2008096582A (ja) * 2006-10-10 2008-04-24 Nikon Corp カメラ
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP5498129B2 (ja) * 2009-11-09 2014-05-21 オリンパス株式会社 バーチャル顕微鏡システム
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP2012060394A (ja) * 2010-09-08 2012-03-22 Canon Inc 画像取得装置
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
JP5825808B2 (ja) * 2011-03-18 2015-12-02 キヤノン株式会社 撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811650A (zh) * 2014-01-26 2015-07-29 吴健辉 一种图像采集系统
CN105160625A (zh) * 2015-07-17 2015-12-16 天脉聚源（北京）科技有限公司 图像拼字的方法和装置
US11226476B2 (en) 2016-09-30 2022-01-18 Olympus Corporation Specimen observation apparatus
US11460682B2 (en) 2017-05-29 2022-10-04 Evident Corporation Observation device
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2020152860A1 (ja) * 2019-01-25 2021-12-23 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
JP7174318B2 (ja) 2019-01-25 2022-11-17 株式会社エビデント 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2013100025A9 (ja) 2014-05-30
CN104011581A (zh) 2014-08-27
KR20140103171A (ko) 2014-08-25
US20140015954A1 (en) 2014-01-16
DE112012005481T5 (de) 2014-09-04
US8947519B2 (en) 2015-02-03
WO2013100025A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
WO2013100025A1 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP6124543B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP6091137B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
WO2013100026A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP2014071207A (ja) 画像処理装置、撮像システム、画像処理システム
JP2014130221A (ja) 画像処理装置、その制御方法、画像処理システム、及びプログラム
JP2013200640A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
US20160042122A1 (en) Image processing method and image processing apparatus
WO2013100029A1 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP5832281B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2016038542A (ja) 画像処理方法および画像処理装置
JP6338730B2 (ja) 表示データを生成する装置、方法、及びプログラム
JP2013250400A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2013250574A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2016038541A (ja) 画像処理方法および画像処理装置