JP5561027B2 - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

情報処理装置、情報処理方法及びそのプログラム Download PDF

Info

Publication number
JP5561027B2
JP5561027B2 JP2010189614A JP2010189614A JP5561027B2 JP 5561027 B2 JP5561027 B2 JP 5561027B2 JP 2010189614 A JP2010189614 A JP 2010189614A JP 2010189614 A JP2010189614 A JP 2010189614A JP 5561027 B2 JP5561027 B2 JP 5561027B2
Authority
JP
Japan
Prior art keywords
annotation
image
unit
display
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010189614A
Other languages
English (en)
Other versions
JP2011133849A (ja
Inventor
雅士 木元
重篤 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010189614A priority Critical patent/JP5561027B2/ja
Priority to US12/899,726 priority patent/US9684940B2/en
Priority to KR1020100116192A priority patent/KR20110060818A/ko
Priority to CN2010105573410A priority patent/CN102081701A/zh
Priority to EP10014913.7A priority patent/EP2362343B1/en
Publication of JP2011133849A publication Critical patent/JP2011133849A/ja
Application granted granted Critical
Publication of JP5561027B2 publication Critical patent/JP5561027B2/ja
Priority to US15/603,027 priority patent/US10121219B2/en
Priority to US16/107,400 priority patent/US10535112B2/en
Priority to US16/741,241 priority patent/US11164277B2/en
Priority to US17/475,755 priority patent/US11615503B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像データの表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。
医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。
また、特許文献２に記載のシステムでは、このような画像の任意の箇所、例えば、疾患があるおそれのある部位に位置情報を設定し、この位置情報に内容情報を関連付ける。このシステムは、位置情報をマークとして画像とともに表示し、表示したマークに対するマウス等の入力装置を用いた選択操作を受け付け、関連付けられて登録された内容情報をコメントとして表示する（例えば、特許文献２の段落［００２７］、図５参照）。このように、画像に位置情報や内容情報を関連付け、これら位置情報や内容情報を視覚的に合成した画像を表示する機能は、「アノテーション機能」と呼ばれる。
ところで近年、１つの観察対象物の顕微鏡の光軸方向における異なる複数の位置の画像データを光軸方向順に連続的に表示可能な装置が提案されている（例えば、特許文献３の段落［００２３］、図３参照）。ここで、１つの観察対象物の顕微鏡の光軸方向における異なる複数の位置の画像データのセットは、Z-stackとよばれる。このような装置によれば、光軸方向における異なる複数の位置の画像を光軸方向順に連続的に表示することで、あたかも顕微鏡のフォーカスを切り替えながら画像を観察しているような機能を提供することができる。
特開２００９−３７２５０号公報 特開２０００−１４８８９５号公報 特表２００８−５００６４３号公報
Z-stack中にアノテーションに関する位置情報が設定されている画像と設定されていない画像とが混在している場合、連続表示においては、アノテーションの位置情報が視覚的に合成されたマークを含む画像と含まない画像とが混在して表示画面に表示されることとなる。この結果として、観察者がマークを見落とし、ひいては疾患を見落とすおそれがある。たとえば、連続表示において観察者が画像を切り替える速度によっては、途中の画像にマークが含まれているのにも拘わらずそれを見逃すような場合などが考えられる。
以上のような事情に鑑み、本発明の目的は、観察者がアノテーションの見落としを防止できるようにするための情報処理装置、情報処理方法及びそのプログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、設定部と、入力部と、処理部と、表示部とを有する。
上記設定部は、顕微鏡によりそれぞれ撮像され、１つの観察対象物の上記顕微鏡の光軸方向における異なる複数の位置の画像データのうち、１以上の画像データに対するアノテーションに関する位置情報の設定を利用者より受け付ける。
上記入力部は、1つの画像データを選択させる。
上記処理部は、上記選択された画像データに上記設定部により設定された１以上の画像データに対するアノテーションに関する位置情報を視覚的に反映したアノテーション表示情報を合成する。
上記表示部は、上記アノテーション表示情報が合成された画像データを表示する。
これにより、アノテーションに関する位置情報が設定されていない画像に、他の画像に設定されたアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。また、アノテーションを表示したまま光軸方向での位置を変更して異なる複数の層の画像を表示することで、利用者は、アノテーションを見落とすことなく観察等を行うことができる。すなわち、複数の画像中にアノテーションに関する位置情報が設定されている画像と設定されていない画像とが混在している場合でも、アノテーションが設定されていない画像にもアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。
上記設定部は、上記顕微鏡によりそれぞれ異なる複数のフォーカスで得られた１つの観察対象物の複数の画像データのうち、１以上の画像データに対するアノテーションに関する位置情報の設定を利用者より受け付けてもよい。
これにより、顕微鏡の光軸方向に観察対象物の組織や細胞の形状等が異なる場合であっても、光軸方向にてそれぞれ設定された複数のアノテーションに関する位置情報を１つの画像に視覚的に合成して表示することができる。
上記処理部は、各画像データ毎に設定されたアノテーションを視覚的に識別可能な表示情報を合成してもよい。
上記処理部は、各画像データ毎に設定されたアノテーションを各画像データの光軸方向の位置関係を反映した形態で識別可能な表示情報を合成してもよい。
これにより、アノテーションに関する位置情報が、各画像の光軸方向の位置関係を反映した形態で識別可能に視覚的に合成されて表示画面に表示されるので、利用者は、アノテーションを目安に表示する画像の光軸方向の位置を選定することができる。
上記情報処理装置は、上記表示部により表示されたアノテーションに対する利用者からの選択を受け付ける選択部をさらに有してもよい。
上記処理部は、上記選択されたアノテーションが設定された画像データの表示に切り替えてもよい。
これにより、アノテーションに対する選択操作を通して、選択されたアノテーションが設定された画像へと表示を切り替えることができる。また、アノテーションが設定された複数の画像間で表示の切り替えを繰り返し行うことで、異なる複数の層の画像を交互に表示したりすることができる。これにより、病理医等の利用者がより慎重に疾患について検討することができるようになる。
上記処理部は、上記選択されたアノテーションの位置を基準として、上記画像データの表示領域を決定してもよい。
これにより、アノテーションの位置を基準として所望の領域の画像を表示することができるので、利用者はアノテーションが付された部位の近傍の部位を観察し易くなる。
上記処理部は、上記選択されたアノテーションの内容情報を視覚的に反映した表示情報を合成してもよい。
これにより、アノテーションを可読的に表示することができる。この結果、例えば、過去に注目した部位の内容情報を表示しての検査や診断や、ある利用者が設定した内容情報の別の利用者による閲覧が容易になる。
本発明の一形態に係る情報処理方法は、設定部が、顕微鏡によりそれぞれ撮像され、１つの観察対象物の上記顕微鏡の光軸方向における異なる複数の位置の画像データのうち、１以上の画像データに対するアノテーションに関する位置情報の設定を利用者より受け付ける。
入力部が、1つの画像データを選択させる。
処理部が、上記選択された画像データに上記設定部により設定された１以上の画像データに対するアノテーションに関する位置情報を視覚的に反映したアノテーション表示情報を合成する。
表示部が、上記アノテーション表示情報が合成された画像データを表示する。
これにより、アノテーションに関する位置情報が設定されていない画像に、他の画像に設定されたアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。また、アノテーションを表示したまま光軸方向での位置を変更して異なる複数の層の画像を表示することで、利用者は、アノテーションを見落とすことなく観察等を行うことができる。すなわち、複数の画像中にアノテーションに関する位置情報が設定されている画像と設定されていない画像とが混在している場合でも、アノテーションが設定されていない画像にもアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。
本発明の一形態に係るプログラムは、設定部と、入力部と、処理部と、表示部としてコンピュータを機能させる。
上記設定部は、顕微鏡によりそれぞれ撮像され、１つの観察対象物の上記顕微鏡の光軸方向における異なる複数の位置の画像データのうち、１以上の画像データに対するアノテーションに関する位置情報の設定を利用者より受け付ける。
上記入力部は、1つの画像データを選択させる。
上記処理部は、上記選択された画像データに上記設定部により設定された１以上の画像データに対するアノテーションに関する位置情報を視覚的に反映したアノテーション表示情報を合成する。
上記表示部は、上記アノテーション表示情報が合成された画像データを表示する。
これにより、アノテーションに関する位置情報が設定されていない画像に、他の画像に設定されたアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。また、アノテーションを表示したまま光軸方向での位置を変更して異なる複数の層の画像を表示することで、利用者は、アノテーションを見落とすことなく観察等を行うことができる。すなわち、複数の画像中にアノテーションに関する位置情報が設定されている画像と設定されていない画像とが混在している場合でも、アノテーションが設定されていない画像にもアノテーションに関する位置情報が視覚的に合成されて表示画面に表示されるので、観察者のアノテーションの見落としを防止できる。
本発明の情報処理装置、情報処理方法及びそのプログラムによれば、観察者がアノテーションの見落としを防止できるようにすることができる。
本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。 画像の表示原理を説明するための画像ピラミッド構造を示す図である。 図２の画像ピラミッド構造の画像群を生成するときの手順を説明するための図である。 情報処理装置を示す機能ブロック図である。 管理テーブルを示す図である。 アノテーションマーク表示の動作を示すフローチャートである。 アノテーションマーク表示の表示例を示す図である。 アノテーションコメント表示の表示例を示す図である。 ジャンプ表示の動作を示すフローチャートである。 ジャンプ表示の表示例を示す図である。 変形例に係るジャンプ表示の動作を示すフローチャートである。 アノテーションコメント表示の動作を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
[情報処理装置の構成]
図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
入力部１０７は、例えばポインディングデバイス、キーボード、タッチパネルその他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。あるいは入力部１０７は、ＰＣに接続されたダイヤル式つまみを備えた入力装置である。
記憶部１０８は、不揮発性メモリであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
次に、図示しない光学顕微鏡により得られた画像であって、ＰＣ１００の主に記憶部１０８に記憶される画像及びその表示原理について説明する。図２は、図示しない光学顕微鏡により得られた画像データであって、ＰＣ１００の主に記憶部１０８に記憶される画像データについて説明する図である。
本実施形態における画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図３参照）から得られる、同一の画像について、異なる複数の解像度により生成された画像群である。この画像は、光学顕微鏡によりそれぞれ異なる複数のフォーカスで得られた１つの観察対象物の複数の画像データである。これは、いわゆるZ-stackと呼ばれ、観察対象物１５の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。上記スキャナ装置はこのZ-stack機能を有し、５〜１０層あるいは１０〜３０層程度の画像が生成される。以下、複数の画像のうち１つの画像の画像ピラミッド構造５０について代表して説明する。
図２に示すように、光学顕微鏡により１つの観察対象物１５（図３参照）から得られる画像データは、画像ピラミッド構造にて保存されて管理される。画像ピラミッド構造とは、元の画像データから解像度を段階的に下げた複数の解像度の画像データを階層状に設定したものである。各階層の画像データはそれぞれ「タイル」と呼ばれる所定の解像度の領域に分割され、表示する画像の表示領域の移動、画像の拡大／縮小等の操作時に、必要なタイルを保存元から表示バッファにロードすることによって、高速な操作が可能になる。なお、１つのタイルの解像度は例えば２５６×２５６（pixel）、あるいは２５６×５１２（pixel）などである。
ここで、図２の画像ピラミッド構造はＮ層で構成されるものとし、それぞれ下から第Ｎ層目、第Ｎ−１層目、第Ｎ−２層目、・・・、第０層目とする。それぞれのタイルの数は２Ｎ×２Ｎ、２Ｎ−１×２Ｎ−１、２Ｎ−２×２Ｎ−２、・・・、１である。
つまり、同じ表示部１０６が、これらの画像を例えば１００％でそれぞれ表示（それらの画像のピクセル数と同じ物理的なドット数でそれぞれ表示）すると、最も大きいサイズの画像が最も大きく表示され、最も小さいサイズの画像が最も小さく表示画面に表示される。ここで、図２では、その表示部１０６の表示範囲をＤとして示している。
図３は、この画像ピラミッド構造５０の画像群を生成するときの手順を説明するための図である。
まず、図示しない光学顕微鏡により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図２で示した画像ピラミッド構造５０の最下の画像である最も大きいサイズの画像に相当し、つまり最も高い解像度の画像となる。したがって、画像ピラミッド構造５０の最下の画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。
なお、病理の分野一般においては、生体の臓器、組織、細胞、又はこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置又はその他の記憶装置に記憶される。
このスキャナ装置又は図示しない汎用コンピュータは、図３に示すように、上記のように得られた最も大きいサイズの画像から、段階的に解像度を小さくした複数の画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０がＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。なお、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。
ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、利用者の入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０から所望の画像を抽出し、これを表示部１０６に出力する。具体的には、ＰＣ１００は、利用者により選択された任意の解像度の画像のうちの、利用者により選択された任意の部位の画像を表示する。このような処理により、利用者は、観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００は仮想顕微鏡として機能する。ここでの観察倍率は、実際には解像度に相当する。
［情報処理装置の機能部の構成］
図４は、ＰＣ１００を示す機能ブロック図である。
ＰＣ１００は、アノテーション機能を実現可能である。ここで、アノテーション機能とは、画像の任意の箇所、例えば、疾患があるおそれのある部位に位置情報や内容情報を関連付け、これら位置情報や内容情報を視覚的に合成した画像を表示する機能をいう。また、画像に位置情報が視覚的に合成されて表示されたマークを、アノテーションマークと記述する。画像に内容情報が可読的に合成されて表示されたコメントを、アノテーションコメントと記述する。
ＰＣ１００は、画像取得部５０１と、画像保存部５０２と、アノテーション設定部５０３（設定部）と、テーブル保存部５０４と、画像処理部５０５（処理部）と、選択アノテーション判定部５０６（選択部）と、表示部１０６と、入力部１０７とを有する。これら各機能部は、ＲＡM１０３にロードされたプログラムに基き、コンピュータ資源において実現される。
画像取得部５０１（取得部）は、例えば、ネットワークを通じて画像を取得し又はリムーバブルの記録媒体１１１に記録された画像を取得し、画像保存部５０２に保存する。画像保存部５０２は、記憶部１０８又はリムーバブルの記録媒体１１１等に設定される。
アノテーション設定部５０３（設定部）は、利用者から表示画面に表示する画像の表示範囲（例えば、所定の１タイル）、Z-stackの層番号すなわち光軸方向における位置等を選択させてその結果を受け付ける。アノテーション設定部５０３は、選択結果を受け付けると、テーブル保存部５０４に、当該画像の表示範囲に対応する管理テーブル（図５に示す。）を作成する。テーブル保存部５０４は、ＲＡM１０３に設定される。次に、アノテーション設定部５０３は、当該表示範囲が含まれる画像の層の位置を示す１〜Ｎの値を、テーブル保存部５０４に作成された管理テーブルにＺ番号の値として登録する。アノテーション設定部５０３は、利用者が入力部１０７を用いて設定するアノテーション位置情報及びアノテーション内容情報をＺ番号の値に関連付けて管理テーブルに登録する。このように、所定の層の画像にアノテーションを設定する動作については、後で「アノテーション設定の動作」として説明する。
入力部１０７を用いて、利用者は各種の命令やデータの入力を行う。例えば、利用者は、入力部１０７のダイヤル式つまみを回転させることにより、表示する画像の層を変更することができる。例えば、利用者は、入力部１０７のダイヤル式つまみを回転することで、異なる層の画像を表示画面に表示させることができる。これにより利用者はあたかも実際の顕微鏡のフォーカスダイヤルを回してフォーカス変更をしているように、表示する画像の層を変更しながら観察を行うことができる。また、利用者は、表示画面に表示されたアノテーションマークを、入力部１０７を用いて選択することにより、そのアノテーションが設定された層の画像を表示画面に表示させたり、そのアノテーションに関する内容情報としてのコメントを表示画面に表示させたりすることができる。
画像処理部５０５（処理部）は、Ｚスルー表示モードの設定のオン／オフを利用者に選択させてその結果を受け付ける。「Ｚスルー表示モード」とは、光軸方向における異なる複数の層の画像に設定された全てのアノテーションマークを表示するモードをいうものとする。画像処理部５０５は、また、利用者から入力部１０７を用いて入力される、表示する画像の層の変更の命令を受け、この命令に基き、画像保存部５０２に保存された画像データや、テーブル保存部５０４に保存されたアノテーション位置情報を取得する。画像処理部５０５は、画像保存部５０２より取得した画像データに、アノテーション位置情報を視覚的に反映したアノテーションマークを合成し、合成した表示情報を表示用バッファに展開する。これにより、アノテーションマークを含む画像が表示画面に表示される。このように、アノテーションマークを含む画像を表示する動作については、後で「アノテーションマーク表示の動作」として説明する。
選択アノテーション判定部５０６（選択部）は、利用者から入力部１０７を用いて入力される、ジャンプ表示の命令及びアノテーションコメントを表示する命令を受け付ける。ここで、各命令の入力は、例えば、表示画面に表示された画像に含まれるアノテーションマークに囲われた領域にカーソルが表示された状態で、利用者が入力部１０７のマウスを所定回数クリックする等の操作などによって行うようにしてもよい。選択アノテーション判定部５０６は、ジャンプ表示の命令及びアノテーションコメントを表示する命令を受け付けると、選択されたアノテーションのアノテーション位置情報を含む検出結果を画像処理部５０５に通知する。
画像処理部５０５は、さらに、選択アノテーション判定部５０６から受け付けたジャンプ表示の命令に基き、表示する画像の層を変更する。このように、ジャンプ表示の命令に基いて表示する画像の層を変更する動作については、後で「ジャンプ表示の動作」として説明する。選択アノテーション判定部５０６から受け付けたアノテーションコメント表示の命令に基き、表示する画像にアノテーションコメントを合成する。このように、アノテーションコメント表示の命令に基いてアノテーションコメントを合成する動作については、後で「アノテーションコメント表示」の動作として説明する。
［情報処理装置の動作］
次に、ＰＣ１００の動作を説明する。動作の説明は以下の順で行うものとする。
（１）アノテーション設定の動作
（２）アノテーションマーク表示の動作
（３）ジャンプ表示の動作
（４）ジャンプ表示の動作の変形例
（５）アノテーションコメント表示の動作
［（１）アノテーション設定の動作］
まず、アノテーション設定の動作について説明する。
画像取得部５０１は、例えば、ネットワークを通じて画像を取得し又はリムーバブルの記録媒体１１１に記録された画像を取得し、画像保存部５０２に保存する。
アノテーション設定部５０３は、利用者から表示画面に表示する画像の表示範囲（例えば、所定の１タイル）、Z-stackの層番号すなわち光軸方向における位置等を選択させてその結果を受け付ける。アノテーション設定部５０３は、選択結果を受け付けると、テーブル保存部５０４に、当該画像の表示範囲に対応する管理テーブル５０４ａを作成する。次に、アノテーション設定部５０３は、図５に示すように、当該表示範囲が含まれる画像の層の位置を示す１〜Ｎの値を、テーブル保存部５０４に作成された管理テーブル５０４ａにＺ番号５０４ｄの値として登録する。なお、同図に示す管理テーブル５０４ａには、Ｚ番号５０４ｄの値として１〜５が登録されるものとする。
そして、アノテーション設定部５０３は、受け付けた選択結果に含まれる表示範囲に関する情報及びＺ番号の値を画像処理部５０５に通知する。画像処理部５０５は、この通知に含まれる表示範囲に関する情報及びＺ番号の値をもとに、画像保存部５０２より画像データを取得して表示情報を作成し、表示用バッファに展開する。表示用バッファに保持された表示情報は表示部１０６に供給される。表示部１０６は、供給された表示情報をもとに表示画面に画像を表示する。
利用者は、入力部１０７のマウスやキーボードを用いて、表示された画像内の任意の部位に対してアノテーションの設定を行うことができる。より具体的には、利用者は任意の部位の位置情報をアノテーション位置情報として設定する。アノテーション設定部５０３は、利用者からのアノテーション位置情報の設定の入力を受け付ける。そして、アノテーション設定部５０３は、入力部１０７より受け付けたアノテーション位置情報をアノテーション位置情報５０４ｂとして、Ｚ番号５０４ｄの値に関連付けて管理テーブル５０４ａに登録する。
そして、アノテーション設定部５０３は、登録したアノテーション位置情報を画像処理部５０５に通知する。画像処理部５０５は、この通知に含まれるアノテーション位置情報をもとに、現在表示画面に表示されている画像Ｇ１に、そのアノテーション位置情報を視覚的に反映した表示情報であるアノテーションマークを合成する。ここで、アノテーションマークは、例えば、決められた形の枠等、アノテーションが設定された部位であることを視覚的に認識可能な表示情報であれば何でもよい。画像処理部５０５は、合成した表示情報（アノテーションマークを含む画像データ）を表示用バッファに展開する。表示用バッファに展開された表示情報は表示部１０６に供給される。これにより、表示部１０６の画面にアノテーションマークを含む画像が表示画面に表示される。
利用者は、設定したアノテーションに対して、入力部１０７のマウスやキーボードを用いて、そのアノテーションに関する内容情報を登録することができる。アノテーションに関する内容情報とは、例えば、アノテーションに関する利用者のコメントなどである。アノテーション設定部５０３は、入力部１０７より入力されたアノテーションの内容情報をアノテーション内容情報５０４ｃとして、Ｚ番号５０４ｄの値に関連付けて管理テーブル５０４ａに登録する。
さらに、利用者は、入力部１０７のマウスやキーボードの操作により、他の層の画像を表示させ、新たに表示された画像の任意の部位に対してアノテーションの設定を行うことも可能である。
［（２）アノテーションマーク表示の動作］
次に、アノテーションマーク表示の動作について説明する。
図６は、アノテーションマーク表示の動作を示すフローチャートである。
前提として、（１）のアノテーション設定の動作により管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに対応付けられた表示範囲のZ-stackのセットのうち、所定のＺ番号の値により特定される層の画像が表示部１０６の表示画面に表示されるものとする。なお、この画像はアノテーションマークを含む場合がある。すなわち、管理テーブル５０４ａにこの画像のＺ番号の値に関連付けられてアノテーション位置情報が登録されている場合、このアノテーション位置情報をもとに生成されたアノテーションマークを含む画像が表示画面に表示される。一方、管理テーブル５０４ａにこの画像のＺ番号の値に関連付けられてアノテーション位置情報が登録されていない場合は、アノテーションマークを含まない画像が表示画面に表示される。
以上のようにアノテーションマークを含む又は含まない画像が表示部１０６の表示画面に表示されている状態において、画像処理部５０５は、利用者から入力部１０７を用いて入力される表示する画像の層を変更する命令（以下「フォーカス変更命令」と記述する。）の発生を監視している（ステップＳ１０１）。ここで、フォーカス変更命令の入力は、例えば、ＰＣ１００に接続されたダイヤル式つまみを備えた入力装置の操作などによって行うようにしてもよい。このようにダイヤル式つまみを備えた入力装置を用いれば、利用者はあたかも実際の顕微鏡のフォーカスダイヤルを回してフォーカス変更をしているように、表示する画像の層を変更しながら観察を行うことができる。
画像処理部５０５は、フォーカス変更命令を受けると（ステップＳ１０２でＹｅｓ）、Ｚスルー表示モードの設定の有無を判定する（ステップＳ１０３）。Ｚスルー表示モードは、予め利用者によって設定されていてもよい。あるいは、利用者がフォーカス変更命令を入力する際にＺスルー表示モードの設定を行うようにしてもよい。
ここでは、まずＺスルー表示モードが設定されていない場合（ステップＳ１０３でＮｏ）を説明する。
画像処理部５０５は、入力部１０７からのフォーカス変更命令に含まれるパラメータ情報、例えば、ダイヤル式つまみの回転量、回転速度、回転方向等をもとに、フォーカス変更先のＺ番号の値"ｉ"を算出する（ステップＳ１０４）。画像処理部５０５は、このＺ番号の値"ｉ"により特定される層の画像データを画像保存部５０２より取得する（ステップＳ１０５）。続いて、画像処理部５０５は、管理テーブル５０４ａにＺ番号の値"ｉ"に関連付けられて登録されたアノテーション位置情報の有無を調べる（ステップＳ１０６）。アノテーション位置情報が存在する場合（ステップＳ１０６のＹｅｓ）、画像処理部５０５は、そのアノテーション位置情報を視覚的に反映したアノテーションマークを、画像保存部５０２より取得した画像データに合成し、合成した表示情報を表示用バッファに展開する。これによりＺ番号の値"ｉ"に対応する層のアノテーションマークを含む画像が表示画面に表示される（ステップＳ１０７）。この後、画像処理部５０５は、利用者から入力部１０７を用いて入力される、フォーカス変更命令の発生を監視する状態に戻る（ステップＳ１０１）。
なお、画像処理部５０５は、管理テーブル５０４ａにＺ番号の値"ｉ"に関連付けられて登録されたアノテーション位置情報が存在しない場合には（ステップＳ１０６のＮｏ）、画像データのみを表示用バッファに展開する。これにより、アノテーションマークを含まない画像が表示部１０６の表示画面に表示される（ステップＳ１０８）。この後、画像処理部５０５は、フォーカス変更命令の発生を監視する状態に戻る（ステップＳ１０１）。
次に、Ｚスルー表示モードの設定されている場合（ステップＳ１０３でＹｅｓ）を説明する。
画像処理部５０５は、Ｚスルー表示モードが設定されていることを判定すると、まず、入力部１０７からのフォーカス変更命令に含まれる上記パラメータ情報をもとに、フォーカス変更先のＺ番号の値"ｉ"を算出するとともに、Z-stackにおいて検索が完了した層の数を示す変数である"ｃ"に初期値である"０"をセットする（ステップＳ１０９）。次に、画像処理部５０５は、フォーカス変更先のＺ番号の値"ｉ"により特定される層の画像データを画像保存部５０２より取得する（ステップＳ１１０）。続いて、画像処理部５０５は、管理テーブル５０４ａにＺ番号の値"ｉ"に関連付けられて登録されたアノテーション位置情報の有無を調べる（ステップＳ１１１）。アノテーション位置情報が存在する場合（ステップＳ１１１のＹｅｓ）、画像処理部５０５は、そのアノテーション位置情報を視覚的に反映したアノテーションマークを画像保存部５０２より取得した画像データに合成し、合成した表示情報を表示用バッファに展開する。これによりＺ番号の値"ｉ"に対応する層のアノテーションマークを含む画像が表示画面に表示される（ステップＳ１１２）。この後、ステップＳ１１３へ進む。また、アノテーション位置情報が存在しない場合は（ステップＳ１１１のＮｏ）、アノテーションマークの合成処理はスキップされてステップＳ１１３へ進む。
ステップＳ１１３では、画像処理部５０５は"ｃ"の値をインクリメントする。この後、画像処理部５０５は、Z-stackの全ての層についてステップＳ１０５でのアノテーション位置情報の検索が完了したかどうかを判定する。すなわち、画像処理部５０５は、Z-stackの全層数を"ｚ"として、ｃ＝ｚの条件が成立したかどうかを判定する（ステップＳ１１４）。ｃ＝ｚの条件が成立しない場合（ステップＳ１１４のＮｏ）、画像処理部５０５は、Ｚ番号の値"ｉ"をインクリメントする（ステップＳ１１５）。続いて、画像処理部５０５は、インクリメントして得られたＺ番号の値"ｉ＝ｉ＋１"が"ｚ"を超えているかどうかを調べる（ステップＳ１１６）。ここでは、"ｉ＝ｉ＋１"が"ｚ"を超えていない場合を想定して説明を続けることとする。この場合、画像処理部５０５は、ステップＳ１１１に戻り、インクリメントして得られたＺ番号の値"ｉ＋１"に関連付けられて登録されたアノテーション位置情報の有無を調べる。画像処理部５０５は、アノテーション位置情報が存在するならば、そのアノテーション位置情報を視覚的に反映したアノテーションマークを、これまでに合成された表示情報にさらに合成する（ステップＳ１１２）。また、フォーカス変更先のＺ番号の値が"１"より大きい値であった場合には、Z-stackの全ての層についてアノテーション位置情報の検索が完了する以前に、ステップＳ１１６で"ｉ＝ｉ＋１"が"ｚ"より大きくなる（ステップＳ１１６のＹｅｓ）。この場合には画像処理部５０５は、Ｚ番号の値"ｉ"を"１"にセットした後（ステップＳ１１７）、このＺ番号の値"１"に関連付けられて登録されたアノテーション位置情報が存在すれば、そのアノテーション位置情報を視覚的に反映したアノテーションマークを、これまでに合成された表示情報にさらに合成する（ステップＳ１１２）。結果的に、上記ステップＳ１１１とステップＳ１１２の処理はｚ回数繰り返されることによって、Z-stackにおいて設定されたすべてのアノテーションについてのアノテーションマークがＺスルー表示される。この後、画像処理部５０５は、再び、利用者から入力部１０７を用いて入力されるフォーカス変更命令の発生を監視する状態に戻る（ステップＳ１０１）。
ここで、本フローについての具体例を説明する。前提として、予め利用者によってＺスルー表示モードが設定されるものとする。また、（１）のアノテーション設定の動作により図５の管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに登録されたＺ番号の値"ｉ＝１"により特定される層の画像Ｇ１に、Ｚ番号の値"ｉ＝１"に関連付けられて登録されたアノテーション位置情報を視覚的に反映したアノテーションマークＡ１、Ｚ番号の値"ｉ＝３"に関連付けられて登録されたアノテーション位置情報を視覚的に反映したアノテーションマークＡ３、Ｚ番号の値"ｉ＝５"に関連付けられて登録されたアノテーション位置情報を視覚的に反映したアノテーションマークＡ５が合成されて表示画面に表示されるものとする（図７Ａ）。そして、この状態から、フォーカス変更命令として"次の層へのフォーカス変更"が利用者より入力されるものとする。
この場合、画像処理部５０５は、入力部１０７からの"次の層へのフォーカス変更"の命令をもとに、フォーカス変更先のＺ番号の値"ｉ＝２"を算出する。画像処理部５０５は、算出したＺ番号の値"ｉ＝２"により特定される層の画像データを画像保存部５０２より取得する。続いて、画像処理部５０５は、次に表示する画像のＺ番号の値"ｉ＝２"に関連付けられて管理テーブル５０４ａに登録されたアノテーション位置情報が存在しないので、アノテーションマークの合成処理をスキップする。この後、画像処理部５０５は、Ｚ番号の値"ｉ＝２"をインクリメントし、得られたＺ番号の値"ｉ＝３"に関連付けられて管理テーブル５０４ａに登録されたアノテーション位置情報が存在するので、このアノテーション位置情報を視覚的に反映したアノテーションマークＡ３を、画像データに合成し、合成した表示情報を表示用バッファに展開する。これによりアノテーションマークＡ３を含む画像が表示画面に表示される（図７Ｂ）。
この後も同様に、画像処理部５０５は、Ｚ番号の値"ｉ"を"４"、"５"、"１"の順に変更して、その都度、変更後のＺ番号の値"ｉ"に関連付けられて管理テーブル５０４ａに登録されたアノテーション位置情報を視覚的に反映したアノテーションマークを、これまでに合成された画像データにさらに合成する。そして、画像処理部５０５は、この合成した表示情報を表示用バッファに展開する。これにより、表示されるアノテーションマークが１つずつ増加していくような形態で、アノテーションマークを含む画像が表示画面にＺスルー表示される（図７Ｃ、図７Ｄ）。このようにすべてのアノテーションマークの表示が完了した後、画像処理部５０５は、利用者から入力部１０７を用いて入力されるフォーカス変更命令の発生を監視する状態に戻る。
Ｚスルー表示モードによれば、顕微鏡の光軸方向に観察対象物の組織や細胞の形状等が異なる場合であっても、異なる複数の層の画像にそれぞれ設定された複数のアノテーションを１つの画像に合成して表示することができる。これにより、Z-stack中にアノテーションが設定されている画像と設定されていない画像とが混在している場合でも、アノテーションが設定されていない画像にもアノテーションマークを表示することができるので、表示する画像を切り替える速度によらず、途中の画像にアノテーションマークが含まれているのにも拘わらずそれを見逃すことを防止することができる。また、複数のアノテーションマークを参照しながら病理医等の利用者がより慎重に疾患について検討することができるようになり、疾患を見落とすおそれが低減する。
なお、上記の説明では、画像処理部５０５は、管理テーブル５０４ａに登録された全てのアノテーション位置情報を視覚的に反映したアノテーションマークを画像に合成したが、これに限定されない。画像処理部５０５は、管理テーブル５０４ａに登録された全てのアノテーション位置情報のうちの一部のアノテーション位置情報を視覚的に反映したアノテーションマークを画像に合成してもよい。これにより、ある層の画像を表示画面に表示する場合、異なる層に設定されたアノテーション位置情報を視覚的に反映したアノテーションマークをこの画像に合成することができる。これにより、表示する画像の層を変更した場合であっても、別の層に設定されたアノテーションマークを含む画像を表示することが可能となる。これにより、利用者がアノテーションマークを見失うことを防止することができる。
また、画像処理部５０５は、Ｚスルー表示モードが設定されている場合、アノテーションが設定された各画像の層の位置関係を反映した形態で画像にアノテーションマークを合成してもよい。これにより、アノテーションが設定された画像の層と、表示する層との光軸方向での位置関係を利用者に直感的に提示することができる。
具体的には、画像処理部５０５は、ステップＳ１０５で、表示する画像の層を特定するＺ番号の値と、管理テーブル５０４ａに表示するアノテーションマークのアノテーション位置情報が関連付けられて登録されたＺ番号の値との差を算出する。Ｚ番号の値として、画像の層の位置を示す１〜Ｎの値が管理テーブル５０４ａに登録されているので、Ｚ番号の値の差が小さいほど層間の距離が小さく、大きいほど層間の距離が大きいこととなる。Ｚ番号の値の差に応じてアノテーションマークの表示の形態を変更することで、アノテーションが設定された画像の層と、表示する画像の層との光軸方向での位置関係を反映した形態で、アノテーションマークを識別可能に表示することができる。例えば、画像処理部５０５は、Ｚ番号の値の差に応じてアノテーションマークの色、輝度、彩度、αブレンド値、線幅、線種等を変更することで、アノテーションが設定された画像の層と、表示する画像の層との光軸方向での位置関係を利用者に直感的に提示することができる。具体的には、Ｚ番号の値の差が大きくなるほどアノテーションマークの色を淡くしてもよい。あるいは、Ｚ番号の値の差が大きくなるほどアノテーションマークの線幅を細くしてもよい。あるいは、Ｚ番号の値の差が大きくなるほどアノテーションマークをぼかしてもよい。あるいは、Ｚ番号の値の差が大きくなるほどαブレンド値を下げてアノテーションマークの透明度を高くしてもよい。このような合成処理により、表示される画像の層とアノテーションマークを含む画像の層との位置関係を利用者が直感的に理解することができる。
このように、アノテーションマークが各画像の光軸方向の位置関係を反映した形態で識別可能に表示画面に表示されるので、利用者は表示画面に表示される画像の層とアノテーションマークを含む画像の層との位置関係を直感的に理解することができる。また、利用者は、アノテーションマークを目安として表示する画像を選定することができる。例えば複数のアノテーションマークを含む画像が表示されている場合において、利用者が、そのうち１つのアノテーションが設定された層の画像を表示したいとする。利用者は、アノテーションの形態の変化に注目しながら表示する画像の層を入力部１０７を用いて選択することができるので、容易且つ確実に所望の層の画像に変更することができる。これにより、病理医等の利用者が疾患を見落とすおそれが低減する。
［（３）ジャンプ表示の動作］
次に、ジャンプ表示の動作について説明する。
図９は、ジャンプ表示の動作を示すフローチャートである。
前提として、予め利用者によってＺスルー表示モードが設定されるものとする。また、（１）のアノテーション設定の動作により管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに対応付けられた表示範囲のZ-stackのセットのうち、所定のＺ番号の値により特定される層の画像が表示部１０６の表示画面に表示されるものとする。また、（２）のアノテーションマーク表示の動作により、異なる複数の層に設定されたアノテーションマークがＺスルー表示されるものとする。
以上のようにアノテーションマークを含む画像が表示画面に表示されている状態において、選択アノテーション判定部５０６は、利用者から入力部１０７を用いて入力される表示する画像の層を変更する命令（以下「ジャンプ表示命令」と記述する。）の発生を監視している（ステップＳ２０１）。ここで、ジャンプ表示命令の入力は、例えば、表示画面に表示された画像に含まれるアノテーションマークに囲われた領域にカーソルが表示された状態で、利用者が入力部１０７のマウスを所定回数クリックする等の操作などによって行うようにしてもよい。
選択アノテーション判定部５０６は、ジャンプ表示命令を受け付けると（ステップＳ２０２でＹｅｓ）、選択されたアノテーションのアノテーション位置情報を含む検出結果を画像処理部５０５に通知する（ステップＳ２０３）。
画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードの設定を解除する。そして、画像処理部５０５は、管理テーブル５０４ａにこの検出結果に含まれるアノテーション位置情報が関連付けられて登録されたＺ番号の値を取得する。画像処理部５０５は、Ｚ番号の値を取得すると、取得したＺ番号の値により特定される層の画像データを、次に表示する画像データとして画像保存部５０２から取得する。画像処理部５０５は、取得した画像データに、選択アノテーション判定部５０６より受けた検出結果に含まれるアノテーション位置情報を視覚的に反映したアノテーションマークを合成し、合成した表示情報を表示用バッファに展開する。これにより、アノテーションマークを含む画像が表示画面に表示される（ステップＳ２０４）。
ここで、本フローについての具体例を説明する。前提として、予め利用者によってＺスルー表示モードが設定されるものとする。また、（１）のアノテーション設定の動作により図５の管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに登録されたＺ番号の値"ｉ＝３"により特定される層の画像Ｇ３に、管理テーブル５０４ａに登録されたアノテーション位置情報を視覚的に反映したアノテーションマークＡ１、Ａ３、Ａ５が合成されて表示画面にＺスルー表示されるものとする。そして、この状態から、ジャンプ表示命令としてアノテーションマークＡ１が利用者より選択されるものとする。
この場合、画像処理部５０５は、ジャンプ表示命令を受け付け（ステップＳ２０２でＹｅｓ）、選択されたアノテーションマークＡ１のアノテーション位置情報を含む検出結果を画像処理部５０５に通知する（ステップＳ２０３）。画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードの設定を解除する。そして、画像処理部５０５は、管理テーブル５０４ａにこの検出結果に含まれるアノテーション位置情報が関連付けられて登録されたＺ番号の値"ｉ＝１"を取得する。画像処理部５０５は、Ｚ番号の値"ｉ＝１"を取得すると、取得したＺ番号の値"ｉ＝１"により特定される層の画像データを、次に表示する画像データとして画像保存部５０２から取得する。画像処理部５０５は、取得した画像データに、選択アノテーション判定部５０６より受けた検出結果に含まれるアノテーション位置情報を視覚的に反映したアノテーションマークＡ１を合成し、合成した表示情報を表示用バッファに展開する。これにより、図１０に示すようにアノテーションマークＡ１を含む画像Ｇ１が表示画面に表示される（ステップＳ２０４）。
ジャンプ表示の機能によれば、アノテーションマークに対する入力操作を通して、そのアノテーションが設定された画像へと表示を切り替えることができる。例えば、表示された層の画像に疾患がある可能性があるとき、異なる層の画像に表示を切り替えて、その疾患の有無を再確認したりすることができる。これにより、病理医等の利用者がより慎重に疾患について検討することができるようになり、疾患を見落とすおそれが低減する。
上記の説明では、ステップＳ２０４で画像処理部５０５は、Ｚスルー表示モードの設定を解除した。しかしながら、これに限定されない。画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードの設定を解除せずに、画像保存部５０２から取得した画像データにもともと表示されていた複数のアノテーションマークを合成し、その結果を表示用バッファに展開してもよい。なお、以下の説明において「Ｚスルー表示モードの設定を解除する」と記載する場合も同様である。
これにより、アノテーションが設定された異なる複数の層の画像間で表示の切り替えを繰り返し行うことができるので、異なる複数の層の画像を交互に表示することができる。例えば、表示された層の画像に疾患の可能性を発見したとき、異なる層の画像を表示してその疾患の有無を再確認し、その後再び最初に表示した層の画像を表示して改めて疾患の有無を確認したりすることができる。これにより、病理医等の利用者がより慎重に疾患について検討することができるようになり、疾患を見落とすおそれが低減する。
［（４）ジャンプ表示の動作の変形例］
次に、ジャンプ表示の動作の変形例について説明する。本変形例では、選択されたアノテーションマークが、表示画面に表示される画像の略中央に配置されるように表示処理が行われる。
図１１は、ジャンプ表示の動作の変形例を示すフローチャートである。
前提として、予め利用者によってＺスルー表示モードが設定されるものとする。また、（１）のアノテーション設定の動作により管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに対応付けられた表示範囲のZ-stackのセットのうち、所定のＺ番号の値により特定される層の画像が表示部１０６の表示画面に表示されるものとする。また、（２）のアノテーションマーク表示の動作により、複数のアノテーションマークがＺスルー表示されるものとする。
以上のようにアノテーションマークを含む画像が表示画面に表示されている状態において、選択アノテーション判定部５０６は、ステップＳ２０１〜ステップＳ２０３の処理を行う（ステップＳ３０１）。すなわち、アノテーションマークを含む画像が表示画面に表示されている状態において、選択アノテーション判定部５０６は、利用者から入力部１０７を用いて入力されるジャンプ表示命令の発生を監視している（ステップＳ２０１）。
選択アノテーション判定部５０６は、ジャンプ表示命令を受け付けると（ステップＳ２０２でＹｅｓ）、選択されたアノテーションのアノテーション位置情報を含む検出結果を画像処理部５０５に通知する（ステップＳ２０３）。
画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、この検出結果に含まれるアノテーション位置情報が関連付けられて管理テーブル５０４ａに登録されたＺ番号の値を取得する。
画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードの設定を解除する。そして、画像処理部５０５は、この検出結果に含まれるアノテーション位置情報を基準位置として、画像の表示範囲を決定する。具体的には、画像処理部５０５は、このアノテーション位置情報により特定されるアノテーションマークが略中央に表示されるような画像の、元画像内における表示範囲を決定する（ステップＳ３０２）。画像処理部５０５は、決定した表示範囲をアノテーション設定部５０３に通知する。アノテーション設定部５０３は、画像処理部５０５より受け付けた表示範囲に対応する管理テーブルを作成してテーブル保存部５０４に保存する（ステップＳ３０３）。
続いて、画像処理部５０５は、管理テーブルから取得したＺ番号の値と、ステップＳ３０２で算出した元画像内における表示範囲に関する位置情報とにより特定される層の画像データを、次に表示する画像データとして画像保存部５０２から取得する。画像処理部５０５は、取得した画像データに、選択アノテーション判定部５０６より受けた検出結果に含まれるアノテーション位置情報を視覚的に反映したアノテーションマークを合成し、合成した表示情報を表示用バッファに展開する。これにより、略中央にアノテーションマークが配置された画像が表示画面に表示される（ステップＳ３０４）
これにより、アノテーションマークの位置を表示する画像の略中央に配置することができるので、利用者はアノテーションマークが表示された部位の近傍の部位を観察し易くなる。例えば、アノテーションマークが表示された部位の疾患の近傍にも疾患がある可能性があるような場合に、病理医等の利用者がより慎重に疾患について検討することができるようになり、疾患を見落とすおそれが低減する。
［（５）アノテーションコメント表示の動作］
次に、アノテーションコメント表示の動作について説明する。
図１２は、アノテーションコメント表示の動作を示すフローチャートである。
前提として、（１）のアノテーション設定の動作により管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに対応付けられた表示範囲のZ-stackのセットのうち、所定のＺ番号の値により特定される層の画像が表示部１０６の表示画面に表示されるものとする。また、（２）のアノテーションマーク表示の動作により、１又は複数のアノテーションマークが表示されるものとする。
以上のようにアノテーションマークを含む画像が表示画面に表示されている状態において、選択アノテーション判定部５０６は、利用者から入力部１０７を用いて入力されるアノテーションコメントを表示する命令（以下「アノテーションコメント表示命令」と記述する。）の発生を監視している（ステップＳ４０１）。ここで、アノテーションコメント表示命令の入力は、例えば、表示画面に表示された画像に含まれるアノテーションマークに囲われた領域にカーソルが表示された状態で、利用者が入力部１０７のマウスを所定回数クリックする等の操作などによって行うようにしてもよい。
選択アノテーション判定部５０６は、アノテーションコメント表示命令を受け付けると（ステップＳ４０２でＹｅｓ）、選択されたアノテーションマークのアノテーション位置情報を含む検出結果を画像処理部５０５に通知する（ステップＳ４０３）。
画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードが設定されている場合は、Ｚスルー表示モードの設定を解除する。そして、画像処理部５０５は、管理テーブル５０４ａにこの検出結果に含まれるアノテーション位置情報が関連付けられて登録されたアノテーション内容情報を取得する。画像処理部５０５は、アノテーション内容情報を取得すると、表示画面に表示されているアノテーションマークを含む画像に、取得したアノテーション内容情報を視覚的に反映したアノテーションコメントを合成し、合成した表示情報を表示用バッファに展開する。これにより、アノテーションマークを含む画像にアノテーションコメントを合成した画像が表示画面に表示される（ステップＳ４０４）。
ここで、本フローについての具体例を説明する。前提として、（１）のアノテーション設定の動作により管理テーブル５０４ａが作成されるものとする。また、管理テーブル５０４ａに対応付けられた表示範囲のZ-stackのセットのうち、Ｚ番号の値"ｉ＝１"により特定される層の画像Ｇ１が表示部１０６の表示画面に表示されるものとする。また、（２）のアノテーションマーク表示の動作により、アノテーションマークＡ１又はアノテーションマークＡ１を含む複数のアノテーションマークが表示画面に表示されるものとする。そして、この状態から、アノテーションコメント表示命令としてアノテーションマークＡ１が利用者より選択されるものとする。
この場合、画像処理部５０５は、アノテーションコメント表示命令を受け付け（ステップＳ４０２でＹｅｓ）、選択されたアノテーションマークＡ１のアノテーション位置情報を含む検出結果を画像処理部５０５に通知する（ステップＳ４０３）。画像処理部５０５は、選択アノテーション判定部５０６よりアノテーション位置情報を含む検出結果を受けると、Ｚスルー表示モードが設定されている場合は、Ｚスルー表示モードの設定を解除する。そして、画像処理部５０５は、管理テーブル５０４ａにこの検出結果に含まれるアノテーション位置情報が関連付けられて登録されたアノテーション内容情報"疾患あり"を取得する。画像処理部５０５は、アノテーション内容情報"疾患あり"を取得すると、表示画面に表示されているアノテーションマークＡ１を含む画像Ｇ１に、取得したアノテーション内容情報"疾患あり"を視覚的に反映したアノテーションコメントを合成し、合成した表示情報を表示用バッファに展開する。これにより、図８に示すようにアノテーションマークＡ１を含む画像Ｇ１にアノテーションコメントを合成した画像が表示画面に表示される（ステップＳ４０４）。
アノテーションコメント表示の機能によれば、アノテーションを可読的に表示することができるので、例えば、過去に注目した部位の内容情報を表示して検査や診断等を行う場合や、ある利用者が設定した内容情報を別の利用者が閲覧したいような場合に有益である。
以上説明したアノテーションマーク表示の動作、ジャンプ表示の動作及びアノテーションコメント表示の動作は、何れも入力部１０７を用いてオン／オフすることが可能である。
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態が考えられる。
上記では、管理テーブル５０４ａに、画像の層の位置を示す値として、Ｚ番号の値"ｉ＝１〜Ｎ"を登録した。しかしながら、これに限定されない。画像の層の位置を示す値として、各層の光軸方向の位置、すなわちフォーカス距離を登録してもよい。例えば、図５のＺ番号の値"ｉ＝１"〜"ｉ＝５"に替えて、画像の層の光軸方向の位置として"５００μｍ"、"５０２μｍ"、"５０４μｍ"、"５０６μｍ"、"５０８μｍ"を登録すればよい。この場合、（２）のフォーカス変更動作の際、画像処理部５０５は、入力部１０７からのフォーカス変更命令に含まれるパラメータ情報をもとに、次に表示する画像のフォーカス距離の値を算出する。画像処理部５０５は、算出したフォーカス距離により特定される層の画像データを画像保存部５０２より取得する。続いて、画像処理部５０５は、管理テーブル５０４ａにこの算出したフォーカス距離に関連付けられて登録されたアノテーション位置情報の有無を調べる。アノテーション位置情報が存在する場合、画像処理部５０５は、そのアノテーション位置情報を視覚的に反映したアノテーションマークを、画像保存部５０２より取得した画像データに合成し、合成した表示情報を表示用バッファに展開する。これにより算出したフォーカス距離に対応する層のアノテーションマークを含む画像が表示画面に表示される（ステップＳ１０４）。
上記では、画像ピラミッド構造５０を形成する画像データがＰＣ１００の記憶部１０８に記憶されている形態について説明した。しかし、ＰＣ１００とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、利用者が端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ等とがＬＡＮ又はＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
１００…ＰＣ（Personal Computer）
１０６…表示部
１０７…入力部
１０８…記憶部
５０１…画像取得部
５０２…画像保存部
５０３…アノテーション設定部（設定部）
５０４…テーブル保存部
５０５…表示処理部（処理部）
５０６…選択アノテーション判定部（選択部）

Claims (6)

  1. 顕微鏡により１つの観察対象物からそれぞれ撮像され、前記顕微鏡の光軸方向にて異なる複数の層位置の画像データのうち、１以上の層位置の画像データに対してアノテーションに関する位置情報の設定を利用者より受け付ける設定部と、
    前記設定部により受け付けた前記アノテーションに関する位置情報を前記層位置を識別する情報と対応付けて記憶する記憶部と、
    前記複数の層位置の画像データのうち１つの層位置の画像データを利用者に選択させる入力部と、
    前記入力部によって利用者に選択させた層位置の画像データに、前記記憶部に記憶された１以上の層位置の画像データに対するアノテーションに関する位置情報を視覚的に反映した１以上のアノテーション表示情報を合成して表示部に表示させる処理部と
    を具備する情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記処理部は、前記アノテーション表示情報を、このアノテーション表示情報に対応する層位置と前記入力部によって利用者に選択させた画像データの層位置との位置関係を反映した形態で前記表示部に表示させる
    情報処理装置。
  3. 請求項１または２項に記載の情報処理装置であって、
    前記表示部に表示された前記合成されてた画像において、利用者より１つの層位置のアノテーション表示情報の選択を受け付ける選択部をさらに具備し、
    前記処理部は、前記合成された画像において前記入力部によって利用者よって選択された層位置の画像データを、前記選択部によって利用者により選択されたアノテーション表示情報に対応する層位置の画像データに置き換えた画像に切り替える
    情報処理装置。
  4. 請求項３に記載の情報処理装置であって、
    前記処理部は、前記選択部により利用者に選択させた前記アノテーション表示情報に対応する層位置の前記画像データの表示領域を、前記選択させた前記アノテーション表示情報に対応するアノテーションに関する位置情報を基準として決定する
    情報処理装置。
  5. 設定部が、顕微鏡により１つの観察対象物からそれぞれ撮像され、前記顕微鏡の光軸方向にて異なる複数の層位置の画像データのうち、１以上の層位置の画像データに対してアノテーションに関する位置情報の設定を利用者より受け付け、
    記憶部が、前記設定部により受け付けた前記アノテーションに関する位置情報を前記層位置を識別する情報と対応付けて記憶し、
    入力部が、前記複数の層位置の画像データのうち１つの層位置の画像データを利用者に選択させ、
    処理部が、前記入力部によって利用者に選択させた層位置の画像データに、前記記憶部に記憶された１以上の層位置の画像データに対するアノテーションに関する位置情報を視覚的に反映した１以上のアノテーション表示情報を合成して表示部に表示させる
    情報処理方法。
  6. 顕微鏡により１つの観察対象物からそれぞれ撮像され、前記顕微鏡の光軸方向にて異なる複数の層位置の画像データのうち、１以上の層位置の画像データに対してアノテーションに関する位置情報の設定を利用者より受け付ける設定部と、
    前記設定部により受け付けた前記アノテーションに関する位置情報を前記層位置を識別する情報と対応付けて記憶する記憶部と、
    前記複数の層位置の画像データのうち１つの層位置の画像データを利用者に選択させる入力部と、
    前記入力部によって利用者に選択させた層位置の画像データに、前記記憶部に記憶された１以上の層位置の画像データに対するアノテーションに関する位置情報を視覚的に反映した１以上のアノテーション表示情報を合成して表示部に表示させる処理部
    としてコンピュータを機能させるプログラム。
JP2010189614A 2009-11-30 2010-08-26 情報処理装置、情報処理方法及びそのプログラム Active JP5561027B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2010189614A JP5561027B2 (ja) 2009-11-30 2010-08-26 情報処理装置、情報処理方法及びそのプログラム
US12/899,726 US9684940B2 (en) 2009-11-30 2010-10-07 Information processing apparatus, method and computer-readable medium
KR1020100116192A KR20110060818A (ko) 2009-11-30 2010-11-22 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독 가능 매체
EP10014913.7A EP2362343B1 (en) 2009-11-30 2010-11-23 Information processing apparatus, method and computer-readable medium
CN2010105573410A CN102081701A (zh) 2009-11-30 2010-11-23 信息处理装置、方法和计算机可读介质
US15/603,027 US10121219B2 (en) 2009-11-30 2017-05-23 Information processing apparatus, method and computer-readable medium
US16/107,400 US10535112B2 (en) 2009-11-30 2018-08-21 Information processing apparatus, method and computer-readable medium
US16/741,241 US11164277B2 (en) 2009-11-30 2020-01-13 Information processing apparatus, method and computer-readable medium
US17/475,755 US11615503B2 (en) 2009-11-30 2021-09-15 Information processing apparatus, method and computer-readable medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009272907 2009-11-30
JP2009272907 2009-11-30
JP2010189614A JP5561027B2 (ja) 2009-11-30 2010-08-26 情報処理装置、情報処理方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2011133849A JP2011133849A (ja) 2011-07-07
JP5561027B2 true JP5561027B2 (ja) 2014-07-30

Family

ID=43532877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010189614A Active JP5561027B2 (ja) 2009-11-30 2010-08-26 情報処理装置、情報処理方法及びそのプログラム

Country Status (5)

Country Link
US (5) US9684940B2 (ja)
EP (1) EP2362343B1 (ja)
JP (1) JP5561027B2 (ja)
KR (1) KR20110060818A (ja)
CN (1) CN102081701A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589366B2 (ja) * 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5780865B2 (ja) 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5853458B2 (ja) 2011-07-21 2016-02-09 ソニー株式会社 マーク情報記録装置及びマーク情報提示装置
JP5906605B2 (ja) * 2011-08-12 2016-04-20 ソニー株式会社 情報処理装置
JP5859771B2 (ja) 2011-08-22 2016-02-16 ソニー株式会社 情報処理装置、情報処理システム情報処理方法及びプログラム
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6338730B2 (ja) * 2011-12-26 2018-06-06 キヤノン株式会社 表示データを生成する装置、方法、及びプログラム
JP6124543B2 (ja) * 2011-12-26 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2013152426A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2014029380A (ja) 2012-07-31 2014-02-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び画像表示装置
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6127926B2 (ja) * 2013-11-11 2017-05-17 ソニー株式会社 画像処理装置及び画像処理方法
JP2017017537A (ja) 2015-07-01 2017-01-19 キヤノン株式会社 電子機器及び表示制御方法
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10026023B2 (en) * 2016-08-11 2018-07-17 International Business Machines Corporation Sentiment based social media comment overlay on image posts
CN106776939A (zh) * 2016-12-01 2017-05-31 山东师范大学 一种图像无损标注方法及系统
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
CN108961419B (zh) * 2018-06-15 2023-06-06 重庆大学 微装配系统的显微视觉系统的显微视场空间数字化方法及系统
JP6787370B2 (ja) * 2018-07-12 2020-11-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2022147007A (ja) * 2021-03-23 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
JPH11353327A (ja) * 1998-06-04 1999-12-24 Matsushita Electric Ind Co Ltd 画像処理装置
JP2000148895A (ja) 1998-11-17 2000-05-30 Nikon Corp 電子カルテシステム
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US7292251B1 (en) 2000-10-06 2007-11-06 The Research Foundation Of State University Of New York Virtual telemicroscope
JP2003164433A (ja) * 2001-11-29 2003-06-10 Hitachi Medical Corp 医療支援システム
JP4346888B2 (ja) * 2002-10-29 2009-10-21 独立行政法人放射線医学総合研究所 顕微鏡装置
JP3976000B2 (ja) * 2003-11-06 2007-09-12 ソニー株式会社 情報処理装置および方法、プログラム記録媒体、プログラム、並びに撮影装置
EP1756750A4 (en) 2004-05-27 2010-10-20 Aperio Technologies Inc SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS
US20080166036A1 (en) * 2007-01-05 2008-07-10 Carl Zeiss Microimaging Ais, Inc. System and method for analyzing tissue slides for observable pathologies
JP5347279B2 (ja) * 2008-02-13 2013-11-20 ソニー株式会社 画像表示装置
JP2009272907A (ja) 2008-05-08 2009-11-19 Sony Ericsson Mobilecommunications Japan Inc 無線通信端末
JP2010189614A (ja) 2009-01-26 2010-09-02 Sumitomo Bakelite Co Ltd 樹脂組成物、絶縁層付支持材料、プリプレグ、発光素子用積層板、発光素子用回路基板および発光装置

Also Published As

Publication number Publication date
US9684940B2 (en) 2017-06-20
EP2362343B1 (en) 2017-05-03
EP2362343A1 (en) 2011-08-31
KR20110060818A (ko) 2011-06-08
CN102081701A (zh) 2011-06-01
JP2011133849A (ja) 2011-07-07
US10535112B2 (en) 2020-01-14
US20200151843A1 (en) 2020-05-14
US20180357739A1 (en) 2018-12-13
US10121219B2 (en) 2018-11-06
US20170323415A1 (en) 2017-11-09
US20110128295A1 (en) 2011-06-02
US20220005143A1 (en) 2022-01-06
US11615503B2 (en) 2023-03-28
US11164277B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
JP5561027B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
US10067658B2 (en) Image processing apparatus, method, and computer-readable medium for controlling the display of an image
US11342063B2 (en) Information processing apparatus, information processing method, and program
JP5617233B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
US10424046B2 (en) Information processing apparatus, method and program therefore
JP5531750B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20110267267A1 (en) Information processing apparatus, information processing method, and program therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R151 Written notification of patent or utility model registration

Ref document number: 5561027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250