JP2013192856A - 表示用画像データファイル生成装置及び表示装置並びにプログラム - Google Patents

表示用画像データファイル生成装置及び表示装置並びにプログラム Download PDF

Info

Publication number
JP2013192856A
JP2013192856A JP2012065353A JP2012065353A JP2013192856A JP 2013192856 A JP2013192856 A JP 2013192856A JP 2012065353 A JP2012065353 A JP 2012065353A JP 2012065353 A JP2012065353 A JP 2012065353A JP 2013192856 A JP2013192856 A JP 2013192856A
Authority
JP
Japan
Prior art keywords
images
display
display image
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012065353A
Other languages
English (en)
Other versions
JP5582584B2 (ja
Inventor
Katsuhiko Taki
克彦 滝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIHON VISUAL SCIENCE Inc
Original Assignee
NIHON VISUAL SCIENCE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIHON VISUAL SCIENCE Inc filed Critical NIHON VISUAL SCIENCE Inc
Priority to JP2012065353A priority Critical patent/JP5582584B2/ja
Publication of JP2013192856A publication Critical patent/JP2013192856A/ja
Application granted granted Critical
Publication of JP5582584B2 publication Critical patent/JP5582584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】ファイル生成側が意図した表現形態による画像表示を実現するため、利便性が高く、かつ、取り扱いが容易な表示用画像データファイルを生成する。
【解決手段】ファイル再生時に実現される画像切り替えを考慮しながら、Ｘ線ＣＴ装置２００によって撮像された連続的な断層画像に基づいてボリュームレンダリング処理、ＭＰＲ処理、ＭＩＰ処理を行うことで、連続して変化する一連の画像群を生成する。レイアウト部１１１は、これらの画像を選択的に組み合わせて表示画面の所定領域にそれぞれ表示するよう設定し、一連の表示用画像群を生成する。表示用画像群は２次元配列フォーマットに格納されて、表示用画像データファイルが生成される。表示用画像データファイルを再生すると、ボリュームレンダリング画像、ＭＰＲ画像、ＭＩＰ画像が選択的に組み合わされた表示画面が、所定の操作によって連続的に変化する画像表示が実現される。
【選択図】図１

Description

本発明は、表示用画像データファイルを生成するための表示用画像データファイル生成装置及び表示装置並びにプログラムに関し、特に、Ｘ線ＣＴ（Computed Tomography）装置、共焦点レーザ顕微鏡、医用画像診断装置などの３次元画像デバイスから出力される連続的な断層画像（３次元画像データ）に基づく表示用画像データファイルの生成技術、及び、表示用画像データファイルの表示技術などに関する。
３次元画像を可視化するコンピュータグラフィックスの技術として、ボリュームレンダリングが知られている。ボリュームレンダリングでは、３次元空間にカメラとボリュームデータを配置し、照明から発せられ、各画素からカメラに至る光線を追跡する（ray casting）演算処理を行い、仮想的なスクリーンに投影することで、描画（rendering）を実現する。色や透明度を調整することで、半透明表示をしたりボリュームデータを任意に切断したりするなどして、内部構造を描画することが可能である。従来、ボリュームレンダリングは多くのメモリ容量と演算処理が必要なため、コンピュータにとって負荷の高い処理であったが、近年のＣＰＵ（Central Processing Unit：中央処理装置）の進歩と描画処理のハードウェア化によって、応答性に優れた描画が実現し易くなってきた。
また、３次元画像の断面を表示する技術として、ＭＰＲ（Multi Planar Reconstruction）が知られている。ＭＰＲでは、Ｘ、Ｙ、Ｚの３軸の各方向から見た場合の断面画像（ＭＰＲ画像）の作成及び表示が行われる。
また、３次元対象物の外観を表示する技術として、ＭＩＰ（Maximum Intensity Projection）が知られている。ＭＩＰでは、Ｘ、Ｙ、Ｚの３軸の各方向に対して、全ての断層画像の最高輝度の画素を集めて１枚の画像に投影（projection）することで画像（ＭＩＰ画像）を作成する。ＭＩＰ画像は、対象物の外観全てを表すような画像であり、ある位置における１断面を表しているに過ぎない断面画像（ＭＰＲ画像）とは意味合いが異なる。
また、複数の画像を３次元的につなぎ合わせて、現実に近い視界をムービーで表現する技術として、ＱｕｉｃｋＴｉｍｅＶＲ（Virtual Reality）（登録商標）が知られている。ＱｕｉｃｋＴｉｍｅＶＲには、カメラを中心として周囲の視野や空間を観察できるＱｕｉｃｋＴｉｍｅＶＲパノラマと、対象物を３次元的に回して観察できるＱｕｉｃｋＴｉｍｅＶＲオブジェクトムービーの２種類が存在する。また、Ｗｅｂブラウザ上で対象物を３次元的に回して観察できる技術として、Ｗｅｂ３ＤやＨＴＭＬ５が知られている。
また、例えば下記の特許文献１には、汎用ＰＣ（Personal Computer：パーソナルコンピュータ）においても３次元画像の表示を可能とする３次元画像記録・再生システムが開示されている。特許文献１の開示技術によれば、医用画像診断装置で取得された３次元画像を記録媒体に記録する際に、この３次元画像を表示することが可能な３次元表示ソフトの全部又は一部も記録媒体に記録することで、当該記録媒体を装着した汎用ＰＣで３次元画像の表示を行うことが可能となる。
また、従来のソフトウェアＡ（ｉ−Ｖｉｅｗソフト ネットワーク）は、Ｘ線ＣＴ装置から出力される画像データと共に配布される表示用の専用ソフトウェアである。このソフトウェアＡは、多数の画像データ（例えば、４８１枚のＭＰＲ画像データ）をソフトウェアで読み込むことによって、複数のＭＰＲ画像が配置された画面出力を実現することが可能である（「http://www.dental-plaza.com/article/3DX_FPD8/m03-iview/index.html」を参照）
また、従来のソフトウェアＢ（Ｏｓｉｒｉｘ）は、医療画像の処理に特化した画像処理ソフトウェアである。このソフトウェアＢは、医療画像をＤＩＣＯＭ（Digital Imaging and Communication in Medicine）フォーマットで読み込み、３次元可視化する機能を有している。また、このソフトウェアＢは、作成した３次元像をマウスの操作で単に回転させられるＱｕｉｃｋＴｉｍｅオブジェクトムービーとして出力する機能を有している（「http://www.osirix-viewer.com/」を参照）。
また、従来のソフトウェアＣは、３次元モデルをポリゴンでレンダリングするソフトウェアである。このソフトウェアＣは、作成した３次元ＣＧ（Computer Graphics）をマウスの操作で単に回転させられるＱｕｉｃｋＴｉｍｅオブジェクトムービーとして出力する機能を有している（「http://shade.e-frontier.co.jp/12/」を参照）。
特開２００２−１８３７５９号公報（要約書、段落００２２）
Ｘ線ＣＴ装置、共焦点レーザ顕微鏡、医用画像診断装置等の３次元画像デバイスからは、連続的な断層画像が出力される。そのデータを第三者に配布する場合、汎用の画像フォーマット（ＢＭＰ、ＪＰＥＧ、ＴＩＦＦ、ＤＩＣＯＭなど）で受け渡すことが慣例的に行われている。
また、デジタル画像は、輝度（luminance）が記録された画素が格子状に連続して成り立っている配列データである。各画素は８ビット（２８＝２５６階調）、１６ｂｉｔ（２１６＝６５５３６階調）といった深さ（depth）を持つ情報で、Ｘ、Ｙ、（Ｚ）方向の画素数を解像度（resolution）と言う。３次元画像は、以下の例のように深さと解像度、枚数の掛け算により、データの総容量を算出することができる。
16bit×512×512 pixels×512枚=256MB
16bit×1024×1024 pixels×500枚=1GB
16bit×4096×4096 pixels×500枚=4GB
画像デバイスは高品質な画像を得るべく年々、高分解能化を続けている。３次元画像ではＸ、Ｙ、Ｚ方向の解像度が３乗で効いてくるため、非常に大容量のボリュームデータをコンピュータ上で取り扱わねばならないケースがある。こうした３次元画像データの配布とアーカイブに関して、次のような問題点がある。
・３次元画像デバイスから出力される連続的な断層画像を汎用の画像フォーマットで受け取った場合、個々の画像ファイルを一般的なＰＣで開いて閲覧することができる。しかしながら、これらの画像は単なる断層画像の集合であり、全体に対して断片的な情報でしかない。３次元化して立体的な表示を行ったり、任意の断面を表示するなど多彩な表現を駆使して表示を行ったりする場合には、専用のソフトウェアが必要となる。
・データ自体が大容量であるため、記憶媒体に保管、あるいは通信手段を用いて配布／転送するのが容易ではない。
・３次元処理や描画はコンピュータにとって負荷が高く、大容量のメモリや演算／描画性能が要求される。
・３次元画像データを読み込み、２次元／３次元表示を行うソフトウェアは特殊であり、一般的にあまり普及していない。従って、３次元画像データのみを受け取っても、それを開いて見る道具を持っていない、見る方法を知らない人が多い。
・一般ユーザは、画像処理やＣＧに精通していないため、専用ソフトウェアを与えられても、短期間で使いこなすことが難しい。
・見やすく調整された画像を作るには、センスと技能が必要とされる。一方で、画像データを単に閲覧するだけでよい立場のユーザがおり、このようなユーザは、複雑なソフトウェアを習得して、凝った画像処理を行うことはない。従って、このようなユーザが、画像データを意図に沿った方法で閲覧できる方法があれば利便性が高い。
・３次元画像は３次元と２次元、任意の断面、表示上の変化、時間的な変化を伴う場合など、多彩な変化をつけて表現される。これらの画像データは通常、ばらばらに配布され、その対応関係が分かりにくい。
また、特許文献１の開示技術では、大容量の３次元画像データ及び専用ソフトウェアの全部又は一部の機能が、画像閲覧を所望するユーザに渡される。また、上記ソフトウェアＡに係る技術では、多数の画像データ（多数のＭＰＲ画像）とソフトウェアＡとが、画像閲覧を所望するユーザに渡される。どちらの技術も専用のソフトウェアを配布することが必須であり、また、画像閲覧を所望するユーザに配布されることになるという問題点がある。さらに、どちらの技術も、３次元画像の多彩な表現を活かしてユーザにとって利便性の高い画像表示を実現しようとはしていない。
また、上記ソフトウェアＢ及びＣはどちらも、ＱｕｉｃｋＴｉｍｅオブジェクトムービーのフォーマットでファイルを出力する機能を有しているが、これは、単に出力画像フォーマットの１つとしてＱｕｉｃｋＴｉｍｅオブジェクトムービーが採用されているに過ぎない。上記ソフトウェアＢ及びＣで出力されるＱｕｉｃｋＴｉｍｅオブジェクトムービーを再生しても、マウスの操作で３次元像（対象の外観）を単に回転させることができるだけのものに過ぎず、３次元画像の多彩な表現を活かしてユーザにとって利便性の高い画像表示を実現しようとはしていない。
ボリュームデータの３次元描画は、はっきりした輪郭を持った形状中心のデータばかりではなく、微妙な陰影を伴った立体的表現、半透明表示などの技法も存在しており、また、３次元画像の表現方法は多彩である。このような３次元画像の様々な表現形態は、対象（３Ｄオブジェクト）の性質や注目すべき箇所などに応じて適切に選択されることで、有用な３次元画像表示が実現される。熟練した画像処理ソフトウェアのユーザであれば、どのような表現形態が適切であるかを判断し、様々な表現形態を組み合わせることが可能であるが、一方、大半のユーザは、画像データやソフトウェアが提供されても有益に使いこなすことは容易ではない。また、対象の外観のみを表示するような単調な画像を閲覧するだけでは、有益な情報を得ることは困難である。
上記の問題を考慮し、本発明の表示用画像データファイル生成装置及び表示装置並びにプログラムは、１つ又は複数の適切な表現形態による画像表示が実現されるように、大容量の３次元画像データから生成された複数の画像が所定のフォーマット（例えば、汎用的なフォーマット）で格納された表示用画像データファイルを生成することで、ファイル再生側にとって非常に利便性の高いファイルを実現することを目的とする。
上記の目的を達成するため、本発明の表示用画像データファイル生成装置は、複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
対象の連続的な断層画像を取得する入力部と、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像のいずれかを選択的に組み合わせて表示画面の所定領域にそれぞれ表示するよう、一連の表示用画像群を新たに生成するレイアウト部と、
所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
有する。
また、上記目的を達成するため、本発明の表示用画像データファイル生成装置は、複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
対象の連続的な断層画像を取得する入力部と、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
有し、
前記表示用画像データファイル生成部が、
（１）前記ＭＰＲ画像によって表示される断面の位置が連続して変化する複数の表示用画像
（２）前記ボリュームレンダリング画像に係る視点の位置が連続して変化する複数の表示用画像
（３）前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像
（４）画像表示の透明度又は色が変化する複数の表示用画像
（５）時間的に連続して変化する複数の表示用画像
のうちの２つ以上の組み合わせによって設定された前記一連の表示用画像群を取得する。
また、上記目的を達成するため、本発明の表示用画像データファイル生成装置は、複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
対象の連続的な断層画像を取得する入力部と、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
生成された前記一連のボリュームレンダリング画像群を蓄積するバッファと、
前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するファイル生成部とを、
有し、
前記Ｎ次元配列フォーマットの配列軸の１つに沿って、前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像が配置される。
また、上記目的を達成するため、本発明の表示用画像データファイル生成装置は、複複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
対象の連続的な断層画像を取得する入力部と、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
有し、
前記Ｎ次元配列フォーマットの配列軸の１つに沿って、画像表示の透明度又は色が変化する複数の表示用画像が配置される。
また、上記目的を達成するため、本発明の表示用画像データファイル生成装置は、複複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
対象の連続的な断層画像を取得する入力部と、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
有し、
前記Ｎ次元配列フォーマットの配列軸の配列軸に沿って、時間的に連続して変化する複数の表示用画像が配置される。
また、上記目的を達成するため、本発明の表示用画像データファイル表示装置は、本発明に係る表示用画像データファイル生成装置によって生成された前記表示用画像データファイルを再生及び表示する表示用画像データファイル表示装置であって、
前記表示用画像データファイルを取得する入力部と、
前記表示用画像データファイルを再生して前記表示用画像データファイルに含まれている一連の表示用画像群のうちの任意の表示用画像を表示装置の画面に表示する表示部と、
所定のユーザ操作に応じて、前記Ｎ次元配列フォーマットの各配列軸によって形成される面に関して、前記所定のユーザ操作前に表示された前記１枚の表示用画像と同一の面に含まれる所定の位置に配置された表示用画像を表示装置の画面に表示する表示制御部とを、
有する。
また、上記目的を達成するため、本発明によれば、複数の画像データに基づいて表示用画像データファイルを生成するための表示用画像データファイル生成プログラムであって、
対象の連続的な断層画像を取得するステップと、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリングステップ、前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成ステップ、前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成ステップの少なくとも１つ以上を行うステップと、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するステップと、
蓄積された前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像のいずれかを選択的に組み合わせて表示画面の所定領域にそれぞれ表示するよう、一連の表示用画像群を新たに生成するステップと、
所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するステップとを、
コンピュータに実行させる表示用画像データファイル生成プログラムが提供される。
また、上記目的を達成するため、本発明によれば、複数の画像データに基づいて表示用画像データファイルを生成するための表示用画像データファイル生成プログラムであって、
対象の連続的な断層画像を取得するステップと、
前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリングステップと、前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成ステップと、前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成ステップの少なくとも１つ以上を行うステップと、
生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するステップと、
蓄積された前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するステップとを、
コンピュータに実行させる表示用画像データファイル生成プログラムであり、
前記表示用画像データファイルを生成する前記ステップにおいて、
（１）前記ＭＰＲ画像によって表示される断面の位置が連続して変化する複数の表示用画像
（２）前記ボリュームレンダリング画像に係る視点の位置が連続して変化する複数の表示用画像
（３）前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像
（４）画像表示の透明度又は色が変化する複数の表示用画像
（５）時間的に連続して変化する複数の表示用画像
のうちの２つ以上の組み合わせによって設定された前記一連の表示用画像群を取得する表示用画像データファイル生成プログラムが提供される。
また、上記目的を達成するため、本発明によれば、本発明に係る表示用画像データファイル生成プログラムをコンピュータに実行させることによって生成された前記表示用画像データファイルを再生及び表示する表示用画像データファイル表示プログラムであって、
前記表示用画像データファイルを取得するステップと、
前記表示用画像データファイルを再生して前記表示用画像データファイルに含まれている一連の表示用画像群のうちの任意の表示用画像を表示装置の画面に表示するステップと、
所定のユーザ操作に応じて、前記Ｎ次元配列フォーマットの各配列軸によって形成される面に関して、前記所定のユーザ操作前に表示された前記１枚の表示用画像と同一の面に含まれる所定の位置に配置された表示用画像を表示装置の画面に表示するステップとを、
コンピュータに実行させる表示用画像データファイル表示プログラムが提供される。
また、本発明は、表示用画像データファイル生成方法及び表示方法や、表示用画像データファイル生成プログラム及び表示プログラムが記録された記録媒体を提供することも可能である。
本発明では、表示用画像データファイルを生成するユーザは、３次元画像の多彩な表現形態の中から１つ又は複数の適切な表現形態を選択し、これら複数の適切な表現形態に係る画像表示が実現される表示用画像データファイルを生成することが可能であり、一方、表示用画像データファイルを再生及び表示するユーザは、１つの表示用画像データファイルを再生することで、表示用画像データファイルを生成したユーザによって意図された適切な表現形態に係る画像表示を簡単な操作で実現することが可能である。すなわち、本発明で生成される表示用画像データファイルには、ファイル生成側が３次元画像の多彩な表現形態の中から選択した１つ又は複数の適切な表現形態が含まれており、ファイル再生側にとって非常に利便性の高いファイルが提供される。
また、複数の画像を汎用的なフォーマットで格納してファイルを生成することで、プラットフォームに依存せずに表示用画像データファイルの再生を行うことが可能であり、また、ファイル再生側は、対話的な操作によって画像を閲覧することが可能である。さらに、再生環境は高機能の３次元画像描画機能（レンダリング機能）や大容量のメモリを必要とせず要求せず、ユーザの操作に追従した軽快な画像切り替えが実現される。
本発明の第１の実施の形態におけるＶＲＶＲファイル生成装置（ＶＲＶＲファイルについては後述）の構成の一例を示すブロック図である。 図１のＶＲＶＲファイル生成装置におけるデータ生成動作の一例を示すフローチャートである。 本発明に関連した２次元配列フォーマットの一例を示す図である。 本発明の第１の実施の形態において、一連の表示用画像データ群が動画フォーマットに出力されることで１つのＶＲＶＲファイルが生成された状態を模式的に示す図である。 本発明の第１の実施の形態において、レイアウト部によって設定される画像内のレイアウトの一例を示す図である。 図５に図示されているレイアウトに含まれている（１）の領域に配置された画像の一例を示す図である。 図５に図示されているレイアウトに含まれている（１）の領域の２次元配列フォーマットの一例を示す図である。 本発明の第１の実施の形態において、２次元配列フォーマット内に仮想的に配置された表示用画像の一例であり、ＭＰＲ画像又はＭＩＰ画像とボリュームレンダリング画像との別の連携方法の一例を示す図である。 本発明の第１の実施の形態において、２次元配列フォーマット内にボリュームレンダリング画像が仮想的に配置された状態の一例を示す図である。 本発明の第１の実施の形態において、２次元配列フォーマット内にボリュームレンダリング画像が仮想的に配置された状態の別の一例を示す図である。 本発明の第１の実施の形態において、２次元配列フォーマット内にボリュームレンダリング画像が仮想的に配置された状態の更に別の一例を示す図である。
以下、図面を参照しながら、本発明の第１及び第２の実施の形態について説明する。
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態におけるＶＲＶＲファイル生成装置１００の構成の一例を示すブロック図である。図１に図示されているＶＲＶＲファイル生成装置１００は、入力部１０１、ＬＵＴ調整部１０３、ボリュームレンダリング部１０５、ＭＰＲ／ＭＩＰ構築部１０７、バッファ１０９、レイアウト部１１１、出力部１１３、バッチ処理部１１５、圧縮部１１７、操作部１５１、表示部１５３を有している。
また、図１には、Ｘ線ＣＴ装置２００、３次元画像データ格納部３００、ファイル格納部４００が図示されている。Ｘ線ＣＴ装置２００などで対象を撮像した３次元画像データ（対象の連続的な断層画像）は固有のファイルフォーマットで保存され、３次元画像データ格納部３００に格納されている。ＶＲＶＲファイル生成装置１００は、この３次元画像データ格納部３００から読みだした３次元画像データに基づいて表示用画像データファイルを生成し、生成した表示用画像データファイルをファイル格納部４００に出力及び格納する。なお、本明細書では、ＶＲＶＲファイル生成装置１００によって生成されファイル格納部４００に格納される表示用画像データファイルをＶＲＶＲファイルと呼ぶ。
なお、３次元画像データを取得するための３次元画像デバイスはＸ線ＣＴ装置２００に限定されるものではなく、共焦点レーザ顕微鏡、医用画像診断装置などを始めとする任意の画像デバイスを用いることが可能である。また、図１には、ＶＲＶＲファイル生成装置１００が、１台の３次元画像デバイス（Ｘ線ＣＴ装置２００）から出力された３次元画像データの処理を行うように図示されているが、ＶＲＶＲファイル生成装置１００は、複数の３次元画像デバイスから出力された複数の３次元画像データ、又は、１台の３次元画像デバイスから複数チャンネルを経由して出力された複数の３次元画像データを利用してＶＲＶＲファイルの生成を行ってもよい。例えば、Ｘ線ＣＴ装置で対象を分割して撮像した場合や、共焦点レーザ顕微鏡が複数チャンネルの３次元画像データを出力する場合においても、ボリュームデータを統合したり、それぞれのボリュームデータからから画像を生成したりすることによって、所望の画像を取得することが可能である。
操作部１５１及び表示部１５３はユーザインタフェースであり、ユーザは、ＶＲＶＲファイル生成装置１００におけるデータ生成の際に、表示部１５３に表示される情報を確認しながら、操作部１５１を用いてＶＲＶＲファイル生成装置１００の操作や情報入力などを行うことが可能である。
操作部１５１によって、ユーザは、コメントなど文字情報の入力、写真の添付、ＬＵＴの調整などを画面上のインタフェースを用いて操作し、表示や設定にフィードバックすることが可能となる。また、表示部１５３によって、ユーザは、カーソルを動かして断面を見たり、３次元像を回転させてクリップしたりするなど、対話的に操作しながら、２次元／３次元画像を見たり表示の調整を行ったりすることが可能となる。また、ＷＹＳＩＷＹＧ（What You See Is What You Get）の概念に基づき、表示部１５３に表示されたプレビュー画面で見たままの画面が保存されることを特徴とする。なお、操作部１５１は、例えばマウスやキーボードなどによって実現され、表示部１５３は、例えば視覚的に情報を出力するモニタなどによって実現可能である。また、操作部１５１と表示部１５３とが一体となったタッチパネルインタフェースによって実現されてもよい。
入力部１０１は、固有のファイルフォーマットで保存されている３次元画像データ一式を３次元画像データ格納部３００からＶＲＶＲファイル生成装置１００内のメモリ（不図示）上に読み込む機能を有している。読み込んだ画像は、ＶＲＶＲファイル生成装置１００内のメモリ（不図示）上で「配列」（ボリュームデータ）として取り扱われる。
ＬＵＴ調整部１０３は、ＬＵＴ（Look Up Table：ルックアップテーブル）に基づいて画像の色や輝度を任意に設定する機能を有している。ユーザは、操作部１５１からＬＵＴ（Look Up Table）を調整することによって、画像内の観察したい部分にコントラストを与え、動的に画像を変化させて画像が見やすくなるよう調整することができる。ＬＵＴが調整された画像は、一時的に情報を記憶する装置又はデータ領域であるバッファ１０９にいったん蓄積される。
なお、デジタル画像はそもそも数字の配列であり、３次元画像は文字通り、３次元の配列で表される。３次元画像を画素の集合と考え、横軸が輝度、縦軸が画素数を表すヒストグラムを定義し、その分布に対して、色や透明度（opacity）の変化を折れ線状に調整することで、画素各々の表示上の属性が決定される。このような折れ線をＬＵＴと呼ぶ。
ボリュームレンダリング部１０５は、読みこんだ３次元画像にＬＵＴやカメラ、照明などの設定を行い、仮想的なスクリーンに投影することで、３次元画像を描画するボリュームレンダリング処理を行う機能を有している。回転軸、その変位、クリップ切断面の深さなどは内部的なパラメータで示され、このパラメータに関連する数値を自由にコントロールすることで、所望の画像を生成することができる。なお、上述のように、ボリュームレンダリングでは、色や透明度を調整することで、半透明表示をしたりボリュームデータを任意に切断したりするなどして、対象の内部構造を描画することが可能である。
ＭＰＲ／ＭＩＰ構築部１０７は、メモリ（不図示）上の配列操作を行うことで、ＭＰＲ画像やＭＩＰ画像の構築処理を行う機能を有している。例えば、断層方向と断面位置を決定し、画素を収集して、ある方向の断層画像を作るとＭＰＲ画像を作ることができる。また、ボリュームデータを斜めに横切る断面を構築する場合は、画素間の補間処理が必要である。指定方向に全ての断層画像を求め、輝度を足し合わせるとＭＩＰ画像を作ることができる。
なお、図１のＶＲＶＲファイル生成装置１００では、ＭＰＲ／ＭＩＰ構築部１０７がＭＰＲ処理及びＭＩＰ処理の両方を実行する機能を有しているように記載されているが、ＶＲＶＲファイル生成装置１００は、ＭＰＲ処理機能及びＭＩＰ処理機能をそれぞれ独立して実装してもよい。また、ＶＲＶＲファイル生成装置１００は、必ずしもボリュームレンダリング処理機能、ＭＰＲ処理機能、ＭＩＰ処理機能のすべての機能を実装する必要はなく、所望の画像生成に必要な機能のみ実装していてもよい。
本発明では、例えば、ＭＰＲ／ＭＩＰ構築部１０７において作成されるＭＰＲ断面像又はＭＩＰ画像において、断面を示すカーソル位置はＸ、Ｙなどの内部的なパラメータで示され、これを任意に操作することで動的に画像を変化させることができる。ＭＰＲ／ＭＩＰ構築部１０７は、最後に画像上にライン（線分）を描画することでカーソルを生成し、カーソル位置を示すラインを含むＭＰＲ画像又はＭＩＰ画像を生成することが可能である。
また、本発明では、最終的に生成されるＶＲＶＲファイルにどのようなアクションを組み込むかによって、Ｒｏｗ方向及びＣｏｌｕｍｎ方向の画像に対して与えるルールが異なる。ＶＲＶＲファイルが再生された際に所望の画像切り替えが行われるよう、ボリュームレンダリング部１０５又はＭＰＲ／ＭＩＰ構築部１０７はＣＧ処理によって画像を生成するとともに、かつ、パラメータを変えながら少しずつ連続的に変化する画像を繰り返し生成することによって、連続して変化する一連の画像群を生成する。
レイアウト部１１１は、ボリュームレンダリング部１０５やＭＰＲ／ＭＩＰ構築部１０７で作成されてバッファ１０９に蓄積された画像データを配置し、組み合わせ、新たな画像を生成する処理を行う機能を有している。レイアウト部１１１は、バッファ１０９上に置いた画像データを使って、関連情報（後述）を加えて最終画面としてレイアウトし、新たに画像データを生成する。
出力部１１３は、レイアウト部１１１においてレイアウトが済んだ複数の画像データを一定の命名規則に従って、ファイルとして順次出力する機能を有している。なお、本明細書では、出力部１１３がファイルとして出力する画像データを表示用画像データと呼ぶことがある。例えば、表示用画像データのファイル名の命名規則は、ＲｏｗとＣｏｌｕｍｎの２つの配列軸により構成される２次元配列フォーマット（２次元にデータを配列する様式）における配置位置（座標）を表すように定められる。具体的には、例えばＲｏｗに６０枚、Ｃｏｌｕｍｎに６０枚の計３６００枚の表示用画像が、２次元配列フォーマット内における各画像の配置位置を示すファイル名が付けられた表示用画像データ（「r0001c0001.bmp」〜「r0060c0060.bmp」）として出力される。
また、バッチ処理部１１５は、出力部１１３による多数の画像データの出力処理に関し、バッチ処理を行う機能を有している。なお、コンピュータが高速化されたとはいえ、多数のレンダリング像を作るには、それなりの処理時間がかかるため、最近のマルチコア/マルチプロセッサのコンピューティング環境に合わせた並列化処理を図り、バッチ処理部１１５においてバッチ処理を行うことが有効である。
また、圧縮部１１７は、出力部１１３から出力された一連の表示用画像データを読み込み、所定の配列ルールに従って動画フォーマットなどに変換（エンコード）して出力する機能を有している。その際、高能率のコーデックを適用することで、ＶＲＶＲファイルのファイルサイズを縮小することが可能となる。この結果、Ｗｅｂ上にＶＲＶＲファイルを掲載したり、電子メールで送信したりすることが容易となる。なお、ファイルサイズの縮小を可能とするコーデックは様々存在するが、本発明では、任意のコーデックを使用することが可能である。
出力部１１３及び圧縮部１１７によって処理されて最終的に出力されるファイルは、ＶＲＶＲファイルとしてファイル格納部４００に格納される。なお、ファイル格納部４００に格納されたＶＲＶＲファイルは、例えば、他の情報記憶媒体に格納されて別の装置で読み込まれたり、あるいは、ネットワークを介して他の情報記憶装置に送信されたりするなど、通常の独立したファイルデータとして取り扱うことが可能である。また、生成したＶＲＶＲファイルを、このＶＲＶＲファイルの再生が可能なソフトウェア（プレーヤ）と一緒に実行ファイル中に含めることで、再生環境（表示用画像データファイル表示装置）５００が、当該実行ファイルを実行することでＶＲＶＲファイルの再生が可能となるようにしてもよい。
また、再生環境５００は、ＶＲＶＲファイル生成装置１００で生成されたＶＲＶＲファイルを任意の情報記憶媒体又は情報記憶装置から読み込み、ＶＲＶＲファイル内に格納された表示用画像データを表示する機能を有している。なお、再生環境５００は、ＶＲＶＲファイル生成装置１００の圧縮部１１７によってエンコードされたファイルのデコードや、所定の配列ルールに基づいた表示用画像データの抽出などを行うためのプレーヤを有している。再生環境５００では簡単なプレーヤが用意されれば、ＶＲＶＲファイルをどこでも再生することが可能である。また、再生環境５００のユーザが所定の操作（例えば、プレーヤ上でマウスを上下左右に移動、あるいは、キーボードのカーソルキーを押下）を行うと、その操作に対応して、ＶＲＶＲファイル内に格納された表示用画像データの表示が高速で切り替わり、ＶＲＶＲファイル生成装置１００におけるＶＲＶＲファイルの生成の際に組み込まれたアクションが実現される。再生環境５００のユーザは、対話的に操作しながら、ＶＲＶＲファイル内に格納された表示用画像データの閲覧及び表示用画像データの表示切り替えを行うことが可能である。
なお、図１では、ＶＲＶＲファイル生成装置１００が有する機能が各ブロックによって模式的に図示されているが、これらの各ブロックに係る機能は、例えば、ハードウェア又はＣＰＵがソフトウェア（プログラム）を実行することによって実現可能である。例えば、バッファ１０９はＶＲＶＲファイル生成装置１００に接続された一時記憶メモリなどによって実現可能であり、３次元画像データ格納部３００及びファイル格納部４００は、ＶＲＶＲファイル生成装置１００に接続された情報記憶媒体又は情報記憶装置などによって実現可能である。
また、例えば、図１に図示されているＶＲＶＲファイル生成装置１００の動作を実現する機能は、本発明に係るソフトウェアをＰＣによって実行することで実現可能である。
本発明に係るソフトウェアは、例えば、Ｗｉｎｄｏｗｓ（登録商標）上のアプリケーションを開発することで実現される。プログラム全般はＣとＣ＋＋、ユーザインタフェースについてはＱｕｉｃｋＴｉｍｅ（登録商標）などのユーザインタフェースツールキット、画像の描画全般についてはＯｐｅｎＧＬ（登録商標）を用いて開発することが可能である。また、ＢＭＰ、ＪＰＥＧ、ＴＩＦＦなどの汎用フォーマット及び装置固有の画像データを直接読み込むことができる仕様とし、Ｈ．２６４を用いてデータの圧縮を行い、ＱｕｉｃｋＴｉｍｅＶＲフォーマット（オブジェクトムービー）で出力することが可能である。また、本発明に係るソフトウェアで生成されたＶＲＶＲファイルは、ＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒを用いて再生可能であり、ＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒのインストールが可能なＷｉｎｄｏｗｓ（登録商標）やＭＡＣ ＯＳ（登録商標）などを搭載したコンピュータによって再生環境５００を実現することが可能である。
なお、ＶＲＶＲファイルの出力フォーマットは、汎用性と開発効率を重視した場合には、ＱｕｉｃｋＴｉｍｅＶＲフォーマットを用いることが望ましいと考えられるが、Ａｄｏｂｅ Ｆｌａｓｈ、ＨＴＭＬ５などを始めとする既存のアーカイブフォーマットや、今後開発又は普及するアーカイブフォーマットを用いてもよく、また、独自フォーマットを用いてもよい。
また、図２は、図１のＶＲＶＲファイル生成装置１００におけるデータ生成動作の一例を示すフローチャートである。図２に図示されているように、ＶＲＶＲファイル生成装置１００は、まず３次元画像データ格納部３００から３次元画像データ（対象の連続的な断層画像）をメモリ上に読み込む（ステップＳ１１０１）。次に、ＶＲＶＲファイル生成装置１００は、設定されたＬＵＴに基づいて各画素の属性を調整する（ステップＳ１１０３）。
ＶＲＶＲファイル生成装置１００は、ステップＳ１１０３においてＬＵＴ調整が行われた３次元画像データから得られる情報を利用して、ボリュームレンダリング処理（ステップＳ１１０５）、ＭＰＲ構築処理又はＭＩＰ構築処理（ステップＳ１１０７）のうちのいずれか１つ又は複数の処理を実行して複数の画像を生成し、生成した複数の画像をバッファ１０９に蓄積する。なお、最終的に生成されるＶＲＶＲファイルによってどのような画像表示及び画像切り替えを実現するか（すなわち、どのような一連の画像群をＶＲＶＲファイルに格納させるか）に従って、ステップＳ１１０５におけるボリュームレンダリング処理、ステップＳ１１０７におけるＭＰＲ構築処理又はＭＩＰ構築処理のいずれか１つ又は複数が実行されてもよい。これらの処理によって生成される複数の画像は、所望の画像切り替えを実現するために、視点の位置、クリップ切断面の深さ、断面の位置、色や透明度、時間などに従って連続して変化する一連の画像群であり、詳細については後述する。
そして、ＶＲＶＲファイル生成装置１００は、レイアウト部１１１において、ステップＳ１１０５及び／又はＳ１１０７の処理によってバッファ１０９に蓄積された画像データを選択的に組み合わせてレイアウトを決定し、レイアウトが済んだ画像データを新たな画像データとしてバッファ１０９に蓄積する（ステップＳ１１０９）。ステップＳ１１０９におけるレイアウト処理では、１枚の表示用画像内において、例えばステップＳ１１０５で生成されたボリュームレンダリング画像データやステップＳ１１０７で生成されたＭＰＲ画像データ又はＭＩＰ画像データなどを配置する配置位置、関連情報を挿入するための領域、関連情報として挿入される情報などがユーザの操作によって設定される。
ステップＳ１１０９におけるレイアウト処理によってレイアウトが定まると、出力部１１３は、例えば所定の配列ルール（２次元配列フォーマット）に基づく一定の命名規則に従ってファイル名が付けられた複数の表示用画像データを出力し、さらに、圧縮部１１７が、出力部１１３から出力された一連の表示用画像データを読み込んで、所定の配列ルールに従って動画フォーマットなどに変換して、１つのＶＲＶＲファイルを生成及び出力する（ステップＳ１１１１）。
ここで、ＶＲＶＲファイルに格納される複数の表示用画像データの配列ルールの一例について説明する。出力部１１３から出力された複数の表示用画像データ（一連の表示用画像群）は、例えば、ＲｏｗとＣｏｌｕｍｎの２つの配列軸により構成される２次元配列フォーマット内の配置座標と関連付けられることで、当該２次元配列フォーマット内に仮想的に配置される。例えば、図３に図示されているように、ＲｏｗにＭ枚、ＣｏｌｕｍｎにＮ枚の表示用画像が配置される２次元配列フォーマット（Ｎ×Ｍの２次元配列フォーマット）が設定され、この２次元配列フォーマット内の各配置座標（Ｒｍ，Ｃｎ）（ｍ、ｎは整数、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）に各表示用画像データが仮想的に配置される。このとき、２次元配列フォーマットに含まれる表示用画像は、作成後のＶＲＶＲファイルを再生環境５００で再生及び表示した際に、所定のユーザ操作に応じて、Ｒｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像間で表示が切り替わることを前提として配置される。
例えば、３次元表示の場合、水平又は鉛直方向に少しずつ連続的に回転するボリュームレンダリング像（すなわち、視点の位置を所定の角度ずつ変化させたボリュームレンダリング像）を生成し、Ｒｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像間で所定の角度ずつ視点を変化させたボリュームレンダリング像を２次元配列フォーマット内に仮想的に配置する。これによって、ＶＲＶＲファイルの再生環境５００では、所定のユーザ操作に応じてＲｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像間で表示が切り替えられて、視点の位置が所定の角度ずつ変化するボリュームレンダリング像が表示され、少しずつ連続的に対象が回転する様子が実現される。また、ＭＰＲ画像の場合には、任意に選んだ２面について、断面位置を表すカーソルを少しずつ移動したＭＰＲ画像（すなわち、断面位置を所定の幅ずつ変化させたＭＰＲ画像）をあらかじめ生成し、Ｒｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像間で所定の幅ずつ断面位置を変化させたＭＰＲ画像を２次元配列フォーマット内に仮想的に配置する。これによって、ＶＲＶＲファイルの再生環境５００では、所定のユーザ操作に応じてＲｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像間で表示が切り替えられて、Ｒｏｗ方向又はＣｏｌｕｍｎ方向に断面位置が所定の幅ずつ変化するＭＰＲ画像が表示され、少しずつ連続的に断面位置が変化する様子が実現される。
なお、再生環境５００では、例えば、ユーザがマウスを上下方向に移動したり上下に対応するカーソルキーを押下したりすることによって、Ｒｏｗ方向に隣り合う画像間で表示が切り替わり、マウスを左右方向に移動したり左右に対応するカーソルキーを押下したりすることによって、Ｃｏｌｕｍｎ方向に隣り合う画像間で表示が切り替わる。また、図３において、２次元配列フォーマット内のＲｏｗのＭ番目又はＣｏｌｕｍｎのＮ番目が、Ｒｏｗの１番目又はＣｏｌｕｍｎの１番目と隣り合うように設定されてもよい。なお、図３に図示されている２次元配列フォーマットは一例であり、本発明は、この配列に限定されるものではない。
また、図４は、本発明の第１の実施の形態において、一連の表示用画像データ群が動画フォーマットに出力されることで１つのＶＲＶＲファイルが生成された状態を模式的に示す図である。図３に図示されているように２次元配列フォーマット内に仮想的に配置された一連の表示用画像データ群は、図４に模式的に図示されているように、所定の配列ルールに従って動画フォーマットなどに出力されることで、１つのＶＲＶＲファイル内に格納される。なお、ＶＲＶＲファイルに一連の表示用画像データ群を格納する際に任意のファイルフォーマットを用いることが可能であるが、動画フォーマットを用いることで高能率のコーデックを適用することが可能となり、ファイルサイズを極めて小さく圧縮することが可能となる。
次に、レイアウト部１１１によって設定される画像内のレイアウトの一例について説明する。図５は、本発明の第１の実施の形態において、レイアウト部１１１によって設定される画像内のレイアウトの一例を示す図である。
図５に図示されている画像レイアウトでは、（１）の領域にＭＰＲ画像又はＭＩＰ画像が配置され、（２）の領域にボリュームレンダリング画像が配置されている。ＭＰＲ画像又はＭＩＰ画像とボリュームレンダリング画像とを並べて表示することで、３次元的な外観と形状、内部の状態などが容易に把握できる表示が実現可能である。（１）の領域に配置されたＭＰＲ画像又はＭＩＰ画像と、（２）の領域に配置されたボリュームレンダリング画像とは連携しており、例えば、（１）の領域に配置された３枚のＭＰＲ画像によって表示された各断面位置が、対象のどの位置を切り取った断面に対応しているのかが視覚的に明確となるよう、（２）の領域に配置されたボリュームレンダリング画像内に描画された面によって表現されている。なお、後述のように、各断面位置に対応した色を設定し、それぞれの断面位置を表す線分や面などを色分けして表示することで、より視覚的に明確な断面表示が実現可能である。
また、（３）〜（７）の領域には、任意の情報（関連情報）が挿入されている。例えば（３）の領域にはコメントが配置されている。ユーザは、ＶＲＶＲファイル生成装置１００の操作部１５１を用いて、コメント（文字情報）を入力することが可能である。また、（４）の領域には、関連する画像データ（対象の撮像画像など）が添付されている。関連する画像データとして実物の写真などを添付しておけば、３次元画像との対応関係を更に明確にすることが可能となる。また、画像の点数が多い場合は、マウスの移動によって画像が切り替わるように、各表示用画像で（あるいは複数の表示用画像ごとに）異なる画像データを添付してもよい。
また、（５）、（６）の領域には、このデータに関する計測結果やグラフ、スケール、ヒストグラムなどの各種情報が配置されている。また、（７）の領域には、Ｗｅｂやローカルに置かれたファイルへのリンク、サムネイル画像などが配置されている。また、（８）に示されているように、ＭＰＲ画像又はＭＩＰ画像やボリュームレンダリング画像内の任意の箇所にフラグを立てて、注釈などを記入してもよい。これによって、画像内で特に強調したい箇所（形状的に注目させたい箇所や不具合のあった箇所など）を示すことが可能となる。
なお、図５に図示されているレイアウトは一例であり、画像や関連情報を挿入する領域の数、位置、大きさなどは任意に設定可能である。また、ＭＰＲ画像やボリュームレンダリング画像上に関連情報を挿入するなど、複数の領域が重なり合ってもよい。また、画像内に挿入される関連情報の種類も上述したものに限定されるものではない。例えば、画像内に２次元バーコードを挿入してもよい。
また、図５に図示されているレイアウト例は、図３に示す２次元配列フォーマット内の１つの配置座標に仮想的に配置された表示用画像を示すものである。最終的に生成されるＶＲＶＲファイルでは、図５に図示されているレイアウト設定に基づいて、特に（１）の領域に配置されたＭＰＲ画像及び（２）の領域に配置されたボリュームレンダリング画像を、２次元配列フォーマット内の各配置座標で少しずつ連続して変化する画像とすることによって、少しずつ連続的に断面位置が変化する様子が実現される。なお、（３）〜（７）の領域に含まれる情報や（８）のフラグ及び注釈も、２次元配列フォーマット内の各配置座標に仮想的に配置される各表示用画像で異なるようにしてもよく、あるいは、複数又はすべての表示用画像で同一となるようにしてもよい。また、各表示用画像内に配置される関連情報の領域の位置や大きさを少しずつ連続して変化させることで、表示用画像の表示切り替えとともに、レイアウトそのものが少しずつ変化するようにしてもよい。
次に、図５に図示されているレイアウト例において、特に（１）の領域に注目して説明する。図６は、図５に図示されているレイアウトに含まれている（１）の領域に配置された画像の一例を示す図である。
図６に図示されているように、図５の（１）の領域には、Ｘ、Ｙ、Ｚ軸の３軸の各方向から見た場合のＭＰＲ画像（断面画像）が配置されている。具体的には、対象（樹脂製招き猫のおもちゃ）を正面方向から見たＭＰＲ画像（左上）、側面方向から見たＭＰＲ画像（右上）、上面方向から見たＭＰＲ画像（左下）の３つの断面画像が配置されている。なお、正面方向から見たＭＰＲ画像（左上）は、側面方向から見たＭＰＲ画像（右上）と同一の高さを有し、上面方向から見たＭＰＲ画像（左下）と同一の幅を有するように配置されている。
正面方向から見たＭＰＲ画像（左上）は、側面方向から見たＭＰＲ画像（右上）内の点線Ａ及び上面方向から見たＭＰＲ画像（左下）内の点線Ｂの両方の線を含む面の断面画像である。また、側面方向から見たＭＰＲ画像（右上）は、正面方向から見たＭＰＲ画像（左上）及び上面方向から見たＭＰＲ画像（左下）内の実線Ａを含む面の断面画像である。また、上面方向から見たＭＰＲ画像（左下）は、正面方向から見たＭＰＲ画像（左上）及び側面方向から見たＭＰＲ画像（右上）内の実線Ｂを含む面の断面画像である。
なお、上述した各ＭＰＲ画像の対応関係が視覚的に明確となるよう、正面方向から見たＭＰＲ画像（左上）の外枠Ａの色と点線Ａ及び点線Ｂの色とを同一（例えば、緑色）とし、側面方向から見たＭＰＲ画像（右上）の外枠Ｂの色と実線Ａの色とを同一（例えば、赤色）とし、上面方向から見たＭＰＲ画像（左下）の外枠Ｃの色と実線Ｂの色とを同一（例えば、青色）としてもよい。さらに、図５の（２）の領域に配置されているボリュームレンダリング画像内に描画された各断面位置も、対応する色の線分や面で表されてもよい。
また、図７は、図５に図示されているレイアウトに含まれている（１）の領域の２次元配列フォーマットの一例を示す図である。図７に図示されている２次元配列フォーマットでは、正面方向から見たＭＰＲ画像（左上）を固定画像とし（すなわち、点線Ａ及び点線Ｂを固定）、側面方向から見たＭＰＲ画像（右上）の断面位置を所定のカーソル幅ずつ移動した画像（すなわち、実線Ａの位置を少しずつ変化させた断面画像）がＣｏｌｕｍｎに配置され、上面方向から見たＭＰＲ画像（左下）の断面位置を所定のカーソル幅ずつ移動した画像（すなわち、実線Ｂの位置を少しずつ変化させた断面画像）がＲｏｗに配置されている。
例えば、ＲｏｗとＣｏｌｕｍｎの２つの配列軸によって定まる座標（Ｒｘ，Ｃｙ）で表した場合、座標（６，２）には、座標（１，１）に配置される画像に対して、側面方向から見たＭＰＲ画像（右上）の断面位置を１単位（カーソル幅１つ分）移動した断面画像、上面方向から見たＭＰＲ画像（左下）の断面位置を５単位（カーソル幅５つ分）移動した断面画像が配置されている。なお、図５の（２）の領域においても同様に、（１）の領域に配置されている各断面画像に対応した断面位置に線分又は面が描画されたボリュームレンダリング画像が配置される。
Ｒｏｗ方向又はＣｏｌｕｍｎ方向に隣り合う画像は、各方向に定められたカーソル幅１つ分だけ移動した画像であるが、このカーソル幅を狭くして隣り合う画像のずれを小さくすればするほど、ＶＲＶＲファイルの再生時により滑らかな画像の切り替えを実現することが可能となる。カーソル幅は等間隔であってもよく、あるいは、例えば重要な断面周辺についてはカーソル幅を狭く設定してもよい。
なお、ここでは、ある断面（点線Ａ及び点線Ｂを含む断面）のＭＰＲ画像を正面方向から見たＭＰＲ画像（左上）として配置しているが、上述の説明から分かる通り、左上に配置されている画像は固定画像であり、例えばＭＩＰ画像が配置されてもよい。
なお、図５に図示されているレイアウト例では、（１）の領域に配置されたＭＰＲ画像又はＭＩＰ画像によって表される各断面位置が、（２）の領域に配置されたボリュームレンダリング画像内に描画される各断面位置と連携するように、（１）及び（２）の領域に画像が配置されているが、ＭＰＲ画像又はＭＩＰ画像とボリュームレンダリング画像との連携方法はこれに限定されるものではない。
図８は、本発明の第１の実施の形態において、２次元配列フォーマット内に仮想的に配置された表示用画像の一例であり、ＭＰＲ画像又はＭＩＰ画像とボリュームレンダリング画像との別の連携方法の一例を示す図である。図８では、２次元配列フォーマット内の座標のうちのＲｏｗ方向に２枚、Ｃｏｌｕｍｎ方向に２枚の合計４枚の表示用画像のみが図示されており、その他の座標に配置されている表示用画像については図示省略されている。２次元配列フォーマット内の各座標に配置される表示用画像は、画像の左側に３枚のＭＰＲ画像が配置され、画像の右側に１枚のボリュームレンダリング画像が配置されたレイアウトを有している。
各表示用画像の左側に配置された３枚のＭＰＲ画像は、基本的に、図５及び図６に図示されている３枚のＭＰＲ画像と同様の画像切り替えを実現する。具体的には、対象（コガネムシ）を正面方向から見たＭＰＲ画像（左上）、側面方向から見たＭＰＲ画像（右上）、上面方向から見たＭＰＲ画像（左下）の３つの断面画像が配置されている。なお、ここでは、上面方向から見たＭＰＲ画像（左下）を固定画像としており、左下に配置される画像はＭＩＰ画像であってもよい。
左側に配置された３枚のＭＰＲ画像に係る２次元配列フォーマットは、側面方向から見たＭＰＲ画像（右上）の断面位置を所定のカーソル幅ずつ移動した画像（正面方向から見たＭＰＲ画像（左上）及び上面方向から見たＭＰＲ画像（左下）内の破線の位置を少しずつ変化させた断面画像）がＣｏｌｕｍｎに配置され、正面方向から見たＭＰＲ画像（左上）の断面位置を所定のカーソル幅ずつ移動した画像（側面方向から見たＭＰＲ画像（右上）及び上面方向から見たＭＰＲ画像（左下）内の実線の位置を少しずつ変化させた断面画像）がＲｏｗに配置されている。なお、図８から読み取れるように、ここではＲｏｗ方向及びＣｏｌｕｍｎ方向共に、所定のカーソル幅は１０ｍｍに設定されている。
一方、各表示用画像の右側に配置されたボリュームレンダリング画像は、対象をある方向から見た場合に、あるクリップ切断面（クリップ深さ）で切断された画像（クリップ画像）である。右側に配置されたクリップ画像のみに着目すると、図９に図示されているような２次元配列フォーマットで表される。
図９に図示されている２次元配列フォーマットでは、対象（コガネムシ）のボリュームレンダリング画像に関して、視点（あるいは対象）を水平方向に少しずつ回転した画像がＣｏｌｕｍｎに配置され、クリップ深さを少しずつ大きくした画像がＲｏｗに配置されている。なお、図８から読み取れるように、ここではＲｏｗ方向の変位であるクリップ深さは１０ｍｍに設定され、Ｃｏｌｕｍｎ方向の変位である水平方向の回転角度は１０°に設定されているが、これらの設定に限定されるものではなく、また、例えば重要な視点やクリップ深さについては変位を小さく設定してもよい。
上述のように、各表示用画像は、画像の左側に３枚のＭＰＲ画像が配置され、画像の右側に１枚のボリュームレンダリング画像（クリップ画像）が配置されており、さらに、各表示用画像に関連したクリップ深さ、カーソル座標、水平方向の回転角度などの数値が配置されたレイアウトを有している。図８に図示されている２次元配列フォーマットに基づいて生成されるＶＲＶＲファイルを再生環境５００で再生した場合、例えば、Ｃｏｌｕｍｎ方向に画像表示を切り替える操作が行われた場合には、画面の左側に配置されたＭＰＲ画像における左右方向（Ｘ方向）のカーソル（破線）移動と、画面右側のクリップ画像における対象（３Ｄオブジェクト）の水平方向の回転が同時に実現される。また、例えば、Ｒｏｗ方向に画像表示を切り替える操作が行われた場合には、画面の左側に配置されたＭＰＲ画像における上下方向（Ｙ方向）のカーソル（実線）移動と、画面右側のクリップ画像におけるクリップ深さの変化が同時に実現される。
また、本発明では、画像表示の透明度が変化するように、表示用画像を２次元配列フォーマット内に仮想的に配置することも可能である。図１０は、本発明の第１の実施の形態において、画像表示の透明度の変化を実現するための２次元配列フォーマットの一例を示す図である。
図１０に図示されているように、２次元配列フォーマットには、ある方向から対象を見たボリュームレンダリング画像に関し、外観形状を可視化した不透明な画像、内部の状態が透けて見えるようにした半透明な画像、内部の特定の箇所（例えば内部欠陥）のみ見えるようにした画像が配置されている。なお、ここでは、Ｒｏｗ方向の１列目に不透明な画像、２列目に半透明な画像、３列目に内部欠陥のみを表示した画像が配置されており、Ｃｏｌｕｍｎ方向の変位である水平方向の回転角度は１１．２５°に設定されているが、これらの設定に限定されるものではなく、各画素の他の特性（例えば、色）が変化するよう設定されてもよい。
例えば、ＲｏｗとＣｏｌｕｍｎの２つの配列軸によって定まる座標（Ｒｘ，Ｃｙ）で表した場合、座標（１，１）には正面から見た外観形状を可視化した不透明な画像、座標（２．１）には正面から見た内部結果が透けて見えるようにした半透明な画像、座標（３．１）には正面から見た内部欠陥のみが見えるようにした画像が配置されている。また、座標（１，６）には正面に対して水平方向に４５°回転した視点から見た外観形状を可視化した不透明な画像、座標（２．６）には正面に対して水平方向に４５°回転した視点から見た内部結果が透けて見えるようにした半透明な画像、座標（３．６）には正面に対して水平方向に４５°回転した視点から見た内部欠陥のみが見えるようにした画像が配置されている。
また、本発明では、例えば、定期的又は不定期に撮像された対象の状態を表す一連の表示用画像や、処理前及び処理後に撮像された対象の状態を表す一連の表示用画像を、２次元配列フォーマットを構成する任意の配列軸に沿って配置することで、時間経過と共に対象が変化する様子を把握できるようにすることも可能である。図１１は、本発明の第１の実施の形態において、対象の状態に関連して、時間の経過に伴う変化を実現するための２次元配列フォーマットの一例を示す図である。なお、図１１には、電子基盤上のはんだボールが熱衝撃耐久試験を繰り返す過程において、１回目から４回目の試験が終わった後の状態を表すクリップ画像が表示用画像として使用されている。
図１１に図示されているように、２次元配列フォーマットのＣｏｌｕｍｎ方向には、所定の方向から対象（はんだボール）を見た場合に所定のクリップ深さで切断したクリップ画像に関し、１回目の試験後の状態を表示する画像、２回目の試験後の状態を表示する画像、３回目の試験後の状態を表示する画像、４回目の試験後の状態を表示する画像が配置されている。なお、Ｒｏｗ方向には、各回の試験後の画像に関し、任意の変化（例えば、視点の回転、クリップ深さの変化、透明度又は色の変化など）を実現する画像を配置することが可能である。
なお、本発明の第１の実施の形態では、所望の画像切り替えを考慮して、一連のボリュームレンダリング画像群（画像が連続して変化する複数のボリュームレンダリング画像）、一連のＭＰＲ画像群（画像が連続して変化する複数のＭＰＲ画像）、一群のＭＩＰ画像群（複数のＭＩＰ画像）を生成し、これらの画像群に含まれる画像を任意に組み合わせた画像レイアウトを設定して新たに一連の表示画像群（画像が連続して変化する複数の表示画像用データ）を生成して、所定の規則に従って画像表示切り替えが実現される配列状のフォーマット（例えば、ＱｕｉｃｋＴｉｍｅフォーマット）で一連の表示画像群が格納されたＶＲＶＲファイルを生成することが可能である。これによって、ユーザが対話的な操作を行うことで画像が動的に変化する画像表示を１つのＶＲＶＲファイルの再生によって実現することが可能となる。また、画像レイアウトを設定する際に、データに付随する様々な関連情報を表示用画像に挿入することで、ＶＲＶＲファイルの再生環境において、画像閲覧と同時に、関連情報を閲覧することが可能となる。
また、ボリュームレンダリング、ＭＰＲ、ＭＩＰなどに基づいて生成された一連の表示画像データ群が、ＭＰＲ画像によって表示される断面の位置が連続して変化する複数の画像、ボリュームレンダリング画像に係る視点の位置が連続して変化する複数の画像、ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の画像、画像表示の透明度又は色が変化する複数の画像、時間的に連続して変化する複数の画像を組み合わせて配列されることで、ボリュームレンダリング、ＭＰＲ、ＭＩＰなどを始めとした３次元画像の多彩な表現を実現するＶＲＶＲファイルを生成することが可能となる。
なお、上述の説明では、レイアウト部１１１によって、複数の画像を組み合わせたり、関連情報を挿入したりすることによってレイアウトを設定するレイアウト処理が行われているが、レイアウト処理を行わずに、ボリュームレンダリング部１０５やＭＰＲ／ＭＩＰ構築部１０７で生成された連続して変化する一連の画像群を一連の表示用画像群として取り扱って、ＶＲＶＲファイルを生成することも可能である。例えば、図９〜図１１に図示されている２次元配列フォーマットに基づいてＶＲＶＲファイルを生成することで、ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する画像切り替え（図９）、画像表示の透明度又は色が変化する画像切り替え（図１０）、時間的に連続して変化する画像切り替え（図１１）などが実現される。
＜第２の実施の形態＞
上述の本発明に係る第１の実施の形態では、例えば、現在のＱｕｉｃｋＴｉｍｅフォーマットに従って表示用画像を２次元配列フォーマットとして配置することで、再生環境５００は、ＶＲＶＲファイルと簡単なプレーヤ（例えば、ＱｕｉｃｋＴｉｍｅプレーヤ）さえ用意すれば、意図された画像切り替えを実現することが可能である。
一方、本発明は、現在のＱｕｉｃｋＴｉｍｅフォーマットに従った２次元配列フォーマットに限定されるものではなく、表示用画像をＮ（Ｎは３以上の整数）次元配列フォーマット内に配置してもよい。２次元配列フォーマットでは２本の配列軸が存在し、２次元配列フォーマット内において各配列軸に沿って隣接する表示用画像は４枚存在する。ＱｕｉｃｋＴｉｍｅプレーヤは、これら４方向に対してマウスの上下左右の移動又は４方向のカーソルキーを関連付けることで各配列軸に沿って隣接した画像の表示切り替えを行っている。一方、Ｎ次元配列フォーマットでは配列軸がＮ本存在し、Ｎ次元配列フォーマット内において各配列軸に沿って隣接する表示用画像は２×Ｎ枚となる。この場合、ＶＲＶＲファイル生成装置１００は、Ｎ次元配列フォーマットを定義したフォーマットでＶＲＶＲファイルを生成し、再生環境５００においても、共通のフォーマットに基づいて２×Ｎ方向で隣接した画像の表示切り替えを行うプレーヤを準備することで、所望の画像切り替えを実現することが可能となる。
また、ＶＲＶＲファイル生成装置１００は、現在のＱｕｉｃｋＴｉｍｅフォーマットで定義されている２次元配列フォーマットを維持しながら、Ｎ次元配列フォーマットを含むＶＲＶＲファイルを生成することも可能である。上述のように、Ｎ次元配列フォーマットでは各配列軸に沿って隣接する表示用画像は２×Ｎ枚存在する。例えばＶＲＶＲファイル生成装置１００は、ある座標に対する２×Ｎ個の隣接座標を２次元配列フォーマット内に定義し、その規則に従って表示用画像を配置してＶＲＶＲファイルを生成し、一方、再生環境５００では、共通の規則に従って２×Ｎ方向で隣接した画像の表示切り替えを行うプレーヤを準備することで、所望の画像切り替えを実現することが可能となる。
また、ＶＲＶＲファイル生成装置１００は、現在のＱｕｉｃｋＴｉｍｅフォーマットで定義されている２次元配列フォーマットを維持しながら、複数の２次元配列フォーマットを含むＶＲＶＲファイルを生成することも可能である。例えばＶＲＶＲファイル生成装置１００は、複数の異なる２次元配列フォーマットを用意し、所定の規則に従って表示用画像を配置してＶＲＶＲファイルを生成する。例えば、２つの２次元配列フォーマットを用意した場合には、表示用画像を市松模様に配置（ＸＹ座標の和が奇数又は偶数で異なる２次元配列フォーマットの表示用画像を配置）したり、あるいは、交互に配置（Ｘ座標が奇数又は偶数で異なる２次元配列フォーマットの表示用画像を配置）したりすることで、１つの２次元配列フォーマット内に２つの異なる２次元配列フォーマットに属した表示用画像を配置することが可能となる。一方、再生環境５００では、共通の規則に従って２つの異なる２次元配列フォーマットを識別して画像の表示切り替えを行うプレーヤを準備することで、所望の画像切り替えを実現することが可能となる。なお、上記の市松模様状の配置や交互配置を応用することで、複数の異なる２次元配列フォーマットを１つの２次元配列フォーマットで実現することも可能であり、また、さらに、複数の異なる２次元配列フォーマットを関連付けることで、Ｎ次元配列フォーマットを実現することも可能である。
なお、上述のようなＮ次元配列フォーマットにおける画像切り替えに対応したプレーヤが今後普及した場合には、ＶＲＶＲファイルの再生にこのプレーヤを利用してもよく、また、Ｎ次元配列フォーマットにおける画像切り替えに対応したプレーヤを独自に準備してもよい。
本発明は、画像処理技術に適用可能であり、特に、３次元画像デバイスから出力される連続的な断層画像（３次元画像データ）に基づく表示用画像データファイルの生成技術、及び、表示用画像データファイルの表示技術などに適用可能である。
１００ ＶＲＶＲファイル生成装置（表示用画像データファイル生成装置）
１０１ 入力部
１０３ ＬＵＴ調整部
１０５ ボリュームレンダリング部
１０７ ＭＰＲ／ＭＩＰ構築部
１０９ バッファ
１１１ レイアウト部
１１３ 出力部
１１５ バッチ処理部
１１７ 圧縮部
２００ Ｘ線ＣＴ装置
３００ ３次元画像データ格納部
４００ ファイル格納部
５００ 再生環境（表示用画像データファイル表示装置）

Claims (25)

  1. 複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
    対象の連続的な断層画像を取得する入力部と、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
    前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
    前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
    前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像のいずれかを選択的に組み合わせて表示画面の所定領域にそれぞれ表示するよう、一連の表示用画像群を新たに生成するレイアウト部と、
    所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
    有する表示用画像データファイル生成装置。
  2. 前記レイアウト部は、それぞれ２つの異なる視点から見た場合の２枚のＭＰＲ画像に加えて、前記２つの異なる視点とは更に異なる視点から見た場合のＭＰＲ画像又はＭＩＰ画像を基準画像として同一画像内に配置して１枚の表示用画像とし、前記２枚のＭＰＲ画像によって表示される断面の位置がそれぞれ連続して変化する前記一連の表示用画像群を生成する請求項１に記載の表示用画像データファイル生成装置。
  3. 前記表示用画像データファイルを再生して前記一連の表示用画像群のうちの任意の表示用画像が表示された場合に、第１のユーザ操作に応じて、前記第１のユーザ操作前に表示された前記１枚の表示用画像に配置されている前記２枚のＭＰＲ画像のうちの第１のＭＰＲ画像の断面の位置が変化した表示用画像に表示が切り替えられ、第２のユーザ操作に応じて、前記第２のユーザ操作前に表示された前記１枚の表示用画像に配置されている前記２枚のＭＰＲ画像のうちの第２のＭＰＲ画像の断面の位置が変化した表示用画像に表示が切り替えられる請求項２に記載の表示用画像データファイル生成装置。
  4. 前記１枚の表示用画像内に配置されている前記２枚のＭＰＲ画像によって表示された２つの断面の位置が、それぞれ前記基準画像内に描画された線分で示されている請求項２又は３に記載の表示用画像データファイル生成装置。
  5. 前記１枚の表示用画像内に配置される前記２枚のＭＰＲ画像がそれぞれ異なる色の外枠によって囲まれており、前記２枚のＭＰＲ画像のそれぞれの断面の位置を示す前記基準画像内の前記線分の色が、前記２枚のＭＰＲ画像のそれぞれの外枠の色と同一である請求項４に記載の表示用画像データファイル生成装置。
  6. 前記レイアウト部は、前記１枚の表示用画像内に、さらに前記ボリュームレンダリング画像を配置する請求項２に記載の表示用画像データファイル生成装置。
  7. 前記１枚の表示用画像内に配置される前記２枚のＭＰＲ画像によって表示された２つの断面の位置が、それぞれ前記ボリュームレンダリング画像内に描画された線分又は面で示されている請求項６に記載の表示用画像データファイル生成装置。
  8. 前記１枚の表示用画像内に配置される前記２枚のＭＰＲ画像がそれぞれ異なる色の外枠によって囲まれており、前記２枚のＭＰＲ画像のそれぞれの断面の位置を示す前記ボリュームレンダリング画像内の前記線分又は前記面の色が、前記２枚のＭＰＲ画像のそれぞれの外枠の色と同一である請求項７に記載の表示用画像データファイル生成装置。
  9. 前記レイアウト部は、それぞれ２つの異なる視点から見た場合の２枚のＭＰＲ画像に加えて、前記２つの異なる視点とは更に異なる視点から見た場合のＭＰＲ画像又はＭＩＰ画像を基準画像として同一画像内に配置するとともに、前記ボリュームレンダリング画像を配置し、前記２枚のＭＰＲ画像によって表示される断面の位置がそれぞれ連続して変化し、かつ、前記ボリュームレンダリング画像に係る第１及び第２の表示態様がそれぞれ連続して変化する前記一連の表示用画像群を生成する請求項１に記載の表示用画像データファイル生成装置。
  10. 前記表示用画像データファイルを再生して前記一連の表示用画像群のうちの任意の表示用画像が表示された場合に、第１のユーザ操作に応じて、前記第１のユーザ操作前に表示された前記１枚の表示用画像に含まれる前記２枚のＭＰＲ画像のうちの第１のＭＰＲ画像の断面の位置が変化し、かつ、前記ボリュームレンダリング画像の第１の表示態様が変化した表示用画像に表示が切り替えられ、第２のユーザ操作に応じて、前記第２のユーザ操作前に表示された前記１枚の表示用画像に含まれる前記２枚のＭＰＲ画像のうちの第２のＭＰＲ画像の断面の位置が変化し、かつ、前記ボリュームレンダリング画像の第２の表示態様が変化した表示用画像に表示が切り替えられる請求項９に記載の表示用画像データファイル生成装置。
  11. 前記レイアウト部は、前記１枚の表示用画像内に、関連情報を挿入するための関連情報領域を配置する請求項１から１０のいずれか１つに記載の表示用画像データファイル生成装置。
  12. 前記レイアウト部は、前記一連の表示用画像群のうちの各表示用画像に配置されている前記関連情報領域にそれぞれ異なる前記関連情報を挿入するか、あるいは、前記一連の表示用画像群のうちの複数又はすべての表示用画像に配置されている前記関連情報領域に同一の関連情報を挿入する請求項１１に記載の表示用画像データファイル生成装置。
  13. 複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
    対象の連続的な断層画像を取得する入力部と、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
    前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
    前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
    前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
    有し、
    前記表示用画像データファイル生成部が、
    （１）前記ＭＰＲ画像によって表示される断面の位置が連続して変化する複数の表示用画像
    （２）前記ボリュームレンダリング画像に係る視点の位置が連続して変化する複数の表示用画像
    （３）前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像
    （４）画像表示の透明度又は色が変化する複数の表示用画像
    （５）時間的に連続して変化する複数の表示用画像
    のうちの２つ以上の組み合わせによって設定された前記一連の表示用画像群を取得する表示用画像データファイル生成装置。
  14. 複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
    対象の連続的な断層画像を取得する入力部と、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
    生成された前記一連のボリュームレンダリング画像群を蓄積するバッファと、
    前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するファイル生成部とを、
    有し、
    前記Ｎ次元配列フォーマットの配列軸の１つに沿って、前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像が配置される表示用画像データファイル生成装置。
  15. 複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
    対象の連続的な断層画像を取得する入力部と、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
    前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
    前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
    前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
    有し、
    前記Ｎ次元配列フォーマットの配列軸の１つに沿って、画像表示の透明度又は色が変化する複数の表示用画像が配置される表示用画像データファイル生成装置。
  16. 複数の画像データに基づいて表示用画像データファイルを生成する表示用画像データファイル生成装置であって、
    対象の連続的な断層画像を取得する入力部と、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリング部と、
    前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成部と、
    前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成部と、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するバッファと、
    前記バッファに蓄積されている前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成する表示用画像データファイル生成部とを、
    有し、
    前記Ｎ次元配列フォーマットの配列軸の配列軸に沿って、時間的に連続して変化する複数の表示用画像が配置される表示用画像データファイル生成装置。
  17. 前記所定の規則において、前記表示用画像データファイルを再生して前記一連の表示用画像群のうちの任意の表示用画像が表示された場合に、所定のユーザ操作に応じて、Ｎ次元配列フォーマットの各配列軸によって形成される面に関して、前記所定のユーザ操作前に表示された前記１枚の表示用画像と同一の面に含まれる所定の位置に配置された表示用画像に表示が切り替えられることが定められている請求項１から１６のいずれか１つに記載の表示用画像データファイル生成装置。
  18. 前記所定の位置が、Ｎ次元配列フォーマットの各配列軸方向に関して隣接した位置である請求項１７に記載の表示用画像データファイル生成装置。
  19. 前記Ｎが２である請求項１から１８のいずれか１つに記載の表示用画像データファイル生成装置。
  20. 請求項１から１９のいずれか１つに記載の表示用画像データファイル生成装置によって生成された前記表示用画像データファイルを再生及び表示する表示用画像データファイル表示装置であって、
    前記表示用画像データファイルを取得する入力部と、
    前記表示用画像データファイルを再生して前記表示用画像データファイルに含まれている一連の表示用画像群のうちの任意の表示用画像を表示装置の画面に表示する表示部と、
    所定のユーザ操作に応じて、前記Ｎ次元配列フォーマットの各配列軸によって形成される面に関して、前記所定のユーザ操作前に表示された前記１枚の表示用画像と同一の面に含まれる所定の位置に配置された表示用画像を表示装置の画面に表示する表示制御部とを、
    有する表示用画像データファイル表示装置。
  21. 前記所定の位置が、前記Ｎ次元配列フォーマットの各配列軸方向に関して隣接した位置である請求項２０に記載の表示用画像データファイル表示装置。
  22. 前記Ｎが２である請求項２０又は２１に記載の表示用画像データファイル表示装置。
  23. 複数の画像データに基づいて表示用画像データファイルを生成するための表示用画像データファイル生成プログラムであって、
    対象の連続的な断層画像を取得するステップと、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリングステップ、前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成ステップ、前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成ステップの少なくとも１つ以上を行うステップと、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するステップと、
    蓄積された前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像のいずれかを選択的に組み合わせて表示画面の所定領域にそれぞれ表示するよう、一連の表示用画像群を新たに生成するステップと、
    所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するステップとを、
    コンピュータに実行させる表示用画像データファイル生成プログラム。
  24. 複数の画像データに基づいて表示用画像データファイルを生成するための表示用画像データファイル生成プログラムであって、
    対象の連続的な断層画像を取得するステップと、
    前記連続的な断層画像に基づいてボリュームレンダリング処理を行い、連続して変化する一連のボリュームレンダリング画像群を生成することが可能なボリュームレンダリングステップと、前記連続的な断層画像に基づいてＭＰＲ処理を行い、連続して変化する一連のＭＰＲ画像群を生成することが可能なＭＰＲ画像生成ステップと、前記連続的な断層画像に基づいてＭＩＰ処理を行い、一群のＭＩＰ画像群を生成することが可能なＭＩＰ画像生成ステップの少なくとも１つ以上を行うステップと、
    生成された前記一連のボリュームレンダリング画像群、前記一連のＭＰＲ画像群、前記一群のＭＩＰ画像群を蓄積するステップと、
    蓄積された前記一連のボリュームレンダリング画像群に含まれる複数のボリュームレンダリング画像、前記一連のＭＰＲ画像群に含まれる複数のＭＰＲ画像、前記一群のＭＩＰ画像群に含まれる複数のＭＩＰ画像の中から一連の表示用画像群を取得し、所定の規則に従ってＮ（Ｎは２以上の整数）次元配列フォーマット内に仮想的に配置された前記一連の表示用画像群を含む表示用画像データファイルを生成するステップとを、
    コンピュータに実行させる表示用画像データファイル生成プログラムであり、
    前記表示用画像データファイルを生成する前記ステップにおいて、
    （１）前記ＭＰＲ画像によって表示される断面の位置が連続して変化する複数の表示用画像
    （２）前記ボリュームレンダリング画像に係る視点の位置が連続して変化する複数の表示用画像
    （３）前記ボリュームレンダリング画像に係るクリップ切断面の深さが連続して変化する複数の表示用画像
    （４）画像表示の透明度又は色が変化する複数の表示用画像
    （５）時間的に連続して変化する複数の表示用画像
    のうちの２つ以上の組み合わせによって設定された前記一連の表示用画像群を取得する表示用画像データファイル生成プログラム。
  25. 請求項２３又は２４に記載の表示用画像データファイル生成プログラムをコンピュータに実行させることによって生成された前記表示用画像データファイルを再生及び表示する表示用画像データファイル表示プログラムであって、
    前記表示用画像データファイルを取得するステップと、
    前記表示用画像データファイルを再生して前記表示用画像データファイルに含まれている一連の表示用画像群のうちの任意の表示用画像を表示装置の画面に表示するステップと、
    所定のユーザ操作に応じて、前記Ｎ次元配列フォーマットの各配列軸によって形成される面に関して、前記所定のユーザ操作前に表示された前記１枚の表示用画像と同一の面に含まれる所定の位置に配置された表示用画像を表示装置の画面に表示するステップとを、
    コンピュータに実行させる表示用画像データファイル表示プログラム。
JP2012065353A 2012-03-22 2012-03-22 表示用画像データファイル生成装置及び表示装置並びにプログラム Active JP5582584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012065353A JP5582584B2 (ja) 2012-03-22 2012-03-22 表示用画像データファイル生成装置及び表示装置並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012065353A JP5582584B2 (ja) 2012-03-22 2012-03-22 表示用画像データファイル生成装置及び表示装置並びにプログラム

Publications (2)

Publication Number Publication Date
JP2013192856A true JP2013192856A (ja) 2013-09-30
JP5582584B2 JP5582584B2 (ja) 2014-09-03

Family

ID=49392495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012065353A Active JP5582584B2 (ja) 2012-03-22 2012-03-22 表示用画像データファイル生成装置及び表示装置並びにプログラム

Country Status (1)

Country Link
JP (1) JP5582584B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093506A (ja) * 2014-11-11 2016-05-26 日本ビジュアルサイエンス株式会社 断層像データ生成装置、断層像データ生成方法、断層像データ生成用プログラム、立体模型並びに立体模型用留め具
WO2018096638A1 (ja) * 2016-11-24 2018-05-31 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム
WO2019116619A1 (ja) * 2017-12-14 2019-06-20 株式会社島津製作所 放射線断層画像処理装置および放射線断層撮影装置
US10991148B2 (en) 2018-08-13 2021-04-27 Canon Medical Systems Corporation Medical image rendering method and apparatus
CN117717367A (zh) * 2024-02-07 2024-03-19 赛诺威盛科技(北京)股份有限公司 用于站立位计算机断层扫描的辅助摆位系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7142201B2 (ja) * 2017-12-28 2022-09-27 日本ビジュアルサイエンス株式会社 撮影システム及び画像処理装置並びに画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002095014A (ja) * 2000-09-11 2002-03-29 Canon Inc ステレオ画像表示装置、ステレオ画像表示方法及び記憶媒体
JP2005510324A (ja) * 2001-11-23 2005-04-21 ヴォクサー・リミテッド イメージデータセットの操作によって生成されたイメージデータの扱い
JP2005169116A (ja) * 2003-12-08 2005-06-30 Siemens Ag 融合画像表示方法
JP2008503258A (ja) * 2004-06-18 2008-02-07 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド マルチモード視覚化を使用して病気の進行または治療効果を監視するシステムおよび方法
JP2009077006A (ja) * 2007-09-19 2009-04-09 Dainippon Printing Co Ltd データ放送画面に二次元コードを表示させる方法、システム、データ放送番組、データ放送番組データ、データ放送番組プログラム、

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002095014A (ja) * 2000-09-11 2002-03-29 Canon Inc ステレオ画像表示装置、ステレオ画像表示方法及び記憶媒体
JP2005510324A (ja) * 2001-11-23 2005-04-21 ヴォクサー・リミテッド イメージデータセットの操作によって生成されたイメージデータの扱い
JP2005169116A (ja) * 2003-12-08 2005-06-30 Siemens Ag 融合画像表示方法
JP2008503258A (ja) * 2004-06-18 2008-02-07 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド マルチモード視覚化を使用して病気の進行または治療効果を監視するシステムおよび方法
JP2009077006A (ja) * 2007-09-19 2009-04-09 Dainippon Printing Co Ltd データ放送画面に二次元コードを表示させる方法、システム、データ放送番組、データ放送番組データ、データ放送番組プログラム、

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093506A (ja) * 2014-11-11 2016-05-26 日本ビジュアルサイエンス株式会社 断層像データ生成装置、断層像データ生成方法、断層像データ生成用プログラム、立体模型並びに立体模型用留め具
WO2018096638A1 (ja) * 2016-11-24 2018-05-31 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム
JPWO2018096638A1 (ja) * 2016-11-24 2019-10-17 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム
WO2019116619A1 (ja) * 2017-12-14 2019-06-20 株式会社島津製作所 放射線断層画像処理装置および放射線断層撮影装置
CN111343922A (zh) * 2017-12-14 2020-06-26 株式会社岛津制作所 放射线断层图像处理装置和放射线断层摄影装置
JPWO2019116619A1 (ja) * 2017-12-14 2020-10-22 株式会社島津製作所 放射線断層画像処理装置および放射線断層撮影装置
US10991148B2 (en) 2018-08-13 2021-04-27 Canon Medical Systems Corporation Medical image rendering method and apparatus
CN117717367A (zh) * 2024-02-07 2024-03-19 赛诺威盛科技(北京)股份有限公司 用于站立位计算机断层扫描的辅助摆位系统及方法
CN117717367B (zh) * 2024-02-07 2024-05-14 赛诺威盛科技(北京)股份有限公司 用于站立位计算机断层扫描的辅助摆位系统及方法

Also Published As

Publication number Publication date
JP5582584B2 (ja) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5582584B2 (ja) 表示用画像データファイル生成装置及び表示装置並びにプログラム
US11707238B2 (en) Dental panoramic views
US11395715B2 (en) Methods and systems for generating and using 3D images in surgical settings
EP0932884B1 (en) Advanced diagnostic viewer
JP2004145832A (ja) コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
WO2012011215A1 (ja) 画像処理装置、画像表示装置、画像処理方法、および画像ファイルのデータ構造
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
TW201015488A (en) Mapping graphics instructions to associated graphics data during performance analysis
CN108305309A (zh) 基于立体动画的人脸表情生成方法和装置
JP2005267655A (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
WO2020081017A1 (en) A method based on unique metadata for making direct modifications to 2d, 3d digital image formats quickly and rendering the changes on ar/vr and mixed reality platforms in real-time
Liu et al. Narrative scientific data visualization in an immersive environment
JP4845975B2 (ja) 映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム
JP4987124B2 (ja) グラフィックデータ提供方法及びグラフィックデータ表示方法
US20200219329A1 (en) Multi axis translation
US20230033201A1 (en) Image processing apparatus, image processing method, and storage medium
JP2003337940A (ja) 三次元パノラマ画像編集方法および三次元パノラマ画像表示装置
Schulze et al. Advanced applications of virtual reality
US11113868B2 (en) Rastered volume renderer and manipulator
US12033268B2 (en) Volumetric dynamic depth delineation
Berthaut Musical Exploration of Volumetric Textures in Mixed and Virtual Reality
US20230042865A1 (en) Volumetric dynamic depth delineation
TWM547152U (zh) 醫學影像建模設備
TWI302675B (ja)
CN115019019B (zh) 一种实现3d特效编辑器的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20131220

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140710

R150 Certificate of patent or registration of utility model

Ref document number: 5582584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250