JP2016224776A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2016224776A
JP2016224776A JP2015111783A JP2015111783A JP2016224776A JP 2016224776 A JP2016224776 A JP 2016224776A JP 2015111783 A JP2015111783 A JP 2015111783A JP 2015111783 A JP2015111783 A JP 2015111783A JP 2016224776 A JP2016224776 A JP 2016224776A
Authority
JP
Japan
Prior art keywords
data
opacity
voxel data
function
volume rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015111783A
Other languages
English (en)
Other versions
JP6543099B2 (ja
Inventor
松本 和彦
Kazuhiko Matsumoto
和彦 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
C4c Medical Software Inc
Original Assignee
C4c Medical Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by C4c Medical Software Inc filed Critical C4c Medical Software Inc
Priority to JP2015111783A priority Critical patent/JP6543099B2/ja
Publication of JP2016224776A publication Critical patent/JP2016224776A/ja
Application granted granted Critical
Publication of JP6543099B2 publication Critical patent/JP6543099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

【課題】ボリュームレンダリング画像をもとにそのボリュームレンダリング画像を再現する技術を提供する。【解決手段】取得部は、ボクセルデータ、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、およびボクセルデータとセグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する。推定部は、ボクセルデータ、セグメンテーションデータ、およびレンダリング画像をもとに、ボリュームレンダリングに用いられたパラメータを推定する。表示出力部は、推定部が推定したパラメータを用いてボクセルデータをボリュームレンダリングした結果を表示部に出力する。【選択図】図1

Description

この発明は、情報処理装置、情報処理方法、およびプログラムに関し、特にボクセルデータのボリュームレンダリング技術に関する。
近年のコンピュータの急速な発達により、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)等の各種モダリティから得られる大量のデータを、医師等の医療従事者に3次元的に提示する技術が普及している。このような技術としては、例えばボリュームレンダリング処理があげられる。一般に、上述のようなモダリティから得られるデータは膨大であり、ボリュームレンダリングのような処理には高価かつ高性能なワークステーション等の計算機が必要となる。ボリュームレンダリング処理は、例えば非特許文献1に開示されている。
Pawasauskas, John, "Volume Visualization With Ray Casting", CS563-Advanced Topics in Computer Graphics, Feb. 18, 1997, http://web.cs.wpi.edu/~matt/courses/cs563/talks/powwie/p1/ray-cast.htm(アクセス日:2015年5月6日)。
本願の発明者は、ワークステーション等の処理結果であるボリュームレンダリング画像をもとにして、そのボリュームレンダリング処理を再現することができれば、ワークステーション等が存在しない環境においても医療従事者等に対してボリュームレンダリング処理を提供できる可能性について認識するに到った。
本発明はこのような課題に鑑みてなされたものであり、その目的は、ボリュームレンダリング画像をもとにそのボリュームレンダリング画像を再現する技術を提供することにある。
上記課題を解決するために、本発明のある態様の情報処理装置は、ボクセルデータ、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、およびボクセルデータとセグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得部と、ボクセルデータ、セグメンテーションデータ、およびレンダリング画像をもとに、ボリュームレンダリングに用いられたパラメータを推定する推定部と、推定部が推定したパラメータを用いてボクセルデータをボリュームレンダリングした結果を表示部に出力する表示出力部とを備える。
推定部は、少なくともボリュームレンダリングで用いられるオパシティ決定関数を特定するパラメータを推定し、オパシティ決定関数は、ボクセルデータの値をオパシティに変換する関数であってもよい。
推定部は、セグメンテーションデータがラベリングする領域それぞれについて、オパシティ決定関数を特定するパラメータを推定してもよい。
基準となるオパシティ決定関数を設定する基準関数設定部と、推定部が推定したパラメータそれぞれから特定されるオパシティ決定関数を決定する関数決定部と、関数決定部が決定したオパシティ決定関数が変換するオパシティと同一のオパシティが基準となるオパシティ決定関数によって変換されるように、ボクセルデータの値を変更するデータ変換部をさらに備えてもよい。
基準関数設定部は、推定部が推定した2以上のパラメータの中から選択した一つのパラメータによって特定されるオパシティ決定関数を基準となるオパシティ決定関数として設定してもよい。
本発明の別の態様は、情報処理方法である。この方法は、ボクセルデータ、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、およびボクセルデータとセグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得ステップと、ボクセルデータ、セグメンテーションデータ、およびレンダリング画像をもとに、ボリュームレンダリングに用いられたパラメータを推定する推定ステップと、推定したパラメータを用いて、ボクセルデータに対してレンダリングした結果を表示する表示ステップとをプロセッサが実行する。
本発明のさらに別の態様は、プログラムである。このプログラムは、コンピュータに、ボクセルデータ、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、およびボクセルデータとセグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得機能と、ボクセルデータ、セグメンテーションデータ、およびレンダリング画像をもとに、ボリュームレンダリングに用いられたパラメータを推定する推定機能と、推定したパラメータを用いて、ボクセルデータに対してレンダリングした結果を表示する表示機能とを実現させる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ボリュームレンダリング画像をもとにそのボリュームレンダリング画像を再現する技術を提供する技術を提供することができる。
本発明の実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 セグメンテーションデータを説明するための模式図である。 図3(a)−(b)は、オパシティ決定関数の概形を示す図である。 本発明の実施の形態に係る情報処理装置が実行するパラメータ推定処理の流れを説明するフローチャートである。 本発明の実施の形態に係るデータ変換部が実行する前処理の結果を示す模式図である。 本発明の実施の形態に係るデータ変換部が実行する前処理の流れを説明するフローチャートである。
本発明の実施の形態に係る情報処理装置の概要を述べる。実施の形態に係る情報処理装置は、例えばタブレットPC(Personal Computer)やノートPC、スマートフォンのような携帯端末、あるいはPC等の据え置き型の計算機で実現される。実施の形態に係る情報処理装置は、CTやMR等の3次元計測装置が生成したボクセルデータをもとに、他の装置が生成したボリュームレンダリング画像を取得する。情報処理装置は、そのボリュームレンダリング画像と、元となるボクセルデータおよびボクセルデータを複数の領域にラベリングするセグメンテーションデータとをもとに、ボリュームレンダリング画像を生成する際に設定されたパラメータを推定する。このパラメータは、例えばボクセルデータに対して設定するオパシティを決定するためのオパシティ決定関数を特定するパラメータである。これにより、実施の形態に係る情報処理装置は、他の装置が存在しない環境においても、その装置が生成するボリュームレンダリング画像を再現することができる。
オパシティ決定関数は異なるラベリング領域それぞれに設定されるのが通常である。したがって、ボリュームレンダリング処理を実行する装置は、ボクセルデータを走査しながらラベリング領域毎にオパシティ決定関数を選択してオパシティを決定する。これに対し、実施の形態に係る情報処理装置は、まず推定した複数のオパシティ決定関数の中からひとつのオパシティ決定関数を選択する。情報処理装置は続いて、ボクセルデータ全体に対して選択したオパシティ決定関数を適用して得られるオパシティが、ラベリング領域毎にオパシティ決定関数を選択しながら決定したオパシティとなるように、ボクセルデータの値自体を変更する。これにより、実施の形態に係る情報処理装置は、オパシティ決定関数の選択等に係るメモリアクセスを抑制でき、ボリュームレンダリング処理の負荷を軽減することができる。結果として、実施の形態に係る情報処理装置は、計算リソースが小さい場合であってもユーザにボリュームレンダリング処理を提供することができる。
以下図面を参照して実施の形態に係る情報処理装置を詳細に説明する。
図1は、本発明の実施の形態に係る情報処理装置100の機能構成を模式的に示す図である。実施の形態に係る情報処理装置100は、制御部10と記憶部20とを備える。制御部10は、取得部30、推定部40、基準関数設定部50、データ変換部60、関数決定部70、描画部80、および表示出力部90を備える。
図1は、実施の形態に係る情報処理装置100のパラメータ推定処理、およびボクセルデータの値変更処理を実現するための機能構成を示しており、その他の構成は省略している。図1において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メインメモリ、その他のLSI(Large Scale Integration)で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。なお、このプログラムは、コンピュータが読み出し可能な記録媒体に格納されていてもよく、通信回線を介してネットワークからダウンロードされてもよい。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
記憶部20は、CTやMRI、超音波診断装置等のモダリティが生成したボクセルデータを格納する。例えばCTが生成したボクセルデータは、被験者である人体のCT値またはHU(Hounsfield Unit;ハンスフィールドユニット)で構成される3次元データである。記憶部20はまた、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータも格納する。セグメンテーションデータとは、例えばボクセルデータのうち「骨」が存在する領域、「血管」が存在する領域、「空気や水」が存在する領域、「脂肪等の軟部組織」が存在する領域をラベリングするデータである。
記憶部20はさらに、ボクセルデータとセグメンテーションデータとをもとに、情報処理装置100とは異なる他の装置(以下本明細書において「外部装置」と記載することがある。)がボリュームレンダリング処理をして得られたレンダリング画像も格納する。取得部30は、記憶部20を参照してボクセルデータ、セグメンテーションデータ、およびレンダリング画像を取得する。
図2は、実施の形態に係る情報が処理するセグメンテーションデータを説明するための模式図である。より具体的に、図2は人体の腹部のCT画像200に対してセグメンテーション処理をした結果を示すセグメンテーションデータの一例を示す図であり、肝臓や椎骨、肋骨等を含むアキシャル(axial)断面を例示する図である。
図2において、符号202で示す領域は、人体中の骨が撮像されている領域(以下、「骨領域202」と記載することがある。)を示す。煩雑となることを防ぐために図2において骨が撮像されている全ての領域に対して符号を付すことをしていないが、図2に示すCT画像200において白色で示す領域は骨が撮像されている領域である。図2において、符号204で示す領域(図2中左上から右下に向かう斜線で示す領域)は動脈が撮像されている領域(以下、「動脈領域204」と記載することがある。)を示す。また、図2において符号206で示す領域(図2中右上から左下に向かう斜線で示す領域)は肝臓が撮像されている領域を示す。さらに、図2において符号208で示す領域は空気や水、軟部組織が示されている領域である。これらの領域は既知の領域認識アルゴリズムを用いてセグメンテーションされてもよいし、医療従事者によって手動でセグメンテーションされてもよい。なお、図2中には示していないが、静脈もセグメンテーションされラベルが割り当てられてもよい。
記憶部20が記憶するボクセルデータは、例えば縦512ピクセル、横512ピクセルのアキシャル画像を対軸方向に数100〜2000枚程度並べて構成される3次元データである。セグメンテーションデータは、分割した領域の数と同数存在するデータであり、各データはボクセルデータと同じ構造を持つ。より具体的には、各セグメンテーションデータはそれぞれの領域に対応する。例えば骨領域202を示すセグメンテーションデータは、骨が撮像されている領域を「1」、それ以外の領域が「0」で埋められたボクセルデータである。動脈領域204を示すセグメンテーションデータも同様であり、動脈が撮像されている領域を「1」、それ以外の領域が「0」で埋められたボクセルデータである。他の領域を示すセグメンテーションデータも同様である。
図1の説明に戻る。推定部40は、ボクセルデータ、セグメンテーションデータ、およびレンダリング画像をもとに、ボリュームレンダリングに用いられたパラメータを推定する。推定部40が推定するパラメータは、レンダリング画像を生成する際のボリュームレンダリング処理に用いるパラメータであり、上述した外部装置が設定したパラメータである。限定はしないが一例として、このパラメータはボリュームレンダリングで用いられるオパシティ決定関数を特定するパラメータである。このオパシティ決定関数は、ボクセルデータの値をオパシティに変換するための変換規則を定める関数である。より具体的には、ボクセルデータの値を入力値として、その値に応じてオパシティを出力する関数である。推定部40によるパラメータ推定の詳細は後述する。なお、ボリュームレンダリング処理およびその処理に用いられるオパシティについては既知の技術であるため詳細な説明は省略する。
図3(a)−(b)は、オパシティ決定関数の概形を示す図である。図3(a)−(b)はCTが生成したボクセルデータに対するオパシティ決定関数の例を示す図であり、横軸がCT値(HU)、縦軸がそのCT値に対応するオパシティを示す。より具体的に、図3(a)は動脈領域204に対するオパシティ決定関数fの概形を示す図であり、図3(b)は骨領域202に対するオパシティ決定関数fの概形を示す図である。
図3(a)に示すように、動脈領域204に対するオパシティ決定関数fは、入力するCT値がh未満の場合0を出力する。また、オパシティ決定関数fは入力するCT値がh(h>hのとき、O(O>0)を出力する。オパシティ決定関数fは、入力するCT値がh≦h≦hのとき、CT値の大きさに応じて0からOまでの間を線形に変化させる値を出力する。以上をまとめると、オパシティ決定関数fは以下の式(1)で表される。
Figure 2016224776
同様に、図3(b)に示す骨領域202に対するオパシティ決定関数fは、以下の式(2)で表される。
Figure 2016224776
ここで、h<h、O<Oである。
一般に動脈のCT値はおよそ100である。式(1)においてはh<100<hとなるようにhとhとの値が設定されている。限定はしないが一例として、h=80であり、h=120である。また、一般に骨のCT値はおよそ200である。式(2)においてはh3<200<h4となるようにhとhと設定されている。限定はしないが一例として、h=190であり、h=210である。
式(1)から明らかなように、動脈領域204に対するオパシティ決定関数fは、h、h、およびOを定めることで一意に特定することができる。したがって、h、h、およびOは、推定部40が推定の対象とするオパシティ決定関数fを特定するためのパラメータである。同様に、h、h、およびOも、推定部40が推定の対象とするオパシティ決定関数fを特定するためのパラメータである。
図1の説明に戻る。推定部40は、セグメンテーションデータがラベリングする領域それぞれについて、上述したオパシティ決定関数を特定するパラメータを推定する。関数決定部70は、推定部40が推定したパラメータをもとに、セグメンテーションデータがラベリングする領域それぞれに対応するオパシティ決定関数を生成する。
描画部80は、記憶部20が格納するボクセルデータおよびセグメンテーションデータを取得し、関数決定部70が生成した各オパシティ決定関数を用いてボリュームレンダリング画像を生成する。表示出力部90は、推定部40が推定したパラメータを用いてボクセルデータをボリュームレンダリングした結果を図示しないタッチパネルやモニタ等の表示装置に出力する。より具体的には、表示出力部90は、描画部80が生成したボリュームレンダリング画像を表示装置に表示させる。
ここで表示出力部90は、描画部80が生成したボリュームレンダリング画像に加えて、上述の外部装置が生成したボリュームレンダリング画像も表示装置に表示させてもよい。情報処理装置100のユーザは、外部装置が生成したボリュームレンダリング画像と、推定部40が推定したパラメータをもとに再現されたボリュームレンダリング画像とを並べて観察することができる。これによりユーザは、推定部40がパラメータを適切に推定できているか否かを視覚的に判断することができる。
以下、実施の形態に係る情報処理装置100によるパラメータ推定についてより詳細に説明する。
図4は、実施の形態に係る情報処理装置100が実行するパラメータ推定処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば取得部30が記憶部20にアクセスしたときに開始する。
取得部30は、記憶部20を参照してCT等のモダリティが生成したボクセルデータを取得する(S2)。取得部30は記憶部20を参照し、ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータを取得する(S4)。取得部30はさらに、記憶部20を参照して外部装置が生成したボリュームレンダリング画像Im1を取得する(S6)。
上述したように、セグメンテーションデータはボクセルデータをラベリングしてできる2以上の部分領域毎に存在するため、その数は部分領域の数(すなわち、ラベリングの数)と同数である。推定部40は、各ラベリングが示す部分領域に対応するオパシティ決定関数それぞれについてパラメータの初期値を設定する(S8)。
例えばボクセルデータが人体のCTデータである場合、そのボリュームレンダリング画像も、多くの場合は類似するオパシティ決定関数を用いて作成されていると考えられる。例えば、人体の骨のCT値は200前後であるという事実は代わらないため、骨領域202に対応するオパシティ決定関数は、多くの場合は図3(b)に示す形状と同様の形状が用いられると考えられる。
そこで推定部40は、選択したラベリングが示す部分領域に含まれるボクセルデータのCT値をもとに、その領域に撮像されている組織を推定し、その組織に対応するオパシティ決定関数のパラメータの初期値を設定する。具体的には、選択したラベリングが示す部分領域に含まれるボクセルデータのCT値の平均値が例えば200前後の場合、推定部40は、その部分領域は骨領域202であると推定する。この場合、推定部40は、オパシティ決定関数のパラメータの初期値として、図3(b)を参照して上述したh、h、およびOを設定する。他の領域についても同様である。
関数決定部70は、設定されたパラメータを用いてオパシティ決定関数を生成する(S10)。描画部80は、オパシティ決定関数が生成した各領域に対応するオパシティ決定関数、セグメンテーションデータ、およびボクセルデータを用いて、ボリュームレンダリング画像Im2を生成する(12)。
推定部40は、外部装置が生成したボリュームレンダリング画像Im1のうち0より大きな画素値となる画素数と、描画部80が生成したボリュームレンダリング画像Im2のうち0より大きな値となる画素数とを比較する。両者の画素数が異なる場合(S14のN)、推定部40は両者の画素数を近づける方向にパラメータを修正することにより、オパシティ決定関数を修正する(S18)。
例えば、図3(b)に示す骨領域202のオパシティ決定関数を例に考える。オパシティが0より大きな値を持っているとき、ボリュームレンダリング画像の画素値が0より大きくなる。したがって、オパシティ決定関数の立ち上がり、すなわち図3(b)におけるhの値を小さくすることにより、ボリュームレンダリング画像の画素値が0より大きな画素の数が増加する。反対に、すなわち図3(b)におけるhの値を大きくすることにより、ボリュームレンダリング画像の画素値が0より大きな画素の数が減少する。推定部40は各オパシティ決定関数の立ち上がりの値を変更することで、生成されるボリュームレンダリング画像の非ゼロの値を持つ画素数を変更することができる。
外部装置が生成したボリュームレンダリング画像Im1のうち0より大きな画素値となる画素数と、描画部80が生成したボリュームレンダリング画像Im2のうち0より大きな値となる画素数とが同数の場合(S14のY)、推定部40は、両者の対応する各画素値が一致するか否かを比較する。一致しない場合(S16のN)、推定部40は両者の画素値を近づける方向にパラメータを修正することにより、オパシティ決定関数を修正する(S18)。
ボリュームレンダリング画像の画素値は、投影されるボクセルデータのオパシティに依存する。したがって推定部40は、オパシティ決定関数の傾きを変更することにより、投影されるボクセルデータのオパシティを変更する。より具体的に図3(b)に示すオパシティ決定関数を例とすると、推定部40はhおよびOを変更することにより、オパシティ決定関数を修正する。
以上、ステップS10からS18を繰り返すことにより、推定部40は外部装置がボリュームレンダリング画像を生成するときに使用したオパシティ決定関数を特定するためのパラメータを推定することができる。
外部装置が生成したボリュームレンダリング画像Im1の画素値と、描画部80が生成したボリュームレンダリング画像Im2の画素値とが一致する場合(S16のY)、関数決定部70は推定部40が推定したパラメータを用いて各オパシティ決定関数を生成し出力する(S20)。描画部80は、関数決定部70が生成したオパシティ決定関数を用いてボリュームレンダリング画像を生成し、表示出力部90はそのボリュームレンダリング画像を表示装置に表示させる(S22)。表示出力部90がボリュームレンダリング画像を表示させると、本フローチャートにおける処理は終了する。
以上説明したように、実施の形態に係る情報処理装置100によれば、外部装置が生成したボリュームレンダリング画像から、そのボリュームレンダリング画像の生成に用いたオパシティ決定関数を推定することができる。これにより、情報処理装置100のユーザは、外部装置自体を用いることなく、元データとなるボクセルデータおよびセグメンテーションデータからボリュームレンダリング画像を再現することできる。
続いて、セグメンテーションデータが示す各領域に対応するオパシティ決定関数が既知である場合に、ボリュームレンダリング画像の生成の高速化およびボリュームレンダリング画像生成時のリソースを低減する処理について説明する。
上述したように、ボリュームレンダリング画像の生成に利用されるオパシティ決定関数は、セグメンテーションデータによってラベリングされる部分領域毎に定められている。ボリュームレンダリング画像を生成する処理は、一般に以下に示すステップで生成されると考えられる。
ステップ1:ボリュームレンダリング画像を生成するための視点、すなわちどの位置からボクセルデータを観察するかを示す情報を設定する。
ステップ2:ボリュームレンダリング画像を構成する各画素を順次走査し、視点と各画素を結ぶ線をレイ(ray)として設定する。
ステップ3:各レイが通過するボクセルデータそれぞれについて、セグメンテーションデータを参照して対応するオパシティ決定関数を取得する。
ステップ4:各レイが通過するボクセルデータそれぞれについて、ボクセルの値とオパシティ決定関数とをもとにオパシティを決定する。
ステップ4:各レイが通過するボクセルデータのオパシティを積算することで、各レイに対応するボリュームレンダリング画像の画素値を決定する。
以上のステップによるボリュームレンダリング画像の生成によると、ボリュームレンダリング画像の各画素値を決定するためにする走査は一回で足りる。しかしながら、各画素値を決定するために、あらかじめ複数のオパシティ決定関数および複数のセグメンテーションデータを計算機のメモリに格納し、各セグメンテーションデータを参照しながらオパシティ決定関数をメモリから読み出す必要がある。このためメモリアクセスが頻繁に発生し得るため、ボリュームレンダリング画像の生成に時間がかかる。また、複数のセグメンテーションデータやオパシティ決定関数をメモリに格納する必要があり、多くのメモリも必要となる。
そこで実施の形態に係る情報処理装置100は、ボリュームレンダリング画像生成時のメモリアクセス頻度および使用量の抑制を実現するために、ボクセルデータに前処理を施す。以下、情報処理装置100が実施する前処理につて説明する。
情報処理装置100が実施する前処理の概要は以下のとおりである。従来のオパシティ決定関数は、セグメンテーションデータに示される部分領域毎に異なるオパシティ決定関数が定められている。これは言い換えると、ボクセルデータをボクセル値に応じて複数の領域に分割し、領域毎にオパシティ決定関数を定めているとも言える。情報処理装置100が実施する前処理は、オパシティ決定関数を一つに固定し、固定したオパシティ決定関数によって定められるオパシティが、従来の複数のオパシティ決定関数によって定められるオパシティと一致するように、ボクセルデータのボクセル値をあらかじめ修正する処理である。これにより、ボリュームレンダリング画像を生成する際にセグメンテーションデータが不要となり、またオパシティ決定関数も一つで足りる。結果として、ボリュームレンダリング画像の生成が高速となり、また必要なメモリも抑制することができる。情報処理装置100が実施する前処理は、主に図1における基準関数設定部50とデータ変換部60とによって実現される。
基準関数設定部50は、基準となるオパシティ決定関数(以下、「基準関数」と記載する。)を一つ設定する。基準関数設定部50が設定する基準関数は図3(a)−(b)に示す関数と類似の形状であればどのような形状であってもよい。例えば、基準関数設定部50は、推定部40が推定した2以上のパラメータの中から選択した一つのパラメータによって特定されるオパシティ決定関数を基準関数として設定してもよい。
データ変換部60は、関数決定部70が決定したオパシティ決定関数が変換するオパシティと同一のオパシティが基準関数によって変換されるように、ボクセルデータの値を変更する。以下具体例として、式(2)で示すオパシティ決定関数を基準関数とした場合に、式(1)で示すオパシティ決定関数で変換されるCT値の変更について説明する。
いま、データ変換部60による変更前のオリジナルのCT値をh、データ変換部60によって変更された後のCT値をh’とする。式(1)および(2)より、h’は、以下の式(3)を満たす
(h)=f(h’) (3)
式(3)をh’について解くことにより、以下の式(4)を得る。
Figure 2016224776
式(4)から明らかなように、データ変換部60が用いるボクセルデータの変換式は、上述したオパシティ決定関数のパラメータを用いて表現することができる。
式(4)は、式(1)で示すオパシティ決定関数で変換されるオパシティが式(2)で変換されるためのCT値の変換式である。このとき、式(2)における場合分けの条件も式(4)によって変換される。すなわち、式(4)により、hはhに変換され、hは(O/O)(h−h)+hに変換されるため、結果としてh’の変換式は以下の式(5)となる。
Figure 2016224776
式(4)は、式(2)で示される骨領域202のオパシティ決定関数を基準関数とした場合に、式(1)で示される動脈領域204のCT値の変換式を示すが、他の領域についてもオパシティ決定関数のパラメータが既知であれば同様の変換式を導出できる。また、オパシティ決定関数のパラメータが既知であれば、そのオパシティ決定関数を基準関数とする場合の変換式も導出できる。
データ変換部60は、セグメンテーションデータが示す全ての部分領域におけるボクセルデータについてそれぞれ式(4)と同様の変換式を導出する。データ変換部60は次いで、導出した変換式を用いてボクセルデータの値を変換する。これにより、描画部80がデータ変換部60によって変換されたボクセルデータをボリュームレンダリングする際には、基準関数によって全てのボクセルデータのオパシティを決定することができる。結果としてセグメンテーションデータが不要となり、メモリを大幅に節約することができる。また、オパシティ決定関数の選択が不要となり、メモリアクセスの回数を削減することができる。
図5は、本発明の実施の形態に係るデータ変換部60が実行する前処理の結果を示す模式図である。図5に示す例は、骨領域202のオパシティ決定関数を基準関数とした場合に、動脈領域204のCT値を変更した場合の結果を示す。図5に示すように、データ変換部60による変換の結果、動脈領域204のCT値が骨領域202のCT値に近い値となっていることを示している。また、肝臓を示す領域206は関心領域でないためCT値は0とされている。このように、ボリュームレンダリング処理時にオパシティを持たせる領域のCT値を骨領域202のCT値に変換することにより、骨領域202のオパシティ決定関数のみを用いてオパシティを決定することが可能となる。
図6は、本発明の実施の形態に係るデータ変換部60が実行する前処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば推定部40がオパシティ決定関数の推定を終えたときに開始する。
データ変換部60は、記憶部20を参照してボクセルデータを取得する(S24)。データ変換部60はまた、記憶部20を参照してセグメンテーションデータを取得する(S26)。データ変換部60はさらに、関数決定部70から推定部40が推定したパラメータを取得する(S28)。基準関数設定部50は、関数決定部70が決定したオパシティ決定関数の中から一つのオパシティ決定関数を選択し、基準関数として設定する(S30)。
データ変換部60は、推定部40が推定したパラメータで特定されるオパシティ決定関数で得られるオパシティが基準関数の出力と同一となるように、ボクセルデータのボクセル値を変更する(S32)。
以上の構成による本システムの動作は以下のとおりである。ユーザは情報処理装置100に、元データとなるボクセルデータ、セグメンテーションデータ、およびそれらのデータから情報処理装置100とは異なる外部装置が生成したボリュームレンダリング画像を入力する。情報処理装置100は、入力された各データを用いて外部装置がボリュームレンダリング画像の生成に用いたオパシティ決定関数を特定するためのパラメータを推定する。これにより、情報処理装置100のユーザは外部装置がなくても外部装置によるボリュームレンダリング処理を再現することができる。
情報処理装置100はさらに、外部装置よりも計算量リソースが乏しい環境でもボリュームレンダリング処理を実用に耐えるレベルで処理できるようにするために、ボクセルデータの前処理を実行する。これにより例えばタブレットPC等を情報処理装置100とすることができ、その情報処理装置100を用いてボリュームレンダリング処置を実現することができる。タブレットPCはワークステーション等と比較して計算リソースが乏しいが、持ち運びが容易であるという利便性がある。このようなデバイスでボリュームレンダリング処理を実用化することができるため、ユーザの利便性を向上することができる。
以上より、実施形態に係る情報処理装置100によれば、ボリュームレンダリング画像をもとにそのボリュームレンダリング画像を再現する技術を提供することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上記の説明では、推定部40はオパシティ決定関数を特定するためのパラメータを推定する場合について説明した。これに加えて推定部40は、ボリュームレンダリング画像を生成する際の視点位置および視線方向を推定してもよい。これは例えば推定部40は視点位置を定める座標の初期値、および視線方向を示すベクトルの初期値をパラメータとして設定し、それによって得られるボリュームレンダリング画像の非ゼロ画素の画素数および画素値が推定目標とするボリュームレンダリング画像と同じとなるようにパラメータを修正する反復処理によって実現できる。
10 制御部、 20 記憶部、 30 取得部、 40 推定部、 50 基準関数設定部、 60 データ変換部、 70 関数決定部、 80 描画部、 90 表示出力部、 100 情報処理装置、 200 CT画像、 202 骨領域、 204 動脈領域。

Claims (7)

  1. ボクセルデータ、前記ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、および前記ボクセルデータと前記セグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得部と、
    前記ボクセルデータ、前記セグメンテーションデータ、および前記レンダリング画像をもとに、前記ボリュームレンダリングに用いられたパラメータを推定する推定部と、
    前記推定部が推定したパラメータを用いて前記ボクセルデータをボリュームレンダリングした結果を表示部に出力する表示出力部とを備える情報処理装置。
  2. 前記推定部は、少なくとも前記ボリュームレンダリングで用いられるオパシティ決定関数を特定するパラメータを推定し、
    前記オパシティ決定関数は、前記ボクセルデータの値をオパシティに変換する関数である請求項1に記載の情報処理装置。
  3. 前記推定部は、前記セグメンテーションデータがラベリングする領域それぞれについて、前記オパシティ決定関数を特定するパラメータを推定する請求項2に記載の情報処理装置。
  4. 基準となるオパシティ決定関数を設定する基準関数設定部と、
    前記推定部が推定したパラメータそれぞれから特定されるオパシティ決定関数を決定する関数決定部と、
    前記関数決定部が決定したオパシティ決定関数が変換するオパシティと同一のオパシティが前記基準となるオパシティ決定関数によって変換されるように、前記ボクセルデータの値を変更するデータ変換部をさらに備える請求項3に記載の情報処理装置。
  5. 前記基準関数設定部は、前記推定部が推定した2以上のパラメータの中から選択した一つのパラメータによって特定されるオパシティ決定関数を前記基準となるオパシティ決定関数として設定する請求項4に記載の情報処理装置。
  6. ボクセルデータ、前記ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、および前記ボクセルデータと前記セグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得ステップと、
    前記ボクセルデータ、前記セグメンテーションデータ、および前記レンダリング画像をもとに、前記ボリュームレンダリングに用いられたパラメータを推定する推定ステップと、
    推定したパラメータを用いて、ボクセルデータに対してレンダリングした結果を表示する表示ステップとをプロセッサが実行する情報処理方法。
  7. コンピュータに、
    ボクセルデータ、前記ボクセルデータを2以上の異なる領域にラベリングするセグメンテーションデータ、および前記ボクセルデータと前記セグメンテーションデータとをもとにボリュームレンダリングして得られたレンダリング画像を取得する取得機能と、
    前記ボクセルデータ、前記セグメンテーションデータ、および前記レンダリング画像をもとに、前記ボリュームレンダリングに用いられたパラメータを推定する推定機能と、
    推定したパラメータを用いて、ボクセルデータに対してレンダリングした結果を表示する表示機能とを実現させるプログラム。
JP2015111783A 2015-06-01 2015-06-01 情報処理装置、情報処理方法、およびプログラム Active JP6543099B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015111783A JP6543099B2 (ja) 2015-06-01 2015-06-01 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015111783A JP6543099B2 (ja) 2015-06-01 2015-06-01 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016224776A true JP2016224776A (ja) 2016-12-28
JP6543099B2 JP6543099B2 (ja) 2019-07-10

Family

ID=57748798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015111783A Active JP6543099B2 (ja) 2015-06-01 2015-06-01 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6543099B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018079012A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Drr画像作成装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013191030A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 画像生成装置、方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013191030A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 画像生成装置、方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018079012A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Drr画像作成装置

Also Published As

Publication number Publication date
JP6543099B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
US10692198B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images
JP2014512229A (ja) 臓器および解剖学的構造の画像セグメンテーション
JP2015073901A (ja) 医用画像処理装置及び医用画像処理方法
US8897587B2 (en) Image processing method and apparatus with pixel conversion using reaction-diffusion
EP2979245B1 (en) Image registration
JP6215057B2 (ja) 可視化装置、可視化プログラムおよび可視化方法
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US10290099B2 (en) Image processing device and image processing method
CN114596225A (zh) 一种运动伪影模拟方法和系统
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
JP7122918B2 (ja) 画像処理装置および画像処理方法
US11311259B2 (en) Image processing apparatus, image processing method, and computer-readable medium
Dong et al. Segment anything model 2: an application to 2d and 3d medical images
US11457877B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US11138736B2 (en) Information processing apparatus and information processing method
US11030743B2 (en) System and method for coronary calcium deposits detection and labeling
JP6543099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020175445A1 (ja) 学習方法、学習装置、生成モデル及びプログラム
WO2022163513A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
US11244754B2 (en) Artificial neural network combining sensory signal classification and image generation
JP2019025240A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN116368516A (zh) 使用联合合成、分割和配准的多模态临床图像对齐方法和设备
Patel et al. Simulating Realistic MRI variations to Improve Deep Learning model and visual explanations using GradCAM
JP6253962B2 (ja) 情報処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180629

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350