JP2019037649A - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP2019037649A JP2019037649A JP2017163472A JP2017163472A JP2019037649A JP 2019037649 A JP2019037649 A JP 2019037649A JP 2017163472 A JP2017163472 A JP 2017163472A JP 2017163472 A JP2017163472 A JP 2017163472A JP 2019037649 A JP2019037649 A JP 2019037649A
- Authority
- JP
- Japan
- Prior art keywords
- rendering
- rendering target
- image
- target area
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000009877 rendering Methods 0.000 claims abstract description 301
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims description 35
- 230000003247 decreasing effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 2
- 210000004204 blood vessel Anatomy 0.000 description 35
- 230000007704 transition Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 17
- 206010028980 Neoplasm Diseases 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000031700 light absorption Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Generation (AREA)
Abstract
【課題】 本発明は、撮像対象の構造を容易に把握することのできるレンダリング画像を表示させる情報処理装置を提供することを目的とする。【解決手段】 本発明に係る情報処理装置は、第1の領域をレンダリング対象領域として三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第1の指示信号を受信している期間に、レンダリング対象領域を第1の領域から第2の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示手段に表示させ、第1の指示信号の受信を終了したとき、または、レンダリング対象領域が第2の領域に達したときにレンダリング対象領域を漸増させる処理を終了する。【選択図】 図5
Description
本発明は、三次元医用画像データに基づいた画像を表示させる情報処理装置に関する。
医用画像診断装置(モダリティ)により生成された三次元医用画像データ(ボリュームデータ)に基づいた画像を表示する技術が知られている。
特許文献1は、光音響イメージング原理を利用して3次元空間(XYZ空間)の光音響画像データ(三次元医用画像データ)を生成し、ある平面の光音響画像データの断層画像を表示することを開示する。特許文献1は、プローブがX軸方向に配列された複数の超音波振動子を有し、プローブをY軸方向に走査する場合に、XZ断面の光音響画像データの断層画像を表示することを開示する。
しかしながら、三次元医用画像データの一断面を表現したレンダリング画像を表示する場合、ユーザーは撮像対象の構造を把握しにくい場合がある。
そこで、上記課題を鑑み、本発明は、撮像対象の構造を容易に把握することのできるレンダリング画像を表示させる情報処理装置を提供することを目的とする。
本発明に係る情報処理装置は、三次元医用画像データを取得する画像データ取得手段と、レンダリング対象領域の三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させる表示制御手段と、を有し、表示制御手段は、第1の領域をレンダリング対象領域として三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第1の指示信号を受信している期間に、レンダリング対象領域を第1の領域から第2の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示手段に表示させ、第1の指示信号の受信を終了したとき、または、レンダリング対象領域が第2の領域に達したときにレンダリング対象領域を漸増させる処理を終了する。
本発明に係る情報処理装置によれば、撮像対象の構造を容易に把握することのできるレンダリング画像を表示させることができる。
本発明は、3次元空間の医用画像データであるボリュームデータに基づいたレンダリング画像を表示させる情報処理装置に関する発明である。光音響装置、超音波診断装置、MRI装置、X線CT装置、PET装置などのモダリティにより得られる医用画像データに、本発明を適用することができる。以下、光音響装置により生成された光吸収係数の3次元空間分布を表す光音響画像データを用いた例を説明する。
なお、光音響画像データは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数、生体を構成する物質の濃度(酸素飽和度など)などの少なくとも一つの被検体情報の3次元空間分布を表すボリュームデータである。
図1は、光音響画像データ100の模式図を示す。図1に示す光音響画像データ100には、血管101、102、103、及び104に対応する画像データが含まれている。また、光音響画像データ100に含まれる画像データではないが、腫瘍111に対応する模式図を便宜上点線で示している。血管104は、腫瘍111に入り込んでいる血管である。一方、血管101、102、及び103は、腫瘍111に入り込んでいない血管である。なお、腫瘍111の領域を表す情報については、超音波画像データやMRI画像データ等の腫瘍を撮像対象とした医用画像データに基づいて、画像処理やユーザーの指示に基づいて取得してもよい。
ここで、図2(a)に示す断面200の光音響画像データ100を画像化する場合を考える。図2(b)は、断面200の光音響画像データ100の断面画像210を示す。図2(b)に示す断面画像210は、断面200をレンダリング対象領域として、光音響画像データ100をレンダリングして得られたレンダリング画像である。図2(b)においても、断面200と交わる腫瘍111の領域を便宜上示している。断面画像210において、断面200と交わる血管101、102、103、及び104の画像が表示されている。断面画像210を見ると血管104が腫瘍111の内部に位置することが理解される。
しかしながら、この断面画像210を見ただけでは、血管のつながり、すなわち撮像対象の構造を把握することが困難である。断面の位置を変えて断面画像を確認しても、各断面画像上に表示される血管像が腫瘍111に対してどのように走行しているのかを想定しながら観察することは困難である。
また、光音響画像データ100をZ軸方向に投影して表示する場合を考える。ここでは、最大値投影(Maximum Intensity Projection)により投影画像を表示する例を説明する。図2(d)は、図2(c)に示すように光音響画像データを視線方向230(Z軸方向)に投影して生成された投影画像220である。すなわち、図2(d)は、光音響画像データ100を投影面240に最大値投影して得られる投影画像220である。また、図2(d)に示す投影画像220は、光音響画像データ100の全領域をレンダリング領域として、光音響画像データ100をレンダリングして得られたレンダリング画像である。図2(d)においても、断面200と交わる腫瘍111の領域を便宜上示している。
図2(d)に示す投影画像220によれば各血管のつながりを視認しやすく、図2(b)に示す断面画像210と比べて血管の全体構造を把握しやすい。ところが、図2(d)に示す投影画像220では、血管103が腫瘍111に入り込んでいるように見えるが、実際には血管103は腫瘍111に入り込んでいない血管である。また、図2(b)では血管104が表示されたが、図2(d)では血管104が表示されていない。これは、血管104が血管103とZ軸方向で重なっており、最大値投影したときに表現されなかったためである。また、レンダリング対象領域を大きくすることにより、レンダリング画像に画像ノイズの影響が強く反映されてしまう場合がある。このように、画像ノイズの影響により、撮像対象の視認性が低下してしまう可能性がある。
以上説明したように、レンダリング対象領域を変更することにより撮像対象の視認性が変化することが理解される。一方、煩雑な操作を行うことなく、撮像対象の全体構造と局所的な構造とを容易に把握できる画像表示方法が望まれている。
そこで、当該課題に鑑みて、本発明者は、煩雑な操作を行うことなく、レンダリング対象領域が互いに異なる複数のレンダリング画像を比較することが可能な情報処理方法を見出した。すなわち、本発明者は、撮像対象の局所的な構造を把握しやすいレンダリング画像(図2(b))が表示されているときに、ユーザーが特定の操作(例えば、マウスの右クリックの押下)を継続すると、レンダリング対象領域を漸増させる情報処理方法を見出した。このようにレンダリング対象領域が漸増していくレンダリング画像の動画を表示させることにより、ユーザーは撮像対象の局所的な構造から全体構造までの変化を見失うことなく把握できる。さらに、本発明者は、ユーザーが特定の操作を終了したときに、レンダリング対象領域の漸増を終了させることを見出した。これにより、ユーザーは特定の操作を継続するか否かするという簡便な操作で、撮像対象の局所構造から全体構造への変化を見失うことなく把握することができる。
ところで、ユーザーがGUIに表示されたスライダーバーを操作することにより、スライダーバーの位置に応じたレンダリング対象領域が決定されるような比較例を考える。このような比較例では、レンダリング対象領域を大きくしたり小さくしたり、レンダリング対象領域を繰り返し変更するときのユーザーの操作が煩雑となってしまう。このように、レンダリング対象領域を変更するためのユーザーの操作が煩雑であると、読影作業の効率性が低下してしまう。それに対し、本発明は、ユーザーが特定の操作を継続するか否かという簡便な操作を行うことで、レンダリング対象領域を変更することができる。
なお、レンダリング対象領域とは、三次元医用画像データをレンダリングする際に、レンダリングの対象とする領域(データアドレス)のことを指す。
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
[第1の実施形態]
本発明の第1の実施形態は、あるレンダリング対象領域の光音響画像データに基づいたレンダリング画像の表示時に、ユーザーからの指示をトリガーに、レンダリング対象領域を漸増させる情報処理方法の例を説明する。
本発明の第1の実施形態は、あるレンダリング対象領域の光音響画像データに基づいたレンダリング画像の表示時に、ユーザーからの指示をトリガーに、レンダリング対象領域を漸増させる情報処理方法の例を説明する。
<情報処理システムの構成>
図3を参照しながら、第1の実施形態に係る情報処理システムの構成を説明する。本実施形態に係る情報処理システムは、外部記憶装置310、情報処理装置320、表示装置350、及び入力装置360を有する。情報処理装置320は、記憶部321、演算部322、制御部323を有する。
図3を参照しながら、第1の実施形態に係る情報処理システムの構成を説明する。本実施形態に係る情報処理システムは、外部記憶装置310、情報処理装置320、表示装置350、及び入力装置360を有する。情報処理装置320は、記憶部321、演算部322、制御部323を有する。
<<外部記憶装置310>>
外部記憶装置310は、情報処理装置320の外部に配置されている。外部記憶装置310には、モダリティにより取得された医用画像データ1000が保存されている。外部記憶装置310には、種々のモダリティにより取得された複数の画像種別の医用画像データ1000が保存されていてもよい。外部記憶装置310は、サーバーなどの記録媒体から構成され、さらに、通信ネットワークなどに接続されていてもよい。例えば、病院内の外部記憶装置310としては、PACS(Picture Archiving and Communication System)が用いられる。外部記憶装置310は、情報処理装置320とは別に提供されていてもよい。
外部記憶装置310は、情報処理装置320の外部に配置されている。外部記憶装置310には、モダリティにより取得された医用画像データ1000が保存されている。外部記憶装置310には、種々のモダリティにより取得された複数の画像種別の医用画像データ1000が保存されていてもよい。外部記憶装置310は、サーバーなどの記録媒体から構成され、さらに、通信ネットワークなどに接続されていてもよい。例えば、病院内の外部記憶装置310としては、PACS(Picture Archiving and Communication System)が用いられる。外部記憶装置310は、情報処理装置320とは別に提供されていてもよい。
<<記憶部321>>
記憶部321は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部321は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部321は、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
記憶部321は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部321は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部321は、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
外部記憶装置310から通信ネットワークなどを介して、医用画像データ1000を記憶部321に取り込み保存することができる。
<<演算部322>>
演算部322としての画像処理機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成することができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部322は、記憶部321に保存された医用画像データ1000を読み出し、医用画像データ1000をレンダリングすることにより、レンダリング画像を生成し、記憶部321に保存することができる。演算部322は、ユーザーの指示に応じて入力装置360から発信された指示信号(レンダリング対象領域などの画像処理条件を表す信号)を受けて、レンダリング処理の内容を変更してもよい。
演算部322としての画像処理機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成することができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部322は、記憶部321に保存された医用画像データ1000を読み出し、医用画像データ1000をレンダリングすることにより、レンダリング画像を生成し、記憶部321に保存することができる。演算部322は、ユーザーの指示に応じて入力装置360から発信された指示信号(レンダリング対象領域などの画像処理条件を表す信号)を受けて、レンダリング処理の内容を変更してもよい。
<<制御部323>>
制御部323は、CPUなどの演算素子、集積回路、ビデオRAM(Random Access Memory)などで構成することができる。制御部323は、情報処理システムの各構成の動作を制御することができる。制御部323は、入力装置360からの各種指示信号を受けて、情報処理システムの各構成を制御してもよい。制御部323は、情報処理システムの外部の装置を制御してもよい。制御部323は、記憶部321に格納されたプログラムコードを読み出し、情報処理システムの各構成の作動を制御してもよい。制御部323は、演算部322により生成されたレンダリング画像を表示装置350に出力し、表示装置350にレンダリング画像を表示させる。制御部323は、ユーザーの指示に応じて入力装置360から発信された指示信号を受けて、表示装置350へ表示する医用画像データ1000のレンダリング対象領域やレンダリング対象領域の変更時間などの表示内容を制御することができる。
制御部323は、CPUなどの演算素子、集積回路、ビデオRAM(Random Access Memory)などで構成することができる。制御部323は、情報処理システムの各構成の動作を制御することができる。制御部323は、入力装置360からの各種指示信号を受けて、情報処理システムの各構成を制御してもよい。制御部323は、情報処理システムの外部の装置を制御してもよい。制御部323は、記憶部321に格納されたプログラムコードを読み出し、情報処理システムの各構成の作動を制御してもよい。制御部323は、演算部322により生成されたレンダリング画像を表示装置350に出力し、表示装置350にレンダリング画像を表示させる。制御部323は、ユーザーの指示に応じて入力装置360から発信された指示信号を受けて、表示装置350へ表示する医用画像データ1000のレンダリング対象領域やレンダリング対象領域の変更時間などの表示内容を制御することができる。
なお、三次元医用画像データをレンダリングすることによりレンダリング画像を生成し、このレンダリング画像を表示装置350に表示させる演算部322及び制御部323が、本発明に係る表示制御手段に相当する。本実施形態では、複数のユニットで表示制御手段が構成されているが、表示制御手段は、複数の演算素子から構成されていてもよいし、単一の演算素子で構成されていてもよい。
なお、情報処理装置320は専用に設計されたワークステーションであってもよい。また、情報処理装置320の各構成は異なるハードウェアによって構成されてもよい。また、情報処理装置320の少なくとも一部の構成は単一のハードウェアで構成されてもよい。情報処理装置320を構成するハードウェアが一つの筺体に収められていなくてもよい。
<<表示装置350>>
表示手段としての表示装置350は、液晶ディスプレイや有機EL(Electro Luminescence)、FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。情報処理装置320で処理されたボリュームデータに基づいた画像を表示する装置である。表示装置350は、ボリュームデータに基づいた画像を操作するためのGUIを表示してもよい。表示装置350は、情報処理装置320とは別に提供されていてもよい。その際、情報処理装置320は、医用画像データ1000を有線または無線で表示装置350へ送信することができる。
表示手段としての表示装置350は、液晶ディスプレイや有機EL(Electro Luminescence)、FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。情報処理装置320で処理されたボリュームデータに基づいた画像を表示する装置である。表示装置350は、ボリュームデータに基づいた画像を操作するためのGUIを表示してもよい。表示装置350は、情報処理装置320とは別に提供されていてもよい。その際、情報処理装置320は、医用画像データ1000を有線または無線で表示装置350へ送信することができる。
<<入力装置360>>
入力手段としての入力装置360としては、ユーザーが操作可能なマウス、キーボード、ジョイスティック、タッチペンなどを採用することができる。また、表示装置350をタッチパネルで構成し、表示装置350を入力装置360として利用してもよい。また、入力装置360としては、音を入力するためのマイク、ジェスチャーを入力するためのカメラ等を採用してもよい。入力装置360は、レンダリング画像の表示に関する情報を入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示装置350に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
入力手段としての入力装置360としては、ユーザーが操作可能なマウス、キーボード、ジョイスティック、タッチペンなどを採用することができる。また、表示装置350をタッチパネルで構成し、表示装置350を入力装置360として利用してもよい。また、入力装置360としては、音を入力するためのマイク、ジェスチャーを入力するためのカメラ等を採用してもよい。入力装置360は、レンダリング画像の表示に関する情報を入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示装置350に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
入力装置360は、ユーザーにより演算部322で実施される処理条件や、制御部323で制御する表示内容を入力することができる。入力方法としては、条件が記載されたテキストファイルなどを保存することにより入力しても、表示装置350にGUIを表示して入力してもよい。入力装置360は、ユーザーの操作により信号を入力できるものであればよく、マウス、キーボード、タッチパネル、ジョイスティック、スイッチボックス、音声を含む音を受信するマイクや、特定のジェスチャーを受け付ける入力装置などを用いることができる。入力装置360は、情報処理装置320へ指示信号を出力することが可能であれば、接続方法は有線、無線のどちらでも構わない。
なお、情報処理システムの各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、情報処理システムの少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
また、情報処理システムの各構成間で送受信される情報は、有線または無線でやりとりがなされる。
図4は、本実施形態に係る情報処理装置320の具体的な構成例を示す。本実施形態に係る情報処理装置320は、CPU324、GPU325、RAM326、ROM327から構成される。また、情報処理装置320には、外部記憶装置310としてのPACS311、表示装置350としての液晶ディスプレイ351、入力装置360としてのマウス361、キーボード362が接続されている。
次に、本実施形態に係る情報処理装置が実行する処理を、図5を参照して説明する。
(S410:医用画像データを取得する工程)
制御部323は、外部記憶装置310に保存されている医用画像データ1000のリストを表示装置350に表示させる。ユーザーは、入力装置360を用いて、表示装置350に表示された医用画像データ1000のリストの中から光音響画像データ100を選択する。画像データ取得手段としての制御部323は、医用画像データ1000としての光音響画像データ100を外部記憶装置310から読み出して取得し、記憶部321に保存する。ボリュームデータとしての医用画像データ1000は、複数の断面画像から構成された3次元画像であってもよい。
制御部323は、外部記憶装置310に保存されている医用画像データ1000のリストを表示装置350に表示させる。ユーザーは、入力装置360を用いて、表示装置350に表示された医用画像データ1000のリストの中から光音響画像データ100を選択する。画像データ取得手段としての制御部323は、医用画像データ1000としての光音響画像データ100を外部記憶装置310から読み出して取得し、記憶部321に保存する。ボリュームデータとしての医用画像データ1000は、複数の断面画像から構成された3次元画像であってもよい。
本実施形態では、既にモダリティで撮影された医用画像データ1000を外部記憶装置310から読み出す形態を説明した。なお、モダリティが、制御部323からの指示信号に基づいて撮影を開始して医用画像データ1000を生成し、画像データ取得手段としての制御部323がモダリティから出力された医用画像データ1000を受信することにより取得してもよい。
(S420:レンダリング条件を設定する工程)
制御部323は、レンダリング条件を入力するためのGUIを表示装置350に表示させる。具体的なレンダリング条件は、投影方向(X、Y、Z方向)、レンダリング対象領域(厚さ(距離)、画像枚数、基準位置)、レンダリング方法(最大値投影法、平均値投影法、最小値投影法、ボリュームレンダリング、サーフェイスレンダリング)などである。これらの条件をテキストファイルなどに記載して入力することが可能である。また、表示装置350に表示されるGUIを用いて入力することができる。
制御部323は、レンダリング条件を入力するためのGUIを表示装置350に表示させる。具体的なレンダリング条件は、投影方向(X、Y、Z方向)、レンダリング対象領域(厚さ(距離)、画像枚数、基準位置)、レンダリング方法(最大値投影法、平均値投影法、最小値投影法、ボリュームレンダリング、サーフェイスレンダリング)などである。これらの条件をテキストファイルなどに記載して入力することが可能である。また、表示装置350に表示されるGUIを用いて入力することができる。
図6は、ステップS410で医用画像データ1000が選択された後に表示装置350に表示されるGUI(Graphical User Interface)の具体例を示す。
表示領域810は、医用画像データ1000のレンダリング画像が表示される領域である。
表示領域820は、ユーザーが入力装置360を用いてレンダリング条件を入力するためのボタン、リストボックス、テキストボックス等のウィジェットが表示される表示領域である。表示領域820には、投影方向、レンダリング対象領域、レンダリング方法、基準位置、遷移時間を入力するためのウィジェットが表示されている。
投影方向については、X、Y、Zの各方向が選択肢として表示されており、図中ではZ方向が選択されている。
レンダリング対象領域については、ユーザーがレンダリング対象領域の投影方向の厚さ(距離)Lを数値で直接に入力することができる。図中では、レンダリング対象領域の投影方向の厚さの最小値L1として0.5mmの値が入力されており、最大値L2として10.0mmが入力されている。最小値L1は、レンダリング画像の基本画像として表示するときのレンダリング対象領域の投影方向の厚さである。最大値L2は、後述するレンダリング対象領域を漸増する処理を行うときの上限である。最小値L1によって定義されたレンダリング対象領域は第1の領域に相当し、最大値L2によって定義されたレンダリング対象領域は第2の領域に相当する。なお、レンダリング対象領域を変化させたときに同一の領域が表示されるために、第1の領域は第2の領域に含まれていることが望ましい。表示領域810に最初に表示される初期画像は、レンダリング対象領域が最小であるときの基本画像であってもよい。撮像対象が血管である場合、血管のつながりを把握するために、最大値については2mm以上としてもよい。また、冗長な領域までレンダリングしないように、最大値については10mm以下としてもよい。制御部323は、レンダリング対象領域としてこれらの範囲に含まれない値が入力されたときに、入力を受け付けない制御やアラートを通知させる制御を行ってもよい。最小値については、ボクセルサイズ相当の値にあらかじめ設定されていてもよい。
本実施形態では、レンダリング対象領域を定義するために、直方体の厚さ(一辺の長さ)を入力する例を説明したが、レンダリング対象領域を定義できる限り、いかなる方法であってもよい。例えば、レンダリング対象領域が球形状である場合、球の半径や直径を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域を構成する画像枚数(フレーム数)を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域の少なくとも一方向の厚さを特定することにより、レンダリング対象領域が定義されてもよい。
レンダリング方法については、最大値投影法(MIP)、平均値投影法(AIP)、最小値投影法(MinIP)が選択肢として表示されており、図中ではMIPが選択されている。
レンダリング対象領域の基準位置について、先頭位置、中心位置、最後尾位置のいずれをレンダリング対象領域の基準位置とするかが選択肢として表示されており、図中では中央位置が選択されている。また、基準位置がレンダリング対象領域の医用画像データ1000の端部から基準位置までの投影方向の厚さを入力することができ、図中では7.0mmが入力されている。すなわち、医用画像データ1000の端部から投影方向(Z軸方向)へ7.0mmの位置にレンダリング対象領域の中央(基準位置)が位置するように入力されている。なお、後述するレンダリング対象領域を漸増される処理において、レンダリング対象領域を増加させる方向は、どの基準位置を選択したかによって異なる。基準位置が先頭である場合、先頭から最後尾に向かってレンダリング対象領域が増加する。また、基準位置が中央である場合、中央から先頭と最後尾の両方に向かってレンダリング対象領域が増加する。また、基準位置が最後尾である場合、最後尾から先頭に向かってレンダリング対象領域が増加する。
レンダリング対象領域を最小値から最大値へ遷移させるまでの時間(遷移時間)については、ユーザーが秒数を直接に入力することができる。図中では、3.0秒が条件として入力されている。入力される秒数については、読影作業を妨げないために、遷移時間を5秒以下としてもよい。読影を更にスムーズに進めるためには、遷移時間を3秒以下としてもよい。また、レンダリング画像の変化を視認できるように、遷移時間を1秒よりも大きな値としてもよい。さらに、レンダリング画像の変化をより追従して視認できるように、遷移時間を2秒よりも大きな値としてもよい。制御部323は、遷移時間としてこれらの範囲に含まれない値が入力されたときに、入力を受け付けない制御やアラートを通知させる制御を行ってもよい。なお、レンダリング対象領域の遷移時間を直接入力するのではなく、レンダリング対象領域の単位時間当たりの変化量を入力することにより、結果的に遷移時間を決定してもよい。レンダリング対象領域の遷移時間を決定できるパラメータであれば、レンダリング対象領域の遷移時間を表す情報に含まれる。
例えば、上記の選択肢の選択には、ユーザーがマウスはマウスを用いることができる。また、上記で数値を直接に入力する際には、ユーザーはキーボードを用いることができる。
なお、レンダリング条件については、表示領域820に表示されているものに限らず、レンダリングに関するあらゆるパラメータを対象とすることができる。また、本実施形態においては、レンダリング条件の入力方法についても、テキストボックスへのテキスト入力、リストボックスからの選択、ボタンの押下など、各レンダリング条件をいかなる方法で入力させてもよい。また、レンダリング条件の少なくとも1つが、予め設定されていてもよい。
図7は、医用画像データ1000に設定されたレンダリング対象領域を示す模式図である。紙面横方向はZ軸方向に対応し、紙面縦方向はX軸方向またはY軸方向に対応する。
一点鎖線で示したレンダリング対象領域1011は、Z軸方向の厚さが最小値L1のときのレンダリング対象領域である。一方、点線で示したレンダリング対象領域1012は、Z軸方向の厚さが最大値L2のときのレンダリング対象領域である。いずれのレンダリング対象領域も、領域の中央の位置が統一されている。すなわち、いずれのレンダリング対象領域においても、レンダリング対象領域の中央が基準位置となっている。なお、図7では、Z軸の始点を基準にレンダリング対象領域の基準位置(先頭、中央、最後尾)を定義しているが、Z軸の終点を基準にレンダリング対象領域の基準位置を定義してもよい。基準位置は、先頭、中央、最後尾に限らず、ユーザーの所望する位置に設定されてもよい。
表示領域830は、ステップS410で取得した医用画像データ1000以外の医用画像データ1000のサムネイル画像が表示される表示領域である。表示領域830に表示されたサムネイル画像の中からユーザーが入力装置360を用いて選択した医用画像データを、表示領域810に表示させてもよい。すなわち、表示領域810に表示されているレンダリング画像を、サムネイル画像の中から選択された医用画像データのレンダリング画像に更新してもよい。
図6の場合、サムネイル画像831が選択され、サムネイル画像831に対応する医用画像データが表示領域810に表示されている。また、ユーザーがサムネイル画像送りアイコン833を操作することにより、表示領域830に表示されるサムネイル画像を順次切り替えることができる。表示領域830に表示されるサムネイル画像831、832は、短い時間で全体構造を把握できるように、医用画像データの全領域をレンダリング対象領域としてレンダリングした画像であってもよい。一方、表示領域810に表示される基本画像は、レンダリング対象領域が最小であるときのレンダリング画像であってもよい。
なお、S410においても、外部記憶装置310に保存されている複数の医用画像データ1000のサムネイル画像を表示させ、サムネイル画像を選択することにより、S430以降の処理に利用する医用画像データを取得してもよい。
(S430:レンダリング画像を表示する工程)
本工程では、演算部322は、ステップS420で入力されたレンダリング条件を表す情報に基づいて、医用画像データ1000をレンダリングすることにより、レンダリング画像を生成する。ここでは、医用画像データ1000の端部からZ軸方向に7.0mmの位置を中央とし、Z軸方向に0.5mmの厚みを有するレンダリング対象領域(第1の領域)を定義する。演算部322は、このレンダリング対象領域を、Z軸方向を投影方向としたMIPによりレンダリング画像を生成する。制御部323は、演算部322により生成されたレンダリング画像を表示装置350に出力し、表示装置350に表示させる。以下、レンダリング対象領域の厚さが最小値のとき(レンダリング対象領域が第1の領域のとき)に生成されたMIP画像のことを、最小MIP画像と呼ぶ。
本工程では、演算部322は、ステップS420で入力されたレンダリング条件を表す情報に基づいて、医用画像データ1000をレンダリングすることにより、レンダリング画像を生成する。ここでは、医用画像データ1000の端部からZ軸方向に7.0mmの位置を中央とし、Z軸方向に0.5mmの厚みを有するレンダリング対象領域(第1の領域)を定義する。演算部322は、このレンダリング対象領域を、Z軸方向を投影方向としたMIPによりレンダリング画像を生成する。制御部323は、演算部322により生成されたレンダリング画像を表示装置350に出力し、表示装置350に表示させる。以下、レンダリング対象領域の厚さが最小値のとき(レンダリング対象領域が第1の領域のとき)に生成されたMIP画像のことを、最小MIP画像と呼ぶ。
(S440:第1の指示信号を受信する工程)
ユーザーは、最小MIP画像が表示されているときに、入力装置360を用いて、レンダリング対象領域を変化させるための操作を行う。例えば、入力装置360としてのマウスの右クリックを、レンダリング対象領域を変化させるための操作に割り当ててもよい。制御部323は、ユーザーの操作に応じて入力装置360から発信される、レンダリング対象領域を変化させるための指示信号(第1の指示信号)を受け付ける。例えば、ユーザーがマウスの右クリックを押下し続けることにより、制御部323は第1の指示信号を受信し続けることができる。このように、ユーザーからの操作が継続され、第1の指示信号を受信し続ける期間のことを、第1の指示信号を受信している期間と呼ぶ。
ユーザーは、最小MIP画像が表示されているときに、入力装置360を用いて、レンダリング対象領域を変化させるための操作を行う。例えば、入力装置360としてのマウスの右クリックを、レンダリング対象領域を変化させるための操作に割り当ててもよい。制御部323は、ユーザーの操作に応じて入力装置360から発信される、レンダリング対象領域を変化させるための指示信号(第1の指示信号)を受け付ける。例えば、ユーザーがマウスの右クリックを押下し続けることにより、制御部323は第1の指示信号を受信し続けることができる。このように、ユーザーからの操作が継続され、第1の指示信号を受信し続ける期間のことを、第1の指示信号を受信している期間と呼ぶ。
(S450:レンダリング対象領域を漸増させたレンダリング画像の動画を表示する工程)
演算部322は、ステップS440で受信開始した第1の指示信号を受信している期間に、レンダリング対象領域をステップS420で設定された最小値L1から最大値L2に達するまで漸増させてレンダリングする。演算部322は、最小値L1と最大値L2との間の複数の厚さに対応する複数のレンダリング対象領域を定義し、それぞれのレンダリング対象領域に対応するレンダリング画像を生成する。演算部322は、レンダリング対象領域の厚さが最小値L1から漸増する順番で、レンダリング画像を順次生成することが好ましい。
演算部322は、ステップS440で受信開始した第1の指示信号を受信している期間に、レンダリング対象領域をステップS420で設定された最小値L1から最大値L2に達するまで漸増させてレンダリングする。演算部322は、最小値L1と最大値L2との間の複数の厚さに対応する複数のレンダリング対象領域を定義し、それぞれのレンダリング対象領域に対応するレンダリング画像を生成する。演算部322は、レンダリング対象領域の厚さが最小値L1から漸増する順番で、レンダリング画像を順次生成することが好ましい。
制御部323は、演算部322により順次生成された複数のレンダリング画像を、レンダリング対象領域の厚さが漸増する順番で動画として表示装置350に表示させる。これにより、ユーザーは、撮像対象の局所構造を把握しやすい最小MIP画像から全体構造を把握しやすい画像に徐々に遷移していく様子を確認できるため、撮像対象の局所構造から全体構造までの変化を見失うことなく把握することができる。
なお、フレーム間で減少するレンダリング対象領域の厚さについては、制御部323が、動画のフレームレート、並びに、S420で設定された遷移時間、最小値L1、及び最大値L2に基づいて決定してもよい。フレームレートについては、動画を滑らかに視認するために10fps以上に設定されてもよい。さらに滑らかに動画を視認するために、フレームレートは30fps以上に設定されてもよい。
(S460:第1の指示信号の受信終了を検知する工程)
ユーザーは、レンダリング画像の動画が表示されているときに、レンダリング対象領域を変化させるための操作を終了する。ユーザーによる操作が終了したところで、入力装置360からの第1の指示信号の発信が終了し、制御部323は、第1の指示信号の受信終了を検知する。例えば、ユーザーがマウスの右クリックの押下を終了したところで、制御部323は第1の指示信号の受信終了を検知することができる。
ユーザーは、レンダリング画像の動画が表示されているときに、レンダリング対象領域を変化させるための操作を終了する。ユーザーによる操作が終了したところで、入力装置360からの第1の指示信号の発信が終了し、制御部323は、第1の指示信号の受信終了を検知する。例えば、ユーザーがマウスの右クリックの押下を終了したところで、制御部323は第1の指示信号の受信終了を検知することができる。
(S470:レンダリング対象領域を漸増させる処理を終了する工程)
制御部323が第1の指示信号の受信終了を検知したときに、演算部322はレンダリング対象領域を漸増させてレンダリングする処理を終了する。そして、第1の指示信号の受信が終了した後のレンダリング処理や画像表示処理については、以下の図8に示すグラフの説明で詳述する。
制御部323が第1の指示信号の受信終了を検知したときに、演算部322はレンダリング対象領域を漸増させてレンダリングする処理を終了する。そして、第1の指示信号の受信が終了した後のレンダリング処理や画像表示処理については、以下の図8に示すグラフの説明で詳述する。
図8は、第1の指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。t1は第1の指示信号の受信を開始したタイミングであり、t2は第1の指示信号の受信を終了したタイミングである。L1はステップ420で設定されたレンダリング対象領域の厚さの最小値であり、L2はステップ420で設定されたレンダリング対象領域の厚さの最大値である。
図8(a)は、第1の指示信号を受信している期間に、レンダリング対象領域の厚さの単位時間当たりの変化量を一定で漸増させ、第1の指示信号の受信が終了したところで、レンダリング対象領域の厚さを一定の割合で漸減させる例のグラフを示す。この例では、レンダリング対象領域の厚さの変化は一定であるため、ユーザーは時間の経過とレンダリング対象領域の変化量とを直感的に理解しやすい。また、この例では、第1の指示信号の受信が終了した後に、レンダリング対象領域の厚さを最小値L1に達するまで漸減させるため、全体構造から局所構造までの変化を連続的に把握することができる。さらに、この例では、レンダリング対象領域を漸増させるときと漸減させるときとで、レンダリング対象領域の厚さの単位時間当たりの変化量が異なる。この例では、レンダリング対象領域を漸増させるときよりも、レンダリング対象領域を漸減させるときの方が、単位時間当たりの変化量が大きい。これにより、ユーザーが局所構造を確認しているときに全体構造を確認したくなった際には、時間をかけて構造の変化を確認できる。また、全体構造の確認が完了した後は、局所構造を確認するための基本画像(最小MIP画像)に早急に戻ることができるため、読影作業を効率的に行うことができる。
図8(b)は、第1の指示信号の受信が終了したときに、レンダリング対象領域の厚さが最小値のときの最小MIP画像を表示させる例を示す。図8(b)における第1の受信信号を受信している期間については、図8(a)と同様である。この例では、全体構造の確認が完了した後は、局所構造を確認するための基本画像(最小MIP画像)に早急に戻ることができるため、読影作業を効率的に行うことができる。
図8(c)は、レンダリング対象領域の厚さの単位時間の変化量が変化する例である。この例では、第1の指示信号を受信している期間における、レンダリング対象領域の厚さが漸増するときには、単位時間当たりの変化量が漸増していく。これにより、ユーザーが操作を開始してすぐにはレンダリング画像に大きな変化がなく、時間が経過するにつれてレンダリング画像の変化が大きくなる。そのため、局所構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸増させることが好ましい。また、この例では、第1の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸減するときに、単位時間当たりの変化量が漸減していく。そのため、局所構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸減させることが好ましい。
図8(d)は、レンダリング対象領域の厚さの単位時間の変化量の変化の様子が図8(c)と異なる例である。この例では、第1の指示信号を受信している期間における、レンダリング対象領域の厚さが漸増するときには、単位時間当たりの変化量が漸減していく。一方、第1の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸減するときに、単位時間当たりの変化量が漸増していく。そのため、全体構造の変化を重点的に確認したい場合に、このようにレンダリング対象領域を漸増または漸減させることが好ましい。
このように、図8に示す例では、いずれもレンダリング対象領域の厚さが最大値L2に達する前に第1の指示信号の受信が終了したため、第1の指示信号の受信終了をトリガーに漸増する処理が終了した。ただし、第1の指示信号の受信が終了する前に、レンダリング対象領域の厚さが最大値L2に達した場合は、レンダリング対象領域の厚さが最大値L2に達したときに、漸増する処理を終了してもよい。すなわち、第1の指示信号の受信を終了したとき、または、レンダリング対象領域が最大値L2(第2の領域)に達したときにレンダリング対象領域を漸増させる処理を終了することができる。
なお、第1の指示信号を受信している期間にレンダリング対象領域が漸増する限り、いかなる方法でレンダリング対象領域を変更してもよい。また、図8で説明した第1の指示信号を受信している期間におけるレンダリング対象領域の各制御と、第1の指示信号を受信した後のレンダリング対象領域の各制御とを任意に組み合わせてもよい。
図9(b)〜(f)は、図9(a)に示すシーケンスでレンダリング対象領域を変化させたときのレンダリング画像の変化を示す。
図9(b)は、タイミングt1以前のレンダリング対象領域の厚さが最小値L1のときのレンダリング画像(最小MIP画像)を示す。図9(c)は、タイミングt1の後、かつ、レンダリング対象領域の厚さが最大値L2に達する前のタイミングt3に対応するレンダリング対象領域のレンダリング画像を示す。図9(d)は、タイミングt2に対応するレンダリング対象領域(最大値L2)のレンダリング画像(最大MIP画像)を示す。ここでは、レンダリング対象領域の厚さが最大値のとき(レンダリング対象領域が第2の領域のとき)に生成されたMIP画像のことを、最大MIP画像と呼ぶ。図9(d)に示すように最大MIP画像上では血管101、102、及び103が連続性を持って表示され、血管走行などを把握することができる。図9(b)に示す最小MIP画像では、図9(c)や図9(d)に示すMIP画像では表現されなかった血管104の画像が表示させている。この血管104は、血管103とZ軸方向で重なっており、最大値投影したときには表現されなかった血管である。
このように、第1の指示信号を受信している期間にレンダリング対象領域を漸増することにより、局所構造から全体構造までの変化を見失うことなく把握することができる。ユーザーは局所的にしか表示されていない血管が、どのように走行しているのかを直感的に把握することができる。
図9(e)は、タイミングt2の後、かつ、レンダリング対象領域の厚さが最小値L1に達する前のタイミングt4に対応するレンダリング対象領域のレンダリング画像を示す。図9(f)は、レンダリング対象領域の厚さが最小値L1に達した以降に表示されているレンダリング画像を示す。図9(f)に示すレンダリング画像は、図9(b)に示すレンダリング画像と同様で、最小MIP画像である。
このように、第1の指示信号の受信が終了すると、レンダリング対象領域が漸減し、撮像対象の全体構造から局所構造までの変化を見失うことなく把握することができる。
なお、本実施形態では、光音響波に由来するボリュームデータである光音響画像データに基づいた画像表示方法について説明したが、本実施形態に係る画像表示方法は、光音響画像データ以外のボリュームデータにも適用することができる。本実施形態に係る画像表示方法は、超音波診断装置、MRI装置、X線CT装置、PET装置などのモダリティにより得られたボリュームデータに適用してもよい。特に、本実施形態に係る画像表示方法は、血管を表す画像データが含まれるボリュームデータに好適に適用することができる。血管は複雑な構造をしており、断面画像では血管がその先でどのように走行しているのかが想定できない。また、大きな領域をレンダリングしてしまうと、複雑な血管の前後関係を把握することができない。そのため、血管を表す画像データが含まれるボリュームデータに対しては、本実施形態の画像表示方法を好適に適用することができる。例えば、血管を表す画像データが含まれるボリュームデータとしては、光音響画像データ、MR血管撮影法(MRA)画像データ、X線CT血管撮影法(CTA)画像データ、及びドップラー画像データの少なくとも一つを適用することができる。
また、本実施形態では、1つの画像種別の医用画像データを用いたレンダリング画像を表示する例を説明したが、複数の画像種別の医用画像データを用いてレンダリング画像を表示させてもよい。例えば、ある画像種別の医用画像データを用いて生成されたレンダリング画像をベース画像とし、これとは異なる画像種別の医用画像データを用いて本実施形態で説明した方法でレンダリング画像を生成し、重畳させてもよい。すなわち、本実施形態のレンダリングを適用する医用画像データに、追加の医用画像データによる追加のレンダリング画像を合成した合成画像を生成し、表示させてもよい。合成画像としては、重畳画像の他に、並列画像などを採用してもよい。
なお、追加のレンダリング画像の基準位置と、本実施形態のレンダリングを適用したレンダリング画像の基準位置とを対応させてもよい。また、追加のレンダリング画像のレンダリング対象領域を最小値のときの領域(第1の領域)としてもよい。すなわち、本実施形態に係る最小MIP画像の基準位置やレンダリング対象領域と、追加のレンダリング画像の基準位置やレンダリング対象領域とが連動していてもよい。例えば、腫瘍画像が含まれているMRI画像データや超音波画像データ等のレンダリング画像をベース画像とし、血管が描出される光音響画像データに本実施形態のレンダリングを適用してもよい。これにより、ベース画像に映る腫瘍画像については固定された状態で、腫瘍周辺の血管と腫瘍との位置関係を容易に把握することができる。
また、追加のレンダリング画像としては、腫瘍等の関心領域の位置を表すデータに基づいて生成されてもよい。関心領域の位置を表すデータは、関心領域の輪郭を表す座標や関数であってもよいし、関心領域の存在する領域に画像値が割り当てられた画像データであってもよい。このような関心領域を表現したレンダリング画像を、本実施形態に係るレンダリング方法でレンダリングされた画像と合成することにより、関心領域と撮像対象との位置間液を容易に把握することができる。
[第2の実施形態]
本実施形態では、第1の指示信号(ユーザーからの漸増することを表す指示に基づいた信号)の受信を終了する前に、レンダリング対象領域が最大値に達してしまう場合について説明する。本実施形態では、第1の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
本実施形態では、第1の指示信号(ユーザーからの漸増することを表す指示に基づいた信号)の受信を終了する前に、レンダリング対象領域が最大値に達してしまう場合について説明する。本実施形態では、第1の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
図10は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。t1は第1の指示信号の受信を開始したタイミングであり、t2は第1の指示信号の受信を終了したタイミングである。また、τはステップS420で設定された遷移時間であり、t6は第1の指示信号の受信開始から遷移時間τ(所定の期間)が経過したときのタイミングである。L1はステップ420で設定されたレンダリング対象領域の厚さの最小値であり、L2はステップ420で設定されたレンダリング対象領域の厚さの最大値である。
図10は、レンダリング対象領域の厚さが最大値L2に達した後にも、ユーザーが厚さを漸増するための操作を継続した場合の例を示す。この例では、レンダリング対象領域の厚さが最大値L2に達したタイミングt6のときに、レンダリング対象領域を漸増させる処理を終了する。すなわち、第1の指示信号の受信開始から遷移時間τが経過したときに、レンダリング対象領域の厚さが最大値L2(第2の領域)となるように、レンダリング対象領域の漸増処理が行われる。続いて、レンダリング対象領域の厚さが最大値L2に達した後、かつ、第1の指示信号が受信している期間には、最大MIP画像の表示を継続する。
図10(a)においては、最大MIP画像が表示されているときに、第1の指示信号の受信が終了すると、レンダリング対象領域の厚さを最小値L1に達するまで漸減させる。図10(b)においては、最大MIP画像が表示されているときに、第1の指示信号の受信が終了すると、最大MIP画像から最小MIP画像に表示を切り替える。図10(c)においては、最大MIP画像が表示されているときに、第1の指示信号の受信が終了すると、レンダリング対象領域の厚さを最小値L1に達するまで漸減させる。図10(c)においては、レンダリング対象領域の厚さの変化量を漸減させながら、レンダリング対象領域の厚さを最小値L1まで漸減させる。
このように、ユーザーが全体構造を確認するための操作を継続している間は最大MIP画像が表示される。これにより、ユーザーは、簡便な操作で全体構造を十分に把握しつつ、局所構造を表す画像へも簡便な操作で遷移させることができる。
本実施形態では、第1の指示信号の受信開始から遷移時間τが経過したときに第1の指示信号を受信しているときは、最大MIP画像の表示を継続する例を説明した。ただし、第1の指示信号の受信開始から遷移時間τが経過したときのレンダリング対象領域の制御については、この例に限らない。例えば、第1の指示信号の受信開始から遷移時間τが経過したときに、第1の指示信号の受信の有無にかかわらず、レンダリング対象領域を最小値L1に達するまで漸減させてもよい。また、第1の指示信号の受信開始から遷移時間τが経過したときに、第1の指示信号の受信の有無にかかわらず、最大MIP画像から最小MIP画像に切り替えてもよい。
本実施形態では、ユーザーから特定の操作が実行されたときにレンダリング対象領域を漸増する例を説明したが、漸増処理を開始するタイミングはこれに限らない。例えば、ユーザーが最小MIP画像の基準位置を変更する操作(画像送りの操作)を行い、画像送りによって最小MIP画像を表示させているときに、画像送りの操作を終了してから所定の期間が経過すると漸増処理が開始されてもよい。すなわち、情報処理装置320は、画像送りの操作に応じた指示信号の受信を終了してから所定の期間が経過したときに、漸増処理を開始してもよい。この場合、漸増処理の開始から遷移時間τが経過したときに、漸増処理を終了してもよい。入力装置360としてのマウスのホイールをスクロールする操作を画像送りの操作に割り当ててもよい。
このように、ユーザーが画像送りによって最小MIP画像で局所構造を確認し、全体構造を確認したい場合に画像送りの操作を終了すると、全体構造を把握するためのレンダリング画像の動画表示に移行することができる。なお、画像送りの終了から漸増処理に移行するまでの期間については、予め設定されていてもよいし、ユーザーが入力装置360を用いて指定してもよい。
[第3の実施形態]
本実施形態では、第1の指示信号の受信終了した後、または、レンダリング対象領域が最大値に達した後に、レンダリング対象領域を漸減させる処理を行っている期間に、ユーザーが再度漸増させるための操作を行う場合について説明する。レンダリング対象領域を漸減させているときに、ユーザーが操作を行い、情報処理装置320がこの操作に伴う第2の指示信号を受信すると、レンダリング対象領域を漸増する処理を再度実行する。本実施形態では、第1の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
本実施形態では、第1の指示信号の受信終了した後、または、レンダリング対象領域が最大値に達した後に、レンダリング対象領域を漸減させる処理を行っている期間に、ユーザーが再度漸増させるための操作を行う場合について説明する。レンダリング対象領域を漸減させているときに、ユーザーが操作を行い、情報処理装置320がこの操作に伴う第2の指示信号を受信すると、レンダリング対象領域を漸増する処理を再度実行する。本実施形態では、第1の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
図11は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。t1は第1の指示信号の受信を開始したタイミングであり、t2は第1の指示信号の受信を終了したタイミングである。また、τはステップS420で設定された遷移時間であり、t6は第1の指示信号の受信開始から遷移時間τ(所定の期間)が経過したときのタイミングである。t7はタイミングt2の後にユーザーから操作により第2の指示信号の受信開始したタイミングである。L1はステップ420で設定されたレンダリング対象領域の厚さの最小値であり、L2はステップ420で設定されたレンダリング対象領域の厚さの最大値である。
図11は、第1の指示信号の受信を終了し、レンダリング対象領域の厚さを漸減させているときに、ユーザーが厚さを漸増するための操作を再度行った場合の例である。この例では、ユーザーからの再操作が行われたタイミングt7のときに、レンダリング対象領域を漸減する処理を終了する。そして、ユーザーからの再操作が継続している期間(すなわち、第2の指示信号を受信している期間)に、レンダリング対象領域を最大値L2に達するまで漸増させる。このとき、最大値L2に達するまでの期間を遷移時間τで決定してしまうと、操作の度にレンダリング対象領域の単位時間当たりの変化量がばらついてしまう。そこで、再度漸増処理を行うときのレンダリング対象領域の単位時間当たりの変化量については、1回目の漸増処理のときに設定された変化量を適用することが好ましい。これにより、複数回の操作によって複数回の漸増処理を行うときに、操作間でユーザーは違和感なくレンダリング対象領域が漸増していくレンダリング画像の動画を確認することができる。
なお、タイミングt1から遷移時間τが経過する前に第1の指示信号の受信を終了してレンダリング対象領域が漸減する処理が実行されているときに、ユーザーが厚さを漸増するための操作を行った場合も同様に漸増処理を繰り返すことができる。すなわち、レンダリング対象領域が最小値L1と最大値L2との間であるときにも、第1の指示信号の受信が継続されているか否かで漸増処理と漸減処理とを何度も繰り返し実行することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
320 情報処理装置
322 演算部
323 制御部
322 演算部
323 制御部
Claims (17)
- 三次元医用画像データを取得する画像データ取得手段と、
レンダリング対象領域の前記三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させる表示制御手段と、
を有し、
前記表示制御手段は、
第1の領域を前記レンダリング対象領域として前記三次元医用画像データをレンダリングすることにより前記レンダリング画像を前記表示手段に表示させ、
前記レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第1の指示信号を受信している期間に、前記レンダリング対象領域を前記第1の領域から第2の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させ、
前記第1の指示信号の受信を終了したとき、または、前記レンダリング対象領域が前記第2の領域に達したときに前記レンダリング対象領域を漸増させる処理を終了する
ことを特徴とする情報処理装置。 - 前記表示制御手段は、前記第1の指示信号の受信が終了したときに、前記第1の指示信号の受信が終了したときに表示されている前記レンダリング画像の前記レンダリング対象領域を前記第1の領域に達するまで漸減させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させる
ことを特徴する請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記レンダリング対象領域を漸減させているときのユーザーからの指示に応じて発信される第2の指示信号を受信している期間に、前記第2の指示信号を受信したときに表示されている前記レンダリング画像の前記レンダリング対象領域を前記第2の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示させる
ことを特徴する請求項2に記載の情報処理装置。 - 前記表示制御手段は、前記レンダリング対象領域を漸減させるときと漸増させるときとで、前記レンダリング対象領域の単位時間当たりの変化量が異なるように、前記レンダリング対象領域を制御する
ことを特徴とする請求項2または3に記載の情報処理装置。 - 前記表示制御手段は、前記第1の領域から前記第2の領域まで前記レンダリング対象領域を変化させるのに要する時間の方が、前記第2の領域から前記第1の領域まで前記レンダリング対象領域を変化させるのに要する時間よりも短くなるように、前記レンダリング対象領域を制御する
ことを特徴とする請求項4に記載の情報処理装置。 - 前記表示制御手段は、前記第1の指示信号の受信が終了したときに、前記第1の領域を前記レンダリング対象領域とした前記レンダリング画像を表示させる
ことを特徴とする請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記第1の指示信号の受信が終了したときに、前記第1の指示信号の受信が終了したときに表示されている前記レンダリング画像を表示させる
ことを特徴とする請求項1に記載の情報処理装置。 - 前記表示制御手段は、
前記第1の指示信号の受信開始から所定の期間が経過したときに、前記レンダリング対象領域が前記第2の領域となるように前記レンダリング対象領域を漸増させ、
前記第1の指示信号の受信開始から前記所定の期間が経過し、かつ、前記第1の指示信号を受信している期間に、前記第2の領域を前記レンダリング対象領域とした前記レンダリング画像を表示させる
ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記第1の指示信号を受信している期間に、前記レンダリング対象領域の単位時間当たりの変化量を一定とする
ことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記第1の指示信号を受信している期間に、前記レンダリング対象領域の単位時間当たりの変化量を漸減させる
ことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記レンダリング対象領域の前記三次元医用画像データを最大値投影法、平均値投影法、最小値投影法、サーフェイスレンダリング、及びボリュームレンダリングのいずれかでレンダリングすることにより、前記レンダリング画像を前記表示手段に表示させる
ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。 - 前記画像データ取得手段は、前記三次元医用画像データとは異なる画像種別の追加の三次元医用画像データを取得し、
前記表示制御手段は、前記第1の領域を前記レンダリング対象領域として前記追加の三次元医用画像データをレンダリングすることにより追加のレンダリング画像を生成し、前記三次元医用画像データの前記レンダリング画像と前記追加のレンダリング画像との合成画像を前記表示手段に表示させる
ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。 - 前記三次元医用画像データは、光音響装置、超音波診断装置、MRI装置、X線CT装置、及びPET装置のいずれかのモダリティにより生成された医用画像データである
ことを特徴とする請求項1から12のいずれか1項に記載の情報処理装置。 - 前記第1の領域は前記第2の領域に含まれる
ことを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記第1の指示信号を受信している期間、前記レンダリング対象領域の少なくとも一方向の厚さを漸増させる
ことを特徴とする請求項1から14のいずれか1項に記載の情報処理装置。 - 三次元医用画像データを取得し、
第1の領域をレンダリング対象領域として前記三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、
前記レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第1の指示信号を受信している期間に、前記レンダリング対象領域を前記第1の領域から第2の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させ、
前記第1の指示信号の受信を終了したとき、または、前記レンダリング対象領域が前記第2の領域に達したときに前記レンダリング対象領域を漸増させる処理を終了する
ことを特徴とする情報処理方法。 - 請求項16に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163472A JP2019037649A (ja) | 2017-08-28 | 2017-08-28 | 情報処理装置、情報処理方法、プログラム |
PCT/JP2018/030943 WO2019044611A1 (ja) | 2017-08-28 | 2018-08-22 | 情報処理装置、情報処理方法、プログラム |
US16/799,435 US20200193689A1 (en) | 2017-08-28 | 2020-02-24 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163472A JP2019037649A (ja) | 2017-08-28 | 2017-08-28 | 情報処理装置、情報処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019037649A true JP2019037649A (ja) | 2019-03-14 |
Family
ID=65725420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017163472A Pending JP2019037649A (ja) | 2017-08-28 | 2017-08-28 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019037649A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020162746A (ja) * | 2019-03-28 | 2020-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-08-28 JP JP2017163472A patent/JP2019037649A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020162746A (ja) * | 2019-03-28 | 2020-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10558350B2 (en) | Method and apparatus for changing user interface based on user motion information | |
US10420533B2 (en) | Ultrasound diagnosis apparatus and control method thereof | |
EP3009074B1 (en) | Method of providing information using plurality of displays and ultrasound apparatus therefor | |
US9220482B2 (en) | Method for providing ultrasound images and ultrasound apparatus | |
JP2021191429A (ja) | 医療画像のアノテーションのための装置、方法、及びシステム | |
CN109788936B (zh) | 图像显示系统、图像显示方法和存储介质 | |
US10285665B2 (en) | Ultrasound diagnosis apparatus and method and computer-readable storage medium | |
CN111184534A (zh) | 用于确定胎儿心脏的异常的超声诊断设备及其操作方法 | |
JP2016508242A (ja) | 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 | |
US20230329676A1 (en) | Methods and apparatus for performing measurements on an ultrasound image | |
KR20180098499A (ko) | 복수의 디스플레이부를 이용한 정보 제공 방법 및 이를 위한 초음파 장치 | |
US10269453B2 (en) | Method and apparatus for providing medical information | |
US20140055448A1 (en) | 3D Image Navigation Method | |
JP2019037649A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2019037648A (ja) | 情報処理装置、情報処理方法、プログラム | |
US20200193689A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US10146908B2 (en) | Method and system for enhanced visualization and navigation of three dimensional and four dimensional medical images | |
CN103385735A (zh) | 超声诊断设备及其控制方法 | |
US20140380220A1 (en) | Method and apparatus for providing user interface for medical imaging | |
US10772595B2 (en) | Method and apparatus for displaying medical image | |
US20200192620A1 (en) | Information processing apparatus, information processing method, information processing system, and non-transitory computer-readable medium | |
US20240225605A1 (en) | Methods and apparatus for performing measurements on an ultrasound image | |
JP2019051239A (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2019037529A (ja) | 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム |