JP2022155215A - 切開シミュレーション装置、切開シミュレーション方法、及びプログラム - Google Patents
切開シミュレーション装置、切開シミュレーション方法、及びプログラム Download PDFInfo
- Publication number
- JP2022155215A JP2022155215A JP2021058615A JP2021058615A JP2022155215A JP 2022155215 A JP2022155215 A JP 2022155215A JP 2021058615 A JP2021058615 A JP 2021058615A JP 2021058615 A JP2021058615 A JP 2021058615A JP 2022155215 A JP2022155215 A JP 2022155215A
- Authority
- JP
- Japan
- Prior art keywords
- incision
- image
- line
- maximum
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 92
- 210000000056 organ Anatomy 0.000 claims abstract description 138
- 238000009877 rendering Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 50
- 238000002224 dissection Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 17
- 238000003860 storage Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 238000005520 cutting process Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 8
- 238000002271 resection Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Animal Behavior & Ethology (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【課題】切開領域を徐々に拡げるに従って切開領域内に関する演算を追従して実行する場合に比べ、切開領域内に関する演算にかかる負荷を軽減することができる切開シミュレーション装置、切開シミュレーション方法、及びプログラムを提供する。
【解決手段】切開シミュレーション装置は、プロセッサを備え、プロセッサは、切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得し、切開ラインと最大切り開き領域との間の切開過程位置、切開ラインを基準とした第1距離データ、及び3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、3次元臓器画像から切開領域を特定する。
【選択図】図15
【解決手段】切開シミュレーション装置は、プロセッサを備え、プロセッサは、切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得し、切開ラインと最大切り開き領域との間の切開過程位置、切開ラインを基準とした第1距離データ、及び3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、3次元臓器画像から切開領域を特定する。
【選択図】図15
Description
本開示の技術は、切開シミュレーション装置、切開シミュレーション方法、及びプログラムに関する。
特許文献1には、デジタル医療画像をボリュームレンダリングする方法であって、デジタル医療画像ボリュームを提供するステップを含み、画像は点の三次元グリッド上の複数の強度を含み、投影面を提供するステップを含み、投影面は点の二次元のラティスを含み、投影面上にレンダンリング放射線が、画像ボリュームを通した視点から投影され、画像ボリュームを通る放射線に沿ったサンプリング点を進むステップを含み、画像ボリューム内に切開領域を作成するステップを含み、サンプリング点が切開領域内にあるか否かを定めるステップを含み、サンプリング点が切開領域内にある場合には、第1のボリュームから補間されたサンプル値に第1の伝達関数を用い、サンプリング点が切開領域外にある場合には、第2のボリュームから補間されたサンプル値に第2の伝達関数を用い、伝達関数のアウトプットを累積するステップを含む、ことを特徴とする、デジタル医療画像をボリュームレンダリングする方法が開示されている。
特許文献2には、切除領域が特定されている臓器を臓器中の血管領域が視認可能な態様で示す画像を、臓器の3次元画像から生成する画像生成手段と、切断深さを指定する入力を受け付ける深さ入力受付手段と、臓器における切除領域と切除領域以外の領域である非切除領域との境界面のうち、境界面の外縁から内側に境界面に沿った指定された切断深さの範囲内の部分を切断面とする切断面設定手段とを備え、画像生成手段が、3次元画像から、臓器を臓器中の血管領域のうち切断面の近傍領域内に存在する部分血管領域のみが視認可能な態様で示す画像を生成するものであることを特徴とする手術支援装置が開示されている。
特許文献3には、ディスプレイに表示された被術者の医用画像を通じて手術支援を行う方法であって、手術器具による切断面について、見開き状態を模擬した画像を被術者の3次元画像データから作成して表示することを特徴とする手術支援方法が開示されている。
本開示の技術に係る一つの実施形態は、切開領域を徐々に拡げるに従って切開領域内に関する演算を追従して実行する場合に比べ、切開領域内に関する演算にかかる負荷を軽減することができる切開シミュレーション装置、切開シミュレーション方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサが、切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得し、切開ラインと最大切り開き領域との間の切開過程位置、切開ラインを基準とした第1距離データ、及び3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、3次元臓器画像から切開領域を特定する切開シミュレーション装置である。
本開示の技術に係る第2の態様は、切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得すること、並びに、切開ラインと最大切り開き領域との間の切開過程位置、切開ラインを基準とした第1距離データ、及び3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、3次元臓器画像から切開領域を特定することを含む切開シミュレーション方法である。
本開示の技術に係る第3の態様は、コンピュータに、切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得すること、並びに、切開ラインと最大切り開き領域との間の切開過程位置、切開ラインを基準とした第1距離データ、及び3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、3次元臓器画像から切開領域を特定することを含む処理を実行させるためのプログラムである。
添付図面に従って本開示の技術に係る切開シミュレーション装置、切開シミュレーション方法、及びプログラムの実施形態の一例について説明する。
一例として図1に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及びディスプレイ16を備えており、ユーザ18によって使用される。ここで、ユーザ18としては、例えば、医師及び技師等が挙げられる。
画像処理装置12には、受付装置14が接続されている。受付装置14は、キーボード20及びマウス22等を有しており、ユーザ18からの指示を受け付ける。図1に示す例では、受付装置14として、キーボード20及びマウス22が示されているが、これは、あくまでも一例に過ぎず、キーボード20及び/又はマウス22に代えて、或いは、キーボード20及び/又はマウス22と共に、タッチパネル及び/又はタブレット等が用いられてもよい。キーボード20、マウス22、近接入力を受け付けるタッチパネル又はタブレット、音声入力を受け付ける音声入力装置、ジェスチャー入力を受け付ける撮影装置、及び、センサーのうちの少なくとも1つを、受付デバイス14として用いてもよい。また、受付デバイス14と画像処理装置12との接続は、有線であっても無線であってもよい。
画像処理装置12には、ディスプレイ16が接続されている。ディスプレイ72としては、例えば、EL(Electro-Luminescence)ディスプレイ又は液晶ディスプレイ等が挙げられる。ディスプレイ16は、画像処理装置12の制御下で、各種情報(例えば、画像及び文字等)を表示する。
一例として図2に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及びディスプレイ16の他に、通信I/F(Interface)30、外部I/F32、及びバス34を備えている。
画像処理装置12は、本開示の技術に係る「切開シミュレーション装置」及び「コンピュータ」の一例であり、プロセッサ24、ストレージ26、及びRAM(Random access memory)28を備えている。プロセッサ24、ストレージ26、RAM28、通信I/F30、及び外部I/F32は、バス34に接続されている。
プロセッサ24には、メモリが接続されている。メモリは、ストレージ26及びRAM28を含む。プロセッサ24は、例えば、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を有する。GPUは、CPUの制御下で動作し、画像に関する処理の実行を担う。画像に関する処理には、例えば、後述の切開シミュレーション処理(図3及び図17参照)が含まれる。
ストレージ26は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ26としては、例えば、HDD(Hard Disk Drive)及びSSD(Solid State Drive)が挙げられる。なお、HDD及びSSDは、あくまでも一例に過ぎず、HDD、SSD、フラッシュメモリ、磁気抵抗メモリ、及び強誘電体メモリのうちの少なとも1つストレージ26として用いてもよい。
RAM28は、一時的に情報が記憶されるメモリであり、プロセッサ24によってワークメモリとして用いられる。RAM28としては、例えば、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等が挙げられる。
通信I/F30は、ネットワーク(図示省略)に接続されている。ネットワークは、例えば、LAN(Local Area Network)及びWAN(Wide Area Network)等のうちの少なくとも1つで構成されていても良い。ネットワークには、外部装置(図示省略)等が接続されており、通信I/F30は、ネットワークを介して外部通信装置との間の情報の授受を司る。外部通信装置は、例えば、MRI(Magnetic Resonance Imaging)装置、パーソナル・コンピュータ、及びスマートデバイス等のうちの少なくとも1つを含んでもよい。例えば、通信I/F30は、プロセッサ24からの要求に応じた情報を、ネットワークを介して外部通信装置に送信する。また、通信I/F30は、外部通信装置から送信された情報を受信し、受信した情報を、バス34を介してプロセッサ24に出力する。
外部I/F32は、医療業務支援装置10の外部に存在する外部装置(図示省略)との間の各種情報の授受を司る。外部装置は、例えば、スマートデバイス、パーソナル・コンピュータ、サーバ、USB(Universal Serial Bus)メモリ、メモリカード、及びプリンタ等のうちの少なくとも1つであってもよい。外部I/F32の一例としては、USBインタフェースが挙げられる。USBインタフェースには、外部装置が直接的又は間接的に接続される。
ところで、肺癌及び/又は肝臓癌などの悪性腫瘍を臓器から摘出する手術前には、CT(Computed Tomography)装置及び/又はMRI(Magnetic Resonance Imaging)装置等のモダリティによって被検体である患者が撮像されることで得られた複数の2次元スライス画像等を用いて手術前に切除領域が決定されてプランニングされることによって、手術の安全性を高めることが行われている。
しかし、実際にはプランニングされた切開ラインから切除領域を少しずつ切開しながら手術が行われるが、部分的に切開して開いていくという状況のシミュレーションについては、患者標準モデルを用いたサーフェスモデルでの手術シミュレーションが多い。サーフェスモデルでの手術シミュレーションにおいて、実際の患者に関する複数の2次元スライス画像を用いる場合は、複数の2次元スライス画像から臓器を示す臓器画像等を抽出して3次元画像を作成する必要がある。臓器画像等を抽出して3次元臓器画像を作成する場合、非常に手間がかかるという問題点と、複数の2次元スライス画像をそのまま用いようとするとボリュームデータの変形が必要になり、計算コストがかかるという問題点がある。
前者の問題点については、前述の手術プランニングソフトによって臓器画像等の抽出の自動化等を行うことで、手間を最小限にできるが、後者の問題点については、計算コストをできるだけ下げるための技術が必要になる。
計算コストを下げる技術としては、ボリュームデータである3次元臓器画像を変形せずにボリュームレンダリング(以下、「レンダリング」と称する)時に変形を考慮してレンダリングする技術が知られている(“リアルタイムボリュームグラフィクス”, 中尾, MEDIACAL IMAGING TECHNOLOGY Vol.25,No.3, May 2007参照)。しかしながら、切開をシミュレーションする場合には、ただ変形させるだけでなく、切り開いたところに何もない空間を表現しなければならない。何もない空間を表現する方法も提案されている(“肝切除支援のための臓器切離プロセスの可視化”,小田,奈良先端科学技術大学 修士論文,NAIST-IS-MT1051024,2012参照)。しかしながら、この方法では徐々に切り開く際にその都度何もない空間を計算しなければならないという計算コストがかかっていた。
そこで、本実施形態では、切開過程をシミュレーションする際の計算コストをより削減することで、よりスムーズに切開シミュレーションを行えるように、一例として図3に示すように、プロセッサ24によって切開シミュレーション処理が行われる。ストレージ26には、切開シミュレーション処理プログラム36が記憶されている。プロセッサ24は、ストレージ26から切開シミュレーション処理プログラム36を読み出し、読み出した切開シミュレーション処理プログラム36をRAM28上で実行することにより切開シミュレーション処理を行う。切開シミュレーション処理は、プロセッサ24が抽出部24A、レンダリング部24B、制御部24C、切開パラメータ取得部24D、切り開き最大量算出部24E、最大切り開き領域特定部24F、及び切開領域特定部24Gとして動作することによって実現される。なお、切開シミュレーション処理プログラム36は、本開示の技術に係る「プログラム」の一例である。
一例として図4に示すように、ストレージ26には、3次元画像38が記憶されている。3次元画像38は、モダリティによって患者が撮像されることで得られた複数の2次元スライス画像40が積み重ねられてボクセルVに分割されることで得られた画像である。モダリティの一例としては、CT装置が挙げられる。CT装置は、一例に過ぎず、モダリティの他の例としては、MRI装置又は超音波診断装置等が挙げられる。また、図4に示す例では、2次元スライス画像40として、冠状面の2次元スライス画像が示されているが、これに限らず、横断面の2次元スライス画像であってもよいし、矢状面の2次元スライス画像であってもよい。3次元画像を規定している全てのボクセルVの各々の位置は3次元座標で特定される。各ボクセルVには、不透明度、赤(R)、緑(G)及び青(B)の色情報、及び輝度等(以下、これらを「ボクセルデータ」とも称する)が付与されている。
抽出部24Aは、ストレージ26から3次元画像38を取得し、取得した3次元画像38から3次元臓器画像42を抽出する。3次元臓器画像42は、臓器を示す3次元画像である。例えば、3次元画像38には、複数の3次元臓器画像42が含まれており、各3次元臓器画像42には固有の識別子が付与されている。3次元臓器画像42は、受付装置14によって受け付けられた指示に従って3次元画像38から抽出される。例えば、抽出部24Aは、受付装置14によって受け付けられた識別子に対応する3次元臓器画像42を3次元画像38から抽出する。図4に示す例では、3次元臓器画像42の一例として、肝臓を示す画像が示されている。
なお、ここでは、3次元臓器画像42の一例として、肝臓を示す画像を例示しているが、これは、あくまでも一例に過ぎず、心臓及び/又は肺等の他の臓器を示す画像であってもよい。また、固有の識別子を用いて3次元臓器画像42が抽出される方法は、あくまでも一例に過ぎず、受付装置14を介してユーザ18によって何等かの方法で指定された3次元臓器画像42が抽出部24Aによって抽出されるようにすればよい。
レンダリング部24Bは、レイキャスティングを行うことで、ディスプレイ16の画面に対応する投影面44に対して3次元臓器画像42をレンダリングする。投影面44には、レンダリング画像46が投影される。
投影面44は、例えば、ディスプレイ16の画面の解像度に相当する解像度で規定された仮想的な平面である。レンダリング部24Bによってレイキャスティングが行われることで、投影面44の各画素(すなわち、ピクセル)に対応する各視点48から仮想的な光線50が3次元臓器画像42の中を通って投影面44に投射される。3次元臓器画像42に対する各視点48の位置は、例えば、受付装置14によって受け付けられた指示に従って変更され、これによって、様々な方向から3次元臓器画像42を観察した場合のレンダリング画像46が投影面44に投影される。なお、投影面44に投影されたレンダリング画像46は、例えば、ディスプレイ16に表示されたり、既定の記憶デバイス(例えば、ストレージ26等)に記憶されたりする。
一例として図6に示すように、光線50は、3次元臓器画像42の中を通過する間に、指定ボクセル、すなわち、指定された位置のボクセルVまでのサンプリングポイント(例えば、1ボクセル間隔で規定されたポイント)で得たボクセルデータを累積したデータ(以下、「累積データ」とも称する)を投影面44に投影する。これにより、投影面44の各画素には、画素値として累積データが付与される。レンダリング部24Bは、各画素に付与された累積データに応じてレンダリング画像46を生成する。
ところで、仮に、レンダリング部24Bが、3次元臓器画像42に対して設定された切開領域内の態様を示すレンダリング画像46を生成する場合、切開領域の内側に生じる空白領域の計算(例えば、空白領域の位置及び大きさの計算)が必要となる。しかし、一例として図7に示すように、3次元臓器画像42に対して設定された切開領域52を変化せると、切開領域52を変化させる毎に、切開領域52によって生じた空白領域54の計算が必要となり、空白領域54を1回だけ計算する場合に比べ、計算にかかる負荷が大きくなる。そこで、本実施形態では、プロセッサ24によって、一例として図8~図16に示す処理が行われる。
一例として図8に示すように、制御部24Cは、受付装置14によって受け付けられた指示に応じてGUI(Graphical User Interface)制御を行うことで、ディスプレイ16に対して画面56を表示させる。また、制御部24Cは、受付装置14によって受け付けられた指示に応じた各種設定を行う。
画面56には、レンダリング部24Bによって生成されたレンダリング画像46が表示される。画面56には、案内メッセージ表示領域56Aが含まれている。案内メッセージ表示領域56Aには、案内メッセージ56A1が表示される。案内メッセージ56A1は、レンダリング画像46を介した3次元臓器画像42(図4~図7参照)に対する切開ライン60の設定をユーザ18に案内するメッセージである。図8に示す例では、案内メッセージ56A1の一例として、「切開ラインを設定して下さい。」というメッセージが示されている。
画面56にはポインタ58が表示されている。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することでレンダリング画像46に対して切開ライン60を形成する。図8に示す例では、ポインタ58が操作されることによってレンダリング画像46に対して形成された切開ライン60の一例として、直線的なラインが示されている。レンダリング画像46に対して形成された切開ライン60は、受付装置14によって受け付けられた指示に従って確定される。
切開ライン60の設定が終了すると、一例として図9に示すように、制御部24Cによってディスプレイ16に表示される画面が画面56から画面62に切り替えられる。画面62には、切開ライン60が描かれたレンダリング画像46が表示されている。また、画面62には、深さ設定ボックス62Aが含まれている。深さ設定ボックス62Aは、案内メッセージ62A1、入力ボックス62A2、及び確定キー62A3を有する。
案内メッセージ62A1は、3次元臓器画像42(図4~図7参照)に対する切開の深さ64(以下、単に「深さ64」とも称する)の設定をユーザ18に対して案内するメッセージである。図9に示す例では、「切開の深さを設定して下さい。」というメッセージが示されている。
入力ボックス62A2は、深さ64が入力されるボックスである。例えば、入力ボックス62A2には、深さ64がミリメートル単位の数値で入力される。ユーザ18は、受付装置14(ここでは、一例として、キーボード20)を介して入力ボックス62A2に深さ64を入力する。
確定キー62A3は、入力ボックス62A2に入力された深さ64を確定する場合にオンされるソフトキーである。ユーザ18は、入力ボックス62A2に深さ64が入力された場合に、受付装置14(ここでは、一例として、マウス22)を介して確定キー62A3をオンする。これにより、入力ボックス62A2に入力された深さ64が確定される。
深さ64の設定が終了すると、一例として図10に示すように、制御部24Cによってディスプレイ16に表示される画面が画面62から画面66に切り替えられる。画面66には、案内メッセージ表示領域66Aが含まれている。案内メッセージ表示領域66Aには、案内メッセージ66A1が表示される。案内メッセージ66A1は、レンダリング画像46を介した3次元臓器画像42(図4~図7参照)に対する切開幅68の設定をユーザ18に案内するメッセージである。図10に示す例では、案内メッセージ66A1の一例として、「切開幅を設定して下さい。」というメッセージが示されている。
切開幅68は、切開ライン60を基準とした幅である。図10に示す例では、切開幅68の一例として、切開ライン60の中心60Aを基準にして切開ライン60から切り開かれる幅が破線で示されている。画面66にはポインタ58が表示されている。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することでレンダリング画像46に対して切開幅68を設定する。例えば、ユーザ18は、マウス22を用いて中心60Aにポインタ58を位置させてからドラッグアンドドロップを行うことで切開幅68を設定する。具体的には、マウス22で、中心60Aをドラッグし、切開ライン60から離れる方向(図10に示す例では、画面66上で切開ライン60に対して垂直な方向)にポインタ58を移動させてドロップさせる。ドロップした位置が切開幅68の一端として設定され、切開幅68の一端が切開ライン60を介してミラーリングされた位置、すなわち、切開ライン60に対して切開幅68の一端と線対称な位置が切開幅68の他端として設定される。
ここでは、切開幅68の一端が設定されることによって切開幅68の他端も設定される形態例を挙げて説明したが、切開幅68の設定方法は、これに限定されない。例えば、切開ライン60を横切るようにポインタ58を移動させることで得られる移動軌跡が切開幅68として設定されてもよいし、キーボード20によって受け付けられた指示に従って切開幅68が設定されてもよい。また、切開幅68は、受付装置14によって受け付けられた指示に限らず、各種条件(例えば、臓器の種類)に応じて定められていてもよく、切開対象物に対して与えられた条件を満たす幅であればよい。
一例として図11に示すように、切開パラメータ取得部24Dは、受付装置14によって受け付けられた切開ライン60、深さ64、及び切開幅68を取得する。以下では、説明の便宜上、切開ライン60、深さ64、及び切開幅68を区別して説明する必要がない場合、符号を付さずに「切開パラメータ」とも称する。
切り開き最大量算出部24Eは、切開パラメータ取得部24Dによって受け付けられた切開ライン60、深さ64、及び切開幅68に基づいて切り開き最大量70を算出する。切り開き最大量70は、切開ライン60、深さ64、及び切開幅68従って3次元臓器画像42(図4~図7参照)が切り開かれた領域の大きさ(例えば、切開領域の面積)である。切り開き最大量70は、切開ライン60、深さ64、及び切開幅68に基づいて規定されている。
切り開き最大量70は、切り開き最大量算出部24Eによって切り開き最大量演算式(図示省略)から算出される。切り開き最大量演算式は、切開ライン60、深さ64、及び切開幅68を独立変数とし、切り開き最大量70を従属変数とした演算式である。なお、切り開き最大量演算式に代えて、切開ライン60、深さ64、及び切開幅68を入力値とし、切り開き最大量70を出力値とした切り開き最大量テーブル(図示省略)から切り開き最大量70が導出されるようにしてもよい。
最大切り開き領域特定部24Fは、切り開き最大量算出部24Eによって算出された切り開き最大量70を用いて3次元臓器画像42(図4~図7参照)から最大切り開き領域72を特定する。最大切り開き領域72とは、切開領域52(図7)が最大化された領域を指す。最大切り開き領域72の特定とは、例えば、3次元臓器画像42で切開領域52が最大化された領域の位置を特定する3次元座標の決定を意味する。3次元臓器画像42で切開領域52が最大化された領域の位置を特定する3次元座標は、例えば、切開ライン60、深さ64、切開幅68、及び切り開き最大量70等を独立変数とし、3次元臓器画像42で切開領域52が最大化された領域の外縁の位置を特定する3次元座標を従属変数とした演算式に従って算出されることによって決定される。
最大切り開き領域特定部24Fによる最大切り開き領域の特定が終了すると、一例として図12に示すように、制御部24Cによってディスプレイ16に表示される画面が画面66(図10参照)から画面74に切り替えられる。画面74には、案内メッセージ表示領域74Aが含まれている。案内メッセージ表示領域74Aには、案内メッセージ74A1が表示される。案内メッセージ74A1は、レンダリング画像46を介した3次元臓器画像42(図4~図7参照)に対する切開過程位置76Aの設定をユーザ18に案内するメッセージである。切開過程位置76Aとは、切開ライン60と最大切り開き領域72との間の位置、すなわち、切開ライン60から最大切り開き領域72に至るまでの切り開きの過程で通る位置を指す。図12に示す例では、案内メッセージ74A1の一例として、「切開過程位置を設定して下さい。」というメッセージが示されている。
画面74には、レンダリング画像46上において、切開幅68を規定するラインとして中心60A上で切開ライン60を横切る切開幅ライン76(図12に示す例では、破線ライン)が表示されている。切開過程位置76Aは、受付装置14によって受け付けられた指示に従って設定される。例えば、ユーザ18は、マウス22を用いて切開幅ライン76上の1点にポインタ58を合わせてクリックすると、ポインタ58を合わせた位置が切開過程位置76Aとして設定される。ここでは、マウス22による操作に従って切開過程位置76Aが設定される形態例を挙げて説明したが、本開示の技術は、これに限定されず、キーボード20、タッチパネル、及び/又はタブレット端末等が操作されることによって切開過程位置76Aが設定されるようにしてもよい。また、切開過程位置76Aは、受付装置14によって受け付けられた指示に限らず、各種条件(例えば、臓器の種類)に応じて定められていてもよい。
切開過程位置76Aの設定が終了すると、一例として図13に示すように、切開領域特定部24Gは、1次元データとして、切開ライン60を基準とした距離データである第1の単軸距離データ78を生成する。3次元臓器画像42は、臓器の表面を示す3次元臓器表面画像42Aを有する。
ここで、3次元データとして、切開ライン60を基準とした距離データを第1距離データXと称する。第1距離データXは、レンダリング画像46を介して3次元臓器表面画像42Aに対して設定された臓器画像切開ライン42Bからの距離を示すデータである。臓器画像切開ライン42Bは、レンダリング画像46を介して3次元臓器表面画像42Aに対して、切開ライン60に相当するラインとして設定されたラインである。
言い換えると、臓器画像切開ライン42Bは、切開ライン60及び切開の深さ64に基づいて定められる最小の切り開き領域に対応する。また、第1距離データXは、三次元臓器画像42Aを構成するボクセルVごとに臓器画像切開ライン42Bからの距離を示す3次元データである。ここで、図13に示す例では、第1距離データXのうち、切開ライン60と切開の深さ64とで規定される平面と直交する断面における第1距離データXを、臓器画像切開ライン42Bからの距離が近いほど濃くなるように表現された画像が第1距離画像80として示されている。
第1距離画像80は、3次元臓器表面画像42Aに対応する表面上の第1距離データXに対応している。すなわち、第1距離画像80は、3次元臓器表面画像42上の臓器画像切開ライン42Bに対応するライン80Aを基準とした第1距離データXの分布状態を示す画像である。また、第1距離画像80上の臓器画像切開ライン42Bに交差する方向の位置(以下、「第1交差方向位置」と称する)と、第1交差方向位置毎の臓器画像切開ライン42Bからの距離を示した線分は、第1の単軸距離データ78のように示される。臓器切開ライン42Bに対応する位置は、基準距離の“0”として示される。
第1距離データXは、第1の単軸距離データ78により示されるように、臓器画像切開ライン42Bからの距離が臓器画像切開ライン42Bから切開される方向(以下、「切開方向」とも称する)に離れるに従って増加する。
一例として図14に示すように、切開領域特定部24Gは、1次元データとして、3次元臓器画像42に対して指定された最大切り開き領域72、すなわち、最大切り開き領域特定部24Fによって特定された最大切り開き領域72を基準とした距離データである第2の単軸距離データ82を生成する。
ここで、3次元データとして、最大切り開き領域72を基準とした距離データを第2距離データYと称する。第2距離データYは、最大切り開き領域72からの距離を示すデータである。また、第2距離データYは、3次元臓器画像42Aを構成するボクセルVごとに最大切り開き領域72からの距離を示す3次元データである。ここで、図14に示す例では、第2距離データYのうち、切開ライン60と切開の深さ64で規定される平面と直交する断面における第2距離データYを、切り開き領域72からの距離が近いほど濃くなるように表現された画像が第2距離画像84として示されている。
第2距離画像84は、三次元臓器表面画像42Aに対応する表面上の第2距離データYに対応している。また、第2距離画像84は、3次元臓器表面画像42B上の最大切り開き領域72に対応する外縁ライン84Aからの距離を示している。すなわち、第2距離画像84は、外縁ライン72Aを基準とした第2距離データYの分布状態を示す画像である。
外縁ライン72Aは、レンダリング画像46に対して設定された切開ライン60(図8参照)、深さ64(図9参照)、及び切開幅68(図10参照)に応じて定められた切開面46Aの外縁ライン46A1に対応している。また、第2距離画像84上の外縁ライン72Aに交差する方向の位置(以下、「第2交差方向位置」と称する)と、第2交差方向位置毎の外縁ライン72Aからの距離を示した線分は、第2の単軸距離データ82のように示される。なお、第2の単軸距離データ82において、最大切り開き領域72(すなわち、外縁ライン72A)に対応する位置は、基準距離“0”として示される。
第2距離データY、すなわち、最大切り開き領域72からの距離を示すデータは、3次元臓器画像42のうちの最大切り開き領域72の内側を負値で表現し、3次元臓器画像42のうちの最大切り開き領域72の外側を正値で表現したデータである。例えば、第2の単軸距離データ82により示される距離は、3次元臓器画像42の切開方向において、外縁ライン72Aから内側に離れるに従って値が減少し、外縁ライン72Aから内側に離れるに従って値が増大する。
図14に示す例では、外縁ライン72Aのうち、切開幅ライン76の一端に相当する位置、及び、切開幅ライン76の他端に相当する位置が、基準距離の“0”である。この場合、第2距離データYにより示される距離は、3次元臓器画像42の切開方向において、外縁ライン72Aのうちの切開幅ライン76の一端に相当する位置から最大切り開き領域72の内側に離れるに従って負側に距離が増大し、3次元臓器画像42の切開方向において、外縁ライン72Aのうちの切開幅ライン76の一端に相当する位置から最大切り開き領域72の外側に離れるに従って正側に距離が増大する。また、第2距離データYにより示される距離は、3次元臓器画像42の切開方向において、外縁ライン72Aのうちの切開幅ライン76の他端に相当する位置から最大切り開き領域72の内側に離れるに従って負側に距離が増大し、3次元臓器画像42の切開方向において、外縁ライン72Aのうちの切開幅ライン76の他端に相当する位置から最大切り開き領域72の外側に離れるに従って正側に距離が増大する。
切開領域特定部24Gは、切開過程位置76A(図12参照)、第1距離データX、及び第2距離データYに基づいて、3次元臓器画像42から切開領域88(図15参照)を特定する。
一例として図15に示すように、切開領域特定部24Gは、第1距離データXを示す“D(0)”、第2距離データYを示す“D(1)”、及び切開過程位置76Aを示す数値である“α”に基づいて、3次元データとして、第3距離データZを算出する。αは、臓器画像切開ライン42Bの位置を下限値の“0”とし、最大切り開き領域(すなわち、外縁ライン72A)(図14参照)の位置を上限値の“1”とした範囲内の値である。第3の単軸距離データ86は、第1の単軸距離データ78と第2の単軸距離データ82とを補間したデータである。例えば、第3の単軸距離データ86は、以下の式(1)から算出される。式(1)において、D(α)は、第3の単軸距離データ86を示している。
D(α)=(1-α)D(0)+αD(1)・・・・(1)
第3距離データZは、切開方向の位置毎の距離を示すデータである。第3距離データZにより示される距離が“0”の位置は、切開幅ライン76の切開過程位置76Aに対応する位置である。
また、第3距離データZは、3次元臓器表面画像42Aを構成するボクセルVごとに、切開過程位置76Aで切り開いた場合の切開領域88からの距離を示す三次元データに対応している。ここで、図15に示す例では、第3距離データZのうち、切開ライン60と切開の深さ64で規定される平面と直交する断面における第3距離データZを、切開領域88からの距離が近いほど濃くなるように表現された画像が第3距離画像90として示されている。言い換えると、第3距離画像90は、3次元臓器表面画像42Aに対応する表面上の第3距離データZに対応している。
また、第3距離画像84は、3次元臓器表面画像42A上の切開領域88の外縁ライン88Aからの距離を示している。第3距離画像90は、3次元臓器表面画像42A上の切開領域88に対応する外縁ライン90Aを基準とした第3距離データZの分布状態を示す画像である。また、第3距離画像90上の外縁ライン88Aに交差する方向の位置(以下、「第3交差方向位置」と称する)と、第3交差方向位置毎の外縁ライン88Aからの距離を示した線分は、第3の単軸距離データ86のように示される。なお、第3の単軸距離データ86において、切開領域88(すなわち、外縁ライン88A)に対応する位置は、基準距離“0”として示される。
また、第3距離データZは、切開幅ライン76上の切開過程位置76Aから切開ライン60側の位置までの距離は負値で表現し、切開幅ライン76上の切開過程位置76Aから切開ライン60とは反対側の位置までの距離は正値で表現したデータである。第3距離データZにより示される距離は、3次元臓器画像42の切開方向において、切開過程位置76Aから切開ライン60側に離れるに従って値が減少し、切開過程位置76Aから切開ライン60とは反対側に離れるに従って値が増大する。
切開領域特定部24Gは、第3距離データZに基づいて切開領域88を特定する。切開領域88の特定とは、切開領域88を構成する複数のボクセルV(図6、図7及び図11参照)の3次元座標の特定を指す。第3距離画像90のライン90Aは、切開領域88の外縁ライン88Aに対応している。外縁ライン88Aよりも内側のボクセルVの位置は、第3距離画像90のうちのライン90Aで囲まれた領域よりも内側の第3距離データZから特定される。
切開領域特定部24Gによって切開領域88が特定されると、一例として図16に示すように、レンダリング部24Bは、切開領域88に対するレンダリングを行う。すなわち、レンダリング部24Bは、最大切り開き領域72内に対するレンダリングをスキップし、切開領域特定部24Gによって切開領域88が特定されたタイミングに合わせて切開領域88内のレンダリングを行う。これにより、レンダリング画像46の切開領域88の位置に対応する切開領域46B内に、切開領域88に対応するレンダリング画像である切開領域レンダリング画像46B1が生成される。なお、最大切り開き領域72内に対するレンダリングのスキップとは、最大切り開き領域72内に対するレンダリングを行わないことを意味する。
制御部24Cは、切開領域レンダリング画像46B1を含むレンダリング画像46をディスプレイ16に対して表示させるための画面データ91を生成し、生成した画面データ91をディスプレイ16に出力する。ここで、画面データ91は、本開示の技術に係る「データ」の一例である。
図16に示す例において、画面データ91は、画面92を示すデータである。ディスプレイ16には、制御部24Cから画面データ91が入力され、画面データ91により示される画面92が表示される。画面92には、切開領域レンダリング画像46B1を含むレンダリング画像46が表示される。
次に、医療業務支援装置10の作用について図17を参照しながら説明する。
図17には、プロセッサ24によって行われる切開シミュレーション処理の流れの一例が示されている。なお、図17に示す切開シミュレーション処理の流れは、本開示の技術に係る「切開シミュレーション方法」の一例である。
図17に示す切開シミュレーション処理では、先ず、ステップST10で、抽出部24Aは、ストレージ26から3次元画像38を取得する(図4参照)。ステップST10の処理が実行された後、切開シミュレーション処理はステップST12へ移行する。
ステップST12で、抽出部24Aは、ステップST10で取得した3次元画像38から3次元臓器画像42を抽出する(図4参照)。ステップST12の処理が実行された後、切開シミュレーション処理はステップST14へ移行する。
ステップST14で、レンダリング部24Bは、ステップST12で抽出された3次元臓器画像42に対してレンダリングを行うことでレンダリング画像46を生成する(図5及び図6参照)。ステップST14の処理が実行された後、切開シミュレーション処理はステップST16へ移行する。
ステップST16で、制御部24Cは、ステップST14で生成されたレンダリング画像46をディスプレイ16に表示させる(図8~図10参照)。ステップST16の処理が実行された後、切開シミュレーション処理はステップST18へ移行する。
ステップST18で、切開パラメータ取得部24Dは、受付装置14によって受け付けられた切開パラメータ(すなわち、切開ライン60、深さ64、及び切開幅68)を取得する(図11参照)。ステップT18の処理が実行された後、切開シミュレーション処理はステップST20へ移行する。
ステップST20で、切り開き最大量算出部24Eは、ステップST18で取得された切開パラメータに基づいて切り開き最大量70を算出する(図11参照)。ステップST20の処理が実行された後、切開シミュレーション処理はステップST22へ移行する。
ステップST22で、最大切り開き領域特定部24Fは、ステップST20で算出された切り開き最大量79を用いて、ステップST12で抽出された3次元臓器画像42から最大切り開き領域72を特定する(図11参照)。ステップST22の処理が実行された後、切開シミュレーション処理はステップST24へ移行する。
ステップST24で、制御部24Cは、受付装置14によって受け付けられた指示に従って切開過程位置76Aを設定する(図12参照)。ステップST24の処理が実行された後、切開シミュレーション処理はステップST26へ移行する。
ステップST26で、切開領域特定部24Gは、ステップST18で取得された切開パラメータに含まれる切開ライン60を基準とした第1距離データXを生成し(図13参照)、かつ、ステップST22で特定された切り開き最大領域72を基準とした第2距離データYを生成する(図14参照)。ステップST26の処理が実行された後、切開シミュレーション処理はステップST28へ移行する。
ステップST28で、切開領域特定部24Gは、ステップST24で設定された切開過程位置76A、ステップST26で生成された第1距離データX、及びステップST26で生成された第2距離データYに基づいて、ステップST12で抽出された3次元臓器画像42から切開領域88を特定する(図14及び図15)。ステップST28の処理が実行された後、切開シミュレーション処理はステップST30へ移行する。
ステップST30で、レンダリング部24Bは、ステップST28で特定された切開領域88に対するレンダリングを行うことで切開領域レンダリング画像46B1を生成する。ステップST30の処理が実行された後、切開シミュレーション処理はステップST32へ移行する。
ステップST32で、制御部24Cは、ステップST30で生成された切開領域レンダリング画像46B1を含むレンダリング画像46をディスプレイ16に対して表示させる。ステップST32の処理が実行された後、切開シミュレーション処理はステップST34へ移行する。
ステップST34で、切開領域特定部24Gは、切開過程位置76Aが変更されたか否かを判定する。ステップST34において、切開過程位置76Aが変更された場合は、判定が肯定されて、切開シミュレーション処理はステップST26へ移行する。ステップST34において、切開過程位置76Aが変更されていない場合は、判定が否定されて、切開シミュレーション処理はステップST36へ移行する。
ステップST36で、切開領域特定部24Gは、切開シミュレーション処理が終了する条件(以下、「終了条件」と称する)を満足したか否かを判定する。終了条件の一例としては、切開シミュレーション処理を終了させる指示が受付装置14によって受け付けられた、との条件が挙げられる。ステップST36において、終了条件を満足していない場合は、判定が否定されて、切開シミュレーション処理はステップST34へ移行する。ステップST38において、終了条件を満足した場合は、判定が肯定されて、切開シミュレーション処理が終了する。
以上説明したように、医療業務支援装置10では、切開過程位置76A、第1距離データX、及び第2距離データYに基づいて3次元臓器画像42から切開領域88が特定される。従って、本構成によれば、3次元臓器画像42の切開領域52(図7参照)を徐々に拡げるに従って切開領域52内に関する演算(例えば、図11に示す空白領域54に関する演算)を追従して実行する場合に比べ、切開領域88(図14~図16参照)内に関する演算にかかる負荷を軽減することができる。
また、医療業務支援装置10では、抽出部24Aによってストレージ26から3次元画像38が取得され、3次元画像38から3次元臓器画像42が抽出される。そして、抽出部24Aによって抽出された3次元臓器画像42から、切開過程位置76A、第1距離データX、及び第2距離データYに基づいて切開領域88が特定される。従って、本構成によれば、3次元画像38から抽出した3次元臓器画像42の切開領域52(図7参照)を徐々に拡げるに従って切開領域52内に関する演算を追従して実行する場合に比べ、3次元画像38から抽出した3次元臓器画像42の切開領域88(図14~図16参照)内に関する演算にかかる負荷を軽減することができる。
また、医療業務支援装置10では、受付装置14によって受け付けられた切開ライン60が切開パラメータ取得部24Dによって取得される。そして、切開ライン60を基準とした第1距離データXが生成される。従って、本構成によれば、切開ライン60が固定化されている場合に比べ、ユーザ18が意図する切開ライン60を基準とした第1距離データXを得やすくすることができる。
また、医療業務支援装置10では、3次元臓器画像42に対して設定された切り開き最大量70を用いて3次元臓器画像42から最大切り開き領域72が特定される。従って、本構成によれば、切り開き最大量70とは無関係な値のみを用いて最大切り開き領域72を特定する場合に比べ、最大切り開き領域72を高精度に特定することができる。
また、医療業務支援装置10では、切り開き最大量70が切開ライン60、深さ64、及び切開幅68に基づいて規定されている。従って、本構成によれば、切開ライン60、深さ64、及び切開幅68の何れも用いずに切り開き最大量70を規定する場合に比べ、切り開き最大量70を高精度に規定することができる。
また、医療業務支援装置10では、受付装置14によって受け付けられた切開幅68が切開パラメータ取得部24Dによって取得される。従って、本構成によれば、切開幅68が固定化されている場合に比べ、ユーザ18が意図する切開幅68を設定し易くすることができる。
また、医療業務支援装置10では、第1距離データXとして、3次元臓器表面画像42Aに対して設定された臓器画像切開ライン42Bからの距離を示すデータが用いられている。従って、本構成によれば、第1距離データXが、3次元臓器表面画像42Aに対して設定された臓器画像切開ライン42Bからの距離を示すデータとは全く無関係なデータである場合に比べ、切開領域88を高精度に特定することができる。
また、医療業務支援装置10では、第2距離データYとして、最大切り開き領域72の外縁ライン72Aからの距離を示すデータが用いられている。従って、本構成によれば、第2距離データYが、最大切り開き領域72の外縁ライン72Aからの距離を示すデータとは全く無関係なデータである場合に比べ、切開領域88を高精度に特定することができる。
また、医療業務支援装置10では、外縁ライン72Aからの距離を示すデータとして、最大切り開き領域72の内側を負値で表現し、最大切り開き領域72の外側を正値で表現したデータが用いられている。なお、最大切り開き領域72の内側が正値で表現され、最大切り開き領域72の外側を負値で表現されていてもよい。従って、本構成によれば、外縁ライン72Aからの距離を示すデータが、最大切り開き領域72の内側と外側とは無関係に常に正値又は負値で表現されたデータである場合に比べ、最大切り開き領域72の内側と外側とを容易に特定することができる。
また、医療業務支援装置10では、切開領域88が第1距離データXと第2距離データYとを補間したデータに基づいて特定される。従って、本構成によれば、切開領域52(図7参照)を徐々に拡げる場合に比べ、最終的な切開領域88(図14~図16参照)を特定するのに要する演算負荷を軽減することができる。
また、医療業務支援装置10では、切開領域88が特定されたタイミングに合わせて切開領域88内に対してレンダリングが行われる。従って、本構成によれば、切開領域52(図7参照)を徐々に拡げるのに追従して常に切開領域52内のレンダリングを行う場合に比べ、レンダリングにかかる演算の負荷を軽減することができる。
また、医療業務支援装置10では、切開領域レンダリング画像46B1を含むレンダリング画像46がディスプレイ16に表示される。従って、本構成によれば、ユーザ18に対して、切開領域88内の態様を視覚的に把握させることができる。
更に、医療業務支援装置10では、最大切り開き領域72(図14参照)内に対するレンダリングがスキップされる。従って、本構成によれば、最大切り開き領域72内に対するレンダリングの演算を行う場合に比べ、演算負荷を軽減することができる。
なお、上記実施形態では、第1距離画像80、第2距離画像84、及び第3距離画像90が切開領域特定部24Gによって生成される形態例を挙げて説明したが、本開示の技術は、これに限定されず、第1距離画像80、第2距離画像84、及び第3距離画像90が生成されなくとも本開示の技術は成立する。すなわち、第1距離データX及び第2距離データYに基づいて第3距離データZが生成され、第3距離データZを用いて切開領域88が特定されるようにすればよい。
また、上記実施形態では、医療業務支援装置10に含まれる画像処理装置12のプロセッサ24によって切開シミュレーション処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、切開シミュレーション処理を行うデバイスは、医療業務支援装置10の外部に設けられていてもよい。
この場合、一例として図18に示すように、医療業務支援システム100を用いればよい。医療業務支援システム100は、情報処理装置101と外部通信装置102を備えている。情報処理装置101は、上記実施形態で説明した医療業務支援装置10に含まれる画像処理装置12のストレージ26から切開シミュレーション処理プログラム36が除かれた装置である。外部通信装置102は、例えば、サーバである。サーバは、例えば、メインフレームによって実現される。ここでは、メインフレームを例示しているが、これは、あくまでも一例に過ぎず、サーバは、クラウドコンピューティングによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部通信装置102の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも1台のパーソナル・コンピュータ等を外部通信装置102として用いてもよい。
外部通信装置102は、プロセッサ104、ストレージ106、RAM108、及び通信I/F110を備えており、プロセッサ104、ストレージ106、RAM108、及び通信I/F110は、バス112で接続されている。通信I/F110は、ネットワーク114を介して情報処理装置101に接続されている。ネットワーク114は、例えば、インターネットである。なお、ネットワーク114は、インターネットに限らず、WAN、及び/又は、イントラネット等のLANであってもよい。
ストレージ106には、切開シミュレーション処理プログラム36が記憶されている。プロセッサ104は、RAM108上で切開シミュレーション処理プログラム36を実行する。プロセッサ104は、RAM108上で実行する切開シミュレーション処理プログラム36に従って、上述した切開シミュレーション処理を行う。
情報処理装置101は、外部通信装置102に対して切開シミュレーション処理の実行を要求する要求信号を送信する。外部通信装置102の通信I/F110は、ネットワーク114を介して要求信号を受信する。プロセッサ104は、切開シミュレーション処理プログラム36に従って切開シミュレーション処理を行い、処理結果を通信I/F110を介して情報処理装置101に送信する。情報処理装置101は、外部通信装置102から送信された処理結果(例えば、切開領域特定部24Gによる処理結果、及び/又は、画面データ91)を通信I/F30(図2参照)で受信し、受信した処理結果をディスプレイ16等の各種装置に対して出力する。
なお、図18に示す例において、外部通信装置102は、本開示の技術に係る「切開シミュレーション装置」の一例であり、プロセッサ104は、本開示の技術に係る「プロセッサ」の一例である。
また、切開シミュレーション処理は、情報処理装置101及び外部通信装置102を含む複数の装置によって分散されて行われるようにしてもよい。
また、上記実施形態では、プロセッサ24がCPU及びGPUによって実現される形態例を挙げたが、本開示の技術は、これに限定されず、プロセッサ24は、少なくとも1つのCPU、少なくとも1つGPU、少なくとも1つのGPGPU(General-purpose computing on graphics processing units)、及び/又は、少なくとも1つのTPU(Tensor processing unit)によって実現されるプロセッサであってもよい。
また、上記実施形態では、ストレージ26に切開シミュレーション処理プログラム36が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図19に示すように、切開シミュレーション処理プログラム36がSSD又はUSBメモリなどの記憶媒体116に記憶されていてもよい。記憶媒体116は、可搬型の非一時的記憶媒体である。記憶媒体116に記憶されている切開シミュレーション処理プログラム36は、医療業務支援装置10の画像処理装置12にインストールされる。プロセッサ24は、切開シミュレーション処理プログラム36に従って切開シミュレーション処理を実行する。
また、ネットワーク(図示省略)を介して医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置に切開シミュレーション処理プログラム36を記憶させておき、医療業務支援装置10の要求に応じて切開シミュレーション処理プログラム36がダウンロードされ、画像処理装置12にインストールされるようにしてもよい。
医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ26に切開シミュレーション処理プログラム36の全てを記憶させておく必要はなく、切開シミュレーション処理プログラム36の一部を記憶させておいてもよい。なお、記憶媒体116、医療業務支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、及びその他の外部ストレージ(例えば、データベース等)は、プロセッサ24に直接的又は間接的に接続されて用いられるメモリとして位置付けられる。
また、上記実施形態では、画像処理装置12がコンピュータとして例示されているが、本開示の技術はこれに限定されず、コンピュータに代えて、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、及び/又はPLD(Programmable Logic Device)を含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した切開シミュレーション処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、切開シミュレーション処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで切開シミュレーション処理を実行する。
切開シミュレーション処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、切開シミュレーション処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、切開シミュレーション処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、切開シミュレーション処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、切開シミュレーション処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の切開シミュレーション処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 医療業務支援装置
12 画像処理装置
14 受付装置
16 ディスプレイ
18 ユーザ
20 キーボード
22 マウス
24,104 プロセッサ
24A 抽出部
24B レンダリング部
24C 制御部
24D 切開パラメータ取得部
24E 切り開き最大量算出部
24F 最大切り開き領域特定部
24G 切開領域特定部
26,106 ストレージ
28,108 RAM
30,110 通信I/F
32 外部I/F
34,112 バス
36 切開シミュレーション処理プログラム
38 3次元画像
40 2次元スライス画像
42 3次元臓器画像
44 投影面
46 レンダリング画像
46B,52,88 切開領域
46B1 切開領域レンダリング画像
48 視点
50 光線
54 空白領域
56,62,66,74 画面
56A,66A、74A 案内メッセージ表示領域
56A1,62A1,66A1,74A1 案内メッセージ
58 ポインタ
60 切開ライン
60A 中心
62A 深さ設定ボックス
62A2 入力ボックス
62A3 確定キー
68 切開幅
70 切り開き最大量
72 最大切り開き領域
72A,88A 外縁ライン
76 切開幅ライン
76A 切開過程位置
78 第1の単軸距離データ
80 第1距離画像
80A,84A ライン
82 第2の単軸距離データ
84 第2距離画像
86 第3の単軸距離データ
90 第3距離画像
91 画面データ
100 医療業務支援システム
101 情報処理装置
102 外部通信装置
114 ネットワーク
116 記憶媒体
V ボクセル
X 第1距離データ
Y 第2距離データ
Z 第3距離データ
12 画像処理装置
14 受付装置
16 ディスプレイ
18 ユーザ
20 キーボード
22 マウス
24,104 プロセッサ
24A 抽出部
24B レンダリング部
24C 制御部
24D 切開パラメータ取得部
24E 切り開き最大量算出部
24F 最大切り開き領域特定部
24G 切開領域特定部
26,106 ストレージ
28,108 RAM
30,110 通信I/F
32 外部I/F
34,112 バス
36 切開シミュレーション処理プログラム
38 3次元画像
40 2次元スライス画像
42 3次元臓器画像
44 投影面
46 レンダリング画像
46B,52,88 切開領域
46B1 切開領域レンダリング画像
48 視点
50 光線
54 空白領域
56,62,66,74 画面
56A,66A、74A 案内メッセージ表示領域
56A1,62A1,66A1,74A1 案内メッセージ
58 ポインタ
60 切開ライン
60A 中心
62A 深さ設定ボックス
62A2 入力ボックス
62A3 確定キー
68 切開幅
70 切り開き最大量
72 最大切り開き領域
72A,88A 外縁ライン
76 切開幅ライン
76A 切開過程位置
78 第1の単軸距離データ
80 第1距離画像
80A,84A ライン
82 第2の単軸距離データ
84 第2距離画像
86 第3の単軸距離データ
90 第3距離画像
91 画面データ
100 医療業務支援システム
101 情報処理装置
102 外部通信装置
114 ネットワーク
116 記憶媒体
V ボクセル
X 第1距離データ
Y 第2距離データ
Z 第3距離データ
Claims (15)
- プロセッサを備え、
前記プロセッサは、
切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得し、
前記切開ラインと最大切り開き領域との間の切開過程位置、前記切開ラインを基準とした第1距離データ、及び前記3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、前記3次元臓器画像から切開領域を特定する
切開シミュレーション装置。 - 前記プロセッサは、
前記3次元臓器画像を含む3次元画像を取得し、
前記3次元画像から前記3次元臓器画像を抽出する
請求項1に記載の切開シミュレーション装置。 - 前記プロセッサは、受付装置により受け付けられた前記切開ラインを取得する
請求項1又は請求項2に記載の切開シミュレーション装置。 - 前記プロセッサは、
前記3次元臓器画像に対して設定された切り開き最大量を用いて前記3次元臓器画像から前記最大切り開き領域を特定する
請求項1から請求項3の何れか一項に記載の切開シミュレーション装置。 - 前記切り開き最大量は、前記切開ライン、前記切開ラインを基準とした切開幅、及び前記3次元臓器画像に対して設定された切開の深さに基づいて規定されている
請求項4に記載の切開シミュレーション装置。 - 前記プロセッサは、受付装置により受け付けられた前記切開幅を取得する
請求項5に記載の切開シミュレーション装置。 - 前記3次元臓器画像は、前記臓器の表面を示す3次元臓器表面画像を有し、
前記第1距離データは、前記3次元臓器表面画像に対して設定された前記切開ラインからの距離を示すデータである
請求項1から請求項6の何れか一項に記載の切開シミュレーション装置。 - 前記第2距離データは、前記最大切り開き領域の外縁ラインからの距離を示すデータである請求項1から請求項7の何れか一項に記載の切開シミュレーション装置。
- 前記外縁ラインからの距離を示すデータは、前記3次元臓器画像のうちの前記最大切り開き領域の内側を正値及び負値の一方で表現し、前記3次元臓器画像のうちの前記最大切り開き領域の外側を正値及び負値の他方で表現したデータである
請求項8に記載の切開シミュレーション装置。 - 前記切開領域は、前記第1距離データと前記第2距離データとを補間したデータに基づいて特定される
請求項1から請求項9の何れか一項に記載の切開シミュレーション装置。 - 前記プロセッサは、前記切開領域を特定したタイミングに合わせて前記切開領域内のボリュームレンダリングを行う
請求項1から請求項10の何れか一項に記載の切開シミュレーション装置。 - 前記プロセッサは、前記切開領域内のボリュームレンダリングが行われることで得られた切開領域レンダリング画像をディスプレイに対して表示させるためのデータを出力する
請求項1から請求項11の何れか一項に記載の切開シミュレーション装置。 - 前記プロセッサは、前記最大切り開き領域内に対するボリュームレンダリングの演算をスキップする
請求項1から請求項12の何れか一項に記載の切開シミュレーション装置。 - 切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得すること、並びに、
前記切開ラインと最大切り開き領域との間の切開過程位置、前記切開ラインを基準とした第1距離データ、及び前記3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、前記3次元臓器画像から切開領域を特定すること
を含む切開シミュレーション方法。 - コンピュータに、
切開シミュレーション対象の臓器を示す3次元臓器画像に対する切開ラインを取得すること、並びに、
前記切開ラインと最大切り開き領域との間の切開過程位置、前記切開ラインを基準とした第1距離データ、及び前記3次元臓器画像に対して指定された最大切り開き領域を基準とした第2距離データに基づいて、前記3次元臓器画像から切開領域を特定すること
を含む処理を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058615A JP2022155215A (ja) | 2021-03-30 | 2021-03-30 | 切開シミュレーション装置、切開シミュレーション方法、及びプログラム |
US17/697,902 US20220313360A1 (en) | 2021-03-30 | 2022-03-17 | Incision simulation device, incision simulation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058615A JP2022155215A (ja) | 2021-03-30 | 2021-03-30 | 切開シミュレーション装置、切開シミュレーション方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022155215A true JP2022155215A (ja) | 2022-10-13 |
Family
ID=83449836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021058615A Pending JP2022155215A (ja) | 2021-03-30 | 2021-03-30 | 切開シミュレーション装置、切開シミュレーション方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220313360A1 (ja) |
JP (1) | JP2022155215A (ja) |
-
2021
- 2021-03-30 JP JP2021058615A patent/JP2022155215A/ja active Pending
-
2022
- 2022-03-17 US US17/697,902 patent/US20220313360A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220313360A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9697600B2 (en) | Multi-modal segmentatin of image data | |
AU2015284218A1 (en) | System and method for segmentation of lung | |
JP7083234B2 (ja) | シャドウ画像をシミュレートする方法、デバイスおよびシステム | |
JP2010528750A (ja) | 管状構造の検査 | |
JPWO2007122896A1 (ja) | 医用画像表示システム及び医用画像表示プログラム | |
CN110164557B (zh) | 隐式表面算法用于仿真模拟软组织手术路径规划的方法 | |
EP2495700A1 (en) | Image-based diagnosis assistance apparatus, its operation method and program | |
EP3807845A1 (en) | Atlas-based location determination of an anatomical region of interest | |
CN102024270A (zh) | 对借助体绘制显示的对象的描绘的交互地修改 | |
Hachaj et al. | Visualization of perfusion abnormalities with GPU-based volume rendering | |
JP5073484B2 (ja) | 画像処理をするための方法、コンピュータプログラム、装置及びイメージングシステム | |
EP2876609B1 (en) | Shape data generating program, shape data generating method, and shape data generating device | |
US20170287211A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing system | |
CN108805876B (zh) | 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统 | |
US20210166342A1 (en) | Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure | |
WO2018030015A1 (ja) | 切離プロセス推定装置及び切離プロセスナビゲーションシステム | |
JP2012085833A (ja) | 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム | |
JP2022155215A (ja) | 切開シミュレーション装置、切開シミュレーション方法、及びプログラム | |
RU2667976C1 (ru) | Виртуальное интерактивное определение объёмных форм | |
US20200234494A1 (en) | Structure estimating apparatus, structure estimating method, and computer program product | |
US20230115322A1 (en) | Incision simulation device, incision simulation method, and program | |
Nakao et al. | Deformable resection process map for intraoperative cutting guides | |
JP2009022307A (ja) | 医用画像表示装置及びそのプログラム | |
US10438368B2 (en) | Apparatus, method, and system for calculating diameters of three-dimensional medical imaging subject | |
US20230099565A1 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |