JP2021045340A - 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム - Google Patents
鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム Download PDFInfo
- Publication number
- JP2021045340A JP2021045340A JP2019169671A JP2019169671A JP2021045340A JP 2021045340 A JP2021045340 A JP 2021045340A JP 2019169671 A JP2019169671 A JP 2019169671A JP 2019169671 A JP2019169671 A JP 2019169671A JP 2021045340 A JP2021045340 A JP 2021045340A
- Authority
- JP
- Japan
- Prior art keywords
- target
- model
- volume data
- orientation
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims description 32
- 238000012545 processing Methods 0.000 claims abstract description 135
- 230000008859 change Effects 0.000 claims abstract description 28
- 238000012800 visualization Methods 0.000 claims abstract description 14
- 210000000988 bone and bone Anatomy 0.000 claims description 38
- 210000001519 tissue Anatomy 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000008520 organization Effects 0.000 claims description 8
- 210000000056 organ Anatomy 0.000 description 127
- 210000004185 liver Anatomy 0.000 description 38
- 238000004088 simulation Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 19
- 208000005646 Pneumoperitoneum Diseases 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 210000004204 blood vessel Anatomy 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 210000003240 portal vein Anatomy 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 210000003462 vein Anatomy 0.000 description 7
- 230000003187 abdominal effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 210000002767 hepatic artery Anatomy 0.000 description 2
- 210000002989 hepatic vein Anatomy 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
Description
術前シミュレーションや術中ナビゲーションでは、被検体の一部である観察対象(ターゲット)に注目して、詳細に観察することがある。例えば、鏡視下手術において、カメラ位置から見ると臓器の裏側にターゲットが位置する場合、カメラ位置からターゲットを確認できるように、臓器を変形することが想定される。このケースにおいて特許文献1の医用画像表示装置を用いる場合、ボリュームデータにおける臓器の部分を変形して、3次元医用画像をボリュームレンダリング等によりディスプレイに表示することになる。したがって、ボリュームデータに対して変形処理することとなり、演算量が膨大となる。さらに、ボリュームデータの各ボクセルに適切に剛性を設定し、臓器の境界における滑り、体液の流れ、空気を考慮する必要がある。さらに、手術過程を想定して臓器を少しずつ繰り返し変形させる場合、変形処理に係るボリュームデータの整合性を維持する必要がある。したがって、ボリュームデータと関心領域に対する微調整を手動で行う必要が出てくる。したがって、例えば、鏡視下手術において術者が鉗子を用いて臓器を操作するようなシミュレーションをリアルタイムに行うことは困難である。
図1は、第1の実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、取得部110、UI120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。医用画像処理装置100は、鏡視下手術(ロボット手術を含む)を画像処理によって支援する。医用画像処理装置100は、例えば、術者による手術中のサポートを行うための術中ナビゲーション、又は術者による手術前の手術計画を策定するための術前シミュレーションを行う。
(参考特許文献1:米国特許第8311300号明細書)
上記実施形態の一態様は、鏡視下手術を支援する医用画像処理装置100(鏡視下手術支援装置の一例)であって、取得部110と、処理部160と、を備える。取得部110は、被検体のボリュームデータを取得する機能を有する。処理部160は、ボリュームデータに含まれる組織を表現するモデルMLを設定する。処理部160は、ボリュームデータを可視化するための実視野(第1の視野の一例)と、モデルMLにおけるターゲットTGの位置と、を設定する。処理部160は、モデルMLを変形させるための変形操作の情報(第1の操作情報の一例)を取得する。処理部160は、変形操作の情報に基づいて、モデルMLの変形前後におけるターゲットTGの位置と向きの変化を算出してよい。処理部160は、算出されたターゲットTGの位置及び向きの変化を用いて、実視野に対する変化後のターゲットTGの位置及び向きと仮想視野(第2の視野の一例)に対する変化前のターゲットTGの位置及び向きとが同等になるように、仮想視野を算出してよい。処理部160は、仮想視野に基づいて、ボリュームデータを可視化してよい。
12 門脈
14 静脈
15,15B 骨
21 カメラ位置
21A 実カメラ位置
21B 仮想カメラ位置
22 カメラ向き
22A 実カメラ向き
22B 仮想カメラ向き
30 鉗子
30A 実鉗子
30B 仮想鉗子
41,41A,41B ターゲット位置
42,42A,42B ターゲット向き
100 医用画像処理装置
110 取得部
120 UI
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域処理部
162 変形処理部
163 モデル設定部
164 情報設定部
165 画像生成部
166 表示制御部
200 CT装置
ML,MLA,MLB モデル
TG ターゲット
Claims (9)
- 鏡視下手術を支援する鏡視下手術支援装置であって、
取得部及び処理部を備え、
前記取得部は、被検体のボリュームデータを取得する機能を有し、
前記処理部は、
前記ボリュームデータに含まれる組織を表現するモデルを設定し、
前記ボリュームデータを可視化するための第1の視野と、前記モデルにおけるターゲットの位置と、を設定し、
前記モデルを変形させるための第1の操作情報を取得し、
前記第1の操作情報に基づいて、前記モデルの変形前後における前記ターゲットの位置と向きの変化を算出し、
算出された前記ターゲットの位置及び向きの変化を用いて、前記第1の視野に対する前記変化の後の前記ターゲットの位置及び向きと第2の視野に対する前記変化の前の前記ターゲットの位置及び向きとが同等になるように、前記第2の視野を算出し、
前記第2の視野に基づいて、前記ボリュームデータを可視化する、機能を有する、
鏡視下手術支援装置。 - 前記処理部は、前記被検体における前記ターゲットを含む組織を区分し、区分された前記組織に基づいて前記モデルを設定する
請求項1に記載の鏡視下手術支援装置。 - 前記処理部は、
前記組織の輪郭を示す情報を表示部に表示させ、
前記モデルの変形に応じて、前記輪郭を変形させて前記輪郭を示す情報を表示させる、
請求項2に記載の鏡視下手術支援装置。 - 前記処理部は、前記ボリュームデータの可視化において、前記被検体の骨を非表示にさせる、
請求項1〜3のいずれか1項に記載の鏡視下手術支援装置。 - 前記処理部は、前記ボリュームデータの可視化において、前記第1の視野に基づいて前記ボリュームデータを可視化する場合に可視化される画像に含まれる前記被検体の骨を、表示させる、
請求項1〜3のいずれか1項に記載の鏡視下手術支援装置。 - 前記処理部は、前記ボリュームデータとともに、前記被検体の内部において前記ターゲットに向かって挿入された鉗子を表示させる、
請求項1〜5のいずれか1項に記載の鏡視下手術支援装置。 - 前記処理部は、
前記モデルの変形前における前記ターゲットの位置と前記第2の視野に対応する視点との距離を操作するための第2の操作情報を取得し、
前記第2の操作情報に基づいて、前記ボリュームデータを可視化する、
請求項1〜6のいずれか1項に記載の鏡視下手術支援装置。 - 被検体のボリュームデータを取得するステップと、
前記ボリュームデータに含まれる組織を表現するモデルを設定するステップと、
前記ボリュームデータを可視化するための第1の視野と、前記モデルにおけるターゲットの位置と、を設定するステップと、
前記モデルを変形させるための第1の操作情報を取得するステップと、
前記第1の操作情報に基づいて、前記モデルの変形前後における前記ターゲットの位置と向きの変化を算出するステップと、
算出された前記ターゲットの位置及び向きの変化を用いて、前記第1の視野に対する前記変化の後の前記ターゲットの位置及び向きと第2の視野に対する前記変化の前の前記ターゲットの位置及び向きとが同等になるように、前記第2の視野を算出するステップと、
前記第2の視野に基づいて、前記ボリュームデータを可視化するステップと、
を有する鏡視下手術支援方法。 - 請求項8に記載の鏡視下手術支援方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169671A JP7444569B2 (ja) | 2019-09-18 | 2019-09-18 | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム |
US17/021,174 US11657547B2 (en) | 2019-09-18 | 2020-09-15 | Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169671A JP7444569B2 (ja) | 2019-09-18 | 2019-09-18 | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021045340A true JP2021045340A (ja) | 2021-03-25 |
JP7444569B2 JP7444569B2 (ja) | 2024-03-06 |
Family
ID=74869618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019169671A Active JP7444569B2 (ja) | 2019-09-18 | 2019-09-18 | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11657547B2 (ja) |
JP (1) | JP7444569B2 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4674948B2 (ja) | 2000-09-29 | 2011-04-20 | オリンパス株式会社 | 手術ナビゲーション装置および手術ナビゲーション装置の作動方法 |
US8311300B1 (en) | 2009-04-14 | 2012-11-13 | Ziosoft, Inc. | Medical image processing apparatus and method |
JP5747007B2 (ja) | 2012-09-12 | 2015-07-08 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示方法および医用画像表示プログラム |
US9761014B2 (en) * | 2012-11-15 | 2017-09-12 | Siemens Healthcare Gmbh | System and method for registering pre-operative and intra-operative images using biomechanical model simulations |
WO2015148529A1 (en) * | 2014-03-24 | 2015-10-01 | University Of Houston | Interactive systems and methods for real-time laparoscopic navigation |
JP6511603B2 (ja) | 2015-03-12 | 2019-05-15 | コニカミノルタジャパン株式会社 | 医用画像表示装置、医用画像表示方法、及びプログラム |
CN109922753B (zh) * | 2016-12-08 | 2023-04-14 | 直观外科手术操作公司 | 用于图像引导医疗程序中导航的系统和方法 |
EP3360502A3 (en) * | 2017-01-18 | 2018-10-31 | KB Medical SA | Robotic navigation of robotic surgical systems |
EP3432262A1 (en) | 2017-07-18 | 2019-01-23 | Koninklijke Philips N.V. | Method and system for dynamic multi dimensional images of an object |
US11062527B2 (en) * | 2018-09-28 | 2021-07-13 | General Electric Company | Overlay and manipulation of medical images in a virtual environment |
-
2019
- 2019-09-18 JP JP2019169671A patent/JP7444569B2/ja active Active
-
2020
- 2020-09-15 US US17/021,174 patent/US11657547B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7444569B2 (ja) | 2024-03-06 |
US11657547B2 (en) | 2023-05-23 |
US20210082164A1 (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bernhardt et al. | The status of augmented reality in laparoscopic surgery as of 2016 | |
US11547499B2 (en) | Dynamic and interactive navigation in a surgical environment | |
JP6081907B2 (ja) | 医療処置のコンピュータ化シミュレーションを行うシステム及び方法 | |
JP2022017422A (ja) | 拡張現実感手術ナビゲーション | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
JP7188970B2 (ja) | ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム | |
JP7164345B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
US11660142B2 (en) | Method for generating surgical simulation information and program | |
JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JP2022548237A (ja) | Vats及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査 | |
US20210298848A1 (en) | Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system | |
US20190019433A1 (en) | Method and system for a preoperative surgical intervention simulation | |
KR20200056855A (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
JP7444569B2 (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
US20220409300A1 (en) | Systems and methods for providing surgical assistance based on operational context | |
JP7182126B2 (ja) | ロボット手術支援装置、ロボット手術支援方法、及びプログラム | |
JP7264689B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
JP7172086B2 (ja) | 手術シミュレーション装置及び手術シミュレーションプログラム | |
KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
JP7355514B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
JP7315361B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
Amini | USING VISUALIZATION AND MODELLING TO IMPROVE PRE-SURGICAL DECISION-MAKING IN BREAST RECONSTRUCTION SURGERY | |
JP2021045341A (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
CN114555002A (zh) | 基于次表面图像扫描配准来自不同成像模态的成像数据的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7444569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |