JP2022010852A - 手術支援システム及び手術支援方法 - Google Patents

手術支援システム及び手術支援方法 Download PDF

Info

Publication number
JP2022010852A
JP2022010852A JP2020111615A JP2020111615A JP2022010852A JP 2022010852 A JP2022010852 A JP 2022010852A JP 2020111615 A JP2020111615 A JP 2020111615A JP 2020111615 A JP2020111615 A JP 2020111615A JP 2022010852 A JP2022010852 A JP 2022010852A
Authority
JP
Japan
Prior art keywords
information
abnormality
medical
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020111615A
Other languages
English (en)
Inventor
光雄 関根
Mitsuo Sekine
紗佳 滝川
Sayaka Takigawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2020111615A priority Critical patent/JP2022010852A/ja
Priority to CN202110724018.6A priority patent/CN113925608A/zh
Priority to US17/304,969 priority patent/US20210401511A1/en
Publication of JP2022010852A publication Critical patent/JP2022010852A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Gynecology & Obstetrics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Urology & Nephrology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

【課題】術中に生じたイベントに関する情報の確認を容易にすること。【解決手段】実施形態に係る手術支援システムは、取得部と、検出部と、生成部とを備える。取得部は、術中の被検体の医用情報を取得する。検出部は、取得された被検体の医用情報に基づいて、異常を検出する。生成部は、異常を検出した時刻と、当該時刻に取得された医用情報とを関連付けた異常情報を生成する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、手術支援システム及び手術支援方法に関する。
従来、術中に用いられる様々な手術支援システムが知られている。例えば、腹腔鏡手術においては、血管や臓器の損傷を回避するために、術前に撮影したＣＴ（Computed Tomography）画像から仮想内視鏡画像を生成し、手術中に実際の内視鏡画像に連動して提示する手術支援システムが知られている。
特開２０１１－０３６３７１号公報 特開２０１６－１８２２２８号公報 特表２０１７－００６３３７号公報
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、術中に生じたイベントに関する情報の確認を容易にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
実施形態に係る手術支援システムは、取得部と、検出部と、生成部とを備える。取得部は、術中の被検体の医用情報を取得する。検出部は、取得された前記被検体の医用情報に基づいて、異常を検出する。生成部は、前記異常を検出した時刻と、当該時刻に取得された前記医用情報とを関連付けた異常情報を生成する。
図１は、第１の実施形態に係る手術支援システムの構成の一例を示す図である。 図２は、第１の実施形態に係る制御機能による表示制御の一例を示す図である。 図３は、第１の実施形態に係る制御機能による表示制御の一例を示す図である。 図４は、第１の実施形態に係る制御機能による表示制御の一例を示す図である。 図５は、図５は、第１の実施形態に係る手術支援装置の処理の手順を説明するためのフローチャートである。
以下、図面を参照しながら、手術支援システム及び手術支援方法の実施形態について詳細に説明する。なお、本願に係る手術支援システム及び手術支援方法は、以下に示す実施形態によって限定されるものではない。また、実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。
（第１の実施形態）
図１は、第１の実施形態に係る手術支援システム１０の構成の一例を示す図である。ここで、図１では、本願に係る手術支援を実行する手術支援装置を含む手術支援システム１０について説明するが、実施形態はこれに限定されるものではなく、以下で説明する手術支援方法は、手術支援システム１０におけるいずれの装置によって実行される場合でもよい。
例えば、図１に示すように、本実施形態に係る手術支援システム１０は、医用画像診断装置１と、内視鏡システム２と、仮想化腹腔鏡画像システム３と、位置センサ４と、手術支援装置５とを含む。ここで、各装置及びシステムは、ネットワークを介して通信可能に接続されている。また、第１の実施形態では、手術として腹腔鏡手術を行う場合を例に挙げて説明するが、手術はこれに限定されるものではなく、その他の手術に対して適用する場合でもよい。また、手術支援システム１０は、図示以外のシステム（例えば、ＨＩＳ（Hospital Information System）など）や装置（例えば、画像保管装置）などを含む場合でもよい。
医用画像診断装置１は、被検体を撮像して医用画像を収集する。そして、医用画像診断装置１は、収集した医用画像を仮想化腹腔鏡画像システム３や手術支援装置５などに送信する。例えば、医用画像診断装置１は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置等である。
医用画像診断装置１は、手術を受ける被検体に関する医用画像を収集する。具体的には、医用画像診断装置１は、術前、術後において、手術の対象となる部位の医用画像を収集する。そして、医用画像診断装置１は、収集した医用画像を仮想化腹腔鏡画像システム３や手術支援装置５などに送信する。
内視鏡システム２は、内視鏡２１と、ディスプレイ２２と、処理回路２３と、記憶回路２４とを有する。内視鏡２１は、被検体内に挿入される挿入部と、挿入部を操作する操作部とを含む。挿入部は、被検体内の手術の対象部位（患部）に対する処置を行う処置部や、被検体内を撮像する撮像部である。操作部は、処置部や、撮像部に対する術者の操作を受け付ける。
処置部は、例えば、鉗子、電気メス、縫合器などである。また、撮像部は、ＣＣＤ(Charge Coupled Device)型イメージセンサまたはＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子と、レンズ、光出射部とを有し、光出射部から光が照射された患部を、撮像素子にて撮像する。
ディスプレイ２２は、撮像部によって撮像された映像（内視鏡画像）を表示する。処理回路２３は、内視鏡２１、ディスプレイ２２、及び、記憶回路２４に接続され、内視鏡システム全体を制御する。例えば、処理回路２３は、内視鏡２１における処置部の操作や、撮像部による内視鏡画像の収集、ディスプレイ２２による内視鏡画像の表示、記憶回路２４に対する内視鏡画像の格納、内視鏡画像のなどを制御する。記憶回路２４は、内視鏡２１の撮像部によって収集された内視鏡画像２４１を記憶する。
例えば、医師などの術者は、鉗子や電気メスなどの処置部を挿入部として有する内視鏡２１や、撮像部を挿入部として有する内視鏡２１を被検体内に挿入し、撮像部によって収集されてディスプレイ２２に表示された内視鏡画像を観察しながら、処置部を操作することで、被検体内の手術の対象部位（患部）に対する処置を行う。
仮想化腹腔鏡画像システム３は、ディスプレイ３１と、処理回路３２と、記憶回路３３とを有する。ディスプレイ３１は、処理回路３２によって生成された画像を表示する。具体的には、ディスプレイ３１は、医用画像診断装置１によって収集された医用画像に基づいて生成した仮想化腹腔鏡画像を表示する。
処理回路３２は、ディスプレイ３１、及び、記憶回路３３に接続され、仮想化腹腔鏡画像システム全体を制御する。具体的には、処理回路３２は、医用画像診断装置１からの医用画像の取得、ディスプレイ２２による仮想化腹腔鏡画像の表示、記憶回路３３に対する仮想化腹腔鏡画像の格納などを制御する。また、処理回路３２は、生成機能３２１を実行することで、医用画像を用いた仮想化腹腔鏡画像を生成する。例えば、生成機能３２１は、医用画像診断装置１であるＸ線ＣＴ装置が術前に被検体の腹部から収集した３次元のＣＴ画像に基づいて、仮想化腹腔鏡画像を生成する。
一例を挙げると、生成機能３２１は、３次元のＣＴ画像を用いて生成された２次元のＣＴ画像に含まれる腹腔内の部位の情報に基づいて、当該腹腔内を所定の視線方向から投影した仮想化腹腔鏡画像を生成する。記憶回路３３は、処理回路３２によって生成された仮想化腹腔鏡画像３３１を記憶する。
位置センサ４は、センサ部と、磁場発生部と、信号受信部とを有する。センサ部は、例えば、磁気センサであり、内視鏡２１における挿入部の先端や、被検体内に配置される。磁場発生部は、被検体の近傍に配置され、自装置を中心として外側に向かって磁場を形成する。信号受信部は、センサ部によって出力された信号を受信する。
センサ部は、磁場発生部によって形成された３次元の磁場を検出する。そして、センサ部は、検出した３次元の磁場の情報に基づいて、磁場発生部を原点とする空間における自装置の位置情報（座標及び角度）を：算出し、算出した自装置の位置情報を信号受信部に送信する。例えば、内視鏡２１における挿入部の先端に取り付けられたセンサ部から受信する位置情報は、磁場発生部を原点とする空間における挿入部の先端の位置を示す。また、被検体内（例えば、患部の臓器）に配置されたセンサ部から受信する位置情報は、磁場発生部を原点とする空間における患部の位置を示す。信号受信部は、センサ部から受信した位置情報を仮想化腹腔鏡画像システム３や、手術支援装置５に送信する。
ここで、仮想化腹腔鏡画像システム３は、上記した位置センサ４によって取得される位置情報を用いることで、内視鏡画像に連動した仮想化腹腔鏡画像を生成して表示することができる。かかる場合には、まず、磁場発生部を原点とする空間の３次元座標と、仮想化腹腔鏡画像の生成に用いる３次元の医用画像における３次元座標との位置合わせが行われる。
例えば、生成機能３２１は、被検体内（例えば、患部の臓器）に配置されたセンサ部によって取得された位置情報に対応する、３次元の医用画像内の位置（センサ部が配置された臓器の位置）を抽出し、抽出した位置をセンサ部によって取得された位置と同一位置とする位置合わせを行う。ここで、生成機能３２１は、被検体内の複数の位置に配置されたセンサ部からの位置情報について上記位置合わせを行うことで、磁場発生部を原点とする空間の３次元座標と、仮想化腹腔鏡画像の生成に用いる３次元の医用画像における３次元座標との位置合わせを行う。
なお、磁場発生部を原点とする空間の３次元座標と、仮想化腹腔鏡画像の生成に用いる３次元の医用画像における３次元座標との位置合わせは、上記した方法に限らず、その他の方法が用いられる場合でもよい。例えば、センサ部が取り付けられた内視鏡２１の撮像部によって撮像された内視鏡画像に描出された被検体内の部位の位置情報が用いられる場合でもよい。
かかる場合には、例えば、生成機能３２１は、撮像部に取り付けられたセンサ部からの位置情報に基づいて、磁場発生部を原点とする空間における内視鏡画像に描出された部位（特徴的な部位など）の３次元座標を算出する。そして、生成機能３２１は、３次元座標を算出した部位に対応する、３次元の医用画像内の位置を抽出し、抽出した位置と３次元座標を算出した位置とを同一位置とする位置合わせを行う。ここで、生成機能３２１は、被検体内の複数の位置について上記位置合わせを行うことで、磁場発生部を原点とする空間の３次元座標と、仮想化腹腔鏡画像の生成に用いる３次元の医用画像における３次元座標との位置合わせを行う。
このように、位置合わせを実行すると、生成機能３２１は、内視鏡２１の撮像部に取り付けられたセンサ部の位置情報に基づいて、内視鏡画像と連動した仮想化腹腔鏡画像を生成する。例えば、生成機能３２１は、内視鏡２１の撮像部に取り付けられたセンサ部によって取得された３次元座標を視点とし、センサ部の角度から導出される撮像方向を投影方向として、３次元のＣＴ画像内（腹腔内）を投影した仮想化腹腔鏡画像を生成する。
そして、生成機能３２１は、撮像部の位置の変化（センサ部によって取得される３次元座標及び角度の変化）に応じて、視点と投影方向を変化させた仮想化腹腔鏡画像を順次生成する。このように順次生成される仮想化腹腔鏡画像が順次表示されることで、内視鏡画像の変化に連動した仮想化腹腔鏡画像が表示されることとなる。
ここで、生成機能３２１は、被検体内（例えば、患部の臓器）に配置されたセンサ部によって取得された位置情報を用いることで、術中の臓器形状の変化を仮想化腹腔鏡画像に反映させることができる。例えば、生成機能３２１は、臓器に配置されたセンサ部によって取得された位置情報が変化するごとに変化量を算出し、３次元の医用画像における対応する位置に算出した変化量で変化を加える。そして、生成機能３２１は、変化後の医用画像を用いて仮想化腹腔鏡画像を生成することで、術中の臓器形状の変化を仮想化腹腔鏡画像に反映させる。
手術支援装置５は、術中の種々の情報に基づいて、術中の異常に関する情報を生成する。具体的には、手術支援装置５は、術中に、医用画像装置や種々の医用機器から情報を取得し、取得した情報に基づいて、術中の異常に関する情報を生成する。例えば、手術支援装置５は、ワークステーションやパーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
例えば、手術支援装置５は、入力インタフェース５１と、ディスプレイ５２と、記憶回路５３と、処理回路５４とを備える。そして、手術支援装置５は、ネットワークを介して、医用画像診断装置１、内視鏡システム２、仮想化腹腔鏡画像システム３、位置センサ４と接続される。
入力インタフェース５１は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース５１は、処理回路５４に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路５４に出力する。例えば、入力インタフェース５１は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、及び音声入力インタフェース等によって実現される。なお、本明細書において、入力インタフェース５１は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース５１の例に含まれる。
ディスプレイ１５４は、各種情報及び各種データを表示する。具体的には、ディスプレイ１５４は、処理回路１５５に接続されており、処理回路１５５から出力された各種情報及び各種データを表示する。例えば、ディスプレイ１５４は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。
記憶回路５３は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路５３は、処理回路５４に接続されており、処理回路５４から入力されたデータを記憶、又は、記憶しているデータを読み出して処理回路５４に出力する。例えば、記憶回路５３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
例えば、記憶回路５３は、判定条件５３１と、異常情報５３２とを記憶する。なお、判定条件５３１及び異常情報５３２については、後に詳述する。
処理回路５４は、手術支援装置５の全体を制御する。例えば、処理回路５４は、入力インタフェース５１を介して利用者から受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路５４は、他の装置から送信されたデータを記憶回路５３に記憶する。また、例えば、処理回路５４は、記憶回路５３から読み出したデータを出力することで、当該データを他の装置に送信する。また、例えば、処理回路５４は、記憶回路５３から読み出したデータをディスプレイ５２に表示させる。
ここで、上述した内視鏡システム２、仮想化腹腔鏡画像システム３及び手術支援装置５における各処理回路は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路に記憶される。そして、各処理回路は、各記憶回路に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各処理回路は、各プログラムを読み出した状態で、図１に示した各処理機能を有することとなる。
なお、各処理回路は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、各処理回路が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、各処理回路が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
以上、本実施形態に係る手術支援システム１０の構成の一例について説明した。例えば、本実施形態に係る手術支援システム１０は、病院や診療所等の医療施設の手術室に設置され、医師等の利用者によって行われる手術において生じたイベントに関する確認を支援する。
例えば、腹腔鏡手術においては、術者の気付かない出血が生じる場合がある。一例を挙げると、器具が血管へ接触した場合や、電気メスで膜を剥離した際に奥の血管まで傷つけてしまった場合、臓器を鉗子で抑える力が強くなってしまい、圧力のかかっていた別の場所で裂け目が生じた場合、血管を鉗子で持っていた際に、少し引っ張った結果、弱くなっていた別のところに裂け目が生じた場合などが挙げられる。
このような出血が生じた場合、出血箇所を特定して止血し、内視鏡下手術を続行することになるが、出血すると内視鏡視野が悪くなり、出血箇所の特定が困難になる。また、出血箇所を調べるために内視鏡画像による映像を巻き戻して確認しても、いつ・どこでその操作をしたか術者が把握していないため、映像からの特定は困難かつ時間がかかる場合がある。さらに、仮想内視鏡画像により視野外の体内臓器構造を把握することができるが、術中に発生した出血イベント等の異常が仮想内視鏡画像に反映させるわけではないため、仮想内視鏡画像での特定は困難である。
このように、出血箇所の特定に時間がかかり、止血できない場合、開腹手術に切り替えて手術を続行することになるが、傷口が大きくなり、開腹手術の切り替えに手間取って患者が危険な状態に陥ることもあり、患者の負担が大きい。
そこで、本実施形態に係る手術支援システム１０における手術支援装置５は、術中に種々の情報を取得して、取得した情報と時刻情報を対応付けた情報を生成することにより、術中に生じたイベントに関する情報の確認を容易にすることができるように構成されている。
具体的には、手術支援装置５は、術中に用いられている医用画像診断装置１、内視鏡システム２、及び、その他種々の医用機器から情報を取得し続け、取得した情報を解析して異常と判定した情報を取得時刻と対応付けて記憶する。これにより、手術支援システム１０は、術中に出血などのイベントが発生した場合に、異常と判定した情報について提示することができ、術中に生じたイベントに関する情報の確認を容易にすることができる。以下、このような構成を有する手術支援装置５について、詳細に説明する。
例えば、図１に示すように、本実施形態では、手術支援装置５の処理回路５４が、制御機能５４１と、解析機能５４２と、生成機能５４３とを実行する。ここで、制御機能５４１は、取得部と表示制御部の一例である。また、解析機能５４２は、検出部の一例である。また、生成機能５４３は、生成部の一例である。
制御機能５４１は、ネットワークを介して接続された他の装置から種々のデータ（医用情報）を取得し、取得した医用情報を記憶回路５３に記憶する。例えば、制御機能５４１は、医用画像診断装置１によって収集された医用画像や、内視鏡システム２によって生成された内視鏡画像、仮想化腹腔鏡画像システム３によって生成された仮想化腹腔鏡画像などを取得する。
ここで、制御機能５４１は、術前及び術中における被検体の医用情報を取得することができる。例えば、制御機能５４１は、術前に収集された医用画像及び術中に収集されている医用画像をそれぞれ取得する。また、制御機能５４１は、術中の内視鏡画像を取得する。また、制御機能５４１は、術前に生成された仮想化腹腔鏡画像及び術中に生成されている仮想化腹腔鏡画像をそれぞれ取得する。
また、制御機能５４１は、術中に被検体から取得されている種々の医用情報を取得することができる。例えば、制御機能５４１は、術中に被検体から取得されているバイタル場情報や、位置センサ４によって取得されている位置情報、或いは、内視鏡２１に取り付けられた種々のセンサによって取得されている各種情報を取得する。ここで、内視鏡２１に取り付けられた種々のセンサとしては、例えば、鉗子における圧力情報を取得するＭＥＭＳ（Micro Electro Mechanical Systems）センサなどが挙げられる。内視鏡２１に上記したＭＥＭＳセンサが取り付けられている場合、制御機能５４１は、ＭＥＭＳセンサによって取得された圧力情報を取得することもできる。
また、制御機能５４１は、種々の医用情報をディスプレイ５２に表示させる。例えば、制御機能５４１は、取得した医用情報の解析結果に基づいて生成された情報をディスプレイ５２に表示させる。ここで、制御機能５４１は、生成された情報をネットワークを介して他の装置に送信して、他の装置のディスプレイに表示させるように制御することもできる。例えば、制御機能５４１は、生成された情報を内視鏡システム２や、仮想化腹腔鏡画像システム３に送信する。内視鏡システム２及び仮想化腹腔鏡画像システム３は、手術支援装置５から受信した情報を、自装置のディスプレイに表示させる。
解析機能５４２は、取得された被検体の医用情報に基づいて、異常を検出する。具体的には、解析機能５４２は、制御機能５４１によって取得された医用情報と、記憶回路５３によって記憶された判定条件５３１とを比較し、取得された医用情報のうち判定条件に適合した情報を異常として検出する。例えば、解析機能５４２は、医用画像診断装置１から取得した医用画像や、内視鏡システム２から取得された内視鏡画像、バイタル情報などに基づいて、術中の異常を検出する。
ここで、判定条件５３１は、取得される医用情報に対応する種々の条件を含む。例えば、内視鏡画像を用いた解析に対応する判定条件としては、「処置部の血管への接触の有無」、「電気メスの組織への侵入の程度」、「血管を鉗子で挟んでいる時間」、「臓器を鉗子で押さえている時間」、「臓器の変形の程度」などの条件が挙げられる。
例えば、判定条件５３１における「処置部の血管への接触の有無」は、内視鏡２１の処置部が、血管に接触したか否か、さらに、接触の程度を段階的に分類した条件を示す。なお、接触の程度は、例えば、処置具の移動量によって分類されてもよい。一例を挙げると、処置具の移動量が大きいほど接触の程度が大きくなるように分類される。
解析機能５４２は、内視鏡システム２から順次取得された各内視鏡画像の画像解析により、処置部が血管に接触したか否かを判定する。そして、解析機能５４２は、処置部が血管に接触したと判定した場合に、時系列的に前の内視鏡画像からの処置部の移動量を算出し、算出した移動量を判定条件５３１における分類と比較することで、接触の程度を分類する。ここで、解析機能５４２は、例えば、処置部が血管に接触した場合を異常と検出し、分類した接触の程度をリスクレベルとして判定する。例えば、解析機能５４２は、接触の程度が大きいほどリスクレベルが高いと判定する。
また、判定条件５３１における「電気メスの組織への侵入の程度」は、電気メスの侵入の程度を段階的に分類した条件を示す。なお、侵入の程度は、例えば、電気メスの移動量によって分類されてもよい。一例を挙げると、電気メスの移動量が大きいほど侵入の程度が大きくなるように分類される。解析機能５４２は、内視鏡システム２から順次取得された各内視鏡画像の画像解析により、時系列的に前の内視鏡画像からの電気メスの移動量を算出し、算出した移動量を判定条件５３１における分類と比較することで、侵入の程度を分類する。ここで、解析機能５４２は、所定の侵入の程度を超えた場合を異常と検出し、分類した侵入の程度をリスクレベルとして判定する。例えば、解析機能５４２は、侵入の程度が大きいほどリスクレベルが高いと判定する。
また、判定条件５３１における「血管を鉗子で挟んでいる時間」及び「臓器を鉗子で押さえている時間」は、時間の長さを段階的に分類した条件を示す。解析機能５４２は、内視鏡システム２から順次取得された各内視鏡画像の画像解析により、「血管を鉗子で挟んでいる時間」や「臓器を鉗子で押さえている時間」を算出し、算出した時間を判定条件５３１における分類と比較することで、算出した時間を分類する。ここで、解析機能５４２は、算出した時間が所定の時間を超えた場合を異常と検出し、時間の長さをリスクレベルとして判定する。例えば、解析機能５４２は、算出した時間が長いほどリスクレベルが高いと判定する。
また、判定条件５３１における「臓器の変形の程度」は、臓器変形の程度を段階的に分類した条件を示す。なお、臓器変形の程度は、例えば、臓器の形状の変化量によって分類されてもよい。一例を挙げると、臓器の形状の変化量が大きいほど変形の程度が大きくなるように分類される。解析機能５４２は、内視鏡システム２から順次取得された各内視鏡画像の画像解析により、時系列的に前の内視鏡画像からの臓器形状の変化量を算出し、算出した変化量を判定条件５３１における分類と比較することで、変形の程度を分類する。ここで、解析機能５４２は、所定の変化量を超えた場合を異常と検出し、分類した変形の程度をリスクレベルとして判定する。例えば、解析機能５４２は、変形の程度が大きいほどリスクレベルが高いと判定する。
なお、臓器の変形は、例えば、臓器が鉗子で押さえられたり、臓器が鉗子で引っ張られたりすることで生じる。また、臓器の変形は、例えば、体内に挿入された内視鏡２１の挿入部が臓器を押すことで生じる。
なお、上述した画像解析は、ＡＩ（Artificial Intelligence）による特徴検出によって行われる場合でもよい。また、上述した例では、処置部の移動量や、臓器の変化量を画像解析によって算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、位置センサ４が用いられている場合、位置センサ４によって取得された位置情報を用いる場合でもよい。一例を挙げると、解析機能５４２は、処置部の先端に取り付けられたセンサ部によって取得された位置情報に基づいて、処置部の移動量を算出する。また、例えば、解析機能５４２は、患部の臓器に配置されたセンサ部によって取得された位置情報に基づいて、臓器の変形量を算出する。
次に、例えば、医用画像を用いた解析に対応する判定条件としては、「Color Doppler Imagingにより検出される血流の漏れの有無」などの条件が挙げられる。例えば、判定条件５３１における「Color Doppler Imagingにより検出される血流の漏れの有無」は、血流の漏れが発生したか否か、さらに、血流の漏れの程度を段階的に分類した条件を示す。
例えば、解析機能５４２は、医用画像診断装置１である超音波診断装置から順次取得されたカラードプラ画像の画像解析により、血流の漏れの有無を判定する。そして、解析機能５４２は、血流の漏れがあると判定した場合を異常として検出し、判定条件５３１に応じて血流の漏れの程度をリスクレベルとして判定する。例えば、解析機能５４２は、血流の漏れの程度が大きいほどリスクレベルが高いと判定する。
また、例えば、バイタル情報を用いた解析に対応する判定条件としては、「血圧の低下」、「心電図の異常」、「虚血」などの条件が挙げられる。例えば、判定条件５３１における「血圧の低下」は、血圧が所定の値以下となったか否か、さらに、血圧の低下の程度を段階的に分類した条件を示す。
例えば、制御機能５４１は、術中に被検体の血圧情報を血圧モニタから取得する。解析機能５４２は、血圧モニタから順次取得された血圧情報により、血圧が所定の値以下となったか否かを判定する。そして、解析機能５４２は、血圧が所定の値以下になったと判定した場合を異常として検出し、判定条件５３１に応じて血圧の低下の程度をリスクレベルとして判定する。例えば、解析機能５４２は、血圧の低下の程度が大きいほどリスクレベルが高いと判定する。
また、例えば、判定条件５３１における「心電図の異常」は、心電図におけるリズムや波形が所定の変化量を超えて変化したか否か、さらに、変化の程度を段階的に分類した条件を示す。
例えば、制御機能５４１は、術中に被検体の心電図を心電計から取得する。解析機能５４２は、心電計から順次取得された心電図により、心電図におけるリズムや波形が所定の変化量を超えて変化したか否かを判定する。そして、解析機能５４２は、心電図におけるリズムや波形が所定の変化量を超えて変化した場合を異常として検出し、判定条件５３１に応じて変化量の程度をリスクレベルとして判定する。例えば、解析機能５４２は、変化量が大きいほどリスクレベルが高いと判定する。
また、例えば、判定条件５３１における「虚血」は、虚血が生じているか否か、さらに、虚血の程度を段階的に分類した条件を示す。解析機能５４２は、心電計から順次取得された心電図の波形により、虚血が生じているか否かを判定する。そして、解析機能５４２は、虚血が生じている場合を異常として検出し、判定条件５３１に応じて虚血の程度をリスクレベルとして判定する。例えば、解析機能５４２は、虚血の程度が大きいほどリスクレベルが高いと判定する。
上述したように、解析機能５４２は、術中に取得された医用情報に基づいて、異常を検出し、検出した異常のリスクレベルを判定する。ここで、上述した判定条件は、あくまでも一例であり、その他の情報によって異常を検出する場合でもよい。例えば、処置部にＭＥＭＳセンサが取り付けられ、ＭＥＭＳセンサによって圧力情報が取得されている場合、取得された圧力情報に基づいて異常を検出する場合でもよい。
かかる場合には、判定条件５３１として、圧力情報に関する条件が記憶される。例えば、判定条件５３１における「圧力」は、取得された圧力値が所定の値を超えたか否か、さらに、圧力の程度を段階的に分類した条件を示す。
例えば、制御機能５４１は、ＭＥＭＳセンサによって取得された圧力情報を取得する。解析機能５４２は、制御機能５４１によって取得された圧力情報により、圧力が所定の値を超えたか否かを判定する。そして、解析機能５４２は、圧力が所定の値を超えたと判定した場合を異常として検出し、判定条件５３１に応じて圧力の程度をリスクレベルとして判定する。例えば、解析機能５４２は、圧力の値が大きいほどリスクレベルが高いと判定する。
以上、解析機能５４２による解析の例について説明した。なお、上述した例では、１つの条件に基づいて異常を検出する場合について説明したが、実施形態はこれに限定されるものではなく、複数の条件を組み合わせて異常を検出する場合でもよい。例えば、単独機器による解析（例えば、内視鏡画像を用いた解析）に含まれる複数の条件（例えば、処置部の血管への接触の有無及び臓器の変形の程度など）を組み合わせて異常を検出する場合でもよく、或いは、複数機器による解析（例えば、内視鏡画像を用いた解析とバイタル情報を用いた解析）の条件を組み合わせて異常を検出する場合でもよい。また、解析機能５４２によって参照される判定条件５３１の各種条件は、任意に設定することができる。例えば、手技や、患部の臓器の種類などに応じて、適宜設定することができる。
生成機能５４３は、異常を検出した時刻と、当該時刻に取得された医用情報とを関連付けた異常情報を生成する。具体的には、生成機能５４３は、解析機能５４２によって異常が検出された際の医用情報と、当該医用情報が取得された時刻とを対応付けた異常情報を生成する。例えば、「臓器の変形の程度」に基づく解析において異常が検出された場合、生成機能５４３は、異常が検出された内視鏡画像と、当該内視鏡画像が撮影された時刻とを関連付けた異常情報を生成する。なお、内視鏡画像を撮影した時刻は、制御機能５４１が内視鏡画像を取得する際に同時に取得される。
ここで、生成機能５４３は、異常を検出した医用情報のみを時刻に対応付けた異常情報を生成してもよく、或いは、異常を検出した医用情報が取得された時刻の他の医用情報をさらに対応付けた異常情報を生成してもよい。例えば、内視鏡画像とともにバイタル情報が取得され、内視鏡画像による「臓器の変形の程度」に基づく解析において異常が検出された場合に、生成機能５４３は、同時に取得されていたバイタル情報をさらに関連付けた異常情報を生成することができる。すなわち、生成機能５４３は、異常が検出された内視鏡画像が撮影された時刻のバイタル情報をさらに関連付けた異常情報を生成する。
また、さらに、生成機能５４３は、異常を検出した医用情報が取得された時刻と、当該時刻に取得された医用情報とを関連付けた異常情報に、リスクレベルを関連付けることもできる。例えば、生成機能５４３は、「臓器の変形の程度」に基づく解析において判定したリスクレベルを異常情報にさらに関連付ける。
また、さらに、生成機能５４３は、位置情報を関連付けた異常情報を生成することもできる。具体的には、生成機能５４３は、異常を検出した時刻と、当該時刻に取得された医用情報と、当該時刻に取得された位置情報とを関連付けた異常情報を生成する。かかる場合には、まず、位置センサ４のセンサ部が内視鏡２１の挿入部の先端に取り付けられ、術中の挿入部の先端の位置情報が取得される。制御機能５４１は、位置センサ４によって取得される位置情報を位置センサ４から取得し、取得した位置情報に、当該位置情報が取得された時刻を対応付けて記憶回路５３に格納する。
生成機能５４３は、解析機能５４２によって異常が検出された際の医用情報が取得された時刻の位置情報を記憶回路５３から取得して、異常を検出した医用情報が取得された時刻と、当該時刻に取得された医用情報とを関連付けた異常情報を生成する。例えば、「臓器の変形の程度」に基づく解析において異常が検出された場合、生成機能５４３は、異常が検出された内視鏡画像と、当該内視鏡画像が撮影された時刻と、当該時刻における位置情報とを関連付けた異常情報を生成する。
なお、異常情報に関連付けられる情報は、適宜設定することができる。例えば、生成機能５４３は、術中に取得される情報に応じて、時刻と、医用情報と、解析結果と、位置情報を、適宜異常情報として関連付ける。
生成機能５４３は、術中、解析機能５４２によって異常が検出されるごとに、上述した異常情報を生成して、記憶回路５３に格納する。記憶回路５３における異常情報５３２は、上述したように生成機能５４３によって生成され、記憶されたものである。なお、異常情報５３２は、手術ごとに記憶され、術後に読み出されて利用されてもよい。
上述したように異常情報が生成されると、制御機能５４１は、異常情報を用いた種々の情報をディスプレイ５２に表示させる。また、制御機能５４１は、異常情報を用いた種々の情報を内視鏡システム２におけるディスプレイ２２や、仮想化腹腔鏡画像システム３におけるディスプレイ３１に表示させることもできる。
以下、制御機能５４１によって表示される情報の例について説明する。
例えば、制御機能５４１は、異常情報を時刻順に表したタイムライン情報を表示させる。図２は、第１の実施形態に係る制御機能５４１による表示制御の一例を示す図である。ここで、図２は、内視鏡システム２によって表示されている内視鏡画像に対するタイムライン情報の表示を示す。
例えば、図２の上段の図に示すように、内視鏡システム２においては、術中に取得されている内視鏡画像をもとに、リアルタイムの腹腔内の映像をディスプレイ２２に表示させる。この間、手術支援装置５は、種々の医用情報を取得して異常が発生しているか否かを判定する。
ここで、解析機能５４２が異常を検出して、生成機能５４３が異常情報を生成すると、制御機能５４１は、図２の中段の図に示すように、生成された異常情報に基づいて、内視鏡画像にタイムライン情報１０１を表示させるように制御する。
ここで、制御機能５４１は、タイムライン情報１０１の位置１に示すように、検出された異常の度合い及び検出手段のうち少なくとも１つについて、識別可能な情報を表示させる。例えば、制御機能５４１は、検出された異常のリスクレベルに応じた色でタイムライン情報の位置１を表示させる。また、例えば、制御機能５４１は、異常を検出した検出手段（例えば、解析に用いた条件）に応じた色でタイムライン情報の位置１を表示させる。ここで、リスクレベル及び検出手段を識別可能とする場合、制御機能５４１は、例えば、タイムライン情報１０１上における位置１の外枠の色と内側の色を検出手段とリスクレベルに割り当てる。一例を挙げると、制御機能５４１は、位置１を示す外枠の色を検出手段に応じた色で示し、位置１を示す枠内の色をリスクレベルに応じた色で示す。
また、制御機能５４１は、リスクレベルの変化に応じて表示を変化させることができる。上述したように、解析機能５４２は、制御機能５４１によって順次取得される医用情報に基づいて異常を検出する。したがって、順次取得される医用情報において継続して異常が検出されている場合、異常情報が連続して生成されることとなり、制御機能５４１は、タイムライン情報に対して連続して識別可能な情報を表示させることとなる。
ここで、例えば、臓器の変形の程度が徐々に変化するような場合、解析機能５４２によって判定されるリスクレベルが徐々に変化することとなる。かかる場合には、生成機能５４３によって生成される異常情報に関連付けられるリスクレベルが変化することとなる。その結果、例えば、制御機能５４１は、図２の下段に示すように、タイムライン情報１０１における位置１における色を変化させて表示させる。
例えば、制御機能５４１は、異常情報が生成されるまで、図２の上段に示すようにタイムライン情報１０１を表示させず、異常情報が生成された際に、図２の中段及び下段に示すタイムライン情報１０１を自動で表示させる。そして、制御機能５４１は、異常情報が生成されなくなると、タイムライン情報を非表示とするように制御することもできる。
また、例えば、制御機能５４１は、異常を検出した時刻に収集された術中の医用画像を、タイムライン情報における対応する時刻に関連付けて表示させることもできる。図３は、第１の実施形態に係る制御機能５４１による表示制御の一例を示す図である。ここで、図３は、内視鏡システム２によって表示されている内視鏡画像に対するタイムライン情報の表示を示す。
例えば、制御機能５４１は、操作者の操作に応じて、図３に示すように、タイムライン情報１０１を表示させたり、サムネイル１０２を表示させたりする。一例を挙げると、術中に操作者がタイムライン情報１０１の表示操作を実行すると、制御機能５４１は、図３の中段に示すように、これまでに生成された異常情報に基づくタイムライン情報１０１を表示させる。
さらに、操作者がタイムライン情報１０１における位置６を指定すると、制御機能５４１は、図３の下段に示すように、指定された位置６に対応する内視鏡画像のサムネイル１０２を位置６に対応付けて表示させる。
例えば、術中に出血などのイベントが発生した場合に、操作者がタイムライン情報を表示させると、制御機能５４１は、図３の中段に示すように、異常が検出された時点を識別可能とするタイムライン情報１０１を表示させる。これにより、操作者は、イベントの原因となりうる事象が発生した時刻を容易に特定することができる。
そして、操作者がタイムライン情報１０１における位置を指定すると、制御機能５４１は、図３の下段に示すように、指定された時刻に取得された画像のサムネイル１０２を表示させる。これにより、操作者は、異常が発生した際の処置状況を把握することができ、出血などのイベントの原因を迅速に特定することができる。
また、例えば、制御機能５４１は、被検体の医用画像において、異常を検出した時刻に対応する医用器具の位置を表示させる。すなわち、制御機能５４１は、異常情報に位置情報が含まれる場合に、異常情報に関連づけられた位置情報に基づいて、異常が検出された時刻に取得された位置情報を示す医用画像を表示させる。
図４は、第１の実施形態に係る制御機能５４１による表示制御の一例を示す図である。ここで、図４における左側の図は、タイムライン情報１０１が表示された内視鏡画像を示す。また、図４における右側の図は、位置情報が示された医用画像を示す。
例えば、制御機能５４１は、図４に示すように、内視鏡画像にタイムライン情報１０１を表示させるとともに、異常情報が生成された時刻における医用機器の位置情報を示した医用画像を表示させる。ここで、制御機能５４１は、位置センサ４における磁場発生部を原点とする空間の３次元座標と位置合せが実行された３次元の医用画像を用いて、位置情報を示した医用画像を表示させる。
例えば、制御機能５４１は、図４の右側に図に示すように、磁場発生部を原点とする空間の３次元座標と位置合せが実行された３次元の医用画像に基づく仮想化腹腔鏡画像や、ＣＴ画像を用いて位置情報を表示させる。一例を挙げると、制御機能５４１は、タイムライン情報１０１における位置１～６の時刻に対応する位置情報と、位置合わせの情報に基づいて、各位置情報に対応する３次元の医用画像における位置をそれぞれ特定する。
そして、制御機能５４１は、特定した各位置に識別情報を示した医用画像を表示させる。例えば、制御機能５４１は、図４に示すように、ＣＴ画像上の特定した位置に、タイムライン情報１０１における位置１～６に対応する数字を表示させる。ここで、制御機能５４１は、タイムライン情報１０１と同様に、検出されたリスクレベル及び検出手段を識別可能となるように、各数字を表示させることができる。例えば、制御機能５４１は、数字を囲む外枠の形状や、形状内部の色などにより、リスクレベル及び検出手段を識別可能に表示させる。
また、制御機能５４１は、異常が検出された医用情報が取得された時刻の医用機器の位置情報だけではなく、被検体の医用画像において、医用器具（内視鏡２１の先端）の現在位置を表示させることもできる。すなわち、制御機能５４１は、位置センサ４から取得した医用器具の現在位置に対応する３次元の医用画像における位置を特定する。そして、制御機能５４１は、特定した位置に識別情報を示した医用画像を表示させる。例えば、制御機能５４１は、図４の右側の図に示すように、医用器具の現在位置１０４を表示させる。
また、さらに、制御機能５４１は、操作者の操作に応じて、図４に示すように、サムネイル１０３を表示させることができる。一例を挙げると、術中に操作者がタイムライン情報１０１の表示操作と、タイムライン情報１０１における位置６の指定操作とを実行すると、制御機能５４１は、図４に示すように、指定された位置６の情報を仮想化腹腔鏡画像に反映させ、位置６の時刻に対応する仮想化腹腔鏡画像のサムネイル１０３を数字に関連付けて表示させる。
例えば、術中に出血などのイベントが発生した場合に、制御機能５４１は、異常が検出された医用情報が取得された時点の医用器具の位置を示す画像を表示させる。これにより、操作者は、イベントの原因となりうる事象が発生した位置を容易に特定することができる。
そして、操作者がタイムライン情報１０１における位置を指定すると、制御機能５４１は、図３の下段に示すように、指定された時刻の画像のサムネイル１０３を表示させる。これにより、操作者は、異常が発生した際の処置状況を把握することができ、出血などのイベントの原因を迅速に特定することができる。
次に、図５を用いて、第１の実施形態に係る手術支援装置５の処理について説明する。図５は、第１の実施形態に係る手術支援装置５の処理の手順を説明するためのフローチャートである。なお、図５においては、異常情報として、時刻と医用情報と位置情報とを関連付ける場合の例を示す。
ここで、図５におけるステップＳ１０１～Ｓ１０２、Ｓ１０６～Ｓ１０９は、処理回路５４が、記憶回路５３から制御機能５４１に対応するプログラムを読み出して実行することで実現されるステップである。また、図５におけるステップＳ１０３は、処理回路５４が、記憶回路５３から解析機能５４２に対応するプログラムを読み出して実行することで実現されるステップである。また、図５におけるステップＳ１０４～Ｓ１０５は、処理回路５４が、記憶回路５３から生成機能５４３に対応するプログラムを読み出して実行することで実現されるステップである。
図５に示すように、手術支援装置５においては、まず、処理回路５４が、手技が開始されたか否かを判定する（ステップＳ１０１）。例えば、処理回路５４は、処理を開始するための操作を受け付けたか否かによって、手技の開始を判定する。ここで、手技が開始されると（ステップＳ１０１、肯定）、処理回路５４は、医用情報を取得する（ステップＳ１０２）。なお、手技が開始されるまで手術支援装置５は待機状態である（ステップＳ１０１、否定）。
そして、処理回路５４は、医用情報を解析して（ステップＳ１０３）、異常があるか否かを判定する（ステップＳ１０４）。ここで、異常がある場合には（ステップＳ１０４、肯定）、処理回路５４は、異常を検出した医用情報、時刻、位置情報を対応付けた異常情報を生成して、記憶させる（ステップＳ１０５）。一方、ステップＳ１０４において異常が検出されない場合には（ステップＳ１０４、否定）、処理回路５４は、ステップＳ１０６に進む。
そして、ステップＳ１０６では、処理回路５４は、医用情報を表示させる。例えば、処理回路５４は、内視鏡画像などを表示させる。ここで、異常情報が生成されている場合、処理回路５４は、異常情報に基づくタイムライン情報などを含む内視鏡画像などを表示させる。そして、処理回路５４は、指定操作を受け付けたか否かを判定する（ステップＳ１０７）。
ここで、指定操作を受け付けた場合（ステップＳ１０７、肯定）、処理回路５４は、指定された医用情報の詳細情報（例えば、サムネイルなど）を表示させて（ステップＳ１０８）、手技が終了したか否かを判定する（ステップＳ１０９）。一方、指定操作を受け付けていない場合（ステップＳ１０７、否定）、処理回路５４は、手技が終了したか否かを判定する（ステップＳ１０９）。
ステップＳ１０９において、手技が終了していない場合には（ステップＳ１０９、否定）、処理回路５４は、ステップＳ１０２に戻って、医用情報の取得を継続する。一方、手技が終了した場合には（ステップＳ１０９、肯定）、処理回路５４は、処理を終了する。
上述したように、第１の実施形態によれば、制御機能５４１は、術中の被検体の医用情報を取得する。解析機能５４２は、取得された被検体の医用情報に基づいて、異常を検出する。生成機能５４３は、異常を検出した時刻と、当該時刻に取得された医用情報とを関連付けた異常情報を生成する。したがって、第１の実施形態に係る手術支援装置５は、異常が発生した時刻に関する情報を提供することができ、術中に生じたイベントに関する情報の確認を容易にすることを可能にする。
例えば、内視鏡下手術において出血が生じた場合でも、異常が検出された時刻を提示することで、出血箇所の特定を迅速に行うことができ、その結果、開腹手術に切り替えることなく、内視鏡下手術を続行でき、術後の患者ＱＯＬ（Quality of Life）向上に寄与することができる。
また、第１の実施形態によれば、制御機能５４１は、異常情報を時刻順に表したタイムライン情報を表示させる。したがって、第１の実施形態に係る手術支援装置５は、異常が検出された時刻について、観察しやすい情報を提供することを可能にする。
また、第１の実施形態によれば、制御機能５４１は、異常を検出した時刻に収集された術中の医用画像を、タイムライン情報における対応する時刻に関連付けて表示させる。したがって、第１の実施形態に係る手術支援装置５は、リアルタイムの画像ではなく、異常が検出された時刻の画像を提示することができ、例えば、出血箇所の特定をより迅速に行うことを可能にする。
また、第１の実施形態によれば、制御機能５４１は、術中に用いられる医用器具の位置を表す位置情報をさらに取得する。生成機能５４３は、異常を検出した時刻と、当該時刻に取得された医用情報と、当該時刻に取得された位置情報とを関連付けた異常情報を生成する。したがって、第１の実施形態に係る手術支援装置５は、さらに位置情報を提示することができ、出血箇所の特定などをより迅速に行うことを可能にする。
また、第１の実施形態によれば、制御機能５４１は、術中に被検体内で操作される医用器具の位置を表す位置情報を取得する。したがって、第１の実施形態に係る手術支援装置５は、被検体内の医用器具の位置情報を取得することを可能にする。
また、第１の実施形態によれば、制御機能５４１は、被検体の医用画像をさらに取得する。制御機能５４１は、被検体の医用画像において、異常を検出した時刻に対応する医用器具の位置を表示させる。したがって、第１の実施形態に係る手術支援装置５は、より観察しやすい位置情報の表示を行うことを可能にする。
また、第１の実施形態によれば、制御機能５４１は、被検体の医用画像において、医用器具の現在位置を表示させる。したがって、第１の実施形態に係る手術支援装置５は、医用器具の現在位置と、異常が検出された医用情報が取得された時刻における位置との位置関係を容易に把握することを可能にする。
また、第１の実施形態によれば、制御機能５４１は、検出された異常の度合い及び検出手段のうち少なくとも１つについて、識別可能な情報を表示させる。したがって、第１の実施形態に係る手術支援装置５は、異常の程度や検出手段を一目で把握することを可能にする。
（他の実施形態）
さて、これまで第１の実施形態について説明したが、上述した第１の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、手術支援システム１０が手術支援装置５を含み、手術支援装置５が各種処理を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、本願にかかる手術支援方法の各種処理は、手術支援システム１０におけるいずれの装置で単独で実行される場合でもよく、手術支援システム１０における複数の装置で分散して実行される場合でもよい。
例えば、各医用情報を対象とした解析処理は、各医用情報を取得した装置によって実行される場合でもよい。例えば、内視鏡システム２が、上述した内視鏡画像を対象とした解析を行う場合でもよい。かかる場合には、処理回路２３が、上記した解析機能５４２を実行することで、内視鏡画像に基づく異常の検出を行う。また、超音波診断装置が超音波画像に基づく異常の検出を行い、心電計などの装置がバイタル情報に基づく異常の検出を行う場合でもよい。
また、異常情報の生成処理及び異常情報に関する各種表示処理が、仮想化腹腔鏡画像システム３において実行される場合でもよい。
また、上述した実施形態では、本願に係る手術支援方法を腹腔鏡手術に適用する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、本願に係る手術支援方法は、その他種々の手術に適用される場合でもよい。
なお、上述した実施形態では、本明細書における取得部、検出部、生成部及び表示制御部を、それぞれ、処理回路の制御機能、解析機能、生成機能及び制御機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における取得部、検出部、生成部及び表示制御部は、実施形態で述べた制御機能、解析機能、生成機能及び制御機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
以上説明した少なくとも一つの実施形態によれば、術中に生じたイベントに関する情報の確認を容易にすることができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
２ 内視鏡システム
３ 仮想化腹腔鏡画像システム
４ 位置センサ
５ 手術支援装置
１０ 手術支援システム
２３、３２、５４ 処理回路
５４１ 制御機能
５４２ 解析機能
５４３ 生成機能

Claims (9)

  1. 術中の被検体の医用情報を取得する取得部と、
    取得された前記被検体の医用情報に基づいて、異常を検出する検出部と、
    前記異常を検出した時刻と、当該時刻に取得された前記医用情報とを関連付けた異常情報を生成する生成部と、
    を備える、手術支援システム。
  2. 前記異常情報を時刻順に表したタイムライン情報を表示させる表示制御部をさらに備える、請求項１に記載の手術支援システム。
  3. 前記表示制御部は、前記異常を検出した時刻に収集された術中の医用画像を、前記タイムライン情報における対応する時刻に関連付けて表示させる、請求項２に記載の手術支援システム。
  4. 前記取得部は、術中に用いられる医用器具の位置を表す位置情報をさらに取得し、
    前記生成部は、前記異常を検出した時刻と、当該時刻に取得された前記医用情報と、当該時刻に取得された前記位置情報とを関連付けた異常情報を生成する、請求項１～３のいずれか１つに記載の手術支援システム。
  5. 前記取得部は、術中に前記被検体内で操作される医用器具の位置を表す位置情報を取得する、請求項４に記載の手術支援システム。
  6. 前記取得部は、前記被検体の医用画像をさらに取得し、
    前記被検体の医用画像において、前記異常を検出した時刻に対応する前記医用器具の位置を表示させる表示制御部をさらに備える、請求項４又は５に記載の手術支援システム。
  7. 前記表示制御部は、前記被検体の医用画像において、前記医用器具の現在位置を表示させる、請求項６に記載の手術支援システム。
  8. 前記表示制御部は、検出された異常の度合い及び検出手段のうち少なくとも１つについて、識別可能な情報を表示させる、請求項２、３、６、７のいずれか１つに記載の手術支援システム。
  9. 術中の被検体の医用情報を取得し、
    取得した前記被検体の医用情報に基づいて、異常を検出し、
    前記異常を検出した時刻と、当該時刻に取得された前記医用情報とを関連付けた異常情報を生成する、
    ことを含む、手術支援方法。
JP2020111615A 2020-06-29 2020-06-29 手術支援システム及び手術支援方法 Pending JP2022010852A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020111615A JP2022010852A (ja) 2020-06-29 2020-06-29 手術支援システム及び手術支援方法
CN202110724018.6A CN113925608A (zh) 2020-06-29 2021-06-29 手术辅助系统以及手术辅助方法
US17/304,969 US20210401511A1 (en) 2020-06-29 2021-06-29 Surgery support system and surgery support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020111615A JP2022010852A (ja) 2020-06-29 2020-06-29 手術支援システム及び手術支援方法

Publications (1)

Publication Number Publication Date
JP2022010852A true JP2022010852A (ja) 2022-01-17

Family

ID=79032803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020111615A Pending JP2022010852A (ja) 2020-06-29 2020-06-29 手術支援システム及び手術支援方法

Country Status (3)

Country Link
US (1) US20210401511A1 (ja)
JP (1) JP2022010852A (ja)
CN (1) CN113925608A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JPWO2011142189A1 (ja) * 2010-05-10 2013-07-22 オリンパスメディカルシステムズ株式会社 医療装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
US20190206562A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method of hub communication, processing, display, and cloud analytics
WO2020070510A1 (en) * 2018-10-03 2020-04-09 Cmr Surgical Limited Automatic endoscope video augmentation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235533A1 (en) * 2017-06-21 2018-12-27 Sony Corporation SYSTEM, METHOD, AND COMPUTER PROGRAM PRODUCT FOR MEDICAL IMAGING

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JPWO2011142189A1 (ja) * 2010-05-10 2013-07-22 オリンパスメディカルシステムズ株式会社 医療装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
US20190206562A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method of hub communication, processing, display, and cloud analytics
WO2020070510A1 (en) * 2018-10-03 2020-04-09 Cmr Surgical Limited Automatic endoscope video augmentation

Also Published As

Publication number Publication date
CN113925608A (zh) 2022-01-14
US20210401511A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
EP3845193B1 (en) System for determining, adjusting, and managing resection margin about a subject tissue
JP6355875B2 (ja) 内視鏡システム
US10966590B2 (en) Surgical system, information processing device, and method
JP7166809B2 (ja) リアルタイム３次元（３ｄ）心臓撮像におけるガラス状態ビューのためのシステム及び方法
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
US20180160910A1 (en) Medical support device, method thereof, and medical support system
JP2019093144A (ja) 対話型イベントタイムラインのためのシステム及び方法
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
JP2006198032A (ja) 手術支援システム
EP3733047A1 (en) Surgical system, image processing device, and image processing method
JP2007014483A (ja) 医用診断装置及び診断支援装置
WO2020036091A1 (ja) 情報処理装置および情報処理方法
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
JP6687393B2 (ja) 医用画像診断装置
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
US11954897B2 (en) Medical image processing system, recognition processing processor device, and operation method of medical image processing system
JP2022010852A (ja) 手術支援システム及び手術支援方法
US11910995B2 (en) Instrument navigation in endoscopic surgery during obscured vision
JP2021194268A (ja) 血管観察システムおよび血管観察方法
CN111354453A (zh) 医疗成像系统
JP7495242B2 (ja) 医用画像診断装置、手術支援ロボット装置、手術支援ロボット用制御装置及び制御プログラム
JP7220542B2 (ja) 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
WO2021156926A1 (ja) 内視鏡制御装置、内視鏡制御方法および内視鏡制御プログラム
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
US20240127450A1 (en) Medical image processing apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402