CN112545647A - 手术辅助装置以及手术导航系统 - Google Patents

手术辅助装置以及手术导航系统 Download PDF

Info

Publication number
CN112545647A
CN112545647A CN202010426995.3A CN202010426995A CN112545647A CN 112545647 A CN112545647 A CN 112545647A CN 202010426995 A CN202010426995 A CN 202010426995A CN 112545647 A CN112545647 A CN 112545647A
Authority
CN
China
Prior art keywords
image
intervention
surgical
data
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010426995.3A
Other languages
English (en)
Inventor
佐野佑子
关悠介
阿部信隆
岛本贵文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN112545647A publication Critical patent/CN112545647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种手术辅助装置以及手术导航系统，预测手术中的恰当的介入部位，并将预测出的介入部位提示给施术者，由此提高介入部位的精度。手术辅助装置具备预测数据生成部，该预测数据生成部使用人工智能算法，基于介入前的数据来生成预测了介入部位的预测数据。人工智能算法是通过解析针对对象物的介入前的数据和介入部位数据，学习了介入部位的人工智能算法，将介入部位的一个点的坐标、区域或者形状作为预测数据进行输出。人工智能算法的学习中使用的介入前的数据以及为了生成预测数据而输入到人工智能算法的输入数据是图像数据、片段图像、特征点等。将预测数据与事先获取的患者的图像一并显示于显示装置。

Description

手术辅助装置以及手术导航系统
技术领域
本发明涉及一种手术时使用医用图像来辅助施术者的手术用辅助装置以及手术用导航系统。
背景技术
已知一种手术用导航系统，其综合手术前制作的治疗计划数据和手术中获得的数据，通过引导手术工具等的位置或姿势来辅助施术者，以便安全、安心地进行手术。
更详细而言，手术用导航系统例如是在通过MRI等医用图像拍摄装置在术前获取到的医用图像上重叠显示使用位置计测装置等传感器检测出的手术工具等各种医疗器械在实际空间中的位置信息，从而对施术者提示手术工具的位置来进行手术辅助的系统。
手术用导航系统中应解决的课题之一，举例了对施术者提示恰当的介入部位。介入部位是为了对手术的对象即体内的组织或脏器实施措施，首先通过手术工具切开对象者即患者的体表等时的体表部分，需要根据实施措施的部位的位置来设定恰当的位置或大小。到目前为止，在手术中，施术者介入患者的身体时，基于施术者的经验，参考医用图像来决定介入部位。但是，当施术者的经验少的情况下，而无法恰当地决定符合手术的目的的恰当的介入部位，位置偏离或者范围过小。在该情况下，在介入后，重新进行扩张介入部位等的校正，从而因手术时间的过长而对患者的身体的负担增大。
尤其是在摘出脑肿瘤等伴随着头盖骨的切除和开颅的脑外科手术等手术中，必须基于肿瘤的大小、离肿瘤的距离、应避免损伤的脑的区域的位置等各种的原因，综合地判断该切除部位(介入位置)，另外需要根据切除部位来恰当地设定患者的体位。不熟练的施术者未恰当地决定切除部位，在切除后可能进一步产生需要追加切除头盖骨的状况。但是，至今为止，还未提出应对此种课题的技术。
另一方面，近年来，开发了使用深层学习(深度学习)等人工智能算法来提高医用图像的精度的技术。例如，在专利文献1中公开了根据医用图像来判定头盖内出血等的技术。
专利文献1:日本特表2019-500110号公报
发明内容
专利文献1中公开的使用了人工智能算法的技术例如通过提高手术部位的判定精度而间接地有助于手术辅助，但仅停留于图像精度的提高而无法提供与手术导航技术组合的辅助信息。对此，本申请人提出了一种使用学习了介入前后的图像作为训练数据的人工智能算法来预测介入后的对象脏器位置，提高通过手术导航来提示的手术工具位置的精度的技术。在该技术中，能够解决对象脏器因施术者的介入例如切开而变形，使基于手术导航的手术工具位置提示功能的精度降低的课题，例如能够解决在脑外科手术中因开颅造成脑的形状或位置变化的所谓的“脑位移”引起的问题。
但是，介入后的脏器的形状、位置的变化因介入位置或患者的体位而有所不同，通过该技术无法提示介入位置自身的辅助信息。介入位置还有时必须考虑患者的状态(例如采取何种体位)等来临机应变地进行变化，仅通过上述的人工智能算法也可能无法得到充分的手术辅助功能。另外，为了制作能够还考虑介入位置或患者体位来预测介入后的脏器的形状、位置变化的人工智能算法，需要庞大的训练数据。
因此，本发明的目的在于提供一种在手术用导航系统中预测手术的恰当的介入部位的技术。
为了解决上述课题，本发明的手术辅助技术通过解析针对对象物介入前的数据和介入部位数据来制作学习了介入部位的人工智能算法，使用该已学习人工智能算法，基于介入前的数据来预测、提示介入部位。
具体而言，本发明的手术辅助装置通过图像显示来辅助向活体内的对象物的介入，该手术辅助装置具备预测数据生成部，该预测数据生成部使用已学习人工智能算法，预测向处置的对象即活体的介入位置，并输出预测数据，该学习完成人工智能算法是使用包含介入前的所述对象物的图像数据或者对该图像数据进行处理而得的数据和与活体的表面的介入位置有关的信息来进行学习而得的。
另外，本发明提供一种具备上述手术辅助装置的手术导航系统。该手术导航系统具备上述的手术辅助装置、显示医用图像的显示装置、计测处置的对象即活体的位置和手术工具的位置的位置计测装置。手术辅助装置使所述显示装置显示由预测数据生成部输出的与介入位置有关的信息、由所述位置计测装置计测出的手术工具的位置。
根据本发明，预测针对手术对象的恰当的介入部位，并将预测出的介入部位提示给施术者，从而能够提高介入部位的精度。其结果，能够减轻对患者的身体的负担。
附图说明
图1是表示本发明的实施方式所涉及的手术导航系统的概略结构的框图。
图2是表示实施方式1的手术辅助装置和包含该手术辅助装置的手术导航系统的结构的框图。
图3是实施方式1的手术辅助装置的中央处理装置的结构框图。
图4是表示图2的手术导航系统中的位置计测装置的概略结构的说明图。
图5是说明实施方式1的手术辅助装置中应用的人工智能算法的生成处理的流程图。
图6是表示介入位置与姿势的关系的说明图。
图7是表示手术辅助装置中应用的人工智能算法的一例的图。
图8是说明在实施方式1的手术辅助装置中生成预测数据的处理的流程图。
图9是表示在实施方式1的手术辅助装置中，在显示装置中显示的显示画面的一例的图。
图10的(A)、(B)分别表示在实施方式1的手术辅助装置中，显示装置中显示的显示画面的其他的例子的图。
图11是说明实施方式1所涉及的手术导航系统的处理的流程图。
图12是表示在实施方式1所涉及的手术导航系统中，显示装置中显示的显示画面的一例的图。
图13是说明脑位移的脑的断层画面的参考图，(A)表示开颅前，(B)表示开颅后。
图14是实施方式2的手术辅助装置的中央处理装置的结构框图。
图15是表示实施方式2的手术辅助装置的人工智能算法的输出数据的一例的图。
图16是表示实施方式2的手术辅助装置中应用的人工智能算法的一例的图。
图17是说明实施方式2所涉及的手术导航系统的处理的流程图。
具体实施方式
参照附图来说明本发明的手术导航系统的实施方式。
如图1所示，手术导航系统100具备：生成手术辅助中需要的信息(辅助信息)的手术辅助装置10；将手术辅助装置10生成的信息提示给施术者的输出单元例如显示装置20；对设置于手术室内的患者或手术工具的位置进行计测的位置计测装置30。
手术辅助装置10是将手术工具等的位置信息重叠于所期望的医用图像上，并实时提示位置信息，从而对施术者进行辅助的装置。具体而言，从位置计测装置30获取与患者(对象部位)、手术工具的位置有关的信息，与术前图像一并显示于显示装置20。并且，在本实施方式中，基于通过预先针对患者的介入而获取到的对象部位的图像数据(术前图像的数据)而生成的输入数据，生成包含与恰当的介入位置有关的信息的辅助信息，与手术工具的位置信息一并显示于显示装置20。
就术前图像而言，将通过MRI装置、CT装置等医用拍摄装置获取到的患者的图像预先保存在手术辅助装置10内的存储装置或者外部的存储装置中，在制作输入数据时或作为辅助信息显示在显示装置20时，手术辅助装置10能够读出并使用。
手术辅助装置10所生成的输入数据可以是术前图像其本身，还可以是从术前图像提取了具有预定的特征的区域(以下为特征区域)而得的分割图像(segmentation image)、提取了组织或部位的特征而得的特征点数据等。另外，手术辅助装置10所输出的辅助信息除了包含与介入位置有关的信息之外，还可以包含如脑位移这样的表示介入后的变化的信息等。与介入位置有关的信息包括应介入的位置或区域、大小、将介入位置和对象部位连结的线的斜率或根据这些推定的患者的推荐体位等。
手术辅助装置10例如使用许多由与上述的输入数据同种的输入数据和与手术辅助装置10的输出即介入位置有关的数据(训练数据)构成的组，并使用预先学习的已学习人工智能算法(以下，简称为AI算法)来输出上述的辅助信息。此种AI算法在手术辅助装置10或者其他的装置中制作，并保存于手术辅助装置10的内部的存储装置或者外部的存储装置中。AI算法的制作方法在后面详细进行叙述。
为了实现上述的功能，手术辅助装置10能够具备：根据术前图像来生成输入数据的输入数据生成部110；使用AI算法，根据输入数据生成与介入位置有关的信息等的预测数据生成部130；用于使显示装置20显示预测数据生成部130的输出或来自位置计测装置30的输出的显示控制部150。这些功能能够在具备了CPU(Central Processing Unit，中央处理单元)或GPU(Graphices Processing Unit，图形处理单元)或者该组合等的处理装置的通用或者专用的计算机上实现。通过将作为输入数据生成部110、预测数据生成部130或者显示控制部150发挥功能的程序读入到计算机的存储器并进行执行，从而作为软件来实现。其中，还能够通过ASIC(Application Specific Integrated Circuit，专用集成电路)或FPGA(Field-Programmable Gate Array，现场可编程门阵列)等硬件来实现处理装置所执行的功能的一部分或者全部。或者通过实施方式还能够进行省略了若干功能的内容。
位置计测装置30检测在手术室内放置于手术对象即患者的近旁的标记或固定于手术工具的标记的位置，获取患者或手术工具的实际空间坐标系中的三维位置。标记的检测能够采用磁检测器、红外线检测器等公知的位置检测器。对象部位或手术工具的实际空间坐标系中的位置被坐标变换成DICOM数据的坐标(图像空间的坐标)的位置，与术前图像重叠地显示于显示装置20。坐标变换例如能够在此在中央处理装置11内设置对准(registration)部(坐标变换部)来实现。对准的方法能够使用公知的手术导航的方法。
根据本实施方式的手术导航系统，预先准备使用许多数据的组(set)来学习成针对输入数据输出恰当的介入位置的AI算法，针对手术对象，生成与该AI算法的输入数据同种的输入数据并输入到该已学习AI算法中，由此能够向施术者提示手术对象的最佳的介入位置。由此，防止不恰当的介入，例如，能够进行辅助，以使患者能够采取恰当的体位，或者能够以最短路径进行尽可能减少了创伤的手术。
以上，基于说明的手术导航系统的基本的结构的实施方式进行了说明，以下，针对本发明的具体的实施方式，以手术是伴随着开颅的脑外科手术的情况为例进行说明。另外，在以下的实施方式中，与图1中含有的要素相同的要素通过相同的符号进行表示，并省略重复的说明。
<实施方式1>
本实施方式的手术导航系统是将手术辅助装置10构建于具备了中央处理装置的计算机上的实施方式，在该中央处理装置中包括构成手术辅助装置10的输入数据生成部110、预测数据生成部130、显示控制部150等。
以下，参照图2来说明本实施方式的手术导航系统100。本实施方式的手术导航系统100具备手术辅助装置10、显示从手术辅助装置10提供的位置信息等的显示器(显示装置)20、经由网络40连接成能够与手术辅助装置10通信的医用图像数据库50以及计测手术工具等的位置的位置计测装置30。
手术辅助装置10具备中央处理装置11、主存储器12、存储装置13、显示存储器14、控制器15以及网络适配器16。构成手术辅助装置10的这些各结构经由系统总线17分别连接。另外，在系统总线17上连接有键盘19，并且在控制器15上连接有鼠标18。鼠标18以及键盘19作为接受医用图像的处理条件的输入的输入装置来发挥功能。另外，鼠标18例如可以是触控板(Trackpad)或轨迹球(Trackball)等其他的指示设备，另外，还使显示器20具有触摸面板功能，由此能够代替鼠标18、键盘19的功能。
中央处理装置11控制手术辅助装置10整体，根据经由鼠标18或者键盘19输入的处理条件，对医用图像或由位置计测装置30计测出的位置信息执行预定的运算处理。因此，中央处理装置11实现输入数据生成部110、预测数据生成部130、显示控制部150等功能。中央处理装置11除了具备这些功能外，如图3所示，还可以具备用于进行通过位置计测装置计测出的实际空间坐标中的位置与图像坐标中的位置的对位的对准部140等，或者在制作已学习AI算法的情况下还可以具备机器学习部120。
输入数据生成部110基于通过鼠标18等输入装置输入的处理条件、从医用图像数据库50读入的医用图像来生成输入数据，该输入数据表示包括介入前的对象物的形状的对象物所涉及的信息。输入数据是用于生成预测介入后的对象物的形状的预测数据所需的信息，对应于已学习AI算法的制作中使用的输入数据。具体而言，作为输入数据，从医用图像数据库50读入的二维或者三维的医用图像，根据该医用图像，生成通过图像处理而提取了对象物的特征区域后的分割图像或者通过图像处理而提取的特征点等。当对象物为脑的情况下，头盖骨、脑实质、脑肿瘤等被考虑为特征区域，可以使用公知的分割方法来提取这些特征区域作为分割图像。并且，能够将此种特征区域的轮廓中包含的任意的点作为特征点。
预测数据生成部130使用存储装置13中存储的人工智能算法，根据基于由输入数据生成部110生成的输入数据的介入前的数据来生成预测了介入部位的预测数据。对于人工智能算法以及预测数据的生成的详细内容在后面进行叙述。
主存储器12存储中央处理装置11所执行的程序、运算处理的中途经过。
存储装置13存储人工智能算法，该人工智能算法通过解析针对对象物的介入前的数据和介入部位，学习根据介入前的数据求出恰当的介入部位的规则。此外，存储装置13还存储中央处理装置11执行的程序、程序执行中需要的数据。并且，存储装置13存储从医用图像数据库50读入的医用图像(图像数据)以及与医用图像有关的关联医疗信息。在关联医疗信息中，除了诊断名、年龄、性别、医用图像拍摄时的体位之外，还可以包含肿瘤部位、肿瘤区域、组织病理诊断等与对象物或对象脏器有关的手术关联信息、考虑为给介入部位带来影响的因子所涉及的信息。作为存储装置13，例如能够应用可与硬盘等CD/DVD、USB存储器、SD卡等便携式记录介质进行数据交换的装置。
显示存储器14临时存储用于使显示装置20显示图像等的显示数据。
控制器15检测鼠标18的状态，获取显示器20上的鼠标指针的位置，将获取到的位置信息等输出到中央处理装置11。网络适配器16使手术辅助装置10连接于LAN(Local AreaNetwork，局域网)、由电话线路或者因特网等构成的网络40。
显示器20显示重叠有由手术辅助装置10生成的位置信息的医用图像，由此将医用图像以及手术工具等的位置信息提供给施术者。
医用图像数据库50存储患者的断层图像等医用图像以及医用图像所涉及的关联医疗信息。医用图像数据库50中存储的医用图像例如优选使用由MRI装置、CT装置、超声波拍摄装置、闪烁照相机装置、PET装置或者SPECT装置等医用图像拍摄装置拍摄的图像。可以将通过手术辅助装置10以外的拍摄装置或图像处理装置制作出的分割图像等图像数据与原图像数据一并存储。
医用图像数据库50被连接成能够经由网络40与网络适配器16发送接收信号。在此，“能够发送接收信号”是表示与电性、光学、有线、无线无关地，能够相互或者从一方向另一方发送接收信号的状态。
位置计测装置30是在手术等介入后，计测被检体内的手术工具等的三维的位置的装置，例如，如图4所示，具备固定于手术室内的一个至多个红外线照相机301。另一方面，在床302上的被检体(患者)60的近旁或手术工具303上，设置从多个位置发出能够被红外线照相机301检测的光的标记304、305，来自这些标记304、305的光被红外线照相机301计测，由此获取表示患者60中的手术工具303等的位置的位置信息。位置计测装置30将获取到的位置信息经由手术辅助装置10内的系统总线117输出到中央处理装置11。
接着，说明存储装置13中存储的AI算法的生成。
存储装置13中存储的AI算法如上述，是学习了根据介入前的数据求出恰当的介入部位的规则的AI算法，能够使用手术辅助装置10或者其他的计算机等来生成。
以下，以在开颅手术中，在手术辅助装置10内生成学习了根据开颅前的数据求出恰当的开颅部位(介入位置)的规则的AI算法的情况为例，来说明该生成顺序。在该情况下，手术辅助装置10的中央处理装置11如图3所示，除了上述的输入数据生成部110、预测数据生成部130之外，还具备机器学习部120。另外，将介入前后即开颅手术前后的医用图像与其关联医疗信息一并存储于医用图像数据库50中。
如图5所示，AI算法的生成中，首先在步骤S501中，中央处理装置11(输入数据生成部110)从医用图像数据库50读入介入前后即开颅手术的前后的医用图像以及该医用图像所涉及的关联医疗信息。
接着，在步骤S502中，输入数据生成部110基于在步骤S501中读入的医用图像以及关联医疗信息，生成用于输入到人工智能算法来进行学习的输入数据和训练数据。
作为输入数据，如上述，除了医用图像之外，还能够将根据医用图像提取了特征区域后的分割图像或特征点作为输入数据。在此，设为根据脑的MRI图像来分割脑实质、头盖骨、肿瘤。分割是根据医用图像来提取所期望的脏器或部位，并生成仅有脏器或者仅有部位的图像的技术，能够使用基于Snakes、Level set法、Deep Learning的方法等公知的方法，可以提取仅有肿瘤区域的图像，还可以设为表示有无肿瘤的二值图像。作为脑的MRI图像，例如，能够使用术前的脑实质的MRI的T1图像(或者T1强调图像)和T2图像(或者T2强调图像)。这些是通过不同的对比度描绘出脑实质或肿瘤的图像，能够精度良好地进行分割。此外，还可以使用病变描绘能力优秀的FRAIR(Fluid-Attenuated Inversion Recovery，液体衰减反转恢复)图像等。
作为输入数据，可以使用多个图像，该情况下，预先进行定位以使相互不具有位置的偏离。具体而言，通过将变换矩阵(在此限于平移、旋转)应用于单张图像，以使将两个图像的类似度最大化，由此进行定位。作为类似度，能够使用零平均归一化相互相关(ZNCC)、差分平方和(SSD)、差分绝对值和(SAD)、归一化相互相关(NCC)、相互信息量。
训练数据是表示介入位置信息的数据，具体而言，能够选择开颅区域(切除的头盖骨的部分)的分割图像、开颅区域的重心或半径等特征量等。在本实施方式中，例如使用区域扩张法等，从根据MRI图像等医用图像得到的头盖骨的三维的二值图像中，提取开颅区域的图像，将二值化的图像作为训练数据。或者，可以以简单的图形将提取到的开颅区域近似，使用表示该图形的特征量作为训练数据。例如，当接近于圆的情况下，将其重心和半径设为训练数据即可。预先进行定位，以使以上的输入数据和训练数据也不具有位置的偏离。并且，开颅区域还可以设为将脑分为比较的大的区域(额叶、颞叶等)的区域。
训练数据除了表示开颅区域的数据之外，还可以包含患者的头部的姿势(头位)。尤其是在伴随着头盖骨的切开的脑外科手术中，为了不使头盖骨内的脑脊髄液等向外部溢出，将开颅位置设定在垂直方向的上部是重要的，需要设定头部的姿势，以使开颅位置成为上部。作为训练数据使用的与头部的姿势有关的数据例如图6所示，将输入数据即头部图像的坐标作为基准，能够使用以欧拉角表示距离该坐标轴(例如Y轴)的斜率的数据。或者，可以将旋转了头部图像的图像作为训练数据，以使将手术的对象部位和开颅区域的中心连结的线L与基准坐标的坐标轴(垂直方向的轴)一致。
若通过上述的步骤S501、S502，结束输入数据生成部110进行输入数据以及训练数据的生成，则机器学习部120使用学习前的人工智能算法，来开始步骤S503～S505的机器学习过程。即在步骤S503中，将输入数据代入到学习前的人工智能算法中，在步骤S504中获取预测数据，在步骤S505中，进行得到的预测数据与训练数据的比较。并且，将比较结果反馈给人工智能算法进行修正，即，通过重复进行步骤S503～步骤S505的处理，能够以预测数据与训练数据的误差成为最小的方式将人工智能算法最佳化。
作为人工智能算法，例如优选使用卷积神经网络等深度学习(Deep learning)的AI算法。具体而言，作为AI算法，能够使用U-net、Seg-net、DenseNet等公知的AI算法。作为一例，在图7中示出了U-net的构造。如图示，U-net经由桥BR，将多个编码器EC和与其同数量的解码器DC连接，是将同等级的编码器EC和解码器DC连接而成的构造的网络，编码器、解码器以及桥分别如该图的下部所示，具有将卷积层(C层)、ReLU(斜坡函数(Ramp function))层或者leakyReLU层(L层)等重合的构造。U-net将各层的编码器和解码器直接连结，从而能够补偿在特征的传播过程消失的像素的细节，另外具有比较性计算量较少且在短的计算时间内得到结果的特征。图示的例子中，输入数据是MRI图像(例如，片段图像(Segmentimage))，输出的预测数据是开颅区域图像(例如，二值化图像)，例如使用百数十例的脑肿瘤数据进行学习。
在步骤S505中，作为评价预测数据与训练数据的误差的评价函数，能够使用平均绝对误差(Mean Absolute Error)、均方根误差(Root Mean Squared Error)等指标。在本实施方式中，例如AI算法(U-net)以平均绝对误差成为最小的方式进行学习，当在平均绝对误差低于预定的值的情况下(S506)，U-net考虑为被最佳化，在步骤S507中作为已学习AI算法进行输出。
如此最佳化的AI算法(已学习AI算法)具有与针对输入数据输出特定的数据的函数相同的功能，在本实施方式中，是针对介入前的输入数据输出介入部位的预测数据的手术辅助用AI算法。介入部位的预测数据通过学习中使用的训练数据来决定，在本实施方式中，是仅提取了开颅区域的二值图像(开颅区域图像)、表示开颅区域的分界的二值图像、表示以简单的图形近似于开颅区域时的图形的特征量等。另外，当训练数据包括体位(头部的姿势)的情况下，被推荐的体位也作为预测数据而进行输出。将通过机器学习部120输出的已学习AI算法存储于存储装置13中。
接着，说明使用了已学习的AI算法的手术导航的具体例。本实施方式的手术导航系统100能够执行与介入位置有关的信息的提示以及手术工具的位置信息的提示这两个功能。
最初，根据图8的流程图来说明使用了已学习AI算法的预测数据的生成和介入位置的提示。在此，以作为预测数据输出开颅区域图像的情况为例进行说明。
首先，在步骤S801中，输入数据生成部110从医用图像数据库50读入关于手术对象即患者在介入前即开颅前拍摄到的医用图像以及关联医疗信息。并且，在步骤S802中，基于在步骤S801中读入的数据，生成用于输入到已学习AI算法的输入数据。输入数据的生成顺序与图5的步骤S502中的输入数据的生成顺序相同，生成与AI算法的学习中使用的输入数据同种的数据。输入数据例如是患者的脑实质的T1图像、T2图像以及肿瘤图像。可以使用这些全部，还可以综合地使用。
在步骤S803中，预测数据生成部130读入存储装置13中存储的已学习AI算法，同时将在步骤S802中制作出的输入数据代入到已学习AI算法中，进行运算，输出预测数据。在本实施方式中，根据图7的U-net进行运算，作为预测数据，得到开颅区域的图像数据。在步骤S804中，显示控制部150接受预测数据生成部130生成的开颅区域的图像数据，经由显示存储器14，显示于显示器20。
在图9以及图10中示出了显示器20中显示的介入前的医用图像即术前图像的显示画面900的一例。在图9示出的例子中，重叠于包含脑实质902或肿瘤部位903的介入前的脑的MRI图像，显示了表示开颅区域图像的图像(二值图像)905。根据此种显示，施术者能够掌握开颅区域的位置和大小，将该显示作为辅助信息来进行开颅的准备。
此外，在图9中仅显示了轴向面(axial surface)的图像，但还可以同时显示其以外的面、矢状面或冠状面的图像或渲染图像(rendered image)，还能够在这些图像上也重叠表示矢状面、冠状面的开颅区域图像或者开颅区域的渲染图像。
图10表示作为预测数据，除了开颅区域的图像数据之外，还输出与头部的姿势有关的数据的情况下的显示例。在图10的(A)示出的例子中，显示控制部150若从预测数据生成部130接受头部的姿势(推荐为手术时姿势的姿势:推荐姿势)的欧拉角作为预测数据，在术前图像上重叠相对于图像坐标具有预测数据的角度的斜率的线段910，并传递到显示存储器14。由此，如图示所示，在术前图像上显示有将开颅区域的中心和肿瘤的重心连结的线910。图10的(B)是使在术前图像上重叠了开颅区域的图像旋转成使将开颅区域的中心与肿瘤的重心连结的线与图像的坐标轴(Y轴:垂直方向)一致而显示。通过这些显示，施术者能够视觉上掌握将头部倾斜何种程度的状态下开颅。
此外，预测数据生成部130生成的预测数据根据需要存储于存储装置13、医用图像数据库50中。由此，能够在事后确认、验证或AI算法的学习等中使用。
接着，根据图11的流程图来说明包含上述的介入位置的提示和手术工具位置的提示的手术导航处理。
首先，在步骤S811中，中央处理装置11从医用图像数据库50获取对手术对象即患者在术前拍摄到的医用图像、以及作为由预测数据生成部130生成的预测数据而表示介入后的对象物的形状的预测医用图像。在步骤S812中，根据获取到的医用图像的DICOM(Digital Imaging and Communication in Medicin，医学数字成像与通信)信息、关联医疗信息、与预测医用图像有关的信息，获取导航中使用的医用图像、预测医用图像中的被检体的位置以及方向(图像空间坐标中的位置)。
在步骤S813中，中央处理装置11使用位置计测装置30，如图4所示，计测设置于被检体60的近旁的标记304的位置信息，检测被检体60的位置(实际空间坐标中的位置)。标记304的位置通过位置计测装置30来检测固定于标记304的三个以上的能够光学或磁性检测的球体标记，由此能够检测三维实际空间中的位置。另外，例如计测预先将标记304临时设置于被检体60的预定部位(例如头部)时的位置和进行手术时固定的位置，来掌握这两个的位置的关系，从而检测被检体60位置。
在步骤S814中，中央处理装置11的对准部140根据在步骤S812中得到的医用图像中的被检体的位置信息(图像空间坐标上的位置)和在步骤S813中被检体的位置信息(实际空间坐标中的位置)，计算出与被检体位置对应的医用图像上的位置，进行被检体的位置和医用图像上的位置的对位(对准)。
另一方面，在步骤S815中，输入数据生成部110以及预测数据生成部130进行图像上的介入部位以及推荐姿势的计算。该步骤与图8的流程中说明的处理(步骤S802～S804)相同，输入数据生成部110根据在步骤S812中获取到的被检体的术前图像来生成输入数据，预测数据生成部130使用已学习的AI算法，例如生成开颅区域和推荐姿势作为预测数据。
在步骤S816中，为了引导手术工具等的操作而计测手术工具的位置信息。即，中央处理装置11使用位置计测装置30来计测设置于手术工具303的标记305的位置(实际空间坐标中的位置)，对其进行坐标变换，计算出医用图像坐标系中的标记305的坐标。此外，在标记305的位置信息中还包含有到手术工具303的前端为止的偏移量。
在步骤S817中，显示控制部150生成将步骤S815中得到的介入部位(开颅区域)以及在步骤S816中得到的手术工具等的位置信息重叠于医用图像上而得的导航图像，经由显示存储器14使显示器20进行显示。此时，重叠显示手术工具等的位置信息的医用图像使用在术前获取到的介入前的医用图像。此时，根据需要，可以经由鼠标18以及键盘19等输入装置，输入所期望的图像处理条件(参数等)，中央处理装置11(显示控制部150)生成实施与输入的图像处理条件对应的处理的导航图像。
上述的各步骤可以分别在用户所期望的定时进行，任意的步骤可以在手术中继续进行。图11表示继续进行手术工具的计测(S816)的情况，在该情况下，每次手术工具303的位置变化，更新医用图像坐标系中的标记305的坐标的计算(S816)和手术工具位置的显示(S817)后进行。继续这些步骤直到手术结束为止(S818)，或者直到经由输入装置输入结束指示为止。
图12示出了通过本实施方式所涉及的手术导航系统将介入部位以及手术工具位置一起显示的导航图像的显示例。
图12示出的显示画面900作为导航图像，在被检体60的手术部位的正交3剖面图像即轴向剖面911、矢状剖面912以及冠状剖面913、三维渲染图像914上重合显示根据对位信息形成的虚拟手术工具(手术工具图标)904。另外，还重合显示预测的介入部位905。
在图示的例子中，显示图像的画面900的右侧是接受来自用户的指示或指定的界面用显示的画面，在其上部，显示有用于指示被检体的位置计测的位置获取图标921、用于执行实际空间位置和图像空间位置的对位的对准图标922、显示重合显示有预测的介入部位915的医用图像的介入部位预测图标923。
在经由此种界面，接受来自用户的指示或指定的情况下，图11示出的步骤S813～S815根据来自用户的指示进行启动。例如，用户按下位置获取图标921，由此接受位置计测装置30的被检体位置的计测指示(S813)，按下对准图标922，由此计算与由位置计测装置30计测出的被检体的位置信息对应的被检体在医用图像上的位置(S814)，进行被检体的位置和医用图像上的位置的对位。另外，按下介入部位预测图标923，由此使显示器20显示重叠有预测的介入部位的医用图像(S815)。
另外，在图像显示画面900的右侧下部显示有输入图像处理指令的图像阈值界面931、视点位置平行移动界面932、视点位置旋转移动界面933以及图像放大界面934的图标。通过操作图像阈值界面931，能够调节医用图像的显示区域。另外，通过视点位置平行移动界面932，能够平行移动针对医用图像的视点的位置，通过视点位置旋转移动界面933，能够使视点的位置旋转移动。并且，通过图像放大界面934，能够放大选择区域。
另外，在图12中示出了使用手术部位的正交3剖面图像作为导航图像的情况，但并不限定于此，例如，在图9示出的显示画面900中，在术前图像上可以重叠显示表示手术工具的图标。
在任意的情况下，通过实时显示手术工具图标904，施术者都能够知晓与预测的介入部位905的位置关系，恰当地对被检体60进行介入。
如此根据本实施方式，根据由位置计测装置30计测的被检体60或者与被检体60相对的位置关系不变化的床或固定工具等固定于刚体上的标记304的位置信息和附加于医用图像的图像位置信息即DICOM信息，生成被检体位置和图像位置的对位中需要的对位信息。并且，能够生成将根据设置于手术工具303的标记305获取到的手术工具303的位置信息假想重叠于医用图像而得到导航图像，并显示于显示器20上。此时，通过重叠预测出的介入部位的图像，由于施术者能够进行恰当的介入，因而能够提高介入的精度。
另外，使用在本实施方式中使用的AI算法，将对65例的症例预测出的结果与实际的结果进行比较、评价后，作为预测数据得到的开颅区域和实际的开颅区域的重合度(Dice系数)表示0.6以上的值(重合度60％以上)，得到良好的结果。尤其在与脑的区域的一致中得到100％的一致度。
另外，在本实施方式中，说明了脑外科手术的开颅，但还能够应用于其他的身体部位的手术。例如，还能够应用于将肝脏等消化器作为对象的开腹手术的开腹位置、将心脏作为对象的开胸手术。
<实施方式2>
本实施方式的特征在于，追加了使用预测的介入部位的信息进一步预测介入后的脏器的移动或变形的功能。
有时脑等的脏器因介入(例如开颅)而移动或变形。例如，如图13的(A)所示，在开颅前的脑的断层像中，在被头盖骨901包围的区域中存在脑实质902以及脑肿瘤903。在此，在实施摘出脑肿瘤903的手术的情况下，若将头盖骨901以及硬膜的一部分切除，形成开颅范围906，则如图13的(B)所示，在脑脊髄液中漂浮的脑实质902或脑肿瘤903因重力等的影响，从开颅前的位置移动、变形。此种现象被称为脑位移。脑位移伴随着数mm到数cm的脑的移动或者变形。因此，在使用了介入前的图像的手术导航中，在该图像上显示手术工具位置，也会损毁位置信息的可靠性。另外，脑位移也因介入位置收到大的影响。本实施方式除了介入位置的信息之外，还预测介入后变形等(脑位移)，由此提高手术导航的精度。
在本实施方式中，介入部位的预测与实施方式1相同，另外用于实现本实施方式的主要的结构与图2示出的相同。以下，以与实施方式1的不同点为中心，说明本实施方式。
在图14中示出了本实施方式的中央处理装置11的构成。如图所示，本实施方式的中央处理装置11包括输入数据生成部110、第一预测数据生成部131、第二预测数据生成部132。另外，在存储装置13中存储有以预测介入位置的方式进行学习的第一已学习AI算法、用于预测介入后的脏器等的移动/变形的第二已学习AI算法。当在中央处理装置11中制作第二已学习AI算法的情况下，中央处理装置11与图3的中央处理装置同样地具备机器学习部120。
第一已学习AI算法与实施方式1的已学习AI算法相同，将介入前的图像等作为输入数据，输出介入位置的预测数据。
第二已学习AI算法对因介入而引起的变形的脏器等对象物的变形规则进行学习而成。例如，将如图13所示的包含介入前的脏器的图像以及第一已学习AI算法的预测数据(介入位置信息)作为输入数据，输出包含介入后移动/变形的脏器的图像。其中，输入数据并不限于医用图像，还可以是从医用图像提取了特征区域的分割图像或特征点。作为训练数据(输出数据)，例如，能够将介入前后的对象物的移动或变形作为对应起来的位移场矩阵。位移场矩阵例如如图15所示，是规定了对图像的每个像素加上像素值(x、y)而得的值(Δx、Δy)的地图，在将输出数据设为位移场矩阵的情况下，直接学习变形规则其本身，能够期待精度的提高。其中，输出数据并不限定于此，可以是介入后的医用图像、分割图像、特征点等。
另外，学习中使用的AI算法与第一已学习AI算法同样地，优选使用卷积神经网络等深层学习的AI算法。图16示出了第二AI算法中使用的U-net的例子。U-net的构造与图7示出的构造相同，但在该例中，输入数据是表示介入前的脑实质的三维MRI图像(T1图像以及T2图像)和介入部位的三维图像(介入部位图像)，训练数据是图15中示出的表示术前的MRI图像的各点在术中的MRI图像中移动到何处的位移场矩阵(位移场地图)。另外，作为输入数据的介入部位图像，能够使用第一已学习AI算法的输出(预测数据)即介入图像，例如，能够使用将介入部位设为1，将其以外设为0的二值图像。其中，表示介入部位的图像无需是二值图像，例如，可以是将介入部位的概率最高的部分设为1、最低的部分设为0，其间的概率取0～1之间的值的图像。
另外，人工智能算法无需是U-net，例如，还可以是Seg-net或DenseNet等其他的算法。
接着，按照图17的流程图来说明本实施方式的手术导航处理(主要是中央处理装置的处理)。另外，在图17中，与图11相同的内容的步骤通过相同的符号表示，并省略重复的说明。
首先，读入医用图像，分别计算其位置信息和被检体位置信息，计算对准信息(S820(S811～S814))。接着，根据读入的医用图像生成输入数据，在第一预测数据生成部131中，使用第一已学习AI算法来计算图像上的介入部位和姿势(S815)。在之后的步骤S821中，第二预测数据生成部132将在步骤S815中预测出的介入部位的信息和在步骤S815中生成的输入数据输入到第二已学习AI算法，获取表示介入后的脑实质的移动/变形的位移场矩阵(图15)作为预测数据。并且，如图13的(B)所示，通过将该位移场矩阵应用于介入前的图像，能够得到介入后的图像。
作为位移场矩阵的应用方法，分别在MRI图像的各像素的X坐标和Y坐标上加上ΔX和ΔY(与位移场矩阵中的同像素对应的点的X值和Y值)，由此得到移动目的地的X’坐标和Y’坐标。将X’坐标和Y’坐标中像素的像素值设为移动前的像素的像素值的图像为脑位移后的预测图像。使用了此种位移场矩阵的介入后图像的生成可以通过第二预测数据生成部132来进行，还可以在中央处理装置11中另行设置运算部(未图示)，通过该运算部来进行。
另一方面，在步骤S816中，对准部140计算与由位置计测装置30计测出的被检体的位置信息对应的被检体在医用图像上的位置(S816)，进行被检体的位置和医用图像上的位置的对位，并且计测位置计测装置30所计测出的手术工具(标记)的位置，将其进行坐标变换，计算医用图像坐标系中的标记的坐标。
之后，显示控制部150使显示器20显示在医用图像的上重叠了虚拟手术工具的图像。在此，介入前使用介入前的图像作为医用图像，在介入前图像上重叠显示介入部位图像和手术工具图标(S822、S823)，介入后作为医用图像，显示通过步骤S821预测出的介入后图像，并与其重叠地显示手术工具位置(S822、S824)。
如此，根据本实施方式，除了介入位置的信息外，还预测脑位移(介入后图像)，针对脑位移后的图像提示手术工具等的位置信息，因而能够大幅提高手术导航的精度。
符号说明：
10-手术辅助装置；11-中央处理装置；20-显示器(显示装置)；30-位置计测装置；40-网络；50-医用图像数据库；60-被检体；100-手术导航系统；110-输入数据生成部；120-机器学习部；130-预测数据生成部；131-第一预测数据生成部；132-第二预测数据生成部；140-对准部；150-显示控制部；301-红外线照相机；302-床；303-手术工具；304、305-标记。

Claims (15)

1.一种手术辅助装置，其通过图像显示来辅助向活体内的对象物的介入和处置，其特征在于，
所述手术辅助装置具备：预测数据生成部，其使用已学习人工智能算法，来预测向处置的对象即活体的介入位置，并输出预测数据，其中，该已学习人工智能算法是使用包含介入前的所述对象物的图像数据或者对该图像数据进行处理而得的数据和与活体的表面的介入位置有关的信息来进行学习而得的。
2.根据权利要求1所述的手术辅助装置，其特征在于，
与所述介入位置有关的信息包括图像空间中的所述介入位置的一个点的坐标、包含所述一个点的坐标的预定的区域以及由所述一个点的坐标确定的预定的形状中的任一个。
3.根据权利要求1所述的手术辅助装置，其特征在于，
所述预测数据包括进行所述介入时的所述活体的推荐体位。
4.根据权利要求1所述的手术辅助装置，其特征在于，
所述手术辅助装置还具备：输入数据生成部，其使用针对所述处置的对象即活体事先获取的事先图像，来生成输入到所述已学习人工智能算法的输入数据。
5.根据权利要求4所述的手术辅助装置，其特征在于，
所述输入数据生成部生成的输入数据是与所述已学习人工智能算法的学习中所使用的数据同类的数据。
6.根据权利要求4所述的手术辅助装置，其特征在于，
所述输入数据生成部生成将所述事先图像分割成多个区域的图像而得的片段图像作为所述输入数据。
7.根据权利要求4所述的手术辅助装置，其特征在于，
所述输入数据生成部使用多个图像作为所述事先图像。
8.根据权利要求7所述的手术辅助装置，其特征在于，
所述多个图像是组织的对比度或者拍摄到的模态不同的图像。
9.根据权利要求1所述的手术辅助装置，其特征在于，
所述手术辅助装置还具备：显示控制部，其使显示装置一并显示由所述预测数据生成部生成的与所述介入位置有关的信息和针对所述处置的对象即活体事先获取的事先图像。
10.根据权利要求9所述的手术辅助装置，其特征在于，
所述显示控制部使显示装置显示连接所述对象物的重心位置与所述介入位置而得的线相对于所述事先图像的坐标轴的斜率。
11.根据权利要求10所述的手术辅助装置，其特征在于，
所述显示控制部将所述斜率作为直线而重叠显示于所述事先图像上。
12.根据权利要求10所述的手术辅助装置，其特征在于，
所述显示控制部一并显示将所述事先图像仅旋转相当于所述斜率的角度而得的图像和所述事先图像，作为所述斜率的显示。
13.根据权利要求1所述的手术辅助装置，其特征在于，
所述手术辅助装置还具备：第二预测数据生成部，其使用第二已学习人工智能算法，针对处置的对象即活体预测介入后的图像，其中，该第二已学习人工智能算法是使用介入前的图像以及介入位置和介入后的图像来进行学习而得的，
所述第二预测数据生成部将针对所述处置的对象即活体事先获取的事先图像以及由所述预测数据生成部生成的预测数据输入到所述第二已学习人工智能算法，来预测介入后的所述对象物的位置变化。
14.根据权利要求1所述的手术辅助装置，其特征在于，
所述对象物是脑，所述预测数据生成部生成的预测数据是表示开颅位置的区域、该区域的轮廓、示意性表示所述区域的图形、包含介入位置的中心位置和半径的坐标中的任一个。
15.一种手术导航系统，其特征在于，具备：
权利要求1至14中任意一项所述的手术辅助装置；
显示装置，其显示医用图像；以及
位置计测装置，其计测处置的对象即活体的位置和手术工具的位置，
所述手术辅助装置使所述显示装置显示由所述预测数据生成部输出的与介入位置有关的信息和由所述位置计测装置计测出的手术工具的位置。
CN202010426995.3A 2019-09-25 2020-05-19 手术辅助装置以及手术导航系统 Pending CN112545647A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019174600A JP2021049198A (ja) 2019-09-25 2019-09-25 手術支援装置及び手術ナビゲーションシステム
JP2019-174600 2019-09-25

Publications (1)

Publication Number Publication Date
CN112545647A true CN112545647A (zh) 2021-03-26

Family

ID=74881482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010426995.3A Pending CN112545647A (zh) 2019-09-25 2020-05-19 手术辅助装置以及手术导航系统

Country Status (3)

Country Link
US (1) US11464583B2 (zh)
JP (1) JP2021049198A (zh)
CN (1) CN112545647A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113262130A (zh) * 2021-04-27 2021-08-17 浙江大学医学院附属邵逸夫医院 一种适用于手术体位的检测系统及检测设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022047374A (ja) * 2020-09-11 2022-03-24 富士フイルムヘルスケア株式会社 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法
US20220354586A1 (en) * 2021-04-21 2022-11-10 The Cleveland Clinic Foundation Robotic surgery

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190206564A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157199A (ja) * 1999-11-26 2001-06-08 Canon Inc 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
JP6162517B2 (ja) * 2013-07-18 2017-07-12 東芝メディカルシステムズ株式会社 体位決定支援装置及び医用画像診断装置
US10390737B2 (en) * 2013-09-30 2019-08-27 Stryker Corporation System and method of controlling a robotic system for manipulating anatomy of a patient during a surgical procedure
US11547499B2 (en) * 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
US10136818B2 (en) * 2014-04-28 2018-11-27 Tel Hashomer Medical Research, Infrastructure And Services Ltd. High resolution intraoperative MRI images
EP3337419B1 (en) * 2015-08-19 2020-08-12 Brainlab AG Reference array holder
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US11842030B2 (en) * 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
WO2019219387A1 (en) * 2018-05-16 2019-11-21 Koninklijke Philips N.V. Automated tumor identification during surgery using machine-learning
JP7466928B2 (ja) * 2018-09-12 2024-04-15 オルソグリッド システムズ ホールディング，エルエルシー 人工知能の術中外科的ガイダンスシステムと使用方法
TW202105406A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於推薦手術程序之參數的系統及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190206564A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113262130A (zh) * 2021-04-27 2021-08-17 浙江大学医学院附属邵逸夫医院 一种适用于手术体位的检测系统及检测设备

Also Published As

Publication number Publication date
JP2021049198A (ja) 2021-04-01
US11464583B2 (en) 2022-10-11
US20210085401A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN106659373B (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
US7809176B2 (en) Device and method for automated planning of an access path for a percutaneous, minimally invasive intervention
JP4738270B2 (ja) 手術支援装置
CN112545647A (zh) 手术辅助装置以及手术导航系统
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
US20160228075A1 (en) Image processing device, method and recording medium
US20190336225A1 (en) System and methods for updating patient registration during surface trace acquisition
EP3025303A1 (en) Multi-modal segmentation of image data
US20200069374A1 (en) Surgical support device and surgical navigation system
CN113171174A (zh) 荧光镜图像中的取向检测
WO2016116136A1 (en) Atlas-based determination of tumour growth direction
US10980603B2 (en) Updating a volumetric map
CN114022548A (zh) 一种内窥镜碰撞检测方法、装置、设备及存储介质
EP3529808B1 (en) Planning an external ventricle drainage placement
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
EP4091567A1 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
Kramers et al. A mobile augmented reality application for image guidance of neurosurgical interventions
JP5491237B2 (ja) 医用画像表示装置及び医用画像表示方法
US9754368B2 (en) Region extraction apparatus, method, and program
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
US20220183759A1 (en) Determining a surgical port for a trocar or laparoscope
JP2022122663A (ja) 手術ナビゲーションシステム、情報処理装置、および、情報処理方法
CN111292248B (zh) 超声融合成像方法及超声融合导航系统
WO2017101990A1 (en) Determination of registration accuracy
KR20210086871A (ko) 의료 영상을 이용하는 중재시술 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220111

Address after: Chiba County, Japan

Applicant after: Fujifilm medical health Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Hitachi, Ltd.

TA01 Transfer of patent application right