CN117881355A - 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法 - Google Patents

整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法 Download PDF

Info

Publication number
CN117881355A
CN117881355A CN202280052613.2A CN202280052613A CN117881355A CN 117881355 A CN117881355 A CN 117881355A CN 202280052613 A CN202280052613 A CN 202280052613A CN 117881355 A CN117881355 A CN 117881355A
Authority
CN
China
Prior art keywords
surgical
image
information
virtual
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280052613.2A
Other languages
English (en)
Inventor
崔民国
洪承范
成洛晙
韩礼珍
金成宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hutong Co ltd
Original Assignee
Hutong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hutong Co ltd filed Critical Hutong Co ltd
Publication of CN117881355A publication Critical patent/CN117881355A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

本发明提供一种整合由装置执行的实际手术图像与基于3D的虚拟手术模拟环境的方法，包括如下步骤：设定在执行与所述实际手术图像相同的手术的已存储的手术图像内的按各手术步骤的手术时的兴趣点信息(POI：Point of Interest)信息；将所述兴趣点信息匹配到患者的虚拟气腹模型，所述患者的虚拟气腹模型基于所述3D的虚拟手术模拟环境中，并且所述患者的虚拟气腹模型显示在用户界面上(UI：User Interface)；识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的兴趣点信息的位置；以及通过所述UI，将插入到所述虚拟气腹模型的相机(内窥镜(Endoscope))的位置移动到与所判断的POI信息的位置相同的位置，以获取并显示所拍摄的图像信息。

Description

整合基于兴趣点定义及步骤识别的实际手术图像与基于3D的 虚拟模拟手术图像的装置及方法
技术领域
本发明将实际手术图像与基于3D的虚拟手术模拟图像进行整合。更具体而言，本发明涉及一种整合基于兴趣点(POI：Point of Interest)定义及步骤(Phase)识别的实际手术图像与基于3D的虚拟模拟手术图像的装置及方法。
背景技术
近年来，在医院进行手术时可以不立即进行手术，而是在手术前创建与患者的手术条件相同的3D虚拟模拟手术环境后，在与实际手术条件相同的情况下实施虚拟模拟手术。
对于这种虚拟模拟手术，可以事先建立精密的诊断。因此，可以不依赖于专业医生的感觉，而是通过虚拟模拟手术来制定计划，甚至可以减少很小的误差。
然而，虽然在进行这种虚拟模拟手术时可以易于掌握无法通过人的视野掌握的部分，但实际上在实际手术时，与虚拟模拟手术不同的是，必然会存在通过人的视野无法掌握的部分。
尤其，在实际手术时，对于没有进行过很多相关手术的专业医生来说，由于对位于脏器后的血管或手术时不能触碰的身体内部部分缺乏临床经验，因此，若不能充分了解到这些信息，就会在手术时存在危急状况发生的情况。
因此，有必要将实际手术时肉眼看不到的患者的身体内部信息如同虚拟模拟手术中所提供的那样，实时提供给执行手术的专业医生。
发明内容
技术问题
为了解决如上所述的问题，本发明的目的在于，识别手术图像内的手术步骤，从基于3D的虚拟手术模拟图像中获取按所述各手术步骤的兴趣点(POI：Point Of Interest)信息的位置，并将其与手术图像一同提供。
此外，本发明的目的在于，基于已预测患者的实际气腹状态的所述虚拟气腹模型来提供基于3D的虚拟手术模拟环境，并通过将基于所述3D的虚拟手术模拟环境与实际手术图像进行整合，从而使基于所述3D的虚拟手术模拟环境能够在实际手术中起到良好的演练作用。
本发明所要解决的技术问题并不限于以上提及的技术问题，普通技术人员将能够从以下的记载明确理解未提及的其他技术问题。
技术方案
用于解决上述技术问题的根据本发明的一种整合由装置执行的实际手术图像与基于3D的虚拟手术模拟环境的方法，包括如下步骤：设定在执行与所述实际手术图像相同的手术的已存储的手术图像内的按各手术步骤的手术时的兴趣点信息(POI：Point ofInterest)信息；将所述兴趣点信息匹配到患者的虚拟气腹模型，所述患者的虚拟气腹模型基于所述3D的虚拟手术模拟环境中，并且所述患者的虚拟气腹模型显示在用户界面上(UI：User Interface)；识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的兴趣点信息的位置；以及通过所述UI，将插入到所述虚拟气腹模型的相机(内窥镜(Endoscope))的位置移动到与所判断的POI信息的位置相同的位置，以获取并显示所拍摄的图像信息。
其中，所述POI信息设定步骤可以包括如下步骤：所述兴趣点信息设定步骤包括如下步骤：基于手术对象将所述手术图像分割为一个以上的基本步骤，以将所述手术图像分割为所述手术步骤；将对应于所述手术对象的手术目的的目标组织(User Interface)或目标对象(Target Object)的手术操作分割为一个以上的子部分(SUB SECTION)；以及将包含在所述每一个子部分内的一个以上的单位图像按手术工具的各种操作分割为分割部分。
此外，所述POI信息设定步骤可以基于所述被分割的子部分来设定所述POI信息。
此外，所述POI信息位置判断步骤可以包括如下步骤：所述兴趣点信息位置判断步骤包括如下步骤：基于深度学习模型识别与所述实际手术图像的实时手术步骤对应的基本步骤；在包括在所述基本步骤的多个子部分中识别对应于所述实时手术步骤的第一子部分；对于所述第一子部分的多个分割部分中的对应于所述实时手术步骤的一个分割部分，判断为需要所述图像信息的时间点；判断按所述各第一子部分的所述兴趣点信息的位置或按作为所述第一子部分的下一个步骤的各第二子部分的所述兴趣点信息的位置；以及将针对所识别的兴趣点信息的位置的信息匹配到所述虚拟气腹模型上。
其中，所述图像信息获取步骤可以包括如下步骤：在所述用户界面上，基于所判断的兴趣点信息的位置，移动插入到所述虚拟气腹模型中的所述相机的位置；从所述相机获取针对该位置的图像信息；以及在所述时间点将所获取到的图像信息显示在所述用户界面上。
此外，所述POI信息匹配步骤可以包括如下步骤：获取针对所述患者的所述虚拟气腹模型；在所述UI(User Interface)上显示所述虚拟气腹模型；在所述虚拟气腹模型的预设位置插入相机(内窥镜(Endoscope))；以及将所述POI信息依次匹配到在插入有所述相机的状态的所述虚拟气腹模型中。
此外，所述POI信息位置判断步骤可以包括如下步骤：基于深度学习模型识别所述实际手术图像的实时手术步骤；判断按所识别的各手术步骤的所述POI信息的位置或按所识别的手术步骤的各下一个手术步骤的所述POI信息的位置；以及将针对所判断的POI信息的位置的信息匹配到所述虚拟气腹模型上。所述图像信息获取步骤可以包括如下步骤：所述用户界面上，基于所判断的兴趣点信息的位置，移动插入到所述虚拟气腹模型中的所述相机的位置；从所述相机获取针对该位置的图像信息；以及将所获取的图像信息实时显示在所述用户界面上。
并且，在所述用户界面上显示的步骤中，在所述虚拟气腹模型的相应位置可以显示所述图像信息的同时，进一步可以显示表示所述图像信息的说明的指示符。
在所述用户界面上显示的步骤中，对于所述实际手术图像中肉眼看不到的部分，可以在所述用户界面上对所述图像信息进行实时渲染(Rendering)而显示。
此外，所述虚拟气腹模型可以包括在所述患者的气腹状态下的实际脏器、血管、脂肪、肌肉中的至少一个。
此外，用于解决上述技术问题的根据本发明的一种整合实际手术图像与基于3D的虚拟手术模拟环境的装置，包括：获取部，获取所述实际手术图像和执行与所述实际手术图像相同的手术的已存储的手术图像；显示部，显示所述实际手术图像和所述虚拟气腹模型；以及处理器，在所述已存储的手术图像中设定按各手术步骤的手术时的兴趣点信息，将所述兴趣点信息匹配到患者的虚拟气腹模型，所述患者的虚拟气腹模型基于所述3D的虚拟手术模拟环境中，并且所述患者的虚拟气腹模型显示在用户界面上识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的兴趣点信息的位置，通过所述用户界面，将插入到所述虚拟气腹模型中的相机(内窥镜(Endoscope))的位置移动到与所判断的兴趣点信息的位置相同的位置，以获取并显示所拍摄的图像信息。
此外，还可以提供用于实现本发明的其他方法、其他装置、其他系统以及记录用于执行所述方法的计算机程序的计算机可读记录介质。
技术效果
根据如上所述的本发明，本发明具有如下效果：识别手术图像内的手术步骤，从基于3D的虚拟手术模拟图像中获取按所述各手术步骤的POI信息的位置并将其与手术图像一同提供，即使是对该手术缺乏经验的专业医生来说，也可以通过实时接收优质的手术指导来明显减少手术成功率和手术时发生的危险。
此外，本发明具有如下效果：基于已预测患者的实际气腹状态的所述虚拟气腹模型来提供基于3D的虚拟手术模拟环境，并通过整合基于所述3D的虚拟手术模拟环境和实际手术图像，从而可以为执行手术的专家提供优质的指导。
本发明的效果不局限于以上提及的效果，本领域技术人员可通过下文中的记载明确理解未提及的其他效果。
附图说明
图1是示意性地示出根据本发明的用于整合实际手术图像与基于3D的虚拟手术模拟环境的装置10的图。
图2是说明根据本发明的用于整合实际手术图像与基于3D的虚拟手术模拟环境的过程的图。
图3是示出根据本发明的虚拟气腹模型中的血管整合的示例图。
图4是示出根据本发明的基于3D的虚拟手术模拟环境的UI的示例图。
图5是说明根据本发明的在实际手术图像中将插入于所述虚拟气腹模型的相机的位置移动到手术步骤的POI信息的位置的图。
图6是用于说明根据本发明的通过插入于虚拟气腹模型的相机来拍摄的图像与实际手术图像一同实时显示在UI上的示例图。
图7是用于说明根据本发明的通过插入于虚拟气腹模型的相机来拍摄的图像叠加在实际手术图像中而显示在UI上的示例图。
图8是示出根据本发明的整合实际手术图像与基于3D的虚拟手术模拟环境的过程的流程图。
图9是用于说明根据本发明的处理器判断POI信息位置的过程的示例图。
具体实施方式
参考结合附图而详细后述的实施例即可明确地理解本发明的优点、特征及用于实现这些的方法。然而，本发明并不局限于以下公开的实施例，其可以由互不相同的多样的形态实现，提供本实施例仅仅旨在使本发明的公开完整并用于将本发明的范围完整地告知本发明所属的技术领域中普通技术人员，本发明仅由权利要求的范围定义。
本说明书中使用的术语以说明实施例为目的，并不旨在限制本发明。除非在文中特别提及，在本说明书中单数形式包括复数形式。在说明书中使用的“包含(comprises)”和/或“包含的(comprising)”不排除被提及的构成要素以外的一个以上的其他构成要素的存在或者附加。贯穿整个说明书，相同附图标记指代同一构成要素，“和/或”包括提及的构成要素中的每一个以及一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素，但这些构成要素显然并不被这些术语所限制。这些术语仅用于将一个构成要素与其他构成要素进行区分。因此，以下提及的第一构成要素在本发明的技术思想内显然可以是第二构成要素。
除非另有定义，否则本说明书中使用的所有术语(包括技术及科学术语)可以以本发明所属的技术领域中具备基本知识的人员所能够共同理解的含义而被使用。并且，对于定义于通常使用的词典的术语而言，除非另有明确而特别的定义，否则不应被理想化或者过度化地解释。
以下，参照附图详细说明本发明的实施例。
图1是示意性地示出根据本发明的用于整合实际手术图像与基于3D的虚拟手术模拟环境的装置10的图。
图2是说明根据本发明的用于整合实际手术图像与基于3D的虚拟手术模拟环境的过程的图。
图3是示出根据本发明的虚拟气腹模型中的血管整合的示例图。
图4是示出根据本发明的基于3D的虚拟手术模拟环境的UI的示例图。
图5是说明根据本发明的在实际手术图像中将插入于所述虚拟气腹模型的相机的位置移动到手术步骤的POI信息的位置的图。
图6是用于说明根据本发明的通过插入于虚拟气腹模型的相机来拍摄的图像与实际手术图像一同实时显示在UI上的示例图。
图7是用于说明根据本发明的通过插入于虚拟气腹模型的相机来拍摄的图像叠加在实际手术图像中而显示在UI上的示例图。
以下，参照图1至图7，对根据本发明的用于整合实际手术图像和虚拟手术模拟图像的装置10进行说明。
医护人员希望在实际手术之前预先进行虚拟模拟(仿真)手术，以确保对实际手术中可能发生的多种变量做好应对预案，作为一种应对措施，可以在与实际手术相同的虚拟手术环境内提供基于虚拟3D的虚拟手术模拟。
通过这种基于虚拟3D的虚拟手术模拟，即使是通过人的视野无法掌握的部分也可以被容易地掌握。
但在实际手术时，依然会存在通过人的视野无法掌握的部分。
尤其，在实际手术时，对于没有进行过很多相关手术的专业医生来说，由于对位于脏器后面的血管或手术时不能碰触的部分缺乏临床经验，因此若不能充分了解到这些信息，就会在手术时存在危急状况发生的情况。
因此，装置10可以将实际手术时肉眼看不到的患者的身体内部信息像在基于虚拟3D的虚拟手术模拟中提供的一样，实时提供给执行手术的专业医生。
这种装置10具有如下效果：识别手术图像内的手术步骤，从基于3D的虚拟手术模拟图像中获取按所述各手术步骤的POI信息的位置，并将其与手术图像一同提供，即使是对该手术缺乏经验的专业医生来说，也可以通过实时接收优质的手术指导来明显减少手术成功率和手术时发生的危险。
此外，装置10还具有如下效果：基于已预测患者的实际气腹状态的所述虚拟气腹模型来提供基于3D的虚拟手术模拟环境，通过整合基于所述3D的虚拟手术模拟环境和实际手术图像，从而可以为执行手术的专家提供优质的指导。
其中，装置10可以包括所有能够执行运算处理并向用户提供结果的多种装置。
即，装置10可以是计算机的形态。更具体而言，所述计算机可以包括所有能够执行运算处理并向用户提供结果的多种装置。
例如，计算机不仅可以是台式计算机、笔记本计算机(Note Book)，还可以是智能电话(Smart phone)、平板计算机、移动电话(Cellular phone)、个人通信服务电话(PCSphone：Personal Communication Service phone)、同步/异步国际移动电话系统-2000(IMT-2000：International Mobile Telecommunication-2000)的移动终端、掌上计算机(Palm Personal Computer)、个人数字助理(PDA：Personal Digital Assistant)等。此外，在头戴式显示器(HMD：Head Mounted Display)装置包括计算功能的情况下，HMD装置可以作为计算机。
此外，计算机可以是从客户端接收请求并执行信息处理的服务器。
并且，参照图1和图2，装置10可以包括获取部110、存储器120、显示部130及处理器140。其中，装置10可以包括比图1中所示的构成要素更少或更多的构成要素。
获取部110可以包括能够进行装置10与外部装置(未示出)之间、装置10与外部服务器(未示出)之间或装置10与通信网络(未示出)之间的无线通信的一个以上的模块。
其中，获取部110可以包括将装置10连接到一个以上的网络的一个以上的模块。
这种获取部110可以从所述外部服务器(未图示)或存储器120获取用于基于3D的虚拟手术模拟的所述虚拟气腹模型。
其中，外部装置(未示出)可以是拍摄医学图像数据(以下，腹部3D图像数据)的医学图像拍摄装置。其中，医疗图像数据可以包括能够以三维模型呈现所述患者的身体的所有医疗图像。
此外，医学图像数据可以包括计算机断层扫描(CT：Computed Tomography)图像、磁共振成像(MRI：Magnetic Resonance Imaging)图像、正电子发射断层扫描(PET：Positron Emission Tomography)图像中的至少一个。
此外，外部服务器(未示出)可以是存储针对多个患者的按各患者的虚拟气腹模型、按各患者的医疗数据、按各患者的手术图像等的服务器。其中，按各患者的医疗数据可以包括关于所述患者的年龄、性别、身高、体重、体质指数(Body Mass Index)及生育与否中至少一个的数据。
此外，通信网络(未示出)可以收发装置10、外部装置(未示出)及外部服务器(未示出)之间的多种信息。通信网络可以利用多种形态的通信网络，例如，可以利用无线局域网(WLAN：Wireless LAN)、移动热点(Wi-Fi)、无线宽带接入(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA：High Speed Downlink Packet Access)等无线通信方式或以太网(Ethernet)、数字用户线路(xDSL(非对称数字用户线路(ADSL)、超高速数字用户线路(VDSL)))、混合光纤同轴电缆(HFC：Hybrid Fiber Coax)、光纤到路边(FTTC：Fiber to The Curb)、光纤到户(FTTH：FiberToTheHome)等有线通信方式。
另外，通信网络不限于以上提出的通信方式，并且除了上述通信方式之外，还可以包括其他公知的或在未来将要开发的所有形态的通信方式。
存储器120可以存储支持装置10的多种功能的数据。存储器120可以存储由装置10驱动的多个应用程序(application program或应用(application))、用于装置10的操作的数据和指令。这些应用程序中的至少一部分可以为了装置10的基本功能而存在。另外，应用程序可以存储于存储器120并设置在装置10上，并借由处理器140驱动以执行所述装置10的操作(或功能)。
此外，存储器120可以具备用于整合本发明中实际手术图像和基于3D的虚拟手术模拟环境的多个程序。其中，在说明处理器140的操作时将对所述多个程序进行后述。
这种存储器120可以存储多个患者的虚拟气腹模型、手术图像等。其中，虚拟气腹模型可以通过所述处理器140生成并存储，或者可以从所述外部服务器(未图示)获取并存储。
此外，虚拟气腹模型可以包括所述患者的气腹状态下的实际脏器、血管、脂肪、肌肉中的至少一个。
显示部130可以通过与触摸传感器形成为互层结构或一体型，从而实现触摸屏。这种触摸屏可以提供装置20与用户之间的输入接口。
这种显示部130可以显示所述实际手术图像和所述虚拟气腹模型。
除了与所述应用程序相关的操作之外，处理器140通常还可以控制装置10的整体操作。处理器140通过处理由上述构成要素输入或输出的信号、数据、信息等或驱动存储在存储器120的应用程序，从而可以向用户提供或处理适当的信息或功能。
此外，处理器140可以控制参照图1所述的构成要素中的至少一部分，以驱动存储在存储器120的应用程序。进而，处理器140可以使包括在装置10的构成要素中的至少两个以上彼此组合并操作，以驱动所述应用程序。
处理器140可以从专家那里接收执行与所述实际手术图像相同的手术的已存储的手术图像内的按各手术步骤的手术时的兴趣点(POI：Point of Interest)信息而进行设定。
其中，POI信息可以包括针对手术时需要重点确认的血管、脏器、皮肤中至少一个的信息，并可以根据专家的输入进行设定。
更详细而言，所述POI信息可以包括在实时手术图像及虚拟气腹模型中的至少一个中表示POI的指示符的种类(作为一例，箭头、星号、圆形等)、在实时手术图像及虚拟气腹模型中的至少一个中显示POI信息的位置(坐标)、关于POI信息的详细信息(在专家设定的相应手术步骤中，以文本图像显示手术时注意事项、与手术相关的注意事项、通知等)中的至少一个。
尤其，对于所述血管的POI信息可以包括血管的分支点、动脉的分支点和静脉的分支点中的至少一个。
即，所述专家可以基于根据手术种类的已存储的手术图像来定义手术步骤，并可以指定作为按所述各手术步骤的关注点的POI信息。
其中，处理器140可以基于多个程序中的第一程序，从所述专家接收所述已存储的手术图像内的按各手术步骤的手术时的POI信息而进行设定。
更详细而言，处理器140可以根据所述专家的输入，基于手术对象对所述手术步骤分割为一个以上的基本步骤，以将所述手术图像分割为所述手术步骤。其中，手术对象可以是被执行手术操作的脏器或病变。
具体而言，处理器140可以根据所述专家的输入，并根据针对所述手术对象的所述手术操作的目的，按照脏器单位来分割所述手术图像，并可以根据针对所述手术对象的所述手术操作的目的，按照手术类型来分割所述手术图像。
此外，处理器140可以根据所述专家的输入，并根据针对所述手术对象的所述手术操作的目的，分割所述手术图像中包含的方向性。
并且，处理器140可以根据所述专家的输入，将包含在所述基本步骤内的多个单位图像分割为主部分(MAIN SECTION)。
其中，处理器140可以根据所述专家的输入，并根据针对所述手术对象的手术如何进行的具体标准、定义或目标来确定手术工具的位置，由此可以将包含在所述基本步骤中的所述多个单位图像分割为所述主部分。
并且，处理器140可以根据所述专家的输入，对于所述主部分，将与针对所述手术对象的手术目的对应的手术操作分割为一个以上的子部分(SUB SECTION)。
其中，处理器140可以根据所述专家的输入，基于所述分割的子部分来设定所述POI信息。
更详细而言，处理器140可以基于由手术工具执行操作的目标组织(TargetAnatomy)或目标对象(Target Object)而分割为具有一个以上的层级的子部分(SUBSECTION)。
即，处理器140可以根据对特定的目标组织(Target Anatomy)或特定的目标对象(Target Object)执行的所述手术操作的目的而分割为组织转化(Tissuetransformation)或基本操作(Basic action)。
并且，处理器140可以将包含在所述每一个子部分(SUB SECTION)中的所述单位图像判断为所述特定的单位操作，并分割为关键动作(KEY MOVEMENT)。
其中，目标组织(Target Anatomy)是在手术中被操作的解剖学部分，目标对象(Target Object)可以包括手术所需的在手术现场使用的材料，例如，金属夹、止血夹、缝合线、针、纱布及引流口中的至少一种。
然后，处理器140可以根据所述专家的输入，将包含在所述每一个子部分内的一个以上的单位图像按手术工具的操作分割为分割部分。
更详细而言，处理器140可以根据所述专家的输入，将包含在所述每一个子部分(SUB SECTION)内的一个以上的单位图像判断为特定的单位操作并分割为关键动作(KEYMOVEMENT)，并将单一手术器械的单一操作判断为单位操作并分割为所述分割部分。
具体而言，处理器140可以基于所述专家的输入并根据所述手术目的，在所述手术图像中根据所述手术工具的空间坐标移动而分割为第一单一操作。
并且，处理器140可以基于所述专家的输入并根据所述手术目的，在所述手术图像中根据所述手术工具的所述空间坐标内的关节的移动而分割为第二单一操作。
并且，处理器140可以基于所述专家的输入并根据所述手术目的，在所述手术图像中根据所述手术工具的移动而分割为第三单一操作。
其中，处理器140可以根据所述专家的输入并基于所述分割的分割部分设置按所述各手术步骤的手术时的POI信息。
如上所述，处理器140可以根据所述专家的输入细化所述手术图像的手术步骤，并在细化的所述手术步骤中设定按所述各子部分的手术时的POI信息。
处理器140可以将所述POI信息匹配到在基于所述3D的虚拟手术模拟环境中使用的患者的虚拟气腹模型中。这种所述虚拟气腹模型可以显示在用户界面(UI：UserInterface)上。
其中，处理器140可以基于多个程序中的第二程序，将所述POI信息匹配到所述患者的虚拟气腹模型中。
更详细而言，首先，处理器140可以通过存储器120或外部服务器(未图示)获取或者生成而获取针对所述患者的所述虚拟气腹模型。
这种所述虚拟气腹模型可以是所述处理器140基于所述患者的状态数据、多个标志数据及身体数据而生成的，以预测所述患者的实际气腹(pneumoperitoneum)状态。
其中，所述状态数据可以包括针对所述患者的年龄、性别、身高、体重、体质指数(Body Mass Index)及生育与否中的至少一个的数据。
此外，所述多个标志数据可以显示在所述患者的腹部3D图像数据中的。
此外，所述多个剖面图像数据是显示所述多个标志数据的位置的剖面，并且所述身体数据包括所述多个剖面图像数据内的针对所述患者的身体的高度和宽度的比率、皮肤周长、针对所述身体前方-后方的方向和距离、脂肪区域及肌肉区域中的至少一个。
其中，处理器140在生成所述虚拟气腹模型时，可以实现与所述患者的实际气腹状态下的所述血管的状态相同的血管。
具体而言，处理器140在生成所述虚拟气腹模型时，为了在所述CT图像上分割/复原动脉，可以使用EAP图像，并且为了在所述CT图像上分割/复原静脉，可以使用PP图像。
其中，当分别拍摄所述EAP图像和PP图像在时，患者的位置可能会不同，因此可能发生需要整合的情况。
因此，处理器140可以在所述静脉分割/复原时进一步分割/复原动脉的主要部分，并调整所述动脉的位置，以使所述静脉上的所述动脉的主要部分一致。
其中，参照图3，处理器140可以根据所述动脉的主要部分301，通过接收专家的操作而整合所述静脉和所述动脉，或者自动整合所述静脉和所述动脉。
其中，所述动脉的主要部分301可以成为POI信息，并且可以是所述动脉的分支点。
如此，所述虚拟气腹模型可以连血管的状态也实现为与在所述患者的实际气腹状态下的相同。由此，对于按各手术步骤的POI信息，处理器140可以将从插入到所述虚拟气腹模型中的相机获取的图像信息提供给专家，以预防手术时的事故。
并且，处理器140可以在所述UI(User Interface)上显示所述虚拟气腹模型。
其中，参照图4，UI 400可以包括主画面区域410和预览画面区域420。
具体而言，主画面区域410可以是显示在实际手术时通过插入患者身体内部的相机(内窥镜(Endoscope))实时拍摄的实际手术图像的区域。
此外，预览画面区域420可以包括以平面视图(view)显示所述虚拟气腹模型的第一区域421、显示通过由所述虚拟气腹模型的标准套管针插入的所述相机(内窥镜(Endoscope))拍摄的所述虚拟气腹模型的内部图像的第二区域422。
即，处理器140可以在UI 400上同时输出从上方观察所述气腹模型的表面的第一区域421和通过插入的相机(内窥镜(Endoscope))观察的第二区域422。
其中，第一区域421可以是从上方观察所述气腹模型的表面的画面。此外，第一区域421可以显示通过所述虚拟气腹模型的至少一个套管针插入的工具的信息。
第二区域422可以是显示通过由所述标准套管针插入的所述相机拍摄的所述虚拟气腹模型的内部图像的区域。
此外，第二区域422可以通过所述相机拍摄而实时显示插入到所述至少一个套管针的工具进入所述虚拟气腹模型内部的状态。
然后，处理器140可以在所述虚拟气腹模型的预设位置插入相机(内窥镜(Endoscope))。
具体而言，处理器140可以通过在从所述虚拟气腹模型的肚脐下端隔开预设间隔的位置处插入的套管针(Trocar)来插入所述相机。
然后，处理器140可以将所述POI信息依次匹配到在插入有所述相机的状态下的所述虚拟气腹模型中。
具体而言，基于通过所述相机而获取的图像信息，处理器140可以将按所述各手术步骤的所述POI信息依次匹配到在插入有所述相机的状态下的所述虚拟气腹模型中。处理器140可以识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的POI信息的位置。
其中，处理器140可以基于多个程序中的第三程序识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的POI信息的位置。
参照图5，首先，处理器140可以基于深度学习模型识别所述实际手术图像的实时手术步骤。
其中，深度学习模型可以包括卷积神经网络(CNN：Convolutional NeuralNetwork，以下称CNN)，但不一定限定于此，并可以由多种结构的神经网络形成。
作为一例，处理器140可以基于所述深度学习模型识别所述实际手术图像的实时手术步骤(第一步骤至第N步骤)中的当前时间点是第三步骤。
然后，若处理器140识别出与当前时间点对应的实时手术步骤，则对于已存储的手术图像，在所设定的按各手术步骤的POI信息中检索与所识别的实时手术步骤对应的POI信息或与所识别的实时手术步骤的下一个手术步骤对应的POI信息，并提取所检索到的POI信息，在所述虚拟气腹模型中，可以显示与所提取的POI信息对应的部分。其中，在执行与所述实际手术图像相同的手术的已存储的手术图像内包括多个手术步骤，并且在所述多个手术步骤中的每一个(或一部分)中可以设定POI信息而配置。
处理器140可以从所述实际手术图像中区分各个实时手术步骤。
即，处理器140可以从所述实际手术图像中识别当前或上一步的手术步骤。
随后，处理器140可以在所述已存储的手术图像内判别与所识别的手术步骤对应的手术步骤中是否设定有POI信息。
然后，处理器140可以将针对所判断的POI信息的位置的信息匹配到所述虚拟气腹模型上。
其中，处理器140可以在显示通过所述相机(Endoscope相机)观察的画面的第二区域422上，针对所判断的POI信息的位置的信息以将圆形模样的指示符匹配到所述POI信息的位置。
或者，处理器140可以基于深度学习模型识别与所述实际手术图像的实时手术步骤对应的基本步骤。
并且，处理器140可以识别在包含于所述基本步骤的多个子部分中与所述实时手术步骤对应的第一子部分。
之后，处理器140可以对于在所述第一子部分的多个分割部分中对应于所述实时手术步骤的一个分割部分，判断为需要所述图像信息的时间点。
并且，处理器140可以判断按所述各第一子部分的所述POI信息的位置或按作为所述第一子部分的下一个步骤的各第二子部分的所述POI信息的位置。
之后，处理器140可以将针对所识别的POI信息的位置的信息匹配到所述虚拟气腹模型上。
处理器140可以通过所述UI 400，将插入到所述虚拟气腹模型中的相机(内窥镜(Endoscope))的位置移动到与所判断的POI信息的位置相同的位置，以获取并显示所拍摄的图像信息。
其中，处理器140可以基于多个程序中的第四程序，在所述UI 400上获取并显示由移动到与所判断的POI信息的位置相同的位置的所述相机(内窥镜(Endoscope))所拍摄的图像信息。
更详细而言，首先，处理器140可以在所述UI 400上，基于所判断的POI信息的位置将插入到所述虚拟气腹模型中的所述相机的位置移动。
然后，处理器140可以从相机获取针对该位置的图像信息。
然后，处理器140可以将所获取的图像信息实时显示在UI 400上。
由此，处理器140可以通过插入到所述虚拟气腹模型中的所述相机来获取针对在实际手术图像中看不到的部分的图像。
其中，参照图6，处理器140可以在所述UI 400上，将从所述相机获取的所述图像信息显示在所述虚拟气腹模型的相应位置，其中可以进一步显示表示作为所述图像信息的说明的“血管”的指示符。
或者，如图7所示，处理器140可以在所述UI 400上，对在所述实际手术图像中肉眼看不到的部分进行实时渲染(Rendering)而显示所述图像信息。
其中，处理器140可以基于从插入到所述虚拟气腹模型中的所述相机获取的图像信息，在图6的主画面区域410上渲染(用虚线表示血管的位置和形状，用箭头指示对应的部分)并显示位于器官后面的血管。
图8是示出根据本发明的整合实际手术图像与基于3D的虚拟手术模拟环境的过程的流程图。其中，处理器140的操作可以在装置10中执行。
处理器140可以根据所述专家的输入，设定执行与所述实际手术图像相同的手术的已存储的手术图像内的按各手术步骤的手术时的兴趣点(POI：PointofInterest)信息(S801)。
具体而言，根据所述专家的输入将所述手术图像分割为所述手术步骤，处理器140可以基于手术对象将所述手术图像分割为一个以上的基本步骤。
并且，处理器140可以根据所述专家的输入，将包含在所述基本步骤中的多个单位图像分割为主部分(MAIN SECTION)。
其中，由于手术工具的位置根据基于所述专家的输入的针对所述手术对象如何进行手术的具体标准、定义或目标来确定，由此处理器140可以将包含在所述基本步骤中的所述多个单位图像分割为所述主部分。
并且，处理器140可以根据所述专家的输入，对所述主部分进行将与针对所述手术对象的手术目的对应的手术操作分割为一个以上的子部分(SUB SECTION)的操作。
并且，处理器140可以根据所述专家的输入，将包含在所述各个子部分内的一个以上的单位图像按照手术工具的操作分割成分割部分。
其中，处理器140可以根据所述专家的输入，基于所述分割的子部分来设定所述POI信息。
处理器140可以将所述POI信息匹配到在基于所述3D的虚拟手术模拟环境中使用的患者的虚拟气腹模型中(S802)。
具体而言，处理器140可以从所述存储器120或外部服务器(未图示)获取针对所述患者的所述虚拟气腹模型，并将所述虚拟气腹模型显示在所述UI(User Interface)上。
其中，所述虚拟气腹模型可以显示在UI(User Interface)上，并可以包括所述患者的气腹状态下的实际脏器、血管、脂肪、肌肉中的至少一个。
并且，处理器140可以在所述虚拟气腹模型的预设位置插入相机(内窥镜(Endoscope))，并将所述POI信息依次匹配到在插入有所述相机的状态下的所述虚拟气腹模型中。
处理器140可以识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的POI信息的位置(S803)。
具体而言，处理器140可以基于深度学习模型识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的所述POI信息的位置或按所识别的手术步骤的各下一个手术步骤的所述POI信息的位置。
之后，处理器140可以将针对所判断的POI信息的位置的信息匹配到所述虚拟气腹模型上。
处理器140可以通过所述UI，将插入到所述虚拟气腹模型中的相机(内窥镜(Endoscope))的位置移动到与所判断的POI信息的位置相同的位置，以获取并显示所拍摄的图像信息(S804)。
具体而言，处理器140可以在所述UI上基于所判断的POI信息的位置来移动插入到所述虚拟气腹模型中的所述相机的位置，并从所述相机获取针对相应位置的图像信息。
并且，处理器140可以在UI上实时显示所获取到的图像信息。
此时，处理器140在所述虚拟气腹模型的相应位置显示所述图像信息，其中还可以进一步显示表示所述图像信息的说明的指示符。
或者，处理器140可以在所述UI上，对于所述实际手术图像中肉眼看不到的部分进行实时渲染(Rendering)并显示所述图像信息。
图8中记载了依次执行步骤(S801)至步骤(S804)的情形，但这仅仅是对本实施例的技术思想的示例性说明，本实施例所属技术领域的普通技术人员在不脱离本实施例的本质特性的范围内，可以变更并执行图8中记载的顺序或并行执行步骤(S801)至步骤(S804)中的一个以上步骤，以通过多种修改及变形来应用，因此图8不限于时间序列顺序。
图9是用于说明根据本发明的处理器140判断POI信息位置的过程的示例图。
首先，处理器140可以识别与所述实际手术图像的实时手术步骤对应的基本步骤。
并且，处理器140可以在包含在所述基本步骤中的多个子部分中识别于作为所述实时手术步骤的第四步骤对应的第一子部分。
之后，处理器140可以在针对所述第一子部分的多个分割部分中，将与所述实时手术步骤对应的第三分割部分判断为需要通过虚拟气腹模型获取的图像信息的时间点。
其中，所述时间点可以是手术中所述POI信息所处的位置出现之前的时间点。
并且，处理器140可以判断所述各第一子部分的所述POI信息的位置或作为所述第一子部分的下一个步骤的各第二子部分的所述POI信息的位置。其中，所述POI信息可以是静脉的分支点。
之后，处理器140可以基于按所述各第一子部分的所判断的POI信息的位置，在UI上实时显示从插入到所述虚拟气腹模型中的所述相机获取的图像信息。
即，处理器140可以在作为需要所述图像信息的时间点的所述第三分割部分中，将基于按所述各第一子部分的所判断的POI信息的位置获取的所述图像信息实时显示在所述UI上。
因此，处理器140可以在实际手术时，将通过基于实时所需的POI信息的所述虚拟气腹模型而获取的所述图像信息提供给专家，从而能够通过实时所需的图像来提高手术的成功率。
或者，处理器140可以基于作为所述第一子部分的下一个步骤的各第二子部分的所述判断的POI信息的位置，在UI上实时显示从插入到所述虚拟气腹模型中的相机获取的图像信息。即，处理器140可以在作为需要所述图像信息的时间点的所述第三分割部分中，将基于所述各第二子部分的所述判断的POI信息的位置获取的所述图像信息实时显示在所述UI上。
因此，处理器140可以在实施手术时，预先将通过基于下一个步骤的手术过程中所需的POI信息的所述虚拟气腹模型而获取的所述图像信息提供给专家，从而可以通过实时所需的图像来提高手术的成功率。
根据以上所述的本发明的方法可以实现为与作为硬件的计算机结合而执行的程序(或者应用)而存储在介质中。其中，计算机可以是所述装置10。
所述程序可以包括所述计算机的处理器(CPU)通过所述计算机的装置接口而读取的C、C++、C#、JAVA，机器语言等的由计算机语言编码的代码(Code)，以便所述计算机读取程序并执行由程序实现的所述方法。这种代码可以包括与定义执行所述方法所需的功能的函数等相关的功能代码(Functional Code)，并可以包括与执行程序相关的控制代码，以使所述计算机的处理器按照预定的程序执行所述功能。此外，这些代码可以进一步包括有关所述计算机的处理器执行所述功能所需的附加信息或在所述计算机的内部或外部存储器的哪个位置(地址编号)应参照介质的存储器参照相关代码。此外，在所述计算机的处理器为了执行所述功能而需要与位于远程(Remote)的某一其他计算机或服务器等进行通信的情况下，代码可以利用所述计算机的通信模块，进一步包括关于如何与位于远程的某一其他计算机或服务器等进行通信、在通信时需要收发哪种信息或介质等的通信相关代码。
与本发明的实施例相关而说明的方法或者算法的步骤可以直接通过硬件来实现，或者通过硬件执行的软件模块来实现，或者通过它们的结合来实现。软件模块可以驻留在随机存取存储器(RAM：Random Access Memory)、只读存储器(ROM：Read Only Memory)、可擦除可编程只读存储器(EPROM：Erasable Programmable ROM)、电可擦除可编程只读存储器(EEPROM：Electrically Erasable Programmable ROM)、闪存(Flash Memory)、硬盘、可移动盘、只读光盘(CD-ROM)或者本发明所属技术领域中公知的任意形态的计算机可读记录介质中。
以上参照附图说明了本发明的实施例，但在本发明所属技术领域中具有普通知识的人员可以理解的是，可以在不改变本发明的技术思想或者必要特征的情况下以其他具体形态实施。因此，以上记载的实施例应当理解为在所有方面均为示例性的，而不是限定性的。

Claims (13)

1.一种整合由装置执行的实际手术图像与基于3D的虚拟手术模拟环境的方法，包括如下步骤：
设定在执行与所述实际手术图像相同的手术的已存储的手术图像内的按各手术步骤的手术时的兴趣点信息；
将所述兴趣点信息匹配到患者的虚拟气腹模型，所述患者的虚拟气腹模型基于所述3D的虚拟手术模拟环境中，并且所述患者的虚拟气腹模型显示在用户界面上；
识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的兴趣点信息的位置；以及
通过所述用户界面，将插入到所述虚拟气腹模型的相机(内窥镜(Endoscope))的位置移动到与所判断的兴趣点信息的位置相同的位置，以获取并显示所拍摄的图像信息。
2.如权利要求1所述的方法，其中，
所述兴趣点信息设定步骤包括如下步骤：
基于手术对象将所述手术图像分割为一个以上的基本步骤，以将所述手术图像分割为所述手术步骤；
将对应于所述手术对象的手术目的的目标组织或目标对象的手术操作分割为一个以上的子部分；以及
将包含在所述每一个子部分内的一个以上的单位图像按手术工具的各种操作分割为分割部分。
3.如权利要求2所述的方法，其中，
所述兴趣点信息设定步骤基于所述被分割的子部分来设定所述兴趣点信息。
4.如权利要求3所述的方法，其中，
所述兴趣点信息的位置判断步骤包括如下步骤：
基于深度学习模型识别与所述实际手术图像的实时手术步骤对应的基本步骤；
在包括在所述基本步骤的多个子部分中识别对应于所述实时手术步骤的第一子部分；
对于所述第一子部分的多个分割部分中的对应于所述实时手术步骤的一个分割部分，判断为需要所述图像信息的时间点；
判断按所述各第一子部分的所述兴趣点信息的位置或按作为所述第一子部分的下一个步骤的各第二子部分的所述兴趣点信息的位置；以及
将针对所识别的兴趣点信息的位置的信息匹配到所述虚拟气腹模型上。
5.如权利要求4所述的方法，其中，
所述图像信息获取步骤包括如下步骤：
在所述用户界面上，基于所判断的兴趣点信息的位置，移动插入到所述虚拟气腹模型中的所述相机的位置；
从所述相机获取针对该位置的图像信息；以及
在所述时间点将所获取到的图像信息显示在所述用户界面上。
6.如权利要求1所述的方法，其中，
所述兴趣点信息匹配步骤包括如下步骤：
获取针对所述患者的所述虚拟气腹模型；
在所述用户界面上显示所述虚拟气腹模型；
在所述虚拟气腹模型的预设位置插入相机(内窥镜(Endoscope))；以及
将所述兴趣点信息依次匹配到在插入有所述相机的状态下的所述虚拟气腹模型中。
7.如权利要求1所述的方法，其中，
所述兴趣点信息的位置判断步骤包括如下步骤：
基于深度学习模型识别所述实际手术图像的实时手术步骤；
判断按所识别的各手术步骤的所述兴趣点信息的位置或按所识别的手术步骤的各下一个手术步骤的所述兴趣点信息的位置；以及
将针对所判断的兴趣点信息的位置的信息匹配到所述虚拟气腹模型上。
8.如权利要求7所述的方法，其中，
所述图像信息获取步骤包括如下步骤：
所述用户界面上，基于所判断的兴趣点信息的位置，移动插入到所述虚拟气腹模型中的所述相机的位置；
从所述相机获取针对该位置的图像信息；以及
将所获取的图像信息实时显示在所述用户界面上。
9.如权利要求8所述的方法，其中，
在所述用户界面上显示的步骤中，在所述虚拟气腹模型的相应位置显示所述图像信息的同时，进一步显示表示所述图像信息的说明的指示符。
10.如权利要求9所述方法，其中，
在所述用户界面上显示的步骤中，对于所述实际手术图像中肉眼看不到的部分，在所述用户界面上对所述图像信息进行实时渲染而显示。
11.如权利要求1所述的方法，其中，
所述虚拟气腹模型包括在所述患者的气腹状态下的实际脏器、血管、脂肪、肌肉中的至少一个。
12.一种存储有计算机程序的计算机可读记录介质，所述计算机程序用于与作为硬件的装置结合而执行根据权利要求1至权利要求11中的任意一项所述的整合实际手术图像与基于3D的虚拟手术模拟环境的方法。
13.一种整合实际手术图像与基于3D的虚拟手术模拟环境的装置，包括：
获取部，获取所述实际手术图像和执行与所述实际手术图像相同的手术的已存储的手术图像；
显示部，显示所述实际手术图像和所述虚拟气腹模型；以及
处理器，在所述已存储的手术图像中设定按各手术步骤的手术时的兴趣点信息，将所述兴趣点信息匹配到患者的虚拟气腹模型，所述患者的虚拟气腹模型基于所述3D的虚拟手术模拟环境中，并且所述患者的虚拟气腹模型显示在用户界面上识别所述实际手术图像的实时手术步骤，并判断按所识别的各手术步骤的兴趣点信息的位置，通过所述用户界面，将插入到所述虚拟气腹模型中的相机的位置移动到与所判断的兴趣点信息的位置相同的位置，以获取并显示所拍摄的图像信息。
CN202280052613.2A 2021-07-29 2022-07-20 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法 Pending CN117881355A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210099678A KR102628325B1 (ko) 2021-07-29 2021-07-29 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
KR10-2021-0099678 2021-07-29
PCT/KR2022/010608 WO2023008818A1 (ko) 2021-07-29 2022-07-20 Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법

Publications (1)

Publication Number Publication Date
CN117881355A true CN117881355A (zh) 2024-04-12

Family

ID=85038046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280052613.2A Pending CN117881355A (zh) 2021-07-29 2022-07-20 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法

Country Status (5)

Country Link
US (2) US11986248B2 (zh)
EP (1) EP4364685A4 (zh)
KR (2) KR102628325B1 (zh)
CN (1) CN117881355A (zh)
WO (1) WO2023008818A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
EP2884879B1 (en) * 2012-08-14 2020-01-08 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN111329553B (zh) * 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11806085B2 (en) * 2018-01-10 2023-11-07 Covidien Lp Guidance for placement of surgical ports
KR102018565B1 (ko) 2018-02-20 2019-09-05 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치
KR102276862B1 (ko) 2018-03-06 2021-07-13 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR102008891B1 (ko) 2018-05-29 2019-10-23 (주)휴톰 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
JP7188970B2 (ja) 2018-10-11 2022-12-13 ザイオソフト株式会社 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
JP7444569B2 (ja) * 2019-09-18 2024-03-06 ザイオソフト株式会社 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
KR102301234B1 (ko) * 2019-09-20 2021-09-09 울산대학교 산학협력단 수술 영상 제공 시스템 및 그 방법
US11382696B2 (en) * 2019-10-29 2022-07-12 Verb Surgical Inc. Virtual reality system for simulating surgical workflows with patient models

Also Published As

Publication number Publication date
US20240299097A1 (en) 2024-09-12
EP4364685A1 (en) 2024-05-08
KR20230019281A (ko) 2023-02-08
KR20240014549A (ko) 2024-02-01
EP4364685A4 (en) 2024-10-16
US11986248B2 (en) 2024-05-21
US20230031396A1 (en) 2023-02-02
WO2023008818A1 (ko) 2023-02-02
KR102628325B1 (ko) 2024-01-24

Similar Documents

Publication Publication Date Title
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
US11660142B2 (en) Method for generating surgical simulation information and program
CN111771244B (zh) 针对手术结果的反馈提供方法
EP2901935B1 (en) Method and device for generating virtual endoscope image, and program
EP2901934B1 (en) Method and device for generating virtual endoscope image, and program
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
KR102008891B1 (ko) 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
KR102457585B1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
KR20230165284A (ko) 진단 또는 중재 이용을 위해 전자 의료 이미지들을 처리하기 위한 시스템들 및 방법들
KR20240011228A (ko) 화면을 통해 수술 관련 정보를 제공하는 방법 및 장치
KR102298417B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
KR20190133423A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
CN117881355A (zh) 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法
CN116747017A (zh) 脑出血手术规划系统及方法
KR20190133425A (ko) 수술보조 영상 표시방법 및 프로그램
CN117715602A (zh) 在患者的三维虚拟气腹模型上确定套管针的插入位置的装置及方法
CN118056247A (zh) 生成患者的虚拟气腹模型的装置及方法
CN118401960A (zh) 用于将解剖结构的模型划分为功能节段的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination