CN111770735B - 手术仿真信息生成方法及程序 - Google Patents
手术仿真信息生成方法及程序 Download PDFInfo
- Publication number
- CN111770735B CN111770735B CN201880088984.XA CN201880088984A CN111770735B CN 111770735 B CN111770735 B CN 111770735B CN 201880088984 A CN201880088984 A CN 201880088984A CN 111770735 B CN111770735 B CN 111770735B
- Authority
- CN
- China
- Prior art keywords
- surgical
- data
- table data
- virtual
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004088 simulation Methods 0.000 title claims abstract description 60
- 230000009471 action Effects 0.000 claims abstract description 88
- 238000001356 surgical procedure Methods 0.000 claims abstract description 74
- 230000008859 change Effects 0.000 claims description 19
- 230000002787 reinforcement Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 238000002432 robotic surgery Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 6
- 208000005646 Pneumoperitoneum Diseases 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 208000005718 Stomach Neoplasms Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 206010017758 gastric cancer Diseases 0.000 description 5
- 238000002357 laparoscopic surgery Methods 0.000 description 5
- 201000011549 stomach cancer Diseases 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003872 anastomosis Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 229910002092 carbon dioxide Inorganic materials 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000002747 omentum Anatomy 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000011365 complex material Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供一种计算机执行的手术仿真信息生成方法。所述方法包括如下步骤:生成与手术时患者的身体状态相同的虚拟人体模型;对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位;以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。
Description
技术领域
本发明涉及一种生成手术仿真信息的方法和程序。
背景技术
需要开发手术过程中能够提供信息来辅助医师手术的技术。为了提供用于辅助手术的信息,需要能够识别手术行为。
以往,为了优化手术流程而设计方案时会参考预先拍摄好的医疗影像或者咨询非常熟练的医师,但是存在只靠医疗影像难以判断不必要的流程以及咨询熟练医师难以获取适合特定患者的咨询等问题。
因此,医疗影像或咨询熟练医师用于对手术对象患者的手术流程进行优化的辅助用途存在很多困难。
因此,要求开发一种如下的方法,即,最小化利用三维医疗影像(例如,因三维手术工具及道具的移动而发生的器官内部变化的虚拟影像)进行手术时的不必要的流程来优化手术流程并能够提供基于此的手术辅助信息。
此外,近来深度学习广泛用于医疗影像的分析。深度学习被定义为通过各种非线性变换方法的组合来尝试高水平的抽象化(在大量的数据或复杂的材料中概括出核心内容或功能的操作)的机器学习算法的集合。深度学习在广义上可以看成将人的思考方式教给计算机的机器学习的一个领域。
发明内容
技术问题
本发明期望解决的课题在于提供手术仿真信息生成方法及程序。
本发明期望解决的课题并不限于以上提及的课题,本领域技术人员可以通过下面的记载而明确理解未提及的其他技术课题。
技术方案
用于解决上述课题的根据本发明的一方面的一种手术仿真信息生成方法包括如下步骤:生成与手术时患者的身体状态相同的虚拟人体模型;对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位;以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。
此外,划分为所述最小手术动作单位的步骤包括如下步骤:从所述虚拟手术数据识别是否发生特定事件;以及基于所述特定事件识别最小手术动作单位,其中所述特定事件可以包括包含在所述虚拟手术数据中的手术工具以及手术部位中的至少一个的变化。
此外,识别所述特定事件是否发生的步骤中,可以以所述手术工具的动作变化为基准识别是否发生事件,以所述手术部位的状态变化为基准识别是否发生事件,或者以根据所述手术工具的动作变化是否引起了所述手术部位的状态变化为基准识别是否发生事件。
此外,生成所述提示表数据的步骤中,可以对应于所述特定手术过程而顺序地构成所述最小手术动作单位来生成所述提示表数据。
此外,生成所述虚拟人体模型的步骤可包括如下步骤:获取包含所述患者的手术部位的医疗影像;以及基于所述医疗影像进行3D建模来生成所述虚拟人体模型。
此外,生成所述虚拟人体模型的步骤还可以包括如下步骤:获取所述患者的实际手术姿势;以及基于所述实际手术姿势校正所述医疗影像来对所述虚拟人体模型进行3D建模。
此外,还可以包括如下步骤:判断所述提示表数据是否是优化的。
此外,所述判断是否是优化的步骤还可以包括如下步骤:基于判断为优化的提示表数据提供手术引导数据。
此外,所述判断是否是优化的步骤可以包括如下步骤:获取优化提示表数据;以及将所述提示表数据和所述优化提示表数据进行比较。
此外,获取所述优化提示表数据的步骤可以包括如下步骤:获取一个以上的学习提示表数据;利用所述一个以上的学习提示表数据执行强化学习;以及基于所述强化学习结果获取所述优化提示表数据。
用于解决所述课题的根据本发明的一方面提供了一种计算机程序,与作为硬件的计算机结合,存储在计算机可读取的记录介质,使其能够执行根据所公开的实施例的手术仿真信息生成方法。
用于解决所述课题的根据本发明的一方面的一种装置包括:存储器,存储一个以上的指令;以及处理器,执行存储在所述存储器中的所述一个以上的指令,其中,所述处理器通过执行所述一个以上的指令来执行如下步骤:生成与手术时患者的身体状态相同的虚拟人体模型;对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位;以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。
技术效果
根据所公开的实施例,通过利用预先获取的信息生成对各个患者优化的手术仿真信息,手术时向医师提供此信息,从而提供辅助手术的效果。
本发明的效果并不限于以上提及的效果,本领域技术人员可以通过下面的记载而明确理解未提及的其他效果。
附图说明
图1是示出了根据所公开的实施例的机器人手术系统的图。
图2是示出了根据一实施例的生成手术仿真信息的方法的流程图。
图3是表示根据一实施例的通过应用手术姿势的3D建模数据生成过程的流程图。
图4是示出了根据另一实施例的生成手术仿真信息的方法的流程图。
图5是示出了根据一实施例的手术流程优化方法的流程图。
图6是示意性表示根据本发明的一实施例的执行手术仿真信息生成方法的装置200的结构的图。
具体实施方式
参照与附图一起详细后述的实施例,则可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为互不相同的多种形态,并不限于以下公开的实施例,提供本实施例仅使本发明的公开完整并用于向本发明所属技术领域中的普通技术人员完整地告知发明范围,本发明仅由权利要求的范围所定义。
本说明书中使用的术语是为说明实施例而并不是限制本发明。在本说明书中,单数型也包括复数型,除非在语句中特别提到。说明书中使用的“包含(comprises)”和/或“包括(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或添加。贯穿说明书,相同附图标记指代相同的构成要素,“和/或”包括所述项目中的每一个和一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素,但这些构成要素显然不受限于这些术语。这些术语仅用于将一个构成要素与另一构成要素进行区分。因此,以下提及的第一构成要素在本发明的技术思想内,显然也可以是第二构成要素。
除非有其他定义,本说明书中所使用的所有术语(包括技术及科学术语)可使用于本发明所属技术领域的一般技术人员共同理解的含义。此外,一般所使用的词典中定义的术语不会被理想地或过度地解释,除非有特别明确地定义。
说明书中所使用的“部”或者“模块”等术语意味着诸如软件、FPGA或者ASIC的硬件构成要素,“部”或者“模块”起到某种作用。但是“部”或者“模块”的含义并不限于软件或者硬件。“部”或者“模块”可以构成为在可寻址的存储介质,也可以构成为能够再现一个或一个以上的处理器。因此,作为一示例,“部”或者“模块”包括诸如软件构成要素、面向对象软件构成要素、类构成要素及任务构成要素的构成要素和进程、函数、属性、程序、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组以及变量。构成要素和“部”或者“模块”内所提供的功能可以和更小的构成要素及“部”或者“模块”结合,或者可以进一步分离为额外的构成要素和“部”或者“模块”。
本说明书中“影像”意味着由离散性的影像因素(例如,二维影像中的像素以及3D影像中的体素)构成的多维(multi-dimensional)数据。例如,影像可以包括由CT拍摄装置获取的对象的医疗影像。
本说明书中“对象”可以是人或者动物,或者是人或者动物的部分或者全部。例如,对象可以包括肝、心脏、子宫、大脑、乳房、腹部等器官以及血管中的至少一个。
本说明书中“用户”是医疗专家,可以是医生、护士、临床病理学家、医疗影像专家等,可以是修理医疗装置的技术人员,但不限于此。
本说明书中“医疗影像数据”是用医疗影像拍摄装备拍摄的医疗影像,包括能够用三维模型实现对象身体的所有医疗影像。“医疗影像数据”可以包括计算机断层扫描(CT:Computed Tomography)影像、核磁共振(MRI:Magnetic Resonance Imaging)影像、正电子发射断层扫描(PET:Positron Emission Tomography)影像。
本说明书中“虚拟人体模型”意味着基于医疗影像数据所生成的符合实际患者身体的模型。“虚拟人体模型”可以是将医疗影像数据原样进行三维建模来生成的,也可以是建模后校正成与实际手术时相同的。
本说明书中“虚拟手术数据”意味着包括对虚拟人体模型所执行的预演或者仿真行为的数据。“虚拟手术数据”可以是在虚拟空间对虚拟人体模型所执行的预演或者仿真行为的影像数据,也可以是针对虚拟人体模型所执行的手术动作记录的数据。
本说明书中“实际手术数据”意味着根据实际医护人员执行手术而获取的数据。“实际手术数据”可以是在实际手术过程中拍摄手术部位的影像数据,也可以是针对实际手术过程中所执行的手术动作记录的数据。
本说明书中“详细手术动作”意味着根据特定的基准所划分的手术动作的最小单位。
本说明书中“提示表(Cue sheet)数据”意味着将特定的手术过程划分为详细手术动作后按顺序记录的数据。
本说明书中“试行提示表数据”意味着基于用户执行仿真的虚拟手术数据而获取的提示表数据。
本说明书中“训练用虚拟手术提示表数据”包括在试行提示表数据,且意味着基于用户执行手术仿真演练(Simulation)而获取的虚拟手术数据来生成的提示表数据。
本说明书中“参考用虚拟手术提示表数据”意味着针对为了构建学习用大数据或者介绍手术流程而特定的医护人员执行的虚拟手术的提示表数据。
本说明书中“优化提示表数据”意味着针对在手术时间或者手术预后等方面优化的手术流程的提示表数据。
本说明书中“学习提示表数据”意味着用于计算优化提示表数据的学习而利用的提示表数据。
本说明书中“手术引导数据”意味着实际手术时利用为引导信息的数据。
本说明书中“计算机”包括执行运算处理来向用户提供结果的多种多样的所有装置。例如,计算机不仅是桌上型PC、笔记本计算机(Note Book),也可以对应于智能手机(Smart phone)、平板PC、蜂窝电话(Cellular phone)、PCS电话(PCS phone:PersonalCommunication Service phone)、同步/异步国际电话移动系统-2000(IMT-2000:InternationalMobile Telecommunication-2000)移动终端、掌上个人计算机(PalmPersonalComputer)、个人数字助理(PDA:PersonalDigital Assistant)等。此外,头戴式显示器(HMD:Head Mounted Display)装置包括计算功能时,HMD装置可以成为计算机。此外,计算机可以对应于从客户端接收请求而执行信息处理的服务器。
以下,参照附图对本发明的实施例进行详细说明。
图1是示出了根据所公开的实施例的机器人手术系统的图。
参照图1,示出了根据所公开的实施例的可执行机器人手术的系统的示意图。
根据图1,机器人手术系统包括医疗影像拍摄装备10、服务器20以及配备在手术室的控制部30、影像拍摄部36、显示器32以及手术机器人34。
一实施例中,机器人手术通过用户利用控制部30来控制手术用机器人34来执行。一实施例中,机器人手术可以在没有用户的控制下被控制部30自动执行。
服务器20是包括至少一个处理器和通信部的计算装置。
控制部30包括包含至少一个处理器和通信部的计算装置。一实施例中,控制部30包括用于控制手术用机器人34的硬件以及软件界面。
影像拍摄部36包括至少一个图像传感器。即,影像拍摄部36包括至少一个相机而用于拍摄手术部位。一实施例中,影像拍摄部36与手术机器人34结合而被利用。例如,影像拍摄部36包括与手术机器人34的手术臂结合的至少一个相机。
一实施例中,影像拍摄部36拍摄的影像显示在显示器32。
控制部30从服务器20接收手术所需的信息,或者生成手术所需的信息而提供给用户。例如,控制部30将所生成或接收的手术所需的信息显示在显示器32。
例如,用户观看显示器32的同时操作控制部30来控制手术机器人34的移动来执行机器人手术。
服务器20利用用医疗影像拍摄装备10预先拍摄的对象(患者)的医疗影像数据来生成机器人手术所需的信息,将生成的信息提供给控制部30。
控制部30将从服务器20接收的信息显示在显示器32而提供给用户,或者利用从服务器20接收的信息来控制手术机器人34。
一实施例中,并不限制医疗影像拍摄装备10所使用的手段,例如,可以使用CT、X-Ray、PET、MRI等其他多种多样的医疗影像获取手段。
以下,参照附图对生成手术仿真信息的方法进行详细说明。
图2是示出了根据一实施例的生成手术仿真信息的方法的流程图。
图2所示的各个步骤在图1所示的服务器20或者控制部30中按时间顺序执行。或者也可以在单独配备的计算装置中执行。以下,为了方便说明,会叙述为各步骤被计算机执行,但每个步骤的执行主体不局限于特定装置,其全部或者一部分可在服务器20或者控制器30执行。此外,也可以在单独配备的计算装置中执行。
参照图2,根据本发明的一实施例的手术仿真信息生成方法可以包括如下步骤:生成与手术时患者的身体状态相同的虚拟人体模型(S200);对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据(S400);将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位(S600);以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据(S800)。以下,记载对各个步骤的详细说明。
计算机会生成与手术时对象(例如,患者)的身体状态相同的虚拟人体模型。
作为一实施例,计算机获取包括对象(例如,患者)的手术部位的医疗影像,基于获取的医疗影像进行3D建模来生成患者的虚拟人体模型。
用户为了执行与实际手术相似的仿真,需要与实际患者的身体状态相同的3D建模数据。
现有技术中,以与实际手术姿势不同的姿势执行医疗影像拍摄,并将相应医疗影像数据原样地实现为3D建模数据,因此手术前仿真无法完全提供预先练习实际手术的效果。
具体地,一般来讲,在患者躺着的状态下用医疗影像拍摄装备所拍摄的患者的内部器官布置状态或者器官模样受到根据对象躺着的角度的重力影响,而与手术时对象的内部器官布置状态或者器官模样不同,因此无法提供与实际手术相同的仿真环境。
此外,与为了腹腔镜手术或者机器人手术在身体内部填充二氧化碳气体的气腹状态不一致的状态下执行仿真,因此手术前仿真无法完全提供预先练习实际手术的效果。为了解决这些问题,应生成与实际手术状态相同的3D建模数据(即,3D气腹模型)。
图3是表示根据一实施例的通过应用手术姿势的3D建模数据生成过程的流程图。
作为一实施例,如图3所示,计算机基于应用实际手术姿势来拍摄的医疗影像数据,生成3D建模数据。具体地讲,可以包括如下步骤:计算机以基于患者的患部位置或者手术类型所确定的手术姿势为基础,计算出患者的拍摄姿势(S202);以及基于所述拍摄姿势拍摄的医疗影像数据执行3D建模(S204)。
计算机以基于患者的患部位置或者手术类型所确定的手术姿势为基础,计算出患者的拍摄姿势(S202)。手术姿势可根据患者的患部位置(即,手术部位)、手术类型而变化。计算机计算出按与患者的手术姿势相同的姿势可以拍摄医疗影像的拍摄姿势。
例如,当在患者身体倾斜15度的状态下对上半身进行手术时,计算机可以为了仅将上半身直立15度而支撑患者背部的姿势计算为拍摄姿势。由于仅将患者的上半身直立15度的姿势设定为拍摄姿势,利用现有的医疗影像拍摄装置(例如,CT装置)可以将手术部位拍摄成与手术时相同的状态。
此外,例如,医疗影像拍摄装置可以包括调节患者的布置状态的功能来实现与手术姿势相同的拍摄姿势。例如,医疗影像拍摄装置为计算机断层扫描(CT:Computedtomography)装置时,CT装置的工作台可以沿预定的方向倾斜(tilting)或者旋转(rotating)预定的角度,机架也可以沿预定方向倾斜预定的角度。
通过这种方式,计算机或者用户控制拍摄装置的工作台和机架以与手术姿势相同的角度倾斜,计算机可以从医疗影像拍摄装置获取以与实际手术时相同的角度倾斜的拍摄姿势拍摄的医疗影像数据。
此外,计算机可以从医护人员接收患者的手术姿势,可以基于患者的患部位置、手术类型等直接计算出将执行的手术姿势。
之后,计算机获取基于以所述拍摄姿势拍摄的医疗影像数据生成的3D建模数据(S204)。计算机利用对象的3D医疗影像通过渲染生成3D建模影像。此外,计算机可以接收在医疗影像拍摄装置以特定的姿势拍摄后生成的3D建模数据。即,医疗影像拍摄装置(例如,CT装置)基于医疗影像数据执行3D渲染生成3D建模数据后传输到计算机。
此外,作为另一实施例,计算机将变更为特定手术时的身体状态的校正算法应用于在一般的拍摄条件下拍摄的医疗影像数据,来生成3D建模数据。即,计算机对以一般状态平躺的患者拍摄的医疗影像数据应用倾斜状态下根据重力的身体变化或者根据注入二氧化碳而形成为气腹模型的身体变化,来生成3D模型数据。
例如,可通过学习将针对一般的拍摄条件以及身体状态的医疗影像数据和特定的身体状态以及手术条件进行手术时的身体状态数据进行匹配而形成的大数据,而计算出所述校正算法。所述手术时的身体状态数据可以包括实际手术时的身体内部器官模样或者拍摄布置的影像数据或者拍摄身体表面的影像数据等等。
作为一实施例,在基于在一般条件下拍摄的医疗影像数据(例如,CT数据)形成腹腔镜手术或者机器人手术时的气腹模型的情况下,计算机将患者的医疗影像数据和手术时的身体表面数据进行匹配而构建为执行学习的大数据。
例如,医护人员在执行腹腔镜手术或者机器人手术之前拍摄根据注入二氧化碳而变形的腹部表面来获取身体表面数据。计算机通过学习大数据生成将一般状态的3D模型数据形成为腹腔镜手术或者机器人手术时的气腹模型的修正基准或者修正算法。之后,计算机在获取了新患者的医疗影像数据时,基于修正基准或者修正算法来使基于医疗影像数据生成的3D模型数据变形,生成气腹模型。
通过这种方式,计算机针对特定患者而生成与手术时的身体状态相似的3D模型数据而提供给用户。
重新参照图2,计算机对进行3D建模的虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据(S400)。用户会执行对3D建模影像(即,虚拟人体模型)进行虚拟的手术的仿真或者预演。例如,计算机在3D建模影像上显示虚拟的手术工具,用户可以使用多种方式控制虚拟的手术工具对3D建模影像执行进行手术的预演。
所述虚拟手术数据是根据用户针对3D建模的患者的虚拟人体模型进行手术仿真(Simulation)而生成的。获取虚拟手术数据的过程可以是用户对手术进行仿真训练(Simulation)的过程,也可以是手术前在相同的条件下进行预演(Rehearsal)的过程。计算机可以通过多种方式从用户接收虚拟手术数据。
作为一实施例,计算机可以通过虚拟现实(VR:Virtual Reality)装置向用户提供虚拟人体模型,通过控制器接收对虚拟人体模型的手术动作。所述控制器可以是能够识别用户手部动作的多种形态。例如,所述控制器实现为手套型而能够获取用户在手术时的细微的手指移动和手的实时布置状态。
具体地讲,计算机向用户佩戴的HMD装置提供虚拟人体模型。计算机根据用户的操作旋转或者扩大虚拟人体模型而将其提供,据此用户仔细观察与预定给患者手术相同地实现的虚拟人体模型的同时执行手术计划以及仿真。
例如,根据对象的身体特征,需要进行实际手术的血管以及器官可能因诸如网膜(肠膜)的脂肪而看不见,但是在建模时去除网膜能够准确地知道实际血管以及器官的位置,且据此可以树立为达到需要实际手术的对象的最佳手术计划。计算机获取因用户选择特定的手术工具的输入,通过控制器获取使用此手术工具对虚拟人体模型的特定的区域执行手术的操作。
此外,作为一实施例,虚拟手术数据可以储存为实现用户对虚拟人体模型执行的手术动作的影像数据。计算机可以生成基于由控制器获取的实时动作数据、执行动作的手术工具、虚拟人体模型内被执行动作的位置等的仿真影像。
此外,作为另一实施例,虚拟手术数据可以是对虚拟人体模型自身的建模数据、仿真或者预演过程中各时间点处所使用的手术工具以及动作数据的全部数据。即,虚拟手术数据可以是使外部计算机接收后能够实现仿真影像的多个数据集合。
计算机将虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位(S600)。
手术流程是利用手术工具对手术部位执行一系列的手术动作而形成的过程。因此,对特定手术流程进行仿真而获取的虚拟手术数据包括一系列的手术动作。
即,计算机可以从包括一系列的手术动作的虚拟手术数据中区分作为一个特定的动作而具有意义的最小单位的最小手术动作单位而将其划分。在此,所谓最小手术动作单位指示构成手术流程的一系列的手术动作中表现为特定的手术动作的最小的动作单位。即,最小动作单位可以是表示一个特定手术动作的细部手术动作。
这时,一个特定的细部手术动作可以由对手术工具或者手术部位具有一定模式的连续的动作形成。换句话说,当虚拟手术数据包括第一细部手术动作和第二细部手术动作时,第一细部手术动作和第二细部手术动作可以由互不相同的动作模式形成。因此,计算机基于虚拟手术数据的各个时间点所包括的信息来识别包括与现在时间点不同的信息的时间点而判断是否形成为与现在时间点的细部手术动作不同的动作模式。
作为一实施例,计算机可以从虚拟手术数据识别是否发生特定事件,基于所识别的特定事件识别最小手术动作单位来将虚拟手术数据划分成至少一个以上的最小手术动作单位。
例如,计算机可以通过包括在虚拟手术数据的各个时间点的信息来识别对手术工具或者手术部位(例如,肝、胃、血管、组织等器官)的变化,而判断是否发生事件。即,计算机可以基于手术工具的动作变化来识别是否发生事件,基于手术部位的状态变化来识别是否发生事件,或者基于根据手术工具的动作变化的发生是否引起手术部位的状态变化来识别是否发生事件。
例如,可以以手术工具的位置、方向、移动程度、类型等的变化为基准来识别是否发生事件。以所识别的事件的发生时间点为基准判断在之前以及之后的时间点是否因手术工具形成了相互不同的动作,来划分为至少一个以上的细部手术动作(即,最小手术动作单位)。
或者,以手术部位的位置、方向、状态等变化为基准识别是否发生事件。以识别的事件发生时间点为基准判断在之前以及之后时间点手术部位是否变更,来划分为至少一个以上的细部手术动作(即,最小手术动作单位)。
或者,以手术工具是否接触手术部位,手术工具是否具有能量而发生手术部位的变更等为基准识别是否发生事件。以识别的事件发生时间点为基准判断在之前以及之后的时间点是否形成了相互不同的手术动作模式,来划分为至少一个以上的细部手术动作(即,最小手术动作单位)。
或者,以手术部位是否发生出血为基准识别是否发生事件,以所识别的事件发生时间点为基准划分为至少一个细部手术动作(即,最小手术动作单位)。
此外,根据本发明的一实施例中,细部手术动作(即,最小手术动作单位)除了以所述的事件是否发生为基准被划分,也可以以其他多种基准被划分。
例如,细部手术动作可以以手术类型(例如,腹腔镜手术,机器人手术)、进行手术的解剖学上的身体部位、所使用的手术工具、手术工具的数量、画面上手术工具出现的方向或者位置、手术工具的移动(例如,前进/后退)等为基准而被划分。
所述划分基准和划分基准内所包括的详细类别可以通过医护人员的实际手术数据的学习来直接设定。计算机根据由医护人员所设定的划分基准以及详细类别执行监督(Supervised)学习将虚拟手术数据划分为最小单位的细部手术动作。
此外,所述划分基准和划分基准内所包括的详细类别可以通过计算机的手术影像的学习来提取。例如,计算机通过深度学习(即,非监督学习)累积为大数据的实际手术数据,来计算出划分基准以及各个划分基准内的类别。之后,计算机根据通过实际手术数据的学习而生成的划分基准来划分虚拟手术数据,生成提示表数据。
此外,作为另一实施例,还可以通过影像识别掌握虚拟手术数据或者实际手术数据是否符合各自的划分基准来划分虚拟手术数据或者实际手术数据。即,计算机在虚拟手术数据或者实际手术数据的影像内画面识别与划分基准对应的解刨学上的器官位置、所出现的手术工具、各个手术工具的数量等,来执行细部手术动作单位的划分。
此外,作为另一实施例,计算机基于包括在实际手术数据或者虚拟手术数据中的手术工具移动数据来执行用于生成提示表数据的划分过程。实际手术数据包括在用户执行机器人手术时的用户所选的手术工具类型以及数量、关于各个手术工具移动的信息等控制手术机器人的过程中所输入的多种信息,虚拟手术数据也包括在对虚拟人体模型进行仿真时用户所选的手术工具类型以及数量、关于各个手术工具的移动等的信息。因此,计算机基于实际手术数据或者虚拟手术数据的各个时间点所包括的信息来执行划分。
此外,作为一实施例,虚拟手术数据或者实际手术数据包括切除、缝合等多种类型的动作,根据划分基准执行划分。具体地,将实际执行胃癌手术的实际手术数据(例如,实际手术影像)或者对胃癌手术进行仿真的虚拟手术数据划分为细部手术动作来生成提示表数据的过程的说明如下。
例如,首先,胃癌手术包括切除包括肿瘤的胃的一部分或者全部的动作以及切除淋巴腺的动作。另外,根据胃癌的状况使用多种切除术以及连接术。此外,各个动作根据采取动作的具体位置、手术工具的移动方向而被划分为更加详细的多个动作。
例如,首先胃癌手术的细部动作可被划分为开腹步骤、切除步骤、连接步骤以及缝合步骤。
此外,连接切除的器官的方法包括剖开心窝4-5cm以上再连接的体外吻合方法或者剖开肚脐3cm左右并在腹腔内进行切除以及吻合的体内吻合方法,所述的连接步骤可以根据如同具体的连接方法划分得更加详细。
进一步,各个手术方法可以根据手术工具的位置以及移动而被划分为更加详细的多个细部手术动作。
计算机生成由最小手术动作单位(即,细部手术动作)构成而表示特定的手术过程的提示表数据(S800)。即,计算机顺序地构成至少一个最小手术动作单位以对应于利用虚拟人体模型仿真的特定手术过程,最终生成提示表数据。
根据本发明的一实施例,划分的各个细部手术动作(即,最小手术动作单位)可基于细部手术动作执行的位置以及手术工具的移动路径(pathway)而被赋予标准化的名称。
一实施例中,用于标准化的名称的术语可以被定义为多种多样。例如,处理胃的下端右侧特定部位时,该部位的名称可以使用在医学领域通常使用的名称,可以使用根据所公开的实施例的系统中定义的更加全面或者细分化的名称。
因此,预演影像可以被整理为多个动作基于标准化的名称而顺序排列的提示表形式的信息。同样,用户实际执行手术的手术影像也可以划分为动作单位,且整理成提示表形式的信息。
此外,作为一实施例,所述提示表数据可以根据划分为细部手术动作的基准而被生成为特定位数的代码(Code)数据。即,计算机通过应用标准化的划分基准且指定划分基准内的详细类别将虚拟手术数据划分为标准化的细部手术动作,向各个详细类别赋予标准化的代码值,赋予能够区分各个细部手术动作的标准化的代码数据。
计算机根据划分基准应用顺序从特定细部手术动作所属的上层类别开始顺序赋予数字或者文字,而将数字(Digital)化的代码数据赋给各个细部手术动作。通过这种方式,计算机可将提示表数据生成为各个细部手术动作的标准化的代码数据所排列的形态,而不是划分的细部手术动作的影像。此外,用户通过提供仅由基准化的代码数据形成的提示表数据来共享或者传达仿真的手术过程。
此外,作为一实施例,计算机可以将标准化的名称赋给各个细部手术动作的标准化的代码(Code)。通过这种方式,用户可以在全部的提示表内只筛选所需的手术动作(或者动作(Action))部分来进行确认。此外,这时,用户即使不观看全部的预演或者手术影像,只观看基于各个动作被标准化的名称而顺序排列的提示表也可以容易掌握手术或者预演的进行过程。
提示表数据可以利用对各个细部手术动作的影像数据库转换为手术影像。所述影像数据库可以储存有符合各个代码数据的影像,根据情况存储有符合各个代码数据的多个影像。例如,特定的代码数据可根据先前执行的动作而加载数据库内的不同的细部手术动作影像。
此外,因各个提示表数据和特定的虚拟人体模型匹配而存储,计算机可将包括在提示表数据的各个细部手术动作顺序应用于虚拟人体模型,而再现为手术仿真影像。
因此,与提示表对应的影像可以在与手术预演影像相同的视点(point of view)下再现,也可以重构为不同的视点而再现。或者,影像建模为3D,根据用户的操作而调节视点和位置。
此外,如图4所示,作为另一实施例,还包括计算机判断基于用户的虚拟手术数据而生成的试行提示表数据是否是优化的步骤(S1000)。
计算机通过试行提示表数据和优化提示表数据的比较来判断试行提示表数据的适当性。例如,计算机判断因用户进行仿真而生成的试行提示表数据内是否包括拖延手术时间的不必要的细部手术动作,是否遗漏了执行特定的细部手术动作时前后必须包括的细部手术动作等,来判断生成的试行提示表数据是否适合应用于实际患者。
为了执行对试行提示表数据的评价,计算机可以执行计算出优化提示表数据的过程。
图5是示出了根据一实施例的手术流程优化方法的流程图。
计算机获取一个以上的学习提示表数据(S1020)。所述学习提示表数据是为了计算出优化提示表数据而被学习的学习对象数据。所述学习提示表数据可以包括基于实际手术数据而生成的提示表数据(即,实际手术提示表数据)或者基于作为参考用而仿真的虚拟手术数据而生成的提示表数据(即,参考用虚拟手术提示表数据)。所述实际手术提示表数据是计算机将实际手术数据基于划分基准来划分而生成的。所述参考用虚拟手术提示表数据不是在用户的手术训练过程所获取的,而是为了构建学习对象数据的目的或者作为参考用而提供给练习医师的目的而执行仿真而生成的。
之后,计算机利用学习提示表数据来执行强化学习(Reinforcement learning)(S1040)。强化学习是机器学习的一个领域,在某种环境中定义的智能体识别当前状态并从可选择的行动中选择使回报最大化的动作或动作顺序。强化学习可以概括为学习基于状态转换和根据基于状态转换的回报来使回报最大化的方法。
之后,计算机利用强化学习的结果计算出优化提示表数据(S1060)。所述优化提示表数据可基于强化学习的结果被计算为缩短麻醉时间的最短手术时间、最小出血量、必要动作组、必要执行顺序等条件。
所述必要动作组是为执行特定细部手术动作而必须一起执行的细部手术动作的组。所述必要执行顺序是在执行特定手术的过程中必须按顺序执行的手术动作顺序。例如,根据手术的类型或者手术动作的类型而应按顺序出现的手术动作及其顺序可能被已经确定。
此外,计算机通过强化学习计算出根据患者的身体条件、手术部位(例如,肿瘤组织)条件(例如,肿瘤的大小、位置等)等的按照情况的优化提示表数据。为此,计算机在学习时将患者条件、手术部位条件等和学习提示表数据一起利用。
作为一实施例,计算机可以自己执行虚拟仿真手术。例如,计算机可以基于所公开的手术流程优化方法来生成根据手术类型以及患者的类型的手术流程,基于生成的手术流程来执行虚拟的手术仿真。
计算机评价虚拟的手术仿真结果并基于虚拟的手术仿真信息以及对其结果的评价信息执行强化学习,而获取优化的手术流程。
即使是学习为可以生成优化的手术流程的模型,因为实际手术时每个患者的身体结构和手术类型不同,所以难以根据各个患者以及手术类型生成优化的手术流程。
因此,计算机利用学习的模型生成基于患者的身体结构以及手术类型的手术流程并执行虚拟的手术仿真而执行强化学习,可以根据各个患者以及手术类型生成优化的手术流程。
此外,如图4所示,作为另一实施例,还包括步骤:计算机根据用户的请求基于特定的提示表数据提供手术引导数据(S1200)。即,计算机可以在手术途中向用户提供用户执行仿真或者预演而生成的提示表数据。
图6是示意性示出了根据本发明的一实施例的执行手术仿真信息生成方法的装置200的结构的图。
参照图6,处理器210可包括一个以上的核(core,未示出)以及图像处理部(未示出)以及/或者与其他构成要素收发信号的连接通路(例如,总线(bus)等)。
根据一实施例的处理器210执行存储在存储器220中的一个以上的指令,来执行关于图2至图5所说明的手术仿真信息生成方法。
作为一示例,处理器210可以通过执行存储在存储器220中的一个以上的指令而执行如下步骤:生成与手术时患者的身体状态相同的虚拟人体模型;对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位;以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。
另外,处理器210可以额外包括暂时性地以及/或者永久性地储存在处理器内部处理的信号的随机存取存储器(RAM:Random Access Memory,未示出)以及只读存储器(ROM:Read-Only Memory,未示出)。此外,处理器210可以实现为至少包括图像处理部、随机存取存储器以及只读存储器中的至少一个的片上系统(SoC:system on chip)的形态。
存储器220可以储存用于处理器210的处理以及控制的程序(一个以上的指令)。储存在存储器220中的程序根据功能而区分为多个模块。
上述的根据本发明的一实施例的手术仿真信息生成方法实现为与作为硬件的计算机结合而执行的程序(或者应用)而储存在介质中。
上述的程序为了使所述计算机读取程序而执行实现为程序的所述方法,而可以包括所述计算机的处理器(CPU)通过所述计算机的装置接口可读取的由C、C++、JAVA、机器语言等计算机语言代码化的代码(Code)。这些代码可以包括与定义执行所述方法而需要的功能的函数等相关的功能性代码,可以包括所述计算机的处理器按照预定的步骤执行所述功能而所需的执行步骤相关控制代码。此外,这些代码还可以包括所述计算机执行所述功能所需的附加信息或者有关媒体应参照在所述计算机的内部或者外部存储器的哪一个位置的存储器参照相关代码。此外,当所述计算机的处理器为了实现所述功能而需要与远端(Remote)的其他任何计算机或者服务器等进行通信时,代码还可以包括针对如下的通信相关代码:利用所述计算机的通信模块来与远端的其他任何计算机或者服务器等如何进行通信;当通信时需要收发何种信息。
所述存储介质不是诸如寄存器、高速缓存、存储器等的短时间存储数据的介质,而是表示半永久性地存储数据并且能够被设备读取(reading)的介质。具体地,所述存储介质有ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等,但并不限于此。即,所述程序可以存储在所述计算机可以连接的多种服务器上的多种记录介质或者用户的所述计算机上的多种记录介质。此外,所述介质可以分布在通过网络连接的计算机系统中,以分布的方式存储计算机可读代码。
与本发明的实施例相关而说明的方法或者算法的步骤可以直接实现为硬件,或者实现为通过硬件执行的软件模块,或者实现为这些的结合。软件模块可以驻留在RAM、ROM、可擦除可编程只读存储器(EPROM:Erasable Programmable ROM)、电可擦除可编程只读存储器(EEPROM:Electrically Erasable Programmable ROM)、闪存(Flash Memory)、硬盘、可移动盘、CD-ROM或者本发明所属技术领域中公知的任意形态的计算机可读记录介质中。
以上参照附图说明了本发明的实施例,但在本发明所属技术领域中具有普通知识的人员可以理解的是,可以在不改变本发明的其技术思想或者必要特征的情况下以其他具体形态实施。因此,以上记载的实施例应当理解为在所有方面均为示例性的,而不是局限性的。
Claims (10)
1.一种手术仿真信息生成方法,作为计算机执行的手术仿真信息生成方法,其特征在于包括如下步骤:
生成与手术时患者的身体状态相同的虚拟人体模型;
对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;
将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位;
生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据;
判断所述提示表数据是否是优化的;以及
基于判断为优化的所述提示表数据,提供手术引导数据,
其中,判断所述提示表数据是否是优化的步骤包括如下步骤:
获取优化提示表数据;以及
通过判断生成的所述提示表数据内是否包括拖延手术时间的不必要的细部手术动作,并且判断在生成的所述提示表数据内是否遗漏了执行特定的细部手术动作时前后必须包括的细部手术动作,从而将生成的所述提示表数据和所述优化提示表数据进行比较。
2.根据权利要求1所述的手术仿真信息生成方法,其特征在于,
划分为所述最小手术动作单位的步骤包括如下步骤:
从所述虚拟手术数据识别是否发生特定事件;以及
基于所述特定事件识别所述最小手术动作单位,
其中,所述特定事件包括:
包含在所述虚拟手术数据中的手术工具以及手术部位中的至少一个的变化。
3.根据权利要求2所述的手术仿真信息生成方法,其特征在于,
识别所述特定事件是否发生的步骤中,
以所述手术工具的动作变化为基准,识别事件是否发生,
以所述手术部位的状态变化为基准,识别事件是否发生,或者
以根据所述手术工具的动作变化是否引起了所述手术部位的状态变化为基准,识别事件是否发生。
4.根据权利要求1所述的手术仿真信息生成方法,其特征在于,
生成所述提示表数据的步骤中,
对应于所述特定手术过程而顺序地构成所述最小手术动作单位来生成所述提示表数据。
5.根据权利要求1所述的手术仿真信息生成方法,其特征在于,
生成所述虚拟人体模型的步骤包括如下步骤:
获取包含所述患者的手术部位的医疗影像;以及
基于所述医疗影像进行3D建模来生成所述虚拟人体模型。
6.根据权利要求5所述的手术仿真信息生成方法,其特征在于,
生成所述虚拟人体模型的步骤还包括如下步骤:
以基于所述患者的患部位置或者手术类型所确定的手术姿势为基础,计算出所述患者的拍摄姿势;
控制医疗影像拍摄装置来调节患者身体的方向,从而实现与所述手术姿势相同的计算出的所述拍摄姿势;
控制医疗影像拍摄装置来以计算出的所述拍摄姿势拍摄患者的医疗影像;以及
基于以计算出的所述拍摄姿势拍摄的患者的医疗影像校正所述医疗影像来对所述虚拟人体模型进行3D建模。
7.根据权利要求1所述的手术仿真信息生成方法,其特征在于,
获取所述优化提示表数据的步骤包括如下步骤:
获取一个以上的学习提示表数据;
利用所述一个以上的学习提示表数据执行强化学习;以及
基于所述强化学习结果获取所述优化提示表数据。
8.根据权利要求1所述的手术仿真信息生成方法,其特征在于,
生成所述提示表数据的步骤包括如下步骤:
基于用于将手术数据划分为细部手术动作的划分基准而将所述提示表数据生成为特定位数的代码数据;
通过应用标准化的划分基准且指定划分基准内的详细类别来将虚拟手术数据划分为标准化的细部手术动作;
向各个详细类别赋予标准化的代码值,并赋予标准化的代码数据以能够区分各个细部手术动作;以及
根据划分基准应用顺序从特定的细部手术动作所属的上层类别到下层类别的顺序赋予数字或者文字,而将数字化的代码数据赋给各个细部手术动作。
9.一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机运行时使计算机执行根据权利要求1至8中的任一项所述的手术仿真信息生成方法。
10.一种计算机装置,其特征在于,包括:
存储器,存储一个以上的指令;以及
处理器,执行存储在所述存储器中的所述一个以上的指令,
其中,所述处理器通过执行所述一个以上的指令来执行如下步骤:
生成与手术时患者的身体状态相同的虚拟人体模型;
对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据;
将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位;
生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据;
判断所述提示表数据是否是优化的;以及
基于判断为优化的所述提示表数据,提供手术引导数据,
其中,判断所述提示表数据是否是优化的步骤包括如下步骤:
获取优化提示表数据;以及
通过判断生成的所述提示表数据内是否包括拖延手术时间的不必要的细部手术动作,并且判断在生成的所述提示表数据内是否遗漏了执行特定的细部手术动作时前后必须包括的细部手术动作,从而将生成的所述提示表数据和所述优化提示表数据进行比较。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310966673.1A CN116869651A (zh) | 2017-12-28 | 2018-11-15 | 提供基于虚拟现实的手术模拟的装置及方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0182888 | 2017-12-28 | ||
KR1020170182888A KR101862359B1 (ko) | 2017-12-28 | 2017-12-28 | 수술 시뮬레이션 정보 생성방법 및 프로그램 |
PCT/KR2018/013947 WO2019132244A1 (ko) | 2017-12-28 | 2018-11-15 | 수술 시뮬레이션 정보 생성방법 및 프로그램 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310966673.1A Division CN116869651A (zh) | 2017-12-28 | 2018-11-15 | 提供基于虚拟现实的手术模拟的装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111770735A CN111770735A (zh) | 2020-10-13 |
CN111770735B true CN111770735B (zh) | 2023-08-22 |
Family
ID=62781067
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310966673.1A Pending CN116869651A (zh) | 2017-12-28 | 2018-11-15 | 提供基于虚拟现实的手术模拟的装置及方法 |
CN201880088984.XA Active CN111770735B (zh) | 2017-12-28 | 2018-11-15 | 手术仿真信息生成方法及程序 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310966673.1A Pending CN116869651A (zh) | 2017-12-28 | 2018-11-15 | 提供基于虚拟现实的手术模拟的装置及方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11660142B2 (zh) |
EP (1) | EP3733107B1 (zh) |
KR (1) | KR101862359B1 (zh) |
CN (2) | CN116869651A (zh) |
WO (1) | WO2019132244A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101862359B1 (ko) * | 2017-12-28 | 2018-06-29 | (주)휴톰 | 수술 시뮬레이션 정보 생성방법 및 프로그램 |
KR102116423B1 (ko) | 2018-10-29 | 2020-05-28 | 주식회사 매니아마인드 | 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 |
KR102213412B1 (ko) * | 2018-11-15 | 2021-02-05 | 서울여자대학교 산학협력단 | 기복모델 생성방법, 장치 및 프로그램 |
KR102528433B1 (ko) * | 2019-04-02 | 2023-05-02 | 삼성중공업 주식회사 | 갠트리탑재형 카메라를 이용한 곡부재 제작 장치 |
WO2022176813A1 (ja) * | 2021-02-17 | 2022-08-25 | 富士フイルム株式会社 | 学習装置、学習方法、学習装置の作動プログラム、教師データ生成装置、機械学習モデル及び医療用撮影装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2706142Y (zh) * | 2004-01-09 | 2005-06-29 | 陈星广 | 智能机械手脊骨诊治装置 |
CN102282527A (zh) * | 2008-11-21 | 2011-12-14 | 伦敦健康科学中心研究公司 | 无手动指示器系统 |
KR20150113929A (ko) * | 2014-03-31 | 2015-10-08 | 주식회사 코어메드 | 영상수술 트레이닝 제공방법 및 그 기록매체 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068406A2 (en) * | 2003-01-30 | 2004-08-12 | Chase Medical, L.P. | A method and system for image processing and contour assessment |
JP2005124824A (ja) * | 2003-10-23 | 2005-05-19 | Olympus Corp | 手術支援システム |
KR20050048438A (ko) * | 2003-11-19 | 2005-05-24 | 주식회사 휴민텍 | 3차원 정형외과 가이드 방법 |
US20070078678A1 (en) * | 2005-09-30 | 2007-04-05 | Disilvestro Mark R | System and method for performing a computer assisted orthopaedic surgical procedure |
US8117549B2 (en) * | 2005-10-26 | 2012-02-14 | Bruce Reiner | System and method for capturing user actions within electronic workflow templates |
US8560047B2 (en) * | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
CN101627411B (zh) * | 2007-01-16 | 2014-03-19 | 西姆博尼克斯有限公司 | 用于执行模拟的图像导引医疗过程的设备和方法 |
KR101114226B1 (ko) * | 2009-05-19 | 2012-03-05 | 주식회사 이턴 | 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법 |
DE102009049819B4 (de) * | 2009-10-19 | 2019-01-24 | Siemens Healthcare Gmbh | Verfahren zur Unterstützung einer mehrere Arbeitsschritte umfassenden Intervention an einem Patienten |
KR101235044B1 (ko) * | 2010-11-02 | 2013-02-21 | 서울대학교병원 (분사무소) | 3d 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치 |
WO2016201341A1 (en) * | 2015-06-12 | 2016-12-15 | The Trustees Of Dartmouth College | Systems and methods for guiding tissue resection |
KR20120111871A (ko) | 2011-03-29 | 2012-10-11 | 삼성전자주식회사 | 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치 |
US8954297B2 (en) * | 2012-01-02 | 2015-02-10 | Flux Factory, Inc. | Automated and intelligent structure design generation and exploration |
KR101302595B1 (ko) * | 2012-07-03 | 2013-08-30 | 한국과학기술연구원 | 수술 진행 단계를 추정하는 시스템 및 방법 |
US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
US9761014B2 (en) * | 2012-11-15 | 2017-09-12 | Siemens Healthcare Gmbh | System and method for registering pre-operative and intra-operative images using biomechanical model simulations |
KR20160092425A (ko) | 2015-01-27 | 2016-08-04 | 국민대학교산학협력단 | 가상 수술 시뮬레이션 장치 및 그 동작 방법 |
CN107847289A (zh) * | 2015-03-01 | 2018-03-27 | 阿里斯医疗诊断公司 | 现实增强的形态学手术 |
US9949700B2 (en) * | 2015-07-22 | 2018-04-24 | Inneroptic Technology, Inc. | Medical device approaches |
KR101659959B1 (ko) * | 2015-09-03 | 2016-09-26 | 삼성전자주식회사 | 의료 영상 정보를 제공하는 방법 및 그 장치 |
US10398509B2 (en) * | 2015-09-18 | 2019-09-03 | General Electric Company | System and method for optimal catheter selection for individual patient anatomy |
US10130429B1 (en) * | 2016-01-06 | 2018-11-20 | Ethicon Llc | Methods, systems, and devices for controlling movement of a robotic surgical system |
US10842379B2 (en) * | 2016-01-29 | 2020-11-24 | Siemens Healthcare Gmbh | Multi-modality image fusion for 3D printing of organ morphology and physiology |
WO2017173518A1 (en) * | 2016-04-05 | 2017-10-12 | Synaptive Medical (Barbados) Inc. | Multi-metric surgery simulator and methods |
US10049301B2 (en) * | 2016-08-01 | 2018-08-14 | Siemens Healthcare Gmbh | Medical scanner teaches itself to optimize clinical protocols and image acquisition |
US10242292B2 (en) * | 2017-06-13 | 2019-03-26 | Digital Surgery Limited | Surgical simulation for training detection and classification neural networks |
US11350994B2 (en) * | 2017-06-19 | 2022-06-07 | Navlab Holdings Ii, Llc | Surgery planning |
US11229496B2 (en) * | 2017-06-22 | 2022-01-25 | Navlab Holdings Ii, Llc | Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure |
KR101862359B1 (ko) * | 2017-12-28 | 2018-06-29 | (주)휴톰 | 수술 시뮬레이션 정보 생성방법 및 프로그램 |
WO2020251236A1 (ko) * | 2019-06-10 | 2020-12-17 | (주)사맛디 | 딥러닝 알고리즘을 이용한 영상데이터 검색 방법, 장치 및 프로그램 |
-
2017
- 2017-12-28 KR KR1020170182888A patent/KR101862359B1/ko active IP Right Grant
-
2018
- 2018-11-15 CN CN202310966673.1A patent/CN116869651A/zh active Pending
- 2018-11-15 WO PCT/KR2018/013947 patent/WO2019132244A1/ko unknown
- 2018-11-15 CN CN201880088984.XA patent/CN111770735B/zh active Active
- 2018-11-15 EP EP18894558.8A patent/EP3733107B1/en active Active
-
2020
- 2020-06-26 US US16/913,959 patent/US11660142B2/en active Active
-
2023
- 2023-04-18 US US18/302,297 patent/US20230248439A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2706142Y (zh) * | 2004-01-09 | 2005-06-29 | 陈星广 | 智能机械手脊骨诊治装置 |
CN102282527A (zh) * | 2008-11-21 | 2011-12-14 | 伦敦健康科学中心研究公司 | 无手动指示器系统 |
KR20150113929A (ko) * | 2014-03-31 | 2015-10-08 | 주식회사 코어메드 | 영상수술 트레이닝 제공방법 및 그 기록매체 |
Also Published As
Publication number | Publication date |
---|---|
CN116869651A (zh) | 2023-10-13 |
CN111770735A (zh) | 2020-10-13 |
EP3733107A4 (en) | 2021-08-25 |
EP3733107C0 (en) | 2024-03-06 |
EP3733107B1 (en) | 2024-03-06 |
KR101862359B1 (ko) | 2018-06-29 |
US11660142B2 (en) | 2023-05-30 |
US20230248439A1 (en) | 2023-08-10 |
WO2019132244A1 (ko) | 2019-07-04 |
EP3733107A1 (en) | 2020-11-04 |
US20200360089A1 (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111770735B (zh) | 手术仿真信息生成方法及程序 | |
KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
CN106909771B (zh) | 用于输出增强现实信息的方法和系统 | |
JP2022017422A (ja) | 拡張現実感手術ナビゲーション | |
US12040071B2 (en) | Method and program for providing feedback on surgical outcome | |
CN107296650A (zh) | 基于虚拟现实和增强现实的智能手术辅助系统 | |
KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
KR102008891B1 (ko) | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 | |
KR102298417B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
KR20210126243A (ko) | 수술 중 혈관 네비게이션 방법 및 시스템 | |
KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR101864411B1 (ko) | 수술보조 영상 표시방법 및 프로그램 | |
KR102213412B1 (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR20190133425A (ko) | 수술보조 영상 표시방법 및 프로그램 | |
Cameron et al. | Virtual-reality-assisted interventional procedures. | |
CN111741729B (zh) | 手术最优化方法以及装置 | |
KR20190133424A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
US20240299097A1 (en) | Apparatus and method for matching an actual surgical image with a 3d-based virtual simulated surgical image | |
De Paolis | An augmented reality platform for preoperative surgical planning | |
Chae et al. | Imaging and printing in plastic and reconstructive surgery part 2: emerging techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240407 Address after: Seoul City, Korea Patentee after: Hutong Co.,Ltd. Country or region after: Republic of Korea Patentee after: Yonsei University Patentee after: INDUSTRY-UNIVERSITY COOPERATION FOUNDATION HANYANG University Address before: Seoul City, Korea Patentee before: Hutong Co.,Ltd. Country or region before: Republic of Korea |
|
TR01 | Transfer of patent right |