CN111770735A - 手术仿真信息生成方法及程序 - Google Patents

Abstract

提供一种计算机执行的手术仿真信息生成方法。所述方法包括如下步骤：生成与手术时患者的身体状态相同的虚拟人体模型；对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位；以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

Description

手术仿真信息生成方法及程序

技术领域

本发明涉及一种生成手术仿真信息的方法和程序。

背景技术

需要开发手术过程中能够提供信息来辅助医师手术的技术。为了提供用于辅助手术的信息，需要能够识别手术行为。

以往，为了优化手术流程而设计方案时会参考预先拍摄好的医疗影像或者咨询非常熟练的医师，但是存在只靠医疗影像难以判断不必要的流程以及咨询熟练医师难以获取适合特定患者的咨询等问题。

因此，医疗影像或咨询熟练医师用于对手术对象患者的手术流程进行优化的辅助用途存在很多困难。

因此，要求开发一种如下的方法，即，最小化利用三维医疗影像(例如，因三维手术工具及道具的移动而发生的器官内部变化的虚拟影像)进行手术时的不必要的流程来优化手术流程并能够提供基于此的手术辅助信息。

此外，近来深度学习广泛用于医疗影像的分析。深度学习被定义为通过各种非线性变换方法的组合来尝试高水平的抽象化(在大量的数据或复杂的材料中概括出核心内容或功能的操作)的机器学习算法的集合。深度学习在广义上可以看成将人的思考方式教给计算机的机器学习的一个领域。

发明内容

技术问题

本发明期望解决的课题在于提供手术仿真信息生成方法及程序。

本发明期望解决的课题并不限于以上提及的课题，本领域技术人员可以通过下面的记载而明确理解未提及的其他技术课题。

技术方案

用于解决上述课题的根据本发明的一方面的一种手术仿真信息生成方法包括如下步骤：生成与手术时患者的身体状态相同的虚拟人体模型；对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位；以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

此外，划分为所述最小手术动作单位的步骤包括如下步骤：从所述虚拟手术数据识别是否发生特定事件；以及基于所述特定事件识别最小手术动作单位，其中所述特定事件可以包括包含在所述虚拟手术数据中的手术工具以及手术部位中的至少一个的变化。

此外，识别所述特定事件是否发生的步骤中，可以以所述手术工具的动作变化为基准识别是否发生事件，以所述手术部位的状态变化为基准识别是否发生事件，或者以根据所述手术工具的动作变化是否引起了所述手术部位的状态变化为基准识别是否发生事件。

此外，生成所述提示表数据的步骤中，可以对应于所述特定手术过程而顺序地构成所述最小手术动作单位来生成所述提示表数据。

此外，生成所述虚拟人体模型的步骤可包括如下步骤：获取包含所述患者的手术部位的医疗影像；以及基于所述医疗影像进行3D建模来生成所述虚拟人体模型。

此外，生成所述虚拟人体模型的步骤还可以包括如下步骤：获取所述患者的实际手术姿势；以及基于所述实际手术姿势校正所述医疗影像来对所述虚拟人体模型进行3D建模。

此外，还可以包括如下步骤：判断所述提示表数据是否是优化的。

此外，所述判断是否是优化的步骤还可以包括如下步骤：基于判断为优化的提示表数据提供手术引导数据。

此外，所述判断是否是优化的步骤可以包括如下步骤：获取优化提示表数据；以及将所述提示表数据和所述优化提示表数据进行比较。

此外，获取所述优化提示表数据的步骤可以包括如下步骤：获取一个以上的学习提示表数据；利用所述一个以上的学习提示表数据执行强化学习；以及基于所述强化学习结果获取所述优化提示表数据。

用于解决所述课题的根据本发明的一方面提供了一种计算机程序，与作为硬件的计算机结合，存储在计算机可读取的记录介质，使其能够执行根据所公开的实施例的手术仿真信息生成方法。

用于解决所述课题的根据本发明的一方面的一种装置包括：存储器，存储一个以上的指令；以及处理器，执行存储在所述存储器中的所述一个以上的指令，其中，所述处理器通过执行所述一个以上的指令来执行如下步骤：生成与手术时患者的身体状态相同的虚拟人体模型；对虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位；以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

技术效果

根据所公开的实施例，通过利用预先获取的信息生成对各个患者优化的手术仿真信息，手术时向医师提供此信息，从而提供辅助手术的效果。

本发明的效果并不限于以上提及的效果，本领域技术人员可以通过下面的记载而明确理解未提及的其他效果。

附图说明

图1是示出了根据所公开的实施例的机器人手术系统的图。

图2是示出了根据一实施例的生成手术仿真信息的方法的流程图。

图3是表示根据一实施例的通过应用手术姿势的3D建模数据生成过程的流程图。

图4是示出了根据另一实施例的生成手术仿真信息的方法的流程图。

图5是示出了根据一实施例的手术流程优化方法的流程图。

图6是示意性表示根据本发明的一实施例的执行手术仿真信息生成方法的装置200的结构的图。

具体实施方式

参照与附图一起详细后述的实施例，则可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为互不相同的多种形态，并不限于以下公开的实施例，提供本实施例仅使本发明的公开完整并用于向本发明所属技术领域中的普通技术人员完整地告知发明范围，本发明仅由权利要求的范围所定义。

本说明书中使用的术语是为说明实施例而并不是限制本发明。在本说明书中，单数型也包括复数型，除非在语句中特别提到。说明书中使用的“包含(comprises)”和/或“包括(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或添加。贯穿说明书，相同附图标记指代相同的构成要素，“和/或”包括所述项目中的每一个和一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素，但这些构成要素显然不受限于这些术语。这些术语仅用于将一个构成要素与另一构成要素进行区分。因此，以下提及的第一构成要素在本发明的技术思想内，显然也可以是第二构成要素。

除非有其他定义，本说明书中所使用的所有术语(包括技术及科学术语)可使用于本发明所属技术领域的一般技术人员共同理解的含义。此外，一般所使用的词典中定义的术语不会被理想地或过度地解释，除非有特别明确地定义。

说明书中所使用的“部”或者“模块”等术语意味着诸如软件、FPGA或者ASIC的硬件构成要素，“部”或者“模块”起到某种作用。但是“部”或者“模块”的含义并不限于软件或者硬件。“部”或者“模块”可以构成为在可寻址的存储介质，也可以构成为能够再现一个或一个以上的处理器。因此，作为一示例，“部”或者“模块”包括诸如软件构成要素、面向对象软件构成要素、类构成要素及任务构成要素的构成要素和进程、函数、属性、程序、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组以及变量。构成要素和“部”或者“模块”内所提供的功能可以和更小的构成要素及“部”或者“模块”结合，或者可以进一步分离为额外的构成要素和“部”或者“模块”。

本说明书中“影像”意味着由离散性的影像因素(例如，二维影像中的像素以及3D影像中的体素)构成的多维(multi-dimensional)数据。例如，影像可以包括由CT拍摄装置获取的对象的医疗影像。

本说明书中“对象”可以是人或者动物，或者是人或者动物的部分或者全部。例如，对象可以包括肝、心脏、子宫、大脑、乳房、腹部等器官以及血管中的至少一个。

本说明书中“用户”是医疗专家，可以是医生、护士、临床病理学家、医疗影像专家等，可以是修理医疗装置的技术人员，但不限于此。

本说明书中“医疗影像数据”是用医疗影像拍摄装备拍摄的医疗影像，包括能够用三维模型实现对象身体的所有医疗影像。“医疗影像数据”可以包括计算机断层扫描(CT：Computed Tomography)影像、核磁共振(MRI：Magnetic Resonance Imaging)影像、正电子发射断层扫描(PET：Positron Emission Tomography)影像。

本说明书中“虚拟人体模型”意味着基于医疗影像数据所生成的符合实际患者身体的模型。“虚拟人体模型”可以是将医疗影像数据原样进行三维建模来生成的，也可以是建模后校正成与实际手术时相同的。

本说明书中“虚拟手术数据”意味着包括对虚拟人体模型所执行的预演或者仿真行为的数据。“虚拟手术数据”可以是在虚拟空间对虚拟人体模型所执行的预演或者仿真行为的影像数据，也可以是针对虚拟人体模型所执行的手术动作记录的数据。

本说明书中“实际手术数据”意味着根据实际医护人员执行手术而获取的数据。“实际手术数据”可以是在实际手术过程中拍摄手术部位的影像数据，也可以是针对实际手术过程中所执行的手术动作记录的数据。

本说明书中“详细手术动作”意味着根据特定的基准所划分的手术动作的最小单位。

本说明书中“提示表(Cue sheet)数据”意味着将特定的手术过程划分为详细手术动作后按顺序记录的数据。

本说明书中“试行提示表数据”意味着基于用户执行仿真的虚拟手术数据而获取的提示表数据。

本说明书中“训练用虚拟手术提示表数据”包括在试行提示表数据，且意味着基于用户执行手术仿真演练(Simulation)而获取的虚拟手术数据来生成的提示表数据。

本说明书中“参考用虚拟手术提示表数据”意味着针对为了构建学习用大数据或者介绍手术流程而特定的医护人员执行的虚拟手术的提示表数据。

本说明书中“优化提示表数据”意味着针对在手术时间或者手术预后等方面优化的手术流程的提示表数据。

本说明书中“学习提示表数据”意味着用于计算优化提示表数据的学习而利用的提示表数据。

本说明书中“手术引导数据”意味着实际手术时利用为引导信息的数据。

本说明书中“计算机”包括执行运算处理来向用户提供结果的多种多样的所有装置。例如，计算机不仅是桌上型PC、笔记本计算机(Note Book)，也可以对应于智能手机(Smart phone)、平板PC、蜂窝电话(Cellular phone)、PCS电话(PCS phone：PersonalCommunication Service phone)、同步/异步国际电话移动系统-2000(IMT-2000：International Mobile Telecommunication-2000)移动终端、掌上个人计算机(PalmPersonalComputer)、个人数字助理(PDA：Personal Digital Assistant)等。此外，头戴式显示器(HMD：Head Mounted Display)装置包括计算功能时，HMD装置可以成为计算机。此外，计算机可以对应于从客户端接收请求而执行信息处理的服务器。

以下，参照附图对本发明的实施例进行详细说明。

图1是示出了根据所公开的实施例的机器人手术系统的图。

参照图1，示出了根据所公开的实施例的可执行机器人手术的系统的示意图。

根据图1，机器人手术系统包括医疗影像拍摄装备10、服务器20以及配备在手术室的控制部30、影像拍摄部36、显示器32以及手术机器人34。

一实施例中，机器人手术通过用户利用控制部30来控制手术用机器人34来执行。一实施例中，机器人手术可以在没有用户的控制下被控制部30自动执行。

服务器20是包括至少一个处理器和通信部的计算装置。

控制部30包括包含至少一个处理器和通信部的计算装置。一实施例中，控制部30包括用于控制手术用机器人34的硬件以及软件界面。

影像拍摄部36包括至少一个图像传感器。即，影像拍摄部36包括至少一个相机而用于拍摄手术部位。一实施例中，影像拍摄部36与手术机器人34结合而被利用。例如，影像拍摄部36包括与手术机器人34的手术臂结合的至少一个相机。

一实施例中，影像拍摄部36拍摄的影像显示在显示器340。

控制部30从服务器20接收手术所需的信息，或者生成手术所需的信息而提供给用户。例如，控制部30将所生成或接收的手术所需的信息显示在显示器32。

例如，用户观看显示器32的同时操作控制部30来控制手术机器人34的移动来执行机器人手术。

服务器20利用用医疗影像拍摄装备10预先拍摄的对象(患者)的医疗影像数据来生成机器人手术所需的信息，将生成的信息提供给控制部30。

控制部30将从服务器20接收的信息显示在显示器32而提供给用户，或者利用从服务器20接收的信息来控制手术机器人34。

一实施例中，并不限制医疗影像拍摄装备10所使用的手段，例如，可以使用CT、X-Ray、PET、MRI等其他多种多样的医疗影像获取手段。

以下，参照附图对生成手术仿真信息的方法进行详细说明。

图2是示出了根据一实施例的生成手术仿真信息的方法的流程图。

图2所示的各个步骤在图1所示的服务器20或者控制部30中按时间顺序执行。或者也可以在单独配备的计算装置中执行。以下，为了方便说明，会叙述为各步骤被计算机执行，但每个步骤的执行主体不局限于特定装置，其全部或者一部分可在服务器20或者控制器30执行。此外，也可以在单独配备的计算装置中执行。

参照图2，根据本发明的一实施例的手术仿真信息生成方法可以包括如下步骤：生成与手术时患者的身体状态相同的虚拟人体模型(S200)；对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据(S400)；将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位(S600)；以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据(S800)。以下，记载对各个步骤的详细说明。

计算机会生成与手术时对象(例如，患者)的身体状态相同的虚拟人体模型。

作为一实施例，计算机获取包括对象(例如，患者)的手术部位的医疗影像，基于获取的医疗影像进行3D建模来生成患者的虚拟人体模型。

用户为了执行与实际手术相似的仿真，需要与实际患者的身体状态相同的3D建模数据。

现有技术中，以与实际手术姿势不同的姿势执行医疗影像拍摄，并将相应医疗影像数据原样地实现为3D建模数据，因此手术前仿真无法完全提供预先练习实际手术的效果。

具体地，一般来讲，在患者躺着的状态下用医疗影像拍摄装备所拍摄的患者的内部器官布置状态或者器官模样受到根据对象躺着的角度的重力影响，而与手术时对象的内部器官布置状态或者器官模样不同，因此无法提供与实际手术相同的仿真环境。

此外，与为了腹腔镜手术或者机器人手术在身体内部填充二氧化碳气体的气腹状态不一致的状态下执行仿真，因此手术前仿真无法完全提供预先练习实际手术的效果。为了解决这些问题，应生成与实际手术状态相同的3D建模数据(即，3D气腹模型)。

图3是表示根据一实施例的通过应用手术姿势的3D建模数据生成过程的流程图。

作为一实施例，如图3所示，计算机基于应用实际手术姿势来拍摄的医疗影像数据，生成3D建模数据。具体地讲，可以包括如下步骤：计算机以基于患者的患部位置或者手术类型所确定的手术姿势为基础，计算出患者的拍摄姿势(S202)；以及基于所述拍摄姿势拍摄的医疗影像数据执行3D建模(S204)。

计算机以基于患者的患部位置或者手术类型所确定的手术姿势为基础，计算出患者的拍摄姿势(S202)。手术姿势可根据患者的患部位置(即，手术部位)、手术类型而变化。计算机计算出按与患者的手术姿势相同的姿势可以拍摄医疗影像的拍摄姿势。

例如，当在患者身体倾斜15度的状态下对上半身进行手术时，计算机可以为了仅将上半身直立15度而支撑患者背部的姿势计算为拍摄姿势。由于仅将患者的上半身直立15度的姿势设定为拍摄姿势，利用现有的医疗影像拍摄装置(例如，CT装置)可以将手术部位拍摄成与手术时相同的状态。

此外，例如，医疗影像拍摄装置可以包括调节患者的布置状态的功能来实现与手术姿势相同的拍摄姿势。例如，医疗影像拍摄装置为计算机断层扫描(CT：Computedtomography)装置时，CT装置的工作台可以沿预定的方向倾斜(tilting)或者旋转(rotating)预定的角度，机架也可以沿预定方向倾斜预定的角度。

通过这种方式，计算机或者用户控制拍摄装置的工作台和机架以与手术姿势相同的角度倾斜，计算机可以从医疗影像拍摄装置获取以与实际手术时相同的角度倾斜的拍摄姿势拍摄的医疗影像数据。

此外，计算机可以从医护人员接收患者的手术姿势，可以基于患者的患部位置、手术类型等直接计算出将执行的手术姿势。

之后，计算机获取基于以所述拍摄姿势拍摄的医疗影像数据生成的3D建模数据(S204)。计算机利用对象的3D医疗影像通过渲染生成3D建模影像。此外，计算机可以接收在医疗影像拍摄装置以特定的姿势拍摄后生成的3D建模数据。即，医疗影像拍摄装置(例如，CT装置)基于医疗影像数据执行3D渲染生成3D建模数据后传输到计算机。

此外，作为另一实施例，计算机将变更为特定手术时的身体状态的校正算法应用于在一般的拍摄条件下拍摄的医疗影像数据，来生成3D建模数据。即，计算机对以一般状态平躺的患者拍摄的医疗影像数据应用倾斜状态下根据重力的身体变化或者根据注入二氧化碳而形成为气腹模型的身体变化，来生成3D模型数据。

例如，可通过学习将针对一般的拍摄条件以及身体状态的医疗影像数据和特定的身体状态以及手术条件进行手术时的身体状态数据进行匹配而形成的大数据，而计算出所述校正算法。所述手术时的身体状态数据可以包括实际手术时的身体内部器官模样或者拍摄布置的影像数据或者拍摄身体表面的影像数据等等。

作为一实施例，在基于在一般条件下拍摄的医疗影像数据(例如，CT数据)形成腹腔镜手术或者机器人手术时的气腹模型的情况下，计算机将患者的医疗影像数据和手术时的身体表面数据进行匹配而构建为执行学习的大数据。

例如，医护人员在执行腹腔镜手术或者机器人手术之前拍摄根据注入二氧化碳而变形的腹部表面来获取身体表面数据。计算机通过学习大数据生成将一般状态的3D模型数据形成为腹腔镜手术或者机器人手术时的气腹模型的修正基准或者修正算法。之后，计算机在获取了新患者的医疗影像数据时，基于修正基准或者修正算法来使基于医疗影像数据生成的3D模型数据变形，生成气腹模型。

通过这种方式，计算机针对特定患者而生成与手术时的身体状态相似的3D模型数据而提供给用户。

重新参照图2，计算机对进行3D建模的虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据(S400)。用户会执行对3D建模影像(即，虚拟人体模型)进行虚拟的手术的仿真或者预演。例如，计算机在3D建模影像上显示虚拟的手术工具，用户可以使用多种方式控制虚拟的手术工具对3D建模影像执行进行手术的预演。

所述虚拟手术数据是根据用户针对3D建模的患者的虚拟人体模型进行手术仿真(Simulation)而生成的。获取虚拟手术数据的过程可以是用户对手术进行仿真训练(Simulation)的过程，也可以是手术前在相同的条件下进行预演(Rehearsal)的过程。计算机可以通过多种方式从用户接收虚拟手术数据。

作为一实施例，计算机可以通过虚拟现实(VR：VirtualReality)装置向用户提供虚拟人体模型，通过控制器接收对虚拟人体模型的手术动作。所述控制器可以是能够识别用户手部动作的多种形态。例如，所述控制器实现为手套型而能够获取用户在手术时的细微的手指移动和手的实时布置状态。

具体地讲，计算机向用户佩戴的HMD装置提供虚拟人体模型。计算机根据用户的操作旋转或者扩大虚拟人体模型而将其提供，据此用户仔细观察与预定给患者手术相同地实现的虚拟人体模型的同时执行手术计划以及仿真。

例如，根据对象的身体特征，需要进行实际手术的血管以及器官可能因诸如网膜(肠膜)的脂肪而看不见，但是在建模时去除网膜能够准确地知道实际血管以及器官的位置，且据此可以树立为达到需要实际手术的对象的最佳手术计划。计算机获取因用户选择特定的手术工具的输入，通过控制器获取使用此手术工具对虚拟人体模型的特定的区域执行手术的操作。

此外，作为一实施例，虚拟手术数据可以储存为实现用户对虚拟人体模型执行的手术动作的影像数据。计算机可以生成基于由控制器获取的实时动作数据、执行动作的手术工具、虚拟人体模型内被执行动作的位置等的仿真影像。

此外，作为另一实施例，虚拟手术数据可以是对虚拟人体模型自身的建模数据、仿真或者预演过程中各时间点处所使用的手术工具以及动作数据的全部数据。即，虚拟手术数据可以是使外部计算机接收后能够实现仿真影像的多个数据集合。

计算机将虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位(S600)。

手术流程是利用手术工具对手术部位执行一系列的手术动作而形成的过程。因此，对特定手术流程进行仿真而获取的虚拟手术数据包括一系列的手术动作。

即，计算机可以从包括一系列的手术动作的虚拟手术数据中区分作为一个特定的动作而具有意义的最小单位的最小手术动作单位而将其划分。在此，所谓最小手术动作单位指示构成手术流程的一系列的手术动作中表现为特定的手术动作的最小的动作单位。即，最小动作单位可以是表示一个特定手术动作的细部手术动作。

这时，一个特定的细部手术动作可以由对手术工具或者手术部位具有一定模式的连续的动作形成。换句话说，当虚拟手术数据包括第一细部手术动作和第二细部手术动作时，第一细部手术动作和第二细部手术动作可以由互不相同的动作模式形成。因此，计算机基于虚拟手术数据的各个时间点所包括的信息来识别包括与现在时间点不同的信息的时间点而判断是否形成为与现在时间点的细部手术动作不同的动作模式。

作为一实施例，计算机可以从虚拟手术数据识别是否发生特定事件，基于所识别的特定事件识别最小手术动作单位来将虚拟手术数据划分成至少一个以上的最小手术动作单位。

例如，计算机可以通过包括在虚拟手术数据的各个时间点的信息来识别对手术工具或者手术部位(例如，肝、胃、血管、组织等器官)的变化，而判断是否发生事件。即，计算机可以基于手术工具的动作变化来识别是否发生事件，基于手术部位的状态变化来识别是否发生事件，或者基于根据手术工具的动作变化的发生是否引起手术部位的状态变化来识别是否发生事件。

例如，可以以手术工具的位置、方向、移动程度、类型等的变化为基准来识别是否发生事件。以所识别的事件的发生时间点为基准判断在之前以及之后的时间点是否因手术工具形成了相互不同的动作，来划分为至少一个以上的细部手术动作(即，最小手术动作单位)。

或者，以手术部位的位置、方向、状态等变化为基准识别是否发生事件。以识别的事件发生时间点为基准判断在之前以及之后时间点手术部位是否变更，来划分为至少一个以上的细部手术动作(即，最小手术动作单位)。

或者，以手术工具是否接触手术部位，手术工具是否具有能量而发生手术部位的变更等为基准识别是否发生事件。以识别的事件发生时间点为基准判断在之前以及之后的时间点是否形成了相互不同的手术动作模式，来划分为至少一个以上的细部手术动作(即，最小手术动作单位)。

或者，以手术部位是否发生出血为基准识别是否发生事件，以所识别的事件发生时间点为基准划分为至少一个细部手术动作(即，最小手术动作单位)。

此外，根据本发明的一实施例中，细部手术动作(即，最小手术动作单位)除了以所述的事件是否发生为基准被划分，也可以以其他多种基准被划分。

例如，细部手术动作可以以手术类型(例如，腹腔镜手术，机器人手术)、进行手术的解剖学上的身体部位、所使用的手术工具、手术工具的数量、画面上手术工具出现的方向或者位置、手术工具的移动(例如，前进/后退)等为基准而被划分。

所述划分基准和划分基准内所包括的详细类别可以通过医护人员的实际手术数据的学习来直接设定。计算机根据由医护人员所设定的划分基准以及详细类别执行监督(Supervised)学习将虚拟手术数据划分为最小单位的细部手术动作。

此外，所述划分基准和划分基准内所包括的详细类别可以通过计算机的手术影像的学习来提取。例如，计算机通过深度学习(即，非监督学习)累积为大数据的实际手术数据，来计算出划分基准以及各个划分基准内的类别。之后，计算机根据通过实际手术数据的学习而生成的划分基准来划分虚拟手术数据，生成提示表数据。

此外，作为另一实施例，还可以通过影像识别掌握虚拟手术数据或者实际手术数据是否符合各自的划分基准来划分虚拟手术数据或者实际手术数据。即，计算机在虚拟手术数据或者实际手术数据的影像内画面识别与划分基准对应的解刨学上的器官位置、所出现的手术工具、各个手术工具的数量等，来执行细部手术动作单位的划分。

此外，作为另一实施例，计算机基于包括在实际手术数据或者虚拟手术数据中的手术工具移动数据来执行用于生成提示表数据的划分过程。实际手术数据包括在用户执行机器人手术时的用户所选的手术工具类型以及数量、关于各个手术工具移动的信息等控制手术机器人的过程中所输入的多种信息，虚拟手术数据也包括在对虚拟人体模型进行仿真时用户所选的手术工具类型以及数量、关于各个手术工具的移动等的信息。因此，计算机基于实际手术数据或者虚拟手术数据的各个时间点所包括的信息来执行划分。

此外，作为一实施例，虚拟手术数据或者实际手术数据包括切除、缝合等多种类型的动作，根据划分基准执行划分。具体地，将实际执行胃癌手术的实际手术数据(例如，实际手术影像)或者对胃癌手术进行仿真的虚拟手术数据划分为细部手术动作来生成提示表数据的过程的说明如下。

例如，首先，胃癌手术包括切除包括肿瘤的胃的一部分或者全部的动作以及切除淋巴腺的动作。另外，根据胃癌的状况使用多种切除术以及连接术。此外，各个动作根据采取动作的具体位置、手术工具的移动方向而被划分为更加详细的多个动作。

例如，首先胃癌手术的细部动作可被划分为开腹步骤、切除步骤、连接步骤以及缝合步骤。

此外，连接切除的器官的方法包括剖开心窝4-5cm以上再连接的体外吻合方法或者剖开肚脐3cm左右并在腹腔内进行切除以及吻合的体内吻合方法，所述的连接步骤可以根据如同具体的连接方法划分得更加详细。

进一步，各个手术方法可以根据手术工具的位置以及移动而被划分为更加详细的多个细部手术动作。

计算机生成由最小手术动作单位(即，细部手术动作)构成而表示特定的手术过程的提示表数据(S800)。即，计算机顺序地构成至少一个最小手术动作单位以对应于利用虚拟人体模型仿真的特定手术过程，最终生成提示表数据。

根据本发明的一实施例，划分的各个细部手术动作(即，最小手术动作单位)可基于细部手术动作执行的位置以及手术工具的移动路径(pathway)而被赋予标准化的名称。

一实施例中，用于标准化的名称的术语可以被定义为多种多样。例如，处理胃的下端右侧特定部位时，该部位的名称可以使用在医学领域通常使用的名称，可以使用根据所公开的实施例的系统中定义的更加全面或者细分化的名称。

因此，预演影像可以被整理为多个动作基于标准化的名称而顺序排列的提示表形式的信息。同样，用户实际执行手术的手术影像也可以划分为动作单位，且整理成提示表形式的信息。

此外，作为一实施例，所述提示表数据可以根据划分为细部手术动作的基准而被生成为特定位数的代码(Code)数据。即，计算机通过应用标准化的划分基准且指定划分基准内的详细类别将虚拟手术数据划分为标准化的细部手术动作，向各个详细类别赋予标准化的代码值，赋予能够区分各个细部手术动作的标准化的代码数据。

计算机根据划分基准应用顺序从特定细部手术动作所属的上层类别开始顺序赋予数字或者文字，而将数字(Digital)化的代码数据赋给各个细部手术动作。通过这种方式，计算机可将提示表数据生成为各个细部手术动作的标准化的代码数据所排列的形态，而不是划分的细部手术动作的影像。此外，用户通过提供仅由基准化的代码数据形成的提示表数据来共享或者传达仿真的手术过程。

此外，作为一实施例，计算机可以将标准化的名称赋给各个细部手术动作的标准化的代码(Code)。通过这种方式，用户可以在全部的提示表内只筛选所需的手术动作(或者动作(Action))部分来进行确认。此外，这时，用户即使不观看全部的预演或者手术影像，只观看基于各个动作被标准化的名称而顺序排列的提示表也可以容易掌握手术或者预演的进行过程。

提示表数据可以利用对各个细部手术动作的影像数据库转换为手术影像。所述影像数据库可以储存有符合各个代码数据的影像，根据情况存储有符合各个代码数据的多个影像。例如，特定的代码数据可根据先前执行的动作而加载数据库内的不同的细部手术动作影像。

此外，因各个提示表数据和特定的虚拟人体模型匹配而存储，计算机可将包括在提示表数据的各个细部手术动作顺序应用于虚拟人体模型，而再现为手术仿真影像。

因此，与提示表对应的影像可以在与手术预演影像相同的视点(point of view)下再现，也可以重构为不同的视点而再现。或者，影像建模为3D，根据用户的操作而调节视点和位置。

此外，如图4所示，作为另一实施例，还包括计算机判断基于用户的虚拟手术数据而生成的试行提示表数据是否是优化的步骤(S1000)。

计算机通过试行提示表数据和优化提示表数据的比较来判断试行提示表数据的适当性。例如，计算机判断因用户进行仿真而生成的试行提示表数据内是否包括拖延手术时间的不必要的细部手术动作，是否遗漏了执行特定的细部手术动作时前后必须包括的细部手术动作等，来判断生成的试行提示表数据是否适合应用于实际患者。

为了执行对试行提示表数据的评价，计算机可以执行计算出优化提示表数据的过程。

图5是示出了根据一实施例的手术流程优化方法的流程图。

计算机获取一个以上的学习提示表数据(S1020)。所述学习提示表数据是为了计算出优化提示表数据而被学习的学习对象数据。所述学习提示表数据可以包括基于实际手术数据而生成的提示表数据(即，实际手术提示表数据)或者基于作为参考用而仿真的虚拟手术数据而生成的提示表数据(即，参考用虚拟手术提示表数据)。所述实际手术提示表数据是计算机将实际手术数据基于划分基准来划分而生成的。所述参考用虚拟手术提示表数据不是在用户的手术训练过程所获取的，而是为了构建学习对象数据的目的或者作为参考用而提供给练习医师的目的而执行仿真而生成的。

之后，计算机利用学习提示表数据来执行强化学习(Reinforcement learning)(S1040)。强化学习是机器学习的一个领域，在某种环境中定义的智能体识别当前状态并从可选择的行动中选择使回报最大化的动作或动作顺序。强化学习可以概括为学习基于状态转换和根据基于状态转换的回报来使回报最大化的方法。

之后，计算机利用强化学习的结果计算出优化提示表数据(S1060)。所述优化提示表数据可基于强化学习的结果被计算为缩短麻醉时间的最短手术时间、最小出血量、必要动作组、必要执行顺序等条件。

所述必要动作组是为执行特定细部手术动作而必须一起执行的细部手术动作的组。所述必要执行顺序是在执行特定手术的过程中必须按顺序执行的手术动作顺序。例如，根据手术的类型或者手术动作的类型而应按顺序出现的手术动作及其顺序可能被已经确定。

此外，计算机通过强化学习计算出根据患者的身体条件、手术部位(例如，肿瘤组织)条件(例如，肿瘤的大小、位置等)等的按照情况的优化提示表数据。为此，计算机在学习时将患者条件、手术部位条件等和学习提示表数据一起利用。

作为一实施例，计算机可以自己执行虚拟仿真手术。例如，计算机可以基于所公开的手术流程优化方法来生成根据手术类型以及患者的类型的手术流程，基于生成的手术流程来执行虚拟的手术仿真。

计算机评价虚拟的手术仿真结果并基于虚拟的手术仿真信息以及对其结果的评价信息执行强化学习，而获取优化的手术流程。

即使是学习为可以生成优化的手术流程的模型，因为实际手术时每个患者的身体结构和手术类型不同，所以难以根据各个患者以及手术类型生成优化的手术流程。

因此，计算机利用学习的模型生成基于患者的身体结构以及手术类型的手术流程并执行虚拟的手术仿真而执行强化学习，可以根据各个患者以及手术类型生成优化的手术流程。

此外，如图4所示，作为另一实施例，还包括步骤：计算机根据用户的请求基于特定的提示表数据提供手术引导数据(S1200)。即，计算机可以在手术途中向用户提供用户执行仿真或者预演而生成的提示表数据。

图6是示意性示出了根据本发明的一实施例的执行手术仿真信息生成方法的装置200的结构的图。

参照图6，处理器210可包括一个以上的核(core，未示出)以及图像处理部(未示出)以及/或者与其他构成要素收发信号的连接通路(例如，总线(bus)等)。

根据一实施例的处理器210执行存储在存储器220中的一个以上的指令，来执行关于图2至图5所说明的手术仿真信息生成方法。

作为一示例，处理器210可以通过执行存储在存储器220中的一个以上的指令而执行如下步骤：生成与手术时患者的身体状态相同的虚拟人体模型；对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位；以及生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

另外，处理器210可以额外包括暂时性地以及/或者永久性地储存在处理器内部处理的信号的随机存取存储器(RAM：Random Access Memory，未示出)以及只读存储器(ROM：Read-Only Memory，未示出)。此外，处理器210可以实现为至少包括图像处理部、随机存取存储器以及只读存储器中的至少一个的片上系统(SoC：system on chip)的形态。

存储器220可以储存用于处理器210的处理以及控制的程序(一个以上的指令)。储存在存储器220中的程序根据功能而区分为多个模块。

上述的根据本发明的一实施例的手术仿真信息生成方法实现为与作为硬件的计算机结合而执行的程序(或者应用)而储存在介质中。

上述的程序为了使所述计算机读取程序而执行实现为程序的所述方法，而可以包括所述计算机的处理器(CPU)通过所述计算机的装置接口可读取的由C、C++、JAVA、机器语言等计算机语言代码化的代码(Code)。这些代码可以包括与定义执行所述方法而需要的功能的函数等相关的功能性代码，可以包括所述计算机的处理器按照预定的步骤执行所述功能而所需的执行步骤相关控制代码。此外，这些代码还可以包括所述计算机执行所述功能所需的附加信息或者有关媒体应参照在所述计算机的内部或者外部存储器的哪一个位置的存储器参照相关代码。此外，当所述计算机的处理器为了实现所述功能而需要与远端(Remote)的其他任何计算机或者服务器等进行通信时，代码还可以包括针对如下的通信相关代码：利用所述计算机的通信模块来与远端的其他任何计算机或者服务器等如何进行通信；当通信时需要收发何种信息。

所述存储介质不是诸如寄存器、高速缓存、存储器等的短时间存储数据的介质，而是表示半永久性地存储数据并且能够被设备读取(reading)的介质。具体地，所述存储介质有ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等，但并不限于此。即，所述程序可以存储在所述计算机可以连接的多种服务器上的多种记录介质或者用户的所述计算机上的多种记录介质。此外，所述介质可以分布在通过网络连接的计算机系统中，以分布的方式存储计算机可读代码。

与本发明的实施例相关而说明的方法或者算法的步骤可以直接实现为硬件，或者实现为通过硬件执行的软件模块，或者实现为这些的结合。软件模块可以驻留在RAM、ROM、可擦除可编程只读存储器(EPROM：Erasable Programmable ROM)、电可擦除可编程只读存储器(EEPROM：Electrically Erasable Programmable ROM)、闪存(Flash Memory)、硬盘、可移动盘、CD-ROM或者本发明所属技术领域中公知的任意形态的计算机可读记录介质中。

以上参照附图说明了本发明的实施例，但在本发明所属技术领域中具有普通知识的人员可以理解的是，可以在不改变本发明的其技术思想或者必要特征的情况下以其他具体形态实施。因此，以上记载的实施例应当理解为在所有方面均为示例性的，而不是局限性的。

Claims (12)

1.一种手术仿真信息生成方法，作为计算机执行的手术仿真信息生成方法，其特征在于包括如下步骤：

生成与手术时患者的身体状态相同的虚拟人体模型；

对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；

将所述虚拟手术数据划分为作为表示一个特定动作的单位的最小手术动作单位；以及

生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

2.根据权利要求1所述的手术仿真信息生成方法，其特征在于，

划分为所述最小手术动作单位的步骤包括如下步骤：

从所述虚拟手术数据识别是否发生特定事件；以及

基于所述特定事件识别所述最小手术动作单位，

其中，所述特定事件包括：

包含在所述虚拟手术数据中的手术工具以及手术部位中的至少一个的变化。

3.根据权利要求2所述的手术仿真信息生成方法，其特征在于，

识别所述特定事件是否发生的步骤中，

以所述手术工具的动作变化为基准，识别事件是否发生，

以所述手术部位的状态变化为基准，识别事件是否发生，或者

以根据所述手术工具的动作变化是否引起了所述手术部位的状态变化为基准，识别事件是否发生。

4.根据权利要求1所述的手术仿真信息生成方法，其特征在于，

生成所述提示表数据的步骤中，

对应于所述特定手术过程而顺序地构成所述最小手术动作单位来生成所述提示表数据。

5.根据权利要求1所述的手术仿真信息生成方法，其特征在于，

生成所述虚拟人体模型的步骤包括如下步骤：

获取包含所述患者的手术部位的医疗影像；以及

基于所述医疗影像进行3D建模来生成所述虚拟人体模型。

6.根据权利要求5所述的手术仿真信息生成方法，其特征在于，

生成所述虚拟人体模型的步骤还包括如下步骤：

获取所述患者的实际手术姿势；以及

基于所述实际手术姿势校正所述医疗影像来对所述虚拟人体模型进行3D建模。

7.根据权利要求1所述的手术仿真信息生成方法，其特征在于，

还包括如下步骤：所述提示表数据是否是优化的。

8.根据权利要求7所述的手术仿真信息生成方法，其特征在于，

所述判断是否是优化的步骤还包括：

基于判断为优化的提示表数据，提供手术引导数据。

9.根据权利要求7所述的手术仿真信息生成方法，其特征在于，

所述判断是否是优化的步骤包括：

获取优化提示表数据；以及

将所述提示表数据和所述优化提示表数据进行比较。

10.根据权利要求9所述的手术仿真信息生成方法，其特征在于，

获取所述优化提示表数据的步骤包括如下步骤：

获取一个以上的学习提示表数据；

利用所述一个以上的学习提示表数据执行强化学习；以及

基于所述强化学习结果获取所述优化提示表数据。

11.一种计算机程序，与作为硬件的计算机结合，存储在计算机可读取记录介质，使其执行权利要求1的方法。

12.一种装置，其特征在于，包括：

存储器，存储一个以上的指令；以及

处理器，执行存储在所述存储器中的所述一个以上的指令，

其中，所述处理器通过执行所述一个以上的指令来执行如下步骤：

生成与手术时患者的身体状态相同的虚拟人体模型；

对所述虚拟人体模型进行特定手术过程的仿真来获取虚拟手术数据；

将所述虚拟手术数据划分为表示一个特定动作的最小手术动作单位；以及

生成由所述最小手术动作单位构成且表示所述特定手术过程的提示表数据。

Images