CN112259192A - 一种手术操作系统以及控制方法 - Google Patents

一种手术操作系统以及控制方法 Download PDF

Info

Publication number
CN112259192A
CN112259192A CN202011142489.8A CN202011142489A CN112259192A CN 112259192 A CN112259192 A CN 112259192A CN 202011142489 A CN202011142489 A CN 202011142489A CN 112259192 A CN112259192 A CN 112259192A
Authority
CN
China
Prior art keywords
slave
space
server
mechanical arm
projection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011142489.8A
Other languages
English (en)
Inventor
张晶
贾建强
唐元龙
王荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weijing medical equipment (Tianjin) Co.,Ltd.
Original Assignee
Hoz Minimally Invasive Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoz Minimally Invasive Medical Technology Beijing Co ltd filed Critical Hoz Minimally Invasive Medical Technology Beijing Co ltd
Priority to CN202011142489.8A priority Critical patent/CN112259192A/zh
Publication of CN112259192A publication Critical patent/CN112259192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例提供一种手术操作系统以及控制方法，所述手术操作系统包括：主系统，其中，所述主系统包括：主机械臂；主投影装置；主服务器，被配置为：根据操作对象图像生成3D模型并在所述主投影装置上投影所述3D模型，得到第一3D模型投影图；生成操作指令，其中，所述操作指令用于指示所述主机械臂对所述第一3D模型投影图完成手术操作；以及从系统，其中，所述从系统包括：从机械臂；从服务器，被配置为：接收所述操作指令，并依据所述操作指令控制所述从机械臂完成所述手术操作。本申请的一些实施例通过实现远程手术操作的可视化，提升了现有的医用机械臂远程操作的效果。

Description

一种手术操作系统以及控制方法
技术领域
本申请涉及医疗器械领域，具体而言本申请实施例涉及一种手术操作系统以及控制方法。
背景技术
随着物联网及5G技术的迅速崛起，智能医疗解决方案的需求急剧增加，目前医疗智能机械臂多为通过计算机现场操作，只能针对当前手术过程进行操作。医生熟悉设备使用技能需要在现场实操学习，远程过程视频学习不能现实真实效果，影响了医生设备使用的直观性。
目前医用系统的机械臂仅能实现单一的远程操作，不能实时可视化，这大大削弱了实操性，人机交互体验感不够逼真，无法实现远程多台设备同时联动。
因此如何提升采用机械臂进行手术过程中的智能性和交互性成了亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种手术操作系统以及控制方法，通过本申请的一些实施例至少实现了医疗远程手术及教学工作的可视化，进而提升了教学或者手术过程主机械臂和从机械臂之间的联动性。
第一方面，本申请的一些实施例提供一种手术操作系统，所述手术操作系统包括：主系统，其中，所述主系统包括：主机械臂；主投影装置；主服务器，被配置为：根据操作对象图像生成3D模型并在所述主投影装置上投影所述3D模型，得到第一3D模型投影图；生成操作指令，其中，所述操作指令用于指示所述主机械臂对所述第一3D模型投影图完成手术操作；以及从系统，其中，所述从系统包括：从机械臂；从服务器，被配置为：接收所述操作指令，并依据所述操作指令控制所述从机械臂完成所述手术操作。
本申请的一些实施例通过实现远程手术操作的可视化，提升了现有的医用机械臂远程操作的效果。
在本申请的一些实施例中，所述从系统还包括扫描装置，其中，所述扫描装置被配置为对设置至少一个标志点的患者的病患部位进行扫描，得到所述操作对象图像；所述从服务器还被配置为：向所述主服务器发送包括所述操作对象图像的预处理信息，其中，所述预处理信息还包括所述少一个标志点中各标志点在第一空间中的坐标值，所述第一空间是由所述从机械臂和所述少一个标志点确定的空间；所述主服务器还被配置为：根据所述坐标值生成调整所述主投影装置的状态调整指令，以使第二空间的坐标与所述第一空间的坐标值配准，其中，所述第二空间是由主机械臂和所述第一3D模型投影图显示的所述至少一个标志点确定的。
本申请的一些实施例通过坐标值配准完成分别与主从服务器关联的机械臂之间的联动操作。
在本申请的一些实施例中，所述主服务器还被配置为：确认所述至少一个标志点中的各标志点在所述第二空间的坐标值与相应标志点在所述第一空间的坐标值相同，则停止发送所述调整指令。
本申请的一些实施例完成了与主服务器通信的主机械臂和与从服务器通信的从机械臂各自所在空间的坐标配准，以实现主服务器对从服务器控制的从机械臂的精准控制。
在本申请的一些实施例中，所述操作指令包括确认指令和实操指令；所述主服务器还被配置为：首先生成并发送所述确认指令，之后再生成并发送所述实操指令；其中，所述确认指令用于指示所述从机械臂指向所述至少一个标志点中的至少部分标志点；所述实操指令用于指示所述从机械臂完成所述手术操作。
本申请的一些实施例通过主服务器生成并发送使从机械臂指向标志点的指令来确认主、从服务器建立了联动关系，可行进行手术或者教学操作。
在本申请的一些实施例中，所述从系统还包括：从投影装置；所述主服务还被配置为：向所述从服务器发送所述操作对象图像，其中，所述操作对象图像中包含设置的至少一个标志点中的各标志点；向所述从服务器发送所述至少一个标志点在第二空间中的坐标值，其中，所述第二空间是由所述主机械臂和所述至少一个标志点确定的空间；所述从服务器还被配置为：接收所述操作对象图像并根据所述操作对象图像生成第二3D模型并在所述从投影装置上投影所述第二3D模型，得到第二3D模型投影图像；根据所述第二空间的坐标值生成调整所述从投影装置的第二调整指令，以使所述至少一个标志点在第一空间的坐标值与在所述第二空间的坐标值相同，其中，所述第一空间是由所述从机械臂和所述第二3D模型投影图像上显示的所述至少一个标志点确定的。
本申请的一些实施例通过在主系统和从系统分别设置投影装置实现了远程教学的可视化。
在一些实施例中，所述主服务器和所述从服务器均包括5G通信模块，其中，所述5G通信模块至少用于传输所述操作指令。
本申请的一些实施例采用5G技术来传输操作指令，提升了操作指令传输的实施性。
在一些实施例中，所述主系统和所述从系统中的至少一个包括：视频录制设备，被配置为获取根据所述操作指令对操作对象的操作过程，得到视频文件；其中，所述5G通信模块还被配置为发送或者接收所述视频文件。
本申请的一些实施例方便手术过程中操作过程的详细展示，以提升教学效果或者提升主服务器对与从服务器连接的从机械臂的控制。
在一些实施例中，所述主服务器和所述从服务器均包括显示器，其中，所述显示器至少用于人机交互。
本申请的一些实施例通过在主系统和从系统分别设置显示器来提升人机交互的便利性。
在一些实施例中，所述主投影装置为全息投影装置，所述从投影装置为全息投影装置。
本申请的一些实施例通过全息投影装置提升构建的3D模型的展示效果。
第二方面，本申请的一些实施例提供一种控制方法，应用于主服务器端，所述控制方法包括：接收扫描数据以及坐标值，其中，所述坐标值为设置于操作对象上的标志点在第一空间的坐标值；根据所述扫描数据生成3D模型，并发送至投影装置进行投影；根据所述坐标值调整所述投影装置的状态，以使所述标志点在第二空间的坐标与在所述第一空间的坐标值相同；生成指示在所述第一空间中设置的操作工具指向所述至少一个标志点中的各标志点；生成指示在所述第一空间中设置的所述操作工具进行实际操作，其中，所述操作工具包括主机械臂。
在一些实施例中，所述根据所述坐标值调整所述投影装置的状态，以使所述标志点在第二空间的坐标值与在所述第一空间的坐标值相同，包括：对所述投影装置进行上、下或者旋转调整。
第三方面，本申请的一些实施例中提供一种控制方法，应用于从服务器端，控制扫描单元对设置至少一个标志点的操作对象进行扫描，并接收扫描得到的扫描数据；发送所述扫描数据并发送所述至少一个标志点中各标志点的坐标值；接收来自于主服务器的控制从机械臂操作的操作指令。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的手术操作系统的组成框图；
图2为本申请实施例提供的手术操作系统的应用场景示意图；
图3为本申请实施例提供的主系统的组成示意图；
图4为本申请实施例提供的从系统的组成示意图；
图5为本申请实施例提供的在主服务器执行的控制方法的流程图；
图6为本申请实施例提供的在从服务器执行的控制方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请的一些实施例提供了一种针对医疗设备教学演示、远程手术、远程设备维护升级验证，远程数据共享、实时可视化操作的解决方案。
本申请的一些实施例通过5G技术实现本地主服务器与远程从服务器之间数据的无延时、高数据速率的交换，可现实多远程端与本地主服务器的交互；可实现本地医疗智能机械臂动作与远程端机械臂同步动作，可实现远程后台数据升级，可实现远程共享手术病例，有效的对同类型手术过程进行数据共享总结成功经验，通过全息投影来实现创建后的CT或者MRI图像数据。
本申请的一些实施例通过将控制端设置为一个主服务器，被操作端设置为从服务器(或称为子服务器)，将主服务器与从服务器进行互联，将患者影像资料进行共享通过全息投影装置将软件创建的3D模型投影，子服务器端建立患者与从机械臂之间的空间坐标位置关系，主服务器建立主机械臂与全息投影所显示的3D模型之间的同等的位置关系。需要说明的是，在本申请的一些实施例中同等位置关系是指主服务器的主机械臂与主全息投影所成像的头部模型构成的第二空间的坐标位置关系，与从服务器(或称为子服务器)的从机械臂与患者之间的第一空间位置是相等的，从而可以确保手术过程住机械臂和从机械臂进行的手术操作的一致性。
请参看图1，图1为本申请的一些实施例提供的一种手术操作系统，所述手术操作系统包括：主系统100以及从系统200。
图1的主系统100包括：主机械臂130、主投影装置120以及主服务器110，其中，主服务器110被配置为：根据操作对象图像生成3D模型并在所述主投影装置上投影所述3D模型，得到第一3D模型投影图；生成操作指令，其中，所述操作指令用于指示所述主机械臂对所述第一3D模型投影图完成手术操作。
图1的从系统200包括：从机械臂230以及从服务器210，其中，从服务器210被配置为：接收所述操作指令，并依据所述操作指令控制所述从机械臂完成所述手术操作。在本申请的一些实施例中从系统200也可以包括从投影装置220。
需要说明的是，在本申请的一些实施例中图1的主服务器110通过5G网络与从服务器通信通信，但是本申请并不限定主服务器110与从服务器210之间的通信网络的类型。
如图2所示，该图提供了本申请一些实施例的手机操作系统10的组成以及交互图。图2的手机操作系统10包括主服务器110以及从服务器210。
图2的主服务器110分别与主全息投影装置121以及主机械臂130连接，以调整主全息投影装置121的位置以实现主机械臂130与主全息投影装置121构成的第二空间中各点的坐标值与被控制的从服务器端的第一空间坐标位置配准。图2的主服务器110通过生成的操作指令指示主机械臂130对主全息投影装置121上的第一3D模型投影图进行操作。
对于主服务器控制从机械臂完成针对具体患者的手术操作时，图2的从服务器会建立患者(或者患者的病患部位设置的至少一个标志点，例如由三个不在同一平面的三个标志点)与从机械臂230之间的第一空间坐标系，从服务器之后会将设置了至少一个标志点的病患部位的影响资料发给主服务器并发送至少一个标志点在建立的第一空间对应的坐标系中的坐标值。之后，主服务器110通过调整主全息投影装置121的位置来调整投影的3D模型在第二空间中位置，使得病患部位的标志点坐标值在第一空间和第二空间相同。
例如，在本申请的一些实施例中，所述从系统还包括扫描装置，其中，所述扫描装置被配置为对设置至少一个标志点的患者的病患部位进行扫描，得到所述操作对象图像；所述从服务器还被配置为：向所述主服务器发送包括所述操作对象图像的预处理信息，其中，所述预处理信息还包括所述少一个标志点中各标志点在第一空间中的坐标值，所述第一空间是由所述从机械臂和所述少一个标志点确定的空间；所述主服务器还被配置为：根据所述坐标值生成调整所述主投影装置的状态调整指令，以使第二空间的坐标与所述第一空间的坐标值配准，其中，所述第二空间是由主机械臂和所述第一3D模型投影图显示的所述至少一个标志点确定的。具体地，第二空间是由主机械臂和所述第一3D模型投影图显示的不在同一平面的三个标志点确定的。
在本申请的一些实施例中，所述主服务器还被配置为：确认所述至少一个标志点中的各标志点在所述第二空间的坐标值与相应标志点在所述第一空间的坐标值相同，则停止发送所述调整指令。
在本申请的一些实施例中，所述操作指令包括确认指令和实操指令；所述主服务器还被配置为：首先生成并发送所述确认指令，之后再生成并发送所述实操指令；其中，所述确认指令用于指示所述从机械臂指向所述至少一个标志点中的至少部分标志点；所述实操指令用于指示所述从机械臂完成所述手术操作。
对于主服务器控制从机械臂完成手术教学操作时，图2的从服务器会接收来自于主服务器110或者来自于其他服务器的模型数据，并根据模型数据建立第二3D模型，并将第二3D模型投影至从全息投影装置221。之后，从服务器210通过调整从全息投影装置221的位置来调整投影的第二3D模型在第一空间中位置，使得模型数据同时携带的标志点在第二空间的坐标值与第一空间的坐标值相同，其中，第一空间对应的坐标系是根据从机械臂230和从全息投影装置221建立的，第二空间对应的坐标系是根据主机械臂130和主全息投影装置121建立的。
例如，在本申请的一些实施例中，所述从系统还包括：从投影装置；所述主服务还被配置为：向所述从服务器发送所述操作对象图像，其中，所述操作对象图像中包含设置的至少一个标志点中的各标志点；向所述从服务器发送所述至少一个标志点在第二空间中的坐标值，其中，所述第二空间是由所述主机械臂和所述至少一个标志点确定的空间；所述从服务器还被配置为：接收所述操作对象图像并根据所述操作对象图像生成第二3D模型并在所述从投影装置上投影所述第二3D模型，得到所述第二3D模型投影图像；根据所述第二空间的坐标值生成调整所述从投影装置的第二调整指令，以使所述至少一个标志点在第一空间的坐标值与在所述第二空间的坐标值相同，其中，所述第一空间是由所述从机械臂和所述第二3D模型投影图像上显示的所述至少一个标志点确定的。
需要说明的是，对于针对病患部位的手术操作，从服务器需要预先建立由患者(或者患者身体或者病患部位设置的至少一个标志点)与从机械臂构成的第一空间坐标系，以确定患者与从机械臂之间的空间位置关系。对于手术操作教学演示操作，从服务器可以根据相应数据建立从机械臂与从全息投影装置构成的第一空间坐标系，以确定从机械臂与从全息投影装置(具体地，从全息投影装置上投射的第一3D模型投影图)之间的空间位置关系。
为了提升操作指令传输的实时性，在本申请的一些实施例中，所述主服务器和所述从服务器均包括5G通信模块，其中，所述5G通信模块至少用于传输所述操作指令。
为了进一步提升可视化操作的效果，在本申请的一些实施例中，所述主系统和所述从系统中的至少一个包括：视频录制设备，被配置为获取根据所述操作指令对操作对象的操作过程，得到视频文件；其中，所述5G通信模块还被配置为发送或者接收所述视频文件。
为了提升人机交互效果，在本申请的一些实施例中，所述主服务器和所述从服务器均包括显示器，其中，所述显示器至少用于人机交互。
也就是说，主服务器110作为操作端，指令的发出端，发起端设置为主服务器端，只有一个为主服务器。从服务器210作为接受端，指令的接受端，接受端设置为子服务器端，从服务器可以有N个，其中，N为大于1或等于1的自然数。主全息投影装置用于显示通过CT/MRI图像数据(即操作对象图像数据)所创建的3D模型，可以显示整体结构组织，也可以通过设置，将各提出的分别显示，如大脑皮层、血管组织、大脑组织、颅骨。主机械臂和从械臂用于与从服务器进行交互，最终代替人完成手术的过程，主机械臂和从机械臂的数量根据手术需求确定，不限于单台。在本申请的一些实施例中，主服务器和从服务器之间还采用5G技术进行通信，大大提高物联互通，为数据实时传输有了保障。
为了对从机械臂进行操作控制更好的完成针对患者病患部分为手术，需要首先获取病患部位的扫描图像并获取至少一个标志点的坐标值。例如，在本申请的一些实施例首先给患者贴上标志贴(例如，每个标志贴对应一个标志点)再对包含标志贴的病患部位进行CT或MRI扫描，将扫描后数据(即操作对象图像)导入从服务器。之后，从服务器传送给主服务器，再由主服务器的根据扫描后数据(即操作对象图像)创建成三维模型再传送给主全息投影装置进行投影显示。
建立从服务器端的从机械臂与患者头部的标志点的第一空间坐标系，将至少一个标志点在第一空间坐标系的坐标值传送给主服务器。主服务器经过计算得出主服务器的主机械臂与主全息投影图像的位置关系(即建立空间位置坐标系)，全息投影装置进行空间坐标配对(即建立全息投影模型与主机械臂的空间坐标关系)，再将主机械臂与全息投影上标志点的坐标进行验证。验证通过，主服务器发操作指令给从服务器，操控从服务器端控制从机械臂对各个标志点，验证通过以后，说明主服务器和从服务器之间建立了联动关系，可行进行手术操作。手术过程中从服务器端护士对患者进行消毒及术前作业处理。术前准备好后，主服务器端开始对患者远程手术，从服务器端的辅助医生辅助主服务器端大夫进行手术。需要说明的是，标志点的数量最少四个，且要求至少三个标志点不在同一平面内。
下面结合图3和图4示例性阐述主系统100和从系统200的组成。
如图3所示，主系统100包括：
主服务器110，该主服务器110作为操作端，指令的发出端。在一些实施例中主服务器110包括内置5G模块。在一些实施例中，采用主服务器包括的5G模块可可实现向从机械臂发送操作指令，相应的从服务器的5G通信模块会接收相关的操作指令，并指示从机械臂完成相关操作。
主机械臂130，用于与主服务器110进行交互，最终代替人完成手术的过程，机械臂数量根据手术需求确定，不限于单台。
末端工具140，该末端工具140作为术前路径规划及手术的操作平台。
一个标志贴150对应一个标志点，在CT/MRI扫描后可显影，做为手术过程的标记点，建立第二空间坐标系使用。
主全息投影三维影像160(即第一3D模型投影图)，该主全息投影三维影像160是由主全息投影装置根据主服务器110根据CT/MRI图像数据所创建的3D模型投影得到的。
主全息投影装置120：用于显示通过CT/MRI图像数据所创建的3D模型，可以显示整体结构组织，也可以通过设置，将各提出的分别显示，如大脑皮层、血管组织、大脑组织、颅骨。
手术床190，用于模拟手术环境的使用更加真实感。
显示器180，用于手术软件的交互界面。
如图4所示，从系统包括：
从服务器210，该从服务器210作为操作指令接受端，从服务器可以有N个，从服务器内部设置5G模块。在一些实施例中，通过从服务器内部设置的5G模块可以向主服务器发送扫描患者的病患部位得到的CT或者MRI扫描的信息，相应的主服务器的5G模块通过接收的扫描的信息完成3D建模以及全息投影。
从机械臂230，用于与从服务器210进行交互，最终代替人完成手术的过程，从机械臂230数量根据手术需求确定，不限于单台。
末端工具240作为术前路径规划及手术的操作平台。
标志贴250，该标志贴250在经CT/MRI扫描后可显影，做为手术过程的标志点，用于建立空间坐标系使用。
患者260，该患者260即被手术操作对象。
手术床270作为患者手术过程中的支撑平台。
从显示器290，用于手术软件的交互界面。
如图5所示，该图提供了一种控制方法，应用于主服务器端，所述控制方法包括：S101，接收扫描数据以及坐标值，其中，所述坐标值为设置于操作对象上的标志点在第一空间的坐标值；S102，根据所述扫描数据生成3D模型，并发送至投影装置进行投影；S103，根据所述坐标值调整所述投影装置的状态，以使所述标志点在第二空间的坐标与在所述第一空间的坐标值相同；S104，生成指示在所述第一空间中设置的操作工具(例如，包括机械臂和末端工具)指向所述至少一个标志点中的各标志点；S105，生成指示在所述第一空间中设置的所述操作工具进行实际操作，其中，所述操作工具包括主机械臂。例如，S103包括：对所述投影装置进行上、下或者旋转调整。
对于图5方法中涉及的各步骤的具体处理细节可以参考前文，在此不做过多赘述。
如图6所示，本申请的一些实施例中提供一种控制方法，应用于从服务器端，所述控制方法包括：S201，控制扫描单元对设置至少一个标志点的操作对象进行扫描，并接收扫描得到的扫描数据；S202，发送所述扫描数据并发送所述至少一个标志点中各标志点的坐标值；S203，接收来自于主服务器的控制从机械臂操作的操作指令。
对于图6方法中涉及的各步骤的具体处理细节可以参考前文，在此不做过多赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种手术操作系统，其特征在于，所述手术操作系统包括：
主系统，其中，所述主系统包括：
主机械臂，
主投影装置，
主服务器，被配置为：
根据操作对象图像生成3D模型并在所述主投影装置上投影所述3D模型，得到第一3D模型投影图；
生成操作指令，其中，所述操作指令用于指示所述主机械臂对所述第一3D模型投影图完成手术操作；以及
从系统，其中，所述从系统包括：
从机械臂，
从服务器，被配置为：
接收所述操作指令，并依据所述操作指令控制所述从机械臂完成所述手术操作。
2.如权利要求1所述的手术操作系统，其特征在于，
所述从系统还包括扫描装置，其中，所述扫描装置被配置为对设置至少一个标志点的患者的病患部位进行扫描，得到所述操作对象图像；
所述从服务器还被配置为：
向所述主服务器发送包括所述操作对象图像的预处理信息，其中，所述预处理信息还包括所述少一个标志点中各标志点在第一空间中的坐标值，所述第一空间是由所述从机械臂和所述少一个标志点确定的空间；
所述主服务器还被配置为：
根据所述坐标值生成调整所述主投影装置的状态调整指令，以配准第二空间的坐标与所述第一空间的坐标，其中，所述第二空间是由主机械臂和所述第一3D模型投影图显示的所述至少一个标志点确定的。
3.如权利要求2所述的手术操作系统，其特征在于，所述主服务器还被配置为：确认所述至少一个标志点中的各标志点在所述第二空间的坐标值与相应标志点在所述第一空间的坐标值相同，则停止发送所述调整指令。
4.如权利要求2所述的手术操作系统，其特征在于，所述操作指令包括确认指令和实操指令；
所述主服务器还被配置为：首先生成并发送所述确认指令，之后再生成并发送所述实操指令；
其中，所述确认指令用于指示所述从机械臂指向所述至少一个标志点中的至少部分标志点；所述实操指令用于指示所述从机械臂完成所述手术操作。
5.如权利要求1所述的手术操作系统，其特征在于，所述从系统还包括：从投影装置，
所述主服务还被配置为：
向所述从服务器发送所述操作对象图像，其中，所述操作对象图像中包含设置的至少一个标志点中的各标志点；
向所述从服务器发送所述至少一个标志点在第二空间中的坐标值，其中，所述第二空间是由所述主机械臂和所述至少一个标志点确定的空间；
所述从服务器还被配置为：
接收所述操作对象图像并根据所述操作对象图像生成第二3D模型并在所述从投影装置上投影所述第二3D模型，得到第二3D模型投影图像；
根据所述第二空间的坐标值生成调整所述从投影装置的第二调整指令，以使所述至少一个标志点在第一空间的坐标值与在所述第二空间的坐标值相同，其中，所述第一空间是由所述从机械臂和所述第二3D模型投影图像上显示的所述至少一个标志点确定的。
6.如权利要求1-5任一项所述的手术操作系统，其特征在于，所述主服务器和所述从服务器均包括5G通信模块，其中，所述5G通信模块至少用于传输所述操作指令。
7.如权利要求6所述的手术操作系统，其特征在于，所述主系统和所述从系统中的至少一个包括：视频录制设备，被配置为获取根据所述操作指令对操作对象的操作过程，得到视频文件；
其中，所述5G通信模块还被配置为发送或者接收所述视频文件。
8.如权利要求1-5任一项所述的手术操作系统，其特征在于，所述主服务器和所述从服务器均包括显示器，其中，所述显示器至少用于人机交互。
9.如权利要求1所述的手术操作系统，其特征在于，所述主投影装置为全息投影装置。
10.如权利要求5所述手术操作系统，其特征在于，所述从投影装置为全息投影装置。
11.一种控制方法，应用于主服务器端，其特征在于，所述控制方法包括：
接收扫描数据以及坐标值，其中，所述坐标值为设置于操作对象上的至少一个标志点在第一空间的坐标值；
根据所述扫描数据生成3D模型，并发送至投影装置进行投影；
根据所述坐标值调整所述投影装置的状态，以使所述标志点在第二空间的坐标与在所述第一空间的坐标值相同；
生成指示在所述第一空间中设置的操作工具指向所述至少一个标志点中的各标志点；
生成指示在所述第一空间中设置的所述操作工具进行实际操作，其中，所述操作工具包括主机械臂。
12.如权利要求11所述的控制方法，其特征在于，所述根据所述坐标值调整所述投影装置的状态，以使所述标志点在第二空间的坐标值与在所述第一空间的坐标值相同，包括：对所述投影装置进行上、下或者旋转调整。
13.一种控制方法，应用于从服务器端，其特征在于，所述控制方法包括：
控制扫描单元对设置至少一个标志点的操作对象进行扫描，并接收扫描得到的扫描数据；
发送所述扫描数据并发送所述至少一个标志点中各标志点的坐标值；
接收来自于主服务器的控制从机械臂操作的操作指令。
CN202011142489.8A 2020-10-22 2020-10-22 一种手术操作系统以及控制方法 Pending CN112259192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142489.8A CN112259192A (zh) 2020-10-22 2020-10-22 一种手术操作系统以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142489.8A CN112259192A (zh) 2020-10-22 2020-10-22 一种手术操作系统以及控制方法

Publications (1)

Publication Number Publication Date
CN112259192A true CN112259192A (zh) 2021-01-22

Family

ID=74264255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142489.8A Pending CN112259192A (zh) 2020-10-22 2020-10-22 一种手术操作系统以及控制方法

Country Status (1)

Country Link
CN (1) CN112259192A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2277441A1 (en) * 2009-07-22 2011-01-26 Surgica Robotica S.p.A. Method for generating images of a human body zone undergoing a surgical operation by means of an apparatus for minimally invasive surgical procedures
CN105546405A (zh) * 2015-12-11 2016-05-04 上海三思电子工程有限公司 无影灯远程手术协作系统
CN107073704A (zh) * 2015-02-25 2017-08-18 奥林巴斯株式会社 机械手系统和医疗系统
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
KR20190133423A (ko) * 2018-05-23 2019-12-03 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
CN111031958A (zh) * 2017-08-16 2020-04-17 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
CN111128362A (zh) * 2020-01-22 2020-05-08 复旦大学附属华山医院 一种眼科手术智能控制系统
WO2020151670A1 (zh) * 2019-01-25 2020-07-30 李汉忠 一种经尿道电切镜手术机器人系统
CN111658145A (zh) * 2020-06-16 2020-09-15 首都医科大学附属北京同仁医院 Icl植入手术机器人系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2277441A1 (en) * 2009-07-22 2011-01-26 Surgica Robotica S.p.A. Method for generating images of a human body zone undergoing a surgical operation by means of an apparatus for minimally invasive surgical procedures
CN107073704A (zh) * 2015-02-25 2017-08-18 奥林巴斯株式会社 机械手系统和医疗系统
CN105546405A (zh) * 2015-12-11 2016-05-04 上海三思电子工程有限公司 无影灯远程手术协作系统
CN111031958A (zh) * 2017-08-16 2020-04-17 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
KR20190133423A (ko) * 2018-05-23 2019-12-03 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2020151670A1 (zh) * 2019-01-25 2020-07-30 李汉忠 一种经尿道电切镜手术机器人系统
CN111128362A (zh) * 2020-01-22 2020-05-08 复旦大学附属华山医院 一种眼科手术智能控制系统
CN111658145A (zh) * 2020-06-16 2020-09-15 首都医科大学附属北京同仁医院 Icl植入手术机器人系统

Similar Documents

Publication Publication Date Title
US20210287779A1 (en) Method and System for Simulating Surgical Procedures
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US11013559B2 (en) Virtual reality laparoscopic tools
US11270601B2 (en) Virtual reality system for simulating a robotic surgical environment
Cepolina et al. An introductory review of robotically assisted surgical systems
CN114173693A (zh) 用于远距监督手术程序的增强现实系统和方法
CN102341046A (zh) 利用增强现实技术的手术机器人系统及其控制方法
CN104869934A (zh) 利用三维跟踪传感器进行配准及导航
Kaber et al. Investigating human performance in a virtual reality haptic simulator as influenced by fidelity and system latency
CN110215285A (zh) 手术导航的纠偏方法及系统
CN114022587A (zh) 用于手术机器人的标记共享方法、装置、系统、设备及介质
CN112259192A (zh) 一种手术操作系统以及控制方法
US20230341932A1 (en) Two-way communication between head-mounted display and electroanatomic system
WO2021034694A1 (en) Auto-configurable simulation system and method
US20240177427A1 (en) Mixed Reality Combination System
KR20040084243A (ko) 인공고관절 가상 시술 시뮬레이션 시스템
CN115607294A (zh) 手术机器人系统和数据处理方法
JP2004348091A (ja) 実体模型及びこれを用いた手術支援システム
CN113397705A (zh) 一种骨折复位导航方法及系统
CN113196413A (zh) 360 vr体积媒体编辑器
CN118105168A (zh) 一种医用器械引导系统及方法
Ho et al. Supervised control for robot-assisted surgery using augmented reality
US20240268892A1 (en) Virtual Reality Surgical Systems And Methods Including Virtual Navigation
KR102038398B1 (ko) 수술 시뮬레이션 시스템 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210520

Address after: 301700 west side of the third floor of No.3 workshop, No.6 Xinchuang Road, Wuqing Development Zone, Wuqing District, Tianjin

Applicant after: Weijing medical equipment (Tianjin) Co.,Ltd.

Address before: Room 110, courtyard 5, No.4, East Binhe Road, Qinghe, Haidian District, Beijing

Applicant before: HOZ MINIMALLY INVASIVE MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd.

TA01 Transfer of patent application right