CN115136253A - 用于关节镜视频分析的方法及用于其的装置 - Google Patents

用于关节镜视频分析的方法及用于其的装置 Download PDF

Info

Publication number
CN115136253A
CN115136253A CN202180015676.6A CN202180015676A CN115136253A CN 115136253 A CN115136253 A CN 115136253A CN 202180015676 A CN202180015676 A CN 202180015676A CN 115136253 A CN115136253 A CN 115136253A
Authority
CN
China
Prior art keywords
video data
surgical
video
data
arthroscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180015676.6A
Other languages
English (en)
Inventor
B·W·奎斯特
V·贾亚库马尔
C·A·罗德里格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smith and Nephew Orthopaedics AG
Smith and Nephew Asia Pacific Pte Ltd
Smith and Nephew Inc
Original Assignee
Smith and Nephew Orthopaedics AG
Smith and Nephew Asia Pacific Pte Ltd
Smith and Nephew Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smith and Nephew Orthopaedics AG, Smith and Nephew Asia Pacific Pte Ltd, Smith and Nephew Inc filed Critical Smith and Nephew Orthopaedics AG
Publication of CN115136253A publication Critical patent/CN115136253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Surgical Instruments (AREA)

Abstract

公开了有利于改进对关节镜程序的视频分析的方法、非暂时性计算机可读介质和关节镜视频分析设备和系统。利用该技术，与关节镜手术的视频馈送有关的分析数据可以使用机器学习模型来获得并且与视频馈送相关联。所生成的视频可被实时输出以提供与手术程序有关的情境信息，或者可被保存以用于训练或信息目的的回放。

Description

用于关节镜视频分析的方法及用于其的装置
相关申请
本申请要求2020年2月20日提交的、标题为“METHODS FOR ARTHROSCOPIC VIDEOANALYSIS AND DEVICES THEREFOR(用于关节镜视频分析的方法及用于其的装置)”的美国临时专利申请号62/978,939和2020年11月10日提交的、标题为“METHODS FORARTHROSCOPIC VIDEO ANALYSIS AND DEVICES THEREFOR(用于关节镜视频分析的方法及用于其的装置)”的美国临时专利申请号63/111,853的优先权，两个专利申请通过引用全部并入本文中。
技术领域
本公开大体上涉及与关节镜视频分析有关的方法、系统和设备，并且更具体地涉及用于改进关节镜视频数据的处理以识别解剖结构、识别病理且测量解剖结构的几何形状的方法和装置。
背景技术
关节镜手术在许多关节相关病理的治疗中很有用。关节镜的核心是可视化平台，因为它提供了进入关节的窗口。对于熟练的外科医生来说，可以单独地从图像提取丰富的信息。当组合成视频序列时，甚至可以提取更多的信息。熟练的外科医生可以根据关节镜手术的视频序列确定的示例性特征包括：在仅观察宏观结构的一部分时解剖结构的标识、与特定解剖结构有关的病理，以及与视场相关的测量的近似值。
然而，对关节镜视场的情境理解局限于高度熟练的外科医生。仅在试图实时地(即，以显示关节镜视场的监视器的刷新速率)获得对获得的关节镜视场的图像或视频的情境理解时，该问题才会加剧。虽然机器学习和人工智能已应用于分析从诸如x射线、MRI或CT扫描图像的固定取向输入获得的图像，但鉴于实时处理视频数据所需的复杂性，此类分析尚未应用于关节镜视频。因此，大多数外科医生不记录关节镜手术的实时馈送，而是主要在手术中的特定点处拍摄短视频剪辑或图像快照。这些项仅记住涉及哪些解剖结构或哪些产品被植入，但它们在手术中并未提供任何有用的数据。
需要的是用于提供允许在关节镜手术期间呈现实时分析的关节镜视频分析的方法和系统。该分析可用于标记解剖结构、识别病理和测量关节镜视场中项目的几何形状。此外，当使用计算机辅助手术系统时，可采用此类分析。
附图说明
并入本说明书中且形成本说明书的一部分的附图说明本公开的实施例，且连同书面描述一起用于解释本发明的原理、特性和特征。在附图中：
图1示出了根据实施例的包括示例性计算机辅助手术系统(CASS)的手术室。
图2示出了根据一些实施例的电磁传感器装置的示例。
图3A示出了根据一些实施例的具有三个垂直线圈的电磁传感器装置的替代性示例。
图3B示出了根据一些实施例的具有两个不平行固定线圈的电磁传感器装置的替代性示例。
图3C示出了根据一些实施例的具有两个不平行分离线圈的电磁传感器装置的替代性示例。
图4示出了根据一些实施例的电磁传感器装置和患者骨的示例。
图5A示出了根据实施例的手术计算机提供给CASS的其它部件的说明性控制指令。
图5B示出了根据实施例的CASS的部件提供给手术计算机的说明性控制指令。
图5C示出了根据实施例的手术计算机通过网络连接到手术数据服务器的说明性实施方式。
图6示出了根据实施例的手术患者护理系统和说明性数据源。
图7A示出了根据实施例的用于确定术前手术计划的示例性流程图。
图7B示出了根据实施例的用于确定护理期，包括术前、术中和术后动作的示例性流程图。
图7C示出了根据实施例的说明性图形用户界面，包括描绘植入物放置的图像。
图8示出了根据实施例的用于关节镜视频分析的包括关节镜视频分析系统的系统。
图9示出了根据实施例的图8中所示的关节镜视频分析系统的更详细视图。
图10示出了根据实施例的示例性关节镜视频分析设备。
图11示出了根据实施例的用于使用机器学习模型改进关节镜视频分析的示例性方法的流程图。
图12示出了根据实施例的用于使用术后视频处理改进关节镜视频分析的图11的方法的示例性工作流的流程图。
图13示出了根据实施例的用于使用术中实时视频分析改进关节镜视频分析的图11的方法的示例性工作流的流程图。
具体实施方式
本公开描述了将分析信息与视频馈送输出相关联的改进关节镜视频数据分析的方法。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对示例实施例的透彻理解。然而，所属领域的技术人员将显而易见的是，可以在没有任何数目的这些具体细节的情况下实践实施例。
本公开不限于所描述的特定系统、装置和方法，因为其可以变化。描述中使用的术语仅用于描述特定版本或实施例的目的，而不旨在限制范围。
如本文件中所使用，除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数指代。除非另有定义，否则本文所使用的所有科技术语具有与本领域普通技术人员通常所理解的相同含义。本公开中的任何内容均不应被解释为承认本公开中描述的实施例由于在前发明而无权把本公开的日期提前。如本文件中所使用，术语“包括”意指“包括但不限于”。
定义
出于本公开的目的，术语“植入物”用于指代制造成置换或增强生物结构的假体装置或结构。例如，在全髋关节置换程序中，使用假体髋臼杯(植入物)来置换或增强患者的磨损或损坏的髋臼。虽然术语“植入物”通常被认为表示人造结构(与移植形成对比)，但是出于本说明书的目的，植入物可包括移植以置换或增强生物结构的生物组织或材料。
出于本公开的目的，术语“实时”用于指代事件发生或可操作系统接收到输入时即时执行的计算或操作。然而，术语“实时”的使用并不旨在排除在输入和响应之间引起某些延迟的操作，只要延迟是机器的性能特性引起的意外结果即可。
尽管本公开中的许多内容涉及按特定职衔或角色的外科医生或其他医疗专业人员，但本公开中的任何内容都不旨在限于特定的职衔或职能。外科医生或医疗专业人员可以包括任何医生、护士、医疗专业人员或技师。这些术语或职衔中的任何一个都可以与本文公开的系统的用户互换使用，除非另有明确规定。例如，在一些实施例中，对外科医生的引用也可以适用于技师或护士。
本文所公开的系统、方法和装置特别好地适合于利用手术导航系统(例如
Figure BDA0003806153700000041
手术导航系统)的手术程序。NAVIO是宾夕法尼亚州匹兹堡的BLUE BELTTECHNOLOGIES公司的注册商标，该公司是田纳西州孟菲斯的SMITH&NEPHEW公司的子公司。
CASS生态系统概述
图1提供了根据一些实施例的示例计算机辅助手术系统(CASS)100的图示。如以下各节中进一步详细所述，CASS使用计算机，机器人和成像技术来帮助外科医生执行骨科手术程序，例如全膝关节置换术(TKA)或全髋关节置换术(THA)。例如，手术导航系统可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如CASS 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且，这些系统允许外科医生更准确地规划、跟踪和导航器械和植入物相对于患者身体的放置，以及进行术前和术中身体成像。
执行器平台105在手术期间相对于患者定位手术工具。执行器平台105的确切部件将根据所采用的实施例而变化。例如，对于膝手术，执行器平台105可以包括在其使用期间保持手术工具或器械的末端执行器105B。末端执行器105B可以是外科医生使用的手持式装置或器械(例如
Figure BDA0003806153700000042
手持件或切割引导件或夹具)，或者替代地，末端执行器105B可以包括由机器人臂105A保持或定位的装置或器械。尽管在图1中示出了一个机器人臂105A，但在一些实施例中，可以有多个装置。例如，在手术台T的每一侧可以有一个机器人臂105A，或者在手术台T的一侧可以有两个装置。机器人臂105A可以直接安装到手术台T，在手术台T的旁边位于地板平台(未示出)上，安装在落地杆上，或安装在手术室的墙壁或天花板上。地板平台可以是固定的或可移动的。在一个特定实施例中，机器人臂105A安装在位于患者的腿或脚之间的落地杆上。在一些实施例中，末端执行器105B可以包括缝合线保持器或吻合器以帮助闭合伤口。此外，在两个机器人臂105A的情况下，手术计算机150可以驱动机器人臂105A一起工作以在闭合时缝合伤口。替代地，手术计算机150可以驱动一个或多个机器人臂105A以在闭合时缝合伤口。
执行器平台105可以包括用于在手术期间定位患者的肢体的肢体定位器105C。肢体定位器105C的一个示例是SMITH AND NEPHEW SPIDER2系统。肢体定位器105C可以由外科医生手动操作，或者替代地，基于从手术计算机150(以下描述)接收到的指令来改变肢体位置。尽管在图1中示出了一个肢体定位器105C，但在一些实施例中可以有多个装置。作为示例，在手术台T的每一侧可以有一个肢体定位器105C，或者在手术台T的一侧可以有两个装置。肢体定位器105C可以直接安装到手术台T，在手术台T的旁边位于地板平台(未示出)上，安装在杆上，或安装在手术室的墙壁或天花板上。在一些实施例中，肢体定位器105C可以以非常规方式使用，例如牵开器或特定的骨保持器。作为示例，肢体定位器105C可以包括脚踝靴、软组织夹、骨夹或软组织牵开器匙，例如钩形、弯曲或成角的刀片。在一些实施例中，肢体定位器105C可以包括缝线保持器以辅助闭合伤口。
执行器平台105可以包括工具，如螺丝刀，指示轴线或平面的光或激光，水准仪，销驱动器，销拔出器，平面检查器，指示器，指状件，或它们的某种组合。
切除设备110(图1中未示出)使用例如机械、超声或激光技术执行骨或组织切除。切除设备110的示例包括钻孔装置、去毛刺装置、振荡锯切装置、振动冲击装置、扩孔器、超声骨切割装置、射频消融装置、往复运动装置(例如锉刀或拉刀)，以及激光消融系统。在一些实施例中，切除设备110在手术期间由外科医生保持和操作。在其他实施例中，执行器平台105可以用于在使用期间保持切除设备110。
执行器平台105还可以包括切割引导件或夹具105D，其用于引导在手术期间用于切除组织的锯或钻。这样的切割引导件105D可以一体地形成为执行器平台105或机器人臂105A的一部分，或者切割引导件可以是可以配合地和/或可移除地附接到执行器平台105或机器人臂105A的独立结构。可以由CASS 100控制执行器平台105或机器人臂105A，以根据术前或术中制定的手术计划将切割引导件或夹具105D定位在患者的解剖结构附近，使得切割引导件或夹具将根据手术计划产生精确的骨切割。
跟踪系统115使用一个或多个传感器来收集定位患者的解剖结构和手术器械的实时位置数据。例如，对于TKA程序，跟踪系统可以在程序期间提供末端执行器105B的位置和取向。除了位置数据之外，来自跟踪系统115的数据还可以用于推断解剖结构/器械的速度/加速度，其可以用于工具控制。在一些实施例中，跟踪系统115可以使用附接到末端执行器105B的跟踪器阵列来确定末端执行器105B的位置和取向。可以基于跟踪系统115的位置和取向以及跟踪系统115和末端执行器105B之间的三维空间中的已知关系来推断末端执行器105B的位置。在本发明的各种实施例中可以使用各种类型的跟踪系统，包括但不限于红外(IR)跟踪系统、电磁(EM)跟踪系统、基于视频或图像的跟踪系统以及超声配准和跟踪系统。使用由跟踪系统115提供的数据，手术计算机150可以检测对象并防止碰撞。例如，手术计算机150可以防止机器人臂105A和/或末端执行器105B与软组织碰撞。
任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如，可以在阵列中使用红外和可见光摄像头的组合。各种照明源(例如红外LED光源)可以照亮场景，从而可以进行三维成像。在一些实施例中，这可以包括立体，三视，四视等成像。除了在一些实施例中固定到推车的摄像头阵列之外，还可以在整个手术室中放置附加摄像头。例如，操作者/外科医生穿戴的手持式工具或头戴件可以包括将图像传回中央处理器以将那些图像与摄像头阵列获取的图像相关的成像功能。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外，一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在快速响应(QR)代码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。在一些实施例中，摄像头可以安装在机器人臂105A上。
如本文所论述的，尽管大多数跟踪和/或导航技术利用基于图像的跟踪系统(例如，IR跟踪系统、基于视频或图像的跟踪系统等等)。然而，基于电磁(EM)的跟踪系统由于各种原因变得越来越常见。例如，标准光学跟踪器的植入需要组织切除(例如，向下到皮质)以及后续钻孔和驱动皮质销。另外，由于光学跟踪器需要与跟踪系统的直达视线，因此此类跟踪器的放置可能需要远离手术部位以确保它们不限制外科医生或医疗专业人员的移动。
通常，基于EM的跟踪装置包括一个或多个线圈和参考场发生器。一个或多个线圈可(例如，经由有线或无线电源)通电。一旦通电，线圈就产生可(例如，由参考场发生器或附加装置)以允许确定一个或多个线圈的位置和取向的方式检测和测量的电磁场。如所属领域的普通技术人员应理解的，例如图2中所示的单个线圈限于检测五(5)个总自由度(DOF)。例如，传感器200能够跟踪/确定X、Y或Z方向上的移动，以及围绕Y轴202或Z轴201的旋转。然而，由于线圈的电磁特性，不可能正确地跟踪围绕X轴线的旋转运动。
因此，在大多数电磁跟踪应用中，诸如图3A中所示的三线圈系统用于实现在可使刚性主体在三维空间中移动的所有六个自由度中的跟踪(即，前/后310、上/下320、左/右330、滚动340、俯仰350和偏航360)。然而，包括两个额外线圈及其定位的90°偏移角可能要求跟踪装置大得多。替代地，如本领域的技术人员所知，少于三个完整的线圈可用于跟踪所有6DOF。在一些基于EM的跟踪装置中，两个线圈可以彼此固定，例如图3B中所示的。由于两个线圈301B、302B彼此刚性地固定，不完全平行，并且具有相对于彼此已知的位置，因此可以使用此布置确定第六自由度303B。
尽管使用两个固定线圈(例如，301B、302B)允许在6DOF中使用基于EM的跟踪，但由于附加线圈，传感器装置的直径比单个线圈大得多。因此，在手术环境中使用基于EM的跟踪系统的实际应用可能需要组织切除并对患者骨的一部分进行钻孔以允许插入EM跟踪器。替代地，在一些实施例中，可以仅使用销(例如，不需要钻孔或切除大量骨)将单个线圈或5DOFEM跟踪装置植入/插入患者骨中。
因此，如本文所述，需要一种解决方案，该解决方案可以将EM跟踪系统的使用限于小到足以使用小直径针或销(即，不需要在骨中制造新切口或大直径开口)插入/嵌入的装置。因此，在一些实施例中，未附接到第一传感器且因此具有小直径的第二5DOF传感器可用于跟踪所有6DOF。现在参考图3C，在一些实施例中，两个5DOF EM传感器(例如，301C和302C)可以在不同位置处以不同角取向(例如，角303C是非零的)插入到患者中(例如，患者骨中)。
现在参考图4，示出了使用在大多数OR中典型的标准中空针405将第一5DOF EM传感器401和第二5DOF EM传感器402插入到患者骨403中的示例实施例。在另一实施例中，第一传感器401和第二传感器402可具有“α”404的角度偏移。在一些实施例中，偏移角“α”404可能需要大于预定值(例如，0.50°、0.75°等的最小角)。在一些实施例中，此最小值可以在手术计划期间由CASS确定并提供给外科医生或医学专业人员。在一些实施例中，最小值可以基于一个或多个因素，例如，跟踪系统的定向准确度、第一EM传感器与第二EM传感器之间的距离。场发生器的位置、场检测器的位置、EM传感器的类型、EM传感器的质量、患者解剖结构等等。
因此，如本文所论述的，在一些实施例中，销/针(例如，套管安装针等)可用于插入一个或多个EM传感器。通常，销/针将是一次性部件，而传感器本身可以是可重复使用的。然而，应理解，这仅是一个可能系统，并且可使用销/针和/或EM传感器是独立的一次性使用的或可重复使用的各种其它系统。在另一实施例中，EM传感器可(例如，使用鲁尔锁配件等)固定到安装针/销，这可以允许快速组装和拆卸。在另外的实施例中，EM传感器可以利用允许传感器最小地侵入放置的替代套筒和/或锚定系统。
在另一实施例中，上述系统可以允许多传感器导航系统，其可以检测和校正困扰电磁跟踪系统的场畸变。应理解，场畸变可以由参考场内的任何铁磁性材料的移动引起。因此，如本领域的普通技术人员所知，典型OR具有大量可造成干扰的装置(例如，手术台、LCD显示器、照明设备、成像系统、手术仪器等)。此外，众所周知，场畸变难以检测。使用多个EM传感器使得系统能够准确地检测场畸变，和/或警示用户当前位置测量值可能不准确。因为传感器(例如，经由销/针)牢固地固定到骨解剖结构，所以传感器位置(X、Y、Z)的相对测量可用于检测场畸变。作为非限制性示例，在一些实施例中，在EM传感器固定到骨之后，两个传感器之间的相对距离是已知的并且应当保持恒定。因此，此距离的任何改变都可以指示存在场畸变。
在一些实施例中，外科医生可以在术前或术中用系统手动配准特定对象。例如，通过与用户界面交互，外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记，或者通过使用其他常规图像跟踪方式，处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。
在一些实施例中，诸如在手术室中识别个人、重要工具或骨的基准标记的某些标记物可以包括可以由与跟踪系统关联的摄像头或摄像头阵列拾取的被动或主动标识。例如，红外LED可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态识别标记。类似地，一维或二维光学代码(条形码、QR代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码非对称地放置在对象上，则它们也可以用于通过将标识的位置与图像中对象的范围进行比较来确定对象的取向。例如，可以将QR码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如，在一些实施例中，外科医生和其他人员可以穿戴增强现实头戴件以提供附加的摄像头角度和跟踪能力。
除了光学跟踪外，还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如，外科医生可以执行手动配准过程，由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面，可以为该骨标绘三维表面，所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态)，可以通过外推法在环境中跟踪该表面的模型。
将CASS 100配准到患者的相关解剖结构的配准过程还可能涉及使用解剖学标志，例如骨或软骨上的标志。例如，CASS 100可以包括相关骨或关节的3D模型，并且外科医生可以使用连接到CASS的探针在术中收集有关患者实际骨上的骨标志的位置的数据。骨标志可以包括例如内踝和外踝，股骨近端和胫骨远端的端部，以及髋关节的中心。CASS 100可以将外科医生用探针收集的骨标志的位置数据与3D模型中相同标志的位置数据进行比较和配准。替代地，CASS 100可以通过使用由外科医生使用CASS探针或其他手段收集的骨标志和骨表面的位置数据来构建没有术前图像数据的骨或关节的3D模型。配准过程还可以包括确定关节的各个轴。例如，对于TKA，外科医生可以使用CASS 100来确定股骨和胫骨的解剖和机械轴。外科医生和CASS 100可以通过在螺旋方向上移动患者的腿部(即，环转)来识别髋关节的中心，以便CASS可以确定髋关节中心的位置。
组织导航系统120(图1中未示出)为外科医生提供手术区域周围的患者的骨、软骨、肌肉、神经和/或血管组织的术中实时可视化。可以用于组织导航的系统的示例包括荧光成像系统和超声系统。
显示器125提供图形用户界面(GUI)，其显示由组织导航系统120收集的图像以及与手术有关的其他信息。例如，在一个实施例中，显示器125覆盖术前或术中收集的从各种模态(例如，CT、MRI、X射线、荧光、超声等)收集的图像信息，以向外科医生提供患者的解剖结构的各种视图以及实时状况。显示器125可以包括例如一个或多个计算机监视器。作为显示器125的替代或补充，手术人员中的一个或多个人员可以穿戴增强现实(AR)头戴式装置(HMD)。例如，在图1中，外科医生111穿戴AR HMD 155，其可以例如将术前图像数据覆盖在患者上或提供手术计划建议。在以下各节中详细描述了AR HMD 155在手术程序中的各种示例性使用。
手术计算机150向CASS 100的各种部件提供控制指令，从那些部件收集数据，并为手术期间所需的各种数据提供一般处理。在一些实施例中，手术计算机150是通用计算机。在其他实施例中，手术计算机150可以是使用多个中央处理单元(CPU)或图形处理单元(GPU)来执行处理的并行计算平台。在一些实施例中，手术计算机150通过一个或多个计算机网络(例如，互联网)连接到远程服务器。远程服务器可以用于例如数据的存储或计算密集型处理任务的执行。
可以使用本领域中公知的各种技术来将手术计算机150连接到CASS 100的其他部件。而且，计算机可以使用多种技术来连接到手术计算机150。例如，末端执行器105B可以通过有线(即，串行)连接而连接到手术计算机150。跟踪系统115、组织导航系统120和显示器125可以类似地使用有线连接来连接到手术计算机150。替代地，跟踪系统115、组织导航系统120和显示器125可以使用无线技术连接到手术计算机150，所述无线技术例如但不限于Wi-Fi、蓝牙、近场通信(NFC)或ZigBee。
动力冲击和髋臼扩孔器装置
以上关于图1描述的CASS设计的灵活性的一部分在于可以根据需要向CASS 100添加额外的或替代的装置以支持特定的手术程序。例如，在髋手术的情况下，CASS 100可以包括动力冲击装置。冲击装置设计成重复施加外科医生可以用来执行诸如植入物对准的活动的冲击力。例如，在全髋关节置换术(THA)中，外科医生通常会使用冲击装置将假体髋臼杯插入到植入宿主的髋臼中。尽管冲击装置本质上可以是手动的(例如，由外科医生用槌敲击冲击器来操作)，但是动力冲击装置通常在手术环境中更容易且更快速地使用。动力冲击装置可以例如使用附接到该装置的电池来供电。各种附接件可以连接至动力冲击装置以允许在手术期间根据需要以各种方式来引导冲击力。同样在髋手术的情况下，CASS 100可以包括动力的、机器人控制的末端执行器，以使髋臼扩孔以容纳髋臼杯植入物。
在机器人辅助THA中，可以使用CT或其他图像数据、解剖标志的识别、附着到患者骨的跟踪器阵列以及一个或多个摄像头将患者的解剖结构配准到CASS100。可以使用夹具和/或骨针将跟踪器阵列安装在髂嵴上，并且可以在外部通过皮肤或在内部(后外侧或前外侧)通过为了执行THA而制造的切口来安装这样的跟踪器阵列。对于THA，CASS 100可以利用插入股骨近端的一个或多个股骨皮质螺钉作为检查点以帮助配准过程。CASS 100还可以利用插入骨盆中的一个或多个检查点螺钉作为附加检查点以帮助配准过程。股骨跟踪器阵列可以固定或安装在股骨皮质螺钉中。CASS 100可以采用以下步骤，其中使用外科医生精确地放置在显示器125上为外科医生所识别的股骨近端和骨盆的关键区域上的探针进行验证。跟踪器可以位于机器人臂105A或末端执行器105B上以将臂和/或末端执行器配准到CASS 100。验证步骤还可以利用股骨近端和远端检查点。CASS100可以利用颜色提示或其他提示来通知外科医生有关骨和机器人臂105A或末端执行器105B的配准过程已在一定程度的精度上(例如，在1mm内)被验证。
对于THA，CASS 100可以包括使用股骨阵列的拉刀跟踪选择，以允许外科医生在术中获取拉刀的位置和取向并计算患者的髋长度和偏移值。根据提供的有关患者髋关节的信息以及在完成拉刀跟踪后计划的植入物位置和取向的信息，外科医生可以对手术计划进行修改或调整。
对于机器人辅助THA，CASS 100可以包括连接或附接到机器人臂105A或末端执行器105B的一个或多个动力扩孔器，其根据手术计划准备骨盆骨以接收髋臼植入物。机器人臂105A和/或末端执行器105B可以通知外科医生和/或控制扩孔器的动力，以确保根据手术计划切除(扩孔)髋臼。例如，如果外科医生根据手术计划试图在要切除的骨的边界之外切除骨，则CASS 100可以切断扩孔器的电源或指示外科医生切断扩孔器的电源。CASS 100可以为外科医生提供选择以关闭或脱离扩孔器的机器人控制。与使用不同颜色的手术计划相比，显示器125可以示出正被切除(扩孔)的骨的进度。外科医生可以查看正被切除(扩孔)的骨的显示以根据手术计划引导扩孔器完成扩孔。CASS 100可以向外科医生提供视觉或听觉提示以警告外科医生正在进行不符合手术计划的切除。
在扩孔之后，CASS 100可以采用附接到或连接到机器人臂105A或末端执行器105B的手动或动力冲击器以将试验植入物和最终植入物冲击到髋臼中。机器人臂105A和/或末端执行器105B可以用于引导冲击器以根据手术计划将试验植入物和最终植入物冲击到髋臼中。CASS 100可以使试验植入物和最终植入物相对于骨的位置和取向被显示以告知外科医生如何将试验植入物和最终植入物的取向和位置与手术计划进行比较，显示器125可以在外科医生操纵腿部和髋部时显示植入物的位置和取向。如果外科医生对初始植入物位置和取向不满意，则通过准备新的手术计划，CASS 100可以为外科医生提供重新计划以及重做扩孔和植入物冲击的选择。
术前，CASS 100可以基于髋关节的三维模型和患者特定的其他信息(例如腿骨的机械和解剖轴，上髁轴，股骨颈轴，股骨和髋的尺寸(例如，长度)，髋关节的中线轴，髋关节的ASIS轴，以及诸如小转子标志，远侧标志和髋关节旋转中心的解剖学标志的位置)来制定拟议的手术计划。CASS制定的手术计划可以根据髋关节的三维模型和患者特定的其他信息提供建议的最佳植入物尺寸以及植入物的位置和取向。CASS制定的手术计划可以包括有关偏移值、倾斜度和前倾值、旋转中心、杯尺寸、中度值、上下配合度、股骨柄尺寸和长度的建议细节。
对于THA，可以在术前和术中查看CASS制定的手术计划，而外科医生可以在术前或术中修改CASS制定的手术计划。CASS制定的手术计划可以显示计划的髋关节切除，并根据计划的切除将计划的植入物叠加到髋关节上。CASS 100可以为外科医生提供不同手术流程的选择，所述选择将根据外科医生的喜好显示给外科医生。例如，外科医生可以基于被检查和获取的解剖标志的数量和类型和/或在配准过程中使用的跟踪器阵列的位置和数量，从不同的工作流程进行选择。
根据一些实施例，与CASS 100一起使用的动力冲击装置可以以各种不同的设置来操作。在一些实施例中，外科医生通过手动开关或动力冲击装置上的其他物理机构来调整设置。在其他实施例中，可以使用数字接口，所述数字接口允许例如经由动力冲击装置上的触摸屏进行设置输入。这样的数字接口可以允许可用设置基于例如连接到电力附接装置的附接件的类型而变化。在一些实施例中，可以通过与CASS 100内的机器人或其他计算机系统通信来改变设置，而不是调整动力冲击装置本身上的设置。可以使用例如动力冲击装置上的蓝牙或Wi-Fi联网模块来建立这样的连接。在另一实施例中，冲击装置和端部件可以包含允许冲击装置知道什么端部件(杯冲击器，拉刀手柄等)被附接的特征而外科医生不需要采取任何动作，并相应地调整设置。这可以例如通过QR码、条形码、RFID标签或其他方法来实现。
可以使用的设置的示例包括杯冲击设置(例如，单向，指定频率范围，指定力和/或能量范围)；拉刀冲击设置(例如，双向/在指定频率范围内振荡，指定力和/或能量范围)；股骨头冲击设置(例如，以指定力或能量进行单向/单次打击)；以及干冲击设置(例如，在指定频率下以指定力或能量进行的单向)。另外，在一些实施例中，动力冲击装置包括与髋臼内衬冲击有关的设置(例如，以指定力或能量进行的单向/单次打击)。对于每种类型的内衬(例如，聚合、陶瓷、黑晶(oxinium)或其他材料)，可能会有多种设置。此外，动力冲击装置可以基于术前测试/成像/知识和/或外科医生的术中评估来提供针对不同骨质量的设置。在一些实施例中，动力冲击装置可以具有双重功能。例如，动力冲击装置不仅可以提供往复运动以提供冲击力，而且可以为拉刀或锉刀提供往复运动。
在一些实施例中，动力冲击装置包括反馈传感器，所述反馈传感器在器械使用期间收集数据，并将数据发送到计算装置，如装置内的控制器或手术计算机150。该计算装置然后可以记录数据以供以后分析和使用。可以收集的数据的示例包括但不限于声波、每种器械的预定共振频率、来自患者骨的反作用力或回弹能量、装置相对于配准的骨解剖结构的成像(例如，荧光、CT、超声、MRI等)的位置，和/或骨上的外部应变计。
一旦收集到数据，计算装置就可以实时或接近实时地执行一种或多种算法以帮助外科医生执行手术程序。例如，在一些实施例中，计算装置使用所收集的数据来导出诸如正确的最终拉刀尺寸(股骨)的信息；当干完全就位(股骨侧)时；或当杯对于THA就位(深度和/或取向)时。一旦知道该信息，其可以显示以供外科医生查看，或者其可以用于激活触觉或其他反馈机构以指导手术程序。
此外，从前述算法导出的数据可以用于驱动装置的操作。例如，在用动力冲击装置插入假体髋臼杯期间，装置可以自动伸出冲击头(例如，末端执行器)，将植入物移动到适当的位置，或者一旦植入物完全就位就关闭装置的电源。在一个实施例中，导出的信息可以用于自动调整骨质量的设置，其中动力冲击装置应使用较少的动力来减轻股骨/髋臼/骨盆骨折或周围组织的损伤。
机器人臂
在一些实施例中，CASS 100包括机器人臂105A，所述机器人臂用作稳定和保持手术程序期间使用的各种器械的接口。例如，在髋手术的情况下，这些器械可以包括但不限于牵开器、矢状或往复锯、扩孔器手柄、杯冲击器、拉刀手柄和干插入器。机器人臂105A可以具有多个自由度(类似Spider装置)，并且具有锁定到位的能力(例如，通过按下按钮、语音激活、外科医生从机器人臂移开手或其他方法)。
在一些实施例中，机器人臂105A的移动可以通过使用内置在机器人臂系统中的控制面板来实现。例如，显示屏可以包括一个或多个输入源，例如指导机器人臂105A移动的物理按钮或具有一个或多个图标的用户界面。外科医生或其他保健专业人员可以在执行手术程序期间与一个或多个输入源接合以定位机器人臂105A。
附接或集成到机器人臂105A中的工具或末端执行器105B可以包括但不限于去毛刺装置、手术刀、切割装置、牵开器、关节张紧装置等。在使用末端执行器105B的实施例中，末端执行器可以定位在机器人臂105A的端部处，使得在机器人臂系统内执行任何马达控制操作。在使用工具的实施例中，工具可以固定在机器人臂105A的远端处，但是马达控制操作可以位于工具本身内。
机器人臂105A可在内部被机动化以稳定机器人臂，从而防止其跌落并撞击患者、手术台、手术人员等，并允许外科医生移动机器人臂而不必完全支撑其重量。在外科医生移动机器人臂105A的同时，机器人臂可提供一些阻力以防止机器人臂移动太快或一次激活太多自由度。机器人臂105A的位置和锁定状态可以例如通过控制器或手术计算机150来跟踪。
在一些实施例中，机器人臂105A可以用手(例如，由外科医生)或用内部马达移动到其理想位置和取向以进行正在执行的任务。在一些实施例中，机器人臂105A可以能够以“自由”模式操作，允许外科医生将臂定位在期望的位置而不受限制。在自由模式下，如上所述，仍可以跟踪机器人臂105A的位置和取向。在一个实施例中，在由手术计算机150跟踪的手术计划的指定部分期间，当来自用户(例如，外科医生)的输入时，可以选择性地释放一定的自由度。其中机器人臂105A通过液压或马达在内部提供动力或通过类似的手段提供对外部手动运动的阻力的设计可以被描述为动力机器人臂，而在没有动力反馈的情况下被手动操纵但是可以被手动或自动锁定在适当位置的臂可以被描述为被动机器人臂。
机器人臂105A或末端执行器105B可以包括触发器或其他装置以控制锯或钻的动力。外科医生对触发器或其他装置的接合可以使机器人臂105A或末端执行器105B从机动对准模式过渡到锯或钻被接合并通电的模式。另外，CASS 100可以包括脚踏板(未示出)，所述脚踏板在被激活时使系统执行某些功能。例如，外科医生可以激活脚踏板以指示CASS 100将机器人臂105A或末端执行器105B置于自动模式，所述自动模式将机器人臂或末端执行器相对于患者的解剖结构置于适当的位置，以便执行必要的切除。CASS 100还可以将机器人臂105A或末端执行器105B置于协作模式，所述协作模式允许外科医生手动操纵机器人臂或末端执行器并将其定位在特定位置。协作模式可以配置成允许外科医生在限制其他方向上的运动的同时向内侧或外侧移动机器人臂105A或末端执行器105B。如所讨论的，机器人臂105A或末端执行器105B可以包括切割装置(锯、钻和磨刀)或将引导切割装置的切割引导件或夹具105D。在其他实施例中，机器人臂105A或机器人控制的末端执行器105B的运动可以完全由CASS 100控制，而无需任何外科医生或其他医疗专业人员的帮助或输入，或仅需很少的帮助或输入。在另外的其他实施例中，外科医生或其他医疗专业人员可以使用与机器人臂或机器人控制的末端执行器装置分离的控制机构，例如使用操纵杆或交互式监视器或显示控制装置，来远程控制机器人臂105A或机器人控制的末端执行器105B的运动。
以下示例描述了在髋手术的情况下使用机器人装置；然而，应当理解，机器人臂在涉及膝、肩等的手术程序中可能还有其他应用。在2019年8月28日提交的、标题为“机器人辅助韧带移植物放置和张紧(Robotic Assisted Ligament Graft Placement andTensioning)”的WIPO公开号WO 2020/047051中描述了在形成前十字韧带(ACL)移植隧道的情况下使用机器人臂的一个示例，该文献的全部内容通过引用并入本文中。
机器人臂105A可以用于保持牵开器。例如在一个实施例中，外科医生可以将机器人臂105A移动到期望位置。此时，机器人臂105A可以锁定到位。在一些实施例中，机器人臂105A被提供有关于患者位置的数据，使得如果患者移动，则机器人臂可以相应地调节牵开器位置。在一些实施例中，可以使用多个机器人臂，由此允许保持多个牵开器或同时执行一个以上的动作(例如，牵开器保持和扩孔)。
机器人臂105A还可以用于在制造股骨颈切口时帮助稳定外科医生的手。在该应用中，对机器人臂105A的控制可以施加某些限制以防止发生软组织损伤。例如，在一个实施例中，手术计算机150在机器人臂105A操作时跟踪其位置。如果跟踪的位置接近预测到组织损伤的区域，则可以向机器人臂105A发送命令以使其停止。替代地，在由手术计算机150自动控制机器人臂105A的情况下，手术计算机可以确保不向机器人臂提供导致其进入可能发生软组织损伤的区域的任何指令。手术计算机150可以对外科医生施加某些限制以防止外科医生扩孔到髋臼内侧壁中太深或以不正确的角度或取向扩孔。
在一些实施例中，机器人臂105A可以用于在杯冲击期间将杯冲击器保持在期望的角度或取向。当已达到最终位置时，机器人臂105A可以防止任何进一步的就位以防止损坏骨盆。
外科医生可以使用机器人臂105A将拉刀手柄定位在期望位置，并允许外科医生以期望取向将拉刀冲击到股骨管中。在一些实施例中，一旦手术计算机150接收到拉刀已完全就位的反馈，机器人臂105A可以限制手柄以防止拉刀进一步前进。
机器人臂105A还可以用于表面重修应用。例如，机器人臂105A可以在使用传统器械的同时稳定外科医生，并提供某些约束或限制以允许适当地放置植入部件(例如，导丝放置、倒角切割器、套筒切割器、平面切割器等)。在仅使用磨刀的情况下，机器人臂105A可以使外科医生的手持件稳定并且可以对手持件施加限制以防止外科医生违反手术计划而移除非期望的骨。
机器人臂105A可以是被动臂。作为示例，机器人臂105A可以是可从Brainlab AG获得的CIRQ机器人臂。CIRQ是德国慕尼黑Olof-Palme-Str.981829，Brainlab AG的注册商标。在一个特定实施例中，机器人臂105A是智能握持臂，如在授予Krinninger等人的美国专利申请第15/525,585号，授予Nowatschin等人的美国专利申请第15/561,042号，授予Nowatschin等人的美国专利第15/561,048号以及授予Nowatschin等人的美国专利第10,342,636号中所公开，上述每个专利的全部内容通过引用并入本文。
手术程序数据的生成和收集
医疗专业人员为治疗临床状况而提供的各种服务统称为“护理期”。对于特定的手术干预，护理期可以包括三个阶段：术前、术中和术后。在每个阶段期间，都会收集或生成可用于分析护理期的数据，以便了解程序的各个特征并识别可用于例如在训练模型中以最少的人工干预即可做出决策的模式。在护理期收集的数据可以作为完整数据集存储在手术计算机150或手术数据服务器180处。因此，对于每个护理期，存在一个数据集，所述数据集包括在术前收集的关于患者的所有数据，由CASS 100在术中收集或存储的所有数据，以及由患者或由监控患者的医疗专业人员提供的任何术后数据。
如进一步详细解释，在护理期中收集的数据可以用于增强手术程序的执行或提供对手术程序和患者结果的整体理解。例如，在一些实施例中，在护理期中收集的数据可以用于生成手术计划。在一个实施例中，当在手术期间收集数据时，在术中完善高水平的术前计划。以该方式，当通过CASS 100的部件收集新数据时，可以将手术计划视为实时或近实时动态变化。在其他实施例中，可以使用术前图像或其他输入数据来术前制定在手术期间简单执行的鲁棒计划。在该情况下，由CASS 100在手术期间收集的数据可用于提出建议，以确保外科医生处于术前手术计划之内。例如，如果外科医生不确定如何实现某些规定的切割或植入物对准，则可以向手术计算机150查询以得到建议。在另外的其他实施例中，可以组合术前和术中计划方案，使得可以在手术程序期间根据需要或期望动态地修改稳健的术前计划。在一些实施例中，患者解剖结构的基于生物力学的模型贡献模拟数据以在制定术前、术中和术后/康复程序中由CASS 100考虑以优化患者的植入物性能结果。
除了改变手术程序本身之外，在护理期中收集的数据还可以用作其他手术辅助程序的输入。例如，在一些实施例中，可以使用护理期数据来设计植入物。在2011年8月15日提交的、标题为“用于骨科手术的参数优化的系统和方法(Systems and Methods forOptimizing Parameters for Orthopaedic Procedures)”的美国专利申请第13/814,531号；2012年7月20日提交的、标题为“用于优化植入物与解剖结构的配合的系统和方法(Systems and Methods for Optimizing Fit of an Implant to Anatomy)”的美国专利申请第14/232,958号；以及2008年9月19日提交的、标题为“用于提高性能的手术调节植入物(Operatively Tuning Implants for Increased Performance)”的美国专利申请第12/234,444号中描述了用于设计、尺寸确定和配合植入物的示例数据驱动技术，上述专利的每一个的全部内容在此通过引用并入本专利申请。
此外，数据可用于教育、培训或研究目的。例如，使用下面在图5C中描述的基于网络的方案，其他医生或学生可以在允许他们选择性地查看从CASS 100各个部件收集的数据的界面中远程地查看手术。在手术程序之后，可以使用类似的界面来“回放”手术以进行培训或其他教育目的，或找出手术中任何问题或并发症的根源。
术前阶段期获取的数据通常包括手术之前收集或生成的所有信息。因此，例如，可以从患者录入表或电子病历(EMR)获取有关患者的信息。可以收集的患者信息的示例包括但不限于患者人口统计学、诊断、病史、病历记录、生命体征、病史信息、过敏和实验室检查结果。术前数据还可以包括与感兴趣的解剖区域有关的图像。这些图像可以例如使用磁共振成像(MRI)、计算机断层摄影(CT)、X射线、超声或本领域已知的任何其他方式来获取。术前数据还可以包括从患者获取的生活质量数据。例如，在一个实施例中，术前患者使用移动应用程序(“app”)来回答关于他们当前生活质量的问卷。在一些实施例中，CASS100所使用的术前数据包括关于患者的人口统计学、人体测量学、文化或其他特定特征，其可以与活动水平和特定患者活动相符合以为患者定制手术计划。例如，某些文化或人口统计学的人可能更愿意使用每天蹲便的厕所。
图5A和5B提供了可在护理期的术中阶段期间获得的数据的示例。这些示例基于以上参考图1描述的CASS 100的各种部件；然而，应当理解，可以基于手术期间使用的设备的类型及其使用来使用其他类型的数据。
图5A示出了根据一些实施例的手术计算机150提供给CASS 100的其他部件的一些控制指令的示例。注意，图5A的示例假定执行器平台105的部件均由手术计算机150直接控制。在其中部件由外科医生111手动控制的实施例中，可以在显示器125或AR HMD 155上提供指令以指示外科医生111如何移动部件。
包括在执行器平台105中的各种部件由手术计算机150控制，所述手术计算机提供位置指令，所述位置指令指示该部件在坐标系内移动的位置。在一些实施例中，手术计算机150向执行器平台105提供指令，所述指令定义当执行器平台105的部件偏离手术计划时如何反应。这些命令在图5A中作为“触觉”命令被参考。例如，末端执行器105B可以提供力以抵抗在计划切除的区域之外的运动。执行器平台105可以使用的其他命令包括振动和音频提示。
在一些实施例中，机器人臂105A的末端执行器105B与切割引导件105D可操作地联接。响应于手术场景的解剖模型，机器人臂105A可以将末端执行器105B和切割引导件105D移动到适当位置以匹配根据手术计划要进行的股骨或胫骨切割的位置。这可以减少错误的可能性，从而允许视觉系统和利用该视觉系统的处理器实施手术计划，以将切割引导件105D放置在相对于胫骨或股骨的精确位置和取向以将切割引导件的切槽与要根据手术计划执行的切割对准。然后，外科医生可以使用任何合适的工具，例如振动或旋转锯或钻，以完美的放置和取向来执行切割(或钻孔)，原因是该工具在机械上受到切割引导件105D的特征限制。在一些实施例中，切割引导件105D可以包括一个或多个销孔，在使用切割引导件执行患者组织的切除之前，外科医生使用所述钉孔来将切割引导件钻进和拧紧或钉扎到适当的位置。这可以释放机器人臂105A或确保切割引导件105D完全固定而不相对于要切除的骨移动。例如，该程序可以用于在全膝关节置换术期间制造股骨的第一远侧切口。在一些实施例中，在关节置换术是髋关节置换术的情况下，切割引导件105D可以固定到股骨头或髋臼以用于相应的髋关节置换术切除。应当理解，利用精确切口的任何关节置换术都可以以该方式使用机器人臂105A和/或切割引导件105D。
切除设备110提供有多种命令来执行骨或组织操作。与执行器平台105一样，位置信息可以被提供给切除设备110以指定在执行切除时应将其定位在何处。提供给切除设备110的其他命令可以取决于切除设备的类型。例如，对于机械或超声切除工具，命令可以指定工具的速度和频率。对于射频消融(RFA)和其他激光消融工具，这些命令可以指定强度和脉冲持续时间。
CASS 100的一些部件不需要由手术计算机150直接控制；而是，手术计算机150仅需要激活部件，所述部件然后在本地执行软件以指定收集数据并将其提供给手术计算机150的方式。在图2A的示例中，有两个部件以该方式操作：跟踪系统115和组织导航系统120。
手术计算机150向显示器125提供外科医生111在手术期间所需的任何可视化。对于监视器，手术计算机150可以使用本领域已知的技术来提供用于显示图像、GUI等的指令。显示器125可以包括手术计划的工作流程的各个部分。例如，在配准过程期间，显示器125可以显示术前构建的3D骨模型，并在外科医生使用探针收集患者身上的解剖学标志的位置时示出探针的位置。显示器125可以包括关于手术目标区域的信息。例如，结合TKA，显示器125可以示出股骨和胫骨的机械和解剖轴。显示器125可以基于手术计划示出膝关节的内翻和外翻角，并且CASS 100可以示出如果对手术计划进行预期的修正将如何影响这样的角。因此，显示器125是交互式接口，其可以动态地更新和显示对手术计划的改变将如何影响程序以及安装在骨上的植入物的最终位置和取向。
随着工作流程进行到骨切割或切除的准备，显示器125可以在执行任何切割之前示出计划的或推荐的骨切割。外科医生111可以操纵图像显示以提供目标区域的不同解剖视角，并且可以具有基于患者的术中评估来改变或修正计划的骨切割的选择。显示器125可以示出如果执行计划的骨切割将如何将选定植入物安装在骨上。如果外科医生111选择改变先前计划的骨切割，则显示器125可以示出经修正的骨切割将如何改变安装在骨上时的植入物的位置和取向。
显示器125可以向外科医生111提供关于患者，计划的外科手术和植入物的各种数据和信息。可以显示各种患者特定的信息，包括有关患者健康的实时数据，例如心率、血压等。显示器125还可以包括有关手术目标区域的解剖结构的信息，包括标志的位置、解剖结构的当前状态(例如，是否进行了任何切除，计划和执行的骨切割的深度和角度)以及随着手术计划的进展的解剖结构的未来状态。显示器125还可以提供或示出关于手术目标区域的附加信息。对于TKA，显示器125可以提供关于股骨和胫骨之间的间隙(例如，间隙平衡)以及如果执行计划的手术计划将如何改变这样的间隙的信息。对于TKA，显示器125可以提供关于膝关节的附加相关信息，例如关于关节的张力(例如，韧带松弛)的数据以及关于关节的旋转和对准的信息。显示器125可以示出当膝关节屈曲时计划的植入物的定位和位置将如何影响患者。显示器125可以示出不同植入物的使用或不同尺寸的相同植入物的使用将如何影响手术计划，并预览这样的植入物将如何定位在骨上。CASS 100可以在TKA或THA中为每个计划的骨切除术提供这样的信息。在TKA中，CASS 100可以为一个或多个计划的骨切除术提供机器人控制。例如，CASS 100只能为初始股骨远端切割提供机器人控制，并且外科医生111可以使用常规手段(例如4合1切割引导件或夹具105D)手动执行其他切除(前、后和倒角切割)。
显示器125可以采用不同的颜色来通知外科医生手术计划的状态。例如，可以以第一颜色显示未切除的骨，可以以第二颜色显示切除的骨，并且可以以第三颜色显示计划的切除。植入物可以叠加在显示器125中的骨上，并且植入物颜色可以改变或对应于不同类型或尺寸的植入物。
显示器125上示出的信息和选项可以根据所执行的手术程序的类型而变化。此外，外科医生111可以请求或选择与他或她的手术计划偏好匹配或一致的特定手术流程显示。例如，对于通常在TKA中在股骨切割之前执行胫骨切割的外科医生111，显示器125和关联的工作流程可以适于考虑该偏好。外科医生111还可以预先选择从标准手术流程显示中包括或删除某些步骤。例如，如果外科医生111使用切除测量来最终确定植入计划，但在最终确定植入计划时不分析韧带间隙平衡，则可以将手术流程显示组织为模块，并且外科医生可以根据外科医生的喜好或特定手术的情况选择要显示的模块和提供模块的顺序。例如，涉及韧带和间隙平衡的模块可以包括切除前和切除后的韧带/间隙平衡，并且外科医生111可以根据在进行骨切除术之前或之后(或之前和之后)是否执行这种韧带和间隙平衡来选择将哪些模块包括在其默认手术计划工作流程中。
对于更专业的显示设备，例如AR HMD，手术计算机150可以使用设备支持的数据格式来提供图像、文本等。例如，如果显示器125是诸如Microsoft HoloLensTM或Magic LeapOneTM的全息设备，则手术计算机150可以使用HoloLens应用程序接口(API)来发送命令，所述命令指定显示在外科医生111的视野中的全息图的位置和内容。
在一些实施例中，可以将一个或多个手术计划模型结合到CASS 100中，并在提供给外科医生111的手术计划的制定中使用。术语“手术计划模型”是指模拟各种情况下的解剖结构的生物力学性能以确定执行切割和其他手术活动的最佳方式的软件。例如，对于膝关节置换手术，手术计划模型可以测量功能活动的参数，例如深屈膝、步态等，并选择膝上的切割位置以优化植入物放置。手术计划模型的一个示例是来自SMITH AND NEPHEW公司的LIFEMODTM仿真软件。在一些实施例中，手术计算机150包括允许在手术期间完全执行手术计划模型的计算架构(例如，基于GPU的并行处理环境)。在其他实施例中，手术计算机150可以通过网络连接到允许这种执行的远程计算机，例如手术数据服务器180(参见图5C)。作为对手术计划模型的完全执行的替代，在一些实施例中，导出一组传递函数，其将由模型获取的数学运算简化为一个或多个预测方程。然后，不同于在手术期间执行完全模拟，而是使用预测方程。在2019年8月19日提交的、标题为“患者特定手术方法和系统(Patient SpecificSurgical Method and System)”的WIPO公开号2020/037308中描述了关于传递函数的使用的更多细节，该文献的全部内容通过引用并入本文。
图5B示出了可以从CASS 100的各个部件提供给手术计算机150的一些类型的数据的示例。在一些实施例中，部件可以在手术期间实时或接近实时地将数据流传输到手术计算机150。在其他实施例中，部件可以使数据排队并且以设定的间隔(例如，每秒)将其发送到手术计算机150。可以使用本领域中已知的任何格式来传送数据。因此，在一些实施例中，所有部件均以通用格式将数据传输至手术计算机150。在其他实施例中，每个部件可以使用不同的数据格式，并且手术计算机150配置有能够转换数据的一个或多个软件应用。
通常，手术计算机150可以用作收集CASS数据的中心点。数据的确切内容将取决于来源。例如，执行器平台105的每个部件向手术计算机150提供测量位置。因此，通过将测量位置与手术计算机150最初指定的位置(参见图5B)进行比较，手术计算机可以识别手术期间发生的偏差。
切除设备110可以根据所用设备的类型将各种类型的数据发送到手术计算机150。可以发送的示例性数据类型包括测量的扭矩、音频签名和测量的位移值。类似地，跟踪技术115可以根据所采用的跟踪方法来提供不同类型的数据。示例性跟踪数据类型包括被跟踪项(例如，解剖结构、工具等)、超声图像以及表面或标志收集点或轴的位置值。当系统操作时，组织导航系统120向手术计算机150提供解剖位置、形状等。
尽管显示器125通常用于输出数据以呈现给用户，但它也可以向手术计算机150提供数据。例如，对于将监视器用作显示器125的一部分的实施例，外科医生111可以与GUI交互以提供输入，所述输入被发送到手术计算机150以进行进一步处理。对于AR应用，可以将HMD的测量位置和位移发送到手术计算机150，使得其可以根据需要更新所呈现的视图。
在护理期的术后阶段期间，可以收集各种类型的数据以量化由于手术而导致的患者状况的总体改善或恶化。数据可以采取例如患者通过问卷调查报告的自我报告信息的形式。例如，在进行膝关节置换手术的情况下，可以使用牛津(Oxford)膝评分问卷来测量功能状态，并且可以通过EQ5D-5L问卷来测量术后生活质量。在髋关节置换手术的情况下的其他示例可以包括牛津髋评分、哈里斯(Harris)髋评分和WOMAC(西安大略和麦克马斯特大学骨关节炎指数)。这样的问卷可以例如由医护专业人员直接在临床环境中进行管理，或者使用允许患者直接回答问题的移动应用进行管理。在一些实施例中，可以为患者配备收集与手术有关的数据的一个或多个可穿戴设备。例如，在进行膝手术之后，可以为患者配备膝支架，所述膝支架包括用于监测膝位置、柔韧性等的传感器。可以收集该信息并将其传输到患者的移动装置以供外科医生查看以评估手术的结果并解决任何问题。在一些实施例中，一个或多个摄像头可以在术后指定的活动期间获取并记录患者的身体部位的运动。可以将该运动获取与生物力学模型进行比较以更好地了解患者关节的功能，并且更好地预测康复进展并确定可能需要的任何修正。
护理期的术后阶段可以在患者的整个生命周期中持续进行。例如，在一些实施例中，手术计算机150或包括CASS 100的其他部件可以在执行手术之后继续接收和收集与手术程序有关的数据。该数据可以包括例如图像、问题答案、“正常”患者数据(例如，血型、血压、状况、药物等)、生物测定数据(例如，步态等)，以及有关特定问题(例如，膝或髋关节疼痛)的客观和主观数据。该数据可以由患者或患者的医师明确地提供给手术计算机150或其他CASS部件。替代地或附加地，手术计算机150或其他CASS部件可以监测患者的EMR并在其可用时检索相关信息。患者康复的该纵向视图允许手术计算机150或其他CASS部件提供对患者结果的更客观分析以测量和跟踪给定程序的成功与否。例如，可以通过对护理期中收集的各种数据项进行回归分析，将患者在手术程序后很长时间所经历的状况与手术联系起来。通过对具有相似程序和/或相似解剖结构的患者组进行分析，可以进一步增强该分析。
在一些实施例中，在中心位置收集数据以提供更容易的分析和使用。在一些情况下，可以从各种CASS部件手动收集数据。例如，可以将便携式存储设备(例如，USB棒)附接到手术计算机150，以便检索在手术期间收集的数据。然后可以将数据例如经由台式计算机传输到集中式存储装置。替代地，在一些实施例中，手术计算机150经由网络175直接连接到集中式存储装置，如图5C中所示。
图5C示出了“基于云的”实施方式，其中手术计算机150经由网络175连接到手术数据服务器180。该网络175可以是例如私有内联网或因特网。除了来自手术计算机150的数据之外，其他来源也可以将相关数据传输到手术数据服务器180。图5C的示例示出了3个附加数据源：患者160、医疗保健专业人员165和EMR数据库170。因此，患者160可以例如使用移动应用将术前和术后数据发送到手术数据服务器180。医疗保健专业人员165包括外科医生和他或她的职员以及与患者160一起工作的任何其他专业人员(例如，私人医生，康复专家等)。还应当注意的是，EMR数据库170可以用于术前和术后数据。例如，假设患者160已给予足够的许可，则手术数据服务器180可以收集患者术前的EMR。然后，手术数据服务器180可以继续监测EMR以进行手术后的任何更新。
在手术数据服务器180处，护理期数据库185用于存储在患者的护理期中收集的各种数据。护理期数据库185可以使用本领域中已知的任何技术来实现。例如，在一些实施例中，可以使用基于SQL的数据库，其中所有各种数据项都以允许它们容易地并入行和列的两个SQL集合中的方式结构化。然而，在其他实施例中，可以采用No-SQL数据库来允许非结构化数据，同时提供快速处理和响应查询的能力。如本领域中所理解的，术语“No-SQL”用于定义在其设计中不相关的一类数据库。各种类型的No-SQL数据库通常可以根据其基础数据模型进行分组。这些分组可以包括使用基于列的数据模型(例如，Cassandra)、基于文档的数据模型(例如，MongoDB)、基于键值的数据模型(例如，Redis)和/或基于图形的数据模型(例如Allego)的数据库。可以使用任何类型的No-SQL数据库来实现本文所述的各种实施例，并且在一些实施例中，不同类型的数据库可以支持护理期数据库185。
可以使用本领域中已知的任何数据格式和传输技术在各种数据源和手术数据服务器180之间传输数据。应当注意的是，图5C中所示的架构允许从数据源到手术数据服务器180的传输，以及由数据源从手术数据服务器180检索数据。例如，如下面详细解释的，在一些实施例中，手术计算机150可以使用来自过去手术、机器学习模型等的数据来帮助指导手术程序。
在一些实施例中，手术计算机150或手术数据服务器180可以执行去标识过程以确保存储在护理期数据库185中的数据满足健康保险流通与责任法案(HIPAA)标准或法律规定的其他要求。HIPAA提供了去标识期间必须从数据删除的某些标识列表。前述的去标识过程可以在传输到护理期数据库185以进行存储的数据中扫描这些标识。例如，在一个实施例中，手术计算机150在刚开始将特定数据项或一组数据项传输到手术数据服务器180之前执行去识别过程。在一些实施例中，唯一标识被分配给来自特定护理期的数据以便在必要时重新识别数据。
尽管图5A–5C讨论了在单个护理期的情况下的数据收集，但是应当理解，一般概念可以扩展到多个护理期的数据收集。例如，每次使用CASS 100进行手术时可以在整个护理期中收集手术数据，并将其存储在手术计算机150或手术数据服务器180处。如下面进一步详细解释，护理期数据的鲁棒数据库允许生成优化值、测量结果、距离或其他参数以及与手术程序有关的其他建议。在一些实施例中，以允许在手术程序期间快速检索相关信息的方式在数据库或其他存储介质中索引各种数据集。例如，在一个实施例中，可以使用以患者为中心的一组索引，以便可以容易地提取与特定患者或与特定患者相似的一组患者的数据。该概念可以类似地应用于外科医生、植入物特性、CASS部件型式等。
管理护理期数据的更多细节在2018年12月21日提交的、标题为“提供护理期的方法和系统(Methods and Systems for Providing an Episode of Care)”的美国专利申请第62/783,858号中进行了描述，其全部内容通过引用并入本文。
开放与封闭数字生态系统
在一些实施例中，CASS 100被设计成用作独立或“封闭”数字生态系统。CASS 100的每个部件专门设计成在封闭生态系统中使用，并且数字生态系统外部的装置通常无法访问数据。例如，在一些实施例中，每个部件包括实现用于诸如通信、存储、安全等的活动的专有协议的软件或固件。对于想要控制CASS100的所有部件以确保满足某些兼容性、安全性和可靠性标准的公司而言，封闭数字生态系统的概念可能是理想的。例如，CASS 100可以设计成使得除非获得公司的认证，否则不能将新部件与CASS一起使用。
在其他实施例中，CASS 100被设计成用作“开放”数字生态系统。在这些实施例中，部件可以由各种不同的公司根据诸如通信、存储和安全性的活动的标准来生产。因此，通过使用这些标准，任何公司都可以自由地构建CASS平台的独立、合规部件。可以使用公共可用的应用编程接口(API)和开放的、可共享的数据格式在部件之间传输数据。
为了说明可以用CASS 100执行的一种类型的推荐，下面公开了一种用于优化手术参数的技术。在本文中术语“优化”是指基于某些指定的标准选择最佳的参数。在极端情况下，优化可以指基于来自整个护理期的数据(包括任何术前数据，给定时间点的CASS数据状态，以及术后目标)选择最佳参数。而且，可以使用历史数据来执行优化，例如在涉及例如相同外科医生、具有与当前患者相似的身体特性的过去患者等的过去手术期间生成的数据。
优化的参数可以取决于要对其进行手术的患者解剖结构的部分。例如，对于膝手术，手术参数可以包括股骨和胫骨部件的定位信息，包括但不限于旋转对准(例如，内翻/外翻旋转、外旋、股骨部件的屈曲旋转、胫骨部件的后倾角)，切除深度(例如内翻膝，外翻膝)，以及植入物的类型、大小和位置。定位信息还可以包括用于组合植入物的手术参数，例如整体肢体对准，组合胫股过度伸展和组合胫股切除。CASS 100可以针对给定的TKA股骨植入物优化参数的其他示例包括以下：
Figure BDA0003806153700000271
CASS 100可以为给定的TKA胫骨植入物优化的参数的其他示例包括以下：
Figure BDA0003806153700000281
对于髋手术，手术参数可以包括股骨颈切除位置和角度、杯倾斜角、杯前倾角、杯深度、股骨柄设计、股骨柄尺寸、股骨柄在管内的适合度、股骨偏移、腿长以及植入物的股骨型式。
肩参数可以包括但不限于肱骨切除深度/角度、肱骨干型式、肱骨偏移、关节盂型式和倾斜度，以及反向肩参数，例如肱骨切除深度/角度、肱骨干型式、关节盂倾斜度/型式、盂球方位、盂球偏移和偏移方向。
存在用于优化手术参数的各种常规技术。然而，这些技术通常需要大量的计算，因此，通常需要在术前确定参数。结果，外科医生基于在手术期间可能出现的问题来修改优化参数的能力受到限制。而且，常规的优化技术通常以“黑匣子”方式操作，很少或没有关于推荐参数值的解释。因此，如果外科医生决定偏离建议的参数值，则外科医生通常会在没有完全理解该偏离对其余手术流程的影响或偏离对患者手术后生活质量的影响的情况下这样做。
手术患者护理系统
使用手术患者护理系统620可以将优化的一般概念扩展到整个护理期，所述手术患者护理系统使用手术数据以及来自患者605和医疗保健专业人员630的其他数据来优化结果和患者满意度，如图6中所示。
常规地，术前诊断、术前手术规划、术中执行既定计划以及术后管理全关节置换术都基于个人经验、已发表的文献和外科医生的培训知识库(最终，个体外科医生的部落知识及其同行“关系网”和期刊出版物)以及他们利用指导和视觉提示对“平衡”进行准确的术中触觉辨别以及对平面切除进行准确的手动执行的本能。该现有的知识库和执行方式在为需要护理的患者提供的结果优化方面受到限制。例如，在以下方面存在限制：准确诊断患者以进行适当的，微创的既定护理；使动态的患者，医疗经济和外科医生的偏好与患者期望的结果保持一致；执行手术计划以使骨正确对准和保持平衡等；以及从具有难以调和到整体患者框架中的不同偏差的断开连接源接收数据。因此，更精确地模拟解剖反应并指导手术计划的数据驱动工具可以改善现有方法。
手术患者护理系统620设计成利用患者特定数据、外科医生数据、医疗机构数据和历史结果数据来制定算法，所述算法基于期望的临床结果为患者的整个护理期(术前、术中和术后)建议或推荐最佳总体治疗计划。例如，在一个实施例中，手术患者护理系统620跟踪对建议或推荐计划的遵守，并基于患者/护理提供者的表现来调整计划。一旦手术治疗计划完成，手术患者护理系统620就将收集的数据记录在历史数据库中。该数据库可供将来的患者访问和制定将来的治疗计划。除了利用统计和数学模型之外，还可以使用模拟工具(例如
Figure BDA0003806153700000291
)基于初步或建议的手术计划来模拟结果，对准，运动学等，并且根据患者的概况或外科医生的喜好重新配置初步或建议的计划以实现期望或最佳结果。手术患者护理系统620确保每个患者正在接受个性化手术和康复护理，从而提高成功临床结果的机会并减轻与近期修正相关联的设施的经济负担。
在一些实施例中，手术患者护理系统620采用数据收集和管理方法来提供详细的手术病例计划，该计划具有使用CASS 100监视和/或执行的不同步骤。用户的执行在每个步骤完成时计算并且用于建议对病例计划的后续步骤的更改。病例计划的生成依赖于存储在本地或云存储数据库中的一系列输入数据。输入数据既可以与当前接受治疗的患者相关，也可以与来自接受过类似治疗的患者的历史数据相关。
患者605向手术患者护理系统620提供诸如当前患者数据610和历史患者数据615的输入。本领域中通常已知的各种方法可以用于从患者605收集这样的输入。例如，在一些实施例中，患者605填写手术患者护理系统620解析的纸质或数字调查以提取患者数据。在其他实施例中，手术患者护理系统620可以从诸如电子病历(EMR)、健康历史文件以及付款人/提供商历史文件的现有信息源提取患者数据。在另外的其他实施例中，手术患者护理系统620可以提供允许外部数据源将数据推送到手术患者护理系统的应用程序接口(API)。例如，患者605可以具有移动电话、可穿戴装置或其他移动装置，其收集数据(例如，心率、疼痛或不适水平、运动或活动水平，或患者提交的对患者对任何数目的术前计划标准或条件依从性的反应)并将该数据提供给手术患者护理系统620。类似地，患者605可能在其移动或可穿戴装置上具有数字应用程序，该数字应用程序可以收集数据并将其传输到手术患者护理系统620。
当前患者数据610可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、都市统计区域(MSA)驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)以及手术预期理想结果的指示。
历史患者数据615可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、MSA驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)、手术的预期理想结果、手术的实际结果(患者报告结果[PRO]、植入物的生存期、疼痛程度、活动水平等)、所使用的植入物的尺寸、所使用的植入物的位置/取向/对准，实现的软组织平衡等。
进行手术或治疗的医疗保健专业人员630可以向手术患者护理系统620提供各种类型的数据625。该医疗保健专业人员数据625可包括例如对已知或优选手术技术的描述(例如，十字形保持(CR)与后稳定(PS)、尺寸增大与尺寸减小、有止血带与无止血带、股骨柄样式、THA的优选方案等)，医疗保健专业人员630的培训水平(例如，从业年限、受训的职位、培训的地方、模仿的技术)，包括历史数据(结果、患者满意度)的先前成功水平，以及关于运动范围、恢复天数和装置的生存期的预期理想结果。可以例如通过提供给医疗保健专业人员630的纸质或数字调查，经由医疗保健专业人员对移动应用的输入，或通过从EMR提取相关数据来获取医疗保健专业人员数据625。另外，CASS 100可以提供诸如概况数据(例如，患者专用膝器械概况)的数据或描述手术期间CASS的使用的历史记录。
与要进行手术或治疗所在的设施有关的信息可以包括在输入数据中。该数据可以包括但不限于以下：门诊手术中心(ASC)与医院，设施创伤水平，关节置换术全面医疗计划(CJR)或捆绑候选，MSA驱动评分，社区与都市，学术与非学术，术后网络访问(仅熟练护理设施[SNF]，家庭健康等)，医疗专业人员的可用性，植入物的可用性，以及手术设备的可用性。
这些设施输入可以例如但不限于通过调查(纸/数字)，手术计划工具(例如，应用，网站，电子病历[EMR]等)，医院信息数据库(在因特网上)等。也可以获取与关联医疗保健经济有关的输入数据，包括但不限于患者的社会经济概况，患者将获得的预期报销水平，以及治疗是否是患者特定的。
可以(例如但不限于)通过调查(纸/数字)，直接付款人信息，社会经济状况数据库(在互联网上提供邮政编码)等来获取这些医疗保健经济输入。最后，获取从该程序的模拟导出的数据。模拟输入包括植入物尺寸、位置和取向。可以使用定制或可商购的解剖建模软件程序(例如
Figure BDA0003806153700000311
AnyBody或OpenSIM)进行模拟。应当注意，上述数据输入可能并非对每个患者都可用，并且将使用可用数据来生成治疗计划。
在手术之前，可以获取患者数据610、615和医疗保健专业人员数据625并将其存储在基于云的数据库或在线数据库(例如，图5C中所示的手术数据服务器180)中。与该程序有关的信息通过无线数据传输或使用便携式媒体存储手动提供给计算系统。计算系统被配置成生成用于CASS 100的病例计划。以下将描述病例计划的生成。应当注意，该系统可以访问以前接受治疗的患者的历史数据，包括由计算机辅助的患者特定的膝器械(PSKI)选择系统或CASS 100本身自动生成的植入物尺寸、位置和取向。为此，外科销售代表或病例工程师使用在线门户将病例日志数据上传到历史数据库。在一些实施例中，到在线数据库的数据传输是无线的和自动化的。
来自在线数据库的历史数据集用作机器学习模型(例如循环神经网络(RNN)或其他形式的人工神经网络)的输入。如本领域通常所理解的，人工神经网络的功能类似于生物神经网络，并且由一系列节点和连接组成。训练机器学习模型以基于输入数据预测一个或多个值。对于以下各节，假定对机器学习模型进行训练以生成预测方程。可以优化这些预测方程以确定植入物的最佳尺寸、位置和取向，以实现最佳结果或满意度。
一旦程序完成，就收集所有患者数据和可用结果数据，包括由CASS 100确定的植入物尺寸、位置和取向，并将其存储在历史数据库中。通过RNN进行的目标方程的任何后续计算都将以该方式包括来自先前患者的数据，从而可以对系统进行持续改进。
除了或作为确定植入物定位的替代，在一些实施例中，预测方程和关联的优化可以用于生成与PSKI系统一起使用的切除平面。当与PSKI系统一起使用时，预测方程的计算和优化在手术前完成。使用医学图像数据(X射线，CT，MRI)估计患者的解剖结构。预测方程的全局优化可以提供植入物部件的理想尺寸和位置。植入物部件和患者解剖结构的布尔交集定义为切除体积。可以产生PSKI以移除优化的切除包络。在该实施例中，外科医生不能在术中改变手术计划。
外科医生可以选择在手术之前或期间的任何时候更改手术病例计划。如果外科医生选择偏离手术病例计划，则锁定更改后的部件的尺寸、位置和/或取向，并根据部件的新尺寸、位置和/或取向刷新全局优化(使用先前描述的技术)以找到其他部件的新理想位置，以及实现部件的新优化尺寸、位置和/或取向需要执行的相应切除。例如，如果外科医生确定术中需要更新或修改TKA中股骨植入物的尺寸、位置和/或取向，则股骨植入物的位置将相对于解剖结构锁定，并且将通过考虑外科医生对股骨植入物尺寸、位置和/或取向的改变计算(通过全局优化)胫骨的新最佳位置。此外，如果用于实施病例计划的手术系统是机器人辅助的(例如，使用
Figure BDA0003806153700000331
或MAKO Rio)，则可以实时监测手术期间的骨移除和骨形态。如果在该程序期间进行的切除偏离手术计划，则处理器可以考虑已进行的实际切除来优化附加部件的后续放置。
图7A示出了手术患者护理系统620如何可以适于执行病例计划匹配服务。在该示例中，获取与当前患者610有关的数据，并将其与患者数据和相关结果615的历史数据库的全部或部分进行比较。例如，外科医生可以选择将当前患者的计划与历史数据库的子集进行比较。可以对历史数据库中的数据进行过滤以包括例如仅具有良好结果的数据集，与概况与当前患者概况相同或相似的患者的历史手术对应的数据集，与特定外科医生对应的数据集，与手术计划的特定要素(例如，仅保留特定韧带的手术)对应的数据集，或由外科医生或医疗专业人员选择的任何其他标准。例如，如果当前患者数据与经历良好结果的先前患者的数据匹配或相关，则可以访问并适应或采用先前患者的病例计划以用于当前患者。预测方程可与识别或确定与病例计划相关的动作的术中算法结合使用。基于来自历史数据库的相关信息和/或预先选择的信息，术中算法确定建议外科医生执行的一系列动作。算法的每次执行都会在病例计划中产生下一个动作。如果外科医生执行该动作，则评估结果。外科医生执行动作的结果用于完善和更新术中算法的输入，以用于生成病例计划中的下一步骤。一旦已完全执行病例计划，与病例计划相关的所有数据(包括外科医生对执行建议动作的任何偏差)都将存储在历史数据的数据库中。在一些实施例中，系统以分段方式使用术前、术中或术后模块，而不是整个连续护理。换句话说，护理人员可以规定治疗模块的任何排列或组合，包括使用单个模块。这些概念在图7B中示出，并且可以应用于使用CASS100的任何类型的手术。
手术过程显示
如以上关于图1和图5A-5C所述，CASS 100的各个部件在手术期间产生详细的数据记录。CASS 100可以在手术的每个步骤期间跟踪和记录外科医生的各种动作和活动，并将实际活动与术前或术中手术计划进行比较。在一些实施例中，可以采用软件工具将该数据处理为可以有效地“回放”手术的格式。例如，在一个实施例中，可以使用一个或多个GUI，其示出手术期间在显示器125上呈现的所有信息。这可以用示出由不同工具收集的数据的图形和图像进行补充。例如，在组织切除期间提供膝的视觉图示的GUI可以提供与视觉图示相邻的切除设备的测量扭矩和位移，以更好地提供对发生的与计划切除区域的任何偏差的理解。审查手术计划的回放或在实际手术与手术计划的不同阶段之间进行切换的能力可以为外科医生和/或手术人员带来好处，从而使此类人员可以识别出手术的任何不足或挑战性阶段，使得可以在未来手术中对其进行修改。类似地，在学术环境中，上述GUI可以用作培训未来的外科医生和/或手术人员的教学工具。另外，由于数据集有效地记录外科医生活动的许多要素，因此它也可以出于其他原因(例如，法律或合规性原因)用作特定手术程序正确或不正确执行的证据。
随着时间，随着越来越多的手术数据被收集，可能会获取丰富的数据库，其描述由不同的外科医生为不同患者针对各种类型的解剖结构(膝、肩、髋等)执行手术程序。而且，诸如植入物类型和尺寸、患者人口统计学等的信息可以进一步用于增强整体数据集。一旦已建立数据集，就可以将其用于训练机器学习模型(例如，RNN)，以基于CASS 100的当前状态来预测手术将如何进行。
机器学习模型的训练可以如下进行。在手术期间，可以在多个时间段内对CASS100的总体状态进行采样。然后可以训练机器学习模型以将第一时间段的当前状态转换为不同时间段的未来状态。通过分析CASS 100的整个状态而不是单独的数据项，可以获取CASS 100的不同部件之间相互作用的任何因果效应。在一些实施例中，可以使用多个机器学习模型而不是单个模型。在一些实施例中，不仅可以利用CASS 100的状态，而且还可以利用患者数据(例如，从EMR获取)和手术人员的身份来训练机器学习模型。这使模型可以以更大的特异性进行预测。而且，如果需要，它允许外科医生仅根据他们自己的手术经验选择性地做出预测。
在一些实施例中，可以将由前述机器学习模型做出的预测或推荐直接整合到手术流程中。例如，在一些实施例中，手术计算机150可以在后台执行机器学习模型，从而为即将来临的动作或手术状况做出预测或推荐。因此可以为每个时期预测或推荐多个状态。例如，手术计算机150可以以30秒的增量预测或推荐接下来的5分钟的状态。使用该信息，外科医生可以利用手术的“过程显示”视图以允许未来状态的可视化。例如，图7C示出了可以显示给外科医生的一系列图像，其示出了植入物放置界面。外科医生可以例如通过在CASS 100的显示器125中输入特定时间或指示系统使用触觉、口头或其他指令以特定的时间增量来前进或倒回显示来遍历这些图像。在一个实施例中，过程显示可以呈现在AR HMD中的外科医生视野的上部。在一些实施例中，过程显示可以被实时更新。例如，当外科医生在计划切除区域周围移动切除工具时，可以更新过程显示，使得外科医生可以看到他或她的动作如何影响手术的其他因素。
在一些实施例中，不是简单地使用CASS 100的当前状态作为机器学习模型的输入，而是模型的输入可以包括计划的未来状态。例如，外科医生可以指示他或她正计划进行膝关节的特定骨切除。该指示可以手动输入到手术计算机150中，或者外科医生可以口头提供指示。然后手术计算机150可以产生胶片，显示切口对手术的预期效果。这样的胶片可以在特定的时间增量上示出如果将执行预期的动作过程，则手术将如何受到影响，包括例如患者解剖结构的变化，植入物位置和取向的变化，以及有关外科手术和器械的变化。外科医生或医疗专业人员可以在手术的任何时候调用或请求该类型的胶片，以预览如果将执行预期动作则预期动作过程将如何影响手术计划。
应当进一步指出的是，使用经充分训练的机器学习模型和机器人CASS，可以使手术的各个要素实现自动化，使得外科医生仅需要例如通过仅为手术的各个步骤提供批准而最少地参与。例如，随着时间，使用臂或其他手段的机器人控制可以逐渐整合到手术流程中，外科医生与机器人操作之间的手动交互逐渐越来越少。在该情况下，机器学习模型可以学习需要哪些机器人命令来实现CASS实施计划的某些状态。最终，机器学习模型可以用于产生胶片或类似的视图或显示，其可以预测并可以从初始状态预览整个手术。例如，可以定义包括患者信息、手术计划、植入物特性和外科医生偏好的初始状态。基于该信息，外科医生可以预览整个手术以确认CASS推荐的计划满足外科医生的期望和/或要求。而且，由于机器学习模型的输出是CASS 100本身的状态，因此可以导出命令来控制CASS的部件以实现每个预测状态。因此，在极端情况下，仅基于初始状态信息就可以使整个手术自动化。
在髋手术期间使用点探针获得关键区域的高分辨率
在标题为“用于计划和执行无图像植入物修正手术的系统和方法(Systems andMethods for Planning and Performing Image Free Implant Revision Surgery)”的美国专利申请第14/955,742号中描述了点探针的使用，其全部内容通过引用并入本文。简而言之，可以使用光学跟踪的点探针来标绘需要新植入物的目标骨的实际表面。在移除有缺陷或磨损的植入物之后，以及在移除任何患病或其他不需要的骨之后，执行标绘。通过用点探针的尖端刷或刮擦剩余的整个骨，可以在骨表面上收集多个点。这称为跟踪或“绘制”骨。所收集的点用于在计算机计划系统中创建骨表面的三维模型或表面图。然后将剩余骨的创建3D模型用作规划手术和必要植入物尺寸的基础。在2019年4月17日提交的、标题为“三维选择性骨匹配(Three-Dimensional Selective Bone Matching)”的美国专利申请第16/387,151号和2020年2月13日提交的、标题为“三维选择性骨匹配(Three-DimensionalSelective Bone Matching)”的美国专利申请第16/789,930号中描述了使用X射线确定3D模型的替代技术，上述专利申请中的每一个的全部内容通过引用并入本文。
对于髋应用，点探针绘制可用于获取诸如髋臼缘和髋臼窝的关键区域的高分辨率数据。这可以使外科医生在开始扩孔之前获得详细的视图。例如，在一个实施例中，点探针可以用于识别髋臼的底部(窝)。如本领域中众所周知，在髋手术中，重要的是确保在扩孔期间不损害髋臼的底部以避免破坏内侧壁。如果内侧壁被无意中破坏，则手术将需要额外的骨移植步骤。考虑到这一点，在手术程序期间，来自点探针的信息可用于为髋臼扩孔器提供操作指导。例如，髋臼扩孔器可以被配置成在外科医生到达底部或以其他方式偏离手术计划时向外科医生提供触觉反馈。替代地，当到达底部时或当扩孔器在阈值距离内时，CASS100可以自动停止扩孔器。
作为额外的保障，可以估计髋臼和内侧壁之间区域的厚度。例如，一旦将髋臼缘和髋臼窝绘制并将其配准到术前3D模型，即可通过比较髋臼表面的位置与内侧壁的位置来容易地估计厚度。使用该知识，在预测在扩孔时任何手术活动通过髋臼壁突出的情况下，CASS100可以提供警报或其他响应。
点探针还可以用于收集将3D模型定向到患者时使用的常见参考点的高分辨率数据。例如，对于像ASIS和耻骨联合之类的骨盆平面标志，外科医生可以使用点探针来绘制骨以代表真实的骨盆平面。已知这些标志的更完整视图，配准软件将具有更多信息来定向3D模型。
点探针还可用于收集描述可用于提高植入物放置的准确性的股骨近端参考点的高分辨率数据。例如，大转子(GT)的尖端与股骨头中心之间的关系通常用作在髋关节置换术期间对准股骨部件的参考点。对准高度取决于GT的正确位置；因此，在一些实施例中，点探针用于绘制GT以提供该区域的高分辨率视图。类似地，在一些实施例中，具有小转子(LT)的高分辨率视图可能是有用的。例如，在髋关节置换术期间，Dorr分类有助于选择将在手术期间最大化实现压入配合的能力的干，从而防止术后股骨部件发生微动并确保最佳的骨长入。如本领域中所理解的，Dorr分类测量LT处的管宽度与LT下方10cm处的管宽度之间的比率。分类的准确性高度取决于相关解剖结构的正确位置。因此，绘制LT以提供该区域的高分辨率视图可能是有利的。
在一些实施例中，点探针用于绘制股骨颈以提供高分辨率数据，允许外科医生更好地理解在哪里制造颈切口。然后导航系统可以在外科医生进行颈切割时引导他们。例如，如本领域中所理解的，通过将一条线放置在股骨柄的中心下方并且将第二条线放置在股骨颈的中心下方来测量股骨颈角度。因此，股骨颈(以及可能还有股骨柄)的高分辨率视图将提供股骨颈角度的更准确的计算。
高分辨率股骨头颈数据也可以用于导航表面重修程序，其中软件/硬件帮助外科医生准备股骨近端并放置股骨部件。如本领域中通常所理解的，在髋表面重修期间，股骨头和颈未被移除；而是修剪头部并用光滑的金属覆盖物盖住。在该情况下，对于外科医生来说，对股骨和帽进行绘制将是有利的，使得可以理解它们各自几何形状的精确评估并将其用于指导股骨部件的修剪和放置。
使用点探针将术前数据配准到患者解剖结构
如上所述，在一些实施例中，在术前阶段期间基于感兴趣的解剖区域的2D或3D图像来开发3D模型。在这样的实施例中，在手术程序之前执行3D模型与手术部位之间的配准。配准的3D模型可用于在术中跟踪和测量患者的解剖结构和手术工具。
在手术程序期间，获取标志以便于将该术前3D模型配准到患者的解剖结构。对于膝手术，这些点可能包括股骨头中心、股骨远端轴点、内侧和外侧上髁、内侧和外侧踝、胫骨近端机械轴点以及胫骨A/P方向。对于髋手术，这些点可能包括髂前上棘(ASIS)、耻骨联合、沿髋臼缘和半球内的点、大转子(GT)和小转子(LT)。
在翻修手术中，外科医生可能绘制包含解剖缺陷的某些区域以便更好地可视化和导航植入物插入。这些缺陷可以基于术前图像的分析来识别。例如，在一个实施例中，将每个术前图像与示出“健康”解剖结构(即，无缺陷)的图像库进行比较。患者图像和健康图像之间的任何重大偏差都可以标记为潜在缺陷。然后，在手术期间，可以通过CASS 100的显示器125上的视觉警报来警告外科医生可能存在的缺陷。然后外科医生可以绘制该区域以向手术计算机150提供有关潜在缺陷的更多详细信息。
在一些实施例中，外科医生可以使用非接触方法来进行骨解剖内切口的配准。例如，在一个实施例中，采用激光扫描进行配准。激光条投射在感兴趣的解剖区域上，并且该区域的高度变化被检测为线的变化。其他非接触式光学方法，例如白光干涉法或超声，也可以替代地用于表面高度测量或对解剖结构进行配准。例如，在配准点和被配准的骨之间存在软组织的地方(例如，髋手术中的ASIS，耻骨联合)，超声技术可能是有益的，从而提供对解剖平面的更精确限定。
关节镜视频分析
参考图8，用于关节镜视频分析的系统80可用于生成关节镜程序的视频，该视频具有使用与其相关联的机器学习模型生成的一个或多个分析。该一个或多个分析可以显示为视频上的覆盖，或者覆盖可用于生成特定于解剖区域的位掩码，以应用特定于该解剖区域的处理。在一个示例中，分析信息可以实时显示在视频上以在手术程序期间提供实时情境反馈。系统80包括关节镜摄像头810，该关节镜摄像头提供原始未处理的关节镜视频数据830。关节镜视频数据830由关节镜视频分析系统820和/或关节镜视频分析设备825接收，在一些示例中，所述关节镜视频分析设备可以作为关节镜视频分析系统820的一部分被包括。在一些示例中，关节镜摄像头810和关节镜视频分析系统820可以是生成关节镜程序的视频馈送的相同装置的一部分。使用系统80，操作者可以获取诸如患者的关节的感兴趣解剖区域的原始未处理的关节镜视频数据830，但系统80可以用于其它感兴趣解剖区域。关节可以是例如膝关节、髋关节、肩关节或任何其它关节或结构。在一些示例中，关节镜视频分析系统820和/或关节镜视频分析设备825可通信地耦合到一个或多个同步装置870，例如手术监视器、打印机、视频捕获系统等。在一个示例中，关节镜视频分析系统820和/或关节镜视频分析设备25可例如经由网络175通信地耦合到图1中所示的CASS系统的手术计算机150，但关节镜视频分析系统820和/或关节镜视频分析设备825可以在其它CASS系统中使用或与其它CASS系统一起使用。关节镜视频分析系统820和/或关节镜视频分析设备825还可以经由一个或多个通信网络耦合到一个或多个云和/或本地网络服务器装置850。云和/或本地网络服务器装置可以提供包含术前数据的储存库860，其使得例如存储在关节镜视频分析设备825中的机器学习模型能够定制分析输出，如下文进一步详细描述的。术前数据860可包括仅作为示例的患者元数据(PHI、程序类型等)、视频数据(用于基于仅视频的导航系统的视频配准的MRI/CT数据)或替代学习模型。
原始关节镜视频数据830被处理为关节镜摄像头810的视场中的解剖区域的二维视频馈送，如本文参考图8-13更详细地描述和说明的，以生成经处理的关节镜视频数据840。可例如使用机器学习模型处理视频馈送，以生成关于手术程序的分析信息，所述分析信息可覆盖到所生成的视频馈送上。例如，分析信息可包括视场中的解剖结构(例如关节)的标识、病理或缺陷的标识，或在关节镜摄像头810的视场中进行一个或多个测量。例如，分析信息可以与视频馈送合并作为经处理的视频手术数据840中的一个或多个覆盖。
经处理的视频手术数据840可以存储和/或传输到其它装置，例如同步装置870或手术计算机150。在一个示例中，经处理的视频手术数据840可用于向外科医生实时显示相关信息。分析信息提供有关程序的情境信息。该分析信息可用于实时实施例中，以在术中协助手术程序。在另一示例中，分析信息可由关节镜视频分析设备825生成的特定解剖区域的位掩码构成，所述位掩码待由关节镜视频分析系统820使用以将特定增强应用于经处理的关节镜视频数据840中的特定解剖区域(例如，半月板脉管系统的血管生成增强，或髁突软骨的软骨损伤)。替代地，具有分析覆盖的视频馈送可在回放作为视频馈送的经处理的关节镜视频数据840中用作训练工具。作为另一示例，经处理的关节镜视频数据840可以包括关于手术的分析信息，所述分析信息可用于提供当前程序术语(CPT)代码的标识以辅助计费工作流，但设想了视频馈送的任何其它用途，包括所生成和覆盖的分析信息。
在此示例中，关节镜摄像头810包括被配置成提供关节镜程序的视频馈送的摄像头。在一个示例中，关节镜摄像头810可以提供诸如速率为60帧/秒的4k的高分辨率视频馈送，但可以采用其它摄像头。在一个示例中，关节镜摄像头是内窥镜装置的一部分。内窥镜装置可以是还包括关节镜视频分析系统820的系统的一部分。包括与内窥镜装置相关联的关节镜摄像头810的系统的一个示例是来自SMITH AND NEPHEW,INC.的LENSTM系统。关节镜摄像头810被配置成提供经受关节镜手术的解剖区域(例如膝关节)的视频馈送。在一个实施方式中，关节镜摄像头10具有光谱能力。
为了使用系统80获取关节镜视频数据830，人类操作者对关节镜摄像头810进行定位以提供在关节镜摄像头810的视场中的感兴趣解剖区域，例如通过将包括关节镜摄像头810的内窥镜装置放置在关节附近。在另一示例中，可以使用本文公开的计算机辅助手术系统来定位关节镜摄像头810。关节镜视频数据830可包括延续关节镜手术程序的整个持续时间的视频馈送。在此示例中，关节镜视频数据830是与静态容器相对的实时流，例如mp4文件。关节镜摄像头810可以在程序期间通过人类操作者或计算机辅助进行重新定位，以获得不同视场的关节镜视频数据830。
在关节镜手术程序期间，关节镜视频分析系统820和/或关节镜视频分析设备825接收原始未处理的视频数据830，生成包括覆盖的经处理的关节镜视频数据840，并存储和/或传输经处理的关节镜视频数据840。在由关节镜视频分析设备825分析原始未处理的关节镜视频数据830之前，关节镜视频分析系统820提供对原始未处理的关节镜视频数据的预处理，但是在另一示例中，也可以由关节镜视频分析设备825执行预处理。在一些实施方式中，使用原始未处理的关节镜视频数据830，关节镜视频分析设备825提供二维视频覆盖馈送，关节镜视频分析系统820在手术程序期间将所述二维视频覆盖馈送与关节镜摄像头810的视场中的解剖区域的视图合并，以生成经处理的关节镜视频数据840。关节镜视频分析系统820或关节镜视频分析设备825存储经处理的关节镜视频数据840以用于术后视频处理，或将经处理的关节镜视频数据840传输到其它装置，例如同步装置870，如下文进一步详细描述的。在其它示例中，关节镜视频分析系统820或关节镜视频分析设备825提供视频格式的实时分析。可以如下文所述处理关节镜视频数据830以实时地提供对所显示的视频馈送的术中分析。
现在参考图9，示出了关节镜视频分析系统820的详细视图。在此示例中，关节镜视频分析系统820包括一个或多个处理器921、总线922、屏上显示模块923、视频处理模块924、关节镜视频分析设备825、后处理模块926和视频流合成模块927，但关节镜视频分析系统820可包括以其它组合的其它类型和/或数目的元件或部件。举例来说，关节镜视频分析系统820可包括用于视频处理(例如，分割或合并视频数据、下采样或压缩视频数据、提供覆盖等)的其它电子器件。这些功能中的一个或多个可以由关节镜视频分析系统820的现场可编程门阵列(FPGA)执行，但这些功能可以采用其它硬件逻辑或编程指令。
关节镜视频分析系统820的处理器921可以针对本文描述和示出的任意数目的功能执行存储在存储器中的编程指令。例如，关节镜视频分析系统820的处理器921可以包括一个或多个中央处理单元(CPU)或具有一个或多个处理核心的通用处理器，但也可以使用其它类型的处理器。举例来说，关节镜视频分析系统820的处理器921控制哪些源被混合成经处理的关节镜视频数据940，为用户界面生成不是由关节镜视频分析设备825逐渐形成的机器学习覆盖的一部分的屏上显示覆盖，并协调输入的术前数据，以实现在关节镜视频分析设备825中执行的机器学习分析，尽管关节镜视频分析系统820中的处理器921可以提供其它类型的和/或数目的功能。总线922将处理器921可操作地耦合到关节镜视频分析系统820的各个外围部件。
屏上显示模块923被配置成提供不由关节镜视频分析设备825生成但可包括在关节镜视频分析系统820的用户界面的输出中的一个或多个覆盖。屏上显示模块923将额外覆盖提供到视频合成模块927以包括在输出的经处理的关节镜视频数据940中。
视频处理模块924接收原始未处理的关节镜视频数据930。视频处理模块924被配置成将原始分辨率摄像头视频数据校正和增强到第一视频数据流931中，该第一视频数据流可以被提供到视频合成模块927，以在手术中在显示界面上呈现。第一视频数据流931是高分辨率、低延迟视频流，其提供没有覆盖或其它屏上显示的解剖视场。视频处理模块924还向关节镜视频分析设备825提供第二视频数据流932，以用于如下文所述的机器学习分析。在一些示例中，对第二视频数据流932进行下采样，以通过关节镜视频分析设备825实现低延迟处理。
现在更具体地参考图9和10，关节镜视频分析设备825可以执行任何数目的功能，包括处理第二视频流932以如下文所述生成对视频数据的分析，但关节镜视频分析设备825可以执行其它功能。关节镜视频分析设备825输出关于第二视频流932中的解剖区域的覆盖信息933。覆盖信息933可以与使用机器学习模型确定的分析信息相关联，所述分析信息突出显示或强调感兴趣的解剖结构、病理或缺陷，或与关节镜视场中的解剖结构有关的手术的特定相关测量。覆盖信息933可以包括或可以不包括视频数据内容。例如，在一些实施例中，覆盖信息可以在手术视场内或手术视场外部作为周围屏幕空间(例如，关节镜手术摄像头视野周围的黑屏空间)中的内容。在另外的实施例中，覆盖信息可以反映一条或多条骨模型信息或手术计划信息。在另一实施例中，覆盖信息可以反映相对于计算机模型中的配准或标记的解剖学的当前工具位置。在另一示例实施例中，覆盖信息可以反射、模仿或参考MRI、CT或任何其它已知图像模态。此外，该信息可以在手术视场上显示为“配准覆盖”，在手术视场外部的周围屏幕空间中显示为通用未缩放覆盖，或显示为这两者的组合。
覆盖信息933是呈分析覆盖形式的视频格式化数据，其通过位置与第一视频流931中的解剖区域相关联。替代地，覆盖信息933可以是对应于第一视频流931中的位置的所选解剖区域的二进制位掩码。
在此示例中，关节镜视频分析设备825包括通过总线1064耦合在一起的处理器1054、存储器1056和通信接口1058，但在其它示例中关节镜视频分析设备825可以包括其它配置的其它类型或数目的元件。
关节镜视频分析设备825的处理器1054可以针对本文描述和示出的任意数目的功能执行存储在关节镜视频分析设备825的存储器1056中的编程指令。例如，关节镜视频分析设备825的处理器1054可包括一个或多个中央处理单元(CPU)或具有一个或多个处理核心的通用处理器，但也可以使用其它类型的处理器。
关节镜视频分析设备825的存储器1056存储用于如本文描述和示出的本发明技术的一个或多个方面的这些编程指令，但这些编程指令中的一些或全部可存储在其它地方。各种不同类型的存储器存储设备，例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、固态驱动器(SSD)、闪存和/或由耦合到处理器1054的磁、光学或其它读写系统读取和写入的任何其它计算机可读介质可用于存储器1056。
因此，关节镜视频分析设备825的存储器1056可以存储一个或多个模块，例如机器学习模块，所述一个或多个模块可以包括计算机可执行指令，所述计算机可执行指令在由关节镜视频分析设备825执行时使关节镜视频分析设备825执行动作，例如在第二视频流1032上执行一个或多个机器学习模型以例如逐渐形成覆盖信息1033。这些模块可以实施为其它模块的部件。此外，这些模块可以实施为应用程序、操作系统扩展、插件等。
在此特定示例中，关节镜视频分析设备825的存储器1056包括视频处理模块1066。在此示例中，视频处理模块1066被配置成接收第二视频流932，分析第二视频数据流932，并应用机器学习模型。在一个示例中，第二视频数据流932是下采样视频，且视频处理模块1066被应用于第二视频数据流932以允许与实时高分辨率第一视频数据流931相关。视频处理模块1066可以应用滤波和其它视频预处理技术来分析第二视频数据流932。稍后参考图11-13，在一些示例中更详细地描述和示出视频处理模块1066的操作。
返回参考图8，在一些示例中，关节镜视频分析设备825的通信接口1058被配置成可操作地耦合并实现关节镜视频分析设备825与关节镜视频分析系统820之间的通信。在关节镜视频分析设备825与关节镜视频分析系统820分开的示例中，关节镜视频分析设备825可以通过直接的有线连接或通信网络耦合到关节镜视频分析系统820，例如以将关节镜视频分析设备825的分析输出反馈给关节镜视频分析系统820，但也可以使用其它类型的连接或配置。
仅举例而言，连接和/或通信网络可包括使用经以太网的TCP/IP和行业标准协议的局域网(LAN)，但可使用其它类型或数目的协议或通信网络。在此示例中，通信网络可以采用任何合适的接口机制和网络通信技术，包括例如基于以太网的分组数据网络(PDN)等。
再次参考图9，后处理模块926从关节镜视频分析设备825接收覆盖信息。后处理模块926输出第三视频数据流934，在一个示例中，该后处理模块仅仅是来自关节镜视频分析设备825的覆盖信息933的通道。在覆盖信息933包括二进制位掩码的示例中，后处理模块926可以生成第三视频流934作为高分辨率内窥镜视频流，其中已经通过覆盖信息933中的掩码覆盖对特定解剖区域进行后处理。
视频流合成模块927接收来自屏上显示模块的覆盖，高分辨率、低延迟第一视频数据流931，以及包括由关节镜视频分析设备825生成的覆盖信息933的第三视频数据流。视频流合成模块927基于从关节镜视频分析系统820的处理器921接收的指令组合各种输入，以生成经处理的关节镜视频数据940，任选地包括由关节镜视频分析设备825使用机器学习模型生成的分析覆盖信息。举例来说，经处理的关节镜视频数据940提供包括由关节镜视频分析设备825生成的分析覆盖信息的高分辨率、低延迟视频流。在一个示例中，经处理的关节镜视频数据940表示包含具有叠加分析数据的实时处理的全分辨率内窥镜视频的最终组合视频和/或数据流。
虽然在此示例中关节镜视频分析系统820被示出为包括单个装置，但在其它示例中，关节镜视频分析系统820可包括多个装置，每个装置具有实施此技术的一个或多个步骤的一个或多个处理器(每个处理器具有一个或多个处理核心)。在这些示例中，装置中的一个或多个可具有专用通信接口或存储器。替代地，装置中的一个或多个可以利用存储器、通信接口或者包括在关节镜视频分析系统820中的一个或多个其它装置的其它硬件或软件部件。另外，在其它示例中，一起包括关节镜视频分析系统820(例如，关节镜视频处理设备825)的装置中的一个或多个可以是独立装置或与一个或多个其它装置或设备集成。在一个示例中，关节镜视频分析系统820的一个或多个方面可以由虚拟装置执行。
例如，系统80中描绘的部件中的一个或多个(例如关节镜视频分析系统820)可被配置成作为虚拟实例在同一物理机器上操作。换句话说，关节镜视频分析系统820可以在同一物理装置上操作，而不是作为通过连接和/或通信网络通信的单独装置操作。另外，可以有比图8所示的更多或更少的关节镜视频分析系统820。
此外，在任何示例中，两个或更多个计算系统或装置可以替代系统或装置中的任何一个。因此，还可以根据需要实施分布式处理的原则和优点，例如冗余和复制，以提高示例的装置和系统的稳健性和性能。
这些示例还可体现为一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质上存储有本发明技术的一个或多个方面的指令，如本文通过示例描述和示出的。在一些示例中，这些指令包括可执行代码，所述可执行代码在由关节镜视频分析系统820的一个或多个处理器921执行时，使处理器执行实施本文中描述和示出的此技术的示例的方法所必需的步骤。
更具体地参考图11，示出了用于使用术后视频分析改进关节镜视频分析的示例性方法的流程图。在该示例中的步骤1100中，系统80的关节镜视频分析系统820获得用于关节镜程序的原始未处理的关节镜视频数据930。在该示例中，关节镜视频数据930由关节镜摄像头810捕获，且被传送到关节镜视频分析系统820。在一些示例中，视频数据930可以经由本文更详细地描述和示出的直接连接或通信网络从关节镜摄像头810传送到关节镜视频分析系统820。
虽然在此示例中是内窥镜装置的一部分的关节镜摄像头810可以手动操作，但在另一示例中，包括关节镜摄像头810的装置也可以经由机器人臂105A操作，所述机器人臂被构造成相对于与患者和手术程序相关联的感兴趣解剖区域来定位与关节镜摄像头810相关联的装置。尽管在图11中示出为单独步骤1100，但在本文描述和示出的示例中连续地获得关节镜视频数据930。因此，步骤1100可以与步骤1102-1108中的一个或多个并行执行。
在步骤1102中，关节镜视频分析系统820将一种或多种视频预处理技术应用于关节镜视频数据以改进输出视频显示的质量，如下文所述。关节镜视频分析系统820可以在此步骤中应用任何已知的预处理技术。在其它示例中，可以在关节镜视频分析系统820中执行视频预处理。在一个示例中，一个或多个现场可编程门阵列可用于在关节镜视频分析系统820中执行步骤1102中的预处理。在一些示例中，一种或多种视频预处理技术可包括例如移除不相关背景和突出更亮的轮廓和区域。第二视频数据流932被提供给关节镜视频分析设备825。在一个示例中，对第二视频数据流932进行下采样，以通过关节镜视频分析设备825实现低延迟处理。关节镜视频分析系统820的关节镜视频处理设备825使用深度和/或机器学习算法来清理原始未处理的关节镜视频数据930。具体地，可以使用输入的关节镜视频数据来训练用于关节镜视频处理的机器学习算法，并且基于关于对关节镜视频数据所做的用以改进和/或清理所得视频馈送的修改的反馈，任选地基于已识别的解剖结构来优化机器学习算法，如下文更详细地讨论的。在又一些其它示例中，也可以使用其它类型的视频预处理技术。
示例性工作流
上文关于图11描述的示例性方法可用于多个工作流中。参考图12，在一个示例中，示例性方法用于对关节镜视频数据930进行术后处理。在此示例中，关节镜摄像头810在手术程序期间获取关节镜视频数据930。关节镜视频数据930被提供给关节镜视频分析系统820以用于在步骤1102中执行的视频预处理。
然后，输出经预处理的视频馈送以在手术期间在同步装置870中的一个上显示，但视频可以显示在其它装置上。经预处理的视频馈送还存储在例如关节镜视频分析设备825的存储器1156中以用于术后处理，但经预处理的视频馈送可存储在其它位置，例如云或本地网络装置850中。
然后，关节镜视频分析设备825如在步骤1104中所述使用一个或多个机器学习模型处理数据，并且如在示例性方法的步骤1106中所述生成覆盖信息933。在一个示例中，在步骤1106中的处理之前对数据进行下采样。然后，关节镜视频分析系统820生成包括视频馈送的经处理的关节镜视频数据940，所述视频馈送如在示例性方法的步骤1110中所述具有分析信息的一个或多个覆盖。然后，将含有覆盖的视频存储在例如关节镜视频分析设备825的存储器1156中，但含有覆盖的视频可存储在其它位置，例如云或本地网络装置850中。
例如，可以利用术后处理工作流来提供包含覆盖信息的视频以用于作为手术训练回放。替代地，术后处理工作流可用于上述计费程序，以便具有包括使用机器学习在没有人为干预的情况下获得的特定计费信息的视频数据。
现在参考图13，在另一工作流中，示例性方法用于手术程序期间的实时视频处理，以向外科医生或其它相关操作者提供实时情境反馈。在这些示例中，关节镜摄像头810在手术程序期间获取关节镜视频数据930。关节镜视频数据930被提供给关节镜视频分析系统820以用于在步骤1102中执行的视频预处理。
接下来，使用可以是关节镜视频分析系统820的一部分的视频分割器来分割经预处理的视频数据以提供两个单独的输出。在一个示例中，提供单独的输出以由关节镜视频分析设备825使用如步骤1104中描述的机器学习模型进行处理。由关节镜视频分析设备825处理的输出可以被下采样和压缩以提供较低分辨率用于处理步骤。这减少了处理时间以允许实时呈现来自步骤1104中的处理的反馈。在一个示例中，在步骤1104中处理的视频数据可具有1080p或更低的分辨率。第二输出保持关节镜摄像头810的分辨率，在一个示例中，所述分辨率可以是4k分辨率。
关节镜视频分析设备825使用一个或多个机器学习模型处理下采样和压缩的视频数据，如在示例性方法的步骤1104中描述的，并且生成不含低分辨率视频数据的分析信息的一个或多个覆盖，如在示例性方法的步骤1106中描述的。
再次参考图13，可以合并这两个视频输出以提供在步骤1106中使用阿尔法混合或掩码获得的分析信息的覆盖，以如在示例性方法的步骤1110中与高分辨率视频流混合。将组合的视频流输出到同步装置870中的一个(例如显示装置125或其它显示器)，以提供具有在步骤1106中获得的分析信息的覆盖的手术程序的视频流。视频在显示装置125上提供关于手术程序的实时情境反馈。
利用该技术，可以生成关节镜手术的视频输出，其中基于对视频馈送的实时处理的分析信息可以覆盖到视频馈送上以提供关于程序的实时信息。该技术自动辨识和识别与程序相关的感兴趣解剖结构，辨识并识别病理，和/或提供与手术程序有关的感兴趣测量。对所收集的关节镜视频数据的连续实时更新允许使用增强视频数据改进对手术程序的情境理解。另外，获得的视频数据可用于使用与手术程序有关的信息输出进行训练，或用于计费目的，以识别程序期间涉及的解剖结构和使用的产品。
虽然已公开了结合本教导的原理的各种示例性实施例，但是本教导不限于所公开的实施例。相反，本申请旨在涵盖本教导的任何变型、使用或更改，并使用其一般原理。此外，本申请旨在涵盖属于这些教导所属领域中的已知或习惯实践内的对本公开的这种偏离。
在以上详细描述中，参考形成其一部分的附图。在附图中，除非上下文另外规定，类似符号通常标识类似的部件。本公开中描述的说明性实施例并不意味着是限制性的。可以使用其它实施例，并且可以在不脱离本文所呈现的主题的精神或范围的情况下进行其它改变。容易理解的是，本公开的各种特征(如本文大体上描述并在附图中图示的)可以被布置、取代、组合、分离和设计成各种各样的不同构型，这些构型全部在本文中明确设想。
本公开不限于本申请中所描述的特定实施例方面，其旨在作为各种特征的说明。在不脱离本领域技术人员显然明白的精神和范围的情况下，可以进行许多修改和变化。根据前述描述，本公开的范围内的功能等效方法和设备(除本文中所列举的那些之外)对于本领域技术人员将显而易见。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，其当然可以变化。还应理解，本文中所使用的术语仅用于描述特定实施例的目的，而不意图是限制性的。
关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用酌情从复数转换成单数和/或从单数转换为复数。为了清楚起见，各种单数/复数排列可在本文中明确阐述。
本领域的技术人员应理解，一般来说，本文中所使用的术语通常意图为“开放性”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等等)。虽然各种组合物、方法和装置按照“包括”各种部件或步骤(解释为意为“包括但不限于”)描述，但组合物、方法和装置还可“基本上由各种部件和步骤组成”或“由各种部件和步骤组成”，并且此类术语应解释为定义基本上封闭的构件组。
另外，即使明确叙述特定数目，本领域的技术人员将认识到，此类叙述应解释为意指至少所叙述的数字(例如，无其它修饰词只叙述“两个叙述物”，意味着至少两个叙述物或两个或更多个叙述物)。此外，在使用类似于“A、B和C等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有A、B和C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统，等等)。在使用类似于“A、B或C等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有A、B或C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统，等等)。本领域技术人员还将理解，不管在说明书、样品实施例或者附图中，呈现两个或更多个替代术语的几乎任何转折词和/或短语都应理解为考虑了包括术语之一、术语中任一个或两个术语的可能性。例如，短语“A或B”将理解为包括“A”或“B”或“A和B”的可能性。
另外，在根据马库什组描述本公开的特征的情况下，本领域的技术人员将认识到，本公开还根据马库什组的任何个别成员或成员的子组描述。
本领域技术人员将理解，出于任何和所有目的，例如就提供书面描述而言，本文公开的所有范围还涵盖任何可能的子范围和所有可能的子范围及其子范围的组合。任何列出的范围可被容易地认为是充分描述并且实现分解为至少相等的二分之一、三分之一、四分之一、五分之一、十分之一等等的相同范围。作为非限制性示例，本文中论述的每个范围可以容易地分解为下三分之一、中三分之一和上三分之一等等。本领域技术人员还将理解，诸如“达”、“至少”等的所有语言包括叙述的数字，并且指可以随后如上所述分解成子范围的范围。最后，所属领域的技术人员将理解，范围包括每个个别成员。因此，例如，具有1-3个组分的基团是指具有1、2或3个组分的基团。类似地，具有1-5个组分的基团是指具有1、2、3、4或5个组分的基团，诸如此类。
如本文所用，术语“约”是指数值量的变化，该变化例如可以通过在现实世界中的测量或处理程序，通过这些程序中的无意错误，通过组合物或试剂的制造、来源或纯度方面的差异等而发生。通常，本文所用的术语“约”是指大于或小于由所述值的1/10(例如，±10％)表示的值或值的范围。术语“约”还指的是本领域技术人员可以理解为等同的变体，只要这样的变体不包含现有技术实践的已知值即可。术语“约”之后的每个值或值的范围也意图涵盖所述绝对值或值的范围的实施例。无论是否被术语“约”修饰，在本公开中所引用的定量值包括与所引用的值的等同物，例如，可能发生的这样的值的数值变化，但是本领域技术人员将认识到等同物。
以上公开的各种特征和功能以及其替代方案可以组合成许多其它不同的系统或应用。本领域的技术人员随后可以进行各种目前不可预见或非预期的替代方案、修改、变化或改进，其中的每一个也旨在由所公开的实施例涵盖。

Claims (20)

1.一种用于分析手术视频数据的方法，所述方法包括：
由视频数据分析系统从被配置成捕获手术程序的视频数据的摄像头获得所述视频数据，其中所述视频数据包括解剖区域的视场；
由所述视频数据分析系统生成第一视频数据流和第二视频数据流；
由所述视频数据分析系统的视频数据分析计算装置将一个或多个机器学习模型应用于第二视频流；
由所述视频数据分析系统的视频数据分析计算装置基于所应用的机器学习模型生成与所述解剖区域有关的分析信息；以及
由所述视频数据分析系统将所述分析信息与所述第一视频数据流相关联。
2.根据权利要求1所述的方法，还包括：
由所述视频数据分析系统的视频数据分析计算装置输出包含所述分析信息的一个或多个覆盖；
由所述视频数据分析系统将所述一个或多个覆盖与所述解剖区域中的与所述分析信息有关的位置相关联；以及
由所述视频数据分析系统生成合并视频馈送数据，所述合并视频馈送数据包括在位于所述第一视频数据流上的所述解剖区域中的相关联位置处的一个或多个覆盖。
3.根据权利要求1所述的方法，其中所述手术程序包括关节镜手术程序。
4.根据权利要求1所述的方法，其中所述摄像头位于内窥镜装置上。
5.根据权利要求1所述的方法，其中所述分析信息包括所述解剖区域的视场中的一个或多个解剖结构的标识、所述解剖区域中的病理或缺陷的标识、所述手术程序中使用的手术工具的标识、所述解剖区域中的植入物的位置或类型、所述手术程序的状态、或者与所述解剖区域的视场中的解剖结构有关的一个或多个几何测量。
6.根据权利要求1所述的方法，其中所述分析信息包括对应于所述解剖区域的视场中的一个或多个解剖特征的位掩码。
7.根据权利要求1所述的方法，还包括：
由所述视频数据分析系统在显示界面上显示所述第一视频数据流，其中所述第一视频数据流在没有任何覆盖的情况下显示。
8.根据权利要求1所述的方法，其中生成所述第一视频数据流还包括由所述视频数据分析系统生成第一高分辨率、低延迟视频数据流。
9.根据权利要求1所述的方法，还包括：
在应用所述一个或多个机器学习模型之前，由所述视频数据分析系统对所述第二视频流进行下采样。
10.根据权利要求1所述的方法，还包括：
由所述视频数据分析系统输出所述合并视频馈送数据以在显示界面上显示，其中所述合并视频馈送数据被实时输出。
11.一种视频数据分析系统，包括：
摄像头，所述摄像头被配置成捕获视频数据；
视频数据处理装置，所述视频数据处理装置包括第一处理器，所述第一处理器耦合到存储器并且被配置成执行存储在第一存储器中的编程指令，所述编程指令包括：
获得手术程序的视频数据，其中所述视频数据包括解剖区域的视场，以及
生成第一视频数据流和第二视频数据流；以及
视频数据分析计算装置，所述视频数据分析计算装置包括第二处理器，所述第二处理器耦合到第二存储器并且被配置成执行存储在所述第二存储器中的编程指令，所述编程指令包括：
将一个或多个机器学习模型应用于第二视频流，以及
基于所应用的机器学习模型生成与所述解剖区域有关的分析信息，
其中所述第一处理器被配置成执行存储在所述第一存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括将所述分析信息与所述第一视频数据流相关联。
12.根据权利要求11所述的系统，其中所述第二处理器被配置成执行存储在所述第二存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括：
输出包含所述分析信息的一个或多个覆盖，以及
将所述一个或多个覆盖与所述解剖区域中的与所述分析信息有关的位置相关联；并且
其中所述第一处理器被配置成执行存储在所述第一存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括生成合并视频馈送数据，所述合并视频馈送数据包括位于所述第一视频数据流上的所述解剖区域中的相关联位置处的一个或多个覆盖。
13.根据权利要求11所述的系统，其中所述手术程序包括关节镜手术程序。
14.根据权利要求11所述的系统，其中所述摄像头位于内窥镜装置上。
15.根据权利要求11所述的系统，其中所述分析信息包括所述解剖区域的视场中的一个或多个解剖结构的标识、所述解剖区域中的病理或缺陷的标识、所述手术程序中使用的手术工具的标识、所述解剖区域中的植入物的位置或类型、所述手术程序的状态、或者与所述解剖区域的视场中的解剖结构有关的一个或多个几何测量。
16.根据权利要求11所述的系统，其中所述分析信息包括对应于所述解剖区域的视场中的一个或多个解剖特征的位掩码。
17.根据权利要求11所述的系统，还包括：
显示界面，
其中所述第一处理器被配置成执行存储在所述第一存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括在所述显示界面上显示所述第一视频数据流，
其中所述第一视频数据流在没有任何覆盖的情况下显示。
18.根据权利要求1所述的系统，其中生成所述第一视频数据流还包括由所述视频数据处理装置生成第一高分辨率、低延迟视频数据流。
19.根据权利要求11所述的系统，其中所述第一处理器被配置成执行存储在所述第一存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括在应用所述一个或多个机器学习模型之前对所述第二视频流进行下采样。
20.根据权利要求11所述的系统，还包括：
显示界面，
其中所述第一处理器被配置成执行存储在所述第一存储器中的至少一个附加编程指令，所述至少一个附加编程指令包括输出所述合并视频馈送数据以在所述显示界面上显示，
其中所述合并视频馈送数据被实时输出。
CN202180015676.6A 2020-02-20 2021-02-22 用于关节镜视频分析的方法及用于其的装置 Pending CN115136253A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062978939P 2020-02-20 2020-02-20
US62/978,939 2020-02-20
US202063111853P 2020-11-10 2020-11-10
US63/111,853 2020-11-10
PCT/US2021/019037 WO2021168408A1 (en) 2020-02-20 2021-02-22 Methods for arthroscopic video analysis and devices therefor

Publications (1)

Publication Number Publication Date
CN115136253A true CN115136253A (zh) 2022-09-30

Family

ID=75108776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180015676.6A Pending CN115136253A (zh) 2020-02-20 2021-02-22 用于关节镜视频分析的方法及用于其的装置

Country Status (4)

Country Link
US (2) US11810356B2 (zh)
EP (1) EP4107748A1 (zh)
CN (1) CN115136253A (zh)
WO (1) WO2021168408A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115210756A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
WO2023107474A1 (en) * 2021-12-06 2023-06-15 Genesis Medtech (USA) Inc. Intelligent surgery video management and retrieval system

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006138504A2 (en) 2005-06-17 2006-12-28 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
US9770344B2 (en) 2006-03-23 2017-09-26 Imperial Innovations Ltd. Reconstruction of anterior cruciate ligaments
GB0605817D0 (en) 2006-03-23 2006-05-03 Imp Innovations Ltd Reconstruction of anterior cruciate ligaments
US8465491B2 (en) 2006-06-01 2013-06-18 Osteo Innovations Llc Bone drill
US20080161680A1 (en) 2006-12-29 2008-07-03 General Electric Company System and method for surgical navigation of motion preservation prosthesis
US20100208064A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and method for managing video storage on a video surveillance system
US9526586B2 (en) 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
WO2011081922A1 (en) 2009-12-14 2011-07-07 Smith & Nephew, Inc. Visualization guided acl localization system
WO2011156001A1 (en) 2010-06-07 2011-12-15 Sti Medical Systems, Llc Versatile video interpretation,visualization, and management system
US20140012138A1 (en) 2011-12-23 2014-01-09 Olive Medical Corporation Apparatus, system and method for providing an imaging device for medical applications
CN104246828B (zh) 2012-02-23 2018-11-23 史密夫和内修有限公司 视频内窥镜系统
US9486291B2 (en) 2012-06-21 2016-11-08 Rivanna Medical Llc Target region identification for imaging applications
EP2895124B1 (en) 2012-09-12 2020-11-04 National University of Singapore Device for inserting an implant
US20150351967A1 (en) 2012-09-30 2015-12-10 National University Of Singapore Bio-Absorbable Medicament-Eluting Ventilation Tube
CN105431102B (zh) 2013-06-11 2018-01-30 迷你麦克斯医疗 用于身体部分的计划量的处理的系统
US20160015469A1 (en) 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US10200241B2 (en) 2015-05-13 2019-02-05 Stryker Corporation Method of wireless discovery and networking of medical devices in care environments
US10198872B2 (en) 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
EP3130305B1 (de) 2015-08-12 2021-01-13 medineering GmbH Medizinischer haltearm
US10342410B2 (en) 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
CN111182864B (zh) 2017-09-13 2022-07-29 新加坡国立大学 用于切口和插入通气管的方法和装置
US11547481B2 (en) * 2018-01-11 2023-01-10 Covidien Lp Systems and methods for laparoscopic planning and navigation
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US20190310819A1 (en) * 2018-04-10 2019-10-10 Carto Technologies, LLC Augmented reality image display systems and methods
DE102018111180B4 (de) * 2018-05-09 2023-01-05 Olympus Winter & Ibe Gmbh Betriebsverfahren für ein medizinisches System und medizinisches System zum Durchführen eines chirurgischen Eingriffs
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
WO2019245864A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided education related to orthopedic surgical procedures
CA3107582A1 (en) * 2018-07-25 2020-01-30 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance
CN113015480A (zh) 2018-08-17 2021-06-22 史密夫和内修有限公司 患者特定的手术方法和系统
WO2020047051A1 (en) 2018-08-28 2020-03-05 Smith & Nephew, Inc. Robotic assisted ligament graft placement and tensioning
US11812924B2 (en) * 2018-11-02 2023-11-14 Verb Surgical Inc. Surgical robotic system
WO2020154351A1 (en) * 2019-01-25 2020-07-30 Intuitive Surgical Operations, Inc. Augmented medical vision systems and methods
US20200253667A1 (en) 2019-02-08 2020-08-13 Stryker Corporation Systems and methods for treating a joint
US10729502B1 (en) * 2019-02-21 2020-08-04 Theator inc. Intraoperative surgical event summary
WO2020242949A1 (en) * 2019-05-28 2020-12-03 Google Llc Systems and methods for video-based positioning and navigation in gastroenterological procedures
US20220296081A1 (en) 2019-06-21 2022-09-22 Augere Medical As Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US20210059758A1 (en) * 2019-08-30 2021-03-04 Avent, Inc. System and Method for Identification, Labeling, and Tracking of a Medical Instrument
US20220031394A1 (en) * 2019-09-27 2022-02-03 Asensus Surgical Us, Inc. Method and System for Providing Real Time Surgical Site Measurements
CN114727744A (zh) 2019-10-07 2022-07-08 S&N奥瑞恩普瑞姆股份公司 用于描述内窥镜和自动校准内窥镜摄像机系统的系统和方法
EP3878393A3 (en) * 2019-10-30 2021-09-29 Orthosoft ULC Surgery assistance system
AU2020405169A1 (en) * 2019-12-19 2022-07-21 Noah Medical Corporation Systems and methods for robotic bronchoscopy
CN115210756A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
EP4128263A1 (en) 2020-04-03 2023-02-08 Smith & Nephew, Inc User interface for digital markers in arthroscopy
FR3111463B1 (fr) * 2020-06-12 2023-03-24 Univ Strasbourg Traitement de flux vidéo relatifs aux opérations chirurgicales
WO2021257672A1 (en) 2020-06-18 2021-12-23 Smith & Nephew, Inc. Methods for autoregistration of arthroscopic video images to preoperative models and devices thereof
US20230225822A1 (en) 2020-07-02 2023-07-20 Smith & Nephew, Inc. Optical Tracking of Objects in Arthroscopic Surgery
WO2022006041A1 (en) 2020-07-02 2022-01-06 Smith & Nephew, Inc. Methods and systems for treating femoroacetabular impingement
EP4120186A1 (en) 2021-07-12 2023-01-18 Cosmo Artificial Intelligence - AI Limited Computer-implemented systems and methods for object detection and characterization
US20220092805A1 (en) 2020-09-23 2022-03-24 Smith & Nephew, Inc. Optical caliper for 3-d endoscopic imaging and measurement
US20240000513A1 (en) 2021-01-25 2024-01-04 Smith & Nephew, Inc. Systems and methods for fusing arthroscopic video data
US11928834B2 (en) 2021-05-24 2024-03-12 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data
CA3166076A1 (en) 2021-06-25 2022-12-25 James Elder System and method for automated video segmentation of an input video signal capturing a team sporting event

Also Published As

Publication number Publication date
WO2021168408A1 (en) 2021-08-26
EP4107748A1 (en) 2022-12-28
US20240013537A1 (en) 2024-01-11
US11810356B2 (en) 2023-11-07
US20220406061A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
CN113473940A (zh) 增强现实辅助手术工具对准
US11810360B2 (en) Methods for arthroscopic surgery video segmentation and devices therefor
US20230072295A1 (en) A joint tensioning device and methods of use thereof
CN114901195A (zh) 改进的和cass辅助的截骨术
CN116234489A (zh) 无标记导航系统
US11810356B2 (en) Methods for arthroscopic video analysis and devices therefor
CN114901217A (zh) 用于在全膝关节置换翻修术期间使用的初次试验测量装置
CN114929149A (zh) 增强现实准备的光学跟踪系统
CN113993477A (zh) 手术辅助装置
CN115210821A (zh) 用于关节镜中的数字标记的用户界面
CN115426971A (zh) 具有内置结构化光模块的光学跟踪装置
CN114730484A (zh) 根据二维图像数据的三维选择性骨匹配
US20230087709A1 (en) Fiducial tracking knee brace device and methods thereof
CN115989550A (zh) 用于髋部建模和模拟的系统和方法
CN114929124A (zh) 用于非骨水泥植入物的多阶段机器人辅助骨制备的方法和系统
CN114901131A (zh) 张紧器工具和与其一起使用的具有压力传感器网格的保护套
CN114466625A (zh) 全膝关节置换翻修术期间的髓内管的配准
CN113286548A (zh) 具有张力反馈的致动牵开器
US20230301732A1 (en) Robotic arm positioning and movement control
US20230019543A1 (en) Anatomical feature extraction and presentation using augmented reality
US20240081784A1 (en) Methods for improved ultrasound imaging to emphasize structures of interest and devices thereof
CN114945332A (zh) 用于机器人辅助插入医疗紧固件的系统
US11357580B2 (en) Reciprocal optical tracking system and methods thereof
US20240058063A1 (en) Surgical system for cutting with navigated assistance
WO2023064429A1 (en) Dual mode structured light camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination