CN112043378A - 对人进行导航支持以关于切除部分进行导航的方法和系统 - Google Patents

对人进行导航支持以关于切除部分进行导航的方法和系统 Download PDF

Info

Publication number
CN112043378A
CN112043378A CN202010511467.8A CN202010511467A CN112043378A CN 112043378 A CN112043378 A CN 112043378A CN 202010511467 A CN202010511467 A CN 202010511467A CN 112043378 A CN112043378 A CN 112043378A
Authority
CN
China
Prior art keywords
data set
correspondence
tissue
registration
resection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010511467.8A
Other languages
English (en)
Inventor
A.雷根斯伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN112043378A publication Critical patent/CN112043378A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B2017/320064—Surgical cutting instruments with tissue or sample retaining means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207—Divots for calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/395—Visible markers with marking agent for marking skin or other tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于在提取切除部分(5)之后对在患者(3)处执行切除的人员进行导航支持以相对于切除部分进行导航的方法，该方法具有以下步骤：利用离体扫描设备(16)记录切除部分的第一表面数据组；在使用记录仪器(9，11)的情况下确定提取区域(6)的第二表面数据组，该第二表面数据组覆盖了患者(3)中的切除部分(5)的提取区域(6)的剩余的组织表面(7)的至少一部分；基于提取区域中的剩余的组织表面(7)和切除部分的相应的表面特征，将切除部分(5)的第一表面数据组与提取区域(6)的第二表面数据组配准；和在使用配准的情况下执行至少一个支持措施，该支持措施对提取区域中相对于切除部分的导航进行支持。

Description

对人进行导航支持以关于切除部分进行导航的方法和系统
技术领域
本发明涉及一种方法和一种支持系统，其用于在提取切除部分(Resektat)之后对在患者处执行切除的人员进行导航支持，以在提取区域中相对于切除部分进行导航。此外，本发明还涉及一种计算机程序和一种电子可读的数据载体。
背景技术
一种对患者体内出现的恶性组织、例如肿瘤进行治疗的可能性是移除恶性组织。该过程也被称为切除；应当尽可能完全包含恶性组织的部分组织被称为切除部分。在此，目的是所谓的R0切除，这意味着，要能够证明在切除边缘内不再有恶性组织，或者遵守了所限定的到恶性组织的最小间距。例如，在肿瘤切除之后，外科医生希望尽可能快且有说服力地知道，在肿瘤学方面切除是否成功，因此患者体内不应存在任何肿瘤组织残余。如果不存在R0切除，并且如果快速地呈现该信息，则可以以快速的方式再次进行后续切除并去除附加的组织。
在这种情况下例如已知，对病理学中的切除部分进行所谓的快速切片诊断。在此，制作组织切片并且检查是否遵守了恶性组织与切除部分边缘的间距。在大约10到15分钟之后，例如可以通过电话将相应得出的诊断结果报告回手术室。
为了改善这方面的情况，在此期间已经提出了用于手术室的数字组织学设备，其也被称为离体扫描设备(Ex-Vivo-Scaneinrichtung)。在此，例如在肿瘤手术之后，可以在表面上对从患者身上去除的切除部分进行扫描，以提供关于在切除部分表面是否存在恶性组织的结论。紧接着，然后可以由病理学家执行快速切片诊断。但是，可以在手术室中直接提供离体扫描设备的诊断结果。因此，医生可以查看数字组织学设备的结果，并且粗略估计预计需要进行后续切除的位置。但是，在此存在如下问题：这仅对应于粗略的估计，并且可能发生错误的和/或明显过大的后续切除。
还提出了所谓的数字活检工具(digitale Biopsiewerkzeug)，其允许在手术现场进行逐点的记录。在此，借助例如显微镜和/或光学相干断层成像的光学方法对通过提取切除部分而形成的小的表面片段(例如在几平方毫米的范围内)进行扫描。
例如，例如从DE 10 2014 103 044 A1中已知这种数字活检工具。在那里，一组设备至少包括用于采集手术视野的细胞分辨的图像数据的内窥镜。此外，还可以设置一种成像设备，具体地是一种手术显微镜，其用于记录手术视野的概览图像数据。
这种数字活检工具的问题在于只能逐点地扫描片段，因此由于大的时间成本而不适用大面积的扫描。在此，当前应当将大面积的扫描理解为尺寸至少为1cm2的面积。
US 2017/0105601 A1涉及一种用于根据术中图像流来计算所切除的组织(即切除部分)的体积的方法和系统。在此，从相对于切除部分的不同角度来记录例如利用腹腔镜记录的二维或2.5维的术中图像，其中在每个术中图像中对切除的组织表面进行分割，将分割的组织表面合并，从而获得切除部分表面的三维点云表示。然后可以将其用于体积确定。
发明内容
因此，本发明要解决的技术问题是，为执行切除的人员提供一种用于将切除部分的特征与提取区域相关联的改善的可能性。
为了解决上述技术问题，根据本发明提供了一种根据本发明的方法、一种支持系统、一种计算机程序和一种电子可读的数据载体。本发明还给出了有利的设计方案。
根据本发明的用于在提取切除部分之后对在患者处执行切除的人员进行导航支持以在提取区域中相对于切除部分进行导航的方法具有以下步骤：
-利用离体扫描设备记录切除部分的第一表面数据组，
-在使用记录仪器的情况下确定提取区域的第二表面数据组，该第二表面数据组覆盖了患者中的切除部分的提取区域的表面的至少一部分，
-基于提取区域中的剩余的组织表面和切除部分的相应的表面特征，将切除部分的第一表面数据组与提取区域的第二表面数据组配准，和
-在使用配准的情况下执行至少一个支持措施，该支持措施对提取区域中相对于切除部分的导航进行支持。
因此，本发明提出，基于表面地建立切除部分上的位置与通过提取切除部分形成的、在患者体内的提取区域中的剩余的组织表面上的位置的对应关系，从而如果相关的指示性特征在切除部分的表面上的位置是已知的，则支持措施，特别是通过再现显示，适合于将执行切除的人员引导到提取区域中的表面上的对应的位置，或者使得可以更快找到该对应的位置。根据本发明的基本思想，微观的和宏观的细胞结构和/或组织结构在表面数据或通常的图像数据中形成可辨别的表面特征，其中在切除部分处以及在先前与该切除部分连接的提取区域中的表面区域处会存在这些特征的很强的相似性，因为他们在执行切除之前最初形成连续的或几乎连续的结构，并且在执行切除期间才被彼此切开。另一方面，如果可清楚识别的表面特征的关联性具有很差的可识别性，则也可以在切除过程期间通过观察来建立对应关系，对此将进行更详细地讨论。可以找到的相似性的示例包括细胞排列的图案、组织边界层、血管、组织密度和细胞类型以及必要时还有肿瘤细胞的浸润图案。
因此，相应的特征指示相应表面上的相应的、即对应的位置。在此，如果切除部分表面上的位置和提取区域表面上的位置在切除之前直接或几乎直接连接，则在切除部分表面上的位置与通过移除切除部分而形成的提取区域表面上的位置相对应。换言之，在此描述的配准方法用于，将患者体内剩余的、通过切除形成的表面上的位置与切除部分表面上的位置相关联，患者体内剩余的、通过切除形成的表面上的位置之前尽可能地靠近先前提到的位置(切除部分表面上的位置)。将切除部分表面上的位置、例如指示性特征的位置称为aR。将通过切除形成的提取区域中的表面上的对应位置称为bV。在此，可以在切除部分的组织表面的合适的坐标系上二维地定义aR，或者还可以在切除部分的或其表面的3D坐标系中三维地定义aR；对于bV，这相应地适用于剩余的组织表面或剩余的组织体积的坐标系，其中在此优选地使用患者相关的坐标系或至少使用与这种患者相关的坐标系配准的坐标系，其中例如由导航系统来使用患者相关的坐标系，导航系统特别地可以跟踪(tracken)仪器和/或设备。例如，在数学上可以以如下方式定义位置的对应关系。BV表示切除前连续组织中的三维位置，切除后的剩余组织的位置bV处的细胞/组织元素最初位于该位置。AR相应地表示切除前连续组织中的三维位置，切除部分的位置aR处的细胞/组织元素最初位于该位置。将来自通过切除形成的、剩余的组织表面的所有位置的集合{b}的、在最初的三维连续组织体积中作为位置BV具有到AR的最小间距的位置“bV”表示为“对应于aR”。
因此，配准结果可以实现，将患者中的提取区域中的表面上的相应位置与切除部分的表面上的位置相关联。以这种方式，可以建立数字组织学与术中导航/成像之间的关联。在对例如不完全的切除进行快速而有针对性的修正时，对执行切除的人员进行支持。数字组织学的结果可以直接传输到手术现场，从而可以实现直接修正切除中的错误。
优选地，可以在患者相关的坐标系中借助导航系统来跟踪记录仪器，其中在患者相关的坐标系中还记录或者确定或存在第二表面数据组。在此，支持措施尤其可以包括显示切除部分的至少一个指示性特征相对于记录仪器和/或相对于通过导航系统在患者相关的坐标系中跟踪的另外的仪器和/或相对于提取区域的表面的相对位置。因此可以特别有利地使用在患者相关的坐标系中工作的导航系统。如果例如由于本来就利用导航系统来跟踪记录仪器，或者至少可以将记录仪器换算到患者相关的坐标系中，而现在在同一坐标系中存在第二表面数据组，则可以基于配准结果，将第一表面数据组的分析结果、特别是指示性特征(即植入物的位置相关的信息)借助配准结果定位在患者相关的坐标系中，从而在那里特别是将其用于支持措施。因此，特别是可以想到显示存在于患者相关的坐标系中的其他信息，例如指示性特征和记录仪器和/或另外使用的仪器和工具的相对位置。除了要显示的支持措施，其使执行切除的人员直观地意识到切除部分的指示性特征在患者相关的坐标系中的位置，在本发明的范围中还可以想到其他支持措施，例如，导航型的目标引导输出等。特别地，为了支持要显示的支持措施可以采用其他输出措施作为支持措施，例如依据声学导航的类型，在该类型中例如随着仪器/工具越来越接近指示性特征，连续的音调的频率逐渐增加，等等。
如上已经描述的，特别是可以通过分析第一表面数据组和/或与第一表面数据组配准的、切除部分的另外的图像数据组来确定指示性特征，其中切除部分的另外的图像数据组优选地同样利用离体扫描设备进行记录。例如，可以设计一种离体扫描设备，其以不同的模态、例如通过照相机和/或显微镜和/或光学相干断层成像和/或荧光成像来记录切除部分，其中为第一表面数据组选择最对应于第二表面数据组的模态的那个模态。由于使用了同一离体扫描设备，于是已经自动地将切除部分的另外的图像数据组与切除部分的第一表面数据组配准。
在此，在这点上应当提到的是，至少一个指示性特征中的至少一个还可以通过整个第一表面数据组和/或整个另外的图像数据组给出，必要时也以注释的形式给出。例如，因此作为支持措施可以规定，可能预先分析的和/或注释的第一表面数据组和/或另外的图像数据组的显示与仪器/工具或相应标记物一起在显示设备上再现。
在此，在这方面还应注意，特别有利地可以规定，至少一个指示性特征中的至少一个描述了在到切除部分表面的限定的接近距离中在切除部分中存在恶性变化，恶性变化的存在通过至少部分自动地分析第一表面数据组和/或与第一表面数据组配准的切除部分的另外的图像数据组进行确定。尤其是在肿瘤切除的情况下，可以以这种方式使用例如位于表面上或非常接近表面的、具有小于描述所限定的接近距离的安全距离的肿瘤细胞和/或浸润模式的位置作为指示性特征。由于切除通常用于提取恶性组织，因此这种指示性特征给出了清楚的提示：在哪些位置需要进行后续切除或者后续切除在哪些位置是有意义的。通过使用指示性特征的相应的支持措施，可以明显更容易且更直观地找到这些区域，因为借助配准结果可以将切除部分上的位置换算为在患者相关的坐标系内描述的位置，反之亦然。
适宜地，为了显示相对位置，可以使用增强现实设备、特别是增强现实眼镜，和/或显示设备，用于再现第一和/或第二表面数据组，其中在第一和/或第二表面数据组中淡入仪器和/或另外的仪器和/或指示其相对位置的标记物，和/或用于再现记录仪器和/或至少一个另外的仪器中的至少一个、尤其是腹腔镜的当前图像，其中在图像中淡入来自第一表面数据组的至少一个指示性特征。在此，可能特别合适的是，将第一和/或第二表面数据组显示为表面图，这既可以是二维的，在相应的记录模态中也可以是三维的。此外，在本发明的范围中特别优选的是，在使用增强现实设备(AR设备)的情况下，忠于位置地在提取区域和/或提取区域的当前图像中显示其中存在由至少一个指示性特征中的至少一个描述的恶性变化的区域。
换言之，本发明可以实现最不同的可视化变形方案作为支持措施，以便能够关于指示性特征在切除部分处提供支持。因此，例如可以想到，显示二维或三维的表面图、特别是组织图，和/或例如以特别是带注释的第一表面数据组和/或另外的数据组形式的切除部分的其他表示，该表示包括具有恶性变化的组织、特别是肿瘤细胞的染色区域。仪器，例如记录仪器和/或数字活检工具和/或导航的手术仪器可以基于配准结果被淡入为虚拟地在表面图上移动。这意味着，尽管仪器在真实空间中位于提取区域中的剩余的组织表面上的某个位置处或在某个位置附近，但在切除部分表面上的对应的位置处虚拟地将仪器淡入，或者以另外的方式标记对应的位置/位置区域。在此，还可以根据表面数据组和其他信息的存在形式想到二维和三维的显示变形方案。
另外的可视化变形方案例如可以规定，再次将恶性变化的区域、即例如具有肿瘤细胞的区域用作指示性特征，但是将与在切除部分的表面上具有肿瘤细胞的区域相对应的、通过提取切除部分而剩余的剩余组织的表面上的表面区域作为增强现实显示，和/或显示在虚拟的二维或三维表面模型或表面图上，其优选地包括导航仪器的淡入。
如已经描述的，可以规定，利用光学的成像模态、尤其是照相机和/或光学相干断层成像和/或荧光成像和/或共聚焦显微镜和/或激光显微镜来记录第一表面数据组和/或第二表面数据组和/或另外的图像数据组。在此，尤其可以利用不同的模态来记录第一表面数据组和第二表面数据组。例如，可以通过离体扫描设备利用光学相干断层成像大面积地扫描切除部分的表面，而逐点地、即在非常小的片段中利用光学的共聚焦显微镜来记录通过提取切除部分而形成的、提取区域中的剩余组织的表面。另外的可想到的设计方案规定，利用高分辨的光学显微镜大面积地记录切除部分的表面，而利用低分辨的腹腔镜或手术显微镜来记录剩余组织的表面。
此外，还可以想到，针对第一和/或第二表面数据组分别使用多个不同的模态。例如可以规定，利用两个相互配准的模态，例如扫描激光显微镜和来自集成在显微镜中的全景照相机的图像，来测量切除部分的表面。在这种情况下，例如可以基于概览照相机的第一表面数据组执行粗略配准或确定针对粗略配准的多个候选，然后可以在微观的方法中或利用微观的方法对其进行微调或验证。下面还要详细描述在配准过程的框架中如何将该类型的不同的模态组合在一起的可能性。
在本发明的有利的具体的设计方案中可以规定，作为记录仪器可以使用数字活检工具，该数字活检工具逐片段地、特别是在大小为0.01至10mm2的片段中测量提取区域中的组织表面，其中在配准的框架中，将对应的片段定位在切除部分的表面上。因此在这种情况下，除了允许对切除部分进行大面积的表面记录的离体扫描设备之外，在手术现场还使用了数字活检工具，其用于例如微观地和/或借助光学相干断层成像“逐点地”进行记录，其中如所描述地，特别优选地借助导航系统来跟踪数字活检工具。在此，在这点上还应注意，通常可以将导航系统设计为例如光学的和/或电磁的导航系统，这点在现有技术中基本上已知并且在此无需进行更详细地描述。
如果要记录多个片段，则通过导航系统或所述导航系统来跟踪数字活检工具是特别有意义的。因此，通常合适的是，第二表面数据组包括对多个片段的测量，其中可以通过导航系统确定数字活检工具的位置和定向(姿势)，因此，这些片段在其相对布置中是已知的。关于配准例如可以规定，首先对一个片段进行配准，然后检查这是否也适用于其余的片段；当然还可以选择其他配准方法。对于第二表面数据组中的多个片段，优选基本上均匀分布地来选择这些片段，使得最终在剩余的组织表面的不同区域处存在数字测量样本，从而也针对切除部分存在数字测量样本。
在本发明的有利的扩展方案中可以规定，通过对第一表面数据组进行分析来确定至少一个区域，该区域具有在数字活检工具的表面数据中可识别的表面特征，并且关于切除部分向人员指示该区域。因此，已经可以通过对第一表面数据组的预分析过程来推断，在哪些(特别是较大的)区域中存在许多特别适合于配准的表面特征，从而可以针对性地向执行切除的人员指示切除部分上的相应区域。如果在此是较大的区域，则人员至少可以根据切除部分进行粗略地关联：大概在提取区域中的哪里必须使用数字活检工具。以这种方式为执行手术的人员提供了进一步的支持。
在本发明的非常有利的扩展方案中可以规定，在配准的框架中确定描述配准结果的可靠性的质量水平，其中在质量水平低于阈值的情况下要求记录另外的片段；和/或利用数字活检工具执行至少一个验证测量以检查通过支持措施传达的信息，特别是用于检查在数字活检工具的当前位置处是否存在恶性变化。因此可以进行迭代过程，这意味着，例如可以特别是从特定数量的要测量片段(例如1至5个片段)开始，在每个配准过程之后检查是否达到了期望的配准质量。在现有技术中已经提出了描述配准质量以及因此描述配准的可靠性的质量水平，并且也可以在本发明的范围中应用，其中尤其要注意，这种质量水平通常是本来已知的算法或子算法中的组成部分。如果配准的质量不够好，即例如质量水平低于质量水平的阈值，则可以要求利用数字活检工具进行进一步测量，从而以这种方式逐步提高配准质量。
特别有利地，也可以借助数字活检工具进行检查。例如，如果通过支持措施将执行切除的人员引导到了提取区域中的一个位置，在该位置会担心在表面上继续发生恶性变化，或者通常来说在该位置处应当建立与切除部分的相关的表面特征、特别是指示性特征的对应关系，则可以基于支持措施将通过导航系统跟踪的数字活检工具引导到剩余的组织表面上的所述对应的位置，随后可以通过利用数字活检工具进行的测量来验证：在配准过程中是否已经正确确定了所指示的位置以及表面特征的对应关系。根据数字活检工具的记录，人员还可以直接判断，在剩余的组织的一侧是否也存在恶性变化，例如肿瘤细胞的浸润。此外，当然还可以使用这种重复的测量，以根据在所述位置处的至少一个片段的附加数据来微调配准。
例如，由此在恶性变化的情况下，可选地(在此处描述的方法之外)可以执行后续切除，以便移除可能存在的恶性组织变化。
在本发明的范围中，附加地或替换地还可以想到，第一和/或第二表面数据组由从对准切除部分或提取区域的不同视线方向记录的子数据组、特别是立体照相机的子数据组组成。例如，在使用在开头提到的US 2017/0105601A1中提到的方法的情况下，关于切除部分例如可以通过旋转立体照相机前面的切除部分来产生切除部分或通过提取切除部分而形成的提取区域中的表面的三维表面模型。因此，尤其可以规定，首先根据子数据组确定描述表面走向的表面模型，尤其是确定为多边形模型，该表面模型作为纹理与子数据组的图像数据相关联。这意味着，照相机图像数据构成了由表面模型定义的、尤其是多边形表面的纹理。
如果由从对准切除部分的不同视线方向记录的子数据组组成的第一表面数据组不是利用离体扫描设备记录的，而是利用例如腹腔镜和/或另外的记录仪器记录的，则可以规定将该第一“第一表面数据组”与离体扫描设备的第二“第一表面数据组”配准，由于记录了相同的表面，这可以利用常见的配准方法容易地实现。因此，例如可以通过借助合适的分析算法以及可能的内插/平滑的图像分析来进行离体扫描设备的大面积扫描结果与切除部分的3D表面模型的配准，这例如基于宏观的组织结构进行，宏观的组织结构既包含在离体扫描设备的扫描数据中也包含在记录仪器、特别是腹腔镜的相应的立体照相机的图像数据中。另外的可能性是在切除部分上使用标记物，以便实现这种多个第一表面数据组的配准，这些第一表面数据组中的一个没有利用离体扫描设备进行记录。然而，优选的是，直接使用本来已经使用的离体扫描设备。
本发明的扩展方案规定，在确定示出通过切除形成的提取区域的整个表面的第二表面数据组时，并且在使用逐片段地测量提取区域中的组织表面的数字活检工具的情况下，将通过数字活检工具测量的片段配准到第二表面数据组，这尤其是在支持地使用与第二表面数据组配准的第一表面数据组的情况下进行。这意味着，特别是所跟踪的数字活检工具的测量点、即片段直接与剩余的组织表面的3D表面模型配准。寻找对应关系可以通过对切除部分和剩余的组织表面的三维表面模型进行几何匹配来支持。
此外，在本发明的特别有利的设计方案中还可以规定，在记录第一表面数据组之后，首先对于其可以分析在到切除部分的表面的限定的接近距离中在切除部分中是否存在恶性变化，其中，然后如果在到切除部分的表面的限定的接近距离中在切除部分中没有识别到恶性变化，则终止该过程，因此不进行对第二表面数据组的记录，并且相应地也不进行配准。因为如果在表面本身或直到通常定义的安全距离都不存在恶性变化，则呈现所谓的R0切除，从而可以将该切除视为成功完成。但是，如果在切除部分的表面区域仍然识别到了相关的恶性变化，则可以向执行切除的人员显示：不呈现R0切除并且必要时必须进行后续切除。然后执行切除的人员例如可以针对性地使用记录仪器或其记录的图像数据，以获得第二表面数据组。
在本发明的范围中存在两种用于实现第一表面数据组和第二表面数据组的配准的基本方法。下面要更详细地描述这两种方法，优选地可以组合地使用这两种方法。
在此，第一方法基于以下基本假设：相应的表面成像中，在对应的表面位置之间并且因此在切除部分与提取区域、即剩余组织的表面特征之间存在相似性，这种相似性可以实现基于图案或基于图像的配准。可以通过相似性实现切除部分与剩余组织的表面特征之间的关联性的这种组织图案和组织特性的示例包括细胞结构、细胞类型、细胞排列、组织的纤维结构、组织的血管结构、组织的谱反射率(颜色)、组织中的荧光染料的分布、恶性变化(例如肿瘤细胞的)在可见的组织表面上的分布以及手术仪器的作用图案。
在配准过程的合适的具体的设计方案中可以规定，特别是在使用分别描述整个表面的表面数据组的情况下，以不同的分辨率等级依次进行配准，这特别是在将表面的组织结构分割为表面特征的情况下进行；和/或，利用不同的模态来记录多个第一表面数据组和/或多个第二表面数据组，将所有的表面数据组用于配准，特别是从较粗的分辨率到较细的分辨率依次进行。
因此，在一个示例性的设计方案中可以想到，首先在表面数据组中分割宏观的组织结构。这种宏观的组织结构例如可以是脂肪区域和/或肌肉纤维。这既发生在切除部分方面也发生在提取区域方面。基于这些分割例如可以执行第一粗略配准，然后在一个或多个另外的步骤中可以根据更精细的分辨率或结构、尤其直至微观的组织结构对该第一粗略配准进行改善或微调。
在其他情况下也可以有意义的是，在多个尺寸尺度上连续或甚至同时进行配准，因为尤其在非常小的、即微观的表面特征的平面上，配准也可能在一些位置上失败。这是因为，在切除时，在切除部分与剩余组织之间通常不利用锋利的手术刀执行平滑的切割，而是更确切地说可以利用例如抽吸仪器逐块地切去位于中间的薄的组织层。相应地，这可能导致，非常小的结构在相应的另一侧上找不到类似物。
为了进行配准，还可以特别是通过数字缩放将要配准的第一和第二表面数据组的分辨率相互适应，或者通常根据第一和第二表面数据组可能产生不同分辨率的配准数据组，然后分别通过使用相同分辨率的配准数据组分别连续地或甚至同时地将第一和第二表面数据组相互配准。然而，如果使用了多个第一表面数据组和/或多个第二表面数据组，则基本上可能已经存在了不同分辨率的第一或第二表面数据组，从而例如可以首先考虑较粗分辨的表面数据组，然后再考虑较细分辨的表面数据组。例如可以想到，由离体扫描设备获得高分辨的第一表面数据组，然而关于提取区域，例如由腹腔镜的照相机获得粗略分辨的第二表面数据组，并且利用活检工具来获得高分辨的片段，在这种情况下首先可以根据较粗分辨的第二表面数据组进行粗略配准，然后尝试对片段进行定位，并由此提高配准的质量和准确性。
如已经提到的，在本发明的范围中作为用于配准的表面特征可以使用细胞结构和/或细胞类型和/或细胞排列和/或细胞簇和/或组织的纤维结构和/或组织的血管结构和/或组织的谱反射率和/或荧光染料在组织中的分布和/或恶性变化在可见的组织表面上的分布和/或手术仪器的轨迹、尤其是手术刀和/或抽吸设备和/或能量仪器的轨迹。
在本发明的特别优选的扩展方案中可以规定，特别是在使用至少一个滤波算法和/或平滑算法和/或边缘突出算法的情况下，检测表面数据组的不同分辨率区域中的表面特征，和/或将其组合成指纹数据组，对指纹数据组进行比较以进行配准。在预处理步骤中，例如可以通过滤波算法、平滑算法和/或边缘突出算法(边缘锐化算法)和/或频率分析来提取不同尺寸尺度上的组织结构。从该预处理的数据中提取出特定的表面特征，在另外的步骤中可以根据该表面特征进行空间上的配准。可以将表面特征的整体或者表面特征的空间布置、尤其也在表面的子区域/片段中的布置称为指纹，从而因此在本发明的范围中特别优选的是，特别是在不同的尺寸尺度上，确定指纹数据组。
然后为了在切除部分的组织表面与剩余组织的组织表面之间执行配准，例如可以将第一表面数据组的指纹数据组与第二表面数据组的指纹进行比较，其中可以基于最大的一致性来确定空间上的关联性并且由此确定配准。在此，在本发明的范围中，在比较指纹数据组时还可以想到，输出具有较高的表面特征一致性的多个对应关系候选。如果这特别是也在不同的尺寸尺度上发生的，则可以以鲁棒的方式导出配准结果。通过指纹的关联性或者从中计算出的组织片段的哈希值可以相对于基于图像的直接比较节省计算能力。
特别是在使用数字活检工具的情况下可以规定，为了进行配准，在通过切除形成的提取区域表面的、仅逐片段地再现的第二表面数据组中产生片段大小和/或九倍于片段大小的指纹数据组，并且将其与片段的指纹数据组进行比较。因此，例如可以将剩余表面上的、(尤其是利用数字活检工具)逐片段测量的指纹与所确定的切除部分的指纹进行比较。在此，合适地可能在多个步骤中使用类似的尺寸尺度，以便首先确定该片段可能存在于哪个较大的区域，从而然后可以在那里更精确地定位该片段。通过在提取区域中的剩余的组织表面上重复关于多次逐片段的测量的过程，然后可以通过对不同对应关系候选进行几何匹配来导出正确的配准结果。
在使用指纹数据组的情况下进行了一定程度的抽象，从而该处理方式特别适合于不同的模态。因此可以规定，在使用指纹数据组的情况下，利用不同的模态来记录第一和第二表面数据组。例如，可以借助光学相干断层成像记录第一表面数据组，并且借助光学共聚焦显微镜记录第二表面数据组等。
根据本发明的另外的特别有利的扩展方案规定，在配准表面数据组时使用人工智能配准算法、特别是深度神经网络(DNN)，人工智能配准算法已经利用带注释的表面数据组作为训练数据进行了训练。在此，如上面描述的，人工智能配准算法例如可以生成指纹数据组和/或进行指纹数据组的比较。在一种设计方案中，可以根据带注释的示例数据组，对人工智能配准算法、特别是DNN进行训练，使得根据图像信息/表面特征来进行切除部分与提取区域的组织表面的片段的关联，并且在此基础上进行配准。优选地，人工智能配准算法能够自己学习哪些表面特征对于配准是有利的，这意味着，配准算法学习了建立合适的组织指纹数据组，然后将其用于配准。在此，此外还可以执行已经提到的预处理步骤，即特别是滤波算法、平滑算法和/或边缘突出算法和/或频率分析的应用，其中但是，为了提取表面特征、具体地尤其是指纹数据组，于是使用适当训练的人工智能配准算法，然后可以以此为基础进行比较。
特别地，在使用人工智能配准算法的情况下，可以给出以下步骤顺序：
-对第一和第二表面数据组进行预处理，特别是通过使用至少一个滤波算法和/或至少一个平滑算法和/或至少一个边缘突出算法和/或频率分析来进行，
-使用人工智能配准算法，以从预处理后的第一和第二表面数据组中提取出指纹数据组，以及
-对指纹数据组进行比较，以找到对应的指纹数据组，从而找到对应的表面特征，由此确定配准结果。
如已经描述的，对应的表面特征的相似性的基本假设可能会导致错误，这意味着，在将切除部分与剩余组织分离之后所记录的表面数据组中(纯粹地)在对应的表面特征上执行配准，这种处理方法的缺点在于，由于使用了手术仪器、例如腹腔检查的能量仪器和/或吸收组织的手术仪器，在由于切除形成的组织表面与切除部分的表面之间通常形成了明显的组织间隙。尽管长有效距离的组织特性(请参见上面提到的示例)仍然可以实现关联，但是在较大且连续的组织间隙中以及在被能量仪器大面积烧损的组织区域中，这变得更加困难。特别是已知，之后要利用能量仪器再次在提取区域中的剩余的组织表面上进行烧灼
Figure BDA0002528457840000121
以便永久地停止出血。在此，在使用基于图像的方法时出现了困难，该基于图像的方法可以通过表面结构的相似性进行配准。因此，下面要更详细描述的本发明的第二基本方法提供了一种配准方法或一种配准辅助，尽管无论是微观还是宏观两个表面在对应的位置处看起来都不太相似，该配准方法或配准辅助仍可以将切除部分和剩余组织上的对应的位置相互关联。
为了实现这点，本发明的特别有利的扩展方案规定，为了支持配准，产生包含彼此相应的表面特征的对应关系对的对应关系数据组，方式是：
-在对切除部分进行切除期间，利用所述或另外的记录仪器连续地记录当前工作区域的监视图像，
-在检测到实施切割时，通过自动分析相应的监视图像，来检测位于切口两侧的、分别形成的表面的表面特征，
-将在几何上关于切口彼此相应的表面特征相互关联，以产生对应关系对，以及
-将每个对应关系对与描述对应关系对的表面特征的特征信息一起存储在对应关系数据组中，所述特征信息特别是包括至少示出表面特征的、至少一个监视图像的子图像。
在此，监视图像优选地可以是监视视频的各个帧，监视视频在对切除部分进行切除期间利用所述或另外的记录仪器进行记录。因此，该特别有利的过程的基本思想是：从例如可以由腹腔镜或手术显微镜记录的切除的监视视频或监视图像中产生切除部分与剩余组织之间的对应关系数据组以及分别存储的特征信息。然后，将对应关系数据组用于将切除部分的表面上的位置与通过提取切除部分而形成的、提取区域中的剩余的组织表面上的对应的位置配准。
优选地，可以利用记录仪器或所述记录仪器、特别是腹腔镜和/或手术显微镜和/或照明设备的照相机来记录监视图像。优选地，可以利用立体照相机来记录监视图像，其中确定所形成的表面的三维表面结构，并将其用于对至少一个表面特征进行检测和/或描述和/或位置确定。虽然单视的(monoskopisch)、即二维的视频或二维的监视图像原则上对于所描述的过程是足够的，但是立体监视视频或通常立体监视图像对于增加的鲁棒性可以是有利的。
在此，在这点上还应注意，切除的实际实施不是在此描述的方法的组成部分。对在对切除部分进行切除期间记录的监视图像进行分析原则上可以在切除期间进行，但是优选地在切除完成之后才进行。这意味着，在切除完成之后例如可以有针对性地分析监视视频和/或一系列单独的监视图像，以产生对应关系数据组。作为用于执行切除的手术工具或手术仪器可以规定不同的设计方案，其中手术工具或手术仪器尤其可以切去和/或分离组织，和/或可以通过施加能量和/或热量来烧灼组织。
在配准时可以以不同方式使用对应关系数据组。一方面可以想到，如下面还要更详细描述的，通过对应关系数据组已经形成至少一个第二表面数据组，必要时还形成附加的第一表面数据组，或者相对直接地建立配准。然而，另一方面，对应关系数据组还可以通过以下方式是配准辅助工具：其针对看起来不同的表面特征最终提供附加的相似性标准，使得尽管第一和/或第二表面数据组的成像模态中的外观图像完全不同，但可以基于存储在对应关系数据组中的对应关系来确定相似性。
在本发明的特别有利的扩展方案中可以规定，在产生新的对应关系对的情况下，通过在示出新的对应关系对的表面特征的监视图像中检测另外的对应关系对的至少一个表面特征和/或参考特征，来确定相对于已经包含在对应关系数据组中的至少一个另外的对应关系对和/或相对于不是对应关系对的一部分的参考特征的相对位置，并且将该相对位置存储在对应关系数据组中。以这种方式，已知各个对应关系对的表面特征的相对于彼此的相对布置，从而同样可以在配准的过程中使用该已知的相对布置。特别地，由此给出了创建切除部分和提取区域中的剩余组织的相应表面的表示的可能性，下面还要对此进行更详细地描述。在此，关系特征不一定必须是另外的对应关系对的表面特征，而是还可以建立相对于一个或多个参考特征的关系。其原因在于，对应表面特征的可鲁棒识别的对应关系对的数量相对较少。因此，为了定义相对位置还可以辨别“单侧的”表面特征，该“单侧的”表面特征然后可以定义相对位置，至少只要由此可以建立到已经定义的对应关系对的桥梁即可。然后，在两侧，即在切除部分和剩余组织的表面上，可以相应地对单侧的表面特征的对应关系进行几何内插。此外，还可以将参考特征用于确定是否已经发生工作步骤/切割。因此，这种参考特征原则上还允许对组织的运动跟踪。
在此，在这点上通常还应当注意的是，在此示出的设计方案是基于如下假设：几乎所有有助于将切除部分与剩余的组织分离的外科手术步骤都是在通过监视图像进行观察的情况下进行的。实际上，该条件非常好满足，因为执行切除的人员确实希望看到，在他们的有时关键的行动中他们正在做什么；此外，要尽可能避免或阻止在所形成的两个表面上发生出血。
如已经描述的，对于检测或辨别新的表面特征对应关系对重要的是，关于切口或切断的几何可关联性，这意味者，换言之必须满足一定的几何标准。因此，对应的表面特征应当位于手术仪器的当前的或刚刚过去的作用区域的两个不同侧。此外，对应的表面特征还应在几何上满足以下条件：它们在当前或在足够新的之前的帧中可能已经通过仪器分离。一定的不准确性、特别是仅在此基础上关于配准的不准确性是可以接受的，因为在后续切除中通常本来就会在所辨别出的区域周围大量地切去组织。进一步的几何标准可能要求距当前切口边缘的相似间距和/或关于该切口边缘的对称相对，在所述当前切口边缘处所形成的切除部分的表面与剩余组织的表面因此相互分界。
此外，还应当注意的是，特别是当要尽可能避免参考特征时，当不是切除的开始时，新表面对的新表面特征优选不应距离先前识别到的旧对应关系对的表面特征太远，特别是使得先前辨别出的表面特征仍位于相应记录仪器的视野中，即在相同的监视图像中可见或至少可以与其有联系。否则，如所提到的，可以使用参考特征。
可以规定，所有对应关系对的切除侧上的表面特征以其相应的布置形成附加的第一表面数据组，并且所有对应关系对的提取区域侧的表面特征以其相应的布置形成第二表面数据组(或至少一个第二表面数据组中的一个)，或者从其中确定所述表面数据组。通过确定对应关系对的相对位置，最终在相应表面的形成期间也已经可以进行相应表面的绘制。相应地，还可以从该绘制中导出表面数据组，其中通过由对应关系对映射的对应关系还已知该表面的至少逐点对应的位置。
在这种情况下有利地规定，根据对应关系对以及其相应的相对位置，来创建通过切除形成的提取区域的表面的表面模型和切除部分的表面模型，为了确定相应的表面图，忠于位置地将特征信息的至少一部分和/或示出相应表面区域的至少一个监视图像的一部分与所述表面模型相关联，从而通过对应关系对给出与表面图上的位置相互关联的对应关系信息。由此形成的表面图例如已经可以构成另外的第一和/或第二表面数据组。相应地，对应关系信息可以是配准结果的一部分，或者特别地，如下面还要说明的，在扩展的方式中是配准结果。
因此，在分析监视图像时生成纹理化的表面图，或者对于新的对应关系对更新纹理化的表面图，更确切地说，分别是切除部分和提取区域中的剩余组织的纹理化的表面图。在此，大致来说，从监视图像中提取出表面图案/表面图像，并且将其与相应的表面特征的位置或表面特征之间的中间空间相关联。然后，联系开头给出的对对应关系的描述，对应关系对的表面特征在所述切除部分和剩余组织的表面图上具有坐标aR或bV。此外，在对此的扩展方案中还可以规定，将不同监视图像的、示出相应表面区域的多个部分取平均并且用作纹理。这意味着，也可以在使用多个监视图像、特别是监视视频的多个帧的情况下，例如通过对多个监视图像求平均，来建立表面模型/表面图的纹理化的表面。纹理化的表面图可以被二维地创建，或者特别是在使用立体照相机的情况下被三维地创建。
因此，在这种设计方案中，将具有表面特征的对应关系对、纹理化的表面图以及可能的其他信息一起存储在数据存储器中。
此外，在本发明的特别优选的设计方案中可以规定，为了扩展通过对应关系对给出的对应关系信息，在位于对应关系对的表面特征之间的、表面图的区域中，通过内插来确定表面图的另外的对应的位置，尤其是确定适用于完整的表面图的对应关系映射和/或对应关系表。利用迄今为止描述的处理方法，已经可以在切除部分与提取区域之间辨别有限数量的鲁棒的表面对应关系。因此合适的是，对对应关系进行合适地内插(或外推)，从而可以将切除部分的表面上的尽可能多的位置(优选每个位置)aR与提取区域中的剩余组织的表面的对应位置bV相关联。以这种方式，最终可以从监视图像的分析过程中获得完整的配准映射作为对应关系信息。
合适地，为了在提取区域的表面上定位切除部分的指示性特征，使用对应关系信息，该指示性特征的位置在切除部分的表面上是已知的。在此，首先，位置通常在不对应于切除部分的表面图的第一表面数据组或所述第一表面数据组和/或另外的图像数据组中是已知的。然后，可以通过将切除部分的表面图与不对应于切除部分的表面图的第一表面数据组和/或另外的图像数据组配准来确定切除部分的表面图中的位置。相应的配准明显能够更容易执行，一方面是因为涉及同一个表面，另一方面是因为适用于配准的表面特征作为对应关系对的一部分(以及可能的参考特征)已经已知。特别地，可以利用离体扫描设备来记录不对应于表面图的第一表面数据组或另外的图像数据组。相应地，指示性特征尤其可以是组织的恶性变化太靠近切除部分表面的区域。
换言之，例如可以基于图像地将在组织学中例如作为肿瘤浸润而发现的表面块配准到切除部分的表面图。例如，表面的显微镜图像相应地可以按比例缩小，并且然后基于图像地在空间上将其关联到表面图。结果是表面图上的位置aR。对此，可以借助对应关系信息来确定与aR相对应的提取区域的位置bV。
原则上可以想到，尤其是在跟踪所述或另外的记录仪器以记录监视图像的情况下，尤其是在立体观察中，监视图像并且因此提取区域的表面图已经存在于患者相关的坐标系中。如果不是这种情况，则可以进行提取区域的表面图与不对应于提取区域的表面图的、所述或另外的第二表面数据组的(在这种情况下可明显更鲁棒地执行的)配准。因此，例如可以在(必要时限制在围绕位置bV的区域中的)剩余组织的表面图的纹理与所述和/或另外的和/或还另外的记录仪器的当前图像(进一步特别是监视图像)、例如腹腔镜的当前视频图像之间进行基于图像的配准。这可以实现与例如切除部分的肿瘤浸润的表面部分相对应的剩余组织的表面部分的显示，例如作为导航系统中的叠加、增强现实或标记来显示，如已经关于支持措施详细描述的。作为关于呈现为支持措施的基于图像的配准的替换方案，如已经描述的，替换地还可以通过导航系统进行配准，其中将提取区域中的剩余组织的整个表面图配准到手术中的几何形状，即特别是配准到患者相关的坐标系。
优选地，在监视图像中至少部分基于图像地进行对实施切割的检测，这特别是通过跟踪已经检测到的表面特征和/或在监视图像中可见的手术仪器(特别是关于组织接触的手术仪器)和/或基于在时间上与监视图像相关联的附加信息进行。有利地，因此在使用所有可用信息的情况下确定，手术仪器或手术工具当前是否正在分离或移除或处理组织，或者手术仪器当前是否对组织没有影响。该确定可以针对每个监视图像、特别是监视视频中的每帧进行，使得只有在当前的监视图像中或刚刚记录的监视图像中手术仪器对组织有影响时，才进行对新的对应表面特征的辨别，对于所述影响，其例如通过切去或切割导致了切除部分与组织进一步分离。特别地，因此在监视图像中可见的手术仪器可以用作一种对产生新的对应关系对的意义的指示。此外，在相应的图像处理中也能够容易地检测到仪器。
有利地，可以确定附加信息，其描述由导航系统或所述导航系统确定的手术仪器的运动，和/或特别是通过操纵脚踏板触发的向手术仪器的能量供应，和/或手术工作流的工作流步骤。特别地，在这种情况下可以规定，通过使用外部信息源或手动地，对监视图像、尤其是监视视频进行注释。例如，如在现有技术中原则上已知的，可以使用跟踪切除进度的光学导航系统。此外，还已经提出了能够借助工作流分析来识别切除阶段的支持设备。特别地，这种工作流分析本身还可以对监视图像进行分析，使得例如可以从手术的监视视频中辨别出切除的特定部分。
关于工作流步骤还应注意的是，这种附加信息还可以用于对要分析的监视图像或监视视频的相应部分进行基本预选。由于然后仅须对示出实际上相关的材料的监视图像进行分析，因此减少了开销。
关于可能对监视图像或监视视频进行注释的另外的相关的信息源是操作设备、特别是脚踏板，通过该操作设备尤其可以向手术仪器供应电能。这是因为假设，只有在应当进行组织处理时，才由进行手术的人员来激活能量供应。
如已经描述的，优选地选择新的对应关系对的表面特征，使得在表面数据组和/或至少一个另外的图像数据组的相应的成像模态中，可以以超过阈值的可靠性检测到所述表面特征。然后，特别适合的是，应当从特别是也作为表面数据组的表面图出发，基于图像地配准到特别是离体扫描设备和/或在提取区域中使用的记录仪器的尤其是另外的表面数据组和/或另外的图像数据组。在此利用以下事实：在切除的框架中通常已知利用哪种模态来工作。同样地，也已知这些成像模态的物理成像特性，从而还已知可以利用哪个成像模态以何种鲁棒性来识别哪些表面特征，从而可以相应预见性地选择对应关系对的表面特征。
在本发明的特别有利的扩展方案中可以规定，在切除时间段内，只要在监视图像中包含对应关系对的表面特征，就在监视图像中对其进行跟踪，其中对于通过所述或另外的手术仪器、特别是能量仪器引起的、表面特征的确定的后续变化，对特征信息进行调整以描述改变的表面特征；和/或规定，对在通过自动分析确定的单侧的表面变化，特别是通过对变化之前记录的监视图像中的变化区域进行图像分析和/或基于关于相对位置的信息，找到对应关系数据组的改变的表面特征，并且对相关的特征信息进行调整以描述改变的表面特征。在此，将术语“单侧”理解为，要么仅涉及切除部分的表面要么仅涉及提取区域中的表面、即剩余组织的表面。在切除中，后续可能会对将来的切除部分或将来的剩余组织的组织表面的一部分再次进行处理，例如通过利用能量仪器进行烧灼来止血。可以以如下方式识别这种位置或变化区域：位于仪器周围的表面特征要么全部位于切除部分一侧，要么全部位于提取区域一侧。在这种情况下，表面纹理在相应位置处会发生变化，使得如果在那里存在对应关系对的表面特征，则可以调整相应的特征信息。关于特别优选地产生表面图，然后还可以适当地更新从监视图像导出的、变化区域中的纹理。总的来说，以这种方式，通过注意到后续出现的变化，实现了使对应关系对并且特别优选地还使表面图不断地保持为最新。换言之，因此特别是每当在变化区域中发生了对组织的单侧后续处理时，就再次调整并更新特征信息或表面图的表面纹理。但是在此应当注意，对应关系对的相应地点/位置仍然保持不变。相对于纯基于图像地来配准第一和第二表面数据组，这其中还有特别的优点：特别是在对组织表面进行这种后续的单侧的改变的情况下可以消除相似性，并且对切除结束后记录的图像进行纯基于图像的方法可能会失败。
以一般的方式，还可以将该方法的特别有利的设计方案构造为一种用于在提取切除部分之后对在患者处执行切除的人员进行导航支持以在提取区域中相对于切除部分进行导航的方法，其特征在于以下步骤：
-产生包含彼此相应的表面特征的对应关系对的对应关系数据组，方式是：
-在对切除部分进行切除期间，利用记录仪器连续地记录当前工作区域的监视图像，
-在检测到实施切割时，通过自动分析相应的监视图像来检测位于切口两侧的、分别形成的表面的表面特征，
-将在几何上相对于切口彼此相应的表面特征相互关联，以产生对应关系对，以及
-将每个对应关系对与描述对应关系对的表面特征的特征信息一起存储在对应关系数据组中，所述特征信息特别是包括至少示出表面特征的、至少一个监视图像的子图像，
-其中在产生新的对应关系对的情况下，在示出新的对应关系对的表面特征的监视图像中，通过检测另外的对应关系对的表面特征中的至少一个和/或参考特征，来确定相对于已经包含在对应关系数据组中的、至少一个另外的对应关系对和/或相对于不是对应关系对的一部分的参考特征的相对位置，并将其存储在对应关系数据组中，并且根据对应关系对和其相应的相对位置来创建通过切除形成的提取区域的表面的表面模型和切除部分的表面模型，为了确定相应的表面图，忠于位置地将特征信息的至少一部分和/或示出相应表面区域的至少一个监视图像的一部分与所述表面模型相关联，从而通过对应关系对给出与表面图上的位置相互关联的对应关系信息。
-利用离体扫描设备来记录切除部分的第一表面数据组，
-将切除部分的第一表面数据组与切除部分的表面图(可以将其视为另外的第一表面数据组)配准，并且因此在使用对应关系信息的情况下与提取区域的表面图(其作为第二表面数据组)配准，以及
-在使用配准的情况下执行至少一个支持措施，该支持措施对提取区域中相对于切除部分的导航进行支持。
除了该方法之外，本发明还涉及一种支持系统，其用于在提取切除部分之后对在患者处执行切除的人员进行导航支持，以在提取区域中相对于切除部分进行导航，该支持系统具有设计用于执行根据本发明的方法的控制设备。关于根据本发明方法的所有实施可以类似地转用到根据本发明的支持系统，因此通过这些实施同样可以获得已经提到的优点。
支持系统尤其可以具有各种各样的仪器、离体扫描设备、导航系统等。所述仪器例如可以包括记录仪器和/或手术仪器。此外，支持系统还可以包括特别是用于在支持措施的框架下输出图示的显示设备，就如附加地或替换地可想到的增强现实设备一样。为了对所有这些可想到的部件进行控制，相应地可以设计控制设备。特别地，控制设备可以具有至少一个处理器和至少一个存储装置(数据存储器)。可以在控制设备中提供相应的功能单元，以便实施根据本发明的方法的步骤。
例如，控制设备可以具有用于接收第一和/或第二表面数据组的至少一个接口、用于配准表面数据组的配准单元以及用于执行至少一个支持措施的支持单元，其中根据对根据本发明的方法的说明，当然还可以存在其他功能单元以用于其他设计方案。
根据本发明的计算机程序例如可以直接加载到支持系统的控制设备的存储单元中，并且具有程序装置，以便在支持系统的控制设备中实施该计算机程序时执行根据本发明的方法的步骤。计算机程序可以存储在根据本发明的电子可读的数据载体上，该电子可读的数据载体因此包括存储在其上的电子可读的控制信息，所述电子可读的控制信息包括至少一个根据本发明的计算机程序，并且被设计为，在支持系统的存储设备中应用数据载体时，所述电子可读的控制信息执行根据本发明的方法。数据载体优选地是非瞬态的数据载体，例如CD-ROM。
附图说明
根据下面描述的实施例并且根据附图得出本发明的其他优点和细节。在此，附图中：
图1示出了根据本发明的支持系统的实施例，
图2示出了切除部分上的位置与剩余的组织表面上的位置的对应关系的概略图，
图3示出了根据本发明的方法的第一实施例的流程图，
图4示出了根据本发明的方法的第二实施例的流程图，
图5示出了根据本发明的方法的第三实施例的流程图，
图6示出了用于根据监视图像创建对应关系数据组的流程图，
图7示出了在切除开始时的示意性的监视图像，
图8示出了在切除期间的稍晚时间点的示意性的监视图像，
图9示出了在切除期间的再次更晚的时间点的示意性的监视图像，
图10示出了使用对应关系数据组的流程图，并且
图11示出了根据本发明的检查系统的控制设备的功能结构。
具体实施方式
下面要对本发明的实施例进行更详细的说明，其中作为切除的示例在此考虑从患者的器官切除肿瘤。在这种肿瘤切除中特别关心的是，是否已经进行了所谓的R0切除，并且因此在患者中是否还留有恶性变化的组织，即在此已经被肿瘤细胞浸润的组织。因此，对于执行切除的人员合适的是，不仅能够得到组织学结果：在切除部分的表面上或表面附近是否还留有肿瘤细胞或其他恶性残余物，而且这些信息还可以相应地在空间上在提取空间中相关联、即特别是在通过切除形成的剩余的组织表面上相关联。在此在这点上应当注意的是，在这里的描述的框架中，对在到切除部分表面的限定的接近距离中在切除部分中存在恶性变化的描述当然还应当包括，恶性变化直接存在于切除部分的表面上。
图1示出了根据本发明的支持系统1的原理图，该支持系统1适用于执行肿瘤切除以及根据本发明的方法。
在手术台2上示出了已经从器官4中提取了切除部分5的患者3。相应地，在提取区域6中剩余了通过切除形成的组织表面7。在支持系统1中，可以为执行切除的人员提供多种不同的仪器，其中纯示例性地仅示出了手术仪器8、以数字活检工具10形式的第一记录仪器9和以具有立体照相机的腹腔镜12形式的第二记录仪器11。所有的仪器8、9和11以及可能还有未在此示出的其他仪器都具有用于当前光学导航系统14的标记物13，光学导航系统14当前还示出了照相机15。例如，这些照相机可以安装在天花板上。作为光学导航系统14的替换或补充还可以使用电磁导航系统。重要的是，可以通过导航系统14在患者相关的坐标系中确定所有使用的仪器的当前位置和方位，即姿势。特别地，因此还已知记录位置，在该记录位置形成记录仪器9、11的成像设备(例如照相机和/或OCT传感器)的图像。
在此，腹腔镜12例如可以具有立体照相机，在手术期间还可以利用该立体照相机来记录监视图像。数字活检工具10例如可以具有显微镜和/或OCT传感器，以便记录例如尺寸在0.01至10mm2范围内的较小片段。
此外，支持系统1还包括离体扫描设备16，还可以将其称为数字组织学设备。切除部分5已经定位在离体扫描设备16中，使得在那里可以对切除部分5的表面进行大面积地扫描，以便例如识别到其中还存在恶性变化、特别是肿瘤细胞的表面区域。
此外，检查系统1还具有控制设备17，其优选地与所有其他部件、特别是离体扫描设备16、仪器8、9和11、导航系统14以及其他部件通信连接。特别地，控制设备17还可以访问显示设备18和增强现实设备19、在此是增强现实眼镜20，可以对其进行控制以用于支持措施。
特别地，控制设备17被设计为用于执行根据本发明的方法，在下面的实施例中还要对其进行更详细地描述。
如图2中更清楚指示的，根据本发明的方法的目的在于，建立通过箭头21指示的配准，该配准可以实现在手术几何结构中、特别是在患者相关的坐标系中，在剩余的组织表面7上再次找到例如辨别为被肿瘤细胞浸润的切除部分5上的表面区域/位置22，因此自动找到了提取区域6中的剩余的组织表面7上的对应位置23，并且执行切除的人员通过合适的支持措施可以实现尽可能容易地找到该位置23。
图3示出了根据本发明的方法的第一实施例的流程图。在此，在步骤S1中，在离体扫描设备中关于切除部分5的表面对其进行扫描，这意味着，通过离体扫描设备记录了切除部分5的第一表面数据组。在步骤S2中，自动地分析切除部分5的该第一表面数据组，以检查在到切除部分5表面的限定的接近距离中、特别是在距切除部分5的表面的最大安全距离中，是否存在切除部分5中的恶性变化。将出现这种情况的位置标记为指示性特征。作为第一表面数据组的替换或第一表面数据组的补充，还可以分析离体扫描设备的另外的图像数据组。
在步骤S3中检查，是否检测到恶性变化，在当前情况下即是通过肿瘤细胞的浸润，其中如果不是这种情况，则在步骤S4中终止该方法。然而，如果存在指示性特征，则在步骤S5中利用数字活检工具10来记录剩余的组织表面7的多个片段，例如1至5个片段，来作为提取区域6的第二表面数据组。在此建议将片段尽可能均匀地分布；然而，还可以通过对第一表面数据组进行分析而得出如下粗略的结论：在哪里存在非常多的可良好识别到的表面特征，来输出对执行切除的人员的建议。所记录的剩余的组织表面7的片段的相对位置基于导航系统14已知。
在步骤S6中，现在在该第一实施例中，通过找到切除部分5的表面和剩余的组织表面7的彼此对应的表面特征，将第一表面数据组与第二表面数据组相互配准。因为在切除部分的位置处和剩余的组织表面7的对应的位置处的微观和宏观的细胞结构或组织结构可以具有很强的相似性，因为它们最初是连接在一起的。这种相似性的示例是细胞排列的图案、组织边界层、血管、组织密度和细胞类型以及必要时还有肿瘤细胞的浸润图案。充分利用如下事实：通过将逐片段进行测量的数字活检工具10的小面积的图像数据与离体扫描设备16的大面积的图像数据进行算法上的匹配来辨别包括几何取向的对应的表面特征的候选。
在该第一实施例中，在步骤S6中的配准中，尤其还使用了人工智能配准算法。在此，在第一子步骤中，例如通过使用至少一个滤波算法和/或至少一个平滑算法和/或至少一个边缘突出算法和/或频率分析来执行预处理，以提取不同尺寸尺度上的组织结构。然后将预处理的第一和第二表面数据组作为输入数据传输给人工智能配准算法。在此，特别地可以使用DNN。根据带注释的示例数据组对DNN进行训练，从预处理的表面数据组中提取有利于配准的表面特征，并将这些表面特征组成指纹数据组。指纹数据组描述了表面特征的整体以及表面特征在通过表面数据组描述的表面的至少一个子区域内的空间布置。例如，关于利用数字活检工具记录的第二表面数据组可以针对每个片段分别确定指纹数据组；当然还可以想到，在片段内还进行细分并且针对相应表面的子区域建立较小的指纹数据组。
然后，当然在相应的尺寸尺度上，将第一表面数据组和第二表面数据组的指纹数据组相互比较，以便特别是通过应用相似性标准，来找到可能的对应关系的候选。在此，可以基于最大的一致性来输出空间上的关联性，但是可选地还可以输出具有较高表面特征一致性的多个对应关系候选。通过在对剩余的组织表面7的多次逐片段的测量中重复该过程，然后通过对不同候选进行几何匹配来建立正确的配准。
在此，特别是也关于还要讨论的、具有覆盖剩余的组织表面7的较大部分的第二表面数据组的另外的实施例，要注意的是，在不同尺寸尺度下的实施特别有利的是，特别地，由于切去了位于切除部分5的表面与剩余的组织表面7之间的薄的组织层，所以在微观细胞排列的平面上的配准在许多位置上会失败。相应地，可以在多个尺寸尺度下工作。例如，可以在例如1至100个细胞的微观细胞结构的尺寸尺度下、在例如100至1000个细胞的几百个细胞的尺寸尺度下以及在宏观的尺寸尺度下使用指纹数据组。
特别是通过使用这种指纹数据组，还可以将这种类型的基于图像的配准鲁棒地应用于不同模态的第一和第二表面数据组，例如针对第一表面数据组使用光学相干断层成像，并且借助光学共聚焦显微镜对剩余的组织表面进行逐片段的扫描。在另外的示例中，可以以高分辨率的显微镜大面积地记录切除部分5的表面，由较低分辨率的腹腔镜或手术显微镜来记录剩余的组织表面的表面。此外，在其他类型的配准中同样合适的是，在使用不同模态的情况下使用针对模态的组合进行了相应训练的人工智能配准算法。
因此，在完成步骤S6之后呈现配准结果，该配准结果可以实现将在第一表面数据组的坐标系中已知其位置的切除部分5的表面上的位置与剩余的组织表面7上的位置相关联。
因为利用由导航系统14跟踪的数字活检工具10记录了这些片段，所以在导航系统14的患者相关的坐标系中也已知位置的地点。
在步骤S7中将其应用于各种各样可能的支持措施。
由此在步骤S7中，作为支持措施，可以将切除部分5的二维或三维组织图或其他表示显示在显示设备18上，其中特别是可以从第一表面数据组和/或离体扫描设备16的另外的图像数据组中导出所述表示。在示出切除部分5的表面的所述表示中，将在步骤S2中确定的指示性特征、即恶性变化的区域用红色突出显示。同时，使用步骤S6的配准结果，以显示数字活检工具10和/或至少一个另外的仪器、例如手术仪器8相对于所述指示性特征的相对位置，因此相对于剩余的组织表面7上的对应位置的相对位置。换言之，基于配准结果来确定，剩余的组织表面7上的哪个位置对应于指示性特征；借助导航系统14来确定相应仪器相对于该位置的相对位置，并且基于该相对位置，利用切除部分5的表示将仪器相对于指示性特征的相对姿势可视化。换言之，虽然仪器在实际空间中位于剩余的组织表面的某个位置或位置附近，但在切除部分5的表面上的对应位置处虚拟地淡入该仪器，或者通过其他方式对对应的位置/位置区域进行标记。
在这种支持措施的另外的变形方案中，可以将与切除部分5表面上的具有肿瘤细胞的区域相对应的、剩余的组织表面7的表面区域显示为增强现实或显示在虚拟的二维或三维表面模型上，优选地连同所导航、即跟踪的仪器的淡入一起进行显示。
可选地，在步骤S8中进行检查。基于支持措施，用户例如可以将数字活检工具10移动到剩余的组织表面7上的位置，这些位置被显示为可能具有肿瘤细胞的区域。通过利用数字活检工具的测量，用户可以验证，是否已经正确地确定了所显示的对应关系，并且必要时可以直接根据数字活检工具的图像判断：肿瘤细胞在剩余的组织侧是否也已经浸润。然后，在必要可以进行后续切除(在这里描述的方法之外)。
在可选的步骤S8中，可以将检查测量反馈到步骤S6中以改善配准。此外，在这点上还应注意，还可以迭代地重复步骤S5和S6，例如当在步骤S6中确定了配准结果的质量太低时。然后可以想到，针对至少一个另外的片段，在步骤S5的重复中利用数字活检工具10来记录第二表面数据组的表面数据。
图4示出了根据本发明的方法的第二实施例。在第二实施例中，将补充的、中间的第一和第二表面数据组用作一种中间步骤以更容易地进行配准。在此，尽管步骤S1至S4基本上保持不变，但是尤其是在离体扫描设备中定位切除部分5之前，在步骤S9中执行对切除部分5和提取区域6中的剩余的组织表面7的测量。为此，例如可以使用腹腔镜12或其他另外的记录仪器11，例如手术显微镜。切除部分5例如可以在记录仪器11前面旋转。关于剩余的组织表面7，也在记录仪器、特别是立体照相机的成像传感器的不同方向上记录子数据组。然后，例如借助在US 2017/0105601A1中描述的方法，可以根据子数据组在步骤S10中针对切除部分5和提取区域6分别产生三维表面模型。如果现在将子数据组的图像数据用作该表面模型的纹理，则在步骤S10中形成切除部分5和提取区域6中的剩余的组织表面7的相应的第一和第二表面数据组。
由于示出了相同的表面，在步骤S11中，可以通过借助合适的算法以及可能的内插/平滑进行的图像分析，将在步骤S1中记录的离体扫描设备16的大面积的扫描结果配准到步骤S10的第一表面数据组，这例如基于包含在离体扫描设备16的扫描数据中以及腹腔镜12的立体照相机的图像数据中的宏观组织结构进行。在步骤S11中，还可以将布置在切除部分5上的标记物(标记对象)用于简单的配准。
此外，还可以与步骤S11并行地，或在步骤S11之前或之后执行配准步骤S6，该配准步骤S6在此将在步骤S10中记录的第一和第二表面数据组相互配准，所述第一和第二表面数据组已经利用相同的模态进行了记录。尽管如此，在步骤S11之后才执行步骤S6可以是合适的，因为在步骤S1中记录的离体扫描设备16的第一表面数据组然后同样可以有助于改善配准。然后，最终在配准步骤S6中使用两个不同模态的第一表面数据组。
在步骤S12中，同样将通过跟踪的数字活检工具10在步骤S5中记录的片段直接与在步骤S10中确定的第二表面数据组配准，这可以特别容易地实现，因为所述第二表面数据组由于使用记录仪器11本来就存在于也追踪数字活检工具10的导航系统14的患者相关的坐标系中。应当注意，如果在此之后才执行步骤S6，则这些测量必要时也可以进入配准。
然后，在根据图4的第二实施例中，步骤S7还可以基于对步骤S10中已经确定的纹理化的表面模型的可视化提供支持措施。
图5的第三实施例与图4中的第二实施例的不同之处在于，在此不使用数字活检工具10。在步骤S10中确定的第一和第二表面数据组直接刚性地或优选可变形地相互配准。这是基于从立体照相机数据产生的三维表面模型的相应的纹理的几何特性实现的。由此可以将由数字组织学设备、即离体扫描设备16辨别出的、具有浸润的肿瘤细胞的指示性特征直接与剩余的组织表面7上的对应位置相关联。然而，在本发明的范围中仍然优选使用数字活检工具10，以便为配准提供基础并且可以实现在患者中进行检查(参见步骤S8)。
在所讨论的实施例的相应的步骤S6中，还可以使用对应关系数据组，该对应关系数据组包含对应的表面特征的对应关系对，在该对应关系对中不一定存在所描述的相似性。这意味着，这种对应关系数据组(示例性地将参考图6更详细地解释这种对应关系数据组的确定)还可以实现将这种表面特征彼此联系在一起，这种表面特征不再具有相似性，该相似性将会在切除结束之后记录的表面数据组中允许基于图像地关联，例如因为在此期间移除了太大的组织层和/或在一侧进行了后续治疗、尤其是烧灼。因此，所述对应关系数据组可以提供附加的相似性标准。
在确定对应关系数据组时利用以下事实：在特别是借助例如腹腔镜12的立体照相机的观察下进行几乎所有有助于将切除部分5与剩余组织分离的外科手术步骤，从而下面还假定存在监视视频，该监视视频的帧示出了在时间上连续记录的各个监视图像。由于通常手动和/或自动地对这种监视视频进行注释，这特别是涉及自动确定的工作流步骤，因此可以容易选择监视视频的完全示出了切除部分5的切除的相关部分。
因此，基本思想是，根据例如由腹腔镜12或替换地由手术显微镜记录的、切除的监视视频或监视图像产生切除部分5的表面与剩余的组织表面7之间的对应关系数据组。该对应关系数据组可以用于随后将切除部分5的表面上的位置22与剩余的组织表面7上的对应的位置23配准。
在此描述的对监视图像的分析可以在切除期间实时地进行，但优选地也可以随后基于所记录的监视视频进行。
在步骤S13中，通过计数变量跳到表征监视视频内的带注释/识别出的切除的开始时间点的帧，开始进行分析。下面，将用n来表示该计数变量。
在步骤S14中，相应地将监视视频的第n帧作为监视图像加载。在利用立体照相机记录的监视视频的情况下，在步骤S2中还可以利用从现有技术中基本上已知的方法执行对当前场景的三维表面图的立体重建。然后，选择性地在帧的监视图像上或在当前场景的纹理化的三维表面图上执行后续步骤。
在步骤S15中，从多个不同方面来分析当前的监视图像，特别是以便确定，究竟是否已经发生了手术仪器8与组织的相互作用。为此，一方面在监视图像内检测并定位手术仪器8，其中替换地或附加地还使用关于手术仪器8的导航系统14的位置信息。然后，在使用当前信息的情况下来确定，手术仪器当前是否正在分离或移除或处理组织，或者手术仪器当前是否对组织没有影响。对于相关的切除的时间段内的每个帧，与相应的监视图像相关联地来存储该信息。尤其可以使用该信息来进一步减少要更精确分析的帧或监视图像的数量，因为只有当组织实际上也受到手术仪器影响时，才会出现新的表面特征的对应关系对。
然后，在从步骤S16起之后的步骤中，如所描述地对相应要处理的每个帧、即监视图像进行连续地分析。
在步骤S16中，必要时在如已经参考图3至图5描述的预处理之后，针对当前要处理的帧首先尝试再次找到已经存储在对应关系数据组中的对应关系对的表面特征，因此在监视图像内定位所述表面特征。这同样适用于必要时可选地使用的参考特征。相应地，如果还没有确定对应关系对，则相应地将其省略。此外，在步骤S16中还尝试寻找新的对应的表面特征。如已经提到的，只有在当前的帧或刚刚记录的帧中手术仪器对组织有影响时，才对监视图像执行该方法步骤，对于所述影响，其例如通过切去或切割组织或组织的其他变化导致切除部分5与剩余的组织进一步分离。
作为对应的表面特征的候选，在此优选地通过图像分析来选择，一方面在先前的监视图像中尚未被充分分析的那些特征，但另一方面也至少在离体扫描设备16的成像模态中同样可清楚识别到的那些特征。作为另外的成像模态可以考虑记录仪器9、11的成像模态。针对这种表面特征，在几何上检查，是否可以在“另一侧”上找到实际匹配的表面特征。换言之，当前的切口边缘或分离边缘标记了将形成切除部分5的表面的组织与将形成提取区域6的剩余的组织表面7的组织之间的边界。对应的表面特征应位于该分离边缘的两个不同的侧上，并且在几何上满足以下条件：对应的表面特征当前或在足够新的之前的帧中可能已经被手术仪器8分离。如果这不是切除的开始，则新的表面特征应与较早识别到的表面特征邻接，这意味着不会距离太远。在对相对于已经形成对应关系对的一部分的表面特征的相对位置以及相对于可能的参考特征的相对位置进行这种检查时，如果实际上找到了新的对应关系对，则也可以立即存储该相对位置，因为在进一步的流程中还要使用所述表面特征(可能还有参考特征)彼此之间的相对位置。在寻找对应的表面特征的框架中，特别是除了几何上的考虑之外，还可以执行如已经描述的相似性检查，例如建立指纹数据组并进行比较。
如果在步骤S16中找到了新的对应关系对，则其作为对应关系数据组的一部分进行存储，对应关系数据组包括特征信息，在此至少包括示出表面特征的监视图像的部分，然而必要时还包括其他特征信息。特别是根据步骤S6在使用对应关系数据组来支持配准时，提供表面特征的指纹数据组作为特别的其他特征信息。
具体地，在该实施例中，利用所找到的每个对应关系对来扩展表面图，下面还要对其进行更详细地说明。
通过图7至图9更详细地说明了用于寻找对应的表面特征的对应关系对的该进行过程的图示，其中在此当然还可以使用已经讨论过的表面特征，图7至图9示意性示出了在不同时间点的监视图像，即监视视频的不同帧。
图7示意性示出了在切除开始时的监视图像24。可以看到器官4的表面处的手术仪器8和已经开始的切口25。
图8示出了随后的帧，这意味着，在稍后的时间点记录的监视图像26。在那里可以看到沿着手术仪器8正在作用在其上的切口边缘27的明显的进一步分离。在切口边缘27的右侧和左侧形成了表面，即在右侧形成了将来的切除部分的子表面28，在左侧形成了将来的剩余的组织表面7的子表面29。三角形30标记了在较早的帧中已经检测到的对应关系对的表面特征的位置，而在该帧中、即在监视图像26中，圆圈31示出了新的对应关系对的新检测到的表面特征，可以清楚地确定该新检测到的表面特征相对于通过三角形30标记的对应特征的相对位置。
图9示出了在时间点26之后相对较短的时间点的监视图像32。可以看到，恰好将手术仪器8移出了切口边缘27的区域，这表明在随后的时间段内不再发生组织影响。然而，通过仪器8的移出以及之前进行的切除，可以看到靠近通过圆圈31标记的表面特征的、通过正方形33标记的另外的表面特征，其形成新的对应关系对。
返回到图6，步骤S17涉及产生或更新切除部分5和提取区域6的所形成的表面的纹理化的表面图。由于已知对应关系对的表面特征彼此的相对位置，首先创建表面模型，必要时在使用立体照相机的情况下三维地创建表面模型，将来自监视图像24、26、32中至少一个的表面图案或相应的图像数据作为纹理与表面模型相关联。分别使用的来自监视图像24、26、32的片段至少示出了相应的表面特征(作为特征信息)，但是优选地也相应地填充了表面特征的位置之间的区域。在此，尤其可以在使用多个帧的情况下，例如通过对示出相应部分的多个监视图像24、26、32取平均来确定纹理。
当前的对应关系对、未来的切除部分5和提取区域6的纹理化的表面图以及可能的另外的信息(另外的特征信息、相对位置等)被存储在控制设备17的数据存储器中。
在步骤S18中检查，是否已经到达监视视频的相关部分的结束。如果不是，则继续跳到下一帧，即n->n+1。如果是，则该方法终止。
在此，在这点上还应当注意的是，在步骤S16中还监视是否例如通过借助能量仪器进行单侧烧灼而出现了单侧的组织变化，即仅涉及或基本上仅涉及部分28或部分29的组织变化。在这种情况下，在相应的位置再次对表面图的表面纹理进行调整，如果有必要也同样调整其他特征信息。以这种方式，特别是以对应关系对的形式形成了相似性关系，否则可能通过纯基于图像地比较最终状态，不再能识别到该相似性关系。
相应地，在根据图3至图5的方法的步骤S6中，还可以将对应关系数据组用于改善配准，在该方法中，根据具有其特征信息的对应关系对、尤其是指纹数据组以及可能的相对位置添加了另外的相似性标准，借助所述相似性标准仍然可以将由于在中间切去的过厚的组织层或随后的单侧处理而不再看起来相似的表面特征识别为对应的。
然而，如通过图10中的流程图所示，还可以想到根据本发明的方法的一种设计方案，其中在步骤S17中形成的提取区域6的剩余的组织表面7的表面图最终作为第二表面数据组起作用。必要时，即如果器官4或患者3的位置没有发生太大变化，则该第二表面数据组甚至已经存在于患者相关的坐标系中，这是因为相对于切除部分5没有去除剩余的组织表面7，利用患者相关的坐标系还可以通过导航系统14来跟踪用于记录监视图像24、26、32的记录仪器9、11。但是，当然还可以记录另外的第二表面数据组，由于其示出相同的表面，该另外的第二表面数据组简化了与提取区域6的表面图的配准，从而建立了与患者相关的坐标系的关系。
在图10的步骤S19中，现在首先进行对在步骤S17中创建的、切除部分5和提取区域6中的剩余的组织表面7的表面图进行预处理。关于表面图中的对应关系对的表面特征的位置的信息已经表示了对应关系信息，这是因为这些位置彼此相互关联，但是，该对应关系信息仅逐点地存在于呈现了确定为适合于表面对的表面特征的地方。现在在步骤S19中适当地内插这些对应关系，从而可以将剩余的组织表面7上的对应的位置与切除部分5的表面上的每个位置或至少尽可能多的位置相关联。因此最终形成对应关系映射或对应关系表，其在理想情况下对整个表面图都有效，并且因此表示表面图之间的配准的完成度。由于利用离体扫描设备16记录的第一表面数据组可以基于相同的表面容易地与切除部分5的表面图配准，因此通过该配准与通过对应关系信息给出的配准的关联形成了第一表面数据组与提取区域6的剩余的组织表面7的可被视为第二表面数据组的表面图之间的配准。
换言之，在步骤S20中，可以基于图像地至少将利用离体扫描设备16记录的、在表面附近示出组织的恶性变化的、第一表面数据组的一部分与切除部分5的表面图配准。例如，切除部分5的表面的显微镜图像相应地可以按比例缩小，并且然后基于图像地在空间上将其配准到表面图。有利地，进行表面数据组与切除部分5的表面图的完全配准。作为步骤S20的结果，因此在每种情况下可以将切除部分5的表面图上的位置与指示性特征相关联。
然后，在步骤S21中使用对应关系信息来确定与该位置aR相对应的位置bV。
如果提取区域6的表面图现在还没有用作存在于患者相关的坐标系中的第二表面数据组，则在步骤S22中，可以在(至少在位置bV周围的)剩余的组织表面7的表面图的纹理与腹腔镜12的当前视频图像或另外的第二表面数据组之间进行基于图像的配准。替换地，还可以通过导航系统14来进行配准，如所描述的，在导航系统中，将剩余的组织表面7的整个表面图配准到手术中的几何形状。
最后，在类似于步骤S7的步骤S23中执行支持措施，例如将与切除部分5的肿瘤浸润的位置相对应的剩余的组织表面7的表面部分显示为导航系统中的叠加、增强现实或标记。
最后，图11示出了根据本发明的支持系统1的控制设备17的可能的功能单元。控制设备17首先可以具有接口34，经由接口34可以从相应的设备/仪器(离体扫描设备16、记录仪器9、11等)接收根据本发明的方法的要执行实施例所需的图像数据，以进行处理。此外，根据实施例，控制设备17具有至少一个配准单元35来执行步骤S6、S11、S12、S16、S17、S19、S20、S21和/或S22。根据实施例，可以设置支持单元36来执行步骤S7或S23。
取决于要通过控制设备17执行的根据本发明的方法的具体的设计方案，当然还可以存在另外的功能单元，必要时可以存在配准单元35和支持单元36的子单元，特别是至少一个图像处理单元、至少一个预处理单元等。存储装置或数据存储器37可以用于存储中间结果或配准结果等。
虽然在细节上通过优选的实施例更详细地解释和描述了本发明，但是本发明不受所公开的示例的限制，并且本领域技术人员可以从中导出其它变形方案，而不脱离本发明的保护范围。

Claims (28)

1.一种用于在提取切除部分(5)之后对在患者(3)处执行切除的人员进行导航支持以相对于所述切除部分(5)进行导航的方法，其特征在于，所述方法具有以下步骤：
-利用离体扫描设备(16)记录所述切除部分(5)的第一表面数据组，
-在使用记录仪器(9，11)的情况下确定提取区域(6)的第二表面数据组，所述第二表面数据组覆盖了患者(3)中的切除部分(5)的提取区域(6)的剩余的组织表面(7)的至少一部分，
-基于所述提取区域(6)中的剩余的组织表面(7)和所述切除部分(5)的相应的表面特征，将所述切除部分(5)的第一表面数据组与所述提取区域(6)的第二表面数据组配准，和
-在使用配准的情况下执行至少一个支持措施，所述支持措施对提取区域(6)中相对于所述切除部分(5)的导航进行支持。
2.根据权利要求1所述的方法，其特征在于，在患者相关的坐标系中借助导航系统(14)来跟踪所述记录仪器(9，11)，其中在患者相关的坐标系中还记录或存在第二表面数据组，其中所述支持措施尤其包括显示所述切除部分(5)的至少一个指示性特征相对于所述记录仪器(9，11)和/或相对于通过所述导航系统(14)在患者相关的坐标系中跟踪的另外的仪器和/或相对于所述提取区域(6)的表面的相对位置。
3.根据权利要求2所述的方法，其特征在于，为了显示所述相对位置，使用增强现实设备(19)、特别是增强现实眼镜(20)，和/或显示设备(18)，用于再现所述第一和/或第二表面数据组，其中在所述第一和/或第二表面数据记录中淡入仪器和/或另外的仪器和/或指示其相对位置的标记物；和/或用于再现当前通过所述记录仪器(9，11)和/或至少一个另外的仪器中的至少一个、尤其是腹腔镜(12)记录的图像，其中在所述图像中淡入来自所述第一表面数据组的至少一个特征。
4.根据权利要求2或3所述的方法，其特征在于，至少一个指示性特征中的至少一个描述了在到所述切除部分(5)的表面的限定的接近距离中在所述切除部分(5)中存在恶性变化，所述存在通过至少部分自动地分析所述第一表面数据组和/或与所述第一表面数据组配准的、所述切除部分(5)的另外的图像数据组进行确定。
5.根据上述权利要求中任一项所述的方法，其特征在于，利用光学的成像模态、尤其是照相机和/或光学相干断层成像和/或荧光成像和/或共聚焦显微镜和/或激光显微镜来记录所述第一表面数据组和/或所述第二表面数据组和/或另外的图像数据组。
6.根据上述权利要求中任一项所述的方法，其特征在于，作为所述记录仪器(9，11)使用数字活检工具(10)，所述数字活检工具逐片段地、特别是在大小为0.01至10mm2的片段中测量所述提取区域(6)中的组织表面(7)，其中在配准的框架中，将对应的片段定位在所述切除部分(5)的表面上。
7.根据权利要求6所述的方法，其特征在于，通过对所述第一表面数据组进行分析来确定至少一个区域，所述区域具有在所述数字活检工具(10)的表面数据中可识别的表面特征，并且关于所述切除部分(5)向人员指示所述区域。
8.根据权利要求6或7所述的方法，其特征在于，在配准的框架中确定描述配准结果的可靠性的质量水平，其中在质量水平低于阈值的情况下要求记录另外的片段，和/或利用数字活检工具(10)执行至少一个验证测量以检查通过支持措施传达的信息，特别是用于检查在数字活检工具(10)的当前位置处是否存在恶性变化。
9.根据上述权利要求中任一项所述的方法，其特征在于，所述第一和/或第二表面数据组由从对准所述切除部分(5)或所述提取区域(6)的不同视线方向记录的子数据组、特别是立体照相机的子数据组组成。
10.根据权利要求9所述的方法，其特征在于，首先根据所述子数据组确定描述表面走向的表面模型，尤其是确定为多边形模型，所述表面模型作为纹理与子数据组的图像数据相关联。
11.根据权利要求9或10所述的方法，其特征在于，在确定第二表面数据组的情况下，并且在使用数字活检工具(10)的情况下，将通过所述数字活检工具(10)测量的片段配准到所述第二表面数据组，这尤其是在支持地使用与所述第二表面数据组配准的第一表面数据组的情况下进行，所述第二表面数据组示出了通过切除形成的所述提取区域(6)的整个表面，所述数字活检工具逐片段地测量所述提取区域(6)中的组织表面(7)。
12.根据上述权利要求中任一项所述的方法，其特征在于，特别是在使用分别描述整个表面的表面数据组的情况下以不同的分辨率等级依次进行配准，这特别是在将表面的组织结构分割为表面特征的情况下进行；和/或利用不同的模态来记录多个第一表面数据组和/或多个第二表面数据组，将所有的表面数据组用于配准，特别是从较粗的分辨率到较细的分辨率依次进行。
13.根据上述权利要求中任一项所述的方法，其特征在于，作为用于配准的表面特征使用细胞结构和/或细胞类型和/或细胞排列和/或细胞簇和/或组织的纤维结构和/或组织的血管结构和/或组织的谱反射率和/或荧光染料在组织中的分布和/或恶性变化在可见的组织表面上的分布和/或手术仪器(8)的轨迹、尤其是手术刀和/或抽吸设备和/或能量仪器的轨迹。
14.根据上述权利要求中任一项所述的方法，其特征在于，特别是在使用至少一个滤波算法和/或平滑算法和/或边缘突出算法的情况下检测表面数据组的不同分辨率区域中的表面特征，和/或将其组合成指纹数据组，对所述指纹数据组进行比较以进行配准。
15.根据权利要求14所述的方法，其特征在于，在使用所述指纹数据组的情况下，利用不同的模态来记录所述第一和第二表面数据组。
16.根据上述权利要求中任一项所述的方法，其特征在于，在配准表面数据组时使用人工智能配准算法、特别是深度神经网络，所述人工智能配准算法已经利用带注释的表面数据组作为训练数据进行了训练。
17.根据上述权利要求中任一项所述的方法，其特征在于，为了支持配准，产生包含彼此相应的表面特征的对应关系对的对应关系数据组，方式是：
-在对所述切除部分(5)进行切除期间，利用所述或另外的记录仪器(9，11)连续地记录当前工作区域的监视图像(24，26，32)，
-在检测到实施切割时，通过自动分析相应的监视图像(24，26，32)来检测位于切口两侧的分别形成的表面的表面特征，
-将在几何上关于切口彼此相应的表面特征相互关联，以产生对应关系对，以及
-将每个对应关系对与描述对应关系对的表面特征的特征信息一起存储在对应关系数据组中，所述特征信息特别是包括至少示出表面特征的、至少一个监视图像的子图像。
18.根据权利要求17所述的方法，其特征在于，在产生新的对应关系对的情况下，通过在示出新的对应关系对的表面特征的监视图像(24，26，32)中检测另外的对应关系对的至少一个表面特征和/或参考特征，来确定相对于已经包含在对应关系数据组中的至少一个另外的对应关系对和/或相对于不是对应关系对的一部分的参考特征的相对位置，并且将该相对位置存储在对应关系数据组中。
19.根据权利要求18所述的方法，其特征在于，根据对应关系对以及其相应的相对位置来创建通过切除形成的所述提取区域(6)的表面的表面模型和所述切除部分(5)的表面模型，为了确定相应的表面图，忠于位置地将特征信息的至少一部分和/或示出相应表面区域的至少一个监视图像的一部分与所述表面模型相关联，从而通过对应关系对，给出与表面图上的位置相互关联的对应关系信息。
20.根据权利要求19所述的方法，其特征在于，为了扩展通过对应关系对给出的对应关系信息，在位于对应关系对的表面特征之间的表面图的区域中通过内插来确定表面图的另外的对应的位置，尤其是确定适用于完整的表面图的对应关系映射和/或对应关系表。
21.根据权利要求19或20所述的方法，其特征在于，为了在所述提取区域(6)的剩余的组织表面(7)上定位所述切除部分(5)的指示性特征，使用对应关系信息，所述指示性特征在所述切除部分(5)的表面上的位置是已知的。
22.根据权利要求17至21中任一项所述的方法，其特征在于，在所述监视图像(24，26，32)中至少部分基于图像地进行对实施切割的检测，这特别是通过跟踪已经检测到的表面特征和/或在所述监视图像(24，26，32)中可见的特别是关于组织接触的手术仪器(8)，和/或基于在时间上与所述监视图像(24，26，32)相关联的附加信息进行。
23.根据权利要求22所述的方法，其特征在于，确定所述附加信息，其描述了由导航系统(14)或所述导航系统(14)确定的手术仪器(8)的运动，和/或特别是通过操纵脚踏板触发的向手术仪器(8)的能量供应，和/或手术工作流的工作流步骤。
24.根据权利要求17至23中任一项所述的方法，其特征在于，选择新的对应关系对的表面特征，使得在表面数据组和/或至少一个另外的图像数据组的相应的成像模态中，能够以超过阈值的可靠性检测到所述表面特征。
25.根据权利要求17至24中任一项所述的方法，其特征在于，在切除时间段内，只要在所述监视图像(24，26，32)中包含对应关系对的表面特征，就在所述监视图像(24，26，32)中对所述对应关系对的表面特征进行跟踪，其中对于通过所述或另外的手术仪器(8)、特别是能量仪器引起的表面特征的确定的后续变化，对特征信息进行调整以描述改变的表面特征；和/或对于通过自动分析确定的单侧的表面变化，特别是通过对变化之前记录的监视图像(24，26，32)中的变化区域进行图像分析和/或基于关于相对位置的信息，找到对应关系数据组的改变的表面特征，并且对相关的特征信息进行调整以描述改变的表面特征。
26.一种其用于在提取切除部分(5)之后对在患者(3)处执行切除的人员进行导航支持以相对于所述切除部分(5)进行导航的支持系统(1)，所述支持系统具有设计用于执行根据上述权利要求中任一项所述的方法的控制设备(17)。
27.一种计算机程序，当在支持系统(1)的控制设备(17)上执行所述计算机程序时，所述计算机程序执行根据权利要求1至25中任一项所述的方法的步骤。
28.一种电子可读的数据载体，在其上存储有根据权利要求27所述的计算机程序。
CN202010511467.8A 2019-06-07 2020-06-08 对人进行导航支持以关于切除部分进行导航的方法和系统 Pending CN112043378A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019208355.2A DE102019208355A1 (de) 2019-06-07 2019-06-07 Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
DE102019208355.2 2019-06-07

Publications (1)

Publication Number Publication Date
CN112043378A true CN112043378A (zh) 2020-12-08

Family

ID=73460072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010511467.8A Pending CN112043378A (zh) 2019-06-07 2020-06-08 对人进行导航支持以关于切除部分进行导航的方法和系统

Country Status (3)

Country Link
US (1) US11602398B2 (zh)
CN (1) CN112043378A (zh)
DE (1) DE102019208355A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098968A (zh) * 2021-12-28 2022-03-01 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230364746A1 (en) * 2022-05-13 2023-11-16 Joseph M. Grubb Multitool with locking multipurpose driver

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010042073A1 (de) * 2009-10-06 2011-04-14 Forschungsholding Tu Graz Gmbh Fusion von CT Volumen und histologischen Schnitten orientiert an natürlichen Merkmalspunkten
CN104067313A (zh) * 2012-01-16 2014-09-24 皇家飞利浦有限公司 成像装置
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法
US20150327767A1 (en) * 2012-12-18 2015-11-19 Carl Zeiss Ag Imaging method for resected matter and/or for a resection bed and image generation device for carrying out such an imaging method
US20160135776A1 (en) * 2013-06-10 2016-05-19 Howard C. Chandler, JR. Method and system for intraoperative imaging of soft tissue in the dorsal cavity
US20160143693A1 (en) * 2014-11-20 2016-05-26 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
US20170358083A1 (en) * 2015-01-07 2017-12-14 Cameron Anthony Piron Method, system and apparatus for automatically evaluating resection accuracy
US20180116526A1 (en) * 2004-11-29 2018-05-03 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2844159B1 (en) * 2012-05-03 2017-10-11 Synthes GmbH Surgical guide with cut resistant inserts
AU2014231343B2 (en) * 2013-03-15 2019-01-24 Synaptive Medical Inc. Intramodal synchronization of surgical data
DE102014103044A1 (de) 2014-03-07 2015-09-10 Carl Zeiss Meditec Ag Chirurgisches Assistenzsystem
WO2015148630A1 (en) * 2014-03-25 2015-10-01 The Johns Hopkins University Quantitative tissue property mapping for real time tumor detection and interventional guidance
US9833254B1 (en) * 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
EP3307192B1 (en) * 2015-06-12 2022-04-13 The Trustees of Dartmouth College Methods for manufacturing a locator form for guiding tissue resection
US10716457B2 (en) 2015-10-14 2020-07-21 Siemens Aktiengesellschaft Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
US10743941B2 (en) * 2015-11-24 2020-08-18 Vanderbilt University Method and system for trackerless image guided soft tissue surgery and applications of same
US11253321B2 (en) * 2016-04-27 2022-02-22 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
WO2018232514A1 (en) * 2017-06-23 2018-12-27 7D Surgical Inc. SYSTEMS AND METHODS FOR PEROPERATIVE SURFACE RECORDING AND NAVIGATION
EP3540632B1 (de) 2018-03-16 2023-04-26 Siemens Healthcare GmbH Verfahren zum klassifizieren von gewebeproben
US10292769B1 (en) * 2018-08-07 2019-05-21 Sony Corporation Surgical assistive device and method for providing assistance in surgery of anatomical portions of internal organ affected by intraoperative shift
US11478302B2 (en) * 2019-05-28 2022-10-25 Arthrology Consulting, Llc Methods for generating intraoperative surgical guidance during joint arthroplasty based on dynamic ligament tension

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180116526A1 (en) * 2004-11-29 2018-05-03 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
DE102010042073A1 (de) * 2009-10-06 2011-04-14 Forschungsholding Tu Graz Gmbh Fusion von CT Volumen und histologischen Schnitten orientiert an natürlichen Merkmalspunkten
CN104067313A (zh) * 2012-01-16 2014-09-24 皇家飞利浦有限公司 成像装置
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法
US20150327767A1 (en) * 2012-12-18 2015-11-19 Carl Zeiss Ag Imaging method for resected matter and/or for a resection bed and image generation device for carrying out such an imaging method
US20160135776A1 (en) * 2013-06-10 2016-05-19 Howard C. Chandler, JR. Method and system for intraoperative imaging of soft tissue in the dorsal cavity
US20160143693A1 (en) * 2014-11-20 2016-05-26 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
US20170358083A1 (en) * 2015-01-07 2017-12-14 Cameron Anthony Piron Method, system and apparatus for automatically evaluating resection accuracy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098968A (zh) * 2021-12-28 2022-03-01 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪方法及装置
CN114098968B (zh) * 2021-12-28 2022-05-27 珠海维尔康生物科技有限公司 一种辅助机器人的快速定位跟踪装置

Also Published As

Publication number Publication date
DE102019208355A1 (de) 2020-12-10
US11602398B2 (en) 2023-03-14
US20200383733A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
JP6363800B2 (ja) 脊椎フィーチャーの識別
JP4931027B2 (ja) 医用画像診断支援装置および方法、並びにプログラム
CN108369736B (zh) 用于根据术中图像流计算切除的组织的体积的方法及设备
JP5559642B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
CN114129240B (zh) 一种引导信息生成方法、系统、装置及电子设备
JP4688361B2 (ja) 臓器の特定領域抽出表示装置及びその表示方法
CN107871531B (zh) 裂隙评估和外科手术介入性规划
JP2014161734A (ja) 医療画像を整合する方法及びその装置
CN107865692B (zh) 外科手术和介入计划中用于检测胸膜受侵的系统和方法
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
JP2001283191A (ja) 臓器の特定領域抽出表示方法及び装置
US11847730B2 (en) Orientation detection in fluoroscopic images
CN112043378A (zh) 对人进行导航支持以关于切除部分进行导航的方法和系统
CN110123453A (zh) 一种基于无标记增强现实的手术导航系统
US11282211B2 (en) Medical imaging device, method for supporting medical personnel, computer program product, and computer-readable storage medium
JP4675509B2 (ja) 臓器の特定領域抽出表示装置及び方法
JP2020501691A (ja) 手術を誘導する画像を提供するシステム
KR20230013041A (ko) 딥러닝을 기반으로 절제 부위를 정하는 방법
JP5486616B2 (ja) 医用画像診断支援装置およびその作動方法、並びにプログラム
CN112489051B (zh) 基于血管及病变区域的肝脏裁切方法及系统
JP6570460B2 (ja) 評価装置、方法およびプログラム
JP5192751B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20230013042A (ko) 영상 분석을 통해 병변의 재발을 예측하는 방법
JP2005081046A (ja) 定位脳手術支援システム
EP3944190A1 (en) Systems and methods for estimating the movement of a target using universal deformation models for anatomic tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination