CN116829098A - 具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法 - Google Patents

具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法 Download PDF

Info

Publication number
CN116829098A
CN116829098A CN202280011932.9A CN202280011932A CN116829098A CN 116829098 A CN116829098 A CN 116829098A CN 202280011932 A CN202280011932 A CN 202280011932A CN 116829098 A CN116829098 A CN 116829098A
Authority
CN
China
Prior art keywords
microscope
camera
surgical
ambient
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280011932.9A
Other languages
English (en)
Inventor
阿米尔·萨尔维斯塔尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Brian New Venture Capital Co ltd
Original Assignee
B Brian New Venture Capital Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Brian New Venture Capital Co ltd filed Critical B Brian New Venture Capital Co ltd
Publication of CN116829098A publication Critical patent/CN116829098A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本公开涉及一种用于在患者(P)的外科手术中使用的外科手术辅助系统(1),具有:手术显微镜(2),具有:‑可移动显微镜头(4),具有壳体(6)和光学系统(8),所述光学系统适于在光学显微镜轴线(10)的方向上提供瞄准区域(B)的光学放大并且借助连接在下游的显微镜拍摄单元(12)创建数字显微镜拍摄(14),‑与基座(18)连接的可移动显微镜臂(16),所述可移动显微镜头(4)连接在所述可移动显微镜臂上,并且所述可移动显微镜臂适于设定所述显微镜头(4)的位置和/或取向;至少一个用于呈现可视内容的呈现装置(20);以及控制单元(22),所述控制单元适于处理所述显微镜拍摄(14)并且相应地操控所述呈现装置(20)以用于呈现,其中,所述手术显微镜(2)还包括具有至少一个环境摄像头(26)的摄像头系统(24),所述环境摄像头布置在所述显微镜头(4)上,并且所述环境摄像头(26)适于使得所述环境摄像头(26)的视野(36)一起包括所述光学系统(8)的视野(34),以便通过所述环境摄像头(26)不仅检测由所述光学系统(8)瞄准的区域(B)而且检测在瞄准区域(B)周围的环境(U)并且提供环境拍摄(30),并且其中,所述控制装置(22)还适于处理所述环境拍摄(30)并且产生具有所述显微镜拍摄(14)和所述环境拍摄(30)的组合呈现(32)且通过所述呈现装置(20)可视地输出所述组合呈现。此外,本公开涉及一种拍摄呈现方法、一种存储介质以及一种消毒室。

Description

具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法
技术领域
本公开涉及一种用于在患者的外科手术中使用的具有手术显微镜/外科手术显微镜的外科手术辅助系统。手术显微镜在此具有带有壳体的可移动显微镜头和尤其设置在壳体中的光学系统,该光学系统适于在光学显微镜轴线的方向上提供尤其在5cm至80cm之间、尤其优选地在20cm至60cm之间的距离中的瞄准区域(手术区域)的光学放大,并且借助于尤其具有传感器的显微镜拍摄单元创建(数字)显微镜拍摄并且数字/计算机可读地提供该显微镜拍摄。此外,手术显微镜具有设置在基座上的可铰接/可移动显微镜臂,可移动显微镜头布置、尤其支承在该显微镜臂上,并且该显微镜臂适于设定显微镜头在空间中的位置和/或取向。此外,外科手术辅助系统具有至少一个用于显示可视内容的呈现装置以及控制单元,该控制单元适于处理显微镜拍摄并且相应地操控呈现装置以用于呈现。此外,本公开涉及根据并列权利要求的前序部分的一种拍摄呈现方法、一种存储介质以及一种消毒室。
背景技术
外科手术显微镜或者说手术显微镜尤其在神经外科手术、脊椎外科手术和微外科手术中属于在外科手术中使用的标准仪器。在此,所使用的这种手术显微镜通常具有双目光学系统,外科医生利用该双目光学系统可以直接光学放大地看到显微镜图像/显微图像/显微镜拍摄,或者可以通过呈现装置/外部显示设备、例如手术监控器放大地输出,以用于可视地呈现(数字)拍摄的显微镜图像。然而,在两种情况下,外科医生通过双目或手术监控器仅能看到具有非常高放大的瞄准的手术区域的显微镜图像的呈现。因此外科医生不能或至少很难看到(显微镜图像)周围的手术区域/手术区/干预区域,以便例如定位外科医生的在外科手术时使用的手或医学器械。在相应的定位的情况下,仅外科手术器械的尖端进入手术显微镜的视野。
然而,为了避免例如在实际的手术区域外的损坏,对显微镜图像的周围区域的观察是非常重要的。因此,为了看到周围区域,外科医生必须将视线从双目系统或显微镜的呈现装置移开,快速地可视地检测通过手术显微镜瞄准的区域的环境并且然后再次转向显微镜图像,这导致在手术时的巨大负荷。在不同的观察方向之间持续地变换到两种观察模式以及在外科医生头部中持续地关联起来是疲劳的并且经常导致不期望的错误。
手术显微镜也必须布置在手术室中,使得尤其是高级外科医生一方面良好地操作手术显微镜并向内观察到该手术显微镜中或者具有对手术监控器的良好视野,并且另一方面具有对手术区/手术区域/干预区域的良好观察。因此手术监控器必须被布置成使得外科医生能够具有对两个模式的良好观察,然而这限制了手术室中的布置的灵活性。对于外科医生来说也难以直接观察手术区域,因为显微镜的显微镜头的结构体积大多阻挡了对患者的直接观察。此外,该位置和相应良好的观察只为外科医生保持,而在手术室中的其他位置处的其他手术参与者一方面难以观察到由手术监控器显示的显微镜图像并且另一方面难以观察到手术区域。因此,从不利的观点来看,医学人员需要不断地旋转头部并变换视线方向。
例如,US20190290101 A1公开了一种具有手术显微镜的辅助系统,其与设置在外科医生头部处的便携式可视化系统组合使用。通过这种可视化系统,外科医生能够根据其眼睛的视角要么看到显微镜图像要么仅看到一种类型的放大镜图像/放大视图。由此外科医生能够在两种模式之间进行切换,但这种可视化系统与局限性和困难关联。由于集成的光学器件,可视化系统具有很高的重量,生产昂贵并且还容易出错,因为通向外科医生的眼睛的光路必须始终正确地延伸。而且,外科医生通过可视化系统失去对环境的感知。
US 9,936,863 B2例如公开了一种具有手术显微镜的系统,该系统在患者的伤口撑开装置上具有附加的摄像头,以便给外科医生尤其提供手术显微镜的中央显微镜拍摄以及在周围提供在伤口撑开装置上设置的附加的摄像头的拍摄。然而,这样的系统具有的缺点是,一方面必须在患者处设置带有摄像头的伤口撑开装置并且此外围绕手术部位的环境不被光学地检测,然而该环境为外科医生提供决定性的信息。
发明内容
因此本公开的任务是避免或至少减少现有技术中的缺点,并且尤其是提供外科手术辅助系统、(拍摄)呈现方法、存储介质以及消毒室,其给手术参与者/医学人员(尤其是(高级)外科医生)提供了一眼能够观察手术部位的所瞄准区域的(放大的)显微镜拍摄/显微镜图像的信息和手术部位的所瞄准区域周围的环境的呈现的集中直观且辅助的融合。此外,应当改进手眼协调以及确保可靠地接近干预区域/手术区域/手术区,以便尤其避免或至少最小化由于不小心和无意的动作引起的组织损伤以及外科手术的持续时间。尤其是对于外科医生来说,通过显微镜拍摄和环境的信息的关联,其头部的对于手术所需的移动以及精神负荷应当被最小化。
该任务在这种类型的外科手术辅助系统方面通过权利要求1的特征来解决,在这种类型的拍摄呈现方法方面通过权利要求12的特征来解决,在这种类型的计算机可读存储介质方面通过权利要求13的特征来解决并且在这种类型的消毒室方面通过权利要求14的特征来解决。
原则上,手术显微镜、尤其是显微镜头配备有具有至少一个附加摄像头的摄像头系统。摄像头布置在显微镜头上、尤其是布置在显微镜光学系统的壳体上,尤其是固定地/刚性地紧固。因此光学显微镜轴线指向与光学摄像头轴线相似的视线方向。因此两个拍摄、即显微镜拍摄和摄像头拍摄尤其关联。附加的环境摄像头产生具有与手术显微镜相比更小的放大的拍摄或者优选地以与手术显微镜的光学系统类似的视线方向产生广角拍摄/广角图像。环境摄像头或摄像头系统的另外的摄像头也可以布置在显微镜头上,使得其布置或集成在显微镜头内,尤其是在壳体内。
两个拍摄,不仅通过手术显微镜(或光学系统)进行的显微镜拍摄而且通过环境摄像头进行的环境拍摄,由控制单元处理,并且产生具有两个拍摄的组合呈现。然后,中央地通过呈现装置输出该(数字产生的)组合呈现,在所述组合呈现中可视地存在关于两个拍摄的信息。
因此辅助系统使用户、尤其是外科医生不仅能够放大手术区域的内部而且能够为了概览而可视地检测手术区域的环境/外部,而不必改变其头部位置或其视线方向。中央呈现尤其改善了协调、抵抗疲劳并且缩短了手术。由于给外科医生提供了更好的概览,还提高了患者的安全性。
换句话说,手术显微镜、尤其是显微镜头具有带有至少一个环境摄像头的摄像头系统,其中,环境摄像头布置在显微镜头上或与显微镜头连接。环境摄像头尤其紧固在壳体上。优选地,环境摄像头刚性地固定在显微镜头上、尤其是壳体上,从而相对于显微镜头以及光学系统的定向始终保持恒定。环境摄像头在此尤其通过其光学摄像头轴线的定向和/或通过其摄像头光学器件来适配,使得环境摄像头的视野尤其从预定的距离起、优选从距摄像头的前部的5cm的距离起或在显微镜头的一侧,一起包括/包括/一起具有/包含手术显微镜的光学系统的视野,以便通过环境摄像头不仅检测由光学系统瞄准的区域而且检测围绕所瞄准的区域的环境并且数字地/计算机可读地提供环境拍摄。所述控制装置还适于处理所述环境拍摄并且产生具有所述显微镜拍摄和所述环境拍摄的组合呈现且通过所述呈现装置可视地输出所述组合呈现。
组合呈现在当前情况下意味着,不仅显微镜拍摄的信息而且环境拍摄的信息以单个呈现、即组合呈现集中地反映。换句话说,在组合呈现中,显微镜拍摄和环境拍摄必要时通过图像处理来进一步处理。
尤其,环境摄像头因此具有与手术显微镜的光学系统类似的或平行的视线方向。因此,除了瞄准区域外,还光学地检测围绕该瞄准区域的环境。也可以说,光学系统和环境摄像头的光学轴线类似地、尤其彼此平行或基本彼此平行地定向。在此要注意,光学检测尤其不必仅限于光的可见区域,而是也可以包括可见区域下方和上方的其他频率。例如通过环境摄像头也可以拍摄红外线拍摄作为环境拍摄,通过控制单元处理并且相应地输出。优选地,环境摄像头、尤其环境摄像头和控制单元或者摄像头系统的另外的摄像头可以适于拍摄或产生3D图像和/或所谓的深度图。以这种方式不仅获得二维图像,而且获得环境的3D结构。深度图具有关于从视点到表面的距离的信息,从而检测3D结构。
术语视野定义了光学系统或环境摄像头的视角中的区域,在该区域内可以进行拍摄。可以说,落到拍摄单元或传感器上的图像/拍摄由边缘限定。这例如可以与锥体进行比较,该锥体与光学轴线同轴地定向并且其尖端布置在光学器件的前部上。锥体内部体积中的所有“对象”可以被拍摄。锥体的张角在此限定了可能的拍摄区域。因此,当在图像上观察时,显微镜的锥体处于环境摄像头(内部)的锥体中。这样,环境摄像头一方面可以检测瞄准区域,因为所述瞄准区域当然也处于环境摄像头的锥体内部,并且此外检测围绕该区域的环境。虽然环境摄像头具有带有相应较小的放大的(锥体的)宽张角,但是显微镜的光学系统具有带有相应较大的放大的非常窄的张角。
有利的实施方案在从属权利要求中要求保护并且在下面阐述。
根据优选的实施方式,辅助系统还可以具有存储单元,该存储单元具有在其中存储的手术前3D拍摄数据、尤其是MRT拍摄数据和/或CT拍摄数据,并且辅助系统、尤其是控制单元可以适于借助摄像头系统、尤其是仅利用环境摄像头来空间地检测患者的(三维)3D结构、尤其是患者的头部、特别优选是面部,并且将所检测的3D结构与3D拍摄数据关联,以便尤其是相对于手术显微镜、特别优选显微镜头部配准患者。换言之,控制单元尤其可以适于基于患者的存储的3D拍摄数据、尤其是磁共振断层成像(MRT)或计算机断层造影(CT)的存储的数据,将所拍摄的3D结构与3D拍摄数据关联,以便配准患者。以这种方式,通过变换矩阵将患者的局部坐标系与手术显微镜、尤其是显微镜头的局部坐标系关联。因此3D拍摄数据可以与患者以几何关系进行设置或与显微镜头关联。通过环境摄像头可以因此以简单的方式配准患者。当显微镜头移动时,显微镜头的移动可以被检测/追踪并且相应地与3D拍摄数据关联。因此具有环境摄像头的辅助系统的另外的功能是在使用外科手术导航系统时对患者进行配准。换言之,附加的环境摄像头可以用于借助于模式识别来配准患者。患者的3D表面、例如面部被提取并且与3D拍摄数据/手术前3D数据组、诸如CT拍摄数据或MRI拍摄数据的3D表面关联。因此环境摄像头产生患者表面(例如面部)的3D图像,该3D图像可以与手术前3D拍摄数据(例如MRT拍摄数据)关联,为此控制单元相应地适配。用于关联的外部参考尤其可以是刚性体和/或光学图案和/或表征性标志。环境摄像头定向到患者上到用于配准的区域、例如面部上。在此,术语3D定义的是,患者的结构、拍摄数据或表面在空间上、即三维地存在。患者的身体或身体的具有空间范围的至少一个部分区域可以在具有例如笛卡尔坐标系(X,Y,Z)的三维空间中数字地作为拍摄数据存在。
根据另外的实施方式,附加于或备选于通过3D结构进行配准,也可以通过至少一个安设在患者上的标记进行配准。控制单元在此适于通过所检测的所述至少一个标记的预定义方位相对于手术显微镜、尤其是显微镜头来配准患者。因此借助图像处理技术可以利用标记或没有标记(无标记地)进行配准。术语方位既定义位置也定义取向。
优选地,为了检测3D结构,摄像头系统可以具有3D摄像头和/或2D摄像头,尤其是由作为摄像头系统的唯一的2D摄像头或3D摄像头的仅环境摄像头组成。在2D摄像头的情况下,该2D摄像头可以在患者的感兴趣区域上移动,以便检测感兴趣区域的不同视图。然后,控制单元适于借助图像分析(机器视觉)从所拍摄的不同视图计算3D结构。为了创建3D表面/3D结构,因此使用3D摄像头或在患者上方移动并且从不同视角产生图像的2D摄像头。这样产生的3D结构/3D表面于是可以通过控制单元尤其与手术前3D拍摄数据关联。
根据本公开的一个方面,辅助系统尤其可以具有至少一个传感器并且适于检测显微镜头的位置、尤其是方位并且将该位置作为位置数据或方位数据提供给控制单元。控制单元本身可以优选地适于在配准时将显微镜头的位置、尤其是方位作为配准位置存储在存储单元中以及存储所属的环境拍摄,尤其是检测的3D结构。当在存储的配准位置或方位中重新配准时,控制单元可以确定的是,当存储的3D结构和重新检测的3D结构的重叠、尤其是在重叠的在手术期间不改变的部分区域(诸如覆盖件或伤口边缘/切割边缘)中偏离超过预定的极限值时,存在配准的偏差。尤其,控制单元可以适于计算偏差的数值。例如可以确定特征性地预定义的点的数量并且将在所存储的3D结构和新检测的3D结构的对应点之间的距离相加。如果距离的总和超过极限值,则可以确定存在偏差。优选地,控制单元可以适于以偏移量、尤其是以空间中的平移的和/或围绕轴线的旋转的偏移量自动地校正配准。换言之,辅助系统优选可以适于(从相同的方位)识别两个环境拍摄之间的偏差、计算偏移量/错位/偏差并且校正预定的偏移量。控制单元尤其可以在存在偏差时通知用户,例如可视地通过呈现装置和/或听觉地通过音频设备通知用户。尤其是,警报信号可以通过辅助系统输出。尤其,因此辅助系统可以借助环境摄像头和适配的控制单元来执行对由于例如患者追踪器的无意的移动而引起的导航中的不精确性的自动识别和校正。环境摄像头和手术显微镜的光学系统在几何上关联。在初始的配准时或之后,环境摄像头从确定的位置(配准位置)或方位拍摄手术区域的图像。该位置或方位作为患者追踪器的关于显微镜追踪器的相对变换(变换矩阵)被计算。为了检查精度,显微镜头可以在手术期间在任何时间(返回)移动到配准位置中,以便重新拍摄图像(环境拍摄)。将两个图像,即,来自原始配准的图像和来自精度检查的精度检查(重新的环境拍摄),叠加。如果不存在不精确或偏差,则在所有特定的图像片段/图像区域中的图像一致,所述图像片段/图像区域在手术期间不改变(例如覆盖件或伤口边缘/切割边缘)。相反,如果存在偏差或不精确性,则两个拍摄/图像彼此具有错位。尤其是,可以关于该偏差通知用户。此外,通过计算偏移量也可以通知外科医生偏差的大小。此外,优选地,不精确性可以通过控制单元自动地校正,办法是:利用所求取的偏移量适配所述配准。
根据本公开的另一方面,备选或附加于待保存的配准位置,也可以预定显微镜头的几何位置、尤其是方位(显微镜头移动到该几何位置中),以便从那里尤其通过检测手术区域或检测患者的面部执行环境拍摄。用于计算偏差的辅助系统的配置的前述特征也体现在这方面。
尤其,手术显微镜可以具有至少一个致动器,以主动地移动和控制可移动显微镜臂和可移动显微镜头,并且控制装置还可适于操控致动器以使显微镜头在空间中移动到预定位置和/或取向中。以这种方式,显微镜头可以自动地、没有手动操作地尤其“移动”到预定方位(位置和取向)中。以这种方式,例如可以明确地重复精确地占据上面解释的配准位置,或者可以通过手术显微镜再次“调用”所存储的视图。
根据本发明的必要时可独立地要求保护的方面,环境摄像头和/或拍摄单元可以具有高分辨率的传感器,该传感器优选具有至少35兆像素,并且控制单元可以适于数字地放大传感器的用于拍摄的尤其中央的区域,而对于传感器的其他区域使用更小的放大。
根据本公开的另一方面,控制单元可以适于,尤其是初始地创建环境拍摄,在环境拍摄中提取至少一个表征性的标志并且根据显微镜头的所检测的方位(具有显微镜头与环境摄像头的定义的几何关系)确定所提取的标志相对于显微镜头的位置、尤其是方位并且由此确定标志在空间中相对于参考坐标系的位置,并且将环境拍摄的表征性标志以及所属的确定的位置或方位作为参考值存储在存储单元中,其中,所述控制单元还适于,连续地在当前的环境拍摄中识别所提取的标志并且连续地确定在空间中的标志的当前位置、尤其是当前方位,并且在所存储的位置或方位与当前位置或方位之间有偏差时确定,存在配准的偏差。尤其,控制单元然后通过呈现装置输出相应的消息。换言之,因此在一个实施方式中也可以取代在配准位置中识别偏差而使用一种方法或一种相应地适配的控制单元,以便确定在非预定的位置或方位中的配准的偏差。在此,考虑由环境摄像头观察或检测的区域的在手术期间不改变的部分区域。在该区域中,借助图像处理的方法提取可跟踪的标志。标志可以在手术或过程开始时初始地找到或确定,或者在手术期间连续地找到或确定。必须对标志进行设计,使得能够在显微镜头的不同位置和/或取向下借助环境摄像头识别标志。每个处于环境摄像头的视野中的标志的位置尤其借助图像处理的方法连续地相对于环境摄像头确定。基于环境摄像头相对于显微镜头的已知的几何关系或方位并且基于显微镜头的可测量的方位,因此被观察的标志的方位也是已知的或者可以通过控制单元反算或确定。然后可以将这样确定的标志位置与预期的标志位置或标志方位(额定位置)比较。如果在此观察到偏差,则可以从配准的偏差出发。为此,预期的标志位置尤其初始地在第一观察或检测标志时存储在该系统中或存储单元中,以便能够在进一步检测标志时将该标志考虑为参考值。
根据本公开的另一方面,控制单元可以适于,借助图像处理的方法确定标志相对于环境摄像头的位置、尤其是方位并且与标志的已知的方位进行比较,尤其是与通过导航系统的外部摄像头所检测的标志的方位和/或通过显微镜的光学系统和拍摄单元所检测的方位进行比较,并且在使用超定系统的最小化方法的情况下改进配准和/或最小化摄像头系统中的误差。换言之,根据实施方式,所观察的或表征性的标志的相对于环境摄像头的所确定的位置或方位也可以被考虑用于改善导航系统的精度或配准。为此,类似地尤其假设的是,显微镜头的方位、环境摄像头的方位和标志的方位是已知的或可确定的。如果(通过控制单元)借助图像处理的方法相对于环境摄像头确定标志的位置、尤其是方位,则得到通过显微镜或显微镜头的位置、尤其是方位确定标志的位置的另外途径。由于摄像头系统或配准中的不精确性,所确定的标志位置在两个路径之间不同。从数学的角度来看,产生超定系统。通过使用最小化方法,这种超定可以被用于连续地改善摄像头系统中和/或导航系统的配准中的误差并且因此提高整个系统的精度。
根据本公开的另一方面,在主动可移动的显微镜头的情况下,辅助系统可以具有输入单元、尤其是触摸屏,以便在环境摄像头的环境拍摄中选择焦点。控制单元又可以适于基于所选择的焦点通过至少一个致动器来主动地控制和移动显微镜臂和显微镜头,使得光学显微镜轴线尤其以预定的所属距离和/或预定的拍摄角度定向到患者处的所选择的焦点上。因此提供了一种直观的可自动调节的手术显微镜,该手术显微镜允许外科医生仅利用接触环境拍摄中的所选择的点来定向显微镜以便进行适当的聚焦。具有环境摄像头的辅助系统的附加功能因此是,通过在环境摄像头的环境拍摄中定义目标点/焦点并且将显微镜移动成使得焦点处于显微镜拍摄的或者手术显微镜的光学系统的焦点中,使机器人引导的手术显微镜移动到目标区中。
根据本公开的另一方面,控制单元可以适于借助于对所述环境拍摄和/或设置在所述显微镜头上的传感器的图像分析来识别所述显微镜头的区域中的对象以及所述可移动显微镜头与所述对象的距离。在与该对象可能碰撞时,尤其在低于预定的距离时,辅助系统、尤其控制单元被适于通过音频设备输出警报信号、尤其警报音并且/或者通过呈现装置输出警报显示并且/或者限制显微镜头和/或显微镜臂的至少一个运动自由度,尤其整体上停止显微镜头的移动、尤其整个手术显微镜的移动。因此,具有附加的环境摄像头的辅助系统的另外的功能是,通过辅助系统求取与显微镜头的距离并且在相应地低于距离时可视地或听觉地输出警告或者在机器人引导的手术显微镜的情况下停止移动,来防止显微镜与对象碰撞。环境摄像头/概览摄像头也可以在显微镜头自主移动时探测碰撞,所述显微镜头通过尤其呈机器人臂形式的显微镜臂引导。然后,该移动可以例如通过制动系统或锁定系统及时停止。即使当显微镜臂或机器人臂被手动引导时,也可以识别碰撞并且阻止进一步的移动。
优选地,所述控制单元可以适于通过所述摄像头系统、尤其通过至少所述环境拍摄、尤其通过所述患者的标记和/或表征性的特征、所述患者和/或尤其通过医学器械的标记和/或表征性的特征来方位正确地检测并且尤其追踪医学器械、尤其外科手术器械和/或所述显微镜头。通过环境摄像头可以因此连续地例如检测医学器械、尤其检测医学器械的方位。所检测的医学器械的该方位尤其可以在3D拍摄数据中再现,办法是:示意示出虚拟位置和/或取向,或者办法是:将虚拟器械在相应的位置中重叠地淡入。尤其可以在3D拍摄数据中方位正确地显示患者和/或医学器械的相对于显微镜头的相对方位。此外,尤其,所检测的显微镜头也可以作为虚拟显微镜头显示在3D拍摄数据中。换言之,具有环境摄像头的辅助系统尤其可以用于在使用手术显微镜时跟踪患者的位置、尤其是方位。优选地,为此可以使用外部参考,例如刚性体或光学图案或明确的解剖取向点,以便确定或定位患者相对于显微镜头的位置,尤其是方位。这使得能够与手术前3D拍摄数据、诸如MRI扫描数据关联地呈现显微镜图像。环境摄像头也可以优选地用于跟踪尤其配备有标记的外科手术器械,以便将其位置、尤其方位重接在手术前的3D拍摄数据的显微镜图像中。因此具有附加的环境摄像头的辅助系统的另外的功能在于,在使用外科手术导航系统时,其自身设置用于追踪/跟踪患者和/或外科手术器械和/或手术显微镜。例如环境摄像头的视野中的标记可以用于追踪,或者追踪可以借助患者或器械的明确特征以无标记的方式进行。在这种情况下,环境摄像头可以代替典型地在外科手术导航系统中使用的外部摄像头。此外,环境摄像头也可以暂时替代或补充外科手术导航系统的外部摄像头,以便在外部摄像头的暂时出现的视线限制(例如由覆盖件引起)的情况下也能够检测并且尤其定位特征和器械。
根据本公开的另一方面,在存储单元中可以存储/存放至少一个医学器械的数据、尤其是几何关系和所属的使用指示。此外,控制单元可以适于在环境拍摄中根据所存储的数据、尤其是根据所存储的几何关系来检测外科手术器械并且通过呈现装置和/或音频设备向用户输出所属的所存储的使用指示。具有环境摄像头的辅助系统的附加功能因此是识别所使用的医学器械、尤其是外科手术器械以及为外科医生提供所属的使用提示。
根据实施方式,至少一个呈现装置可以是手术监控器和/或头戴式显示器(HMD)和/或具有可淡入数据的双目系统。在作为呈现装置的手术监控器的情况下,组合呈现作为图像被显示在手术监控器上。在辅助系统具有头戴式显示器/虚拟现实眼镜作为呈现装置的情况下,组合呈现可以通过显示器输出。当手术显微镜和/或环境摄像头适于创建3D拍摄时,组合呈现尤其可以通过头戴式显示器三维地输出组合呈现,从而为外科医生提供空间观察。在双目系统的情况下,外科医生用双目透过该双目系统观察,可以在图像平面中、例如通过棱镜和显示器一同淡入环境数据。这是增强现实系统。换言之,至少一个呈现装置可以是(手术)监控器和/或头戴式显示器和/或双目系统。
尤其,控制单元可以适于创建显微镜拍摄和环境拍摄的并列呈现或叠加呈现作为组合呈现并且经由呈现装置输出。换句话说,显微镜拍摄和环境拍摄可以彼此并列或重叠地呈现。在叠加呈现的情况下,尤其可以通过控制单元在组合呈现的中央区域中创建显微镜拍摄(几乎没有透明度),其中,作为在该显微镜拍摄周围的背景呈现环境拍摄。
根据另外的实施方式,光学系统的放大可以是至少五倍、尤其至少十倍、特别优选至少四十倍。手术显微镜的光学系统优选可以具有变焦功能。进一步优选地,环境摄像头的放大可以最大五倍、尤其最大一倍。具有光学系统和拍摄单元的手术显微镜提供相对高的放大,而具有其光学器件的环境摄像头适于创建广角拍摄并作为环境拍摄提供以用于环境的呈现。
根据本公开的一个方面,除了环境摄像头外,摄像头系统还可以具有第二摄像头、尤其还具有第三摄像头、特别优选还具有第四摄像头,以便放大围绕手术区域的可视区域。在摄像头系统中,除了环境摄像头外还可以使用附加的摄像头,以便增大手术区域外的视野。
环境摄像头的光学器件的焦距尤其可以最小为10mm和/或最大为50mm,或者视角可以为至少45°、优选至少70°,以便提供宽角度的环境拍摄。
光学显微镜轴线优选可以与光学摄像头轴线相交或以最大10cm的距离、特别优选最大5cm的距离通过。尤其,光学显微镜轴线与光学摄像头轴线之间的角度可以为最小2°和/或最大15°。备选地,光学显微镜轴线和光学摄像头轴线优选地彼此平行。
关于用于显示两个不同拍摄的(拍摄)呈现方法,本公开的任务和目标通过以下步骤解决:优选地将环境摄像头布置在手术显微镜的可移动显微镜头上;通过布置在所述可移动显微镜头中的光学系统来瞄准区域;通过布置在显微镜头处或中的由光学系统提供的放大的显微镜拍摄单元创建显微镜拍摄;通过布置在所述显微镜头上的环境摄像头创建环境拍摄,其中,所述环境摄像头的视野尤其从预定距离起一起包括所述光学系统的视野;利用所述显微镜拍摄和所述环境拍摄创建组合呈现;由呈现装置输出所述组合呈现。通过呈现方法,为外科医生在中央提供两个拍摄模式。
此外,呈现方法优选能够具有步骤:读取手术前3D拍摄数据,尤其是MRT和/或CT拍摄数据;通过环境摄像头检测患者的3D结构;将检测的3D结构与3D拍摄数据关联;以及通过该关联配准患者。
根据实施方式,呈现方法能够具有步骤:初始配准患者;检测所述显微镜头的方位;通过环境摄像头创建环境拍摄;存储所检测的方位(配准位置)和环境拍摄;移动显微镜头并且然后返回到存储的方位中;重新环境拍摄;将所存储的环境拍摄与重新的环境拍摄进行比较;确定所存储的环境拍摄与重新的环境拍摄之间的偏差;当偏差超过极限值时输出听觉或可视信号并且/或者计算偏移量并且将该偏移量应用到初始配准上。
尤其,也可以如上面关于外科手术辅助系统所描述的并且类似地可以应用于该方法的那样,连续地将所观察的标志的位置与标志的参考位置进行比较并且确定可能的偏差。在确定偏差时,尤其可以确定存在配准的偏差并且优选输出消息。在使用具有连续识别配准偏差的方法时,例如可以省去配准位置的存储、在配准位置中的环境的拍摄和随着环境拍摄重新引回到配准位置中。
根据另外的实施方式,呈现方法能够具有步骤:检测医学器械和其在环境拍摄中的位置和/或取向;将医学器械的方位传输到3D拍摄数据中并且呈现虚拟的医学器械或者在3D拍摄数据中的至少一个示意图;
优选地,呈现方法能够具有步骤:
通过环境摄像头追踪患者和/或外科手术器械和/或显微镜头并且提供相应的移动数据。
此外,呈现方法尤其能够具有步骤:确定与在所述环境拍摄中检测的对象的距离;在低于距离时:输出警报信号和/或限制显微镜头的运动自由度,尤其是停止/阻止显微镜头的移动。通过环境摄像头/概览摄像头的环境拍摄,也可以探测尤其呈机器人臂的形式的显微镜臂的自主或协同移动时的碰撞。然后该移动可以通过制动系统及时地停止。因此,即使当显微镜臂或机器人臂例如由外科医生手动引导时,也可以识别碰撞并阻止进一步的移动。
根据本公开的一个方面,呈现方法可以具有步骤:读取环境拍摄中的焦点;控制显微镜臂和显微镜头,使得光学显微镜轴线尤其以预定的距离和/或以预定的拍摄角度定向到所选择的焦点上。
优选地,呈现方法能够具有步骤:探测在所述环境拍摄中的医学器械,经由所述呈现装置输出所述医学器械所属的使用指示。
在此应当指出,本公开的呈现方法的特征不仅可以转用到本公开的外科手术辅助系统,而且反之亦然。
就计算机可读存储介质而言,本公开的任务和目标通过以下方式解决,即,计算机可读存储介质包括指令,该指令在由计算机实施时使得计算机执行根据本公开的拍摄呈现方法的方法步骤。
在这种类型的消毒室方面,本公开的任务通过以下方式解决,即,医学消毒室具有根据本公开的外科手术辅助系统。
附图说明
下面将借助附图根据优选实施方式来解释本公开。示出了:
图1示出第一优选实施方式的外科手术辅助系统的示意立体视图,其中,外科手术辅助系统被设置为移动式手术显微镜,
图2示出图1中的手术显微镜的显微镜头的示意立体视图,
图3示出图1和图2中的辅助系统在手术期间的另外的示意立体视图,
图4示出根据另外的优选实施方式的具有头戴式显示器的外科手术辅助系统的示意图,
图5示出通过环境摄像头检测3D结构的示意图,并且
图6示出根据优选的实施方式的拍摄呈现方法的流程图。
附图本质上仅是示意的并且仅用于理解本公开。相同的元件设有相同的附图标记。各种实施方式的特征可以彼此替换。
具体实施方式
图1至图3分别示出用于在患者P处的外科手术中使用的第一优选实施方式的外科手术辅助系统1(以下仅称为辅助系统)的示意立体视图。辅助系统1在呈优选实施方式的手术室100形式的医学消毒室中使用,以便在对患者P(在此仅示意示出)进行外科手术时通过合适的可视化支持手术参与者、尤其是外科医生。在中部的无菌的外科手术区域中,对患者P进行微创手术。
在该优选的实施方式中,外科手术辅助系统1具有手术显微镜2并且甚至被配置为移动式的独立工作的手术显微镜2。具体地,手术显微镜2(以下仅称为显微镜)具有端侧的可移动/可调节的显微镜头4,该显微镜头被可移动地支承。因此能够单独地设定显微镜头4的方位(位置和取向)。
可移动显微镜头4具有壳体6和布置在该壳体中的光学系统8,该光学系统具有多个光学元件,诸如透镜或透镜系统。在该实施方式中,设置了单目光学系统。然而,当然也可以设置双目光学系统8,以便例如创建3D显微镜拍摄。光学系统适于在光学显微镜轴线10的方向上提供瞄准区域B的光学放大,如手术显微镜中常见的。尤其,光学系统适于清晰地聚焦并且提供与前透镜(未示出)处于5cm至80cm之间的距离中的瞄准区域B的放大。所提供的放大借助于连接在下游的显微镜拍摄单元12(以下仅称为拍摄单元)来检测或拍摄,并且拍摄单元创建数字的/计算机可读的显微镜拍摄14,该显微镜拍摄单元具有传感器,例如CMOS传感器或CCD传感器。
显微镜头4同样支承在可移动显微镜臂16上,该可移动显微镜臂利用呈滚轮车形式的基座18支承。呈具有两个臂元件的尤其协同的机器人臂形式的显微镜臂16具有基座18的和显微镜头4的相应支承,使得显微镜2能够在空间中设定显微镜头4的位置和/或取向并且能够定向到外科医生希望放大看见的待瞄准区域B上。
为了也可视地呈现该放大,辅助系统1或移动式显微镜2具有在悬臂上的手术监控器20。控制单元22处理显微镜拍摄14并且经由手术监控器20输出呈现。
与已知的辅助系统不同,显微镜2的显微镜头4附加地具有带有环境摄像头26(以下仅称为摄像头)的摄像头系统24。该摄像头26刚性地紧固在显微镜头4的壳体6上,使得显微镜2的光学系统8和摄像头26始终具有彼此相同的相对定向。具体地,环境摄像头26通过其光学摄像头轴线28的定向和通过其摄像头光学器件适于使得所述环境摄像头26的(摄像头)视野36从预定距离开始一起包括所述光学系统8的(显微镜)视野34,以便通过所述环境摄像头26不仅检测由所述光学系统8瞄准的区域B而且检测在瞄准区域B周围的环境U并且通过摄像头26提供相应的环境拍摄30。
控制装置22适于处理这些环境拍摄30并且产生呈具有显微镜拍摄14和环境拍摄30的并列呈现形式的组合呈现32并且通过呈现装置20可视地输出该组合呈现。
可移动显微镜头4因此配备有附加的环境摄像头26。摄像头26的光学摄像头轴线28的视线方向或定向在此类似于显微镜2的光学系统8的光学显微镜轴线10的视线方向。该附加摄像头26产生广角视图,其使得能够围绕通过光学系统8所瞄准的区域B检测手术区域的环境U,尤其是检测切割边界、外科医生的手或所使用的器械。摄像头26的图像/拍摄的呈现连同显微镜拍摄使得外科医生不仅能够看到手术区域的“内部”而且能够看到“外部”,而不改变外科医生的头部位置或视线方向。在此,摄像头26以与显微镜头4固定的关系安装并且适于即使在显微镜头4和患者P之间的例如10-30cm的小的距离的情况下也成像或检测手术区域的环境U。外科医生利用辅助系统1在手术监控器20上不仅看到具有高放大的显微镜拍摄14而且看到具有低放大的附加的环境拍摄30。因此,外科医生能够一眼直观地看到不仅内部的高分辨率的区域而且还有手术区域的明显的外部区域。
因此显微镜头4具有两个不同的“光学系统”,即显微镜2的光学系统8和摄像头26的光学器件,它们通过它们的布置而彼此关联。显微镜2的光学系统8用于产生具有高放大的图像,并且具有所属的光学器件的附加摄像头26用于产生具有广角的图像。两个光学器件关联并且观察方向相似并且可以定向到手术区域/手术区上。具有摄像头26的摄像头系统24具有低放大和宽视野36,以便利用例如切割边缘或手和/或手术部位周围的器械检测手术环境,而光学系统8具有带有小视野34的高放大。组合呈现32最后集中地呈现两个拍摄14、30并且能够使外科医生以及另外的医学人员一眼就看到彼此关联的两个拍摄模式。
除了摄像头26外,摄像头系统24也还可以具有安设在显微镜头上的另外的摄像头,以便例如创建体拍摄或拍摄多个视图,并且以组合呈现32相应地组合。摄像头26本身除了2D摄像头外也可以是3D摄像头或立体摄像头。
摄像头26具有自动聚焦功能,以便清晰地设置瞄准区域B或环境。摄像头26也可以具有变焦功能,以便使环境拍摄30最佳地适配于相应的手术。另外,光学系统8也可以具有变焦功能,以适配显微镜2的放大。变焦功能可以连续地通过相对彼此移动的透镜实现,也可以离散地以物镜转台的形式实现。尤其,外科医生可以通过显微镜头上的按钮设定变焦/放大。摄像头26和/或光学系统8也可以具有可设定的光圈,以便控制清晰度和光进入。
因为控制单元22数字地处理两个拍摄,所以所述控制单元能够实施不同的数字分析、图像处理和控制,尤其以便产生适当的组合呈现32。例如控制单元22可以适于改变不同的图像参数,诸如拍摄中的亮度或对比度。也可以将另外的数字数据一起插入到组合呈现32中。控制单元22可以为此具有中央处理单元(CPU)、诸如RAM、ROM之类的易失性存储器和诸如SSD之类的非易失性存储器。
显微镜臂16通过多个致动器是可以主动控制的。设置在显微镜臂16的各个元件中的传感器使得能够确定显微镜臂16以及显微镜头4的方位,该方位被转发到控制单元22。外科医生可以在被构造为触摸屏的手术监控器20上在环境拍摄30中用手指手动选择焦点。然后,所设置的焦点转发到控制单元22上,控制单元在其一侧主动地操控显微镜臂16的致动器以及显微镜头的支承并且基于所设置的焦点使光学显微镜轴线10以预定的距离和垂直的拍摄角度定向到患者P处的焦点上。以这种方式,瞄准区域B设置在焦点上,并且外科医生可以简单地在该位置进行手术或显示放大的拍摄。也可以存储焦点,以便在不同的视图之间例如自动地往复接通。
此外,控制单元22还适于通过对环境拍摄30的图像分析来检测对象以及还计算至对象的距离。备选地或附加地,距离传感器、尤其是在不同方向上的多个距离传感器也可以设置在显微镜头4上,以确定对象和距离。在与运动场中的这样检测的对象可能碰撞的情况下,辅助系统1通过音频设备(未示出)输出听觉警报信号(碰撞警告)并且禁止显微镜臂16的移动。尤其是,显微镜臂16和显微镜头4的移动完全停止(碰撞防止)。由此防止与对象的碰撞。
图4示出另外的第二优选实施方式的外科手术辅助系统1。与第一实施方式类似,显微镜头4通过显微镜臂16可移动地支承在固定基座18上,并且光学系统8可以瞄准区域B。在此,环境摄像头26被定向成使得光学摄像头轴线28与光学显微镜轴线10相交,并且具体是在瞄准区域B中。由此确保了,环境拍摄同心地或对称地围绕所述瞄准区域进行。控制单元22又处理两个拍摄14、30并且创建组合呈现32。
然而,与第一实施方式不同,组合呈现32不是通过监控器、而是通过头戴式显示器/HMD眼镜38(以下称为眼镜)输出。眼镜38可以为此具有显示器和附加的光学器件。具体地,控制单元控制无线地向眼镜38发送数据的发送和接收单元40。在那里,所接收的数据随后显示在眼镜38中。
此外,辅助系统1使用外科手术导航系统并且还具有存储单元42,在该存储单元中存储了患者P的MRT以及CT拍摄作为3D拍摄数据。控制单元22在此适于在显微镜头4的相应定向中利用摄像头26三维地检测患者面部的3D结构(参见图5)。将这样检测的患者面部的3D结构与3D拍摄数据的患者面部的虚拟3D结构进行比较,并且将两个3D结构彼此关联,以便执行初始配准并且相对于显微镜头4配准患者P。当显微镜头4移动时,传感器检测相应的移动。
图5示意示出通过患者的面部的3D结构的配准的这样的功能,如其在图4中的辅助系统中进行的那样。摄像头26是在患者的面部的感兴趣区域上移动(参见虚线)以获得面部的各种视图并且分别通过机器视觉方法或由控制单元22实施的图像分析来计算面部的3D结构的2D摄像头。在一定程度上,可以将这样获得的面部的3D结构放置在3D拍摄数据的虚拟3D结构上或者使其彼此关联,或者控制单元22可以根据3D结构本身确定患者P的方位。
此外,辅助系统1的控制单元22在图4中适于通过安设在医学器械44上的标记46或表征性的特征、尤其是几何特征,通过环境拍摄30检测这种医学器械44并且确定其方位和/或功能。在表征性的特征的情况下,可以在存储单元42中存储器械44的虚拟几何关系,控制单元22可以将该虚拟几何关系用于比较。然后,这样检测的医学器械44可以在检测的方位上淡入3D拍摄数据中并且用于外科手术导航。控制单元尤其可以以组合呈现附加地淡入关于使用指示的数据,以便在外科医生进行手术时为外科医生提供另外的辅助。借助环境摄像头30进行的器械44的检测可尤其用于使控制单元22借助机器人引导的显微镜臂16最佳地定位和/或对准显微镜头4,以便例如获得瞄准区域B的良好视野,而例如器械44不会被遮盖或定位和/或对准视野,使得器械尖端仍在视野中。
此外,控制单元22适于自动探测例如由于患者追踪器/标记的不期望的移动导致的导航的偏差。为此,辅助系统1适于在初始配准之后使显微镜头4移动到预定方位(配准位置和配准取向,下文中仅称为配准位置)并且经由摄像头26创建存储在存储单元42中的环境拍摄30。配准位置被计算为患者追踪器(未示出)和显微镜头追踪器(未示出)之间的相对变换。现在为了确保不存在偏差,外科医生可以不时地在手术期间使显微镜头4移动(留下)到配准位置并且准备重新的环境拍摄30。然后,该环境拍摄与存储在存储单元42中的环境拍摄30叠加并且比较。如果不存在或存在小的可容许的偏差,则两个环境拍摄30的不经受改变的部分区域(例如切割边缘或手术布)还彼此关联并且控制单元22通过相应的图像分析确定,不存在或存在可容许的偏差。然而如果两个环境拍摄30的部分区域(具有实际上不可改变的结构)彼此偏差超过可容许的值/极限值,则控制单元22探测到这一点并且通过眼镜38或监控器向外科医生发出消息。另外,控制单元22通过合适的计算方法来计算偏差量并且向外科医生输出。因此外科医生可确定该偏差是否太大并采取相应的措施。备选地或附加地,在控制单元22的存储单元42中也可以存储用于实现配准偏差的连续识别或配准精度的连续改善的图像处理算法。
附加地或备选地,控制单元22也可以适于确定所存储的环境拍摄30和重新的环境拍摄30之间的错位/偏移量并且将该错位相应地适配于在本地坐标系(例如显微镜头或外科手术导航系统的本地坐标系)和患者P的本地坐标系之间的配准或变换矩阵,并且以便校正该错位。
图6是用于显微镜拍摄14和环境拍摄30的相关显示的根据本公开的优选实施方式的拍摄呈现方法(以下仅称为呈现方法)的流程图。该呈现方法相应地使用在前述的外科手术辅助系统1中。
在第一步骤S1中,环境摄像头26可优选地布置、尤其是刚性地紧固在手术显微镜2的可移动显微镜头4上。
在步骤S2中,区域B通过布置在可移动显微镜头4中的光学系统8来瞄准。在随后的步骤S3中,显微镜拍摄14通过由光学系统8提供的放大的布置在显微镜头4中的显微镜拍摄单元12创建。此外,在步骤S4中,通过布置在显微镜头4上的环境摄像头26创建环境拍摄30,其中,所述环境摄像头26的视野36尤其从预定距离起一起包括所述光学系统8的视野34。
在步骤S5中,通过控制单元22创建具有显微镜拍摄14和环境拍摄30的组合呈现32并且最终在步骤S6中通过呈现装置20;38输出该组合呈现32。
附图标记列表
1 外科手术辅助系统
2 手术显微镜
4 显微镜头
6 壳体
8 光学系统
10 光学显微镜轴线
12 显微镜拍摄单元
14 显微镜拍摄
16 显微镜臂
18 基座
20 手术监控器
22 控制单元
24 摄像头系统
26 环境摄像头
28 光学摄像头轴线
30 环境拍摄
32 组合呈现
34 光学系统的视野
36 摄像头的视野
38头戴式显示器/眼镜
40 发送和接收单元
42 存储单元
44 医学器械
46 标记
100 手术室
P 患者
B 瞄准区域
U 环境
S1 布置环境摄像头的步骤
S2 瞄准区域的步骤
S3 创建显微镜拍摄的步骤
S4 创建环境拍摄的步骤
S5 创建组合呈现的步骤
S6输出组合呈现的步骤。

Claims (14)

1.一种用于在患者(P)的外科手术中使用的外科手术辅助系统(1),具有:
手术显微镜(2),具有:
-可移动显微镜头(4),具有壳体(6)和光学系统(8),所述光学系统适于在光学显微镜轴线(10)的方向上提供瞄准区域(B)的光学放大并且借助连接在下游的显微镜拍摄单元(12)创建数字显微镜拍摄(14),
-与基座(18)连接的可移动显微镜臂(16),所述可移动显微镜头(4)连接在、尤其支承在所述可移动显微镜臂上,并且所述可移动显微镜臂适于设定所述显微镜头(4)的位置和/或取向;
至少一个用于呈现可视内容的呈现装置(20;38);以及
控制单元(22),所述控制单元适于处理所述显微镜拍摄(14)并且相应地操控所述呈现装置(20;38)以用于呈现,
其特征在于,
所述手术显微镜(2)、尤其所述显微镜头(4)还包括具有至少一个环境摄像头(26)的摄像头系统(24),所述环境摄像头布置在所述显微镜头(4)上、尤其布置在所述壳体(6)上并且优选地刚性地布置,并且所述环境摄像头(26)适于尤其经由所述环境摄像头的光学摄像头轴线(28)的定向和经由所述环境摄像头的摄像头光学器件而使得所述环境摄像头(26)的视野(36)尤其从预定距离开始一起包括所述光学系统(8)的视野(34),以便通过所述环境摄像头(26)不仅检测由所述光学系统(8)瞄准的区域(B)而且检测在瞄准区域(B)周围的环境(U)并且提供环境拍摄(30),并且
其中,所述控制装置(22)还适于处理所述环境拍摄(30)并且产生具有所述显微镜拍摄(14)和所述环境拍摄(30)的组合呈现(32)且通过所述呈现装置(20;38)可视地输出所述组合呈现。
2.根据权利要求1所述的外科手术辅助系统(1),其特征在于,所述外科手术辅助系统(1)还具有带有手术前的3D拍摄数据、尤其是MRT拍摄数据和/或CT拍摄数据的存储单元(42),并且所述辅助系统(1)、尤其是所述控制单元(22)适于借助所述摄像头系统(24)、尤其是仅利用所述环境摄像头(26)空间地检测所述患者(P)的3D结构、尤其是所述患者(P)的面部,并且将所检测的3D结构与所述3D拍摄数据关联,以便配准所述患者(P)。
3.根据权利要求1或2所述的外科手术辅助系统(1),其特征在于,为了检测3D结构,所述摄像头系统(24)具有3D摄像头和/或2D摄像头,尤其由作为所述摄像头系统(24)的唯一的2D摄像头或3D摄像头的所述环境摄像头(26)构成,其中,在所述2D摄像头的情况下,所述2D摄像头在所述患者(P)的感兴趣区域上移动以获得感兴趣区域的不同视图,并且所述控制单元(22)适于借助图像分析从不同视图计算3D结构。
4.根据权利要求2或3中任一项所述的外科手术辅助系统(1),其特征在于,所述辅助系统(1)被构造成检测所述显微镜头(4)的位置、尤其是方位并且提供给所述控制单元(22),并且所述控制单元(22)适于将所述显微镜头(4)的位置、尤其是方位作为配准位置以及所属的环境拍摄(30)、尤其是所检测的3D结构存储在存储单元(42)中,并且在重新的环境拍摄(30)处于所存储的配准位置或方位中时,如果所存储的环境拍摄(30)与重新检测的环境拍摄(30)的叠加、尤其是部分区域叠加彼此相差超过预定的极限值,则所述控制单元(22)确定存在偏差。
5.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,所述手术显微镜(2)具有至少一个致动器,用于主动地移动所述可移动显微镜臂(16)和所述可移动显微镜头(4),并且所述控制装置(22)还适于操控所述致动器以主动地将所述显微镜头(4)移动到预定位置和/或取向中。
6.根据权利要求5所述的外科手术辅助系统(1),其特征在于,所述辅助系统(1)具有输入单元、尤其是触摸屏,以便在所述环境拍摄(30)中选择焦点,并且所述控制单元(22)适于基于所选择的焦点通过所述至少一个致动器来主动地控制所述显微镜臂(16)和所述显微镜头(4),使得所述光学显微镜轴线(10)尤其以预定的所属的距离和/或预定的拍摄角度定向到在所述患者(P)处所选择的焦点上。
7.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,所述控制单元(22)适于借助于对所述环境拍摄(30)和/或设置在所述显微镜头(4)上的传感器的图像分析来识别所述显微镜头(4)的区域中的对象以及所述可移动显微镜头(4)与所述对象的距离,并且在与所述对象可能碰撞时,尤其是在低于预定距离时,输出警报信号和/或限制所述显微镜头(4)的至少一个运动自由度,尤其是总体上停止所述显微镜头(4)的移动。
8.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,所述控制单元(22)适于通过所述摄像头系统(24)、尤其通过至少所述环境拍摄(30)、尤其通过所述患者(P)的标记和/或表征性的特征、所述患者(P)和/或尤其通过医学器械(44)的标记(46)和/或表征性的特征来方位正确地检测、尤其连续地追踪医学器械(44)和/或所述显微镜头(4)。
9.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,在存储单元(42)中存储至少一个医学器械(44)的数据、尤其几何关系和所属的使用指示,并且所述控制单元(22)适于在所述环境拍摄(30)中根据所存储的数据、尤其所述几何关系来检测外科手术器械(44)并且通过所述呈现装置(20;38)向用户输出所属的使用指示。
10.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,所述至少一个呈现装置是手术监控器(20)和/或头戴式显示器(38)和/或具有可淡入数据的双目系统。
11.根据前述权利要求中任一项所述的外科手术辅助系统(1),其特征在于,所述光学系统(8)的放大为至少五倍,尤其是至少十倍,并且所述光学系统(8)优选地具有变焦功能和/或所述环境摄像头(26)的放大为最大五倍,尤其是最大一倍。
12.一种用于关联显示显微镜拍摄(14)和环境拍摄(30)的拍摄呈现方法,尤其用于根据权利要求1至11中任一项所述的外科手术辅助系统(1),具有步骤:
-(S1)优选地将环境摄像头(26)布置在手术显微镜(2)的可移动显微镜头(4)上;
-(S2)通过布置在所述可移动显微镜头(4)上的光学系统(8)来瞄准区域(B);
-(S3)通过布置在所述显微镜头(4)上的由所述光学系统(8)提供的放大的显微镜拍摄单元(12)创建显微镜拍摄(14);
-(S4)通过布置在所述显微镜头(4)上的环境摄像头(26)创建环境拍摄(30),其中,所述环境摄像头(26)的视野(36)尤其从预定距离起一起包括所述光学系统(8)的视野(34);
-(S5)利用所述显微镜拍摄(14)和所述环境拍摄(30)创建组合呈现(32);
-(S6)由呈现装置(20;38)输出所述组合呈现(32)。
13.一种计算机可读存储介质,包括指令,所述指令在由计算机实施时使得所述计算机实施根据权利要求12所述的方法步骤。
14.一种医学消毒室,如手术室(100),其特征在于,所述医学消毒室具有根据权利要求1至11中任一项所述的外科手术辅助系统(1)。
CN202280011932.9A 2021-02-01 2022-01-31 具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法 Pending CN116829098A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021102274.6 2021-02-01
DE102021102274.6A DE102021102274A1 (de) 2021-02-01 2021-02-01 Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren
PCT/EP2022/052202 WO2022162217A1 (de) 2021-02-01 2022-01-31 Chirurgisches assistenzsystem mit operationsmikroskop und kamera und darstellungsverfahren

Publications (1)

Publication Number Publication Date
CN116829098A true CN116829098A (zh) 2023-09-29

Family

ID=80685030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280011932.9A Pending CN116829098A (zh) 2021-02-01 2022-01-31 具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法

Country Status (6)

Country Link
US (1) US20240090968A1 (zh)
EP (1) EP4284290A1 (zh)
JP (1) JP2024505269A (zh)
CN (1) CN116829098A (zh)
DE (1) DE102021102274A1 (zh)
WO (1) WO2022162217A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JP5059788B2 (ja) 2006-03-01 2012-10-31 エージェンシー フォー サイエンス,テクノロジー アンド リサーチ 対象物の複数ビューをリアルタイムビデオ出力で得る方法及びシステム
US8882662B2 (en) 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
DE102013006994A1 (de) 2013-04-19 2014-10-23 Carl Zeiss Microscopy Gmbh Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
WO2017049381A1 (en) 2015-09-24 2017-03-30 Synaptive Medical (Barbados) Inc. Motorized full field adaptive microscope
US11278369B2 (en) 2016-04-28 2022-03-22 Sony Corporation Control device, control method, and surgical system
US10102640B2 (en) 2016-11-29 2018-10-16 Optinav Sp. Z O.O. Registering three-dimensional image data of an imaged object with a set of two-dimensional projection images of the object
IL250432A0 (en) * 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
EP3525023A1 (en) 2018-02-09 2019-08-14 Leica Instruments (Singapore) Pte. Ltd. Arm adapted to be attached to a microscope, and microscope
JP7094746B2 (ja) 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
DE102018110795A1 (de) * 2018-05-04 2019-11-07 Carl Zeiss Meditec Ag Mikroskop mit Smartdevice
CN112654280A (zh) * 2018-09-11 2021-04-13 索尼公司 医学观察系统、医学观察装置和医学观察方法
DE202019105838U1 (de) 2019-10-21 2019-12-04 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung mit einem Koordinatenmessgerät oder Mikroskop

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Also Published As

Publication number Publication date
DE102021102274A1 (de) 2022-08-04
JP2024505269A (ja) 2024-02-05
US20240090968A1 (en) 2024-03-21
WO2022162217A1 (de) 2022-08-04
EP4284290A1 (de) 2023-12-06

Similar Documents

Publication Publication Date Title
US10580217B2 (en) Surgeon head-mounted display apparatuses
US20210346098A1 (en) Extended reality headset tool tracking and control
EP3204816B1 (en) Head-mounted displaying of magnified images locked on an object of interest
CN110398830B (zh) 显微系统以及用于操作显微系统的方法
US6483948B1 (en) Microscope, in particular a stereomicroscope, and a method of superimposing two images
CN112805999B (zh) 用于医疗程序的增强光学成像系统
CN112672709A (zh) 用于跟踪机器人操纵的手术器械的位置的系统和方法
CN101170961A (zh) 利用显微镜的用于外科手术导航及可视化的方法及设备
JP2016158911A (ja) 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US10925687B2 (en) System and method for optical axis calibration
CN117413060A (zh) 用于真实空间导航的扩增实境系统以及使用该系统的手术系统
US20230165639A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
CN116829098A (zh) 具有手术显微镜和摄像头的外科手术辅助系统以及呈现方法
US20230015060A1 (en) Methods and systems for displaying preoperative and intraoperative image data of a scene
US11627868B2 (en) Systems and methods for controlling autofocus operations
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
US12048493B2 (en) Camera tracking system identifying phantom markers during computer assisted surgery navigation
US20230204933A1 (en) Method for operating a microscopy system, and microscopy system
US20220079415A1 (en) Visualization system comprising an observation apparatus and an endoscope
CN118251188A (zh) 具有改进的器械跟踪的外科手术导航系统和导航方法
JP2004016357A (ja) 手術用観察システム
CN118401191A (zh) 外科手术机器人系统和控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination