CN111031958A - 在微创手术期间合成多个相机视点之间的空间感知过渡 - Google Patents

在微创手术期间合成多个相机视点之间的空间感知过渡 Download PDF

Info

Publication number
CN111031958A
CN111031958A CN201880052749.7A CN201880052749A CN111031958A CN 111031958 A CN111031958 A CN 111031958A CN 201880052749 A CN201880052749 A CN 201880052749A CN 111031958 A CN111031958 A CN 111031958A
Authority
CN
China
Prior art keywords
camera
pose
image
received
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880052749.7A
Other languages
English (en)
Other versions
CN111031958B (zh
Inventor
D·金
D·迈哲朗
A·K·拉马多艾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111031958A publication Critical patent/CN111031958A/zh
Application granted granted Critical
Publication of CN111031958B publication Critical patent/CN111031958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

公开了用于合成相机视点之间的空间感知过渡的系统、装置和方法。示例性方法包括：从第一相机接收手术部位的图像；跟踪包含联接的第二相机的机械臂的位置；跟踪第二相机的姿势；当机械臂移动到不同位置时从第二相机接收手术部位的图像，该图像与从第一相机接收的图像不同；将捕获从第二相机接收的图像中的至少一个图像的姿势与捕获从第一相机接收的图像中的至少一个图像的姿势进行比较；生成被比较图像之间的过渡；以及当在显示从第一相机和第二相机接收的图像之间切换时显示所述过渡。

Description

在微创手术期间合成多个相机视点之间的空间感知过渡
背景技术
机器人手术系统越来越多地用在微创手术程序中。通常，机器人手术系统包括外科医生操纵台，其位于手术器械所联接的一个或多个机械臂远程。外科医生操纵台可以位于手术室的距离机械臂的另一侧，另一房间中或另一建筑物中，并包括用于从外科医生接收输入的输入手柄或其它输入装置。输入被传送到中央控制器，所述中央控制器将输入转换成用于操作患者附近例如在手术部位内的机械臂的命令。
为了提供手术部位的视图，一个或多个相机可包括在附接到一个或多个机械臂的远端的探测器上，所述相机将图像传输到外科医生操纵台处的显示器进行查看。因此，当包括相机的探测器被插入到患者体内时，患者身体的图像数据显示在显示器上。附加相机可以定位在患者外部，例如，在切口区域上方，和/或在手术室周围的各个位置。
尽管包括多个相机在提供手术部位的不同视图方面极其有用，但在某些情况下，外科医生可能不能够容易地弄清楚相对于手术部位显示的图像所来自的相机的姿势。
发明内容
本公开通过提供用于合成如在手术程序期间使用的多个相机视点之间的空间感知过渡的方法解决了此问题。在这方面，提供了根据本公开的在机器人手术程序期间在相机视点之间过渡的方法。
在本公开的一方面，所述方法包括：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
在本公开的另一方面，生成所述过渡还包括：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
在本公开的又一方面，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
在本公开的又一方面，所述方法还包括：基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述第一相机定位在所述第二相机和所述第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
在本公开的一方面，一种用于在机器人手术程序期间在相机视点之间的过渡的系统，所述系统包括：手术机器人，所述手术机器人包括：第一相机；第二相机；以及机械臂，所述机械臂将所述第一相机和所述第二相机联接到所述手术机器人；以及计算机，所述计算机被配置成：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
在本公开的另一方面，所述计算机还被配置成通过以下操作生成所述过渡：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
在本公开的又一方面，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
在本公开的又一方面，所述系统还包括第三相机，并且，所述计算机还被配置成：基于从跟踪所述第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述第一相机定位在所述第二相机和第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
在本公开的一方面，一种存储程序的非暂时性计算机可读介质，所述程序包括指令，所述指令在由处理器执行时使计算机：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
在本公开的另一方面，所述指令还使所述计算机通过以下操作生成所述过渡：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
在本公开的又一方面，所述指令还使所述计算机将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
在本公开的又一方面，所述指令还使所述计算机：基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包括联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
在本公开的另一方面，所述第一相机定位在所述第二相机和所述第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
在不偏离本公开的范围下，可以组合本公开的任何上述方面和实施例。
附图说明
参照附图在下文描述本公开的各个方面和特征，图中：
图1是根据本公开的实施例提供的在机器人手术程序期间用于合成多个相机视点之间的空间感知过渡的示例性系统的系统图；
图2是根据本公开的实施例提供的形成图1的系统的一部分的操纵台的示意图；以及
图3是图示根据本公开的实施例提供的在机器人手术程序期间用于合成多个相机视点之间的空间感知过渡的示例性方法的流程图。
具体实施方式
本公开涉及用于合成在多个相机视点之间的空间感知过渡的装置、系统和方法。如下面更详细地描述的，可以使用机器人手术系统对患者的手术部位执行手术程序。为了帮助临床医生或临床医生团队在手术程序期间操作手术机器人，可以使用各种相机。因此，例如，本公开的机器人手术系统大体上包括：至少一个手术机器人，其包括位于手术部位周围的至少两个相机；将相机联接到手术机器人的机械臂；联接到机械臂和相机的多个传感器；以及连接至手术机器人的至少一个计算机。相机可以并入到手术工具中，并入到由手术机器人使用或附接到手术机器人的不同类型的工具，和/或可以是位于手术部位周围的独立相机。
在下面描述这些装置、包含这些装置的系统和使用所述装置和系统的方法的详细实施例。然而，这些详细的实施例只是本公开的示例，其可以以各种形式体现。因此，本文中公开的特定结构和功能细节不被解释为限制性的，而只是权利要求的基础，并且是允许本领域技术人员以各种方式以任何实际适合的详细结构利用本公开的代表性基础。
参照图1，提供了根据本公开的实施例的机器人手术系统100。机器人手术系统100大体上包括手术机器人25，多个相机30a、30b、30c，控制器60和操纵台80。手术机器人25具有一个或多个机械臂20，机械臂20可以是连杆的形式，具有可互换地紧固到机械臂20的远端22的对应手术工具27。一个或多个机械臂20也可能已经将相机30b紧固到其上，每个臂20可以围绕患者10定位在手术部位15周围。机械臂20也可以使一个或多个姿势检测传感器28联接到其上，所述姿势检测传感器28能够检测位置、方向、取向和/或角度(下文统称为“姿势”)以及机械臂20和/或相机30b的运动速度。在一些实施例中，姿势检测传感器28可以直接联接到相机30b或手术工具27。
手术机器人25还包括机器人基部18，其包括用于机械驱动每个机械臂20并操作每个手术工具27的一个或多个电机。控制器60经由机器人基部18连接至手术机器人25并被配置成控制手术机器人25的操作。类似地，操纵台80直接地或者通过网络(未示出)连接至手术机器人25。控制器60可以集成到操纵台80中，或者可以是经由机器人基部18连接至操纵台80和手术机器人25的分开的独立式装置。
操纵台80是用户界面，用户(诸如外科医生或临床医生)通过它可以操作手术机器人25。操纵台80与控制器60结合操作以控制手术机器人25的操作。在一些实施例中，操纵台80通过控制器60与机器人基部18通信，并包括被配置成显示图像的显示装置44。在一个实施例中，显示装置44显示手术部位15的图像，其可包括由附接到机械臂20的相机30a捕获的图像，和/或包括由定位在手术室周围的相机30a、30b、30c(例如，相机30b位于手术部位15内，相机30a位于患者10附近，和/或相机30c安装到使用机器人手术系统100的手术室的墙壁或天花板)捕获的数据。在一些实施例中，相机30a、30b、30c捕获手术部位15的可视图像、红外图像、超声图像、X射线图像、热图像和/或其它已知的实时图像。在实施例中，相机30a、30b、30c将所捕获的图像传输到控制器60，控制器60可以实时地从这些图像创建手术部位15的三维图像，并将三维图像传输到显示装置44进行显示。在另一实施例中，所显示的图像是由相机30a、30b、30c捕获的二维图像。
操纵台80还包括附接到万向节70的一个或多个输入手柄，万向节70使外科医生可以操作机器人手术系统100(例如，移动机械臂20、机械臂20的远端22和/或手术工具27)。每个万向节70与控制器60通信以将控制信号传输到其上并从其接收反馈信号。另外或者替代地，每个万向节70可包括控制界面或输入装置(未示出)，其使得外科医生可以操作(例如，夹、抓紧、激发、打开、关闭、旋转、推进、切片等)支撑在机械臂20的远端22处的手术工具27。
每个万向节70可移动，以移动机械臂20的远端22和/或在手术部位15内操作手术工具27。当移动万向节70时，手术工具27在手术部位15内移动。手术工具27的移动还可包括支撑手术工具27的机械臂20的远端22的移动。除此手柄之外，或者作为其代替，手柄可包括离合开关，和/或一个或多个输入装置，包括触摸垫、操纵杆、键盘、鼠标或其它计算机附件和/或脚开关、踏板、跟踪球或其它被配置成将临床医生的物理运动转换成信号发送至控制器60的其它可致动装置。控制器60还包括软件和/或硬件，其用来操作手术机器人，在从相机30a、30b、30c接收的视频图像之间切换时，合成空间感知可视和认知上的适当过渡，这将在下文更详细地描述。
例如，相机30a、30b、30c可以是单眼和/或立体双眼相机，并且可被配置成定位在患者10的身体内，以捕获患者10的身体内的器官和其它结构周围的图像。相机30a、30b、30c可以具有基于其各种的姿势的各种视点。在实施例中，相机30a、30b、30c可以被定位成使得其各自的视点从各个姿势显示手术部位15。例如，机器人手术系统100可被配置成使相机30a直接定位在手术部位15上方并垂直于手术部位15，同时其它相机30b定位在患者10的身体内的手术部位15周围。在一些实施例中，一个或多个相机30a、30b、30c可定位在其它相机30a、30b、30c前方的视点处，一个或多个相机30a、30b、30c可定位在邻近其它相机30a、30b、30c的视点处。在又一些另外的实施例中，一些相机30a、30b、30c可具有到两个或更多个其它相机30a、30b、30c的视点中间的视点。
要认识到，由相机30a、30b、30c捕获的图像的姿势可以根据外科医生的偏好相对于来自患者10上方的视角被反射或旋转。此外，要认识到在显示装置44上的捕获图像的大小可以被缩放成大于或小于手术部位15的实际结构，允许外科医生对手术部位15内的结构有更好的视角。
现在转到图2，示出了控制器60的系统图。控制器60可包括存储器202、处理器204和/或通信接口206。
存储器202包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述软件可由处理器204执行，并且其控制控制器60的操作。在一个实施例中，存储器202可包括一个或多个固态存储装置，诸如闪存芯片。替代地，或者除了一个或多个固态存储装置，存储器202可包括通过大容量存储控制器(未示出)和通信总线(未示出)连接至处理器204的一个或多个大容量存储装置。尽管本文包含的计算机可读介质的描述指固态存储器，本领域技术人员应当认识到计算机可读存储介质可以是可由处理器204访问的任何可用介质。即，计算机可读存储介质包括以存储信息(例如，计算机可读指令、数据结构、程序模块和/或其它数据)的任何方法或技术实施的非暂时性、易失性和非易失性可移动和不可移动介质。例如，计算机可读存储介质可包括RAM、ROM、EPROM、EEPROM、闪存、和/或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光存储器、磁盒、磁带、磁盘存储器或其它磁存储装置和/或可用于存储期望信息并且可由控制器60访问的任何其它介质。
存储器202可存储应用程序216和/或图像数据214。应用程序216在由处理器204执行时可以使操纵台80的显示装置44呈现图像。通信接口206可以是被配置成连接至网络的网络接口，所述网络连接至机器人基部18，所述网络例如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、
Figure BDA0002383964610000091
网络和/或互联网。另外或替代地，通信接口206可以是与机器人基部18的直接连接。
现在参照图3，图示了用于合成多个相机视点之间的空间感知过渡的示例性方法300的流程图。方法300可以由例如图1中所示的系统100的控制器60和/或操纵台80执行。然而，出于图示目的，下面的描述将使用控制器60作为执行方法300的装置。
在步骤302处开始，基于第一数据确定第一相机30a、30b、30c的姿势。在一个实施例中，第一相机30a、30b、30c位于具有预定姿势的固定位置，第一数据中包括的姿势信息可以存储在与第一相机30a、30b、30c关联的配置设置中。在另一实施例中，从由控制器60接收的感测数据确定第一数据。感测数据包括与附接到第一相机30a、30b、30c的机械臂的姿势和运动有关的信息，并且可由一个或多个传感器(诸如姿势检测传感器28或其它类型的传感器)采集。一个或多个传感器可以联接到机械臂或直接附接到第一相机30a、30b、30c。在另一实施例中，从由控制器60接收的图像确定第一数据。在这方面，图像由第一相机30a、30b、30c捕获，并传输到控制器60。控制器60使用适于从由第一相机30a、30b、30c捕获的图像提取此类信息的算法计算第一相机30a、30b、30c的姿势。在一个实施例中，全局相机30a、30c，诸如悬吊相机或广角相机，其视点显示整个手术台附近，可为其它相机30a、30b、30c中的每一个的姿势提供参考系。例如，一个或多个标记可以包括在一个或多个其它相机上，全局相机可以使用标记来确定其它相机的姿势。在另一示例中，其它相机的二维投影可以与存储在存储器202中的其它相机的三维几何模型匹配。在另一实施例中，可使用通过超声源/接收器配对和/或超宽带射频等的链接确定相机30a、30b、30c的姿势。除了关于第一相机30a、30b、30c的姿势信息之外，第一数据还可包括关于由第一相机30a、30b、30c捕获的图像的姿势的信息。关于捕获图像的姿势的信息可以由附接到第一相机30a、30b、30c或机械臂20的传感器确定，或者可以基于由第一相机30a、30b、30c捕获的图像确定。在一个实施例中，可在机器人手术系统100的整个使用中重复步骤302。
在步骤304，控制器60接收由第一相机30a、30b、30c捕获的图像，在步骤306，所接收的图像显示在操纵台80的显示装置44上。要认识到，在一些实施例中，步骤304可与步骤302同时执行或在执行步骤302之前执行。例如，控制器60接收由第一相机30a、30b、30c捕获的图像，然后从所捕获的图像计算第一相机30a、30b、30c的姿势，其然后显示在显示装置44上。
在步骤308，基于第二数据确定第二相机30a、30b、30c的姿势。在一个实施例中，基于从一个或多个传感器获得的数据跟踪联接到第二相机30a、30b、30c的机械臂20的位置，所述传感器诸如姿势检测传感器28或其它类型的传感器，其可以联接到机械臂20或直接附接到第二相机30a、30b、30c。来自姿势检测传感器28的数据包括与附接到第二相机30a、30b、30c的机械臂20的姿势和运动有关的信息。在又一实施例中，从由控制器60接收的图像确定第二数据，所述图像由第二相机30a、30b、30c捕获并传输到控制器60。控制器60使用适于从由第二相机30a、30b、30c捕获的图像提取此类信息的算法计算第二相机30a、30b、30c的姿势。除了关于第二相机30a、30b、30c的姿势信息之外，第二数据还可包括关于由第二相机30a、30b、30c捕获的图像的姿势的信息，其可由附接到第二相机30a、30b、30c或机械臂20的传感器确定，或者可以基于由第二相机30a、30b、30c捕获的图像确定。在一个实施例中，可在机器人手术系统100的整个使用中重复步骤308。
之后，在步骤310，控制器60接收由第二相机30a、30b、30c捕获的图像。在一个实施例中，由第二相机30a、30b、30c捕获的图像与从第一相机30a、30b、30c接收的图像不同，指示机械臂20机电移动到与第一相机30a、30b、30c的位置不同的位置。要认识到，在一些实施例中，步骤308可与步骤310同时执行或在执行步骤310之前执行。例如，控制器60接收由第二相机30a、30b、30c捕获的图像，然后从所捕获的图像计算第二相机30a、30b、30c的姿势。
在步骤312，将第一相机30a、30b、30c与第二相机30a、30b、30c的姿势进行比较以确定捕获从第一和第二相机30a、30b、30c接收的图像的姿势的差异。具体地，控制器60评估第一数据和第二数据中包括的所接收姿势信息，以确定第一和第二相机30a、30b、30c、患者10和手术机器人25的相对姿势。在一些实施例中，基于统一坐标系确定第一和第二相机30a、30b、30c的姿势。控制器60还可确定捕获从第一和第二相机30a、30b、30c接收的图像的姿势之间的差异。
在步骤314，基于第一和第二相机30a、30b、30c的姿势之间的差异和/或捕获从第一和第二相机30a、30b、30c接收的图像的姿势的差异，生成在从第一和第二相机30a、30b、30c接收的图像之间的过渡。通过合成从第一和第二相机30a、30b、30c接收的图像数据来创建图像序列从而生成所述过渡，所述图像序列表示从第一和第二相机30a、30b、30c接收的图像之间的姿势差异。
使用各种技术来通过过渡传达姿势感知变化的感测，所述过渡诸如放大、后退、移动到侧面、从一个相机30a、30b、30c的姿势摆动到下一姿势，和/或从一侧平移到下一侧。例如，如果第一相机30a、30b、30c位于第二相机30a、30b、30c的侧面，则可以通过产生这样的图像序列来生成所述过渡，所述图像序列表示根据第一和第二相机30a、30b、30c之间的姿势的差异的运动模糊以传达第一和第二相机30a、30b、30c之间的姿势变化的感测。在另一示例中，如果第一相机30a、30b、30c位于第二相机30a、30b、30c后面，则可通过产生这样的图像序列，来生成所述过渡，所述图像序列表示缩放以传达从第一相机30a、30b、30c向前移动到第二相机30a、30b、30c的感测，或者在有三个或更多个相机30a、30b、30c的实施例中，可通过产生一个图像序列然后是另一图像序列来生成所述过渡，所述一个图像序列表示从第一相机30a、30b、30c接收的图像缩放到从中间相机30a、30b、30c接收的图像，所述另一图像序列表示从中间相机30a、30b、30c接收的图像缩放到从第二相机30a、30b、30c接收的图像。例如，从第一相机30a、30b、30c接收的图像可以显示从第一视点的手术部位15，从第三相机30a、30b、30c接收的图像可以显示患者10的身体，从第二相机30a、30b、30c接收的图像可以显示从第二视点的手术部位15。在再一示例中，从第一和第二相机30a、30b、30c接收的图像被混合，并且当在从第一和第二相机30a、30b、30c接收的图像之间检测到重叠时，产生图像序列，其表现为在平衡运动中从第一相机30a、30b、30c接收的图像移到从第二相机30a、30b、30c接收的图像。在一些实施例中，从第一和第二相机30a、30b、30c接收的图像可包括患者10的一些重叠覆盖，而在其它实施例中，从第一和第二相机接收的图像可没有任何重叠覆盖，完全不同。例如，从第一和第二相机30a、30b、30c接收的图像可以被显示，如同所述图像关于几何对象(例如，中心在手术部位15或包围手术部位15的球体)投影，使得当由临床医生查看时，所述图像将具有手术部位15的球形投影的外观或可以被感知为具有可视深度的手术部位15的图像。在另一示例中，从辅助相机，例如，相机30a、30b、30c接收的图像在矩形框中以提供手术部位15的总览，其中，辅助相机具有缩小视点和/或显示整个手术部位15的视点。可以在从第一和第二相机30a、30b、30c接收的图像旁边和/或与所述图像结合地显示此总览。
在再一示例中，过渡可由计算机动画图形增强，以传达空间感知的感测。例如，计算机图形元件可以增加到或覆盖到从第一和第二相机30a、30b、30c接收的图像，以从第一相机30a、30b、30c的姿势和第二相机30a、30b、30c的姿势指示运动的方向。根据另一实施例，患者10的其它图像被合并到图像序列中。在一个示例中，图像包括患者身体的模型，诸如几何模型。在另一实施例中，患者身体的模型由在患者10的扫描期间获得的图像和/或患者10身体的三维渲染构造。例如，在扫描(诸如磁共振成像、超声成像、计算机继层扫描等)期间获得的图像与从第一和第二相机30a、30b、30c接收的图像集成，并产生包括患者身体图像的图像序列。在另一示例中，可以使患者10的身体在过渡中表现为透明或半透明，以传达在患者10身体内相机30a、30b、30c的姿势感知及邻近患者10身体内的器官和/或其它结构的感测。
现在转到步骤316，控制器60接收从显示从第一相机30a、30b、30c接收的图像切换到显示从第二相机30a、30b、30c接收的图像的命令。切换命令可基于用户输入而被接收，例如，临床医生通过操纵台80操作手术机器人25，可以按按钮以发送命令，或者可以发出语音命令等。替代地或者另外，命令可以由手术机器人25在使用具体工具时被自动地发送，使得控制器60自动地过渡并显示从附接到被使用的手术工具的相机30a、30b、30c接收的图像。在一些实施例中，步骤312、314在机器人手术系统100的整个使用中被连续执行。在其它实施例中，步骤312、314只在操纵台60接收步骤316的命令之后被执行。
在步骤318，显示装置44显示在步骤314处生成的过渡，然后在步骤320处显示由第二相机30a、30b、30c捕获的图像。在一个实施例中，控制器60将命令发送至显示装置44，以显示从第一相机30a、30b、30c接收的图像，然后显示表示过渡的图像序列，然后显示从第二相机30a、30b、30c接收的图像。
可以设想控制器60可以将从步骤314获得的过渡记录到存储器202上/中，形式为2D/3D静止图像和/或视频。还可以设想从步骤314获得的过渡的视频可以存储在第一相机30a、30b、30c和/或第二相机30a、30b、30c中的存储器中，使得可以由控制器60生成可容易解释的视频路径，并例如在显示装置44上显示给外科医生，以给外科医生提供可视观察位置之间的天然移动的可视体验。
还可以设想如果在由第一相机30a、30b、30c和第二相机30a、30b、30c捕获的图像之间有不充分的重叠，控制器60可以使用当第一相机30a、30b、30c和/或第二相机30a、30b、30c的视点被改变时的之前记录的图像/视频，以合成从第一相机30a、30b、30c到第二相机30a、30b、30c的过渡，或者反之亦然。
在一个实施例中，机器人手术系统100的控制器60可以被编程以将第一相机30a、30b、30c和/或第二相机30a、30b、30c、视频的预设长度记录到例如存储器202上/中，从而允许外科医生回放所记录的视频(如果需要或期望)，以便帮助他们在必须移动第一相机30a、30b、30c和/或第二相机30a、30b、30c之前并且在外科医生经历由于第一相机30a、30b、30c和/或第二相机30a、30b、30c的运动造成的任何定向障碍之前确定其在手术空间中的先前位置。
在一个实施例中，被记录的视频的长度可以是固定的时间量，或者可以由终端用户、外科医生或技师根据许多因素，例如，手术程序的总预期长度，机器人手术系统100的存储容量，外科医生的经验等调节。
根据本公开的一种方法，机器人手术系统100可包括相对短的运行视频记录器以记录来自第一相机30a、30b、30c和/或第二相机30a、30b、30c的图像/视频。此相对短的运行视频可以随时由外科医生使用以给外科医生提供由第一相机30a、30b、30c和/或第二相机30a、30b、30c曾记录的相对快的回放，方式是通过反向播放和/或通过在时间上提供即时后跳，由此视频恢复向前播放，例如，5、10、15和30秒后跳，或者倒回到某个期望时间戳或帧。
替代地或者除了此回放方法之外，可以设想控制器60可相对于患者的解剖结构生成或构建第一相机30a、30b、30c和/或第二相机30a、30b、30c的实时3D空间位置，并将其记录在存储器202中。此记录的第一相机30a、30b、30c和/或第二相机30a、30b、30c的3D空间位置可以由外科手术或人员在手术程序期间或之后的任何时间访问，且在任何另外手术程序之前可用。
尽管上面描述的示例和实施例涉及包括第一和第二相机30a、30b、30c的系统，但这些示例不旨在是限制性的，设想了机器人手术系统100可包括定位在患者10身体内部和外部的更多的相机30a、30b、30c。
本文中描述的系统还可使用一个或多个控制器来接收各种信息并转换所接收的信息以生成输出。控制器可包括任何类型的计算装置、运算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包括多个处理器和/或多核中央处理单元(CPU)，并且可包括任何类型的处理器，例如，微处理器、数字信号处理器、微控制器、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。控制器还可包括存储器以存储数据和/或指令，当其由一个或多个处理器执行时，使所述一个或多个处理器执行一个或多个方法和/或算法。
本文中描述的任何方法、程序、算法或代码可以转换成编程语言或计算机程序或以编程语言或计算机程序表示。如本文中使用的术语“编程语言”和“计算机程序”分别包括用来指定计算机的指令的任何语言，并包括(但不限于)以下语言和其派生物：Assembler、Basic、Batch files(批处理文件)、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身规定程序的元语言和所有第一、第二、第三、第四、第五或下一代计算机语言。还包括数据库和其它数据模式以及任何其它元语言。在被解释、编译的语言之间没有差别，或者使用编译和解释两种方法。在程序的编译版本和源版本之间没有差别。因此，提到程序，其中，编程语言以超过一种状态(诸如源、编译、对象或链接)存在时，是指任何和所有这些状态。提到程序可以涵盖实际指令和/或这些指令的意图。
本文中描述的任何方法、程序、算法或代码可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可包括提供(例如，存储和/或传输)以由诸如处理器、计算机或数字处理装置之类的机器可读形式的信息的机制。例如，存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置或任何其它易失性或非易失性存储器存储装置。其上包含的代码或指令可以由载波信号、红外信号、数字信号并由其它类似的信号表示。
应当理解，前述描述只说明本公开。在不偏离本公开下可以由本领域技术人员设想各种替代方案和修改。因此，本公开旨在包含所有这些替代方案、修改和变形。参照附图描述的实施例只被展示以示范本公开的某些示例。与上文描述和/或所附权利要求中的那些基本不同的其它元件、步骤、方法和技术也旨在处于本公开的范围内。

Claims (30)

1.一种在机器人手术程序期间在相机视点之间过渡的方法，所述方法包括：
在所述机器人手术程序期间从第一相机接收手术部位的图像；
基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；
当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；
基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
2.根据权利要求1所述的方法，其中，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
3.根据权利要求1所述的方法，其中，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
4.根据权利要求1所述的方法，其中，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
5.根据权利要求1所述的方法，其中，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
6.根据权利要求1所述的方法，其中，生成所述过渡还包括：
从第一视点缩小到显示患者身体的中间视点；以及
从所述中间视点放大到第二视点。
7.根据权利要求1所述的方法，其中，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
8.根据权利要求7所述的方法，其中，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
9.根据权利要求1所述的方法，还包括：
基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；
从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；
基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
10.根据权利要求9所述的方法，其中，所述第一相机定位在所述第二相机和所述第三相机之间，并且其中，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
11.一种用于在机器人手术程序期间在相机视点之间的过渡的系统，所述系统包括：
手术机器人，所述手术机器人包括：
第一相机；
第二相机；以及
机械臂，所述机械臂将所述第一相机和所述第二相机联接到所述手术机器人；以及
计算机，所述计算机被配置成：
在所述机器人手术程序期间从所述第一相机接收手术部位的图像；
基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；
当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；
基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
12.根据权利要求11所述的系统，其中，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
13.根据权利要求11所述的系统，其中，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
14.根据权利要求11所述的系统，其中，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
15.根据权利要求11所述的系统，其中，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
16.根据权利要求11所述的系统，其中，所述计算机还被配置成通过以下操作生成所述过渡：
从第一视点缩小到显示患者身体的中间视点；以及
从所述中间视点放大到第二视点。
17.根据权利要求11所述的系统，其中，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
18.根据权利要求17所述的系统，其中，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
19.根据权利要求11所述的系统，还包括第三相机，并且其中，所述计算机还被配置成：
基于从跟踪所述第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；
从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；
基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
20.根据权利要求19所述的系统，其中，所述第一相机定位在所述第二相机和所述第三相机之间，并且其中，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
21.一种存储程序的非暂时性计算机可读介质，所述程序包括指令，所述指令在由处理器执行时使计算机：
在所述机器人手术程序期间从第一相机接收手术部位的图像；
基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；
当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；
基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
22.根据权利要求21所述的非暂时性计算机可读介质，其中，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
23.根据权利要求21所述的非暂时性计算机可读介质，其中，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
24.根据权利要求21所述的非暂时性计算机可读介质，其中，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
25.根据权利要求21所述的非暂时性计算机可读介质，其中，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
26.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令还使所述计算机通过以下操作生成所述过渡：
从第一视点缩小到显示患者身体的中间视点；以及
从所述中间视点放大到第二视点。
27.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令还使所述计算机将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
28.根据权利要求27所述的非暂时性计算机可读介质，其中，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
29.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令还使所述计算机：
基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包括联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；
从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；
基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；
基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及
当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
30.根据权利要求29所述的非暂时性计算机可读介质，其中，所述第一相机定位在所述第二相机和所述第三相机之间，并且其中，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
CN201880052749.7A 2017-08-16 2018-08-16 在微创手术期间合成多个相机视点之间的空间感知过渡 Active CN111031958B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762546273P 2017-08-16 2017-08-16
US62/546,273 2017-08-16
PCT/US2018/000291 WO2019036006A1 (en) 2017-08-16 2018-08-16 SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY

Publications (2)

Publication Number Publication Date
CN111031958A true CN111031958A (zh) 2020-04-17
CN111031958B CN111031958B (zh) 2023-09-15

Family

ID=65362402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052749.7A Active CN111031958B (zh) 2017-08-16 2018-08-16 在微创手术期间合成多个相机视点之间的空间感知过渡

Country Status (4)

Country Link
US (2) US10834332B2 (zh)
EP (1) EP3668439B1 (zh)
CN (1) CN111031958B (zh)
WO (1) WO2019036006A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259192A (zh) * 2020-10-22 2021-01-22 华志微创医疗科技（北京）有限公司 一种手术操作系统以及控制方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036006A1 (en) 2017-08-16 2019-02-21 Covidien Lp SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US20220168048A1 (en) * 2020-11-30 2022-06-02 Mazor Robotics Ltd. Autonomous robot tracking
EP4284287A1 (en) * 2021-02-01 2023-12-06 Mazor Robotics Ltd. Multi-arm robotic systems for identifying a target
US20220395342A1 (en) * 2021-06-10 2022-12-15 Mazor Robotics Ltd. Multi-arm robotic systems and methods for monitoring a target or performing a surgical procedure
US11464650B1 (en) * 2021-10-06 2022-10-11 Ix Innovation Llc Synchronized placement of surgical implant hardware
CN114224489B (zh) * 2021-12-12 2024-02-13 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003136465A (ja) * 2001-11-06 2003-05-14 Yaskawa Electric Corp 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
US20090161915A1 (en) * 2007-12-24 2009-06-25 National Chiao Tung University Of Taiwan Multi-person pose recognition system using a zigbee wireless sensor network
US20090259102A1 (en) * 2006-07-10 2009-10-15 Philippe Koninckx Endoscopic vision system
WO2013009510A2 (en) * 2011-07-08 2013-01-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN103845053A (zh) * 2012-11-28 2014-06-11 韦伯斯特生物官能(以色列)有限公司 使用局部坐标系的位置感测
US20140163736A1 (en) * 2012-12-10 2014-06-12 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US20140226000A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror
US20140288413A1 (en) * 2013-03-21 2014-09-25 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
WO2015131088A1 (en) * 2014-02-27 2015-09-03 University Surgical Associates, Inc. Interactive display for surgery
US20150304634A1 (en) * 2011-08-04 2015-10-22 John George Karvounis Mapping and tracking system
CN105283840A (zh) * 2013-06-08 2016-01-27 苹果公司 用于同步两个或更多个显示器的设备、方法和图形用户界面
US20160199147A1 (en) * 2015-01-12 2016-07-14 Electronics And Telecommunications Research Institute Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8769395B2 (en) 2002-12-13 2014-07-01 Ricoh Co., Ltd. Layout objects as image layers
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US7843451B2 (en) 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8868338B1 (en) 2008-11-13 2014-10-21 Google Inc. System and method for displaying transitions between map views
WO2011040769A2 (ko) 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
US8633964B1 (en) 2009-12-04 2014-01-21 Google Inc. Generating video from panoramic images using transition trees
KR20110114421A (ko) * 2010-04-13 2011-10-19 주식회사 이턴 체감형 수술용 영상 처리 장치 및 방법
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
KR101371382B1 (ko) * 2012-04-27 2014-03-07 경북대학교 산학협력단 방사선투시시스템
US10285765B2 (en) * 2014-05-05 2019-05-14 Vicarious Surgical Inc. Virtual reality surgical device
US10070940B2 (en) * 2014-09-15 2018-09-11 Synaptive Medical (Barbados) Inc. End effector for a positioning device
US11123149B2 (en) 2015-10-09 2021-09-21 Covidien Lp Methods of using an angled endoscope for visualizing a body cavity with robotic surgical systems
EP3383247A4 (en) * 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
WO2017151999A1 (en) * 2016-03-04 2017-09-08 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
CN111329553B (zh) * 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
GB2572289B (en) * 2016-12-01 2021-11-17 Synaptive Medical Inc A camera system for providing images with simultaneous high resolution and large depth of field
US20180368656A1 (en) * 2017-05-24 2018-12-27 Camplex, Inc. Surgical visualization systems and displays
WO2019036006A1 (en) 2017-08-16 2019-02-21 Covidien Lp SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003136465A (ja) * 2001-11-06 2003-05-14 Yaskawa Electric Corp 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
US20140226000A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror
US20090259102A1 (en) * 2006-07-10 2009-10-15 Philippe Koninckx Endoscopic vision system
US20090161915A1 (en) * 2007-12-24 2009-06-25 National Chiao Tung University Of Taiwan Multi-person pose recognition system using a zigbee wireless sensor network
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
WO2013009510A2 (en) * 2011-07-08 2013-01-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US20150304634A1 (en) * 2011-08-04 2015-10-22 John George Karvounis Mapping and tracking system
CN103845053A (zh) * 2012-11-28 2014-06-11 韦伯斯特生物官能(以色列)有限公司 使用局部坐标系的位置感测
US20140163736A1 (en) * 2012-12-10 2014-06-12 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US20140288413A1 (en) * 2013-03-21 2014-09-25 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
CN105283840A (zh) * 2013-06-08 2016-01-27 苹果公司 用于同步两个或更多个显示器的设备、方法和图形用户界面
WO2015131088A1 (en) * 2014-02-27 2015-09-03 University Surgical Associates, Inc. Interactive display for surgery
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20160199147A1 (en) * 2015-01-12 2016-07-14 Electronics And Telecommunications Research Institute Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259192A (zh) * 2020-10-22 2021-01-22 华志微创医疗科技（北京）有限公司 一种手术操作系统以及控制方法

Also Published As

Publication number Publication date
WO2019036006A1 (en) 2019-02-21
EP3668439A1 (en) 2020-06-24
CN111031958B (zh) 2023-09-15
EP3668439B1 (en) 2023-11-15
US11258964B2 (en) 2022-02-22
US20210029307A1 (en) 2021-01-28
US20200169673A1 (en) 2020-05-28
US10834332B2 (en) 2020-11-10
EP3668439A4 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN111031958B (zh) 在微创手术期间合成多个相机视点之间的空间感知过渡
US10835344B2 (en) Display of preoperative and intraoperative images
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
US11747895B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US20200330166A1 (en) Guidance for placement of surgical ports
JP2016073686A (ja) 手術ロボットの合成表現
KR101598774B1 (ko) 수술용 영상 처리 장치 및 그 방법
JP7460631B2 (ja) デュアル画像センサを有する内視鏡
US20210236233A1 (en) Three dimensional medical imaging and interactions
US20200093544A1 (en) System and method for registration and coordinated manipulation of augmented reality image components
CN110290758A (zh) 计算机辅助远程操作手术中的多维可视化
US20220215539A1 (en) Composite medical imaging systems and methods
JP7494196B2 (ja) コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法
EP3666166B1 (en) System and method for generating a three-dimensional model of a surgical site
KR101114231B1 (ko) 수술용 영상 처리 장치 및 그 방법
US20210378748A1 (en) Anatomical structure visualization systems and methods
EP4318401A2 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20230277035A1 (en) Anatomical scene visualization systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant