CN104918572A - 用于外科手术的视频捕获和显示的数字系统 - Google Patents

用于外科手术的视频捕获和显示的数字系统 Download PDF

Info

Publication number
CN104918572A
CN104918572A CN201380056255.3A CN201380056255A CN104918572A CN 104918572 A CN104918572 A CN 104918572A CN 201380056255 A CN201380056255 A CN 201380056255A CN 104918572 A CN104918572 A CN 104918572A
Authority
CN
China
Prior art keywords
image
region
interest
display
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380056255.3A
Other languages
English (en)
Other versions
CN104918572B (zh
Inventor
伦·施奈德
亚伯拉罕·泽图尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49515442&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104918572(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of CN104918572A publication Critical patent/CN104918572A/zh
Application granted granted Critical
Publication of CN104918572B publication Critical patent/CN104918572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G02B7/1822—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors comprising means for aligning the optical axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

本文提供了一种用于外科手术的视频捕获和显示的系统。该系统可以包括：至少一个数字图像传感器，其光学地耦接至一个或更多个透镜并且被配置成捕获外科手术中的场景的视频序列；至少一个接口，其被配置成接收所捕获的视频序列的至少一个关注区域(ROI)；电子显示器，其被选择以使得数字图像传感器中的至少一个具有基本上比该电子显示器的像素分辨率大的像素分辨率；以及计算机处理器，其被配置成接收所捕获的至少一个视频序列和所接收的至少一个ROI，并且基于所选择的至少一个ROI在所述至少一个电子显示器之上显示所捕获的视频序列的一部分。

Description

用于外科手术的视频捕获和显示的数字系统
背景
1.技术领域
本发明涉及医学成像领域，并且更具体地涉及数字化的外科手术捕获和显示。
2.对相关技术的讨论
当前可利用的用于显微镜外科手术操作的技术使用传统光学显微镜。基础的传统外科手术显微镜由高质量光学部件、变焦物镜、供用户观看的目镜和XY电机构成。用户(或外科医生)通过直接光学通道看到相关对象。存在有折叠显微镜中的光线的技术，用于为用户设计更舒适且符合人体工学的结构。然而，因为显微镜基于直接光线通道，所以显微镜在其定位和移动目镜的能力和灵活性方面受到限制。另外，由于显微镜的传统直接观看方法，所以在没有数字装置和传感器的情况下，用户不能从数字领域优势中受益。
在对显微镜的延长使用(特别地，外科手术操作)期间，用户必须在长时间段内将其头部定位到固定于显微镜。用户长时间将其头部保持在显微镜中会引起颈部疼痛。
当前可利用的内窥镜操作(腹腔镜检查、结肠镜检查等)技术包括将视频投影到固定在手术室(OR)中的(一个或多个)大型监视器上。内窥镜耦接至数字摄像机。摄像机视频被投影到大型显示器上。全体工作人员特别是主治外科医生必须在他们的头部固定于监视器方向时观看手术。工作人员缺乏移动他们的头部、观看彼此和他们的仪器的能力，这使得外科手术更加复杂、有风险并且增加了手术时间(在一些情况下，还可能导致工作人员的数量的增加)。对于外科医生协助人员而言，因为他们不能看到外科医生的直接动作并且不能共享其视角，所以很难进行辅助。
发明内容
本发明的一种实施方式提供了以下一种系统：该系统将来自外科手术可视化仪器(例如显微镜、腹腔镜)的数据、来自现有医疗成像仪器(例如MRI和CT扫描)的数据、患者病史以及在手术室(OR)中可得到的当前生命体征进行整合。新系统还使用户与任意固定仪器分离，从而使得环境更加符合人体工学。该系统可以显示来自OR中的仪器的参考数据以及3D路线图。所述数据可以来自捕获实时3D数据的成像仪器。另一方法是接收从不同角度进行捕获的数据，并且该系统将生成3D数据以用于显示。
本发明的另一实施方式提供了一种替换传统光学外科手术显微镜的、同时保持显微镜的光学分辨率和视场(FOV)的数字系统。两个数字摄像机用于从略微不同的角度捕获操作区域的、随后要向每个眼睛显示的图像，从而提供3D成像。用于从不同角度捕获图像的另一方法可以利用一个具有专用光学组件的摄像机。摄像机捕获与由外科手术显微镜捕获的最大FOV对应的大FOV。图像被显示到双显示头戴式设备上。用户注视方向(用户视野的视线)通过头部跟踪器和眼球跟踪器进行测量。所捕获的图像和注视方向被传送至系统的计算机。根据注视方向，计算机从摄像机图像获得相关的关注区域(ROI)，并且将它们馈送到特别设计的显示系统中。应当理解的是，ROI可以具有任意形状，并且可以出于应用的目的对ROI进行裁剪。
在另一实施方式中，可以使用来自键盘、鼠标、触摸屏和接口的输入来选择ROI。除了3D成像之外，双显示系统在用户的当前关注区域处提供高分辨率(其与人眼的分辨率相当)的视频。显示器可以被设计成在其整个视场呈现高分辨率，或者可以被设计成在外围FOV保持低分辨率以用于情景认知。根据一种实施方式，可以通过跟踪外科医生所持有的工具(例如外科手术刀)的尖端来得到ROI。用这种方式，随着手术进行ROI被实时更新。
本发明的又一实施方式提供了针对不需要光学显微镜的应用的数字系统。所述应用可以(但不仅仅)涉及以下领域中的成像：骨外科、妇外科、耳鼻喉科、神经外科、肿瘤外科、儿科、口腔颌面、整形外科、导管插入术、腹腔镜检查以及结肠镜检查。视频源由计算机与头部跟踪器一起捕获。在该系统中，计算机获得相关的ROI(如果存在的话)，并且将图像传送至显示器。根据应用和视频源的特性允许2D或3D的显示器可以是单目式或双目式。透视型显示器允许了用户的周边视觉。在本申请中这里所称的ROI不仅可以包括在图像内ROI的位置，而且还可以包括与视角、要观看的对象的类型有关的元数据，以及可以在ROI内呈现的进一步的数据例如消息和警报。
与本发明的一些实施方式一致，前述系统可以设置有诸如以下要素：可以支持多个用户具有其自身的一套注视方向跟踪器和显示器的处理器和视频源。出于会诊和教示的目的，还可以将视频转发至不同位置；可以记录视频，用于将来的分析和展示；主要视频源的图像可以是空间稳定的，从而允许了以方便于用户的方向定位其它虚拟仪器，给出了病史、当前生命体征、过去的测试结果和CT扫描等。头部跟踪器可以用于控制手术室中的可操纵仪器。
附图说明
为了更好地理解本发明的实施方式并且示出可以如何实施所述实施方式，现在将仅仅通过示例的方式来参考附图，其中，贯穿附图相同的附图标记指示对应的要素或部分。
在附图中：
图1A为图示根据本发明的一些实施方式的一个方面的示意性框图；
图1B为图示根据本发明的一些实施方式的另一方面的立体图；
图1C为图示根据本发明的一些实施方式的另一方面的示意性框图；
图1D为图示根据本发明的一些实施方式的另一方面的立体图；
图2A为图示根据本发明的一些实施方式的又一方面的示意性框图；
图2B为图示根据本发明的一些实施方式的又一方面的立体图；
图2C为根据本发明的一些实施方式的又一方面的光学图；
图2D示出了图示根据本发明的一些实施方式的又一方面的曲线图；
图2E示出了图示根据本发明的一些实施方式的又一方面的立体图；
图2F示出了图示根据本发明的一些实施方式的又一方面的图像；以及
图2G示出了图示根据本发明的一些实施方式的又一方面的图像。
具体实施方式
现在详细且具体地参考附图，要强调的是：所示细节仅通过示例的方式，并且仅出于对本发明的优选实施方式进行说明性讨论的目的，以及是为了提供被认为是最有用的、并且较容易理解对本发明的原理和构思方面的描述而呈现。在这一点上，为了基本理解本发明，在不必要的情况下不尝试更详细地示出本发明的结构细节，结合附图进行的描述使得对于本领域的技术人员而言可以变得明显的是：如何在实践中实施本发明的若干形式。
在详细地说明本发明的至少一种实施方式之前，要理解的是，本发明在其应用方面不限于下面描述中所阐述的或附图中所示的部件的构造和布置的细节。本发明适用于其它实施方式或者以各种方式来实践或执行。此外，要理解的是，本文所采用的措辞和术语是出于描述的目的而不应被认为是进行限制。
本发明在其实施方式方面包括如下若干主要构造块：具有大FOV的一个或多个高分辨率摄像机；能够向用户投影所期望的分辨率和FOV的头戴式显示器；头部跟踪器和眼球跟踪器。本发明的实施方式提供与人眼的角分辨率相当或者比人眼的角分辨率好的角分辨率，并且能够具有与外科手术显微镜类似的对象放大率(放大率高达约30至40倍)。
另外，还可以使用如下一些其它要素：照射场景和对象的光源；处理器；以及接口设备。所述系统与用户、手术室器械和必要的基础设施(例如通信设施)对接。
根据本发明的一些实施方式，本文提供了用于数字显微镜的两个系统。本文还描述了主要用于内窥镜系统的第三系统。所述系统的许多要素对于所述两种系统是共用的，并且下面对其进行描述，随后详细描述所述系统之间的差异。
所提出的系统可以使用以下共用要素中的部分或全部。一个这样的要素为视频摄像机。所提出的系统使用摄像机来捕获操作区域的实时图像。图像被显示至头戴式显示器(HMD)或监视器。所述一个或多个摄像机可以替代显微镜——所述摄像机具有能够对在数十厘米的距离处的对象进行聚焦的透镜。所述一个或多个摄像机可以为显微镜的附加装置——附加装置可以通过使用机械适配器来使其装配到专用端口中(外科手术显微镜利用分束器来将光分离至用户的目镜以及摄像机、其它目镜等要使用的另外的端口)。
用户的注视方向通过头部跟踪器和/或眼球跟踪器进行测量。摄像机捕获的图像和注视方向被传送至系统的处理器。处理器从高分辨率摄像机图像获得相关的ROI。ROI图像分辨率适于显示器分辨率。ROI位置(或坐标)根据注视方向进行计算。
处理器具有针对重要医疗数据的输入数据端口。所述数据可以是病史数据、监视数据或任意外部医疗设备。
处理器对所捕获的图像执行图像处理。所述处理可以是：图像校正，例如固定图形噪声校正、色彩校正、失真校正、直方图增强等；在相关的图像固定装置上添加标记，从而追踪对象、强调对象等；叠加监视数据或病史数据；利用诸如CT、MRI等的其它成像设备来融合视频。
处理器将所捕获的ROI图像发送至显示器端口中。显示设备可以是下述中的一个：高质量且高分辨率彩色HMD，该HMD可以是用于立体视频的双目显示器或者用于单一视频的单目显示器；除了HMD以外，显示设备可以是用于显示图像的任意监视器或投影设备，所述监视器可以是3D监视器或标准2D监视器。显示设备的所有数据或部分数据可以保存在系统存储器中。对系统激活和重要功能的控制可以使用脚踏开关、键盘控制箱或语音激活来完成。
本文描述了若干类型的系统。下面对所述系统之间的差异进行详述。
系统Ⅰ是用于数字外科手术显微镜的系统。在该系统中，所述一个或多个摄像机捕获大于显示器FOV的宽FOV区域。(出于大放大率的目的)摄像机分辨率非常高，因此摄像机能够捕获整个FOV——在该FOV中具有所有必要的细节。在第一次调节之后，系统不需要具有机械运动机构例如XY运动或光学变焦。因为摄像机捕获所关注的整个FOV，所以以数字方式来提取数据放大率或关注区域。
系统Ⅱ是用于数字外科手术显微镜的系统。所述一个或多个摄像机捕获大于显示器FOV的宽视场(FOV)区域。摄像机分辨率非常高，但是可能需要诸如XY运动或光学变焦等机械运动，以捕获扩展的FOV。
系统Ⅲ是用于数字外科手术内窥镜的系统。在该类型的系统中，从诸如腹腔镜、结肠镜、神经外科、MRI、CT等外部成像源接收视频。
与本发明的实施方式一致，系统中使用的摄像机保持高端外科手术显微镜所要求的标准，所述高端外科手术显微镜支持人类高光学性能标准。也就是说，针对由显微镜提供的FOV使3D图像变清晰，同时保持情境认知。摄像机保留这些益处并且向用户提供增加的功能和情境认知，同时使用户与显微镜分离。摄像机主要特征是：3D摄像机具有超高分辨率；3D摄像机具有覆盖显微镜的整个FOV的分辨率；以及摄像机具有受制于HMD的ROI。
在一种情况下，摄像机可以被添加到外科手术显微镜。使用适配器和光学器件会将摄像机连接至显微镜。在另一情况下，摄像机将具有物镜(或摄影镜头)，其将用于替换整个外科手术显微镜。摄像机将对关注对象进行成像，并且将图像发送至处理器单元和显示器(监视器或HMD)。关键的是，保持从对图像的抓取到图像显示的微小时间延迟。所述微小延迟是关键的，因此用户将不会经受对象平面中的运动之间的延迟直到图像被显示为止。
在一些实施方式中，使用两个摄像机来捕获(由显微镜提供的)左眼和右眼的图像，用于进行立体成像。摄像机沿两个不同角度进行定位以向显示器提供来自不同角度的图像，其最终将创建3D成像。该配置可以与现有目镜并行实施或者通过替换现有目镜(通过升级现有显微镜或者用新的仪器替换现有显微镜)进行实施。
在其它实施方式中，可以使用一个或更多个摄像机来从不同方位捕获图像。所述捕获可以针对所述一个或多个摄像机的固定位置来完成，或者可以通过将摄像机的方位改变至不同位置来完成。在每一位置处，摄像机捕获图像，并且处理器将图像保存在存储器中。从所述一个或多个摄像机捕获的图像可以用于生成对象的3D模型。可以针对固定摄像机实时地生成3D模型，或者可以针对移动摄像机非实时地生成3D模型。该实施方式的示例性用途可以为创建用于神经外科的头部和大脑的3D模型。所述一个或多个摄像机被移动至围绕患者头部的不同位置。图像保存在存储器中。处理器使用图像来生成头部/大脑的3D模型。可以使用拉东变换来实施用于这样的3D模型的示例性算法。可以在外科手术期间使用该模型，以帮助外科医生定向或改进3D定位。可以在3D显示器、头戴式显示器、作为3D模型的2D显示器中向外科医生显示3D模型。3D数据库还可以用于非显示目的。处理器可以对数据库执行不同的算法例如图像校正、跟踪等。
根据一些实施方式，在若干类型的多个用户和多个显示器存在的情况下，计算机处理器可以被配置成如下：将多个预定图像处理算法或视频处理算法应用于至少一个所选择的ROI，并且在多个显示器之上呈现所述算法的输出。采用这种方式，通过应用被应用于用户特定的ROI和显示器的图像处理算法或者任意其它操作，每个用户可以选择他自己的或她自己的ROI并且接收经裁剪且经处理的图像。通过上述实施方式，计算机处理器变成用于从要选择的图像传感器、输入设备、ROI和存在于现场的各种显示器方面来管理系统资源的装置。
如图2B所示，一些外科手术显微镜采用通用主接物镜(CMO)设计。该设计的主要优点是将棱镜并入光路的能力，其在基本上不影响图像的质量的情况下允许一些光的发散。如图2C所示，摄像机可以被置于一些预先设计的分束位置处，以捕获每个光路(每个眼睛对应一个光路)的图像。
设计外科手术显微镜的另一方法是通过使用Greenough设计，其给出了若干优点。该设计允许显微镜的位置位于距离患者的较大距离处。该较大距离对于降低患者感染的风险是重要的。显微镜的设计较简单，这使得仪器生产较便宜，并且支持较高数值孔径和较大景深。使用数字摄像机使得能够进行例如梯形畸变效应的光学畸变校正，并且引入很像CMO设计的独立于光学设计的配件。在摄像机是具有机器人的(电动的)臂的显微镜的附加装置的情况下，电机可能受制于头部运动和眼球运动——这在一些脑外科的领域中是益处。
现在提及在上面描述的第一系统构思(系统Ⅰ)中的外科手术显微摄像机，摄像机捕获显微镜的整个FOV。摄像机分辨率足够高，因此系统角分辨率与人眼的角分辨率相当。可以使用CMO或Greenough设计将摄像机装配为独立装置或者将其附接至显微镜。根据所捕获的图像，获得ROI并且将其发送至显示器单元。ROI坐标取决于头部和/或眼球的LOS。还可以从操纵杆、键盘、脚踏基座、语音激活和任意其它输入设备提取ROI坐标。以最大分辨率捕获整个FOV使得下述是可行的：对于关注区域，以类人眼的分辨率向用户进行显示。该操作方法给予用户若干益处：向用户提供极佳的图像；以数字方式对图像进行放大；图像中的数字XY运动；同时地向主要用户和不同用户提供其关注区域的图像；记录显微镜的整个FOV，用于汇报和随后分析；以及出于教示或接受辅助的目的而共享用户所观察的图像。
可以用若干方法来执行从整个画面中获得ROI。第一方法涉及从传感器抓取整个图像。在该方法中，在抓取之后，以数字的方式从整个图像获得ROI。整个图像或仅ROI可以存储在处理器存储器中。第二方法涉及仅从传感器抓取ROI而非整个画面。可以通过仅对图像阵列中的相关像素来进行抓取。在前两种方法中，处理器对ROI执行图像大小调整，因此ROI将适合显示器单元的分辨率。第三种方法涉及从传感器抓取ROI并且对ROI进行欠采样。在该方法中，数字图像传感器被配置成进行欠采样，以用于将视频序列的空间分辨率调节成电子显示器的空间分辨率。欠采样的示例是：对阵列中的每两个像素进行采样，而不是对每个像素进行采样。
在第一方法中，使用以数字方式从整个图像获得的ROI，该ROI是用于改进外科手术的强大工具。当将完整的高分辨率抓取至处理器存储器时，重要的数据可以用于不同应用。采用最简单的方式，可以保存全部数据，以用于后期汇报。在手术期间，可以在不干扰其他用户的情况下，每个用户根据要求的坐标和放大率来选择不同ROI。这对于复杂的外科手术是重要的，作为复杂的外科手术的示例是多于一个外科医生同时在进行手术。不仅外科医生可以使用不同的ROI，而且不在同一手术室中的学生、护士或其他工作人员、用户等也可以使用不同的ROI。ROI可以用于多个用户，其他用户为处理器。例如，外科医生可以对处理器跟踪到不存在血流或其它定义事件的关注区域进行标记。用户可以用书签标记不同的ROI。在该情况下，用户可以在帧时间内返回至被用书签标记的ROI。从ROI至ROI的时间转变为帧时间。它包括放大率变化(从大的值至小的值)、XY变化或紧急变化。
上述的第二系统构思(系统Ⅱ)是要使窄FOV摄像机(其具有与上述摄像机相同的角分辨率)的LOS受制于头部跟踪器和/或眼球跟踪器。这使得能够捕获较小分辨率的图像，从而在仍保持必要的分辨率的同时减小了系统要处理的数据量。快速双轴转向镜将通过大FOV光学器件获得的图像扫描到小FOV摄像机上。镜的位置受制于用户的头部运动和眼球运动，从而替换了先前解决方案的所获得的区域。用于移动摄像机的LOS的另外的方法是通过使用一些系统要素的平移和倾斜机构。
在另一实施方式中，存在第一构思和第二构思的组合。在此构思中，摄像机在具有扫描可能性的情况下具有中等分辨率。另外，存在有显示在HMD或监视器上的内部ROI。
HMD可以采用在头上戴着的显示设备的形式，在一个或每个眼睛前具有小型显示光学镜。HMD可以产生2维图像或3维图像(立体显示)。在本发明的上下文中，HMD被称为用于显示视频、符号或任意类型的可显示信息的工具。为了实现高质量视频，HMD可以被实施为显示彩色图像、3D(针对每个眼睛)、高分辨率和高FOV。然而，可能无法实现提及的品质中的一个或更多个。
在一些实施方式中可以使用透视型HMD，从而允许视频被叠加在现真实世界视图上。例如，可以通过将视频投影穿过部分反射表面、并且直接观看真实世界来完成将真实世界视图与视频叠加。也可以通过接受来自捕获真实世界的摄像机的视频、并且将所接受的视频与来自系统的视频以电子方式进行混合来以电子方式完成真实世界视图与视频的组合。
通常，HMD图像被聚焦至无穷远。聚焦至无穷远使观看者眼睛放松并且较不费力。然而，在使用透视型HMD并且真实世界对象没有位于无穷远处(例如封闭的房间)时，需要将HMD的焦距设置成对象距离。一般，HMD可以利用动态聚焦机械装置，将所投影的图像焦点距离设置成观看者眼睛焦点距离(或者设置成观看者看到的对象的距离)。
HMD可以利用头部跟踪器。头部跟踪器可以用于在空间中定位用户头部位置，并且通过这样来计算观看者LOS(视线)。对观看者的视线的获知是允许不同的独特功能和应用的强大工具。例如，具体地，可以实施具有头部跟踪器的透视型HMD，以在空间中固定虚拟视频(其被设置成相对于真实世界是固定的)，进而在任意真实世界位置显示数据。以一般的方式，透视型HMD可以用于在空间中将任意数据或视频固定至特定坐标。
另外，用户LOS可以用于不同应用。例如，LOS可以用作显微镜电机(用于平移器运动或变焦)的控制器，而非操纵杆。另一示例是所显示图像中的ROI(关注区域)的变化。ROI的变化可以是其在图像中的坐标的变化或者其尺寸(数字变焦)的变化。
HMD利用头部跟踪器，因此可以在用户的能视域中呈现符号、信息、图像等。可以围绕特定视线(例如，直接至在手术中的对象的视线)来限定FOV。可以围绕FOV来限定能视域。
根据一些实施方式，计算机处理器可以被配置成在电子显示器之上将视频序列投影在第一区域和第二区域中，其中第二区域的角分辨率高于例如0.0005弧度的阈值，以及其中第一区域的角分辨率低于上述0.0005弧度的阈值，以及其中第一区域具有至少例如2°的视场并且基本上围绕用户的LOS而居中。
HMD可以利用眼球跟踪器。眼球跟踪器可以用于相对于HMD设备来定位准确的眼睛LOS。对眼睛LOS的获知可以用于实施智能显示器，所投影的图像取决于观看者眼睛LOS。一般，所提及的关于头部跟踪器的大多数功能可以使用眼球跟踪器来实施。与头部跟踪器相结合，HMD可以是使空间中固定的数据可视化并且要用作控制器的非常友好的工具。
为了满足本发明，HMD必须产生高质量视频。当与通过常规(非数字)显微镜目镜所观看的图像相比时，HMD视频质量必须是用户可接受的。为了从HMD实现高质量视频，必须实施若干关键参数——高的角分辨率、宽FOV、高的色彩质量和高的动态范围。在本发明的范围内，仅涉及前两个参数——高的角度分辨率和宽FOV。
HMD的用户为人类观看者。为了实现高质量显示，HMD光学参数需足够好以满足人类视觉。人类视觉的FOV非常大。然而，人类的角分辨率(或视敏度)取决于图像在视网膜上的位置。存在具有提高的视敏度的视网膜的较小区域(较小FOV)。该区域被称为中央凹，并且覆盖了约2度的视觉FOV。当离开中央凹时，视敏度单调降低(见图2D，左图)。人类观看者使用具有比人类视觉小的角分辨率(见图2D，右图)的HMD，将不会注意到分辨率的提高或者将不具有看见更多细节的能力。因此，一般地，高质量HMD将具有与人类视觉类似的或者比人类视觉好的角分辨率。
涉及外科手术显微镜HMD，本文将描述HMD的两个示例性且非限制性的实施，其将产生高质量图像并且将具有足够小的角分辨率，因此人类观看者将不会感到在观察数字图像的效果。
HMD的第一实施是通过产生作为FOV的函数的恒定角分辨率。一般，该方法利用高分辨率显示器作为HMD的一部分。
HMD的第二实施是通过产生作为HMD FOV的函数的、变化的角分辨率。角分辨率必须优于人类视觉，因此在该实施中，必须将较小角分辨率投影在中央凹视线的FOV中。在外围FOV(围绕中央凹)中，角分辨率可以大于中央凹区域中的角分辨率(图2D)。HMD具有根据眼球运动(使用眼球跟踪器)来(向观看者)移动所投影的图像的机械装置。在该情况下所投影的图像的方向跟随观看者LOS，因此所投影的图像取决于眼球运动；观看者看见在他前面的图像。
图2E中图示了HMD的第二实施(产生变化的角分辨率)的设计的示例。在该示例中，存在针对每个眼睛的两个微型显示器。一个微型显示器用于外围图像。第二微型显示器用于中央凹图像。第二微型显示器相对于第二微型显示器以较窄FOV进行投影。使用光组合器将(两个微型显示器的)两个被投影的图像进行组合。利用目镜，观看者可以看见组合后的图像(图2F)。为了实现两个叠加图像之间的较好的过渡，可以在拼接区域进行一些平滑。例如，在中央凹图像的边缘，(使用图像处理模糊)分辨率可以整体下降至外围图像的分辨率。这将使叠加图像看起来更加自然。
观看者看到的图像必须具有优于人类视敏度的角分辨率。为了用HMD的第二实施来实现上述目的，必须根据观看者的LOS来移动中央凹图像微型显示器(中央微型显示器)。实现上述目的的一种方式是通过使用镜(例如MEMS)将中央微型显示器图像移动至目镜焦平面上。可以使用眼球跟踪器来移动旋转镜(2个轴)——使该镜受制于观看者LOS。图2G中示出一种示例性实施。图2F中描述的光学部件可以直接装配在眼睛前方或者装配为透视型HMD。
可以使用微型显示器(LCD、OLED、LCOS)、DMD(数字微型镜设备)、DLP(数字光处理)、扫描镜或任意其它方法来实现HMD投影图像。一般，可以将HMD实施为观看者可以看见所显示的图像及其后面的场景的透视设备。还可以将HMD实施为观看者仅可以看见隐藏在其后面的场景的图像的非透视设备。可以将HMD实施为与外部源进行通信并从外部源接收图像的无线或有线设备。
现在涉及头部跟踪器或眼球跟踪器，跟踪器的一些用途可以包括：控制机械臂的运动；控制高分辨率显示器中的ROI的运动；控制图像变焦；稳定空间中的图像；控制透视亮度。头部跟踪器和眼球跟踪器是强大的工具。它们在系统应用中的主要作用是提供用户的关注区域的LOS。一般，头部跟踪器提供针对所显示的图像FOV的LOS，同时眼球跟踪器提供针对高分辨率FOV的LOS。由头部跟踪器提供的LOS允许从超高分辨率图像获得相关ROI或者将快速反射镜引导至恰当的角度。然后该图像在由外围显示器进行显示之前被分样。
头部跟踪器LOS使得HMD能够创建空间稳定的对象。这些对象包括来自显微镜的图像和需为用户可用的任意的进一步的数据例如病史、先前获得的CT扫描、由其它手术室仪器测量的当前患者重要统计数据等。这些对象可以被置于用户定义的空间位置处。例如，以45°向左看，用户可以看到患者的上一CT扫描，向前看给出了显微镜图像，向下看允许穿过显示器看到患者，以及向上看提供了时间显示。对于许多用户而言，提供稳定图像的能力对于防止恶心是重要的。
如上所述，头部跟踪器还可以用于经由用户接口执行其它任务，或者作为用于对显微镜运动或其它医疗器械进行引导的源。
现在涉及宽FOV情境认知(SA)摄像机。SA摄像机可以不是显微镜的正常光通道的一部分。光学显微镜不向用户提供用于SA的工具。当用户眼睛固定于显微镜目镜时，视野限于镜的有限FOV。在显微镜外发生的事件对用户是隐藏的。另外，没有基于视觉将显微镜LOS操纵至不同对象的能力。
本发明的实施方式可以利用扩展SA提供外围FOV的进一步增大。FOV增大通过使用所述一个或多个较低角分辨率摄像机来提供。附加的摄像机可以位于显微镜外部、接近显微镜物镜的边界。宽FOV摄像机图像可以与通过显微镜光学装置获得的图像相融合(或相叠加)并且提供进一步的外围FOV。用于显示宽FOV图像的另一技术是在HMD能视域中的不同窗口中，或者覆盖显微镜图像的一部分来呈现出宽FOV图像。
现在涉及系统的语音激活。可以经由专用控制面板、要由用户用他的/她的脚来使用的特别设计的控制杆或按钮等，以若干方式来实施对系统的控制。特别感兴趣的是语音激活技术，该语音激活技术在提供灵活且丰富的接口的同时允许免手动控制(其使得用户的手空闲以执行另外的任务)。语音识别允许识别要由任意用户所使用的、为特定目的所保留的、预编程的关键词，并且允许用户独立于语言或词典来设计编排他们自己的关键词。例如，口令“标记打开”可以将预定义的标记添加到所显示的图像上。说西班牙语的用户可以通过自己设计编排其本国语言命令来用其本国语言命令补充英语命令。
语音激活可以连同头部跟踪器和眼球跟踪器一起使用以构建详尽而直观的用户接口。例如，“变焦打开”口令可以启用取决于图像变焦的头部运动。向前移动头部使图像放大，而向后移动头部则使图像缩小。“变焦关闭”命令关闭该特征，允许了正常操作。
现在涉及主处理器和存储单元，主处理器单元主要用于：与摄像机、HMD、头部跟踪器、眼球跟踪器、视频监视器、语音激活硬件、任意控制器面板和显微镜进行对接；运行不同的实时软件应用；运行视频编辑软件应用；播放来自存储单元的视频；与诸如MRI、CT等其它系统进行对接。存储器单元主要用于记录来自摄像机的视频或图像，以及运行实时软件应用。
现在涉及主处理器单元接口，与摄像机对接的处理器接口包括：摄像机增益控制、曝光控制以及用于设置摄像机工作点的任意其它控制。另外，处理器设置从摄像机捕获的ROI和视频帧速率。处理器单元从摄像机捕获视频，并且如果用户选择记录数据，则处理器将视频推送至存储单元。与头部跟踪器对接的处理器接口包括对头部的LOS的计算。可以针对三个坐标(方位角、俯仰和旋转)或六个坐标(还有空间中的位置)来计算头部LOS，用于更精确的应用。与眼球跟踪器对接的处理器接口包括对眼睛的LOS的计算。与HMD对接的处理器接口包括HMD亮度控制、对比度控制以及用于设置HMD显示图像的任意其它控制。根据眼球跟踪器输入和头部跟踪器输入，处理器向HMD推送相关图像、数据和符号。对于涉及使两个微型显示器相叠加的复杂显示器(图2F)，处理器限定向不同微型显示器推送的图像。处理器可以控制或传递关于HMD中的硬件的相关数据，HMD中的硬件例如扫描镜、头部跟踪器、眼球跟踪器、摄像机或任意其它硬件。
以下为示例性主处理器单元实时应用。头部跟踪器应用可以包括：控制显微镜电机或ROI以用于平移器移动以及用于光学或数字变焦。例如，当用户将头部移动至不同方向时，显微镜电机跟随头部运动。采用这种方式，例如，观看者可以使显微镜转向至期望的对象。对光学变焦的控制可以通过向前和向后移动头部，从而设置放大和缩小功能。
另一应用是改变透视型HMD投影显示的亮度。例如，用户可以定义：在沿特定方向看时，所投影的图像是亮的；而在将头部移动至不同位置时，图像变得较暗以使真实世界的呈现度更高。根据头部位置，所显示的图像可以是视频、不同符号或不同信息。
另一实施方式是改变作为用户头部位置的函数的透视透明度。当用户的头部沿一个方向时，透明度较低，因此投影图像的对比度较高。当头部移至另一方向时，透明度较高，因此用户通过HMD可以具有情境认知。也可以使用显示亮度减小的组合来改进背景图像的对比度。一般，可以在透视型显示器的一部分上或者在其整体上进行透明度改变。可以根据用户手动选择和/或其它环境阈值来调节透明度。
可以使用透视型显示器上的惰性或活性涂层/垫来进行透明度改变。这些涂层/垫被置于在用户视线中的显示器元件上。一般，这些涂层/垫可以被置于护目镜、组合器、波导或者用于透视型显示器的任意其它光学元件上。惰性涂层通过在其上使用UV/NIR照射可以减小透视型显示器透射。当被电激活时，活性涂层减小了透射。
眼球跟踪器应用可以包括：对于涉及使两个微型显示器相叠加的复杂显示器(图2F)，眼球跟踪器限定较小角分辨率图像的位置(确定目镜焦平面上的图像位置)；移动整个所投影的显示LOS。
根据观看者的LOS，透视型HMD可以根据真实世界对象距离来聚焦投影图像。使用附加的机械装置(例如摄像机)和观看者的LOS，HMD可以检测至对象的距离并相应地进行聚焦。该聚焦机械装置将预防眼睛的疲劳(由于在显示器与真实世界之间焦点的变化)。所描述的使用头部跟踪器的应用也可以使用高达人类视觉FOV的程度的眼球跟踪器进行使用。
系统和图像处理应用可以包括：处理器在所投影的图像上生成关注特征的不同标记。在外科手术的情况下，可以基于所述标记来指定要处理的特征。处理器生成在HMD投影显示上呈现的重要OR(手术室)器械数据和病史信息。所述数据可以呈现在所显示的视频上或能视域中。可以从自动数据管理或个人推送标记。
上述系统可以利用光源。最通用的方法是被设计成从摄像机光学视线进行照射的光源。采用这种方式，以下面这样的方式置入透镜：来自源的光被引导穿过镜或分束器以照射穿过透镜。一种更通用的方法是从位于透镜附近的某个位置处的奇点进行照射。第三种方法可以是使用多于一个光源。多个源可以是前两种方法中描述的源。另外，可以围绕透镜设计光源环。光源的分布产生具有在图像中的较少遮蔽的均匀光。
当使用光源时，可以利用数字域来控制摄像机和光源。常见的是，摄像机具有诸如自动增益控制(AGC)和自动曝光控制(AEC)等算法来对摄像机工作点进行计算和设置。通常对增益和曝光量进行计算以产生具有最大动态范围和最小饱和度的图像。在具有单个或多个光源的情况下，可以使用自动光亮控制(ALC)。基于图像，该算法计算单个或多个光源的亮度级。基于对视频序列的图像直方图的动态分析来动态地调节面向场景的可控光源。对光的水平进行调节以优化对比度、动态范围以及使来自对象的镜面反射最小化。
对于一些应用和过程，重要的是以特定且有限的光谱带捕获图像。例如，在近红外(NIR)光谱带中捕获图像可以增强血管。可以将光源设计成辐射不同的光谱带。实现不同光谱的一种方法是通过使用不同的光源。例如，使用在不同颜色中或在NIR中的不同类型的LED。实现不同光谱的第二种方法是通过在光源前面使用滤光器例如带通滤光器。可以用一种类型的滤光器覆盖一种源，而不同的源将用第二种类型的滤光器来覆盖。
取代于设计用于不同光谱的光源，或者附加地，可以将摄像机设计成捕获在不同光谱带中的图像。可以对摄像机光学器件进行设计，因此在光路中的某些位置插入滤光器。可以将滤光器的机械装置设计成永久固定或者设计成支持滤光器的移除和插入。该机械装置不限于一个滤光器。例如，滤光轮或光棱镜可以用于支持针对不同光谱带的多个类型的滤光器。在执行过程时，用户可以通过设置对应的滤光器来设置光谱带。
上述系统可以利用对成像对象进行照射的投影仪。投影仪可以在可见光谱中或在近红外光谱中进行照射。视觉照明可以向用户提供一些视觉引导。例如，用于标记关注区域，标记执行外科手术切口的地方、方向符号等。在近红外中的照射可以用于结构光应用。结构光用于基于对象产生3D数据。投影仪可以为以下中的任意类型：DMD、Pico MEMS投影仪、LCD、CRT等。
本发明的另一实施方式是针对用户的引导。可以通过创建用于外科医生的工具的路径来完成引导。使用从摄像机所接收的图像来创建的3D数据库来创建路径。基于这些图像，系统对工具进行跟踪，并且将外科医生引导至所指定的方向。可以自动地、手动地或者通过将自动与手动二者进行组合来生成路径。当外科医生未沿正确方向移动工具或者接近敏感区时，系统可以生成警报。
在上面的描述中，实施方式是本发明的示例或实施。“一个实施方式(one embodiment)”、“实施方式(an embodiment)”或“一些实施方式(some embodiments)”的各种呈现不一定都指代相同的实施方式。
虽然本发明的各种特征可能在单个实施方式的上下文中进行描述，但是也可以单独或者以任意适当的组合来提供特征。相反，虽然为了清楚起见可以在本文中在单独的实施方式的上下文中对本发明进行描述，但是本发明也可以在单个实施方式中实施。
本发明的实施方式可以包括来自以上公开的不同实施方式的特征，并且实施方式可以合并来自以上公开的其它实施方式的要素。本发明的在特定实施方式的上下文中公开的要素不应被视为仅限于在该特定实施方式中使用。
此外，要理解的是，本发明可以用各种方式来执行或实践，并且本发明可以在除了以上描述中概述的实施方式以外的实施方式中进行实施。
本发明不限于附图或相应的描述。例如，流程不需要移动经过所图示的每个框或状态，或者不需要精确地按照与所图示和所描述的次序相同的次序。
除非另外限定，否则本文中使用的技术和科学术语的含义应如本发明所属领域的普通技术人员所普遍理解的那样。
虽然已经在有限数量的实施方式方面对本发明进行了描述，但是这些实施方式不应被理解为对本发明的范围的限制，而应理解为一些优选实施方式的范例。其它可能的变型、修改和应用也在本发明的范围内。

Claims (21)

1.一种用于外科手术的视频捕获和显示的系统，所述系统包括：
至少一个数字图像传感器，其被配置成捕获外科手术中的场景的视频序列；
至少一个接口，其被配置成接收表示所捕获的视频序列的关注区域(ROI)的至少一个输入；
至少一个电子显示器，其被选择以使得所述数字图像传感器中的至少一个具有基本上比所述电子显示器的像素分辨率高的像素分辨率；以及
计算机处理器，其被配置成：接收所捕获的至少一个视频序列和至少一个关注区域，并且基于所述至少一个关注区域在所述至少一个电子显示器之上显示所捕获的视频序列的一部分。
2.根据权利要求1所述的系统，其中，所述接口被配置成接收用户视线(LOS)，并且至少部分地基于所接收的用户视线确定所述关注区域。
3.根据权利要求1所述的系统，其中，所述至少一个电子显示器为头戴式显示器(HMD)，并且其中，所述关注区域显示在所述头戴式显示器之上。
4.根据权利要求1所述的系统，其中，所述接口包括被配置成跟踪用户的视线(LOS)的头部跟踪器，并且其中，至少部分地基于所述视线确定所述关注区域。
5.根据权利要求1至4中任一项所述的系统，其中，所述计算机处理器被配置成将至少一个预定的图像处理算法或视频处理算法应用于所接收的至少一个关注区域。
6.根据权利要求1至4中任一项所述的系统，进一步包括多个电子显示器，并且其中，所述计算机处理器被配置成：将多个预定的图像处理算法或视频处理算法应用于所接收的至少一个关注区域，并且在所述多个显示器之上呈现算法的输出。
7.根据权利要求1至6中任一项所述的系统，其中，所述计算机处理器被配置成：基于至少两个视频序列生成3D模型，并且在所述至少一个电子显示器之上呈现所生成的3D模型。
8.根据权利要求1至7中任一项所述的系统，其中，所述计算机处理器被配置成：从传感器抓取整个图像，并且以数字方式裁剪所述关注区域。
9.根据权利要求1至7中任一项所述的系统，其中，所述处理器被配置成：通过仅处理与所述关注区域对应的像素来从传感器抓取所述关注区域的图像。
10.根据权利要求1至7中任一项所述的系统，其中，所述处理器被配置成：从传感器抓取所述关注区域的欠采样。
11.根据权利要求4所述的系统，其中，所述头部跟踪器进一步包括眼球跟踪器，其被配置成跟踪用户的眼睛的注视方向。
12.根据权利要求4所述的系统，其中，所述头部跟踪器和所述电子显示器被一起封装在头戴式显示器(HMD)中，并且其中，至少部分地基于所述头戴式显示器的空间运动来修改所捕获的图像。
13.根据权利要求1至12中任一项所述的系统，其中，所述电子显示器中的至少一个为透视型显示器。
14.根据权利要求1所述的系统，其中，所述一个或更多个数字图像传感器被配置成：基于所选择的至少一个关注区域来执行自动聚焦。
15.根据权利要求1所述的系统，进一步包括：面向场景的可控光源的阵列，并且其中，基于对一个或更多个视频序列的图像直方图的动态分析来动态地调节所述可控光源，以便减少镜面反射。
16.根据权利要求1所述的系统，进一步包括：面向场景的至少两组照明器，其中，所述组中的每一个可在不同光谱范围内操作。
17.根据权利要求1所述的系统，进一步包括：滤光器，所述滤光器位于数字传感器的光学器件处，使得能够捕获不同光谱范围内的图像。
18.根据权利要求1所述的系统，其中，所述系统用于对显微外科手术进行捕获和显示，并且其中，数字传感器包括不具有光学变焦元件的数字摄像机，并且其中，所投影的视频序列至少在其一部分中保持近似等于或大于人眼角分辨率的角分辨率。
19.根据权利要求1所述的系统，其中，所述系统用于对显微外科手术进行捕获和显示，并且其中，一个或更多个数字图像传感器作为附加装置光学地耦接至现有的光学外科手术显微镜。
20.根据权利要求1所述的系统，其中，所述系统用于对内窥镜外科手术进行捕获和显示，并且其中，一个或更多个数字成像传感器光学地耦接至内窥镜。
21.根据权利要求2至4中任一项所述的系统，其中，所述处理器被配置成在电子显示器之上将视频序列投影在第一区域和第二区域中，其中，所述第二区域的角分辨率高于0.0005弧度，并且其中，所述第一区域的角分辨率低于0.0005弧度，并且其中，所述第一区域具有至少2°的视场并且基本上围绕所述用户的视线而居中。
CN201380056255.3A 2012-09-10 2013-09-10 用于外科手术的视频捕获和显示的数字系统 Active CN104918572B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL221863 2012-09-10
IL221863A IL221863A (en) 2012-09-10 2012-09-10 Digital video photography system when analyzing and displaying
PCT/IL2013/050764 WO2014037953A2 (en) 2012-09-10 2013-09-10 Digital system for surgical video capturing and display

Publications (2)

Publication Number Publication Date
CN104918572A true CN104918572A (zh) 2015-09-16
CN104918572B CN104918572B (zh) 2017-12-08

Family

ID=49515442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380056255.3A Active CN104918572B (zh) 2012-09-10 2013-09-10 用于外科手术的视频捕获和显示的数字系统

Country Status (6)

Country Link
US (3) US10345582B2 (zh)
EP (2) EP2903551B1 (zh)
CN (1) CN104918572B (zh)
ES (1) ES2899353T3 (zh)
IL (1) IL221863A (zh)
WO (1) WO2014037953A2 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812779A (zh) * 2016-03-22 2016-07-27 华中科技大学 一种可切换场景源的头戴式内窥镜3d显示系统
CN106236281A (zh) * 2016-07-25 2016-12-21 上海市肺科医院 一种手术室三维可视化操作系统
CN107427216A (zh) * 2015-12-25 2017-12-01 韦斯特尤尼蒂斯株式会社 医疗系统
CN108289600A (zh) * 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
CN108369727A (zh) * 2015-10-22 2018-08-03 台利斯公司 适于向操作员提供增强的能见度的系统和相关方法
CN108885339A (zh) * 2015-12-31 2018-11-23 汤姆逊许可公司 用于使用自适应焦平面渲染虚拟现实的配置
CN109068969A (zh) * 2016-03-10 2018-12-21 比奥普-医疗有限公司 诊断组织的装置
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN109756668A (zh) * 2017-11-07 2019-05-14 安讯士有限公司 在不同图像捕获条件下结合光学变焦和数字变焦
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
CN110312119A (zh) * 2018-03-27 2019-10-08 霍尼韦尔国际公司 具有视差减轻功能的全景视觉系统
CN110461268A (zh) * 2017-02-02 2019-11-15 埃尔比特系统有限公司 医疗用途的放大的高分辨率成像和跟踪
CN111510630A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
CN111724754A (zh) * 2020-06-30 2020-09-29 上海乂学教育科技有限公司 针对在线学习系统的护眼方法及系统
CN111788543A (zh) * 2018-03-14 2020-10-16 苹果公司 具有注视跟踪的图像增强设备
CN111902824A (zh) * 2018-03-23 2020-11-06 威尔乌集团 通过像素值到像素的映射控制图像显示
CN112263331A (zh) * 2020-10-30 2021-01-26 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
CN112805999A (zh) * 2019-04-15 2021-05-14 圣纳普医疗公司 用于医疗程序的增强光学成像系统
WO2022170928A1 (zh) * 2021-02-10 2022-08-18 苏州速迈医学科技股份有限公司 一种牙科显微诊疗系统
US12051214B2 (en) 2020-05-12 2024-07-30 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US12126916B2 (en) 2018-09-27 2024-10-22 Proprio, Inc. Camera array for a mediated-reality system

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102588B2 (ja) * 2013-07-10 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
US10432922B2 (en) * 2014-03-19 2019-10-01 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
EP3119286B1 (en) 2014-03-19 2024-05-01 Intuitive Surgical Operations, Inc. Medical devices and systems using eye gaze tracking
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
DE102014206004A1 (de) * 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
KR102375662B1 (ko) * 2014-05-09 2022-03-16 엑스-바이오메디칼 휴대용 수술 방법, 시스템, 및 장치
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
DE102014210121A1 (de) * 2014-05-27 2015-08-27 Carl Zeiss Meditec Ag Operationsmikroskop und bildgeführtes Chirurgiesystem sowie Verfahren zu deren Betrieb
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
WO2016062642A1 (en) 2014-10-21 2016-04-28 Philips Lighting Holding B.V. System, method and computer program for hands-free configuration of a luminous distribution
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
EP3248528A4 (en) * 2015-01-21 2018-09-12 HOYA Corporation Endoscope system
WO2016127140A1 (en) 2015-02-05 2016-08-11 Duke University Compact telescope configurations for light scanning systems and methods of using the same
WO2016127088A1 (en) * 2015-02-06 2016-08-11 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
GB2552279B (en) * 2015-02-12 2021-08-11 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
IL244255A (en) * 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
US10473942B2 (en) * 2015-06-05 2019-11-12 Marc Lemchen Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system
USD797131S1 (en) 2015-06-14 2017-09-12 Google Inc. Display screen with user interface for mode selector icons
USD796540S1 (en) 2015-06-14 2017-09-05 Google Inc. Display screen with graphical user interface for mobile camera history having event-specific activity notifications
USD812076S1 (en) 2015-06-14 2018-03-06 Google Llc Display screen with graphical user interface for monitoring remote video camera
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
USD803241S1 (en) 2015-06-14 2017-11-21 Google Inc. Display screen with animated graphical user interface for an alert screen
USD807376S1 (en) 2015-06-14 2018-01-09 Google Inc. Display screen with animated graphical user interface for smart home automation system having a multifunction status
US10133443B2 (en) 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
USD809522S1 (en) 2015-06-14 2018-02-06 Google Inc. Display screen with animated graphical user interface for an alert screen
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10274730B2 (en) 2015-08-03 2019-04-30 Facebook Technologies, Llc Display with an embedded eye tracker
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
IL241033B (en) 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
BR112018006290A2 (pt) * 2015-09-29 2018-10-16 Institut National De La Sante Et De La Recherche Medicale (Inserm) ?dispositivo e sistema para gerar ondas ultrassônicas em uma região-alvo de um sólido mole e método para tratar localmente um tecido?
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
IL243384A (en) * 2015-12-28 2017-05-29 Schneider Ron A method and system for determining the position and orientation of an instrument's tip relative to eye tissue
US11484363B2 (en) * 2015-12-28 2022-11-01 Elbit Systems Ltd. System and method for determining the position and orientation of a tool tip relative to eye tissue of interest
US10890751B2 (en) 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
AU2017236893A1 (en) 2016-03-21 2018-09-06 Washington University Virtual reality or augmented reality visualization of 3D medical images
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
US10578852B2 (en) * 2016-05-05 2020-03-03 Robert D. Watson Surgical stereoscopic visualization system with movable head mounted display
CN105933588A (zh) * 2016-06-24 2016-09-07 昆山科森科技股份有限公司 一种微创手术刀图像传输系统
US10263802B2 (en) 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
USD882583S1 (en) 2016-07-12 2020-04-28 Google Llc Display screen with graphical user interface
WO2018053192A1 (en) * 2016-09-15 2018-03-22 Kla-Tencor Corporation Systems and methods for optimizing focus for imaging-based overlay metrology
JP7073618B2 (ja) * 2016-09-23 2022-05-24 ソニーグループ株式会社 制御装置、制御方法及び医療用システム
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
USD843398S1 (en) 2016-10-26 2019-03-19 Google Llc Display screen with graphical user interface for a timeline-video relationship presentation for alert events
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US10122990B2 (en) * 2016-12-01 2018-11-06 Varjo Technologies Oy Imaging system and method of producing context and focus images
EP3750004A1 (en) * 2017-01-05 2020-12-16 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
KR20240059645A (ko) * 2017-01-11 2024-05-07 매직 립, 인코포레이티드 의료 보조기
EP3593704A4 (en) * 2017-03-07 2020-04-15 Sony Corporation INFORMATION PROCESSING DEVICE, AUXILIARY SYSTEM AND INFORMATION PROCESSING METHOD
AT519845B1 (de) * 2017-03-24 2021-09-15 Bhs Tech Gmbh Visualisierungsvorrichtung für die Übertragung von Bildern einer Mikroskopiervorrichtung
EP3586717B1 (en) 2017-03-27 2023-07-05 Sony Olympus Medical Solutions Inc. Control device and endoscope system
WO2018189853A1 (ja) * 2017-04-13 2018-10-18 オリンパス株式会社 立体視内視鏡光学系及びそれを備えた内視鏡
DE102017108551A1 (de) * 2017-04-21 2018-10-25 Carl Zeiss Meditec Ag Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
US10352496B2 (en) 2017-05-25 2019-07-16 Google Llc Stand assembly for an electronic device providing multiple degrees of freedom and built-in cables
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US10175489B1 (en) 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
EP3664742B1 (en) * 2017-08-11 2024-09-04 Brainlab AG Video based microscope adjustment
JP7280250B2 (ja) * 2017-09-21 2023-05-23 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
US11147636B2 (en) * 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
US11534252B2 (en) * 2017-11-16 2022-12-27 Intuitive Surgical Operations, Inc. Master/slave registration and control for teleoperation
DE102018202707A1 (de) * 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern
US10602132B2 (en) * 2018-03-06 2020-03-24 Varjo Technologies Oy Display apparatus and method of displaying using light source and controllable scanning mirror
JP7094746B2 (ja) * 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
JP7139548B2 (ja) * 2018-04-10 2022-09-21 株式会社シンクアウト ヘッドマウントディスプレイ
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
DE102018110644B4 (de) 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
JP6646880B2 (ja) * 2018-07-03 2020-02-14 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
US20200015924A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技（太仓）有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
FR3088530B1 (fr) * 2018-11-15 2020-12-04 Thales Sa Systeme d'imagerie 2d et 3d d'un desordre pigmentaire cutane
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
JP2022514217A (ja) * 2018-12-07 2022-02-10 エイヴギャント コーポレイション 操縦可能位置決め要素
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质
US11586049B2 (en) 2019-03-29 2023-02-21 Avegant Corp. Steerable hybrid display using a waveguide
EP3744286A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microscope
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
EP4062225A4 (en) 2020-01-06 2023-12-27 Avegant Corp. HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
JP7528258B2 (ja) * 2020-05-07 2024-08-05 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 頭部装着可能ディスプレイデバイスおよび顕微鏡から受信された画像を表示する方法
DE102020206216A1 (de) 2020-05-18 2021-11-18 Carl Zeiss Meditec Ag Stereoskopische Aufnahmevorrichtung
JP2023537454A (ja) 2020-05-26 2023-09-01 ユニファイ メディカル デジタル拡大による３次元画像の生成
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11601121B2 (en) 2020-06-26 2023-03-07 Intel Corporation Bootstrapped switch circuit, a track-and-hold circuit, an analog-to-digital converter, a method for operating a track-and-hold circuit, a base station and a mobile device
CN111904623B (zh) * 2020-08-04 2024-06-28 雅客智慧（北京）科技有限公司 手术视觉随动系统的控制方法及手术视觉随动系统
US11596567B2 (en) 2020-10-05 2023-03-07 Mazor Robotics Ltd. Systems and methods for determining and maintaining a center of rotation
CN112689088A (zh) * 2020-12-21 2021-04-20 维沃移动通信（杭州）有限公司 图像显示方法、装置和电子设备
EP4297658A1 (en) * 2021-02-24 2024-01-03 Vicarious Surgical Inc. System and method for autofocusing of a camera assembly of a surgical robotic system
US20220373348A1 (en) * 2021-05-03 2022-11-24 Chian Chiu Li Systems And Methods For Presenting Map And Changing Direction Based On Pointing Direction
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230118522A1 (en) * 2021-10-20 2023-04-20 Nvidia Corporation Maintaining neighboring contextual awareness with zoom
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
JP2007219069A (ja) * 2006-02-15 2007-08-30 Konica Minolta Photo Imaging Inc 映像表示装置
CN101389997A (zh) * 2005-12-12 2009-03-18 圣保罗联邦大学 具有普适计算的放大现实可视化系统
US20090245600A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Automated panning and digital zooming for robotic surgical systems
JP2010142381A (ja) * 2008-12-17 2010-07-01 Scalar Corp 内視鏡手術用ヘッドマウントディスプレイ、及び内視鏡手術システム
CN101904770A (zh) * 2009-06-05 2010-12-08 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
WO2011142165A1 (ja) * 2010-05-10 2011-11-17 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US20120147328A1 (en) * 2010-12-13 2012-06-14 Microsoft Corporation 3d gaze tracker

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593092B2 (en) * 1990-12-07 2020-03-17 Dennis J Solomon Integrated 3D-D2 visual effects display
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
JP2002085330A (ja) * 2000-09-12 2002-03-26 Olympus Optical Co Ltd 立体視内視鏡装置
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
WO2002100284A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
KR101606097B1 (ko) * 2009-10-01 2016-03-24 마코 서지컬 코포레이션 보철 부품의 위치 선정 및／또는 수술 도구의 이동 제한용 수술 시스템
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
JP5565041B2 (ja) * 2010-03-30 2014-08-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8994819B2 (en) * 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US20120281236A1 (en) * 2011-05-04 2012-11-08 The Johns Hopkins University Four-dimensional optical coherence tomography imaging and guidance system
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8982471B1 (en) * 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US9931154B2 (en) * 2012-01-11 2018-04-03 Biosense Webster (Israel), Ltd. Touch free operation of ablator workstation by use of depth sensors
EP2806781B1 (en) * 2012-01-23 2018-03-21 Washington University Goggle imaging systems and methods
US20150043003A1 (en) * 2012-04-18 2015-02-12 Lg Electronics Inc. Optical coherence tomography and control method for the same
US9430055B2 (en) * 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
CN101389997A (zh) * 2005-12-12 2009-03-18 圣保罗联邦大学 具有普适计算的放大现实可视化系统
JP2007219069A (ja) * 2006-02-15 2007-08-30 Konica Minolta Photo Imaging Inc 映像表示装置
US20090245600A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Automated panning and digital zooming for robotic surgical systems
JP2010142381A (ja) * 2008-12-17 2010-07-01 Scalar Corp 内視鏡手術用ヘッドマウントディスプレイ、及び内視鏡手術システム
CN101904770A (zh) * 2009-06-05 2010-12-08 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
WO2011142165A1 (ja) * 2010-05-10 2011-11-17 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US20120147328A1 (en) * 2010-12-13 2012-06-14 Microsoft Corporation 3d gaze tracker

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369727A (zh) * 2015-10-22 2018-08-03 台利斯公司 适于向操作员提供增强的能见度的系统和相关方法
CN107427216A (zh) * 2015-12-25 2017-12-01 韦斯特尤尼蒂斯株式会社 医疗系统
CN108885339A (zh) * 2015-12-31 2018-11-23 汤姆逊许可公司 用于使用自适应焦平面渲染虚拟现实的配置
CN109068969A (zh) * 2016-03-10 2018-12-21 比奥普-医疗有限公司 诊断组织的装置
CN105812779B (zh) * 2016-03-22 2018-01-05 华中科技大学 一种可切换场景源的头戴式内窥镜3d显示系统
CN105812779A (zh) * 2016-03-22 2016-07-27 华中科技大学 一种可切换场景源的头戴式内窥镜3d显示系统
CN106236281A (zh) * 2016-07-25 2016-12-21 上海市肺科医院 一种手术室三维可视化操作系统
US10786327B2 (en) 2016-10-03 2020-09-29 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US11813122B2 (en) 2016-10-03 2023-11-14 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US11439478B2 (en) 2016-10-03 2022-09-13 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
CN108289600A (zh) * 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
CN110461268B (zh) * 2017-02-02 2021-06-25 埃尔比特系统有限公司 医疗用途的放大的高分辨率成像和跟踪
CN110461268A (zh) * 2017-02-02 2019-11-15 埃尔比特系统有限公司 医疗用途的放大的高分辨率成像和跟踪
US11823374B2 (en) 2017-02-02 2023-11-21 Elbit Systems Ltd. Magnified high resolution imaging and tracking for medical use
CN109756668A (zh) * 2017-11-07 2019-05-14 安讯士有限公司 在不同图像捕获条件下结合光学变焦和数字变焦
CN111788543A (zh) * 2018-03-14 2020-10-16 苹果公司 具有注视跟踪的图像增强设备
CN111902824A (zh) * 2018-03-23 2020-11-06 威尔乌集团 通过像素值到像素的映射控制图像显示
CN110312119B (zh) * 2018-03-27 2023-05-16 霍尼韦尔国际公司 具有视差减轻功能的全景视觉系统
CN110312119A (zh) * 2018-03-27 2019-10-08 霍尼韦尔国际公司 具有视差减轻功能的全景视觉系统
US12126916B2 (en) 2018-09-27 2024-10-22 Proprio, Inc. Camera array for a mediated-reality system
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN112805999A (zh) * 2019-04-15 2021-05-14 圣纳普医疗公司 用于医疗程序的增强光学成像系统
CN112805999B (zh) * 2019-04-15 2023-06-06 圣纳普医疗公司 用于医疗程序的增强光学成像系统
CN111510630B (zh) * 2020-04-24 2021-09-28 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
CN111510630A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
US12051214B2 (en) 2020-05-12 2024-07-30 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
CN111724754B (zh) * 2020-06-30 2021-04-09 上海松鼠课堂人工智能科技有限公司 针对在线学习系统的护眼方法及系统
CN111724754A (zh) * 2020-06-30 2020-09-29 上海乂学教育科技有限公司 针对在线学习系统的护眼方法及系统
CN112263331A (zh) * 2020-10-30 2021-01-26 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
WO2022170928A1 (zh) * 2021-02-10 2022-08-18 苏州速迈医学科技股份有限公司 一种牙科显微诊疗系统

Also Published As

Publication number Publication date
EP2903551B1 (en) 2021-11-03
US20150173846A1 (en) 2015-06-25
EP2903551A2 (en) 2015-08-12
CN104918572B (zh) 2017-12-08
EP3725254A3 (en) 2020-12-16
ES2899353T3 (es) 2022-03-11
EP3725254A2 (en) 2020-10-21
US20190293935A1 (en) 2019-09-26
US10895742B2 (en) 2021-01-19
WO2014037953A3 (en) 2014-06-12
US20210109349A1 (en) 2021-04-15
US10345582B2 (en) 2019-07-09
IL221863A (en) 2014-01-30
WO2014037953A2 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN104918572B (zh) 用于外科手术的视频捕获和显示的数字系统
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20230255446A1 (en) Surgical visualization systems and displays
US12062430B2 (en) Surgery visualization theatre
US20220054223A1 (en) Surgical visualization systems and displays
Rolland et al. Optical versus video see-through head-mounted displays in medical visualization
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
CN106796344B (zh) 锁定在感兴趣对象上的放大图像的系统、布置和方法
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
US11628038B2 (en) Multi-option all-digital 3D surgery visualization system and control
US20170020627A1 (en) Surgical visualization systems and displays
US6847336B1 (en) Selectively controllable heads-up display system
US9330477B2 (en) Surgical stereo vision systems and methods for microsurgery
WO2021062375A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
Rolland et al. Optical versus video see-through head-mounted displays
Qian et al. AR-Loupe: Magnified augmented reality by combining an optical see-through head-mounted display and a loupe
WO2021226134A1 (en) Surgery visualization theatre
EP4106664A1 (en) All-digital multi-option 3d surgery visualization system and control
US20240266033A1 (en) Surgery visualization theatre
US20230179755A1 (en) Stereoscopic imaging apparatus with multiple fixed magnification levels
EP4146115A1 (en) Surgery visualization theatre
EP4034028A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
Cattari et al. Optical See-Through Head-Mounted Display With Mitigated Parallax-Related Registration Errors: A User Study Validation

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant