CN107517370B - 多路视频流的图像配准的系统和方法 - Google Patents

多路视频流的图像配准的系统和方法 Download PDF

Info

Publication number
CN107517370B
CN107517370B CN201710697091.2A CN201710697091A CN107517370B CN 107517370 B CN107517370 B CN 107517370B CN 201710697091 A CN201710697091 A CN 201710697091A CN 107517370 B CN107517370 B CN 107517370B
Authority
CN
China
Prior art keywords
image
local
visual field
virtual
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710697091.2A
Other languages
English (en)
Other versions
CN107517370A (zh
Inventor
马库斯·W·迪利亚沃
菲利普·科里·舒姆
巴顿·L·加斯里
马赫什·B·舍那伊
德鲁·史蒂文·迪顿
马修·本顿·梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haier Platt Ning Co
UAB Research Foundation
Original Assignee
Haier Platt Ning Co
UAB Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Platt Ning Co, UAB Research Foundation filed Critical Haier Platt Ning Co
Publication of CN107517370A publication Critical patent/CN107517370A/zh
Application granted granted Critical
Publication of CN107517370B publication Critical patent/CN107517370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本文中提供了用于来自多个源的图像配准的方法和系统。一种用于图像配准的方法包括：呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距元件中的另一个的远程元件；和更新关注的共同视野使得所述元件中的所述至少一个的存在相对于所述元件中的另一个配准。

Description

多路视频流的图像配准的系统和方法
本申请是申请日为2014年3月31日、申请号为201280048083.0(国际申请号为PCT/US2012/050238)、发明名称为“多路视频流的图像配准的系统和方法”的中国专利申请的分案申请。
背景技术
现今广泛使用的视频组合器使用各种多路技术和媒体组合技术而组合来自两个单独源的视频。当两个视频源被组合或多路时，两个视频源不需要为所希望的对准。错位常常是由于视频源之间缺乏同步。
作为实例，常规视频流依赖于在压缩和解压过程期间系统地移除数据且允许更有效传输视频/图像反馈的算法。数据损失和分辨率、纵横比、偏斜和其它因素的变化会影响(例如，变换)视频的原始观看。因此，当组合来自两个不同源的两个视频流时，所得合成视频或多个图像系列可能错位。
发明内容
本发明公开了用于为了所希望的图像呈现而建立多个视频/图像流的图像配准以对准多个视频/图像流的系统和方法。空间图像配准系统(SIRS)使用单独视频的图像内引入的检测方法、系统、符号和/或检测点以验证并(如果必要的话)应用多个图像变换以在原始反馈与传输反馈之间执行对准。在虚拟交互式存在(VIP)的情况下，无论是否存在传输或显示差别，SIRS均使用空间配准或匹配的用户交互创建关注的共同视野。
本发明描述了用于图像配准或共定位的方法。一种方法包括：呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距元件中的另一个的远程元件；和更新关注的共同视野使得所述元件中的所述至少一个的存在相对于所述元件中的另一个配准。
另一种方法包括：产生表示第一元件的第一图像；产生表示远距所述第一元件布置的第二元件的第二图像；和呈现包括所述第一图像和所述第二图像的合成图像，其中所述第一图像和所述第二图像中的至少一个基于配准特征部相对于所述第一图像和所述第二图像中的另一个配准。
本发明描述了用于图像配准的系统。所述系统包括：显示器，其被配置来用于显示关注的共同视野；传感器，其被配置来用于获取图像数据；处理器，其与所述显示器和所述传感器进行信号通信，其中所述处理器被配置来执行包括以下各项的步骤：基于所述图像数据呈现关注的反映多个元件的存在的共同视野，其中所述元件中的至少一个是远距所述元件中的另一个的远程元件；更新所述关注的共同视野使得所述元件的所述至少一个的存在相对于所述元件中的另一个配准；和将所述关注的共同视野输出给所述显示器。
额外优势将部分在下列描述中加以陈述或可以通过实践来加以学习。将通过随附发明概念中特别指出的元件和组合认识并取得所述优势。应了解，前文一般描述和下列详细描述均只具有示例性和解释性且不要被认为具有限制性。
附图说明
合并到这份说明书的部分并构成其部分的附图示出了实施方案且连同所述描述一起用来解释所提供的方法和系统的原理：
图1示出了虚拟交互式存在；
图2A示出了虚拟交互式存在；
图2B示出了本地专家辅助远程用户；
图3示出了示例性配准系统；
图4A示出了由图3的配准系统执行的示例性程序；
图4B示出了由图3的配准系统执行的示例性程序的本地视野和远程视野；
图4C示出了由图3的配准系统执行的示例性程序的本地视野和远程视野；
图4D示出了配准机构的偏差；
图4E示出了图4D的配准机构的偏差的变换；
图4F示出了由图3的配准系统执行的示例性程序；
图5示出了示例性虚拟存在系统；
图6示出了在一图形服务器内执行的示例性程序；
图7示出了在一网络服务器内执行的示例性程序；
图8示出了示例性VIP显示器的侧视图；
图9示出了示例性VIP显示器的用户视图；
图10示出了示例性VIP显示器的用户视图；
图11示出了示例性方法；
图12示出了另一示例性方法；
图13示出了远程手术环境中的虚拟存在；
图14示出了医学成像和手术视野的合并；且
图15示出了示例性操作环境。
具体实施方式
在公开并描述本方法和系统之前，应了解所述方法和系统不限于特定综合方法、特定组件或特定组成，因为这些可以自然而然地不断变化。还应了解，本文中使用的术语只是为了描述特定实施方案的目的且没有限制之意。
如本说明书和随附发明概念中使用，除非上下文另有明确指示，否则单数形式“一个(a、an)”和“所述”包括多个参照物。
本文中可以将范围表达成从“约”一个特定值和/或到“约”另一特定值。当表达这个范围时，另一实施方案包括从所述一个特定值和/或到所述另一特定值。类似地，当将值表达成近似值时，通过使用先行词“约”，应了解所述特定值形成另一实施方案。还应了解，范围中的每个的终点相对于另一终点和独立于另一终点均极为重要。
“选用”或“视情况”意指随后描述的事件或境况可能或可能不发生，且所述描述包括其中发生所述事件或境况的实例和其中不发生所述事件或境况的实例。
在本说明书的描述和权利要求中，单词“包括”和所述单词的变体(诸如“包括(comprising和comprises)”)意指“包括(但不限于)”，且不旨在排除(例如)其它添加物、组件、整数或步骤。“示例性”意指“其实例”且不旨在表达优选或理想实施方案的指示。
本发明公开了可用来执行已公开的方法和系统的组件。本文中公开了这些和其它组件，且应了解，当公开这些组件的组合、子集、交互、组(等)且不一定明确公开这些组件的每个各种个别和共同组合和置换的特定参考时，本文中所有方法和系统均具体预期并描述其中的每个。这应用于本申请的所有方面，包括(但不限于)已公开方法中的步骤。因此，如果存在可执行的多种额外步骤，那么应了解可以任何特定实施方案或已公开方法的实施例组合执行这些额外步骤中的每个。
通过参考优选实施方案和包括在其中的实例的下列详细描述并参考附图和其先前描述和下列描述可以更容易地理解本方法和系统。
本发明公开了用于多个视频流的图像配准的方法和系统。已公开的方法和系统可使用虚拟实境。虚拟实境(VR)是指基于计算机的应用程序，其提供了人机界面使得计算机和其装置创建受个人动作动态控制的感官环境，使得环境在用户看来是“真的”。运用VR，计算机系统与用户之间存在通信。计算机创建用户将体验的感官环境(一方面其可以是多感官的(但是这并非必要))且计算机响应于用户输入而创建实境感觉。
在一个示例性方面，所公开的系统可使用至少两种类型的VR：沉浸式和非沉浸式。沉浸式VR创建用户实际上在不同环境中的错觉。一方面，系统通过使用如头戴式显示器(HMD)、耳机和诸如手套或识别笔的输入装置的这些装置来完成所述创建。另一方面，为了增强体验的实境性，使用软件可模拟的多个自由度(DOF)。一般来说，DOF越多，体验的实境性越好。示例性DOF包括(不限于)：X、Y、Z、俯仰、横滚和航向。
非沉浸式VR创建可不同于用户的周围环境的环境。这没有产生用户被投放到另一世界的错觉。非沉浸式VR通过凭借使用立体投影系统、计算机监视器和/或立体扬声器创建3维图像和环绕声而工作。非沉浸式VR可在不增加硬件的情况下由个人计算机运行。
一方面，可由系统通过使用称作跟踪器的光学、声学、磁性或机械硬件实现沉浸式VR的移动。优选地，输入装置具有尽可能多的这样的跟踪器，使得可更准确表示移动。例如，虚拟手套可使每个指示符号使用多达3个跟踪器，且可使手掌和手腕使用更多个跟踪器，使得用户可抓取并按压对象。一方面，跟踪器可装备有定位传感器，其告知计算机输入面向哪个方向和输入装置在所有方向上偏斜的程度。这使传感器产生六个自由度。
输出装置将用户带到虚拟世界。可用于本系统的输出装置的实例包括(不限于)呈眼镜或护目镜形式的头戴式显示器(HMD)，其允许用户在其头上戴上显示系统。解决HMD的一种方法是使用宽度足以覆盖双眼的单个液晶显示器(LCD)。另一方法是具有两个单独显示器-每只眼睛具有一个显示器。因为所显示的图像不同，所以这会消耗稍微更多的计算机能力。每个显示器在环境中具有从正确角度呈现的单独图像。可组合眼睛跟踪和HMD。这可允许(例如)外科医生将其眼睛移动到其希望增强的图像部分。
可用于本系统的实施方案的输出装置的另一实例是快门眼镜。这个装置对每只眼睛每隔一帧更新图像，使得另一只眼睛上的快门关闭。快门眼镜需要极高帧速以使图像保持不闪烁。这个装置是用于立体监视器，且使2-d对象产生精确的3-d表示，但是不会使用户沉浸在虚拟世界中。
可用于本系统的实施方案的另一输出装置是具有多个投影仪的屏幕。屏幕可以是平面或弯曲。在相同屏幕上使用多个投影仪存在挑战：投影之间可存在可见边缘。这可使用软边缘系统加以矫正，其中投影在边缘处越来越透明且投影重叠。这在图像之间产生几乎完美转变。为了实现所希望的3D效果，可使用快门眼镜。可使用在使眼镜完全不透明或完全透明之间交替的特殊眼镜。当左眼不透明时，右眼透明。这被同步到在屏幕上投影对应图像的投影仪。
另一方面，本系统中还可使用洞穴自动虚拟环境(CAVE)。CAVE可在立方状房间中使用反射镜以将立体图像投影到墙壁上，从而产生你站立在虚拟世界中的错觉。使用跟踪器连续更新世界且允许用户几乎无限制地来回移动。
本发明公开了用于图像配准的方法和系统。这些方法和系统可以某种方式使多个元件/参与者呈现虚拟地存在于关注的视野中使得用户为了任何目的(诸如传递远程技术)均可交互。取决于视角，关注的视野可包括不同数量的“真实”和“虚拟”元件。元件可包括任何“真实”或“虚拟”对象、主体、参与者或图像表示。图1中示出了所公开方法和系统的各个组件。
关注的共同视野101可以是其中物理和/或虚拟存在元件的视野。实境点(或视角)可指体验关注的共同视野的元件/参与者的角度。在图1中，在表示显示器的102和103处示出了示例性实境点或视角。从角度或视角二者来看，关注的共同视野101看起来可能类似，但是每个包括本地(物理)和远程(虚拟)元件/参与者的不同组合。
本地元件可以是物理存在于关注的共同视野中的元件和/或参与者。在图1中，元件A 105是视野A 104的本地元件且物理存在于视野A 104中。元件B 107是视野B 106的本地元件且物理存在于视野B 106中。应了解，如果需要可将虚拟元件(未示出)插入或覆叠到视野A 104和/或视野B 106中。
远程元件可以是并未物理存在于关注的共同视野中的元件和/或参与者。从任何本地角度来看，远程元件被体验为“虚拟存在”。如图1中示出，元件B 107是视野A 104的远程元件且虚拟存在于视野A 104中。元件A 105是视野B 106的远程元件且虚拟存在于视野B106中。
用于通过组合本地和远程元件和/或参与者呈现虚拟交互式存在的方法可包括下列步骤中的一个或多个。可以反映视野、元件和/或参与者的存在的方式呈现共同本地视野。如图2A中示出，参与者A可通过观看器在视野A中体验真实元件。可呈现共同本地视野使得以使远程参与者能够类似于本地人员体验其的方式远程体验所述共同本地视野。如图2A中示出，这是通过参与者A体验如虚拟存在于视野A中之元件B来加以示出。
远程的人员可将其本身插入到如对其呈现的虚拟视野和/或与所述虚拟视野交互。例如，参与者A可将手、仪器等插入到视野A中并与虚拟元件B交互。观看者B可观看到对其的“虚拟的赞美”，其中观看者B的真实元件与参与者A的虚拟元件交互。
可连续更新共同本地视野使得可实时呈现远程参与者的存在。例如，远程场景可以是远程拍摄与本地呈现之间的时滞保持尽可能低的最新可用场景。相反地，如果需要引入时间差，那么这也可能完成。
可将共同本地视野调整为意图匹配本地场景的大小和深度。且共同本地视野可配置使得远程元件可更加透明或更不透明、完全移除或被更改以适应本地用户的需求。
每个视野由数码相机拍摄。基于照相机的物理特征，所得图像在物理上失真而偏离其实境。因此，处理器接收并显示本地实境的“物理“失真版本。同样，数码相机还拍摄远程视野，但是通过传输装置且跨网络中继传入流。因此，处理器接收包括基于物理和传输的失真的远程流。然后处理器必须应用消除来自共同本地视野的基于物理和传输的失真的一系列变换。
本地参与者可以在共同本地视野中实现连续交互的方式体验虚拟存在参与者。图2B示出了本地专家辅助远程用户。本地专家201的手稍微透明且被叠加到由远程用户观看的视野中。远程用户可观看到本地专家的手、远程用户的手和位于远程用户的位置处的拼图。本地专家正在辅助远程用户组装拼图。
图3示出了示例性配准系统300。如示出，配准系统300可包括被配置来显示(例如)图像、视频、合成视频/图像和关注的共同视野中的一个或多个的第一显示器302和第二显示器304。然而，应了解，系统300中可包括任何数量的显示器。在特定方面，可远距第一显示器302布置第二显示器304。作为实例，第一显示器302和第二显示器304中的每个可被配置来在其上呈现关注的共同视野。作为另一实例，第一显示器302和第二显示器304中的每个可被配置来在其上呈现本地视野和远程视野中的至少一个。在特定方面，第一显示器302和第二显示器304中的至少一个可以是如本文中进一步详细描述的VIP显示器。然而，应了解，第一显示器302和第二显示器304中的每个可以是任何类型的显示器，包括(例如)单象管显示器和立体管显示器。应了解，可使用任何数量的任何类型的显示器。
第一传感器306可与至少所述第一显示器302进行信号通信且可被配置来获取(例如)诸如虚拟存在数据的图像数据。在特定方面，第一传感器306可以是照相机、红外线传感器、光传感器、RADAR装置、SONAR装置、深度扫描传感器等中的一个或多个。应了解，第一传感器306可以是能够拍摄/获取表示“真实”元件”和“虚拟”元件中的至少一个的图像数据的任何装置或系统。
第二传感器308可与至少所述第二显示器304进行信号通信且可被配置来获取(例如)诸如虚拟存在数据的图像数据。在特定方面，第二传感器308可以是照相机、红外线传感器、光传感器、RADAR装置、SONAR装置、深度扫描传感器等中的一个或多个。应了解，第二传感器308可以是能够拍摄/获取表示“真实”元件”和“虚拟”元件中的至少一个的图像数据的任何装置或系统。应了解，可使用任何数量的传感器。
多个处理器310、312可与第一显示器302、第二显示器304、第一传感器306和第二传感器308中的至少一个进行直接或间接信号通信。处理器310、312中的每个可被配置来将由传感器306、308收集的图像数据呈现到显示器302、304中的至少一个上。应了解，处理器310、312可被配置来修改图像数据和所得图像以便进行传输和显示。还应了解，可使用任何数量的处理器，包括一个处理器。在特定方面，系统300只包括相互进行数据通信的处理器310、312。
在特定方面，显示器302、304中的每个可包括处理器310、312中用于将图像呈现到显示器302、304上的相关处理器。处理器310、312中的每个或包括处理器的另一系统可通过网络连接相互通信。例如，远程站点可经由互联网连接。任务可被划分在处理器310、312中的每个之间。例如，处理器310、312之一可被配置成图形处理器或图形服务器且可从传感器306、308之一和/或网络服务器采集图像，执行图像合成任务并驱动显示器302、304中的一个或多个。
图4A示出了可使用至少一个所述处理器310、312执行的示例性程序400。如示出，处理器310、312可被配置来基于由传感器306、308中的至少一个获取的图像数据呈现关注的反映多个元件的存在的共同视野。作为实例，关注的共同视野中呈现的元件中的至少一个可以是物理上远距元件中的另一个的远程元件。在特定方面，处理器310、312可被配置来更新关注的共同视野使得元件中的至少一个的存在相对于元件中的另一个配准。处理器310、312还可被配置来将关注的共同视野呈现/输出到显示器302、304中的至少一个。作为实例，处理器310、312可在关注的共同视野中呈现远程用户与本地用户之间的交互。作为另一实例，可对本地用户实时呈现远程元件的存在，且可对本地用户实时呈现本地元件的存在。
在步骤402中，可产生配准机构。作为实例，配准机构可以是包括具有预定位置和配置的配准特征部的图像。一方面，第一传感器306和第二传感器308中的至少一个可拍摄图像数据以产生表示配准机构的配准图像。作为实例，可将具有任何形状和大小的预定义图案的圆点或标签数字化地插入到配准图像中以定义配准特征部。作为另一实例，配准特征部可以是与配准图像覆叠或组合的虚拟图像。
图4B中示出了示例性情况，其中传感器306、308拍摄图像数据以产生配准机构。如图4B中示出，具有相似尺寸的一对座标系统421、431中的每个被布置在本地视野422和远程视野432中的每个中。作为实例，座标系统421、431中的每个可以是正方形网格系统。然而，可使用其它座标系统。座标系统421、431位于相对于各自视野422、432中的每个的各自传感器306、308的相似位置和定向。一方面，耦接到传感器306、308的底座424、434垂直于各自座标系统421、431的边缘。可基于座标系统421、431在视野422、432中的每个中的实质上相似或相似预定位置(诸如(例如)左侧象限的拐角)中定义基准425、435或参考点。
一方面，预定第一图案的圆点426或标签可布置在座标系统421上作为配准特征部，且可存储圆点426中的每个关于基准425的座标。第二图案的圆点436或标签可布置在关于基准435的座标系统431上使得第二图案的圆点436中的每个的座标对应于第一图案的圆点426之一的座标。由传感器306拍摄的视野422的图像数据可被定义成包括圆点426作为配准特征部的配准机构。作为实例，与圆点426、436中的每个的座标有关的数据可被存储在存储装置上以供后续检索。作为另一实例，与圆点426、436中的每个的座标有关的数据可在系统300的处理器310、312之间传输以校准视野422、432中的每个。
在图4C中示出的示例性方面，可使用空间跟踪、运动跟踪或类似系统来代替网格。作为实例，在图4C中，使用运动跟踪系统的方位跟踪器(Ascension Technology Corp.,Burlington,VT)。然而，可使用其它空间跟踪和/或运动跟踪系统。如图4C中示出，具有相似尺寸的多个平面440、450可位于每个视野422、432中。平面440、450可被配置来界定各自视野422、432的底部。作为实例，平面440、450可相对于视野422、432中的每个中的传感器306、308位于相似位置和定向。一方面，耦接到传感器306、308的底座424、434可垂直于各自平面440、450的边缘。可意识到基准442、452或参考点位于视野422、432中的每个的相似预定位置(诸如(例如)左侧象限的拐角)中。
作为图4C中示出的实例，基准442、452是被配置来传输脉动DC磁场的装置。作为另一实例，预定第一图案的圆点444或标签可布置在平面440上作为配准特征部。可通过使磁性接收器(未示出)固定到圆点444中的每个来注释圆点444中的每个相对于基准442的座标以测量圆点444的各个位置处由基准442产生的磁场。从测量可知，可由方位跟踪器系统计算导出并存储圆点444中的每个相对于基准442的位置和座标。作为实例，与圆点444中的每个的座标有关的数据可被存储在存储装置上以供后续检索。作为另一实例，与圆点444中的每个的座标有关的数据可在系统300的处理器310、312之间传输以校准视野422、432中的每个。
第二图案的圆点454或标签可布置在相对于基准452的平面450上且基于圆点444中的每个相对于基准442的位置和座标。因此，第二图案的圆点454中的每个的座标可对应于第一图案的圆点444之一相对于各自基准442、452的座标。应了解，与圆点444、454有关的位置和座标信息可由系统300外部的系统在视野422、432或处理器310、312之间传输。还应了解，与圆点444、454有关的位置和座标信息可连同图像数据一起被传输。可使用用于产生配准机构的其它方法。
参考图4A，如步骤404中示出，将具有配准特征部的配准机构传输到处理器310、312之一以供变换和呈现。在配准机构的传输期间，可压缩和解压且可以修改或丢失底层数据。因此，当由处理器310、312之一接收并呈现配准机构时，可以偏斜、偏移、裁剪或变换以配准机构表示的元件。同样，也将以类似方式变换配准特征部，因此配准特征部的所得图案和位置将不会匹配传输之前的预定位置和图案。
在步骤406中，处理器310、312之一接收配准机构以反向变换或配准以配准机构表示的元件。作为实例，处理器310、312之一分析配准机构以发现配准特征部的位置和配置。因为配准特征部具有诸如位置和配置的预定特征，所以处理器310、312中的一个或多个可比较当前变换位置和配置与已知预定位置和配置。作为说明性实例，图4D示出了由于传输配准机构引起的变换而处于偏离位置456中的配准特征部。因此，处理器310、312中的一个或多个比较配准特征部的偏离位置456与已知原始位置458。
从比较可知，如图4E中示出，处理器310、312之一可确定一组变换，其应被应用于配准机构以使底层数据或图像恢复到所希望状态(例如，原始位置458)。熟悉图像处理的一般技术人员将了解，可将各种变换方法和算法应用于图像以将图像“反向变换”成原始状态。如图4E中示出，处理器310、312中的一个或多个可继续应用变换于配准机构直到实现配准特征部的原始配置和位置为止。
图4F示出了可使用系统300执行的示例性程序460。在步骤462中，第一传感器306可拍摄图像数据以产生表示第一元件的第一图像。替代地，可由所存储图像数据等产生第一图像。作为实例，第一图像可包括具有相对于第一图像的预定位置和配置的配准特征部。在特定方面，可将配准特征部插入到第一图像中作为可检测标签。例如，可将预定义图案的圆点数字化地插入到图像中。作为另一实例，配准特征部可以是与第一图像覆叠或组合的虚拟图像。然而，可使用任何配准特征部或机构。
在步骤463处，可将包括配准特征部的第一图像传输到远程处理器312以供变换和呈现。在第一图像的变换期间，可压缩和解压且可以修改或丢失底层数据。因此，当由处理器312接收并呈现第一图像时，可以偏斜、偏移、裁剪或变换以第一图像表示的元件。同样，还将以类似于第一图像的方式变换配准特征部，因此配准特征部的所得图案和位置将不会匹配传输之前的预定位置和图案。
在步骤464中，第二传感器308可拍摄图像数据以产生表示被布置远距第一元件的第二元件的第二图像。应了解，可由所存储图像数据等产生第二图像。作为实例，第二图像包括具有相对于第二图像的预定位置和配置的配准特征部。在特定方面，可将配准特征部插入到第二图像中作为可检测标签。例如，可将预定义图案的圆点数字化地插入到图像中。作为另一实例，配准特征部可以是与第二图像覆叠或组合的虚拟图像。
在步骤465中，可将具有配准特征部的第二图像传输到相对于第二传感器308布置在本地的第二显示器304。在第二图像的传输期间，可更改底层数据以格式化第二显示器304并可与第二显示器304兼容。因此，当将第二图像接收并呈现到第二显示器304上时，可以偏斜、偏移、裁剪或变换以第二图像表示的元件。同样，还将以类似于第一图像的方式变换配准特征部，因此配准特征部的所得图案和位置将不会匹配传输之前的预定位置和图案。在这次变换之后，可由处理器312分析第二显示器304上呈现的第二图像以确定第二图像的变换。
在步骤466中，处理器312将第一图像传输到第二显示器304上以在其上进行呈现。类似于第二图像的呈现，当将第一图像呈现到第二显示器304时可以发生变换。因此，可以从传输和呈现之前的所希望先前状态变换或更改第一图像和第二图像中的每个。在这次变换之后，可由处理器312分析第二显示器304上呈现的第一图像以确定第二图像的变换。
一方面，如果已知变换参数基于所使用的组件和设备，那么处理器310、312可检索已知变换参数并自动计算逆变换以使图像恢复到原始状态。作为实例，可使用先验算法和方法存储并处理与特定设备和组件的已知变换有关的数据。然而，可使用其它方法。
在步骤468中，处理器312可将包括第一图像和第二图像的合成图像呈现到第二显示器304，其中可基于配准特征部相对于第一图像和第二图像中的每个配准第一图像和第二图像中的另一个。作为实例，处理器312分析第一图像和第二图像中的每个以发现第一图像和第二图像中的每个的配准特征部的位置和配置。因为第一图像和第二图像中的每个的配准特征部具有已知预定特征(诸如位置和配置)，所以处理器312可比较当前变换位置和配置与已知预定位置和配置。从比较可知，处理器312可确定一组变换，其应被应用于第一图像和第二图像中的每个以使第一图像和第二图像恢复到所希望状态。熟悉图像处理的一般技术人员将了解，可将各种变换方法和算法应用于图像以将图像“反向变换”成原始状态。处理器312可继续应用变换于第一图像和第二图像中的至少一个直到实现配准特征部的原始配置和位置为止。
一方面，可将第二图像的配准特征部用作可配准并对准第一图像的配准特征部的本地参考。作为实例，处理器312可定位第一图像和第二图像的配准特征部的元件中的每个的形心。作为另一实例，可沿任何数量的维轴线性偏移第一图像以使第一图像对准第二图像。应了解，还可应用非线性偏移和对准技术。还应了解，可填充或裁剪第一图像以匹配第二图像(或某个其它参考图像)的边界。
应了解，可将第二图像传输到第一显示器且以类似方式组合以在第一显示器上产生合成图像。以此方式，第一显示器302和第二显示器304呈现表示第一图像和第二图像相互进行相同对准的合成图像。因此，第二显示器304的观看者保证，以相对于第二图像成所希望定向和对准来呈现接收自远程位置的第一图像。同样，第一显示器302的观看者保证，以相对于产生近距第一显示器302的本的第一图像成所希望定向和对准来呈现接收自远程位置的第二图像。
在步骤469中，可更新第一显示器和第二显示器中的每个上呈现的合成图像以反映第一图像和/或第二图像的任何变化。例如，如果传感器306、308是摄影机，那么每个循序拍摄的视频帧可分别表示第一图像和第二图像的修改版本。因此，当修改第一图像和第二图像时，可更新合成图像且可配准并对准所修改第一图像和所修改第二图像中的每个以在显示器302、304上呈现。应了解，可以如本文中描述的类似方式对准任何数量的图像和显示器。
图5示出了示例性虚拟存在系统。一种这样的系统可由参与相同会话的每个远程参与者使用。每个系统可通过网络连接相互通信。例如，远程站点可经由互联网连接。任务可被划分在每个系统中的多个计算机之间。例如，一个计算机(图形服务器)可从本地照相机和网络服务器采集图像、执行立体图像合成任务并驱动本地立体管显示系统。作为另一实例，可由图形服务器具体实施系统300的处理器310。
图6示出了可使用图形服务器执行的示例性程序。可将图像采集到本地数据结构(帧环)中。可从多个照相机(例如两个照相机)采集本地图像。可由网络服务器经由(例如)高速远程直接存储器访问(RDMA)连接提供远程图像。可组合这些图像使得相同场景中可看见远程用户和本地用户(如图3)。可将这个合成结果传输到本地立体管显示系统。第二计算机可用作网络服务器，其可执行(例如)网络编码/解码任务和深度映射产生。
图7示出了可使用网络服务器执行的示例性程序。可使用深度信息分析并映射经由RDMA连接采集自图形服务器的本地图像、编码本地图像以进行有效网络传输并将本地图像发送到外部网络连接以在远程站点处由对应网络服务器接收。同时，编码图像和深度映射可接收自远程站点、编码并经由RDMA连接而提供给本地图形服务器。
可由连接到网络服务器的控制终端对系统进行用户控制；然后用户可经由到网络服务器的专用网络连接访问并控制图形服务器。
可取决于所使用的系统配置虚拟交互式存在的参数。可配置参数包括(但不限于)虚拟元件的大小、虚拟元件的存在(不透明、半透明等)、虚拟存在的时间(时间可被配置来延迟、变慢、增加等)、元件的叠加，使得虚拟和真实的任何组合可叠加和/或相互“配接”等。
图8示出了示例性VIP显示器的侧视图。图9示出了示例性VIP显示器的用户视角。图10示出了示例性VIP显示器的用户视角。
如本文中使用，关注的“本地”视野可指本地物理视野和本地用户，因此使视野每隔一个是远程视野。每个视野可能近距其本地物理用户，但是远距其它用户。视野的合成可以是关注的共同视野。这与共同“虚拟世界”的不同之处在于，关注的共同视野的本地呈现内存在“真实”组件且物理对象的实际视频(和其它)呈现与表示用户和对象的图形化身之间可存在交互。所提供的方法和系统允许虚拟交互式存在通过真实和虚拟的相互作用来修改/最佳化物理区域。
在图11中示出的方面中，提供了用于虚拟交互式存在的方法，其包括在1101处呈现关注的反映远程用户和本地用户的物理存在的共同视野；在1102处在关注的共同视野中呈现远程用户与本地用户之间的交互；和在1103处连续更新关注的共同视野使得对本地用户实时呈现远程用户的存在且对远程用户实时呈现本地用户的存在。
可呈现关注的共同视野使得远程用户类似于本地用户体验关注的共同视野。本地用户可以在关注的共同视野中实现与远程用户进行继续交互的方式体验远程用户的物理存在。所述方法还可包括在共同视野中呈现本地对象的物理存在和在共同视野中呈现本地用户与本地对象之间的交互。所述方法还包括在关注的共同视野中呈现本地对象的物理存在和在关注的共同视野中呈现远程用户与本地对象之间的交互。
在图12中示出的另一方面中，提供了用于虚拟交互式存在的方法，其包括在1201处呈现关注的反映本地对象、本地对象体积图像和本地用户的物理存在的本地视野；在1202处在关注的本地视野中呈现本地对象、体积图像和本地用户之间的交互；和在1203处连续更新关注的本地视野使得对本地用户实时呈现本地对象和本地对象的体积图像的存在。
本地对象可以是(例如)患者且本地对象的体积图像可以是(例如)患者的部分的医疗图像。然而，本地对象可以是关注的任何对象且本地对象的图像可以是所述对象的任何准确呈现。例如，可以是汽车引擎和引擎的3D图形等。
医疗图像可以是(例如)x射线图像、MRI图像或CT图像中的一个。所述方法还可包括由本地用户将体积图像叠加到本地对象上。可由计算机自动执行叠加。
所述方法还可包括由本地用户调整体积图像的性质。所述性质可以是透明度、空间位置和尺度中的一个或多个。
所述方法还可包括在关注的本地视野中呈现本地工具。所述方法还可包括呈现本地工具(与本地对象的呈现呈准确空间关联)。工具可以是任何类型的工具，例如手术工具。
另一方面，提供了用于虚拟存在的系统，其包括：虚拟存在显示器，其被配置来显示关注的共同视野；本地传感器，其被配置来获取本地虚拟存在数据；网络接口，其被配置来传输本地虚拟存在数据并接收远程虚拟存在数据；和处理器，其被耦接到虚拟存在显示器、本地传感器和网络接口，其中处理器被配置来执行包括以下各项的步骤：基于本地虚拟存在数据和远程虚拟存在数据呈现关注的反映远程用户和本地用户的物理存在的共同视野；在关注的共同视野中呈现远程用户与本地用户之间的交互；连续更新关注的共同视野使得对本地用户实时呈现远程用户的存在且对远程用户实时呈现本地用户的存在；和将关注的共同视野输出到虚拟存在显示器。
虚拟存在显示器可以是立体管显示器、单象管显示器(诸如CRT、LCD等)等中的一个或多个。传感器可以是照相机、红外线传感器、深度扫描传感器等中的一个或多个。可呈现关注的共同视野使得远程用户类似于本地用户体验关注的共同视野。本地用户可以使在关注的共同视野中实现与远程用户进行继续交互的方式体验远程用户的物理存在。
处理器还可被配置来执行包括以下各项的步骤：在关注的共同视野中呈现本地对象的物理存在和在关注的共同视野中呈现本地用户与本地对象之间的交互。
处理器还可被配置来执行包括以下各项的步骤：在关注的共同视野中呈现本地对象的物理存在和在关注的共同视野中呈现远程用户与本地对象之间的交互。
本发明还提供了用于虚拟存在的系统，其包括：虚拟存在显示器，其被配置来显示关注的本地视野；本地传感器，其被配置来获取本地虚拟存在数据；处理器，其被耦接到虚拟存在显示器和本地传感器，其中处理器被配置来执行包括以下各项的步骤：基于本地虚拟存在数据和本地对象的体积图像呈现关注的反映本地对象和本地用户的物理存在的本地视野；在关注的本地视野中呈现本地对象、体积图像和本地用户之间的交互；连续更新关注的本地视野使得对本地用户实时呈现本地对象的存在和本地对象的体积图像；和将关注的本地视野输出到虚拟存在显示器。
虚拟存在显示器可以是立体管显示器、单象管显示器(诸如CRT、LCD等)等中的一个或多个。传感器可以是照相机、红外线传感器、深度扫描传感器等中的一个或多个。
本地对象可以是(例如)患者且本地对象的体积图像可以是(例如)患者的部分的医疗图像。医疗图像可以是x射线图像、MRI图像或CT图像之一。然而，本地对象可以是关注的任何对象且本地对象的图像可以是所述对象的任何准确呈现。例如，可以是汽车引擎和引擎的3D图形等。
处理器还可被配置来执行包括以下各项的步骤：由本地用户将体积图像叠加到本地对象上。处理器还可被配置来执行包括以下各项的步骤：由本地用户调整体积图像的性质。所述性质可以是透明度、空间位置和尺度中的一个或多个。
处理器还可被配置来执行包括以下各项的步骤：在关注的本地视野中呈现本地工具。处理器还可被配置来执行包括以下各项的步骤：呈现本地工具(与本地对象的呈现呈准确空间关联)。
所公开的方法和系统可具有广泛适用性。例如，外科手术、游戏、机械学、军需品、战场存在、教学工作(训练)和/或其中交互是情景的部分的任何其它情形。
本发明还公开了使远程专家能够虚拟存在于本地手术视野内的方法和系统。虚拟交互式存在可用来使相互远距的两个外科医生交互式地执行手术治疗。所述方法和系统使两个或更多个手术者能够虚拟且交互式存在于相同真实手术视野内，因此支持远程辅助并输出外科手术专家经验。
所述方法和系统还可用来将手术解剖学的成像数据叠加到解剖学本身上以进行指导和定向(扩增实境)。所述方法和系统可用于训练学生。所述方法和系统通过使专家虚拟地进入机器人视野以指导机器人手术者来扩增并增强机器人视野。所述方法和系统可通过将专家的手直接插入到内窥镜视野中以进行指导而应用于内窥镜治疗。所述方法和系统通过远程专家辅助实际本地外科医生来扩展远程外科手术，专家的基本技巧可处置紧急状况且其将从虚拟交互学习。所述方法和系统可用于创伤部位和其它医疗环境处。所述方法和系统可用来在其它区域中提供远程辅助(诸如设计、构造、架构等)。所公开的方法和系统可用来将专家经验传输到远程“需要站点”、将现代成像直接合并到外科手术视野中并训练手术学生。
图13中示出了用于将本地专家的手术手法传输到远程外科医生以指导/辅助远程外科医生的示例性远程手术辅助系统。远程手术视野可由远程外科医生使用双目视频系统观看到。视频系统可使用外科医生的手和执行治疗的仪器来展现所述视野。观看系统可被称作手术视频示波器。
可将远程视野的双目视频呈现传输到本地专家，其可通过第二手术视频示波器观看程序的(现虚拟)立体管呈现。本地专家可将其手插入到虚拟视野中，因此在虚拟视野中看见其真实的手。
可将本地专家的手的视频图像传输返回到远程外科医生的手术视频示波器系统并叠加到真实视野中。然后远程外科医生可在空间/结构相关背景下在其手术视野内看见专家的虚拟手。运用这个系统，本地专家可使用其手以向远程外科医生展现出如何执行所述情况。
系统的示例性元件可包括其中远程外科医生可执行手术治疗的远程站、(例如)包括可以类似于安装的显微镜的固定立体管视频示波器的远程手术视频示波器。这个设备可由远程外科医生使用来观看手术视野。可使用任何其它类型的合适VIP显示器。系统可将双目视频图像投影到本地站处的类似本地手术视频示波器。本地手术视频示波器可接收远程治疗的双目视频图像并允许本地专家观看所述图像。当本地外科医生的手在如通过本地视频示波器观看到的虚拟远程视野内移动时，本地视频示波器可观看到本地外科医生的手。然后本地视频示波器可将本地专家的手传输返回到远程视频示波器使得远程外科医生可在真实视野内看见专家的虚拟手。
运用这个系统，本地专家可向远程外科医生展现出成功完成所述情况的适当手法。远程外科医生可具有基本技能组合以实行新的治疗。因此，本地专家可向远程外科医生简单地表明应用技能组合的新方式。这个系统不会取代远程外科医生，但是可被用来增强他/她的能力。远程外科医生可现场快速处置任何紧急状况。因为远程外科医生可使用他/她自己的手来执行任务，所以时间延迟最小，从而消除了本地专家对操控远程机器设备的需要。
本发明还公开了用于将现代医学成像合并到手术视野上的方法和系统。可获取手术视野的体积图像。例如，在手术治疗之前，获取头部的体积MRI。可将图像数据重新构建成解剖学的三维呈现。可将这个呈现传输到将被用来观看手术视野的手术视频示波器。通过视频示波器，外科医生可以半透明方式观看叠加到手术视野上的这个3D呈现。在这种情况下，外科医生将看见叠加在真实头部上的呈现头部。使用手术视频示波器界面中的软件工具，外科医生可旋转并调整呈现图像直到所述图像“配接”真实头部为止。视频示波器系统可允许外科医生让呈现头部和真实头部有差别地衰减使得外科医生可“观看”真实头部并计划进行外科手术。
系统的示例性元件可包括外科医生观看手术视野的手术视频示波器观看系统。用于再构建具有足够分辨率的体积采集MRI/CT(或其它)图像的电脑使所述图像能够匹配真实手术解剖学。可通过视频示波器系统显示体积呈现图像使得外科医生可通过立体管而看见所述图像。软件界面可使外科医生能够改变呈现和真实解剖的半透明性使得可将呈现解剖学叠加到真实解剖学上。当图像的任何/所有细节与真实解剖学有关时，外科医生可“打开”呈现解剖学以观看图像的任何/所有内部细节。手术工具在空间上可配准呈现解剖学使得可跟踪行为并将行为应用于图像。
如图14中示出，这个任务的实例是将小的对象布置在一瓶黑色胶制品内侧使得外科医生观看不到所述对象。所述任务是外科医生使用长镊子以触碰胶制品并触及或抓取对象。手术视频示波器可获取胶瓶的体积扫描并三维呈现胶瓶且通过视频示波器显示双目呈现。外科医生可通过示波器系统观看呈现和真实胶瓶，且将呈现胶瓶配接到真实胶瓶上。通过有差别地调整半透明性，外科医生可使用镊子触碰真实胶瓶并抓取选定对象，同时避开其它指定对象。
抓取仪器在空间上可配准到手术视野的体积呈现上，从而允许在适当的解剖定向上在手术视野的呈现上显示工具的图形。这可提供增强式指导。这可通过使用与图像呈现系统通信的数字转换器触及真实对象(胶瓶)上的指定标签来实施，因此定义对象/探针关系。因为对象(胶瓶)通过叠加而配准胶瓶的图像，所以可关于胶瓶的图像显示探针的图形，从而实现虚拟手术。
在许多情况下均可使用本发明。例如，可用于第三世界国家或军情的远程手术、医疗训练和远程医疗。远距患者的外科医生可辅助患者附近的其它外科医生，可辅助患者附近的医护人员且可在本发明耦接到机器手术系统时执行手术操作。其它实例包括扩增或增强式手术-使用虚拟环境的正常手术，例如内窥镜手术。还可以模拟手术治疗。相互远距的外科医生可在对真实患者实行手术之前计划并实践所述操作。
其它应用包括手术之前患者的准备、药物疗法、预防医疗、暴露疗法、减少恐惧症、训练残疾人和技能增强等。
观看者然后通过将左眼图像路由到左眼并将右眼图像路由到右眼的被动式立体管偏振眼镜(类似于太阳镜)来观看投影。当软件适当地呈现正确偏离图像时提供立体视觉的错觉。所述系统可由对所述系统无功能损害的其它类型的立体管显示器代替。立体管显示器可包括至少两个显示投影仪，其配接有偏振透镜、当光扩散时维持光偏振的反向投影荧幕材料、限制每只眼睛只看见特定偏振的光的特殊眼镜和观看器。可使用两种稍许不同的观看变换来呈现待观看图像，从而理论上反映观看者的双眼的不同位置。一个投影仪显示被呈现用于左眼位置的图像，且另一个投影仪显示被呈现用于右眼位置的图像。眼镜限制光使得左眼只看见被呈现用于左眼的图像，且右眼只看见被呈现用于右眼的图像。面对合理的立体管图像的观看者将感知深度。
图15是示出了用于执行所公开方法的示例性操作环境的方框图。这种示例性操作环境只是操作环境的实例且不旨在表明操作环境架构的使用或功能性的范围的任何限制。也不应将操作环境解释为具有与示例性操作环境中示出的组件的任何一个或组合有关的任何依赖性或需求。
可使用多种其它通用或专用计算系统环境或配置来操作所述方法。可适应于与所述系统和方法一起使用的已知计算系统、环境和/或配置的实例包括(但不限于)个人计算机、服务器计算机、膝上型装置和多处理器系统。额外实例包括机顶盒、可编程消费者电子器件、网络PC、小型计算机、大型计算机、包括上述系统或装置等中的任何一个的分布式计算环境。
可以在由计算机执行的计算机指令(诸如程序模块)的一般背景下描述所述方法。一般来说，程序模块包括执行任务或实施特定抽象数据类型的常式、程序、对象、组件、数据结构等。还可以在其中由通过通信网络链接的远程处理装置执行的分布式计算环境中实践所述系统和方法。在分布式计算环境中，程序模块可以位于包括存储装置的本地和远程计算机存储介质二者中。
可经由呈计算机1501的形式的一个或多个通用计算装置实施本文中公开的方法。计算机1501的组件可包括(但不限于)一个或多个处理器或处理单元1503、系统存储器1512和将包括处理器1503的各个系统组件耦接到系统存储器1512的系统总线1513。
系统总线1513表示多种可能类型的总线结构中的一个或多个，包括存储器总线或存储器控制器、周边总线、加速图形端口和使用多种总线架构中的任何一种的处理器或本地总线。例如，这些架构可包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)本地总线和又称为夹层总线的周边组件互连(PCI)总线。也可通过有线或无线网络连接实施这个总线和这个描述中规定的所有总线。还可通过有线或无线网络连接实施总线1513和这个描述中规定的所有总线，且包括以下各项的子系统中的每个(包括处理器1503、大容量存储装置1504、操作系统1505、应用程序软件1506、数据1507、网络适配器1508、系统存储器1512、输入/输出接口1510、显示适配器1509、显示装置1511和人机界面1502)可包括在物理上分离位置处且通过这种形式的总线连接的一个或多个远程计算装置1514a、b、c内，从而实际上实施完全分布式系统。
计算机1501通常包括多种计算机可读介质。这种介质可以是可由计算机1501访问的任何可用介质，且包括易失性和非易失性介质、可抽取和不可抽取介质。系统存储器1512包括呈易失性存储器形式的计算机可读介质(诸如随机访问存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM))。系统存储器1512通常包括数据(诸如数据1507)和/或程序模块(诸如可立即访问处理单元1503和/或当前在处理单元1503操作的操作系统1505和应用程序软件1506)。
计算机1501还可以包括其它可抽取/不可抽取、易失性/非易失性计算机存储介质。例如，图15示出了大容量存储装置1504，其可提供计算机代码、计算机可读指令、数据结构、程序模块和计算机1501的其它数据的非易失性存储。例如，大容量存储装置1504可以是硬碟、可抽取磁碟、可抽取光碟、磁带盒或其它磁性存储装置、快闪存储卡、CD-ROM、数字通用光盘(DVD)或其它光学存储装置、随机访问存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)等。
包括(例如)操作系统1505和应用程序软件1506的大容量存储装置1504上可存储任何数量的程序模块。操作系统1505和应用程序软件1506中的每个(或其某个组合)可以包括编程和应用程序软件1506的元件。数据1507也可存储在大容量存储装置1504上。数据1507可存储在本领域已知的一个或多个数据库中的任何一个中。这些数据库的实例包括访问、SQL服务器、mySQL、PostgreSQL等。可跨多个系统集中或分布数据库。
用户可使命令和信息经由输入装置(未示出)进入计算机1501。这些输入装置的实例包括(但不限于)键盘、定点装置(例如，“鼠标”)、麦克风、操纵杆、串行端口、扫描仪、触感输入装置(诸如手套)和其它身体外层等。这些和其它输入装置可经由耦接到系统总线1513的人机界面1502连接到处理单元1503，但是可以由其它接口和总线结构(诸如并行端口、游戏端口或通用串行总线(USB))连接。
显示装置1511也可经由接口(诸如显示适配器1509)连接到系统总线1513。计算机1501可具有一个以上显示适配器1509，且计算机1501可具有一个以上显示装置1511。例如，显示装置可以是监视器、液晶显示器(LCD)或投影仪。除了显示装置1511以外，其它输入周边装置还可包括诸如可经由输入/输出接口1510连接到计算机1501的扬声器(未示出)和打印机(未示出)的组件。
计算机1501可使用到一个或多个远程计算装置1514a、b、c的逻辑连接在联网环境中操作。例如，远程计算装置可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等装置或其它共同网络节点等。可经由局域网(LAN)和一般广域网(WAN)在计算机1501与远程计算装置1514a、b、c之间进行逻辑连接。可通过网络适配器1508进行这些网络连接。有线和无线环境中均可实施网络适配器1508。这些联网环境是办公室中常见的环境、企业范围计算机网络、以太网和互联网1515。
一个或多个VIP显示器1516a、b、c、d、e可与计算机1501通信。一方面，VIP显示器1516e可通过输入/输出接口1510与计算机1501通信。这个通信可以是有线或无线通信。远程VIP显示器1516a、b、c可通过首先与各自远程计算装置1514a、b、c通信且然后通过网络适配器1508与计算机1501通信来经由诸如互联网1515的网络与计算机1501通信。远程VIP显示器1516d可在无需远程计算装置的情况下与计算机1501通信。远程VIP显示器1516d可经由诸如互联网1515的网络通信。VIP显示器1516a、b、c、d、e可无线或通过有线连接通信。VIP显示器1516a、b、c、d、e可个别或共同通信而作为VIP显示网络的部分。
为了说明目的，本文中将应用程序和其它可执行应用程序组件(诸如操作系统1505)示为离散方框，但是应认识到这些程序和组件在不同时间驻留在计算装置1501的不同存储组件中，且由计算机的数据处理器执行。应用程序软件1506的实施方式可以存储在某种形式的计算机可读介质上或跨某种形式的计算机可读介质传输。计算机可读介质可以是可由计算机访问的任何可用介质。例如且无限制，计算机可读介质可以包括“计算机存储介质”和“通信介质”。“计算机存储介质”包括以任何方法或技术实施以存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可抽取和不可抽取介质。计算机存储介质包括(但不限于)RAM、ROM、EEPROM、快闪存储器或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置或可用来存储所希望信息且可由计算机访问的任何其它介质。
除非另有明确说明，否则绝不希望将本文中陈述的任何方法解释为必须以特定次序执行其步骤。因此，如果方法权利要求实际上没有叙述其步骤遵循的次序或步骤被限于特定次序的发明概念或描述中并没有另有具体说明，那么任何方面绝不希望推断出次序。这适用于解释的任何可能非速成基础，包括：关于步骤或操作流程的配置的逻辑问题；源自于语法组织或标点符号的普通含义；说明书中描述的实施方案的数量或类型。
本领域一般技术人员应明白，在不脱离范围或精神的情况下本方法和系统可进行各种修改和变动。本领域一般技术人员在考虑本文中公开的说明书和实践之后应明白其它实施方案。在由以下权利要求指示的真正范围和精神下希望本说明书和实例被视为只是示例性的。

Claims (20)

1.一种图像配准方法，其包括：
捕获本地装置的物理环境的一个或多个本地图像，所述一个或多个本地图像包括对第一元件的表示，其中，当相对于座标系统观看时，所述一个或多个本地图像具有第一对准和定向；
从远程装置接收包括虚拟元件的远程图像，其中，在传输之前，当相对于座标系统观看时，所述远程图像具有第二对准和定向，其中，在传输过程中，以至少部分地从所述远程图像的偏斜、偏移、裁剪、平移或它们的组合得到的变换状态来接收所述远程图像，从而所述远程图像在变换状态下的显示产生与所述第二对准和定向不同的变换的对准和定向；
基于所述一个或多个本地图像和所述远程图像产生关注的共同视野，从而所述第一元件和所述虚拟元件中的至少一个相对于所述第一元件和所述虚拟元件中的另一个而空间配准，其中，产生所述关注的共同视野包括将一个或多个图像变换施加到所述远程图像和所述一个或多个本地图像中的一个或多个，其中，所述一个或多个图像变换基于所述本地装置和所述远程装置中的一个或多个的第一变换特征以及从所述远程图像和所述一个或多个本地图像中的一个或多个的传输得到的第二变换特征，其中，施加所述一个或多个图像变换有助于显示当相对于所述座标系统观看时具有所述第二对准和定向的远程图像；以及
经由所述本地装置使得所述关注的共同视野被呈现。
2.根据权利要求1所述的方法，其中，所述一个或多个本地图像是实时视频捕获的一部分。
3.根据权利要求1所述的方法，其中，所述本地装置是移动装置或平板电脑。
4.根据权利要求1所述的方法，还包括通过对准远程视野的校准特征部和本地视野的校准特征部而校准所述关注的共同视野的步骤。
5.根据权利要求4所述的方法，其中，所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于所述座标系统而对准。
6.根据权利要求4所述的方法，其中，所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于预定义的虚拟基准而对准。
7.根据权利要求1所述的方法，其中，所述第一元件和所述虚拟元件中的所述至少一个至少基于插入到所述远程图像和所述一个或多个本地图像中的至少一个上的配准特征部，相对于所述第一元件和所述虚拟元件中的另一个而空间配准。
8.根据权利要求7所述的方法，其中，所述配准特征部是插入到所述远程图像和所述一个或多个本地图像中的至少一个上的虚拟图像。
9.根据权利要求7所述的方法，其中，所述配准特征部是在所述关注的共同视野中呈现的虚拟图像。
10.一种图像配准方法，其包括：
使用移动装置捕获本地物理环境的视频；
经由所述移动装置来呈现表示所捕获的本地物理环境的视频的一部分的物理图像，所述物理图像包括对物理元件的表示，其中，当相对于座标系统观看时，所述物理图像具有第一对准和定向；
经由网络从远程装置接收虚拟图像，所述虚拟图像包括对虚拟元件的表示，其中，在传输之前，当相对于座标系统观看时，所述虚拟图像具有第二对准和定向，其中，在传输过程中，以至少部分地从所述虚拟图像的偏斜、偏移、裁剪、平移或它们的组合得到的变换状态来接收所述虚拟图像，从而所述虚拟图像在变换状态下的显示产生与所述第二对准和定向不同的变换的对准和定向；
基于所述物理图像和所述虚拟图像产生关注的共同视野，从而所述物理元件和所述虚拟元件中的至少一个相对于所述物理元件和所述虚拟元件中的另一个而空间配准，其中，产生所述关注的共同视野包括将一个或多个图像变换施加到所述物理图像和所述虚拟图像中的一个或多个，其中，所述一个或多个图像变换基于所述移动装置和所述远程装置中的一个或多个的第一变换特征以及从所述物理图像和所述虚拟图像中的一个或多个的传输得到的第二变换特征，其中，施加所述一个或多个图像变换有助于显示当相对于所述座标系统观看时具有所述第二对准和定向的虚拟图像；以及
经由所述移动装置使得所述关注的共同视野被呈现。
11.根据权利要求10所述的方法，其中，所述移动装置是手持装置或可穿戴装置。
12.根据权利要求10所述的方法，还包括通过对准远程视野的校准特征部和本地视野的校准特征部而校准所述关注的共同视野的步骤。
13.根据权利要求12所述的方法，其中，所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于所述座标系统而对准。
14.根据权利要求12所述的方法，其中，所述远程视野的所述校准特征部和所述本地视野的所述校准特征部相对于预定义的虚拟基准而对准。
15.根据权利要求10所述的方法，其中，所述物理元件和所述虚拟元件中的所述至少一个至少基于插入到所述虚拟图像和所述物理图像中的至少一个上的配准特征部，相对于所述物理元件和所述虚拟元件中的另一个而空间配准。
16.根据权利要求15所述的方法，其中，所述配准特征部是插入到所述虚拟图像和所述物理图像中的至少一个上的附加虚拟图像。
17.根据权利要求15所述的方法，其中，所述配准特征部是在所述关注的共同视野中呈现的附加虚拟图像。
18.一种图像配准方法，其包括：
经由网络接收远程物理环境的视频；
经由本地装置呈现表示所述远程物理环境的视频的至少一部分的远程虚拟图像，所述远程虚拟图像包括对第一虚拟元件的表示，其中，在传输之前，当相对于座标系统观看时，所述远程虚拟图像具有第一对准和定向，其中，在传输过程中，以至少部分地从所述远程虚拟图像的偏斜、偏移、裁剪、平移或它们的组合得到的变换状态来接收所述远程虚拟图像，从而所述远程虚拟图像在变换状态下的显示产生与所述第一对准和定向不同的变换的对准和定向；
经由所述本地装置产生本地虚拟图像，其中，所述本地虚拟图像叠加在呈现的远程虚拟图像上，所述本地虚拟图像包括对第二虚拟元件的表示，其中，当相对于所述座标系统观看时，所述本地虚拟图像具有第二对准和定向；
使表示所述本地虚拟图像和表示所述本地虚拟图像与所述远程虚拟图像之间的空间关系的信息传输到远程装置；
基于所述远程虚拟图像以及表示所述本地虚拟图像和表示所述本地虚拟图像与所述远程虚拟图像之间的空间关系的所述信息来产生关注的共同视野，从而所述第一虚拟元件和所述第二虚拟元件中的至少一个相对于所述第一虚拟元件和所述第二虚拟元件中的另一个而空间配准，其中，产生所述关注的共同视野包括将一个或多个图像变换施加到所述远程虚拟图像和所述本地虚拟图像中的一个或多个，其中，所述一个或多个图像变换基于所述本地装置和所述远程装置中的一个或多个的第一变换特征以及从所述远程虚拟图像和所述本地虚拟图像中的一个或多个的传输得到的第二变换特征，其中，施加所述一个或多个图像变换有助于显示当相对于所述座标系统观看时具有所述第一对准和定向的远程虚拟图像；以及
经由所述远程装置使得所述关注的共同视野被呈现。
19.根据权利要求18所述的方法，其中，所述本地装置是手持装置或可穿戴装置。
20.根据权利要求18所述的方法，其还包括通过对准远程视野的校准特征部和本地视野的校准特征部而校准所述关注的共同视野的步骤。
CN201710697091.2A 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法 Active CN107517370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/208,926 US9886552B2 (en) 2011-08-12 2011-08-12 System and method for image registration of multiple video streams
US13/208,926 2011-08-12
CN201280048083.0A CN104011741B (zh) 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280048083.0A Division CN104011741B (zh) 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法

Publications (2)

Publication Number Publication Date
CN107517370A CN107517370A (zh) 2017-12-26
CN107517370B true CN107517370B (zh) 2019-09-10

Family

ID=47677267

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280048083.0A Active CN104011741B (zh) 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法
CN201710697091.2A Active CN107517370B (zh) 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280048083.0A Active CN104011741B (zh) 2011-08-12 2012-08-10 多路视频流的图像配准的系统和方法

Country Status (5)

Country Link
US (3) US9886552B2 (zh)
EP (1) EP2742461A4 (zh)
CN (2) CN104011741B (zh)
AU (1) AU2012295324B2 (zh)
WO (1) WO2013025457A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101743567A (zh) 2007-05-18 2010-06-16 Uab研究基金会 虚拟互动式出席系统及方法
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9766441B2 (en) * 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
US10452769B1 (en) * 2012-08-31 2019-10-22 United Services Automobile Association (Usaa) Concurrent display of application between devices
US9710968B2 (en) * 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9460562B2 (en) 2015-01-09 2016-10-04 International Business Machines Corporation Providing volume indicators based on received images of containers
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9846972B2 (en) * 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
CN106534069A (zh) * 2016-09-29 2017-03-22 宇龙计算机通信科技(深圳)有限公司 虚拟现实设备控制方法及系统
CN111052187B (zh) * 2017-06-20 2024-01-30 惠普发展公司，有限责任合伙企业 传感器位置确定
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
AU2019277064A1 (en) 2018-05-29 2021-01-21 SentiAR, Inc. Disposable sticker within augmented reality environment
CN109003269B (zh) * 2018-07-19 2021-10-08 哈尔滨工业大学 一种能提高医生效率的医学影像病灶的标注提取方法
CN109508674B (zh) * 2018-11-13 2021-08-13 佳木斯大学 基于区域划分的机载下视异构图像匹配方法
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
JP7279530B2 (ja) * 2019-06-07 2023-05-23 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN110677559B (zh) * 2019-09-10 2021-07-09 深圳市奥拓电子股份有限公司 一种区别显示转播视频的方法、装置及存储介质
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11393202B2 (en) * 2020-02-28 2022-07-19 CareAR Holdings LLC Augmented reality support platform
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN114144135A (zh) * 2020-07-03 2022-03-04 瓦里安医疗系统公司 射频消融处理系统和方法
CN111970524B (zh) * 2020-08-14 2022-03-04 北京字节跳动网络技术有限公司 交互类直播连麦的控制方法、装置、系统、设备及介质
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
CN1929602A (zh) * 2005-08-09 2007-03-14 罗伯特·博世有限公司 用于自动跟踪摄像机图像的虚拟遮罩

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3931679A (en) 1973-11-05 1976-01-13 Den-Tal-Ez Mfg., Co. Dental patient simulator
US4601664A (en) 1985-03-18 1986-07-22 Syntex (U.S.A.) Inc. Temporomandibular joint articulator and dental manikin incorporating it
US4970666A (en) 1988-03-30 1990-11-13 Land Development Laboratory, Inc. Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
DE3941333A1 (de) 1989-12-14 1991-06-20 Kaltenbach & Voigt Zahnaerztliches lehr- und uebungsgeraet
JPH05227463A (ja) 1992-02-15 1993-09-03 Sony Corp 画像処理装置
US5584701A (en) 1992-05-13 1996-12-17 University Of Florida Research Foundation, Incorporated Self regulating lung for simulated medical procedures
US5391081A (en) 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5772442A (en) 1992-05-13 1998-06-30 University Of Florida Research Foundation, Inc. Apparatus and method for simulating bronchial resistance or dilation
US5403192A (en) 1993-05-10 1995-04-04 Cae-Link Corporation Simulated human lung for anesthesiology simulation
US5572248A (en) 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
WO1996029679A1 (en) 1995-03-22 1996-09-26 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for coordination of motion determination over multiple frames
CA2180899A1 (en) 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5668608A (en) 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US6301339B1 (en) 1995-11-15 2001-10-09 Data Race, Inc. System and method for providing a remote user with a virtual presence to an office
US5853292A (en) 1996-05-08 1998-12-29 Gaumard Scientific Company, Inc. Computerized education system for teaching patient care
US6527558B1 (en) 1996-05-08 2003-03-04 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US6443735B1 (en) 1996-05-08 2002-09-03 Gaumard Scientific, Inc. Computerized education system for teaching patient care
US6503087B1 (en) 1996-05-08 2003-01-07 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US6246975B1 (en) 1996-10-30 2001-06-12 American Board Of Family Practice, Inc. Computer architecture and process of patient generation, evolution, and simulation for computer based testing system
US5900923A (en) 1996-11-26 1999-05-04 Medsim-Eagle Simulation, Inc. Patient simulator eye dilation device
US6042477A (en) 1996-12-12 2000-03-28 Addink; Dale H. Method of and system for minimizing the effects of time latency in multiplayer electronic games played on interconnected computers
US6293519B1 (en) 1997-07-07 2001-09-25 Peter Farretta Luminous snake
US6273728B1 (en) 1997-09-04 2001-08-14 The University Of Florida Life support simulation system simulating human physiological parameters
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
GB9800397D0 (en) 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
US6220866B1 (en) 1998-01-15 2001-04-24 Eagle Simulation, Inc. Electronic auscultation system for patient simulator
JP2990602B1 (ja) 1998-07-03 1999-12-13 株式会社京都科学 生体検診用模型
US6552722B1 (en) 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6034733A (en) 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
US6257234B1 (en) 1998-08-21 2001-07-10 Respironics, Inc. Apparatus and method for determining respiratory mechanics of a patient and for controlling a ventilator based thereon
JP2000148771A (ja) 1998-11-06 2000-05-30 Sony Corp 画像処理装置および方法、並びに提供媒体
US6608628B1 (en) * 1998-11-06 2003-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Method and apparatus for virtual interactive medical imaging by multiple remotely-located users
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6289299B1 (en) 1999-02-17 2001-09-11 Westinghouse Savannah River Company Systems and methods for interactive virtual reality process control and simulation
EP1163852A4 (en) 1999-02-18 2002-06-12 Fujisawa Pharmaceutical Co MASKING AGENT
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6747672B1 (en) 1999-11-01 2004-06-08 Medical Learning Company, Inc. Virtual patient hot spots
US6692258B1 (en) 2000-06-26 2004-02-17 Medical Learning Company, Inc. Patient simulator
JP2001285897A (ja) 2000-03-28 2001-10-12 Ando Electric Co Ltd 動画受信品質評価装置
FR2808366B1 (fr) 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
US20070055577A1 (en) 2000-05-22 2007-03-08 Commonwealth Intellectual Property Holdings, Inc. Internet and wireless integrated virtual presence
US6535714B2 (en) 2000-06-30 2003-03-18 University Of Florida Method, system, and apparatus for medical device training
JP2002074370A (ja) 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
US6780016B1 (en) 2000-10-23 2004-08-24 Christopher C. Toly Human surgical trainer and methods for training
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
US7244181B2 (en) 2000-11-14 2007-07-17 Netamin Communication Corp. Multi-player game employing dynamic re-sequencing
US6739877B2 (en) 2001-03-06 2004-05-25 Medical Simulation Corporation Distributive processing simulation method and system for training healthcare teams
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
US8046408B2 (en) 2001-08-20 2011-10-25 Alcatel Lucent Virtual reality systems and methods
US6697451B2 (en) 2001-09-05 2004-02-24 Ge Medical Systems Global Technology Company, Llc Dynamic phantom and method for evaluating calcium scoring
WO2003096255A2 (en) 2002-05-06 2003-11-20 The Johns Hopkins University Simulation system for medical procedures
US6954544B2 (en) 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US6774855B2 (en) 2002-06-24 2004-08-10 Centurion Wireless Technologies, Inc. Omni-directional antenna arrays and methods of making the same
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US6921267B2 (en) 2002-12-06 2005-07-26 University Of Florida Research Foundation, Inc. Lung simulator for an integrated human patient simulator
US20040189701A1 (en) 2003-03-25 2004-09-30 Badt Sig Harold System and method for facilitating interaction between an individual present at a physical location and a telecommuter
US7787927B2 (en) 2003-06-20 2010-08-31 Merge Cad Inc. System and method for adaptive medical image registration
IL157156A0 (en) 2003-07-29 2004-08-31 Rafael Armament Dev Authority Predictive display for system having delayed feedback of a command issued
US7421101B2 (en) 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
US7815644B2 (en) * 2003-12-19 2010-10-19 Masini Michael A Instrumentation and methods for refining image-guided and navigation-based surgical procedures
US20050197818A1 (en) 2004-01-30 2005-09-08 Akbar Monfared Virtual presence system and method
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US7403664B2 (en) 2004-02-26 2008-07-22 Mitsubishi Electric Research Laboratories, Inc. Traffic event detection in compressed videos
BRPI0508748B1 (pt) * 2004-03-26 2018-05-02 Takahashi Atsushi Sistema tridimensional para orientação e instruções visuais remotas, dotado de visor tridimensional com câmeras.
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP2007535875A (ja) 2004-04-30 2007-12-06 ワールドゲイト・サービス・インコーポレイテッド 適応映像電話システム
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20050267778A1 (en) 2004-05-28 2005-12-01 William Kazman Virtual consultation system and method
US7949616B2 (en) 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
EP1602322A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US7376903B2 (en) 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
WO2006108279A1 (en) 2005-04-11 2006-10-19 Martin Lizee Method and apparatus for virtual presence
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
KR100721713B1 (ko) 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
US20070064098A1 (en) 2005-09-19 2007-03-22 Available For Licensing Systems and methods for 3D rendering
WO2007059477A2 (en) 2005-11-11 2007-05-24 The Uab Research Foundation Virtual patient simulator
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
US8562440B2 (en) 2005-12-28 2013-10-22 Palo Alto Research Center Incorporated Method, apparatus, and program product for modeling presence in a persistent virtual environment
EP1966767A2 (en) 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
CN101405769A (zh) 2005-12-31 2009-04-08 布拉科成像S.P.A.公司 用于经由网络（"DextroNet"）的三维数据集的协作交互显影的系统和方法
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8275814B2 (en) * 2006-07-12 2012-09-25 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
US7805020B2 (en) 2006-07-25 2010-09-28 Itt Manufacturing Enterprises, Inc. Motion compensated image registration for overlaid/fused video
US7725018B2 (en) * 2006-08-01 2010-05-25 Canon Kabushiki Kaisha Focus control apparatus, image sensing apparatus and focus control method
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8012023B2 (en) 2006-09-28 2011-09-06 Microsoft Corporation Virtual entertainment
US7894649B2 (en) * 2006-11-02 2011-02-22 Accuray Incorporated Target tracking using direct target registration
DE102006053273A1 (de) 2006-11-06 2008-05-08 Varta Microbattery Gmbh Galvanisches Element mit Kurzschluss-Schutz
CA2670261A1 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8385687B1 (en) * 2006-12-06 2013-02-26 Matrox Electronic Systems, Ltd. Methods for determining a transformation between images
US20080231626A1 (en) 2007-03-22 2008-09-25 Motorola, Inc. Method and Apparatus to Facilitate a Differently Configured Virtual Reality Experience for Some Participants in a Communication Session
US20080278633A1 (en) 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
CN101743567A (zh) 2007-05-18 2010-06-16 Uab研究基金会 虚拟互动式出席系统及方法
US8203590B2 (en) 2007-09-04 2012-06-19 Hewlett-Packard Development Company, L.P. Video camera calibration system and method
JP2009134693A (ja) 2007-10-30 2009-06-18 Canon Inc 画像処理装置、画像処理方法
US20090287089A1 (en) 2008-01-31 2009-11-19 The University Of Vermont And State Agriculture College Methods, devices and apparatus for imaging for reconstructing a 3-D image of an area of interest
KR100963238B1 (ko) 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US20090300100A1 (en) 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using logo recognition
WO2009154294A1 (ja) * 2008-06-20 2009-12-23 国立大学法人静岡大学 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体
US7991646B2 (en) 2008-10-30 2011-08-02 Ebay Inc. Systems and methods for marketplace listings using a camera enabled mobile device
JP4995805B2 (ja) 2008-12-10 2012-08-08 日本電信電話株式会社 映像重畳装置、映像重畳方法、プログラムおよび記録媒体
US8336777B1 (en) 2008-12-22 2012-12-25 Pantuso Francis P Covert aiming and imaging devices
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8599235B2 (en) 2009-07-27 2013-12-03 Cisco Technology, Inc. Automatic display latency measurement system for video conferencing
JP5158262B2 (ja) * 2009-08-18 2013-03-06 富士通株式会社 画像処理方法および画像処理装置
US8179412B2 (en) 2009-08-19 2012-05-15 Eastman Kodak Company Merging image pixels based on main-scan misalignment
US20110084983A1 (en) 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
WO2011042229A1 (en) 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US20110249029A1 (en) * 2010-04-07 2011-10-13 Siemens Medical Solutions Usa, Inc. System for Manipulating a Detected Object within an Angiographic X-ray Acquisition
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US8928735B2 (en) 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
US9201666B2 (en) * 2011-06-16 2015-12-01 Microsoft Technology Licensing, Llc System and method for using gestures to generate code to manipulate text flow
US8902248B1 (en) 2011-07-14 2014-12-02 Vmware, Inc. Method and system for measuring display performance of a remote application
JP5799630B2 (ja) 2011-07-19 2015-10-28 株式会社大林組 免震装置
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
CN1929602A (zh) * 2005-08-09 2007-03-14 罗伯特·博世有限公司 用于自动跟踪摄像机图像的虚拟遮罩

Also Published As

Publication number Publication date
NZ621149A (en) 2015-12-24
CN104011741B (zh) 2017-09-01
US20190318830A1 (en) 2019-10-17
EP2742461A1 (en) 2014-06-18
US9886552B2 (en) 2018-02-06
AU2012295324B2 (en) 2016-02-25
US20170308673A1 (en) 2017-10-26
CN107517370A (zh) 2017-12-26
US20130038632A1 (en) 2013-02-14
US10181361B2 (en) 2019-01-15
AU2012295324A1 (en) 2014-03-06
US10622111B2 (en) 2020-04-14
WO2013025457A1 (en) 2013-02-21
CN104011741A (zh) 2014-08-27
EP2742461A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
CN107517370B (zh) 多路视频流的图像配准的系统和方法
AU2018264095B2 (en) System and method for managing spatiotemporal uncertainty
AU2008270883B2 (en) Virtual interactive presence systems and methods
CA2896240C (en) System and method for role-switching in multi-reality environments
CN103443742B (zh) 用于凝视和姿势接口的系统和方法
CN205195880U (zh) 观看设备及观看系统
NZ621149B2 (en) System and method for image registration of multiple video streams

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant