CN105829912A - 紧凑型光学跟踪器 - Google Patents

紧凑型光学跟踪器 Download PDF

Info

Publication number
CN105829912A
CN105829912A CN201480069742.8A CN201480069742A CN105829912A CN 105829912 A CN105829912 A CN 105829912A CN 201480069742 A CN201480069742 A CN 201480069742A CN 105829912 A CN105829912 A CN 105829912A
Authority
CN
China
Prior art keywords
optical tracker
sensor
optical
tracker sensor
visual detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480069742.8A
Other languages
English (en)
Other versions
CN105829912B (zh
Inventor
利奥尔·巴拉克
朗·昆比特
拉尼·本-伊沙依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of CN105829912A publication Critical patent/CN105829912A/zh
Application granted granted Critical
Publication of CN105829912B publication Critical patent/CN105829912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文提供了一种光学跟踪器。跟踪器可包括至少部分地彼此面对的至少两个光学跟踪器传感器。每个光学跟踪器传感器可包括：像素阵列传感器，其被配置为产生表示场景的值的逐像素流；至少一个视觉指示器，其物理地耦合至所述像素阵列传感器；以及集成电路(IC)，其物理地耦合至所述至少一个像素阵列传感器，并且其被配置为：接收所述值的逐像素流；以及将二进制大对象(BLOB)分析应用于所述流以产生指示至少一个视觉指示器在表示场景的像素的单一通道内呈现于场景中的BLOB参数；以及计算机处理器，其被配置为接收所述BLOB参数和计算至少两个光学跟踪器传感器的相对位置和/或定向或其部分数据。

Description

紧凑型光学跟踪器
发明领域
本发明大体上涉及光学跟踪器领域，并且更具体地涉及用于促进数据传输的本地跟踪数据提取。
发明背景
使用视频相机跟踪目标需要不可避免地导致延迟问题的带宽和计算能力两者。在一些应用中希望能够快速跟踪目标，而不需要高计算能力或在跟踪设备和控制模块之间的通信链接的高带宽。
发明概述
根据本发明的一些实施方案，在本文中提供了光学跟踪器。跟踪器可包括至少部分地彼此面对的至少两个光学跟踪器传感器。每个光学跟踪器传感器可包括：至少一个像素阵列传感器，其被配置用于产生表示场景的像素值的流；至少一个视觉指示器，其物理地耦合至所述至少一个像素阵列传感器；以及集成电路(IC)，其物理地耦合至所述至少一个像素阵列传感器，并且被配置为：接收所述像素值的流；以及将二进制大对象(BLOB)分析应用于所述流，以产生指示至少一个视觉指示器在表示场景的像素的单一通道内呈现在场景中的BLOB参数；以及计算机处理器，其被配置用于接收所述BLOB参数和计算至少两个光学跟踪器传感器的相对位置和/或定向，或其部分数据。
在以下详细的描述中说明了本发明的这些附加的和/或其他方面和/或优点。
附图简述
为更好地理解本发明并且为了显示可如何实施本发明，仅以举例的方式参照附图，附图中类似的标号表示相应的元件或部分。在附图中：
图1是示出根据本发明的实施方案的系统的方面的示图；
图2是示出根据本发明的实施方案的系统的另一方面的示图；以及
图3是示出根据本发明实施方案的系统的非限制性的示例应用的示图；
图4是示出根据本发明实施方案的系统的另一非限制性的示例性应用的示图；以及
图5A和5B是示出根据本发明实施方案的系统的进一步非限制性的示例应用的示图；
附图和以下详细的描述共同使本发明的实施方案对本领域的那些技术人员来说变得明显。
本发明的详细描述
现在详细地具体参考附图，要强调的是，所示的细节是出于示例的目的且仅仅用于讨论本发明的优选实施方案，并为了提供认为是本发明的原理和概念方面的最有用和容易理解的描述而呈现。在这方面，不尝试更详细地显示本发明的结构细节，而是显示对本发明的基本理解必要的结构细节。结合附图所进行的描述使得在实践中可如何实施本发明的几种形式对于本领域技术人员变得明显。
在详细解释本发明的实施方案前，应理解本发明的应用不限制于下面描述中说明或附图中图示说明的组件的构造和排列的细节。本发明适用于其他实施方案并且可以各种方式被实践或被实施。并且，应理解本文提到的措辞和术语是出于描述的目的而不应被看作是限制。
图1是示出根据本发明的实施方案的系统的示图。示出了光学追踪器100，并且该光学追踪器100可包括：至少两个如传感器120A的光学跟踪器传感器，其包括被配置用于产生像素值流的至少一个像素阵列传感器10，该像素值流表示包含多个如40A和40B的视觉指示器的场景，视觉指示器被附接于目标20(如头盔)，在该目标20上将另一光学传感器120B定位成面对也与视觉指示器40C耦合的光学跟踪器传感器120A。光学跟踪器传感器120A还可包括集成电路(IC)，如现场可编程门阵列(FPGA)130，其也可被实现为可能通过接口110物理地耦合至所述像素阵列传感器10的专用集成电路(ASIC)。应注意的是，系统可通过如按照具体应用可能合适和需要的硬件和软件的任何组合来实现。应进一步理解的是，单一IC可与多个像素阵列传感器通信，并且因此单一IC可将BLOB分析应用于来自多个像素阵列传感器中的任何一个的数据。
在操作中，可配置IC130用于接收上述的像素值流并且将单通二进制大对象(BLOB)分析应用于所述流，以产生指示至少一个视觉指示器的BLOB参数132。光学追踪器100还可包括计算机处理器150，其被配置用于接收光学跟踪器传感器120A和120B的所述BLOB参数132，并且计算以下项中的至少一项：光学跟踪器传感器120B相对于所述光学跟踪器传感器120A的位置、定向或其部分数据152。在一个实施方案中，计算机处理器150在结构上可被封装在所述光学跟踪器传感器120A内，以便提供紧凑性和易用性。
上述配置，即彼此面对的两个光学跟踪器传感器120A和120B中，至少一个视觉指示器40C耦合至其中的一个光学跟踪器传感器120A并且至少两个视觉指示器40A和40B耦合至另一光学跟踪器传感器120B，对于计算在两个光学跟踪器传感器之间的相对位置和定向的全部六个自由度是足够的。
该配置胜过目前可用的光学追踪配置的显著优点是，该配置支持光学追踪组件中的至少一个的紧凑型设计，光学追踪组件即与单一视觉指示器耦合的光学跟踪器传感器。相反地，在目前可用的光学追踪器配置中，其中单一相机面对耦合至目标的至少三个视觉指示器(三个视觉指示器是整个位置和定向需要的视觉指示器的最小数量)，在任何两个视觉指示器之间的距离需要大于最小距离，该最小距离与在光学跟踪器传感器和被追踪的目标之间的距离是成正比的，并且还与追踪器所需的精确度成正比(即，较好的精确度需要更大的距离)。如果由又一最小距离分开的两个光学跟踪器传感器用于追踪目标，那么可减少最小距离。在上述配置中，相互耦合的单一视觉指示器和光学跟踪器传感器可被封装在紧凑的外壳内，其中外壳的尺寸几乎与所期望的一样小。也就是说，尺寸仅由包括硬件组件的尺寸来限制，并且不由源于所需精确度和在系统中的该光学追踪组件和其他组件之间的距离的任何数学或物理限制来限制。
当紧凑型组件附接于如以下将详述的手持式目标或头部安装式单元时，根据本发明的实施方案的紧凑型设计是特别有利的。其他优点由在包括光学追踪器单元(即传感器和视觉指示器)的组件之间的相对位置的精确度和短期以及长期机械稳定性引起，光学追踪器单元本身对于系统精确度是必须的。例如，当视觉指示器是发光二极管(LED)，使得LED和像素阵列传感器可都被装配于单一印制电路板(PCB)时，它们的相对位置可借助由PCB装配线允诺的非常高的精确度来了解。由于环境条件(例如温度)和机械应变，该配置对于变化也是可靠的。然而，通常需要用于将视频从传感器传输至处理器的电线以支持大的带宽，以便支持每个视频帧的短传输时间，并且从而保持少的系统延迟。此外，有时应用需要不使用电缆。
本发明在其实施方案中解决了目前可用的光学追踪器的上述挑战。如以上所解释的，使用BLOB分析减少了需要被传输以用于处理的数据的量。用于紧凑型低延迟光学追踪器的又另一实施方案可使用视频成像设备，该视频成像设备被配置用于仅在预定义的感兴趣区域而不是上述的基于BLOB的光学跟踪器传感器内提取像素。视频捕捉设备(在该实施方案中代替光学传感器120A和/或120B)被配置用于仅捕捉ROI，该ROI被设置为包含视觉指示器耦合至其他传感器所在的范围。以下将解释ROI的更多变化。BLOB和ROI两种解决方案支持低带宽有线或无线配置并且两种实施方案可用在单一实现中。
紧凑型设计的另一优点是在单一光学跟踪器传感器内耦合几对像素阵列传感器和LED的可能性，使得每对覆盖不同的FOV，并且从而单一光学跟踪器传感器可覆盖非常大的FOV并且仍保持紧凑。在任何给定的追踪器周期处仅单一对需要被使用，并且因此在光学跟踪器传感器和LED对之间的距离可保持最小。
确定BLOB参数可通过在本领域已知的单通BLOB分析方法来实现。如在本文中描述的，单通BLOB分析涉及扫描整个图像和检测在场景内的所有目标以及得出其在像素的单一通道(相对于在先前技术中需要的两个和三个通道)内的各自的BLOB参数。
在本发明的一个实施方案中，实现了阈值法。因此，如果像素的灰度值高于预定的阈值，则每个像素被认作属于BLOB。该方法在图像包含在黑暗背景中的相对少数量的BLOB的情况下效果最好，其通常是在光学追踪器应用中的情况，其中使用各种光学和电光学装置，以便使视觉指示器比它们的周围事物更易分辨。
在一个实施方案中，来自传感器的像素被一个接一个地读取。一旦当前的像素被确定为在预定义的阈值之上，其BLOB相关的临近像素(例如，相隔一个或两个像素定位的)也会被检查。当前的像素与与临近像素相关的BLOB相关。在两个临近的像素与两个不同的BLOB相关的情况下，做出合并两个BLOB的指示。实现BLOB检测的其他方式是可能的。应理解的是，也可考虑如每两个或任何其他数字地读取像素的其他实施方案。
根据本发明的一些实施方案，可分开定位计算机处理器140和至少一个光学跟踪器传感器120，并且其中光学跟踪器传感器还被配置用于通过发射器134和天线136将BLOB参数132传输至耦合至计算机处理器140的天线144和接收器142。本发明的优点中的一个是，由于BLOB分析在原位(即，在捕获设备处)实施，因此传输的参数不是如视频序列的原始数据(如具有视频追踪器的情况)，并且从而不需要宽的带宽。本发明的另一优点是，由于BLOB分析在单通基础上进行并且仅BLOB参数被传输，因此消除了在像素阵列传感器10采样图像时的时间和在计算机处理器140开始其计算时的时间之间的任何不必要的延迟。
根据本发明的一些实施方案，其中至少两个光学跟踪器传感器中的一个耦合至两个或更多个视觉指示器，面向该光学跟踪器传感器的第二光学跟踪器传感器仅需要单一视觉指示器。该需求归因于这样的事实，即为了得到一对光学跟踪器传感器的全部相对的位置和定向数据(即，六个自由度)，总共需要至少三个视觉指示器。
该配置可有利地能够设计非常紧凑的单一视觉指示器光学跟踪器传感器。紧凑型光学跟踪器传感器可用于耦合至待追踪的目标，其中小尺寸是重要的优点，如手持式设备。紧凑型光学跟踪器传感器可包括封装单一视觉指示器和像素阵列传感器两者的外壳。在非限制性示例中，单一视觉指示器可被定位在距离像素阵列传感器中心小于大约5cm的距离处。
根据本发明的一些实施方案，视觉指示器40可由以下之中的至少一个组成：光源和反射器或其组合。此外，所述光源或发射由反射器反射的光的光源可被配置用于发射光脉冲，并且其中光学追踪器还包括用于在光源脉冲和像素阵列传感器10的集成时间之间进行同步的装置。
根据本发明的一些实施方案，仅为像素阵列传感器10内的至少一个预定义的感兴趣区域(ROI)传送像素流，其中在逐帧的基础上更新ROI边缘。这还将减少在场景捕获和BLOB分析完成之间经过的时间，因为从传感器10读出像素的时间将更短。该方法在图像包含局限于图像的小部分的相对少数量的BLOB的情况下效果最好，并且可基于过去的位置粗略地预测其期望的位置，如追踪具有附接于单一目标的一个或多个视觉指示器的单一目标的情况。
基于待追踪的目标的预测的位置可实施ROI边缘的确定。此外，只要传感器技术允许，可产生两个或更多个ROI，以便在最小延迟下追踪两组或更多组视觉指示器。例如，每当两个目标时，每个目标具有需要追踪的视觉指示器。可选地，可通过同步时间周期独立地和分开地追踪每个目标，在该时间周期内操作不同的传感器和光源。
根据其他实施方案，如磁或惯性跟踪的辅助技术可用于防止视觉指示器的光学检测的暂时丧失。当光学检测恢复时，光学跟踪器可使用从辅助跟踪器(磁、惯性或其他)得到的ROI。可选地，在光学检测的丧失的长周期后，以全帧恢复光学跟踪(非ROI模式)。
图2是示出根据本发明的实施方案的系统另一方面的示图。光学跟踪器200可包括：至少部分彼此面对的至少两个光学跟踪器传感器210A和210B，其中所述光学跟踪器传感器中的至少一个包括至少一个像素阵列传感器220A和220B，该至少一个像素阵列传感器220A和220B被配置用于产生表示场景的像素流；集成电路(IC)230A和230B，该集成电路230A和230B物理地耦合至所述至少一个像素阵列传感器220A和220B，并且其被配置用于：接收所述逐像素流的值；以及将二进制大对象(BLOB)分析应用于所述流，以给出指示至少一个视觉指示器240A、240B或240C的BLOB参数，该至少一个视觉指示器240A、240B或240C在表示场景的像素的单一通道内呈现在场景中。
光学跟踪器200也可包括至少一个视觉指示器240A、240B或240C，该至少一个视觉指示器240A、240B或240C耦合到至少两个光学跟踪器传感器210A和210B中的每一个。光学跟踪器200也可包括计算机处理器250，该计算机处理器250被配置用于接收所述BLOB参数和计算至少两个光学跟踪器传感器的相对位置和/或定向252或其部分数据。
根据本发明的一些实施方案，物理地附接于至少两个光学跟踪器传感器的视觉指示器的总数至少为三个。
根据本发明的一些实施方案，至少两个光学跟踪器传感器中的至少一个是图像捕获设备，并且其中计算机处理器被配置用于进一步基于从图像捕获设备得到的数据计算相对位置和/或定向或其部分数据。
根据本发明的一些实施方案，至少两个光学跟踪器传感器中的至少一个是固定的。
根据本发明的一些实施方案，计算机处理器被封装在所述光学跟踪器传感器中的一个光学跟踪器传感器内。
根据本发明的一些实施方案，计算机处理器和至少一个光学跟踪器传感器被彼此分开地定位，并且其中至少一个光学跟踪器传感器还被配置用于通过有线通信信道将BLOB参数传输至计算机处理器。
根据本发明的一些实施方案，计算机处理器和至少一个光学跟踪器传感器被彼此分开地定位，并且其中至少一个光学跟踪器传感器还被配置用于通过无线通信信道将BLOB参数传输至计算机处理器。
根据本发明的一些实施方案，至少一个视觉指示器包括光源和反射器中的至少一个。
根据本发明的一些实施方案，至少一个视觉指示器被配置用于发射或反射光脉冲，并且其中光学跟踪器还包括用于在来自光源260或视觉指示器240A-C的光脉冲和至少两个光学跟踪器传感器之间进行同步的装置270。
根据本发明的一些实施方案，光学跟踪器在感兴趣区域(ROI)模式中是可操作的，在该模式中仅像素流的子集被传送至IC，其中像素流的子集表示与ROI相关的像素阵列的预定义子集。
根据本发明的一些实施方案，基于至少一个视觉指示器的预测位置在逐帧的基础上确定ROI。
根据本发明的一些实施方案，光学跟踪器还包括磁或惯性或其他跟踪装置，该装置被配置用于提供每当光学跟踪器传感器出故障时的跟踪数据，并且其中光学跟踪器被配置用于恢复具有基于由磁或惯性或其他跟踪装置提供的数据被确定的ROI的光学跟踪。
根据本发明的优选的实施方案，光学跟踪器包括两个光学跟踪器传感器，并且物理地附接于两个光学跟踪器传感器的视觉指示器的总数至少是三个。通过这样的方式，可得到全部位置和定向表示。然而应理解的是，使用较少视觉指示器可提供对一些应用可能有益的部分位置和定向。
图3是示出根据本发明的实施方案的系统的非限制性的示例应用的示图。环境300图示了操作室，在该操作室内医生310使用手持式医疗设备330，光学传感器332和视觉指示器333A、333B和333C被附接至该手持医疗设备330。类似地，光学传感器350和视觉指示器353A、353B和353C可安装在医生310的头部上，该医生310的头部上可能带有头部安装的显示系统(未显示)。另一光学跟踪器传感器360可以是固定的(例如，附接于天花板)并且可包括至少两个视觉指示器362A和362B。又另一光学传感器342和视觉指示器343A、343B和343C可是患者安装的，安装至患者320上的固定物340。
根据一些实施方案，手持式设备330可以是任何操作工具(例如，手术刀、腹腔镜管、超声换能器或针)。以这种方式，可跟踪手持式设备。应理解的是，由于待跟踪的目标和耦合至其的光学跟踪器传感器定义了具体的空间关系，以便在实际上计算两个目标的相对位置和定向(相对于两个光学跟踪器传感器的相对位置和定向)，需要知道上述指定的空间关系。在本领域中有几个已知的方法用于空间关系的校准和配准。
当光学跟踪器传感器342是患者安装式时，例如物理地附接于患者的头部或四肢，可跟踪患者上的固定物340。该附接可以是直接或间接的，例如光学跟踪器传感器可直接地附接于患者的头部，或可附接于刚性地附接于患者头部的框架。
根据本发明的一些实施方案，头部安装式光学传感器或手持式设备光学传感器或患者安装式光学传感器被定位在至少两个光学跟踪器传感器中的至少一个的视场范围内，并且其中计算机处理器还被配置用于计算头部安装式光学传感器或手持式设备光学传感器或患者安装式光学传感器相对于至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器的位置和/或定向或其部分数据。
根据本发明的一些实施方案，两个光学跟踪器传感器中的至少一个是患者安装式或物理地附接于手持式设备，并且该光学跟踪器传感器具有附接于其的至少一个视觉指示器，并且其中头部安装式光学跟踪器传感器具有附接于其的至少两个视觉指示器。
应理解的是，按照光学跟踪系统的使用或设计的需要，上述光学传感器和视觉指示器的更多组合和变化可被使用。
图4是示出根据本发明的实施方案的系统的又另一非限制性的示例应用的示图。环境300图示了操作室，在该操作室内人类用户310穿戴着头部安装式显示系统，该头部安装式显示系统也包括光学跟踪器传感器453和至少两个视觉指示器352A-352C。另外，人类用户310可以使用手持式医疗设备330，包括多个像素阵列传感器433A-433C和单一IC(未显示)的光学跟踪器传感器被附接于手持式医疗设备330。像素阵列传感器433A-433C沿着手持式医疗设备330的周边被安置，其中像素阵列传感器433A-433C中的每一个径向地面对可能或可能不相邻重叠的不同扇区。优选但不唯一地，像素阵列传感器433A-433C可各自倾斜，使得具有传感器底部的整个结构形成锥状。
类似地，对应于诸如432A-432C的视觉指示器，诸如LED的光源也优选地沿着手持式医疗设备330的周边被定位，并且该光源径向地面对不同的扇区，以便被定位为临近各自的像素阵列传感器433A-433C。优选地，但不唯一地，在像素阵列传感器433A-433C和432A-432C的对应的光源之间的距离不超过3厘米，并且在像素阵列传感器433A-433C之间的距离不超过5厘米。这些示例性限制允许像素阵列传感器和在手持式设备上的光源的紧凑排列。倾斜角度提供了人体工程学优点，特别是如果人类用户310的头部向下面对手持式设备330被安置的地方。
在操作中，实施对在每个给定的跟踪器周期内应使用的像素阵列传感器433A-433C中的哪一个的动态选择。类似地，对应的光源(是临近像素阵列传感器的一个)也被使用。头部安装式光学跟踪器传感器453连续地捕获光源432A-432C中的一个，该光源432A-432C基于手持式设备的空间角度被选择性地操作。同时仅像素阵列传感器433A-433C中的一个在给定的周期被使用，该像素阵列传感器的视场(FOV)包括头部安装式设备350的视觉指示器352A-352C。
上述设计将可靠跟踪的好处与跟踪器紧凑性相结合。逻辑使能更可靠的跟踪，因为手持式设备不由单一光学传感器的狭窄视场限制。上述结构提供了紧凑性，该紧凑性在光学传感器需要附接于手持式设备时是特别有利的，其中，紧凑性对手持式设备是决定性的。
图5A示出根据本发明的又另一实施方案。在图5A中，包括像素阵列传感器530A-530C和其对应的LED540A-540C的光学跟踪器传感器520附接于飞行员头盔510，其中作为参照系(未显示)，飞行员坐在驾驶舱内、面对与至少两个视觉指示器耦合并且固定至驾驶舱的光学跟踪器传感器。有利地，为了跟踪器的良好操作，头盔用户在人体工程学上不受限于其头部定向。由于在头盔上的光学跟踪器传感器520的宽广视场，实现了这个目的。
图5B图示了包括像素阵列传感器560A-560C和其对应的LED570A-570C的固定的光学跟踪单元550，这些像素阵列传感器560A-560C和LED570A-570C各以具有附加倾斜的不同径向角度沿着光学跟踪单元550的不同表面被定位。由于固定的跟踪单元550的更宽广的视场，包括两个LED562A和592B和光学跟踪器传感器494的第二光学跟踪单元590配有在场景中的定向和位置(由箭头596A和596B示出)的更好的自由度而不丧失跟踪能力。对于例如，当固定单元附接于患者并且移动单元附接于由医师穿戴的头部安装式显示系统时，该配置是有利的。在这种情况下，当医师在患者周围走动时，光学跟踪器保持跟踪头部安装式系统和患者之间的相对位置和定向。
如将由本领域技术人员理解的，本发明的方面可被实施为系统、方法或装置。因此，本发明的方面可采用完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等等)或组合软件和硬件方面的实施方案的形式，这些实施方案可在本文中被全部统称为“电路”、“模块”或“系统”。
上述流程图和框图示出根据本发明的各种实施方案的系统和方法的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个块可以代表代码的模块、片段或部分，代码包括用于实施指定的逻辑功能的一个或多个可执行的指令。还应当注意，在某些可选的实施中，在方框中提到的功能可以不以图中提到的顺序发生。例如，连续显示的两个方框实际上可以大体上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应当指出的是，在框图和/或流程图中的每个方框以及框图和/或流程图中方框的组合，可以由执行指定功能或行为的专用的基于硬件的系统或专用硬件和计算机指令的组合来实现。
在以上描述中，实施方案是本发明的示例或实现。“一个实施方案”、“实施方案”或“一些实施方案”的各种出现不一定都指代相同的实施方案。
尽管本发明的各种特征可以在单个实施方案的上下文中进行描述，这些特征也可以单独地或以任何合适的组合提供。相反，尽管为了清楚起见，本发明可在本文中在分开的实施方案的上下文中进行描述，本发明也可以在单个实施方案中实现。
在说明书中对“一些实施方案”、“实施方案”、“一个实施方案”或“其它实施方案”的引用指的是，结合实施方案描述的特定特征、结构或特性包括在本发明的至少一些实施方案中，但没有必要包括在所有实施方案中。还将认识到，以上在本文中描述的本发明的方面可被结合或以其他方式共存在本发明的实施方案中。
应理解的是，在本文中使用的措辞和术语将不被解释为限制且仅用于描述用途。
本发明的教义的原则和使用可参考附随的描述、图形和示例被更好地理解。
应理解的是，在本文中说明的细节不解释为对本发明应用的限制。
此外，应理解的是，本发明可以按照各种方式执行或实施，并且本发明可以在不同于上述描述中概括的实施例的实施例中实现。
应理解的是，术语“包括”、“包含”、“组成”和其语法变体不排除加入一个或多个组件、特性、步骤或整体或其集合，并且术语将不被解释为指定组件、特性、步骤或整体。
如果说明书或权利要求涉及“附加的”元素，则不排除有多于一个的附加元素。
应理解的是，在权利要求或说明书中涉及“a”或“an”(单数)元素处，这样的引用将不被解释为仅有一个那样的元素。
应理解的是，在说明书规定了组件、特性、结构或特征“可”、“可能”、“可以”或“应”被包括处，特定的组件、特性、结构或特征不必须被包括。
在可应用的情况下，尽管状态图、流程图或两者可用于描述实施方案，但是本发明不限于这些图形或相应的描述。例如，流程不需要经过每个示出的框或状态来进行，或按照与图示和描述完全相同的顺序进行。
术语“方法”可指用于完成给定任务的方式、装置、技术和程序，该给定任务包括但不限于本发明所属的领域的从业者已知的或由本发明所属的领域的从业者从已知的方式、装置、技术和程序容易地开发的那些方式、装置、技术和程序。
权利要求和说明书中的描述、示例、方法和材料不被解释为限制而仅解释为说明。
本文使用的技术和科学术语的含义是如本发明所属领域的普通技术人员通常理解的含义，除非另有规定。
本发明可借助等效或类似于在本文中描述的那些方法和材料在测试和实践中实现。
虽然本发明关于有限数量的实施方案进行了描述，但是这些不应被解释为对本发明的范围的限制，而是应作为一些优选实施方案的示例。其他可能的变化、修改和应用也落入本发明的范围内。

Claims (21)

1.一种光学跟踪器，包括：
至少两个光学跟踪器传感器，其至少部分地彼此面对，其中所述光学跟踪器传感器中的至少一个光学跟踪器传感器包括：
至少一个像素阵列传感器，其被配置为产生表示场景的像素值的流；
集成电路(IC)，其物理地耦合至所述至少一个像素阵列传感器，并且被配置为：
(a)接收所述像素值的流；
(b)将二进制大对象(BLOB)分析应用于所述流，以产生指示至少一个视觉指示器在表示所述场景的像素的单一通道内呈现在所述场景中的BLOB参数；
至少一个视觉指示器，其耦合至所述至少两个光学跟踪器传感器中的每一个；以及
计算机处理器，其被配置为接收所述BLOB参数和计算所述至少两个光学跟踪器传感器的相对位置和/或定向或其部分数据。
2.根据权利要求1所述的光学跟踪器，其中，对于其所述位置和定向被全部计算的每对光学跟踪器传感器，物理地附接于所述至少两个光学跟踪器传感器的所述视觉指示器的总数至少为三个。
3.根据权利要求1或2所述的光学跟踪器，其中所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器是图像捕获设备，并且其中所述计算机处理器被配置为进一步基于从所述图像捕获设备得到的数据计算所述相对位置和/或定向或其部分数据。
4.根据权利要求1或2所述的光学跟踪器，其中所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器是固定的。
5.根据权利要求1或2所述的光学跟踪器，其中所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器是头部安装式的。
6.根据权利要求1或2所述的光学跟踪器，其中所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器物理地附接于手持式设备。
7.根据权利要求1或2所述的光学跟踪器，其中所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器是患者安装式的或刚性地附接于患者。
8.根据权利要求5-7中的任一项所述的光学跟踪器，其中，所述头部安装式光学传感器或手持式设备光学传感器或患者安装式光学传感器被定位在所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器的视场范围内，并且其中，所述计算机处理器还被配置为计算所述头部安装式光学传感器或所述手持式设备光学传感器或所述患者安装式光学传感器相对于所述至少两个光学跟踪器传感器中的至少一个光学跟踪器传感器的位置和/或定向或其部分数据。
9.根据权利要求5所述的光学跟踪器，其中所述两个光学跟踪器传感器中的至少一个光学跟踪器传感器是患者安装式的或物理地附接于手持式设备，并且所述两个光学跟踪器传感器中的至少一个光学跟踪器传感器具有附接于其的至少一个视觉指示器，并且其中，所述头部安装式光学跟踪器传感器具有附接于其的至少两个视觉指示器。
10.根据权利要求4所述的光学跟踪器，其中所述两个光学跟踪器传感器中的至少一个光学跟踪器传感器是患者安装式的或物理地附接于手持式设备，并且所述两个光学跟踪器传感器中的至少一个光学跟踪器传感器具有附接于其的至少一个指示器，并且其中，所述固定的光学跟踪器传感器具有附接于其的至少两个视觉指示器。
11.根据权利要求1所述的光学跟踪器，其中所述计算机处理器被封装于所述光学跟踪器传感器中的光学跟踪器传感器内。
12.根据权利要求1所述的光学跟踪器，其中所述计算机处理器和所述光学跟踪器传感器中的至少一个光学跟踪器传感器被彼此分开地定位，并且其中，所述至少一个光学跟踪器传感器还被配置为通过有线通信信道将所述BLOB参数传输至所述计算机处理器。
13.根据权利要求1所述的光学跟踪器，其中所述计算机处理器和所述光学跟踪器传感器中的至少一个光学跟踪器传感器被彼此分开地定位，并且其中，所述至少一个光学跟踪器传感器还被配置为通过无线通信信道将所述BLOB参数传输至所述计算机处理器。
14.根据权利要求1所述的光学跟踪器，其中所述至少一个视觉指示器包括光源和反射器中的至少一个。
15.根据权利要求1所述的光学跟踪器，其中所述至少一个视觉指示器被配置用于发射或反射光脉冲，并且其中，所述光学跟踪器还包括用于在所述光脉冲和所述至少两个光学跟踪器传感器之间进行同步的装置。
16.根据权利要求1所述的光学跟踪器，其在感兴趣区域(ROI)模式中可操作，在所述感兴趣区域(ROI)模式中仅所述像素流的子集被传送至所述IC，其中所述像素流的子集表示与所述ROI相关的所述像素阵列的预定义子集。
17.根据权利要求16所述的光学跟踪器，其中，基于所述至少一个视觉指示器的预测位置，所述ROI在逐帧的基础上被确定。
18.根据权利要求16所述的光学跟踪器，还包括被配置为每当所述光学跟踪器传感器出故障时提供跟踪数据的磁或惯性或其他跟踪装置，并且其中，所述光学跟踪器被配置为恢复基于由所述磁或惯性或其他跟踪装置提供的数据确定的ROI的光学跟踪。
19.根据权利要求1所述的光学跟踪器，其中，耦合到至少一个光学跟踪器传感器的每个视觉指示器被定位在距离所指定的光学跟踪器传感器的任何所述像素阵列传感器的中心小于大约10cm的距离处。
20.根据权利要求1所述的光学跟踪器，还包括外壳，其中，至少一个光学跟踪器传感器耦合至单一视觉指示器，所述单一视觉指示器被定位在距离所述像素传感器阵列的中心小于大约10cm的距离处，其中，所述单一视觉指示器和所述像素传感器阵列被封装在所述外壳内。
21.一种光学跟踪器，包括：
至少两个光学跟踪器传感器，其至少部分地彼此面对，每个光学跟踪器传感器具有耦合至其的至少一个视觉指示器，其中所述光学跟踪器传感器中的至少一个光学跟踪器传感器包括：
至少一个像素阵列传感器，其被配置为产生表示场景的像素值的流；
集成电路(IC)，其物理地耦合至所述至少一个像素阵列传感器，并且被配置为控制所述像素阵列传感器，使得所述像素阵列传感器仅提供在预定义的感兴趣区域(ROI)内的像素以产生ROI像素，其中选择所述ROI以包括所述场景的部分，在所述场景的所述部分内包含其他光学跟踪器传感器的所述至少一个视觉指示器；以及
计算机处理器，其被配置为接收所述ROI像素和计算所述至少两个光学跟踪器传感器的相对位置和/或定向或其部分数据。
CN201480069742.8A 2013-11-21 2014-11-20 紧凑型光学跟踪器 Active CN105829912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL229563 2013-11-21
IL229563A IL229563A (en) 2013-11-21 2013-11-21 Compact optical tracker
PCT/IL2014/051010 WO2015075719A1 (en) 2013-11-21 2014-11-20 Compact optical tracker

Publications (2)

Publication Number Publication Date
CN105829912A true CN105829912A (zh) 2016-08-03
CN105829912B CN105829912B (zh) 2020-08-18

Family

ID=50436425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069742.8A Active CN105829912B (zh) 2013-11-21 2014-11-20 紧凑型光学跟踪器

Country Status (6)

Country Link
US (1) US9618621B2 (zh)
EP (2) EP4343384A2 (zh)
KR (1) KR102315555B1 (zh)
CN (1) CN105829912B (zh)
IL (1) IL229563A (zh)
WO (1) WO2015075719A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066062A (zh) * 2017-08-24 2020-04-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139638A1 (en) * 2015-03-05 2016-09-09 Atracsys Sàrl Redundant reciprocal tracking system
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
CN111512269A (zh) * 2017-12-11 2020-08-07 德国弗劳恩霍夫应用研究促进协会 确定对象当前位置的方法、定位系统、跟踪器和计算机程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675112A (en) * 1994-04-12 1997-10-07 Thomson-Csf Aiming device for weapon and fitted-out weapon
US6128003A (en) * 1996-12-20 2000-10-03 Hitachi, Ltd. Hand gesture recognition system and method
CN1608212A (zh) * 2001-08-22 2005-04-20 精密自动化股份有限公司 六维激光跟踪系统及方法
US20050163346A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Monitoring an output from a camera
CN1678880A (zh) * 2002-08-26 2005-10-05 甘·C·劳 多维测量系统
WO2009040792A1 (en) * 2007-09-26 2009-04-02 Elbit Systems Ltd. Wide field of view optical tracking system
DE102008023760A1 (de) * 2008-05-15 2009-12-03 Medizin & Service Gmbh Anordnung zur Bestimmung der Position und Lage eines an einem Objekt befindlichen Merkmals
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
CN103403575A (zh) * 2011-03-03 2013-11-20 法罗技术股份有限公司 靶标设备和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734736A (en) 1994-06-17 1998-03-31 Trw Inc. Autonomous rendezvous and docking system and method therefor
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
US7949154B2 (en) 2006-12-18 2011-05-24 Cryovac, Inc. Method and system for associating source information for a source unit with a product converted therefrom
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US8301326B2 (en) 2008-12-19 2012-10-30 Reconrobotics, Inc. System and method for autonomous vehicle control
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
WO2011128766A2 (en) 2010-04-13 2011-10-20 Picard Frederic Methods and systems for object tracking
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8188880B1 (en) 2011-03-14 2012-05-29 Google Inc. Methods and devices for augmenting a field of view
US9143769B2 (en) 2011-06-29 2015-09-22 Massachusetts Institute Of Technology 3-D luminous pixel arrays, 3-D luminous pixel array control systems and methods of controlling 3-D luminous pixel arrays
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675112A (en) * 1994-04-12 1997-10-07 Thomson-Csf Aiming device for weapon and fitted-out weapon
US6128003A (en) * 1996-12-20 2000-10-03 Hitachi, Ltd. Hand gesture recognition system and method
CN1608212A (zh) * 2001-08-22 2005-04-20 精密自动化股份有限公司 六维激光跟踪系统及方法
CN1678880A (zh) * 2002-08-26 2005-10-05 甘·C·劳 多维测量系统
US20050163346A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Monitoring an output from a camera
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
WO2009040792A1 (en) * 2007-09-26 2009-04-02 Elbit Systems Ltd. Wide field of view optical tracking system
DE102008023760A1 (de) * 2008-05-15 2009-12-03 Medizin & Service Gmbh Anordnung zur Bestimmung der Position und Lage eines an einem Objekt befindlichen Merkmals
CN103403575A (zh) * 2011-03-03 2013-11-20 法罗技术股份有限公司 靶标设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈晶 等: "《Visual C++数字图像处理典型案例详解》", 31 July 2012 *
马永华 等: "基于Blob算法的机器视觉图像识别方法的研究", 《仪器仪表用户》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066062A (zh) * 2017-08-24 2020-04-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统
CN111066062B (zh) * 2017-08-24 2023-03-24 雷迪安特视觉系统有限公司 使用分数像素测量电子视觉显示器的方法和系统

Also Published As

Publication number Publication date
WO2015075719A1 (en) 2015-05-28
EP4343384A2 (en) 2024-03-27
IL229563A (en) 2016-10-31
KR102315555B1 (ko) 2021-10-22
EP3072107B1 (en) 2024-02-28
CN105829912B (zh) 2020-08-18
IL229563A0 (en) 2014-03-31
US9618621B2 (en) 2017-04-11
KR20160111370A (ko) 2016-09-26
EP3072107A4 (en) 2017-08-09
EP3072107A1 (en) 2016-09-28
EP3072107C0 (en) 2024-02-28
US20150136947A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
ES2708695T3 (es) Detector de luz codificada
US20140193037A1 (en) Displaying an Image on Multiple Dynamically Located Displays
EP3076892B1 (en) A medical optical tracking system
US7957007B2 (en) Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
US9858855B2 (en) Wearable display device
US20070268366A1 (en) System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid state optical devices
CN105829912A (zh) 紧凑型光学跟踪器
ES2963737T3 (es) Sistema y procedimiento de seguimiento visual
US20070268481A1 (en) System and method for measuring scene reflectance using optical sensors
US10505628B2 (en) Designated map luminaires
EP3307025A1 (en) Content display system
US8009192B2 (en) System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
KR101780122B1 (ko) 단일 이미지센서를 이용한 실내위치 측정장치 및 그 방법
JP2013124972A (ja) 位置推定装置及び方法、並びにテレビジョン受信機
KR101704551B1 (ko) 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법
US20140191959A1 (en) Pointing system and display having improved operable range
US11047980B2 (en) Distance measurement device, control method for distance measurement, and control program for distance measurement
CN111289989B (zh) 确定用于坐标系统之间转换的旋转参数的方法和装置
US10477104B1 (en) Image sensor selection in a multiple image sensor device
JP2017525172A (ja) 符号化光の検出
EP3495835A1 (en) Direction finding system as well as method for locating a source of a target signal
EP3489618A1 (en) Position estimation program, position estimation device, and position estimation method
KR101184560B1 (ko) 전방향 탐색이 가능한 열영상 감지 시스템
JP2005198059A (ja) データ信号受信方法とその装置及びプログラム並びにその記録媒体
JP2006276928A (ja) 圧電式動作検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Haifa

Applicant after: ELBIT SYSTEMS LTD.

Address before: Haifa

Applicant before: ELBIT SYSTEMS LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant