CN105411677B - 用于探测和追踪图像姿态的图像导航系统 - Google Patents

Abstract

用于手术过程中追踪手术仪器的图像导航系统。该图像导航系统包括用于捕获光学可视图案的图像的多个照相机，该照相机适于位于手术区域之外。处理系统接收并处理该图像，以识别该图案并三角测量每个图案相对于照相机的位置和方向。该处理系统利用参考数据集识别该图案。

Description

用于探测和追踪图像姿态的图像导航系统

技术领域

本发明涉及用于图像导航手术(image guided surgery)的系统，更具体地，涉及用于医疗过程中探测和追踪图像姿态的系统。

背景技术

多年来图像导航手术已经具有广泛的发展，并且目前是手术程序中非常重要的工具。大部分的改进是以体内极少到达的图像位置诸如内脏为中心。

口腔手术在本申请中被限定为任何发生在口腔内的手术，其很难可视化进行。口腔相对较小，并且对病人来说很难长时间维持张口的状态。即使手术位置是可见的，一旦钻子刺入，在任何给定的时间内也很难确定钻子的顶端在哪儿。

图像导航手术涉及使用计算或计算机化轴向断层扫描，通常称为CT或CAT扫描，来创建手术位置(通常为三维)的数字图像。然后，外科医生利用该图像制定用于手术的计划。手术期间，将之前的CT扫描产生的图像与特定的仪器一起使用，以可视地描绘出仪器的顶端在病人体内的位置。

为了这么做，来自扫描的数字图像必须准确地配准到(registered)病人手术位置，使得病人的移动引起对数字图像的调整。必须知道仪器的顶端相对于病人的准确位置。

对于口腔手术，诸如在种植牙期间，医生必须将钻子钻进自由空间，同时控制钻子随着病人的潜在移动处于六自由度。这会使钻子精确地钻进好的骨，同时避免非常困难地钻进牙根和神经。因此，图像导航手术近年来被用于促进钻孔过程，为了计划手术事件以提供恢复方案，医生利用对病人牙齿的CT扫描精确地判断骨密度、宽度和高度，并且了解其他牙齿的关系以及解剖结构，该恢复方案可能是最成功的并且具有最小的创伤。

现有的计划软件和构造系统，其利用CT图像帮助将术前计划翻译成被动手术导航(passive surgical guide)，即创建用于手术的虚拟计划，然后在牙科实验室中预构造手术导航以实施该计划。这些被动手术导航帮助医生准确地指向正确的位置、角度和深度。被动图像导航手术具有局限性，他们必须在手术前在牙科实验室中或通过导航制造商预构造。这需要医生和病人的更多的时间和花费。如果病人的口腔有变化或者医生想要改变计划，那么该导航就不再有用了。很多情况下，病人不能将他们的嘴巴张开足够大以容纳所需的仪器和导航。

动态图像导航(active image guided surgery)手术解决了被动导航系统的很多问题，即有限的最大嘴张开、预先构造被动导航的需要以及手术期间不能改变计划，这些问题都可以由动态导航系统克服。为了提供动态图像导航手术，病人嘴巴的位置，具体的骨头和牙齿，必须被精确地追踪并配准到扫描的图像和手术工具上。为了这么做，大多数传统的系统需要创建配准设备，该设备附接至病人的头部或插入到嘴巴里，该设备包括基准标记(fiducial marker)和传感器。一些配准设备附接至头外部，例如安装在头上的夹具(fixture)。为了限制对手术区域的干扰并且允许光学传感器追踪夹具和手术工具的运动，其它配准设备涉及附接至颚骨的具有传感器的夹具。

为了创建口腔夹具，在手术前几周制作通常既包括上部牙齿也包括下部牙齿的印模(impression)。然后将该印模送到实验室，在该实验室里制作实质上复制了牙齿的铸型(cast)。由该铸型制作口腔夹具，或者将其安放在牙齿上，或者设计将其钻进颚骨里。该夹具包括至少基准标记，并且如果没有装配有传感器，那么就包括光学传感器的安装位置。

实验室创建夹具之后，将其送到外科医生那里。将戴有该夹具的病人和CT扫描带进实验室。病人又一次被送回家。病人的口腔的数字图像由该扫描创建，并且外科医生制定手术计划。

然后又将病人带来以进行手术。将夹具附接至病人。将光发射机定位在病人附近，并且其发射由传感器探测到的信号。当病人的嘴巴移动时，传感器发送信号至软件，从而对病人口腔的数字图像做调整。该软件也追踪仪器的位置，并且描绘相对于牙齿的数字图像处于正确位置的仪器的图像。

除了给病人造成的不方便，现存系统常常很难精确地将病人配准到数字扫描。所有目前的牙科动态图像导航手术系统涉及光学追踪，其需要将夹具放置在病人的嘴里，并且延伸到最外面以被光发射机或接收器探测到。

发明内容

本申请公开了用于追踪可移动(displaceable)物体在坐标参考框架中的姿态的系统。该系统包括位于或附接至被追踪物体上的光学可视目标图案(pattern)。该图案包括多个2D有鲜明对比的形状(2D contrasting shapes)，设置该有鲜明对比的形状从而将该图案与其它图案唯一地区分开。

与该物体间隔开的光学传感器组件，将该光学传感器组件定位并且配置以捕获该图案的至少部分的图像，匹配该传感器组件以生成该图案的该部分的至少一对2D图像，每个2D图像与其它2D图像处于该图案的该部分的不同视角；以及

处理器，用于检索存储的数据，该存储的数据用于多个不同图案，包括光学可识别的定义点的一组3D坐标，该定义点基于图案中有鲜明对比的形状的设置。该处理器配置为从该传感器组件接收该图案的该部分的该2D图像。基于该2D图像中的有鲜明对比的形状与该存储的数据之间的相关性，编程该处理器以识别该2D图像中的不同的图案之一。编程处理器以定位该2D图像中的定义点，以及基于用于被识别的不同图案的该2D图像中定位的定义点和该存储的数据中的该3D坐标，利用变换确定该物体的姿态。

优选地，该处理器配置为计算在每个该2D图像中的该图案中的该定位的定义点的3D坐标。

在一个实施例中，其中2D有鲜明对比的形状位于贴片(tile)上，并且其中目标图案包括多个贴片。该2D有鲜明对比的形状是有鲜明对比的方框或者方格(box or square)。

为了与该存储的数据中的该3D坐标相关联，该处理器利用该变换提供对该2D图像中定位的该定义点的2D平移、旋转以及缩放，该存储的数据用于被识别的不同图案。优选地，该变换是刚体变换。在一个实施例中，该变换是3D仿射变换。该变换可以包括非线性变形，以使设置与非平面表面一致。优选地，该非平面表面选自组，该组包括限定球面的一部分的表面、圆柱表面以及锥形表面。

如附图中绘示的，根据以下对优选实施例的详细描述，本发明的前述和其它特征以及优点将变的更加明显。如可实现的，能够以各种方式修改本发明，该修改都不脱离本发明的范围。因此，应将附图和说明书认为是本质性的绘示而非限制目的。

附图说明

出于绘示本发明的目的，在图中展示较佳形式。然而，应当理解，本发明并不限于图中展示的精确配置及工具。

图1是用于本发明实施例的具有附接至口腔夹具的图案显示表面的追踪组件的透视图。

图2是图1中的口腔夹具和追踪组件的顶视图。

图3是根据本发明的具有附接至口腔夹具的追踪组件的另一个实施例的透视图。

图4是图3中的口腔夹具和装置组件的侧视图。

图5是根据本发明的用于将追踪组件附接至口腔夹具的托架的侧视图。

图6是图5中的托架的不同的侧视图。

图7是根据本发明的附接至牙科仪器一起的追踪组件的另一个实施例的透视图。

图8是图7中的牙科仪器和追踪组件的侧视图。

图9是移除了图7中的牙科仪器的托架组件。

图10是用于追踪组件的图案显示表面的图案的一个实施例的绘示。

图11是设置有四个追踪图案的装置贴片，用于唯一地追踪该图案。

图11A是图11中的追踪图案的部分的放大视图。

图12是绘示了确定模型状态的传统方法的流程图。

图13是绘示了根据本发明的确定模型姿态的方法的流程图。

图14是根据本发明的具有成像照相机的口腔夹具和牙科仪器的示意图。

具体实施方式

通过提供用于手术期间有效地追踪病人的运动的图像导航系统，本发明解决了现有技术的缺陷。以下将对本发明进行描述，其涉及口腔手术以及对病人嘴巴的运动的追踪，但是本发明并不必需限定于该实施例。在一个实施例中，图像导航系统包括多个照相机，其位于口腔外侧以提供光学可视图案的图像，该照相机通过口腔夹具附接至病人，并且位于正在进行飞手术区域之外。利用该图像探测并追踪病人嘴巴、和/或手术仪器或工具的运动。处理系统接收并处理该图像以识别图案，并对相对于每个照相机的位置和方向作三角测量。该处理系统利用参考数据集，该参考数据集基于与口腔解剖的一部分的对准定义了参考坐标系统。该处理系统基于该参考数据集确定被追踪的手术仪器和口腔夹具的位置和方向。

现在参考附图，示出了用于口腔手术程序的图像导航系统10的实施例。很明显，具有发明性的特征并不限于口腔手术程序，并且也可适用于其他手术程序。在一个实施例中，系统10包括口腔矫治器或夹具12，其设计为附接至病人的一个或多个牙齿。共同未决的申请序列号为14/209,500的申请描述了一种合适的夹具，其内容通过全文引用的方式并入本文中。本文中标记为12的夹具的细节也可在上述申请中发现。优选地，夹具12可移除地附接至病人牙齿，并且包括支架14，其由合适强度的材料制成，优选地为热固塑料材料，其足够坚硬从而当遭受以下讨论的高温时不会变形。在一个实施例中，该塑料材料是聚苯砜或共聚甲醛。支架14包括基座16，优选地，该基座16是具有内壁18和外壁20的平面。内壁18和外壁20附接至基座16，并且从基座16向外延伸。优选地，壁18和20以相对基座16基本或大致合适的角度从基座16向外延伸。然而，可以理解这些壁可以相对基座16处于其它需要的角度。优选地，壁和基座形成为整体构件。外壁20和内壁18之间的空间大于将要将夹具12附接于其上的牙齿的宽度。非常明显的是，为成年人和小孩设计的夹具的壁18和20之间的空间可以是不同的。优选地，壁18和20具有从基座开始的高度，安装时该基座延伸到病人牙齿顶部的下方。优选地，当将覆盖材料安装在病人牙齿上时，该高度足够大以从咬合的表面向下延伸大约10mm至13.6mm。

如在共同未决的申请序列号为14/209,500的申请中描述的，口腔夹具12还包括位于支架14的内表面上、优选地位于基座16上的可塑的热塑性材料。该可塑材料设计为形成病人牙齿的一部分的印模。更具体地，当该可塑材料处于非固化(未凝固)状态时，通过将口腔夹具12(其上具有可塑材料的支架14)放进一碗温水或热水中将该材料“激活”，水的温度高于该材料开始变的可塑的温度。优选地，所选的材料具有为用户提供可视指示的特征，该指示即为材料已准备好被铸模，诸如改变颜色(例如从白色变为清色或透明)。一旦材料被激活，将口腔夹具12放置在病人牙齿上，并且施加轻微的向下的压力，该压力使可塑材料围绕支架的壁18和20之间的牙齿的顶端和至少一些侧面变形。经过规定的时间段之后，大约30秒至1分钟，该可塑材料形成由材料覆盖牙齿的外部形状的印模和轮廓。另外，通过将具有可塑材料的口腔夹具12放进冷水或冰水中以完成定形过程来进行固化。

选择的材料必须在处于通常人体嘴内的温度(一般大约100°F)时保持固态(固化的)，并且在高于该温度(例如高于130°F)时可塑，至少直到其被初始地定形。该材料在固态时应该足够硬，从而维持印模的形状而不会变形。用于本申请的合适的热塑材料包括聚苯砜或聚二甲硅氧烷(PVS)。然而，可以定形并且维持印模的任何类型的可塑材料都可以用于本发明。铸模过程中可以将该可塑材料调味以使病人愉悦。使用的材料数量根据需要被铸模的牙齿数量和大小而变化。

口腔夹具12还包括安装在支架14上的多个基准标记80，用于该系统确定口腔夹具14(以及照相机)相对于病人牙齿的位置。标记80位于夹具12上的某个位置，并且是配准系统的一部分，该配准系统用于正确地定位夹具12。如以下将要详细讨论的，在CT扫描病人的口腔期间探测基准标记，并且将他们的位置配准到扫描中。优选地，具有至少三个基准标记80，彼此间隔开并且牢固地附接至支架14。三个基准标记的使用允许口腔夹具的位置是三维的。基准标记可以位于基座16上和/或壁18和20上。

基座标记80可以是球形和/或有颜色的，从而可以很容易地被技术人员或医生以及正在使用的软件探测到。更具体地，为了使基座标记80被扫描的图像探测到，基座标记80必须具有与夹具、可塑材料和牙齿不同的放射密度(即由CT扫描探测到的密度)。在一个实施例中，基座标记80是陶瓷球轴承。然而，也可以使用其它材料、形状和尺寸。优选地，基座标记80每一个具有自己的放射密度或者不同的尺寸或形状，使得可以使用软件程序自动地探测到扫描图像中不同的记载标记80。如下将进一步讨论的，该软件也可以在扫描图像中施加与标记的颜色对应的颜色或形状，以帮助配准口腔夹具12。也应当预计到，基准标记可以包括无源光学属性，诸如反射表面或漫反射表面，或有源光学属性，诸如发光材料，用于可视地定位相对于照相机或其它位置的标记。

虽然优选地基准标记通过他们的放射密度与牙齿和口腔夹具12区分开，但是也应当预计到，除了密度也可以利用其它显著特征。例如，标记可以是预先固定的发射器或其它位置定位设备。

口腔夹具12还包括附接至或与支架14形成为一体的至少一个底座26。在绘示的实施例中，底座26从外壁20向外延伸。如下将要讨论的，底座26配置为具有附接其上的、用于追踪夹具12的移动(位置变化)的追踪组件200。在一个实施例中，底座26包括至少一个法兰28，并且更优选地具有两个分隔开的法兰28、30，其从夹具12侧面延伸出。每个法兰28、30可以包括形成在法兰28、30的相对的侧面的凹口或压痕32。

托架组件100可移除地附接至口腔夹具12的底座26，并且配置以支撑追踪组件200。在绘示的实施例中，托架组件包括可移除地附接至夹具上的法兰28、30的托架底座102、支撑臂104以及追踪底座106。该托架底座102包括两个间隔开的安装杆108A和108B。优选地，每个安装杆108包括突起110，其配置以与凹口啮合并坐落在凹口32中，使得安装杆108A、108B位于法兰28、30的两侧并位于法兰28、30上。

支撑臂104包括主体部分112和夹具部分114，并且在杆108A和108B之间延伸。在一个实施例中，支撑臂104牢固地、优选地固定附接至杆108A中的一个。优选地，其他杆108B(距离主部分112最远的一个)可滑动地放置在夹具部分114上，使得杆108A和108B之间的空间是可调的。夹具部分114的末端穿过杆108B。优选地，夹具部分114的远端形成有螺纹(没有示出)。把手116被拧至夹具部分的远端。如图6所示的，追踪器壁销113用于将杆108可捕获地附接至支撑臂112上。这允许杆108围绕支撑臂112自由地旋转。当将杆108A安装到夹具12上时，其紧靠法兰28、30，使得突起部分110坐落在凹口32内。其它杆108B滑到支撑臂114的夹具部分的远端，直到其凸起部分坐落在其它凹口32内。把手116被拧紧，从而将壁104固定至口腔夹具12。很明显，反之，杆108可以包括凹口部分，并且法兰28、30可以具有突起部分，或者杆和法兰可以简单地具有嵌入式安装表面。

如上所讨论的，壁104的另一端包括用于连接夹具追踪组件200的追踪底座106。在绘示的实施例中，该追踪底座106包括有螺纹的螺纹桩(threaded stub)118和基座120。优选地，基座120具有一连串的牙齿或压痕以及凸起122。优选地，基座120和螺纹桩118与壁104的主体部分112是一体的。

夹具追踪组件200附接至装置底座106，其优选为可调节。更具体地，夹具追踪组件200包括框202，其附接至托架组件100的追踪底座106。如将要更详细讨论的，该附接配置优选为允许该框关于该托架组件100可调节地定向。在绘示的实施例中，框202包括具有螺纹的孔203(图4示出)，其与壁104的桩118上的螺纹啮合。优选地，这里有一系列牙齿或压痕以及突起122，将其配置为与托架组件100上的牙齿或压痕以及突起122紧密配合。配合的牙齿122/204的包含(inclusion)允许精确的和可重复的调节框202相对于支撑臂104的位置。在绘示的实施例中，将夹具追踪组件200安装到托架组件100上，以允许将该追踪组件可锁定地定位在关于轴206旋转的不同位置。

该追踪组件包括附接至或形成在框202上的图案显示表面208。通过调节夹具追踪组件200至托架组件100的附接，改变该图案显示表面208关于轴206的方向是可能的。这是有益的特征，因为其允许图案显示表面208在使用期间朝向合适的位置，从而利用外部安装的照相机提供对表面的最大的探测性。

该图案显示表面可以具有任何合适的形状。在图1和图2示出的一个实施例中，该追踪组件的图案显示表面208是具有轴的基本上圆柱形的，优选地，该轴与轴206共线。在图3和图4示出的另一个实施例中，该追踪组件的图案显示表面208大体上是平的或平面的。很明显，可以将任何其他形状与本申请一起使用。

追踪图案210放置在或形成在图案显示表面208上。追踪图案210是光学可视图案，其配置以为外部安装的照相机提供可视参考点以进行探测，以供计算机系统使用从而追踪该追踪组件的位置和运动，进而追踪该口腔夹具的位置和运动。在实施例中，该追踪图案可以包括追踪组件200的表面上分隔开的一系列不可重复的快速参考(non-repetitiveQuick Reference)或QR码。申请序列号为14/209,500的申请描述了一些可以用于本申请的追踪图案。图10绘示了可以用于本申请的2D追踪图案。

也可以使用条形码、Aztec码或其它2D码或图形图像。优选地，该图案使用有鲜明对比的颜色，诸如黑色(密集的交叉影线示出的)和白色，以便于系统探测和识别。设置棋盘方格(checkerboard squares)的布局使其可以很容地和快速地被识别。应当预计，也可以使用其他机制提供需要的参考数据，该参考数据包括LED、数据矩阵、数据图像或者类似于盲文的高或低的特征(raised or lowered features)。该追踪图案208可以形成在粘附于该追踪组件的框上的材料层上。可选地，该追踪图案可以塑造在或刻蚀在或者直接放置在该框上。

预计为了便于探测，可以配置夹具追踪组件200提供逆光或其它机理以增加追踪图案210的对比。如果追踪组件是背光的，那么优选地，追踪图案210由至少部分透明的或半透明的材料制成，从而增强对比。预计也可以使用荧光材料以便于探测。

现在参考图7-9，示出了根据一个实施例的手术工具追踪组件300，其安装在手术牙科工具302诸如钻子上或安装在手术牙科工具302的一部分上。该工具追踪组件300包括工具底座304，其配置为将工具图案表面306固定至该工具302。该工具底座304包括开口308，其以固定的方式安装在工具302的体310周围，使得该追踪组件与该手术工具一起移动。可以利用本领域公知的很多不同的机械装置完成该附接。例如，该工具追踪组件附接有例如夹头或类似公知的机械装置，可以将该夹头或机械装置可拆卸地拧到或压制到该工具体，从而将该工具追踪组件固定到该工具。可以包括孔以允许冲洗管子和照相机线。

类似于该夹具追踪图案210，工具追踪图案308放置在或形成在该工具图案表面306上。工具追踪图案308是光学可视图案，其配置以为外部安装的照相机提供可视参考点从而进行探测，以供计算机系统使用从而追踪该工具追踪组件300的位置和运动。图10中示出的图案可以用作工具追踪图案。

现在参考图11，其示出了追踪贴片400的实施例。在该实施例中，追踪贴片400包括追踪图案210的部分。更具体地，当四个追踪贴片设置为如图11所示时，这四个贴片的交叉点限定了如由虚线指示的该追踪图案210。在该绘示的实施例中，轻的交叉影线框(lightlycrosshatched boxed)在本发明的范围内即可以是黑色的也可以是白色的。对轻的交叉影线框以及贴片400上的其他框的颜色的选择允许唯一地限定贴片，使得系统可以识别单个贴片400。

使用追踪贴片400会有几个优点。第一，平均每个贴片包括大概50％的强度(即50％亮的和50％暗的)。这会提高计算机系统通过照相机对贴片中的框的探测能力，可以通过允许计算机系统调整照相机的增益和曝光来最大化探测性能。同样，当将四个贴片400设置为如图11所示时，每个追踪贴片400包括至少13个定义点402，其在优选的实施例中是x-角，即具有相反颜色(即黑色(密集的交叉影线)和白色)的相邻框之间的两条交线的中心点。选择如所定义点的x-角的优点为，可以将中心点的位置定位至亚像素精度，并且该位置在典型的图像退化下是稳定的，尤其在照明过度和照明不足以及传感器噪声中。然而，可以利用其它类型的定义点以及不同类型的定义点的结合，例如圆或其它形状的质心，以及在形状上具有明显角度的区域的拐点。更具体，并且参照图11A，其是四个相邻框具有相反颜色的放大视图，线408将具有相反颜色(404为白色，406为黑色(密集的交叉影线))的相邻框分开。在一个实施例中，编程系统使其探测两个截然不同的颜色，本例中为白色和黑色，并且在具有这些颜色的相邻框之间设置线。例如，当系统探测到两个相邻的截然不同的颜色时，其在这些截然不同的颜色框中寻找一系列两个或多个相邻点A、B，并且在该系列点A、B之间定义线408，进而在两个相邻的块404、406之间定义线408。为了探测具有交替的、截然不同颜色的四个相邻框，系统会分析该模式，该四个相邻框形成了图11A中的方块。两个框之间的线408的交点穿过定义点402。探测图像中x-角的可选方法为本领域技术人员公知的通过分析Harris角探测器中的图像结构张量。在最广泛的实施例中，每个贴片都是图案的唯一可识别(不模糊的)的子集。同样预测，贴片可以与其它贴片重叠，并且不需要将其定形成一系列方块形，而可以是奇怪的形状。

在具有不是x-角的定义点的实施例中，可以使用对定义点的特定形状敏感的替代探测算法。例如，如果定义点包括圆形特征点质心，可以使用这样的算法，诸如拉普拉斯-高斯算法、高斯差分或海森行列式算法。

如上讨论的，当将四个贴片400设置为如图11时，每个追踪贴片400包括至少13个定义点402。该系统包括多个图案上的查找表或存储的数据，包括框的尺寸和设置(例如位置)以及不同图案中的定义点。该系统还包括用于将图案数据转换成目标坐标系统的变换(变换矩阵)。优选地，该变换是刚体变换或3D仿射变换，包括3D旋转、平移、缩放以及反变换。预计该变换可以包括非线性变形以使该设置符合非平面表面。

更具体地，在一个实施例中，每个贴片具有以下特征：(i)其包含具有两种(或更多种)截然不同颜色(优选地，白色和黑色)的方格；(ii)定义点只出现在该格的位置(交点)，并且(iii)印在平面表面上，这意味着在透视成像下(即当由记录图像的照相机在任意方向上观察到的)，贴片似乎由局部仿射变换(意味着印刷的方形贴片将在图像中看似被拉伸和歪曲成棱形)进行了变形。

对于使用了平面贴片的情况(即贴片上的格印刷在平面表面上)，诸如图3中的图案贴片设置，该系统对每个定义点做如下分析：

a.定位相邻的定义点。更具体地，在一个实施例中，定义点可以是简单的另一个定义点的邻居(基于欧几里得距离)。在另一个实施例中，临近距离可以由沿着高对比度边缘的距离替代。可以考虑很多其他距离函数。

b.利用被分析的定义点和临近的定义点，确定该定义点和其临近的定义点中的两个之间的一对基向量。

c.然后利用该基向量计算校正的仿射变换，其将会将棱形图像路径(image path)变换成方形图像路径，这些角中的三个是定义点和其两个临近的定义点(即将探测到的图像中定义点的位置转换成在平面印刷的贴片中使用的方格的变换)。

d.然后，假设探测到的该三个点在贴片的角和边缘处，那么系统利用该反射变换来预测每个格的位置将会位于图像中什么位置(实质上根据该仿射变换在具有歪曲格的图像上创建了覆盖部分)。

e.在每个预测的格位置分析该图像以计算描述符(descriptor)。描述符描述了局部区域。在一个实施例中，它是表示贴片的9×9矩阵，该矩阵中的每个元素是x-角类型。该x-角类型应用至局部2D坐标系统中，即该基向量定义了局部坐标系统，该局部坐标系统允许用“右”和“上”定义。在该坐标系统中，如果左上方的图像路径是亮的(并且右上方式暗的)，那么该x-角就是向左的，如果出现相反的图案，那么就是向右的。因此，矩阵中的每个元素或者是向左的、向右的，或者没有探测到x-角。

f.然后，计算出分数，该分数表示该描述符与存储的编码方案的匹配程度。在本发明中，可以在景象的部分位置探测到x-角，这些部分位置不在图案之内。同样地，很多选择的三个临近的定义点的结合事实上也可能不与贴片的角和边缘对应。为了分析这些伪探测，需要证实该x-角的结构与所选的编码方案的内部关系是一致的。在优选的实施例中，不同格的位置之间具有定义的关系(例如，每个贴片在已知的位置(即点，由于选择的编码方案x-角，该点保证会出现)具有四个配准标记R，所有标记具有与这四个贴片角中的每一个相同的方向)，这会便于测试该假设，即三个特征分别位于贴片角和2个临近的贴片边缘。配准标记是贴片的一部分，无论特定的贴片的编码的标识是什么，该标记都是恒定的。因此，该9×9矩阵的元素之间具有预定的关系。例如，在一个实施例中，贴片角(元素[0,0]；[8,0]；[0,8][8,8]以及配准标记(元素[2,2]；[6,2]；[2,6]；[6,6])都是具有相同x-角类型(向左或向右)的x-角)。具有与这些预定的关系不一致的结构的描述符是被拒绝的。

g.一旦系统证实已知的关系存在，那么为了确定对被观察的贴片的识别，就可以解码被编码的数据。

在贴片没有形成为平面而是定义在或形成在非平面表面上的情况中，例如，图案形成在圆柱形(图1)或钻头锥形(图7)上，假设整个贴片的格由仿射变换变形的上述过程就不再适用。反之，系统假设贴片只在贴片的小的子区域内局部地仿射，并且以平缓的方式从该区域变化。将上述步骤(b)-(d)修改为只预测附近的格位置，即与已经被确定具有一组x-角的格位置相近的格位置。在一个实施例中，附近的格位于定位的x-角的两个格单元(利用L-无穷距离(L-infinity distance))内，在这一点上，系统假设图案是足够平稳变化的，使得当沿着该路径将只具有小校正的格选择成仿射基时，仿射假设是有效的。因此，通过旋转格并且沿着该路径校正仿射基，该系统可以以与具有曲率的贴片相同的方式处理平面贴片。在平面贴片上，该校正有效地将为零。为了校正来自纯粹仿射假设的偏差，计算关于探测到的定义点的每个子集的基向量。

一旦计算出用于被分析的图像的一组描述符，将每个描述符与存储在系统中并且与特定贴片相关的描述符库比较。例如，如上讨论的，矩阵可以包括：向左的x-角，用元素-1表示，没有x-角的，用0表示，向右的x-角，用1表示。在一个实施例中，由于每个描述符可以与几个可能的特定贴片相关，因此，计算每个探测到的描述符和每个库描述符之间的分数。利用附加的相关信息例如某些点应当被定位的位置，对最高分进一步处理以确定贴片。

在实施例中，该系统包括或者能够访问由一个或多个贴片形成的追踪图案的模型的数据库。本发明预计该模型分为两种截然不同的模型设置。在第一个实施例中，所有存储的模型具有贴片的唯一子集，模型之间不会产生重复贴片。在这种情况下，知道了单个的贴片就确定了正在使用哪种模型。每个模型是唯一的，使得在模型之间不存在贴片设置的重复。因此，贴片的识别假定了模型姿态(model pose)。即模型库中的每个模型包含一组贴片，这些贴片是该模型的成员。

在模型的第二种设置中，很多模型将分享相同的贴片，但是具有不同的设置。因此，系统必需为每个模型生成假设，探测到的贴片是该模型的成员。在这种情况下，探测两个或多个贴片将帮助证明模型的正确性。在另一个设置中，由于噪声和其它因素可能影响对x-角的探测，必须如以下讨论的对该特定模型进一步分析以确认该模型。

对于模型中的每个贴片，数据库包括格上每个点的3D模型位置，定义点应当出现在该格上。对图像中贴片的识别允许系统选择适用于被观察的图像的模型，并且允许确定图像坐标中至少四个贴片角和该贴片角的四个3D模型位置之间的对应关系(correspondence)。通过传统的3D姿态(pose)估计过程，该系统从该至少四个匹配中估计刚体变换，该刚体变换定义了照相机质心坐标系统中模型的空间关系。

然后，优选地，系统利用该估计的刚体变换，将所选模型中的其余贴片应用至图像。将这些额外的贴片与贴片识别假设对比测试，并且将与给定的模型组合一致的假设以的数量及刚体变换集合在一起。只有具有很多积极-被识别贴片的模型才会被考虑为正确的模型，即该贴片数量超过某个阈值，例如三个正确的被识别贴片。

一旦每个照相机到达该处理步骤的末尾，就应当知道哪个图像定义点(从而，知道2D图像的位置)对应于哪个模型定义点(从而，知道3D模型的位置)。一旦两个照相机都确定了这些对应关系，那么确定立体特征匹配就是匹配与一般模型定义点对应的图像特征。这可以利用已知技术完成。没有必要采用核线约束或修剪(epipolar constraints pruning)产生一组对应关系。这是因为可以正确地识别定义点，并且具有有限的对模型的伪识别，并且没有虚假匹配。

如上描述的，利用变换，系统能够唯一地识别基于追踪图案210、308上的定义点402的模型。一旦执行该操作，那么再利用已知技术通过三角测量对应的图像定义点对来执行立体重构。这在图13中的步骤1100、1110、1120中示出了。然而，只有已知好的图像匹配被通过作为输入，并且重构的3D点(立体追踪器坐标)与3D模型点之间的关联(association)通过该步骤。查找匹配(步骤1110)的输出提供左侧图像中的一组像素位置与右侧图像中的一组像素位置之间的1:1关联。利用已知的两个照相机的设置，通过标准三角测量技术，对每个左/右像素位置对三角测量以生成景象中特征的3D位置的估计。在固定到立体追踪系统中的坐标系统(例如，可以利用左相机位置或右相机位置，或两个相机之间的中心定义该坐标系统的原点和轴。相反，3D模型点定义在模型-质心坐标系统中(例如锥轴是z轴，小的一端的中心是(0，0，0)))中确定这些3D坐标中的每一个。绝对定向(absoluteorientation)确定这两个坐标系统(追踪器-质心和模型-质心)之间的变换。

一旦知道(步骤1130)特定3D追踪器点(即在追踪器-质心坐标系统中的点)和特定3D模型点(即在模型-质心坐标系统中的点)之间的至少三个对应关系，那么，就可以利用传统的绝对定向过程(步骤1140)确定追踪器坐标系统相对于模型坐标系统的刚体变换，从而确定(步骤1150)模型在追踪器坐标中的空间位置和方向。同样，将贴片400和追踪图案210的姿态绑定到该模型。然后，系统利用该数据描述口腔夹具和工具夹具的实际运动，以及相对于扫描的感兴趣区域的图像(例如事先扫描的口腔的图像)的相关模型的运动。

美国专利申请号为14/209,500的申请描述了形成口腔夹具12、扫描夹具12上的基准的位置、以及将事先扫描的图像配准到实际的视频图像上的过程。一旦形成了口腔夹具12，就将托架组件100附接至口腔夹具12上的法兰28、30以及夹具追踪组件200。口腔夹具12附接至病人的合适的牙齿。

参考图14，为了确定病人佩戴的口腔夹具12和手术工具302的位置，本发明利用安装在某一位置的两个外部照相机800观察夹具追踪图案210和工具追踪图案308，并且探测如上描述的定义点。将来自照相机800的数据发送至处理器810，其执行以上描述的以及图13绘示的步骤中一些或全部。据此系统确定追踪图案在预定坐标系统中的位置(姿态)和它们的运动。系统利用来自扫描图像上的口腔夹具12上的基准标记的位置，以及它们与夹具追踪组件200的关系，来确定病人的运动和工具夹具组件300相对于口腔夹具12的位置，然后，计算工具钻头相对于手术部位的位置。

相对于现有技术中存在的立体追踪系统，本发明提供很大的优点。第一，优选地，本发明在每个照相机上实施很大数量的独立于其他照相机和主处理系统的高计算成本的步骤。这允许更容易地缩放(scaling of)该系统，尤其当系统中照相机的数量超过两个时。在传统的立体追踪系统中，对特征匹配的需要将随着O函数(Nc²)增长，其中Nc是在标准立体追踪系统中使用的照相机的数量。

预计可以在照相机的处理器中执行该过程，并且可以将程序和数据嵌入到与处理器相关联的存储器中。

可以将这些照相机远程放置在分布式网络上。产生的通信宽带是传输图像本身或者甚至是传输传统系统中需要的一组图像特征点所需宽带的很小一部分。

被识别贴片的丰富特性使模型的伪识别可能性极小，反之，在标准立体追踪情况下探测到的非模型物体上的大数量的特征增加了很多伪模型识别的可能。

然而以上描述中，术语“贴片(tile)”指唯一可识别的单元，可将其设置以形成光学图案，该术语不限于临近的、非重叠的这样的单元的“贴片”的传统概念。共同未决的申请序列号为14/209,500的申请详细描述了交错的编码方案，其中为了增强双尺度检测(two-scale detection)，多个贴片重叠在或占据图案的相同部分。预计即使在传统的贴片式图案中，也可以选择对独特贴片的该设置，使得通过每四个贴片的连接(junction)形成另外独特的贴片，该另外独特的贴片是最邻近该连接的贴片的组合，如此，图案上的每个路径都是具有2个或多个贴片的成员。这样的贴片会有这样的优点，即当图案的部分看起来模糊时，就需要更多可视的完整的贴片以助于模型识别。然而，以上的描述中贴片边界具有90度角，进一步预计，贴片边界可以包含任意折线或圆形线段。共同未决的申请序列号为14/209,500的申请中的该双尺度编码方案包括方形贴片和具有孔的复杂贴片的组合。

用于追踪和确定各个元件的运动的计算和编程技术是众所周知的，因此，不需要进一步的信息。

前述实施例是基于病人有足够的牙齿安装口腔夹具12和夹具追踪组件200的假设。然而，如果病人口腔的状况不允许单独或同时附接口腔夹具12和夹具追踪组件200，本发明想到可以将任意元件直接安装在病人的颚骨上。

然而，以上描述涉及手术工具或包括钻子的仪器，术语“手术仪器”或“手术工具”意在覆盖口腔手术期间使用的其它工具，诸如用于切除组织的切除工具，该组织包括小孩的第三臼齿。

可以在任何形式的计算机上实施本文中描述的系统，并且可以将元件实施为专属应用或在客户-服务器结构中实施该元件，该结构包括基于网络的结构，并且可以包括函数程序、代码和代码片段。本发明中的系统可以包括存储在计算机上和/或存储设备(录入媒介)中的软件程序，和/或可以通过网络执行。可以通过存储在存储媒介上的程序代码或程序模块实施本方法。

出于促进理解本发明的原理的目的，对附图中绘示的优选实施例做了标记，并且采用特定语言描述这些实施例。然而，这些特定语言并不与用于限定本发明的范围，并且应当将本发明理解为包含本领域技术人员可能正常想到的实施例。

可以不同的处理步骤的方式描述本文中的实施例。可以通过任何数量的硬件和/或执行该特定功能的软件元件实现这样的处理步骤。例如，描述的实施例可以采用不同的集成电路元件，例如存储元件、处理元件、逻辑元件、查找表等等，其在一个或多个微处理器或其它控制设备的控制下可以执行各种功能。类似地，凡可以利用软件程序或软件元素实施所描述的实施例的元件的，也可以利用任何程序或脚本语言诸如C、C++、Java、汇编等实施本发明，这些程序或脚本语言具有利用数据机构、对象、进程、例程或其它编程元素的任意组合实施的各种算法。功能方面可以在算法中实施，该算法可以在一个或多个处理器中运行。并且，本发明的实施例可以采用任何数量的传统技术用于电子构型、信号处理和/或控制、数据处理等。词“机械”和“元件”被广泛应用但不限于机械或物理载体，还可以包括与处理器相关联的软件例程。

本文中示出和描述的特定实施例是本发明的说明性示例，然而并不能用于限制本发明的范围。为了简洁的目的，可以不详细描述传统电子设备、控制系统、软件发展和系统的其他功能方面(以及系统的单个操作元件的组成)。

最后，可以以不同于本文中指明的或与本文中明显相反的任何合适的顺序执行本文描述的所有方法的步骤。除非另作说明，本文中使用的任何和所有例子或示例性语言(例如“诸如”)仅仅用于更好地说明本发明，并不是对本发明的范围做限定。在不背离本发明的精神和范围的情况下，各种修改和改变对本领域技术人员来说是很明显的。

Claims (12)

1.用于追踪坐标参考框架中的可移动物体的姿态的系统，该系统包括：

正在被追踪物体上的光学-可视目标图案，所述图案包含位于贴片上的多个2D有鲜明对比的形状，所述有鲜明对比的形状被设置从而将所述图案与其它图案唯一地区分开；

光学传感器组件，与所述物体间隔开，将所述光学传感器组件定位并且配置以捕获至少一部分所述图案的图像，所述传感器组件包括至少两个照相机，每个照相机配置以捕获所述一部分所述图案的2D图像，每个2D图像与其它2D图像处于所述一部分所述图案的不同视角；

存储的数据，用于有鲜明对比的形状的多个不同图案，该存储的数据包括，对于每个不同图案，基于图案中有鲜明对比的形状的设置的、定义点的一组3D坐标，以及

处理器，与每个照相机相关联，用于检索用于有鲜明对比的形状的所述多个不同图案的所述存储的数据，所述处理器配置为在所述2D图像中定位多个定义点，并且确定所述每个定义点和其邻近的两个定义点之间的一对基向量，所述处理器配置为，利用该基向量确定适用于每个2D图像中图案的有鲜明对比形状的校正仿射变换，并且利用该校正仿射变换预测每个图像中的格的位置，所述处理器配置为在每个预测的格位置分析所述2D图像以确定一组描述符，每个描述符描述了相应的局部区域，所述处理器配置为比较所述描述符与所述存储的数据中的并且与特定贴片相关的描述符库，计算每个描述符与每个库描述符之间的匹配分数，对最高分数进行处理以确定相关的贴片，以及

处理器，配置为访问由一个或多个贴片形成的追踪图案的模型的数据库，该数据库包括格上每个定义点的3D模型位置，利用估计的刚体变换，唯一地识别基于追踪图案上的定义点的模型，并且利用所述照相机的已知位置执行立体三角测量，以确定每个定义点的3D位置的估计，所述处理器配置为计算刚体变换，以将上述定义点转换为目标坐标系统，从而确定所述物体的姿态。

2.根据权利要求1所述的系统，其中所述图案中的有鲜明对比的形状位于贴片上，并且其中目标图案包括多个贴片。

3.根据权利要求2所述系统，其中所述图案中的有鲜明对比的形状是有鲜明对比的方框，所述有鲜明对比的方框包括彼此相邻的方框具有相同颜色的方框组。

4.根据权利要求1所述的系统，其中所述处理器利用所述刚体变换提供对所述2D图像中被匹配的定义点的平移、旋转以及缩放，以便将所述被匹配的定义点转换为所述目标坐标系统。

5.根据权利要求1所述的系统，其中所述校正仿射变换包括非线性变形，以使所述设置与非平面表面一致。

6.根据权利要求5所述的系统，其中所述非平面表面选自以下的组，包括限定球面的一部分的表面、圆柱表面以及锥形表面。

7.根据权利要求1或4-6任一项所述的系统，其中所述有鲜明对比的形状包括具有不同颜色的相邻方框，每组相邻方框通过边缘与其它相邻方框分隔开，并且其中所述处理器将定义点定位在两个或四个交叉的边缘的中心点上。

8.根据权利要求1或4-6任一项所述的系统，其中所述有鲜明对比的形状是黑色方框和白色方框的混合格，每种颜色的方框的数量足够大以产生大致50％的强度。

9.根据权利要求8所述的系统，其中，所述格包括彼此相邻的多个黑色有鲜明对比的方框和彼此相邻的多个白色有鲜明对比的方框。

10.根据权利要求1所述的系统，还包括在被跟踪的第二物体上的第二光学可见目标图案，所述第二光学可见目标图案包含位于贴片上的多个2D有鲜明对比的形状。

11.根据权利要求10所述的系统，其中，所述可移动物体和所述第二物体中的一个是手术器具，并且所述可移动物体和所述第二物体中的另一个是要附接到病人的夹具。

12.根据权利要求1所述的系统，其中与每个照相机关联的所述处理器被配置为在贴片定义在非平面表面上的情况下，则只在贴片的小的子区域内局部地仿射。