CN113260335B - 用于测量牙周袋深度的系统 - Google Patents

Abstract

根据实施例，公开了一种用于测量由牙齿和牙龈之间的间隙限定的牙周袋的深度的系统。该系统包括框架、至少一个相机和处理器。框架被配置为由用户穿戴。至少一个相机附接到框架并且被配置为捕获口内目标区域的至少一个2D图像。至少一个2D图像包括牙齿的至少一部分、由与牙齿的至少一部分相邻的牙龈的一部分限定的牙龈边缘以及当探针尖端插入牙周袋时的探针尖端的表示。处理器被配置为接收捕获的至少一个2D图像。处理器还被配置为通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术，确定与牙龈边缘有关的探针尖端在牙周袋中的插入长度。所确定的插入长度表示牙周袋的深度。

Description

用于测量牙周袋深度的系统

技术领域

本公开涉及牙测量。特别地，本公开涉及用于自动测量牙周袋深度，即牙龈和牙齿之间的袋深度的方法和系统。

背景技术

牙周袋深度也称为龈沟，是从牙龈边缘(牙龈的顶部)到上皮附着(牙龈与牙齿的附着点)进行测量的，该上皮附着形成袋的底部。牙龈退缩被描述为牙龈边缘的根尖迁移，使得牙龈边缘逐渐从牙骨质釉质交界位移开，从而使牙根表面暴露于口腔环境。牙龈退缩通常以退缩的牙龈与牙骨质釉质交界之间的距离来测量。附着的丧失包括牙周袋深度和牙龈退缩测量。在没有或基本没有牙龈退缩的情况下，附着的丧失等于牙周袋深度。然而，在牙龈退缩的情况下，附着的丧失是牙龈退缩和牙周袋深度的组合。牙周袋深度的测量是检测牙周(牙龈)病的主要方法，牙周病是牙周的慢性炎症性疾病，是导致牙齿脱落的主要原因。

随着牙周疾病的发展，袋变大并且充满细菌和脓液，并且随着时间的流逝，发生组织附着在牙齿上的破坏和支撑骨结构的破坏。牙周疾病通常是无痛的、部位特定的并且经历恶化和缓解期。

为了测量牙周袋深度，牙医通常使用牙周探针。标准牙周探针在探针尖端上包括刻度或其他标记，以指示探针尖端在牙齿和牙龈之间穿透的深度。其他牙周探针设计可以包括探针尖端上的颜色编码区域，作为一种节省时间的措施，允许牙医更快地区分健康牙齿和不健康牙齿。

先前讨论的牙周探针的一个显著缺点涉及一旦探针就位于牙齿和牙龈之间，牙医在读取颜色编码或刻度时遇到的困难。可以使用头顶牙科灯，但这种布置提供的照明不足以准确和快速读取牙周探针探针尖端上存在的颜色和刻度。此外，深度测量还可能会受到将探针尖端插入袋时施加在探针尖端上的力的影响，因此，使得这种测量取决于用户的技能和经验。最后，深度测量可能必须手动输入到患者记录中。这样的手动输入不仅使过程耗时且麻烦，而且易于发生人为错误。

因此，在牙科领域中需要一种精确且易于使用的解决方案来测量和记录牙周袋深度。

发明内容

根据一个实施例，公开了用于测量牙周袋的深度的系统。该系统包括至少一个框架、至少一个相机和处理器。框架被配置为由用户穿戴。至少一个相机附接到框架并且被配置为捕获口内目标区域的至少一个2D图像。至少一个2D图像包括牙齿的至少一部分的表示、由与牙齿的至少一部分相邻的牙龈的一部分限定的牙龈边缘以及当探针尖端插入牙周袋时的探针尖端。处理器被配置为接收捕获的至少一个2D图像。处理器还被配置为通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术，确定与牙龈边缘相关的探针尖端在牙周袋中的插入长度。所确定的插入长度表示牙周袋的深度。将至少一个相机附接到可穿戴框架特别有用，因为至少一个相机捕获实时图像数据，该数据包括至少一个2D 图像，该图像表示用户使用常规数字放大镜(loupe)系统将会看到的图像，但借助使用处理器，牙周袋深度被自动确定，并且可以自动记录在患者的记录中。此外，相机在框架上的特定布置允许用户在至少一个相机捕获实时图像数据的同时保持符合人体工学的正确姿势。

在该实施例中公开的该系统可以是数字牙科放大镜系统，该系统被配置为包括稍后公开的一个或多个实施例。

根据另一个实施例，公开了一种系统。放大镜系统包括框架、至少一个相机和处理器。框架被配置为由用户穿戴。至少一个相机附接到框架并且被配置为捕获口内目标区域的至少一个2D图像。处理器被配置为接收所捕获的至少一个2D图像。处理器还被配置为处理所捕获的口内目标区域的至少一个2D图像。在该实施例中公开的系统可以是数字牙科放大镜系统，其被配置为包括稍后公开的实施例中的一个或多个。尽管关于牙周探针描述了本公开的以下实施例，但是技术人员将理解，这些实施例中的许多实施例可以用除牙周探针之外的牙科器械实施，并且这种组合在本公开的范围内。例如，可以在至少一个2D图像中识别诸如口腔镜之类的牙科器械，该牙科器械可以包括有助于识别该牙科器械及其取向的基准标记，该牙科器械可以与存储在存储器中的数字轮廓相关联。本领域技术人员将理解，没有特别为袋深度测量而记载的实施例可以与牙科器械结合使用。

在一个实施例中，至少一个相机被配置为包括固定焦距，其焦距针对距至少一个相机的预定距离范围设置，例如在30cm到60cm之间，优选地在45cm到55cm之间，并且最优选地在40cm到50cm之间。在另一实施例中，至少一个相机包括聚焦模块，该聚焦模块被配置为通过用户手动输入或自动地将至少一个相机聚焦在距至少一个相机的特定距离范围内。特定距离范围优选沿着患者的口腔跨越。这种聚焦调节可以是连续的，也可以是以分立的步骤步进，每个步骤具有不同或至少部分重叠的距离范围。距至少一个相机的特定距离范围可以在30cm至60cm之间，优选在45cm 至55cm之间，最优选在40cm至50cm之间。聚焦模块可以包括导致特定距离范围的调节，该调节允许改变至少一个相机中包括的镜头部件的焦距。

在几个实施例中，所公开的系统可以利用包括一序列的2D图像的实时图像数据，该2D图像序列包括至少一个2D图像。实时图像数据可以包括口内目标区域的视频序列，可以从视频序列中提取至少一个2D图像。相机被配置为捕获2D图像序列/视频序列，并且处理器被配置为接收2D 图像序列/视频序列并从2D图像序列/视频序列中提取至少一个2D图像。因此，捕获至少一个2D图像可以包括至少一个相机被配置为从2D图像序列/视频序列中提取至少一个2D图像和/或直接从口内目标区域捕获至少一个2D图像。

在一个实施例中，处理器被配置为对实时图像数据自动应用调节。这样的调节可以包括改变亮度、对比度、伽玛值或颜色空间中的至少一个。这将允许改善感知。这样的调节可以在图像上的全局级别或图像的一部分上，例如在感兴趣的区域(如探针等)上。

在一个实施例中，口内目标区域包括至少i)牙齿的一部分，ii)由邻近牙齿的至少一部分的牙龈部分限定的牙龈边缘，以及iii)当探针尖端插入牙周袋时的探针尖端。在另一个实施例中，口内目标区域包括至少i)牙齿的一部分，ii)与牙齿的至少一部分相邻的牙骨质釉质交界(cementoenamel junction)，以及iii)当探针尖端插入牙周袋时的探针尖端。在这些实施例中的任何一个中，口内目标区域可以进一步包括要对其测量牙周袋的整个牙齿，以及甚至口腔内的其他部分，例如与该牙齿相邻的牙齿，牙齿周围的牙龈以及相邻的牙齿，其具有或没有与这样的相邻牙齿相邻的牙龈。口内目标区域还可以包括除探针尖端之外的牙周探针的一些部分，例如被配置成当在探针尖端上施加预定插入力时偏离以显示变化的探针元件。口内目标区域还可以包括整个牙弓和口腔的其他元件(organ)，包括比如牙冠、牙桥等修复体。

在不存在或基本上不存在牙龈退缩或未发生牙龈退缩的不同实施例中，插入长度必然表示牙周袋深度，即牙周袋深度等于插入长度。在第一实施例中，牙龈边缘至少基本上与牙骨质釉质交界对齐，并且处理器被配置为通过确定插入长度来确定与牙龈边缘相关的袋深度。可以根据本公开中包括的任何实施例来执行插入长度的确定。因此，在没有或基本上没有牙龈退缩的情况下，附着的丧失等于所确定的袋深度。在第二实施例中，其中已经发生了牙龈退缩并且牙龈退缩远离牙骨质釉质交界。处理器被配置为根据本公开中的任何实施例通过确定袋深度来确定与退缩牙龈边缘相关的袋深度。在以下段落中公开了对于该实施例的附着丧失的确定，并且考虑了袋深度和牙龈退缩两者。

在存在牙龈退缩的实施例中，插入长度仍表示牙周袋深度。然而，附着的丧失等于插入长度和牙骨质釉质交界与退缩的牙龈边缘之间的距离的组合。根据所公开的实施例之一，(退缩的)牙龈边缘至少基本上与牙骨质釉质交界不对齐，并且处理器被配置为根据所公开的实施例之一确定与牙龈边缘相关的袋深度。附加地或替代地，处理器被配置为通过应用图像处理技术(稍后描述)来识别牙骨质釉质交界和退缩的牙龈边缘，并且通过确定牙骨质釉质交界和退缩的牙龈边缘之间的距离来确定牙龈退缩。处理器还被配置为基于所确定的袋深度和所确定的牙龈退缩来计算附着丧失。这种计算可以包括将确定的袋深度和确定的牙龈退缩相加。在另一个实施例中，处理器被配置为通过应用图像处理技术(稍后描述)来识别牙骨质釉质交界；确定在袋外可见的探针尖端部分，该部分与所识别的牙骨质釉质交界至少基本对齐；并基于与牙骨质釉质交界对齐的探针尖端部分确定附着丧失。可以根据本公开中包括的任何实施例来执行这种确定，例如，通过直接读取从与牙骨质釉质交界对齐的探针尖端部分的深度，或者通过使用探针轮廓至少之一。利用牙冠牙釉质和牙根牙骨质之间的可见对比度(亮度和/或颜色的差异)；在这些实施例中的任何一个中，处理器被配置为基于沿着牙齿表面的对比度的差异来识别牙骨质釉质交界。本领域技术人员将理解，牙龈退缩可能发生在一个或多个离散点，因此袋深度、牙龈退缩和附着丧失的测量根据在对其进行测量的离散点处是否存在牙龈退缩的而变。

插入长度是指当在探针尖端上施加预定的插入力时，探针尖端在牙齿和牙龈之间穿透直到尖端的远侧点界接或至少基本上靠近或停留靠近上皮附着的长度。不管存在或不存在牙龈退缩，确定的插入长度表示牙周袋的深度。

在不同的实施例中，预定的插入力通常可以在20到25g(即0.20至 0.25N)之间，因为这通常会引起最小的不适感，并且仍然能够实现准确的诊断读数。预定插入力的其他值也在本公开的范围内。

根据一个实施例，公开了一种用于测量牙周袋的深度的系统。该系统包括框架、至少一个相机和处理器。框架被配置为由用户穿戴。至少一个相机附接到框架并且被配置为捕获口内目标区域的至少一个2D图像。至少一个2D图像包括牙齿的至少一部分、与牙齿的至少一部分相邻的牙骨质釉质交界以及当探针尖端插入牙周袋时的探针尖端的表示。处理器被配置为接收捕获的至少一个2D图像。该处理器还被配置为通过对捕获的至少一个2D图像中获得的关于探针尖端与牙骨质釉质交界的对齐的信息应用图像处理技术，相对于牙骨质釉质交界确定牙龈退缩和/或附着丧失中的至少一个。在该实施例中公开的系统被配置为包括稍后公开的一个或多个实施例。

在一个实施例中，该系统包括处理器(例如机载处理器)，该处理器被配置为接收至少一个2D图像并确定插入长度。这种机载处理器可以布置在框架本身上，和/或包括身体穿戴式处理器，例如可与布置在框架上的其他组件连接的带穿戴式处理器或其组合，其中，由框架上的处理器执行部分处理并且其他部分的处理由身体穿戴式处理器执行。附加地或替代地，处理器包括机载处理器和远程处理单元。该系统包括通信模块，该通信模块被配置为通过有线或无线通信将至少一个2D图像和/或实时图像数据发送到远程处理单元，该远程处理单元可以被认为是系统的一部分。远程处理单元被配置为：i)接收至少一个2D图像或实时图像数据，远程处理器可从中提取至少一个2D图像，以及ii)处理至少一个2D图像或实时图像数据，以例如确定插入长度。在一个实施例中，机载处理器可以被配置为对接收的实时图像数据执行预处理，并且可以使用通信模块将预处理的图像数据发送到远程处理单元。远程处理单元可以被配置为对从通信模块接收的所发送的预处理图像数据执行进一步处理。这样的预处理可以包括在发送之前压缩至少一个2D图像和/或实时图像数据，从而导致对通信信道的最佳利用。远程处理单元可以被配置为被阻止直接控制数字牙科放大镜系统部件(诸如相机、光源等)的操作，但是可以包括诸如用于处理数据的分析模块的组件。通常，这种远程处理单元包括比机载系统处理器更多的处理或计算能力，因为这种进一步处理需要比预处理数据所需的处理更多的处理。这种方法可以允许确保系统能够处理至少一个相机捕获的大量数据，从而解决由于机载系统处理器的处理能力的量相对有限而可能发生的系统时延问题。在不同的实施例中，可以不同地设置机载处理器和远程处理单元的功能，但是要考虑到大多数处理是在远程处理单元处进行的。

在一个实施例中，框架通常可以类似于眼镜框架或头戴式框架或其组合。框架可以由单个部分构成或包括可拆卸地彼此连接的多个部分。例如，一个部分是包括相机和光源的头戴式框架，而第二部分是由眼镜框架限定的第二部分，该眼镜框架包括显示器，并且优选地包括处理器或通信模块。这种可拆卸地连接的框架包括以可拆卸的方式机械地和/或电地连接多个部件的可能性。框架的公开的实施例可以与一个或多个公开的实施例结合使用。

在一个实施例中，至少一个相机居中地附接到框架。但是，优选地，在另一个实施例中，至少一个相机包括一对以至少基本对称的方式单独地附接至框架的相对横向端部附近的相机。术语框架的相对横向端部包括沿水平轴彼此横向分开的位置，该水平轴可以由连接用户的瞳孔距离的线来定义。因此，这对相机不需要定位在框架的上部相对横向端部上，并且很可能与框架的上部相对横向端部相距一定距离，即朝向框架的中心。通常，这对相机至少在空间上分开已知距离。该对相机中的相机之间的已知距离以及优选地其已知的成像角度允许捕获立体实时图像数据。立体实时图像数据的使用使得能够保持立体视觉，从而允许用户感知深度，从而使得当用户观看立体视觉实时图像数据时，牙周探针或其他牙科器械能够沿期望的方向准确地移动。如本文所用，术语“立体视觉(stereopsis)”是指在其中通过观看分别投射到人的两只眼睛上的口内目标区域的两个光学分开的投影而导致深度感的视觉感知的过程。

在一个实施例中，公开了一种用于获得由该对相机获取的实时图像数据之间的立体对齐的方法。该对相机包括第一相机和第二相机，第一相机和第二相机布置在框架上或与框架分开的安装座上，所述第一相机和第二相机在空间上彼此分开。该方法包括同步第一相机和第二相机以至少基本上同时地单独捕获实时图像数据；至少基本上同时获取使用第一相机的第一当前帧(或图像)和使用第二相机的第二当前帧(或图像)，第一当前帧(或图像)和第二当前帧(或图像)对应分别单独捕获的实时图像数据；识别第一当前帧(或图像)和第二当前帧(或图像)之间的对应点，该对应点限定在第一当前帧(或图像)和第二当前帧(或图像)之间跟踪的点；并且使用识别的对应点来变换第二当前帧(或第一当前帧)。

在上一段限定的实施例中，同步包括第一相机和第二相机之间的时间同步，以使得第一实时图像数据的相机帧(或图像)和第二实时图像数据的对应第二相机帧(或图像)分别由第一相机和第二相机至少基本上同时地获取。优选地，第一相机和第二相机可以具有相同的帧率。在识别对应点之前，可以使用特征检测算法确定第一当前帧的点。所确定的点通常是获取的图像中对象的角。这可以包括探针、牙齿等的角。可以进一步确定第一当前帧是否包括最小数量的点，例如至少10个，优选地至少20个。如果不是，则在识别对应点之前，可以使用特征检测算法(例如拐角检测算法)(例如Shi-Tomasi拐角检测算法或Harris拐角检测)进一步执行识别最小数量点的步骤。此外，可以通过确定第二当前帧中与第一帧的点相对应的点来执行对应点的识别。这可以通过利用诸如Lucas-Kanade算法之类的算法，特别是Lucas-Kanade光流金字塔算法的稀疏迭代版本来执行。 Lucas-Kanade算法也可以基于RGB颜色模型的亮度I。在一个实施例中，变换可以包括：基于对应点的坐标之间的差来确定立体转换公式；以及基于立体转换公式来转换第二当前帧(或第一当前帧)的坐标，以获得立体对齐的图像。立体转换公式可以表示所有对应点的平均转换。转换公式可以包括矩阵。

为了避免或至少基本上减少时延问题，处理器执行所公开的立体对齐方法，该处理器被包括在i)框架，或ii)安装座中，该框架或安装座被配置为布置在系统的用户上，并与该对相机和显示器有线连接。这样的处理器可以包括现场可编程门阵列(FPGA)，数字信号处理器，高级RISC机器 (ARM)处理器或它们的组合之一。

至少一个相机可以被布置在框架上，使得至少一个相机的光轴在参考线之下。参考线可以由包括在可穿戴框架中的搁置部分限定，该搁置部分被配置为将框架搁置在用户上。至少一个相机可以被布置在框架上，使得参考线和光轴之间的成像角度由这样的角度定义：当框架由用户穿戴时该角度保持用户对显示器的观察与参考线至少基本上直线对齐同时光轴指向口内目标区域。因为至少一个相机被布置为使其光轴朝下，所以为用户提供了符合人体工学的姿势，原因是避免了为了捕获至少一个2D图像而要弯曲的需要。

根据实施例，成像角度在30度到70度的范围之间，例如60度。可以将角度固定为某个成像值，而没有改变角度的可能性。替代地，可以改变成像角度并将其固定在成像角度范围之间的选定值处。框架上连接相机的接口可以包括旋转接头，其被配置为旋转相机使得成像角度可以改变并固定在选定值。旋转接头可包括特定停止位置以允许将相机固定在与特定停止位置相关联的选定成像角度。

在一个实施例中，框架包括显示器，该显示器使用接头布置在框架上，显示器可以围绕该接头旋转，使得显示器可以远离用户的视线移动。类似地，显示器可以旋转回用户的视线。用户因此可以将显示器旋转到用户视线内和外，从而当用户打算在框架仍安装在用户上时与患者沟通时，允许用户将显示器旋转到用户视线外。

该系统还可以包括至少一个光源，该光源附接到框架并且被配置为照明患者的口内目标区域。在一个实施例中，至少一个光源可以包括一对单独附接到可穿戴框架的相对横向侧的光源，例如围绕至少一个相机的各个相机的环形LED。附加地或替代地，至少一个光源可以在框架上居中地附接。至少一个相机的成像角度和由来自至少一个光源的光的方向限定的照明轴被布置成使得来自至少一个光源的光被引导到口内目标区域。使至少一个光源与框架集成在一起并且被布置为使得照明轴与成像角度相关，允许精确地照明口内目标区域，从而允许基于执行哪个操作来更可靠地捕获至少一个2D图像或实时图像数据。

在一个实施例中，该系统包括诸如头戴式显示器的显示器，该显示器被配置为显示由至少一个相机捕获的口内目标区域的实时图像数据。在显示器上提供实时图像数据允许避免将目光从患者移开到例如计算机屏幕的需要。显示器被布置在可穿戴框架上，使得显示器沿着参考线并且在至少一个相机的光轴上方。参考线可以由包括在可穿戴框架中的搁置部分限定，该搁置部分被配置为将框架搁置在用户上。因此，当用户穿戴框架时，显示器位于用户眼睛的前面，通常与用户沿着参考线的眼睛处于同一水平。这为用户提供了符合人体工学的友好姿势，因为避免了长时间弯腰查看口内目标区域的需要，从而使用户可以专注于牙科过程，因为消除了查看用户的工作区域中的单独屏幕的需要。如前所述，当相机朝下时，显示器的这种布置在人体工学方面可以特别好地工作。

在一个实施例中，系统可以包括附加显示器，例如可以由穿戴框架的用户以外的人穿戴的虚拟现实显示器。该系统被配置为在附加显示器上填充实时图像数据，使得该人还可以跟随牙科过程并查看患者牙列的牙齿状况。在这种人包括临床医生受训者的情况下，这种虚拟显示器可以是该人的培训计划的一部分。

在一实施例中，在沿牙龈边缘的一个或多个离散点处单独执行捕获至少一个2D图像。因此，在每个离散点处，可以捕获一个或多个2D图像。这种捕获可以在牙齿的面侧和/或舌侧/腭侧的至少一者上。例如，可以在从近颊、颊、远颊、口腔、近中口和远口中的一个或多个中选择的点处执行深度检查和至少一个2D图像的捕获。在另一个实施例中，捕获包括沿着整个牙龈边缘连续地或者沿着牙齿的面侧和/或舌侧/腭侧上牙龈边缘的一部分连续地捕获至少一个2D图像。

该系统还可以包括口腔镜，该口腔镜被配置为向至少一个相机提供在至少一个相机的直接视场中至少基本上不可访问或不方便访问的区域的间接视觉。这些区域可能包括牙齿的舌侧/腭侧或偶尔地，一些面侧区域，例如牙齿的颊侧。

至少一个光源被配置成在使用期间相对于光源定向或口腔镜相对于光源定位，使得从至少一个光源引导到口腔镜上的光照明在相机的直接视场中至少基本上不可访问或不方便访问的区域。这样的区域可包括以下一个或多个：i)舌侧或腭侧上的表面，例如牙齿表面，或ii)与牙齿表面相邻的牙龈和当将探针尖端插入舌侧或腭侧的牙周袋中时的探针尖端。至少一个相机被配置为捕获由口腔镜反射的，在相机的直接视场中至少基本上不可访问或不方便访问的区域的至少一个2D图像或实时图像数据。尽管本公开描述了关于舌侧/腭侧使用口腔镜，但是对于本领域技术人员将显而易见的是，使用与舌侧/腭侧描述的相同原理，口腔镜与至少一个光源和至少一个相机相结合可以用于牙齿的颊侧。使用附接到框架的至少一个光源和至少一个相机可以特别有助于从至少基本上不可访问或不方便访问的区域捕获至少一个2D图像/实时图像数据。

在捕获的至少一个2D图像中获得的关于探针尖端的信息可以包括在牙周袋外部可见的探针尖端的数字表示。在一个实施例中，探针尖端包括深度标记，该深度标记通常包括颜色编码标记、刻度标记或表示探针尖端的远侧点与探针尖端的多个深度标记之间的长度的任何其他指示器。本领域技术人员可以设想许多不同的视觉标记，包括但不限于提供与深度标记相同功能(即尖端的远侧点到这些深度标记之间的指示)的不同形状、宽度、颜色等。在捕获的至少一个2D图像中获得的关于探针尖端的信息包括探针尖端中包括的至少一个深度标记的数字表示。另外地或替代地，探针尖端或任何其他探针部分可包括基准标记。图案、大小、形状、颜色中的至少一个的基准标记优选地与口内目标区域中存在的颜色或其任何组合不同并且更优选与之形成对比。在至少一个2D图像中捕获的基准标记的图像分析可以用作探针的插入长度确定和取向的位置指示。基准标记可以是相同的，但是优选地，这些基准标记中的至少一些是不同的。具有至少一些不同的基准标记允许在至少一个2D图像中进行更容易、更快或更可靠的识别。在捕获的至少一个2D图像中获得的关于探针尖端的信息包括探针尖端或任何其他探针部分中包括的至少一个基准标记的数字表示。在一个实施例中，探针尖端没有任何标记，例如没有深度标记或基准标记，即探针不包括从探针尖端的远侧点到沿着探针尖端的长度的点的长度的任何指示。在捕获的至少一个2D图像中获得的关于探针尖端的信息包括关于具有或不具有探针的任何其他部分的探针尖端的几何信息。这样的几何信息从特定的视点/视角表示探针的表示。

在一个实施例中，口内目标区域可以设置有放置在患者口内目标区域上的附加基准标记。附加基准标记的这种放置可以在实时图像数据的捕获之前和/或在中断期间完成。口内目标区域中的附加基准标记之间的相对位置优选地在捕获实时图像数据期间是固定的。例如，如果用户要确定下颌牙齿的牙周深度，则需要在下颌上放置附加的基准标记。如果将附加基准标记放置在例如上颌上，则它们的用途有限，因为该颌可能一直相对于彼此移动。这样的附加基准标记可以是相同的，但是优选地，这些附加基准标记中的至少一些在形状、大小、颜色或其他性质上是不同的，并且最优选地与探针尖端的基准标记或深度指示器不同。具有不同的附加基准标记允许更容易或更可靠地识别至少一个2D图像中的对象类型。使用这样的已知图案和/或大小的附加基准标记可以用作位置、取向和比例的真实世界锚点。

处理器可以包括分析模块，该分析模块被配置为应用图像处理技术来处理捕获的至少一个2D图像和/或实时图像数据。图像处理技术可以利用特征检测技术，该技术允许检测至少一个2D图像和/或可以从中提取至少一个2D图像的实时图像数据的特征。这可以包括识别图像特征，例如线、边缘、角、脊、点云、拐角、点团、发光、颜色等。应用图像处理技术还允许分析模块识别图像数据中的特定对象类型。因此，分析模块可以识别一种或多种对象类型，例如牙齿，包括诸如门牙或臼齿的牙齿类型，在口腔中的实际牙齿位置，即根据某种牙齿编号方案的牙齿编号，牙骨质釉质交界，牙龈，牙龈边缘，其他牙列特征，离散点类型(例如中颊或口腔)，探针尖端，深度标记，基准标记，附件基准标记，探针元件，其他探针部分或其他口腔器械，例如口腔镜。例如，分析模块被配置为将来自接收的至少一个2D图像的图像特征与参考数据集进行比较，参考数据集可以包括与对象类型相关的特征的模型或图像的存储。在一些实施例中，分析模块可以从图像数据中提取模型、图像、边缘组、点团、轮廓组和/或特征的其他表示。分析模块然后可以将提取的模型、边缘组、点团、轮廓组、图像或对象特征的其他表示与所存储的对象类型的特征的数据存储进行比较。可以基于比较选择最相似的存储特征，例如通过采用逐点比较、边缘比较或提取的特征表示与数据存储中的对象类型相关特征的表示的其他比较，导致识别至少一个2D图像或实时图像数据中存在的对象类型。在一实施例中，图像处理技术利用机器学习技术。对象类型的识别包括基于至少一个2D图像/实时图像数据与可以已经使用机器学习技术(例如神经网络)创建的对象类型特定训练数据集的比较或匹配内容来识别对象类型。例如，分析模块被配置为接收至少一个2D图像，以例如通过应用基于像素的分割技术、基于块的分割技术或任何其他常规上已知的分割技术将至少一个2D图像分割成表示对象类型的多个片段，从与多个不同特征相关联的多个片段中选择片段；计算多个不同特征的聚合以生成描述对象类型的单个特征，并通过将聚合与来自对象类型特定训练数据集的已知对象类型对应的特征进行比较来基于聚合识别对象的类型。处理器被配置为应用任何图像处理技术，以便识别与牙骨质釉质交界和/或与牙龈边缘至少基本对齐的探针尖端部分。

分析模块还可以被配置为应用图像处理技术来预处理实时图像数据和/或至少一个2D图像的至少一部分。这可以包括在新坐标系中执行重新采样、执行降噪、增强对比度、调节比例等中的至少一项。当应用图像处理技术来识别特征和/或对象类型时，这样的预处理可以允许提供更准确的结果。

如前所述，在一个实施例中，处理器的分析模块被配置为优选地在对图像进行预处理之后，应用图像处理技术来在至少一个2D图像和/或实时图像数据中确定如门牙或臼齿的牙齿类型，并且还优选地确定沿着与牙齿类型相邻的牙龈边缘的离散点，无论是否确定口腔中的实际牙齿位置，即根据某种牙齿编号方案的牙齿编号。识别离散点在创建患者牙科图时可能很有用，其中，识别的离散点特定深度被自动输入。在另一个实施例中，分析模块可以被配置为：i)优选地在对实时图像数据进行预处理之后，接收实时图像数据，该实时图像数据表示牙齿和与牙齿相邻的牙龈边缘；ii) 通过应用图像处理技术，在实时图像数据中，例如在2D图像序列中，沿着和/或接近牙龈边缘跟踪探针尖端；和iii)基于与被跟踪的探针尖端有关的跟踪信息，确定与牙齿对应的牙齿类型和/或牙龈边缘上的离散点类型。实时图像数据中对探针尖端的跟踪包括识别实时图像数据中的探针尖端和基于实时图像数据中的探针尖端的位置变化识别所识别的探针尖端在实时图像数据中的移动。因此，处理器的分析模块被配置为优选在对实时图像数据进行预处理之后，应用图像处理技术来基于跟踪的探针尖端在至少一个2D图像中确定牙齿类型，并且还优选地确定沿着与牙齿类型相邻的牙龈边缘的离散点，而不管确定或不确定口腔中的实际牙齿位置。即，根据某种牙齿编号方案的牙齿编号。使用探针尖端的移动的历史数据作为与沿着口腔内区域中不同牙齿对象的移动有关的参考数据，可以提高确定牙齿类型和/或进行深度测量的离散点的准确性，因为处理器还考虑到包括探针尖端到达当前牙齿和离散点所遵循的路径的附加信息。

处理器的分析模块可以被配置为优选在对图像进行预处理之后，应用图像处理技术，以识别至少一个2D图像中的对象类型，例如牙龈边缘、牙骨质釉质交界和探针尖端。在一个实施例中，分析模块被配置为应用图像处理技术以从数字表示识别在至少一个2D图像中与牙龈边缘和/或牙骨质釉质交界的表示对齐或最接近的至少一个深度标记。附加地或替代地，分析模块被配置为应用图像处理技术，以从数字表示识别在至少一个2D 图像中在牙龈边缘外部可见的基准标记，例如存在于探针上的基准标记。附加地或替代地，分析模块被配置为应用图像处理技术，以从数字表示识别至少一个2D图像中牙龈边缘外部可见的至少探针尖端，优选为探针的几何形状。

在一个实施例中，处理器还可以被配置为直接从识别的深度标记读取牙周袋深度测量，该识别的深度标记在至少一个2D图像中与牙龈边缘的表示对齐或最接近。附加地或替代地，处理器还可以被配置为直接从与牙骨质釉质交界的表示对齐或最接近的所识别的深度标记读取附着丧失。附加地或替代地，处理器可以进一步被配置为直接从对齐或最接近牙骨质釉质交界的表示的第一识别深度标记和对齐或最接近退缩牙龈的第二识别深度标记直接读取牙龈退缩，第一识别深度标记和第二识别深度标记之间的差表示牙龈退缩。当探针尖端包括特定的测量(例如距探针尖端的远侧尖端的以mm为单位的测量)时，这种方法可能很有用。

附加地或替代地，处理器被配置为将至少一个2D图像中与牙龈边缘和/或牙骨质釉质交界的表示对齐或最接近的所识别的深度标记与探针轮廓相关。探针轮廓包括数字规格，例如关于探针尖端或其部件(深度标记) 的几何信息，指示探针尖端的远侧点和探针尖端的多个深度标记之间的长度。所识别的深度标记和数字规格之间的相关性允许从对应于识别的深度标记的数字规格识别测量。这允许以下至少之一：i)基于至少基本上与牙龈边缘对齐的所识别的深度标记确定牙周袋深度，ii)对于牙龈退缩情况，基于至少基本上与牙骨质釉质交界对齐的所识别的深度标记确定附着丧失；或iii)基于与牙骨质釉质交界至少基本上对齐的第一识别深度标记和至少基本上与退缩牙龈边缘对齐的第二识别深度标记确定牙龈退缩。

附加地或替代地，处理器被配置为将识别的在牙周袋外部可见的基准标记与探针轮廓相关。这种相关可以与牙龈边缘、退缩的牙龈边缘或牙骨质釉质交界之一有关。探针轮廓包括数字规格，例如关于基准标记的几何信息，具有基准标记的指示探针尖端的远测点和探针尖端的基准标记之间的长度和/或基准标记的不同部分之间的距离的解释。这允许确定牙周袋深度和/或牙龈退缩和/或附着丧失。这样的数字规格还可以包括基准标记的解释，使得可以确定探针相对于牙齿和/或任何其他口腔内器官的取向。所识别的基准标记与数字规格之间的相关性允许从对应于所识别的基准标记的数字规格识别测量深度，从而允许以下至少之一i)基于所识别的基准标记确定牙周袋深度，ii)基于与所识别的牙骨质釉质交界相关的所识别的基准标记确定附着丧失，iii)基于与所识别的牙骨质釉质交界和退缩的牙龈边缘相关的基准标记确定牙龈退缩。分析模块还可被配置为确定所识别的基准标记与数字探针轮廓的相关性，以确定探针的取向，因为当探针处于特定取向时，基准标记被独特地表示。探针轮廓还可包括特定于离散点的不同的基准标记，其表示用于对特定离散点执行深度测量的最佳取向。处理器可以被配置为通过将识别的基准标记与该不同的基准标记进行比较来确定探针的取向对于袋深度测量来说是否最佳。术语“最佳”涉及探针的特定取向，该特定取向被预先确定为对于记录插入长度来说可接受并存储在存储器中。这样的特定取向可以特定于不同的离散测量点。如果不是，则处理器可以进一步被配置为指示通知模块将差异通知给用户，例如处理器可以例如通过声明“改变取向并进行新的测量”的音频消息来通知用户。该系统可以包括扬声器模块以传递这种音频消息。用户可以改变探针的取向以进行另一测量。处理器被配置为在将图像处理技术应用于确定袋深度之前确定探针的取向是否最佳。这种方法在确保测量结果可靠且独立于用户技能组合方面特别有用。在示例中，处理器被配置为使用图像处理技术来确定对于特定离散测量点，探针尖端是否平行于牙齿的长轴。处理器可以被配置为在这种确定是否定的时，即在进行测量时探针的取向不是最佳时，指示通知模块向用户通知差异，并且用户可以针对特定的离散点进行另一测量。

在一个实施例中，处理器被配置为将探针尖端的可见部分与探针轮廓相关。如在至少一个2D图像中所表示的可见部分包括在牙周袋外部可见的探针尖端的一部分或在远离牙龈的方向上从牙骨质釉质交界可见的探针尖端的一部分。探针尖端通常没有任何与深度有关的标记或基准。探针轮廓包括数字规格，例如关于探针的几何信息，包括从不同视角观察时探针的不同投影视图。数字规格还可以包括关于投影视图上的特定点与投影视图中探针尖端的远侧点之间的距离的长度信息。这种相关性包括将探针的可见部分与不同的投影视图进行比较(例如通过叠加)，并识别至少与可见部分匹配的投影视图，其中，在包括在牙周袋外部可见的探针尖端的部分的可见部分与匹配的投影视图之间的非重叠部分表示牙周袋深度。处理器被配置为基于关于非重叠部分的长度信息从数字探针轮廓确定袋深度。附加地或替代地，相关性包括例如通过叠加来将探针的可见部分与不同的投影视图进行比较，以及识别至少与可见部分匹配的投影视图，其中，在包括在远离牙龈的方向上从牙骨质釉质交界可见的探针尖端的部分的可见部分与匹配的投影视图之间的非重叠部分表示附着的丧失。处理器被配置为基于关于非重叠部分的长度信息从数字探针轮廓确定附着的丧失。在另一个实施例中，处理器被配置为基于所确定的牙周袋的长度与所确定的附着丧失的长度之间的差来确定牙龈退缩。附加地或替代地，处理器被配置为基于匹配的投影视图确定探针的取向。另外，探针轮廓还可以包括特定于离散点的不同的投影视图，其表示用于针对特定离散点执行深度测量的最佳取向。处理器可以被配置为通过将识别的透视图与不同的投影视图进行比较来确定探针的取向对于袋深度测量来说是否是最佳的。如果不是，则处理器可以进一步被配置为指示通知模块向用户通知差异。例如，处理器可以通过声明“改变取向并进行新的测量”的音频消息通知用户。该系统可以包括扬声器模块以传递这种音频消息。用户可以改变取向以进行另一测量。处理器被配置为在将图像处理技术应用于确定插入长度之前，确定探针的取向是否最佳。这种方法在确保测量可靠且独立于用户技能组合方面尤其有用。在示例中，处理器被配置为使用图像处理技术来确定对于特定离散测量点，探针尖端是否平行于牙齿的长轴。处理器可以被配置为在这种确定是否定的时，即在进行测量时探针的取向不是最佳时，指示通知模块向用户通知差异，并且用户可以针对特定的离散点进行另一测量。

尽管上面的实施例可以采用不同的技术来确定袋深度，但是本领域技术人员将理解，诸如使用基准标记和/或投影视图之类的确定取向的手段可以在公开了确定袋深度的任何实施例中使用。例如，在使用深度标记确定袋深度的情况下，可以使用用于确定取向的投影视图方法。类似地，在使用投影视图确定袋深度的情况下，也可以使用用于确定取向的基准标记方法。本领域技术人员将容易地观察到，为了同时利用不同的方法，用于深度测量的探针和探针轮廓都需要根据上述公开进行修改。例如，在使用投影视图确定袋深度的情况下，可以使用用于确定取向的基准标记方法，将需要探针包括基准标记并且探针轮廓包括这种基准标记的解释。这种组合方法可以提高确定袋深度、牙龈退缩和附着丧失的准确性。

在一个实施例中，处理器还被配置为记录用于确定牙周袋深度的至少一个2D图像。记录的图像可以存储在数据库中。另外，处理器可以被配置为将所记录的图像与诸如牙科图的患者记录相关联。处理器可以进一步被配置为生成可以可视地呈现在系统中包括的显示器或任何其他远程显示器上的患者记录，该患者记录可以包括对所记录的至少一个2D图像的链接之类的访问。处理器可以被配置为访问所记录的至少一个2D图像并且在显示器或任何其他远程显示器上呈现访问的所记录的至少一个2D图像。

在一个实施例中，处理器被配置为识别与在至少一个2D图像中表示的牙齿和/或离散点类型相对应的牙齿类型，识别或不识别口腔中的实际牙齿位置，即根据某个牙齿编号方案的牙齿编号。这可以通过接收用于手动指示在至少一个2D图像中表示的牙齿类型和/或离散点类型的用户指令来实现。由于用户可以手动表示牙齿，例如牙齿类型和/或离散点类型，因此用户可以简单地提供指令，例如通过语音命令指示对其进行测量的牙齿。该系统可以包括麦克风，该麦克风被配置为从用户接收语音命令，并且处理器被配置为将接收的语音命令转换为表示语音命令的指令，其允许将接收的语音命令存储在患者记录中。麦克风优选地安装在可穿戴框架上并且具有指向用户嘴部的麦克风方向性。附加地或替代地，系统可以包括其他输入装置，例如通过触摸屏或物理按钮输入牙齿类型和/或离散点类型信息的用户接口。

在一个实施例中，可以自动识别在至少一个2D图像上或实时图像数据中表示的牙齿和/或离散点类型。这样的自动识别可以利用先前描述的图像处理技术。例如，自动识别可以利用使用卷积神经网络的机器学习技术。举例来说，自动识别技术可以包括提供至少一个2D图像、通过从捕获的图像数据的至少部分区域提取特征向量来生成用于识别对象的数据、以及基于用于识别对象的数据和从先前记录的图像数据或训练数据集生成的对象字典数据识别对象所属的类别。特征向量可以包括多个元素(特征)。特征可以表示至少一个2D图像中的像素或整个对象。特征的示例是颜色分量、长度、面积、圆度、梯度幅度、梯度方向或简单的灰度强度值。

牙周袋深度的确定和牙齿类型和/或离散点类型的自动识别可以允许自动记录所确定的牙周袋深度。在一个实施例中，处理器被配置为生成用于在数字患者记录例如牙科图中自动记录所识别牙齿的所确定的袋深度的指令。数字患者图可以存储在数据库中。此外，对捕获的至少一个2D 图像应用图像处理技术(先前公开)，分析模块可以被配置为在其处识别确定牙周袋深度的离散点。因此，所识别的牙齿的一个或多个离散点的所确定的牙周袋深度可以直观地存储在牙科图上，其中表示了与所识别的牙齿的一个或多个离散点对应的所确定的牙周袋深度。牙齿连同牙周袋深度的图示表示对于用户进行监测和诊断的目的特别有用。

在一个实施例中，处理器被配置为基于所确定的袋深度为牙齿创建深度分布。深度分布包括在沿着牙龈边缘或沿着牙龈边缘在牙齿的面侧和/ 或舌侧/腭侧的整个长度或一部分的一个或多个点处的袋深度的集合。在袋深度的确定是在一个或多个离散点处的情况下，深度分布包括这些离散点中的一些或全部的袋深度的集合。在袋深度的确定是针对整个牙龈边缘或牙龈边缘的一部分的另一实施例中，则深度包括分别在整个牙龈边缘或牙龈边缘的一部分上连续的所有点的集合。深度分布可以被记录为信息数据，该信息数据优选地表示在患者记录上，例如患者的牙科图上，或以一个或多个患者牙齿的表格形式，或任何其他直观布局中的至少一个表示。

在一个实施例中，处理器被配置为创建第一深度分布，并用第一时间戳对第一深度分布打时间戳以创建带时间戳的第一深度分布。处理器被配置为创建第二深度分布，并用第二时间戳对第二深度分布打时间戳以创建带时间戳的第二深度分布，第二时间戳不同于第一时间戳。这些时间戳通常表示为数字编码信息的序列，识别何时创建了基于第一时间的深度测量的第一深度分布和基于第二时间的深度测量的第二深度分布。当进行对应于第一深度分布和第二深度分布的各个深度测量时，时间戳可以包括特定日期(或者甚至是日期的具体小时或分钟)。处理器还被配置为计算第一深度分布和第二深度分布之间的差，即，计算出的深度差。针对同一牙齿计算第一深度分布和第二深度分布之间的差。此外，通常针对第一深度分布和第二深度分布中的对应点计算该差。例如，针对牙齿计算来自近中颊的第一深度分布的第一深度测量与来自近中颊的第二深度分布的第二深度测量之间的差。类似地，可以针对颊、远中颊、口腔、近中口等中的一个或多个计算该差。

在一个实施例中，处理器被配置为计算第一时间戳和第二时间戳之间的时间差，即计算的时间差；并且基于计算的差和计算的时间差计算袋深度的变化率，即计算的变化率。

在一个实施例中，处理器被配置为基于深度分布、计算的深度差或计算的速率差中的至少一个来识别牙齿状况的发展。用户可以预定由牙齿健康分类表示的牙齿状况，通常基于临床规则，例如针对不同深度、不同差范围或变化率范围中的至少一个的严重、中度、轻度或健康。附加地或替代地，可以通常基于临床规则在系统中将这种牙齿健康分类定义为工厂设置的一部分和/或可能不是系统用户的任何其他人(例如临床医生)。例如，在绝对值d>c>b>a的情况下，确定的深度a(比如小于3mm)被分类为健康，b被分类为轻度，c被分类为中度，d被分类为严重。关于深度差的另一个示例，在绝对值DIFF3>DIFF2>DIFF1>0的情况下，从0到小于 DIFF1的深度差被分类为健康，从DIFF1到小于DIFF2的深度差被分类为中度，从DIFF2到小于DIFF3的深度差被分类为中度，并且从DIFF3或更大的深度差被分类为严重。类似地，用户可以定义变化率的范围，以将变化率分类为健康，轻度，中度或严重。对于本领域技术人员来说显而易见的是，也可以考虑基于深度分布、差或变化率范围的其他分类。

在一个实施例中，处理器被配置为将深度分布、计算的深度差或计算的速率变化中的至少一个与用户定义的分类进行比较，并确定用户的牙齿状况的牙齿健康分类。在另一实施例中，处理器被配置为将深度分布、计算的深度差和计算的速率变化中的仅一个与相应的分类进行比较，并确定牙齿健康分类。在另一个实施例中，处理器被配置为将深度分布、计算的深度差和计算速率变化中的至少两个与相应分类进行比较，并仅在两个分类匹配的情况下确定用户的牙齿状况的牙齿健康分类。例如，当深度差与相应分类的单独比较确定牙齿健康状况被归类为轻度并且计算的速率变化与相应分类的比较也被分类为轻度时，牙齿健康状况被分类为轻度。在又一个实施例中，处理器被配置为将计算的深度差和计算的速率变化中的至少两个与相应的分类进行比较，并且基于两个分类中的较差的分类来确定用户牙齿状况的牙齿健康分类。例如，当计算的深度差与相应分类的单独比较确定牙齿健康状况被分类为中度但是变化率与相应分类的比较被分类为严重时，将牙齿健康状况分类为严重。在又一个实施例中，处理器被配置为将所有的深度分布、计算的深度差和计算的速率变化与相应的分类进行比较，并且仅在至少两个分类匹配时才确定用户的牙齿状况的牙齿健康分类。例如，如果深度分布与相应分类的比较确定健康的状况，计算的深度差与相应分类的比较确定轻度状况，并且计算的速率变化与相应分类的比较确定轻度状况，则牙齿健康状况被分类为轻度。在又一个实施例中，处理器被配置为将所有的深度分布，计算的差异和变化率与相应的分类进行比较，并根据最差的分类来确定用户牙齿状况的牙齿健康分类。例如，如果深度分布与相应分类的比较确定中度状况，计算的深度差与相应分类的比较确定中度状况，并且计算的速率变化与相应分类的比较确定严重状况，则牙齿健康状况被分类为严重。在前述实施例中的任一个中，相应分类被存储在存储器中并且处理器被配置为从存储器访问至少一个分类并将深度分布、深度差或速率变化中的至少一个与分类中对应于相应深度分布、深度差或速率变化的所访问的一个进行比较。在任何前述实施例中，存储器还存储这些分类与包括可能的牙齿疾病的可能的牙齿状况的相关性。处理器被配置为将所确定的分类与包括可能的牙齿疾病的一个或多个可能的牙齿状况进行匹配。

当牙周袋深度的变化率指示袋深度的增加速度时，在一个实施例中，处理器被配置为根据所确定的变化率和指定的时间来预测将来的袋深度。

R＝ΔD/ΔT＝(|D2–D1|)/(|(T2–T1|)

FD＝D2+(|FT–T2|*R)

其中，R＝变化率，D2＝在第二时间T2确定的袋深度，D1＝在第一时间T1确定的袋深度，ΔD＝第二袋深度D2与第一袋深度D1之间的差，Δ T＝第二时间T2与第一时间T1之间的差，FD＝在将来时间FT的预测的将来袋深度。

在不同的实施例中，基于不同时间点的袋深度测量处理器被配置为确定袋深度是否以非线性速率增加并且确定定义非线性变化率的数学函数。处理器被配置为基于袋深度的非线性变化率确定预测的将来袋深度。确定非线性速率有助于确定附着丧失的恶化。

在另一个实施例中，处理器被配置为测量牙齿在不同离散点处的袋深度，确定不同离散点的测量的袋深度的平均值或加权平均值，其中加权平均值是根据向对应于每个离散点的袋深度给予相同或不同权重。处理器基于整个牙齿的平均值或加权平均值，被配置为生成表示牙齿状况的指示的牙齿指数。此外，结合平均值或加权平均值应用先前叙述的技术来预测将来的袋深度将允许预测表示整个牙齿的将来状况的将来牙齿指数。

类似地，在另一个实施例中，处理器被配置为在预测的袋深度达到预定阈值时预测时间或时间间隔。

R＝ΔD/ΔT＝(|D2–D1|)/(|(T2–T1|)

t＝(|T–D2|)/R

Tf＝|T2+t|

其中，R＝变化率，D2＝在第二时间T2确定的袋深度，D1＝在第一时间T1确定的袋深度，ΔD＝第二袋深度D2与第一袋深度D1之间的差，Δ T＝第二时间T2与第一时间T1之间的差，t＝自袋深度将达到阈值T时的第二时间T2起的预测时间间隔，即Tf定义了袋深度将达到阈值时的将来时间点。

利用预测的时间，处理器被配置为自动为用户安排预约。换句话说，对用户的后续预约是将由T2+t定义的日期。偶尔这种自动安排可能会发生冲突。预约的冲突可以包括之前预定的会议、用户例如操作临床医生(用户)的不可用性、诊所的非工作时间中的至少一个。因此，在一个实施例中，处理器被配置为访问安排日历并通过添加附加的时间(AAT)来调整预约，即T2+t+AAT，以安排被避免发生冲突的预约。在另一个实施例中，处理器被配置为访问安排日历并通过减去附加时间(DAT)来调整预约，即T2+t-DAT，以安排被避免发生冲突的预约。基于对临床医生的可用安排的识别，处理器可以被配置为例如通过自动发送带有安排细节的电子邮件来与患者沟通所安排的预约。

在一个实施例中，该系统还包括显示器。至少一个相机被配置为捕获口内目标区域的实时图像数据。处理器被配置为接收虚拟内容，例如至少有或没有牙骨质釉质交界和牙龈边缘的牙齿的三维数字表示，并将虚拟内容，例如三维数字表示，叠加在实时图像数据上，使得实时图像数据的至少一部分通过叠加的三维数字表示在显示单元上实时可查看。处理器可以被配置为从捕获的实时图像数据捕获至少一个2D图像。捕获实时图像数据允许用户实时查看口内目标区域，并且具有叠加的虚拟内容允许容易建立实时图像数据(即物理世界)与可能与患者相关的任何数字信息之间的对应关系。附加的数字信息，例如用户的历史牙齿状况数据，在诸如测量牙周袋深度的牙科过程期间可能非常有用。

因此，该系统可以允许查看物理、真实世界环境并通过可以包括图形信息(例如数字数据、非数字数据、2D图像或三维模型或者它们的组合) 的虚拟内容来增强该查看。显示器可以包括眼镜、其他透镜或投影仪中的至少一种，该投影仪将虚拟内容投影到眼镜或透镜上以向牙科医生提供视觉叠加。视觉叠加被叠加在至少一个相机捕获的实时图像数据上。这种显示器可以包括增强现实/虚拟现实(AR/VR)眼镜、AR/VR护目镜、AR/VR 头戴式视图器或已知AR或VR系统的其他类型的显示器。

在一个实施例中，处理器包括配准模块，该配准模块被配置为将虚拟内容叠加在实时图像数据上。在一个实施例中，叠加包括在显示器的一部分上定位非结构虚拟内容，使得非结构虚拟内容被定位为避免在显示器上与执行诸如牙周袋测量的牙科过程的口内目标区域的表示的至少一部分重叠或干扰。处理器可以被配置为将非结构虚拟内容定位在显示器的特定预先分配的部分上，或者处理器被配置为：i)通过应用图像处理技术来确定显示器上的不存在与牙科过程相关的诸如牙周探针的牙科器械的一部分来评估实时图像数据以及ii)在确定的该部分处显示非结构虚拟内容。非结构虚拟内容可以包括患者详细信息或其他文本或图片记录，如姓名、年龄、早期牙科就诊的概要或关于特定牙科或其他健康状况的注释，并且可以优选地不包括可从先前的扫描中获得的口内目标区域的三维表示。作为示例，该表示的至少一部分可以至少包括在正在进行袋深度测量的离散点附近的牙龈边缘和/或牙骨质釉质交界的表示。附加地或替代地，非结构虚拟内容可以包括具有选项的菜单，该选项被配置为由用户优选地使用语音命令来控制。使用语音命令对菜单选项的这种控制允许用户在允许选择菜单选项的同时继续关注牙科过程。菜单选项可以包括与呈现患者数据和/ 或结构化虚拟内容有关的控件。菜单选项可以包括允许用户将语音注释包括到至少一个2D图像的控件。附加地或替代地，叠加包括在实时图像数据和虚拟内容之间执行图像配准，该虚拟内容例如是患者口腔的三维数字表示，例如牙齿和牙龈边缘和/或牙骨质釉质交界或其他口腔内区域的三维数字表示。患者口腔的三维数字表示可以包括以下一个或多个：表面三维数据，例如从口腔内扫描仪获得，和/或表面下三维数据，例如从锥形束计算机断层扫描(CBCT)扫描仪获得。配准模块被配置为执行(应用)图像配准算法以将来自至少一个相机的实时图像数据和诸如与患者口腔内相关的三维数据的虚拟内容相互配准。这样的图像配准可以基于诸如使用基准标记的基于标记的跟踪，诸如基于特征的跟踪的无标记跟踪，基于边缘的跟踪，基于关键点的跟踪，基于强度的跟踪或其组合。图像配准涉及确定将一个图像与另一个图像(即虚拟内容与实时图像数据)在空间上对齐的变换。图像配准可以涉及识别图像对的每个图像中的多个点、点云、边缘、角等，对每个图像的点进行表面拟合，和使用点周围的局部搜索来匹配两个图像的点。例如，配准模块可以被配置为将一个图像的点与插值在另一图像的表面上的最近点进行匹配，并且迭代地最小化匹配点之间的距离。配准模块还可以被配置为通过或不通过迭代找到一个图像的点处的曲率特征与另一图像的表面上内插的点处的曲率特征的最佳匹配。配准模块还可以被配置为通过或不通过迭代找到匹配，例如在一个图像的点处的自旋图像点特征与在另一图像的表面上内插的点处的自旋图像点特征的最佳匹配。可用于图像配准的其他技术包括基于使用其他特征并最小化点对表面距离确定点对点对应关系的技术。配准模块可以被配置为应用其他图像配准技术，例如逐像素闭环配准方法，其可以使用由真实场景模型和期望的虚拟增强组成的参考模型自动最小化配准误差。可以通过相机姿态细化在全局世界空间中最小化配准错误，并且通过逐像素调节在局部屏幕空间中最小化配准错误。配准模块可以被配置为应用任何其他常规已知的配准技术来将虚拟内容与实时图像数据配准。

配准模块还可以被配置为应用常规已知的图像配准技术来实现虚拟内容和实时图像数据之间的时间配准。这种时间配准将允许接收的实时图像数据和虚拟内容之间的同步移动。换句话说，配准模块被配置为与实时图像数据的更新和改变相对应至少基本同时地更新和重新显示虚拟内容。还可以应用这样的时间配准技术以便至少基本上解决时延问题，其可以包括以下各项中的至少一项：主机外延迟(off-host delay)，即，改变与系统感测到改变之间的延迟；计算延迟，即由执行计算导致的延迟；呈现延迟 (即呈现实时图像数据所需的时间)；显示延迟(即在创建呈现的实时图像数据与显示图像之间的时间)；同步延迟(即等待其他关键数据路径赶上的时间)和帧速率延迟(即当前图像帧和后续图像帧之间的时间)。包括主机外延迟、计算延迟、同步延迟和呈现延迟的任何组合的相对时延可能会发生。配准模块可以被配置为通过使用时间戳和预测性滤波来在时间上对齐图像数据输入流，以解决传入的实时图像数据中的相对时延。

一旦虚拟内容已经被配准到实时图像数据并且被变换为与实时图像数据尽可能接近地匹配，配准模块就被配置为变换虚拟内容(或其一部分) 以生成视觉叠加，这种变换可以是配准过程的一部分，也可以是单独的步骤。因此，可以将诸如三维数字表示的虚拟内容中表示的患者的历史牙列或患者的口内目标区域调整为实时图像数据，并且可以将显示患者的虚拟内容的视觉叠加叠加在显示在显示器上的实时图像数据上，同时确保实时图像数据的至少一部分可以通过叠加的三维数字表示在显示单元上实时查看。

因此，使用图像配准技术的配准模块可以被配置为跟踪虚拟内容与实时图像数据之间的空间和/或时间变化，并自动保持虚拟内容与实时图像数据之间的配准。因此，即使当至少一个相机的视场由于用户的移动和/或患者的移动而改变时，虚拟内容和实时图像数据之间的配准也至少基本上被保持。这样的跟踪可以采用诸如图像帧的比较之类的常规已知的数字处理技术和/或包括被配置为跟踪实时图像与虚拟内容之间的移动并将跟踪信号提供给配准模块的单独的传感器，然后配准模块应用配准技术来保持配准。

在一个实施例中，配准模块还可以被配置为使用已知的共配准技术将从至少一个相机接收的至少一个2D图像与牙齿的三维表示自动对齐。这种三维到2D图像的配准允许同时可视化包含在至少一个2D图像和三维表示中的信息。这在许多情况下可能很有用，例如在指导的牙科过程中。共配准技术是众所周知的，例如在

等人的“同时3D-2D图像配准和C臂校准：血管内图像引导干预的应用”中，Med Phys，2015年 11月；42(11)：6433-47。

在一个实施例中，处理器被配置为生成测量指南，作为叠加的虚拟内容的一部分，其对应于离散点中的至少一个。例如，特定离散点和特定牙齿的测量指南被存储在存储器中，并且处理器被配置为接收这样存储的指南并且针对特定牙齿的特定离散点将指南叠加在三维数字表示上。因为测量指南提供了探针尖端如何需要成角度/定向以进行准确的深度测量的指示，所以该测量指南可以被视为用于执行袋深度的指导的测量的叠加的虚拟指示器。处理器可以进一步被配置为接收/访问或生成测量指南，并且通常作为三维数据的一部分，将测量指南叠加在实时图像数据上，使得实时图像数据的至少一部分通过叠加的测量指南在显示单元上是实时可查看的。例如，对于特定的离散点，测量指南可以包括与牙齿的长轴平行的线。叠加的测量指南可以包括以下至少一个：叠加的指南，例如指示探针尖端插入方向的线、永久彩色区域(红色表示错误插入，绿色表示正确插入，并且橙色表示错误和正确插入之间的过渡)或临时的叠加指南，例如临时彩色区域(红色表示错误插入，绿色表示正确插入，橙色表示错误和正确插入之间的过渡)，它们根据探针尖端被插入袋时的探针取向动态出现。因为处理器被配置为识别诸如探针尖端的对象类型，所以处理器被配置为利用图像处理技术跟踪牙周探针并基于测量指南确定探针尖端是否正确成角度/定向以进行可靠的测量。当处理器被配置为识别牙齿类型和与牙龈边缘和牙齿类型相关的离散点时，处理器可以被配置为使用临床规则生成测量指南。替代地，处理器被配置为从数据库访问测量指南，该数据库存储通常临床上符合的沿着特定牙齿类型的牙龈边缘的特定点的测量指南。

在一个实施例中，处理器包括放大模块，该放大模块被配置为将期望的数字放大和/或光学放大应用于由至少一个相机捕获的实时图像数据或至少一个2D图像。可以在捕获实时图像数据和/或至少一个2D图像之前或期间设置这种数字放大和/或光学放大，并因此捕获放大的实时图像数据和/或放大的至少一个2D图像。附加地或替代地，可以在捕获实时图像数据和/或至少一个2D图像之后应用数字放大。使用更高的分辨率，可以应用数字放大而不显著降低图像质量。因此，仅使用数字放大算法的放大模块可以用于提供实时图像数据/至少一个2D图像的期望放大水平。在应用光学放大的实施例中，放大模块被配置为指示至少一相机调节至少一个相机的透镜系统以改变光学放大。当应用放大时，单独使用光学放大可以提供更高的图像质量，但是这样的实施方式可能需要额外的光学部件，使得至少一个相机被布置在其上的框架或安装座很重。替代地，单独使用数字放大可以提供更轻的框架重量或至少一个相机被布置在其上的安装座的重量，但是当应用放大时可能会损害图像质量。在一个实施例中，通过具有光学和数字放大的组合的放大，可以在重量和图像质量之间取得平衡。例如，光学放大可以是大约1.5倍，而数字放大可以是大约5倍。这允许通过用于光学放大的附加光学部件，在不很大增加框架重量的情况下实现足够的放大。在不同的实施例中，可以将放大全局应用于整个图像，也可以局部应用于特定的感兴趣区域，例如探针等。

在一个实施例中，公开了一种数字放大镜系统。该系统包括配置为由用户穿戴的框架；至少一个光源，其附接至框架并且被配置为照明患者的体内腔的目标区域；附接到框架的至少一个相机，该至少一个相机被配置为捕获目标区域的实时图像数据；处理器，其被配置为接收目标区域的捕获的实时图像数据并通过对捕获的实时图像数据内的感兴趣区域数字地应用放大因子来生成修改的图像数据；和通信模块，其被配置为将生成的修改的图像数据传输到显示模块，该显示模块被配置为向用户显示生成的修改的图像帧。

处理器还可以包括稳定模块，其被配置为应用数字稳定来补偿在捕获的至少一个2D图像和/或实时图像数据期间/中的模糊，例如由于用户的头部移动和/或患者的颌移动而引入的模糊。当使用高放大倍数时，为了抵消模糊而实施数字图像稳定特别有用，其中当使用高放大倍数时，最小的头部移动会转化为较大的感知图像移位，从而使口内目标区域难以观察和处理捕获的至少一个2D图像或实时图像数据。可以通过使用常规已知的技术来应用数字稳定。稳定模块可以被配置为根据用于应用期望的数字放大的放大设置来确定和应用稳定量。例如，对于高于预定水平的放大因子，相比于等于或低于预定水平的放大因子所应用的稳定，要应用更高的稳定。在一个实施例中，稳定模块被配置为确定所获取的至少一个2D图像中的对象(例如探针尖端或牙齿或牙龈边缘中的至少一个)的坐标，并基于先前的至少一个2D图像应用已知的稳定技术来对图像进行精细稳定以补偿模糊。在另一个实施例中，该系统包括移动传感器，该移动传感器被配置为测量诸如用户头部的加速度数据的移动并且进一步被配置为生成移动信号。图像稳定模块被配置为根据测量的移动(如由移动信号表示)应用数字稳定。

在一个实施例中，公开了一种用于在实时图像数据的第一帧和第二帧之间进行数字稳定的方法。该方法包括使用至少一个相机获取实时图像数据的第一帧(或图像)；使用至少一个相机获取实时图像数据的第二帧(或图像)，该第二帧(或图像)在比第一帧(或图像)晚的时间被获取；识别第一帧(或图像)和第二帧(或图像)之间的对应特征点，该对应特征点定义在第一帧(或图像)和第二帧(或图像)之间被跟踪的点；和使用所识别的对应特征点变换第二帧(或图像)。

在上一段描述的实施例中，晚的时间是顺序连续的。换句话说，紧接在第一帧之后捕获第二帧，例如，帧之间的时延是50ms或更短。此外，在识别对应特征点之前，可以使用特征检测算法确定第一帧的特征点。所确定的特征点通常是获取图像中对象的角。这可以包括探针、牙齿等的角。可以进一步确定第一帧是否包括最小数量的特征点，例如至少10个，优选地至少20个。如果不是，则在识别对应特征点之前，可以使用特征检测算法(例如拐角检测算法)(例如Shi-Tomasi拐角检测算法或Harris拐角检测)进一步执行识别最小数量特征点的步骤。此外，可以通过确定第二帧中与第一帧的特征点相对应的特征点来执行对应特征点的识别。这可以通过利用诸如Lucas-Kanade算法之类的算法，特别是Lucas-Kanade光流金字塔算法的稀疏迭代版本来执行。Lucas-Kanade算法也可以基于RGB 颜色模型的亮度I。在一个实施例中，变换可以包括基于对应特征点的坐标之间的差确定稳定转换公式，并基于稳定转换公式转换第二帧的坐标以获得转换的图像，从而导致第二帧和第一帧之间的稳定。稳定转换公式可以表示所有对应特征点的平均转换。转换公式可以包括矩阵。为了避免或至少基本上减少时延问题，处理器包括在i)框架或ii)安装座中，该框架或安装座被配置为布置在系统的用户上，并与至少一个相机和显示器有线连接，其执行所公开的数字稳定方法。这样的处理器可以包括现场可编程门阵列(FPGA)、数字信号处理器、高级RISC机器(ARM)处理器或它们的组合之一。

除了数字稳定之外或作为数字稳定的替代，该系统包括机械稳定器，其被配置为应用机械稳定来补偿在捕获至少一个2D图像和/或实时图像数据期间的模糊，例如由于用户头部移动和/或患者颌移动而引入的模糊。当使用高放大倍率时，使用机械稳定器来抵消模糊特别有用，其中当使用高放大倍率时，最小的头部移动会转化为较大的感知图像移位，从而使口内目标区域难以观察和处理捕获的至少一个2D图像或实时图像数据。通常，这样的稳定器可以是至少一个相机的一部分。机械稳定器可以包括常规已知的装置，例如万向节，例如多轴万向节组。

可以将先前关于立体对齐和稳定单独描述的实施方式进行组合，以获得稳定和立体对齐的实时图像数据。因此，在一个实施例中，公开了一种用于数字地稳定图像和立体对齐从一对相机获得的图像的方法。该对相机包括第一相机和第二相机，第一相机和第二相机布置在框架上或与框架分开的安装座上，该第一相机和第二相机在空间上彼此分开。该方法包括同步第一相机和第二相机以至少基本上同时地单独捕获实时图像数据；至少基本上同时地获取使用第一相机的第一当前帧(或图像)和使用第二相机的第二当前帧(或图像)，第一当前帧(或图像)和第二当前帧(或图像) 分别对应于单独地捕获实时图像数据；从存储器获得第一先前帧(或图像)，其中，在比包括在第一相机获取的实时图像数据中的第一先前帧晚的时间获取第一当前帧；识别第一当前帧(或图像)和第一先前帧(或图像)之间的对应特征点，该对应特征点定义在第一当前帧(或图像)和第一先前帧(或图像)之间被跟踪的点；使用识别的对应特征点对当前第一帧进行变换以获得转换的图像；识别转换的图像和第二当前帧之间的对应点，该对应点定义在转换的图像和第二当前帧之间被跟踪的点；和使用识别的对应点变换第二当前帧。

在上一段定义的实施例中，同步包括第一相机和第二相机之间的时间同步，使得第一实时图像数据的相机帧(或图像)和第二实时图像数据的对应第二相机帧(或图像)分别由第一相机和第二相机至少基本上同时地获取。优选地，第一相机和第二相机可以具有相同的帧率。晚的时间是顺序连续的。换句话说，第一当前帧是紧接在第一先前帧之后捕获的，例如帧之间的时延为50ms或更短。对应点或对应特征点可以至少部分相同。

在识别对应特征点之前，可以使用特征检测算法确定先前帧的特征点。所确定的特征点通常是获取的图像中对象的角。这可以包括探针、牙齿等的角。可以进一步确定第一先前帧是否包括最小数量的特征点，例如至少 10个，优选地至少20个。如果不是，则在识别对应特征点之前，可以使用特征检测算法(例如拐角检测算法)(例如Shi-Tomasi拐角检测算法或 Harris拐角检测)进一步执行识别最小数量特征点的步骤。此外，可以通过确定第一当前帧中与第一先前帧的特征点相对应的特征点来执行对应特征点的识别。这可以通过利用诸如Lucas-Kanade算法之类的算法，特别是Lucas-Kanade光流金字塔算法的稀疏迭代版本来执行。Lucas-Kanade算法也可以基于RGB颜色模型的亮度I。在一个实施例中，变换可以包括：基于对应特征点的坐标之间的差来确定稳定转换公式；以及基于稳定转换公式来转换第一当前帧的坐标，以获得转换的图像，从而导致第一当前帧和第一先前帧之间的稳定。稳定转换公式可以表示所有对应特征点的平均转换。转换公式可以包括矩阵。

在识别对应点之前，可以使用特征检测算法确定转换的图像的点。所确定的点通常是获取的图像中对象的角。这可以包括探针、牙齿等的角。可以进一步确定转换的图像是否包括最小数量的点，例如至少10个，优选地至少20个。如果不是，则在识别对应点之前，可以使用特征检测算法(例如拐角检测算法)(例如Shi-Tomasi拐角检测算法或Harris拐角检测)进一步执行识别最小数量点的步骤。此外，可以通过确定第二当前帧中与转换的图像的点相对应的点来执行对应点的识别。这可以通过利用诸如Lucas-Kanade算法之类的算法，特别是Lucas-Kanade光流金字塔算法的稀疏迭代版本来执行。Lucas-Kanade算法也可以基于RGB颜色模型的亮度I。在一个实施例中，变换可以包括：基于对应点的坐标之间的差来确定立体转换公式；以及基于立体转换公式来转换第二当前帧(或转换的图像)的坐标，以获得立体对齐的图像。立体转换公式可以表示特征点的所有对应点的平均转换。转换公式可以包括矩阵。

为了避免或至少基本上减少时延问题，i)框架或ii)安装座中包括的处理器，该框架或安装座被配置为布置在系统的用户上，并与一对相机和显示器有线连接，该处理器执行所公开的立体对齐和稳定方法。这样的处理器可以包括现场可编程门阵列(FPGA)、数字信号处理器、高级RISC 机器(ARM)处理器或它们的组合之一。

在一个实施例中，处理器可以被配置为响应于触发事件应用放大。触发事件可以包括来自用户的输入和/或响应于至少一个相机和口内目标区域之间的位置或距离中的至少一个的改变而生成的输入信号中的至少之一。来自用户的输入可以包括口头指令，与放大镜系统的物理交互或手势指令中的至少一项。

在一个实施例中，该系统包括麦克风，通常具有指向用户嘴部的方向性，被配置为接收口头指令并将口头指令转换为电信号，并且处理器被配置为将电信号转换为用于数字地应用放大的操作命令。这是特别有用的，因为由于避免了在过程期间触摸任何系统部件的需要，因此用户不仅可以专注于牙科过程，而且可以使牙科过程更加卫生。附加地或替代地，系统可以包括用户接口，其被配置为通过用户与系统的物理交互来接收用户输入，并且处理器被配置为响应于输入而生成操作命令用于数字地应用放大。附加地或替代地，该系统可以包括传感器，该传感器被配置为检测预定的用户手势并将检测到的手势转换为电信号，并且处理器被配置为将电信号转换为操作命令用于数字地应用放大。传感器可以包括包含在系统中的附加相机，该附加相机被配置为检测诸如手部手势之类的手势，并且处理器被配置为接收检测到的手势并将其与对应于手势的放大命令相关。处理器可以从存储器访问与手势相对应的放大命令。附加地或替代地，传感器可以被配置为感测诸如点头之类的头部移动，并相应地向处理器提供传感器信号，该处理器被配置为接收检测到的传感器信号并将其与放大命令相关。对应于头部移动的放大命令可由处理器从存储器访问。该系统可以包括传感器，该传感器被配置为响应于至少一个相机和口内目标区域之间的相对位置变化或至少一个相机和口内目标区域之间的距离变化中的至少一个来生成输入信号；并且处理器，响应于输入信号，被配置为自动调节所应用的放大因子以保持在位置改变和/或距离改变之前可见的口内目标区域的至少基本上相同的放大。

在一个实施例中，处理器被配置为在叠加的虚拟内容中自动识别牙齿，例如牙齿类型，叠加的虚拟内容例如与对其正在测量袋深度的牙齿对应的三维数字表示，并突出显示牙龈边缘上需要袋深度测量的一个或多个点。处理器的分析模块可以被配置为通过应用先前描述的图像处理技术来执行自动识别，诸如通过使用基于机器学习的识别技术。特别地，突出显示需要确定深度测量的点，例如通过符号或颜色指示，允许增加沿着牙龈边缘的数据收集点的特异性。这不仅对于培训新用户特别有用，而且对于即使是经验丰富的临床医生也能大大消除猜测工作。在一个实施例中，一个或多个点对应于历史深度数据可用的点。具有用于与历史测量有关的深度测量的特定点在创建可以与历史深度分布或以后与将来的深度分布进行比较的深度分布时可能是有用的。

在一个实施例中，处理器被配置为确定实时图像数据中的探针尖端是否满足定时标准，例如2D图像序列中的探针尖端是否满足定时标准。定时标准可以包括探针尖端保持至少基本上静止至少预定时间段。处理器可以应用图像处理技术来做出这样的确定，例如，通过识别实时图像数据中的探针尖端并确定探针尖端的位置相对于实时图像数据中的诸如牙龈边缘的其他对象类型的移动。对于包括2D图像序列的实时图像数据，序列中2D图像数量的选择将取决于帧速率和预定时间段。处理器还可以被配置为当探针尖端满足定时标准时从实时图像数据提取至少一个2D图像和/ 或当探针尖端满足定时标准时指示至少一个相机捕获至少一个2D图像。该方法允许确保所确定的袋深度针对旨在进行这样的测量的离散测量点。附加地或替代地，处理器可以被配置为接收用户输入，诸如经由麦克风通过口头命令，该用户输入通常具有指向用户的嘴部的方向性，指示何时捕获至少一个2D图像。这种口头命令可以基于用户何时认为探针尖端满足定时标准位于沿着牙龈边缘的离散测量点处。

在一个实施例中，处理器被配置为确定实时图像数据中的探针尖端是否满足局部最小值标准，例如2D图像序列中的探针尖端满足局部最小值标准。局部最小值标准可以包括当与对于离散测量点的邻域中的测量点的插入长度相比探针尖端表示对于离散测量点的最大插入长度。沿着牙龈边缘的相邻测量点的范围可以在系统中预先定义，或者可以由用户定义。处理器可以应用图像处理技术来做出该确定，例如通过识别实时图像数据中的探针尖端并确定在2D图像序列(表示实时图像数据)中的哪一个中，探针尖端的长度在牙周袋外部最不可见，即表示最大插入长度。处理器还可以被配置为当探针尖端满足局部最小值标准时从实时图像数据提取至少一个2D图像和/或当探针尖端满足局部最小值标准时指示至少一个相机捕获至少一个2D图像。这种方法允许确保所确定的袋深度针对打算进行测量的离散点。附加地或替代地，处理器可以被配置为接收用户输入，诸如经由麦克风通过口头命令，该用户输入通常具有指向用户的嘴部的方向性，指示何时捕获至少一个2D图像。这种口头命令可以基于用户何时认为探针尖端满足局部最小值标准位于沿着牙龈边缘的离散测量点处。

在一个实施例中，处理器被配置为识别离散测量点，在该离散测量点满足定时标准或局部最小值标准中的至少一个，比较识别的离散测量点是否与牙龈边缘上需要袋深度测量的一个或多个点不同，该一个或多个点例如在虚拟内容(例如三维数字表示)上突出显示一个或多个点，并用虚拟内容上与识别的离散测量点对应的点替换牙龈边缘上的一个或多个离散点(例如突出显示的点)中的至少一个。本领域技术人员将理解，考虑到要被替换的点(一个或多个离散点中的至少一个)与进行替换的点(离散测量点)之间的对应关系来执行这种替换，即近中颊可以由最靠近近中颊的离散测量点替换，口腔可以由最靠近口腔的离散测量点替换，诸如此类。处理器还可以被配置为突出显示表示的虚拟内容中牙龈边缘上的离散测量点以用于任何将来的袋深度测量。

在一个实施例中，处理器被配置为生成新的测量指南，作为虚拟内容的一部分，对应于离散的测量点。离散测量点是满足定时标准或局部最小值标准中的至少一项的点。处理器可以进一步被配置为接收新的测量指南并且将新的测量指南叠加在实时图像数据上，使得实时图像数据的至少一部分可以通过叠加的新测量指南在显示单元上可实时观看。这样的叠加可以包括如前所述的叠加的指南或临时叠加指南中的至少一个。由于处理器被配置为识别对象类型，例如探针尖端，所以处理器被配置为利用图像处理技术跟踪牙周探针，并基于新的测量指南确定探针尖端是否正确成角度 /定向，以获得可靠的测量。当处理器被配置为识别牙齿类型和与牙龈边缘和牙齿类型有关的离散测量点时，处理器可以被配置为使用临床规则来生成新的测量指南。例如，处理器被配置为生成针对特定离散点的指南，该指南要求探针尖端平行于牙齿的长轴。替代地，处理器被配置为从数据库访问新的测量指南，该数据库存储通常临床上符合的沿着特定牙齿类型的牙龈边缘的特定点(例如离散测量点)的新的测量指南。

在一个实施例中，处理器被配置为自动地在三维数字表示中识别牙齿，诸如牙齿类型，该三维数字表示对应于正对其测量袋深度的牙齿，识别或不识别口腔中的实际牙齿位置，即根据某牙齿编号方案的牙齿编号；并且在三维数字表示上数字地表示牙周探针在一个或多个点处或沿着整个牙龈边缘或牙龈边缘的一部分的至少一个历史深度。处理器的分析模块可以被配置为通过应用之前描述的图像处理技术(例如基于机器学习的识别) 来执行自动识别。处理器还可以被配置为将确定的深度(其可以包括整个深度分布)叠加在三维数字表示上，以在三维数字表示上数字地表示深度。在一个实施例中，三维数字表示上的数字地表示的深度可以存储为三维患者记录，例如患者特定的牙科图。附加地或替代地，处理器接收三维数字表示上的数字地表示的深度，并且将具有数字地表示的深度的三维数字表示叠加在实时图像数据上，使得实时图像数据的至少一部分通过叠加的三维数字表示在显示单元上是实时可查看的。可以根据先前描述的图像配准技术来实现叠加。具有这样的叠加允许用户实时监视患者袋深度信息/牙齿状况。

在一个实施例中，探针包括与探针元件操作地接合的力敏感机构，例如弹簧机构。当探针尖端被推入袋深度内并达到预定的插入力时，弹簧机构在探针元件上施加会移位/偏离的力，从而表示探针元件的变化。处理器被配置为使用图像处理技术在捕获的至少一个2D图像和/或实时图像数据中确定这种变化，指示施加了用于进行袋深度测量的预定插入力。在至少一个2D图像和/或实时图像数据中的探针元件的表示上使用这种方法，力可确保在相同的力条件下进行所有的袋深度测量，并且可以至少基本上避免了在不同用户之间施加力时引入的可变性。在处理器确定探针元件的这种位移(变化)的情况下捕获的至少一个2D图像通常用于确定牙周袋深度。

在一个实施例中，处理器被配置为在施加预定插入力时访问包括探针元件的数字变化的探针轮廓；应用图像处理技术，包括从至少一个2D图像评估与数字变化有关的探针元件的信息；和确定是否施加了预定的插入力。分析模块可以被配置为做出这样的确定。分析模块可以应用较早描述的图像处理技术，以将捕获的至少一个2D图像与探针轮廓进行比较，以识别至少一个2D图像中表示的探针元件是否与探针轮廓中表示的探针元件匹配，该探针轮廓包括数字变化作为2D图像上的特征。如果不是，则处理器被配置为指示至少一个相机捕获附加的至少一个2D图像，直到在附加的至少一个2D图像中表示的探针元件与探针轮廓中表示探针元件之间识别出匹配。本领域技术人员将意识到，可以使至少一个2D图像满足与探针轮廓的匹配标准，在这种情况下，没有必要具有失配的第一步骤。

在一个实施例中，数字变化可以包括当变化发生时探针元件的几何信息，并且处理器可以被配置为基于几何比较来确定从至少一个2D图像识别出的探针元件与几何信息之间是否存在匹配。附加地或替代地，当发生变化时，数字变化可以包括位移的探针元件和探针的另一部分之间的角度信息，并且处理器可以被配置为确定在i)至少一个2D图像中表示的探针元件与探针的另一部分形成的角度和ii)该角度信息之间是否存在匹配。在另一个实施例中，探针元件包括探针上的LED，该LED被配置为在施加预定插入力时点亮。数字变化包括LED从关断状态到接通状态的改变。处理器被配置为通过执行像素比较来确定来自至少一个2D图像的LED的状态是否表示LED的像素处于接通状态，如包括在探针轮廓中。在这些实施例中的任何一个中，如果存在匹配，则处理器识别施加了预定的插入力，并且用于确定匹配的至少一个2D图像可以用于确定袋深度。

因此，根据实施例，处理器被配置为当确定施加了预定插入力时从实时图像数据捕获至少一个2D图像。附加地或替代地，处理器还被配置为根据确定，通常在将牙周探针尖端插入袋中期间实时地向牙周探针的用户提供反馈。这样的反馈可以包括指示成功进行了测量的音频消息。在某些情况下，反馈可包括指示应在尖端上施加更多力的音频消息。实时使用这样的确定和/或反馈允许在相同的力条件下进行测量，从而提高测量的准确性并且还避免用户施加可能导致患者痛苦体验的过度力的情况。

根据一个实施例，公开了一种体现在非暂时性计算机可读介质中的计算机程序产品。该计算机程序产品包括可由硬件数据处理器执行的计算机可读程序代码，以在由硬件数据处理器执行所述计算机可读程序代码时使硬件数据处理器执行方法。该方法可以包括一个或多个功能，诸如分析模块、稳定模块、配准模块、处理器等的系统部件中的任何一个被配置为根据所公开的实施例中的任何一个来执行该一个或多个功能。例如，当由硬件数据处理器执行计算机可读程序代码时，硬件数据处理器被配置为指示附接到框架的至少一个相机捕获口内目标区域的至少一个2D图像，接收捕获的至少一个2D图像，并处理捕获的口内目标区域的至少一个2D图像。例如，这样的处理可以包括通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术，确定与牙龈边缘相关的探针尖端在牙周袋中的插入长度。所确定的插入长度表示牙周袋的深度。本实施例公开的硬件数据处理器执行的方法被配置为包括后述的一个或多个实施例。

根据一个实施例，公开了一种用于确定附着丧失的方法。该方法包括使用至少一个相机接收至少一个2D图像；使用图像处理技术在至少一个 2D图像上确定：i)牙周袋深度，ii)是否发生了牙龈退缩，iii)如果确定已经发生了牙龈退缩，则确定牙龈退缩；以及iv)基于所确定的牙周袋深度和所确定的牙龈退缩的组合确定附着丧失。对牙龈退缩是否已经发生的确定可以针对沿着牙龈边缘的进行测量的离散点并且基于牙骨质釉质交界和牙龈边缘之间的距离。如果确定没有发生牙龈退缩，则牙龈退缩为零，附着的丧失等于所确定的袋深度。

根据一个实施例，公开了一种用于测量由牙齿和牙龈之间的间隙限定的牙周袋的深度的计算机实现的方法。该方法包括捕获口内目标区域的至少一个2D图像，该至少一个2D图像包括牙齿的至少一部分、由与牙齿的该至少一部分相邻的牙龈的一部分限定的牙龈边缘和当探针尖端插入牙周袋时的探针尖端的表示。可以通过附接到被配置为由用户穿戴的框架的至少一个相机来执行捕获。该方法还包括通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术来确定与牙龈边缘相关的探针尖端在牙周袋中的插入长度，其中，所确定的插入长度表示牙周袋的深度。该方法可以包括诸如分析模块、稳定模块、配准模块、处理器等的系统部件中的任何一个被配置为根据任何公开的实施例而执行的任何功能。

附图说明

本公开的实施例及其优点可以从以下结合附图的说明性和非限制性详细描述中得到最好的理解，其中：

图1示出了根据实施例的系统；

图2示出了根据实施例的安装在用户上的两部分系统；

图3A示出了根据实施例的当用户穿戴时的系统；

图3B示出了根据图3A的实施例的实时图像数据的放大图；

图4A示出了根据实施例的当用于测量至少牙周袋深度的牙周探针的前视图；

图4B示出了根据图4A的实施例的在使用中的牙周探针的侧视图；

图5A示出了根据实施例的当用于至少测量牙周袋深度时的牙周探针的前视图；

图5B示出了根据图5B的实施例的在使用中的牙周探针的侧视图；

图6A示出了根据实施例的当由用户穿戴时的系统；

图6B示出了根据图6A的实施例的实时图像数据的放大图；

图7A示出了根据实施例的牙周探针；

图7B示出了根据实施例的牙周探针；

图7C示出了根据实施例从第一视角观察的牙周探针；

图7D示出了根据图7C的实施例从第二视角观察的牙周探针；

图8示出了根据实施例的牙周探针的不同取向；

图9示出了根据实施例的牙周探针的不同取向；

图10示出了根据实施例的虚拟内容在实时图像数据上的叠加；

图11示出了根据实施例的虚拟内容在实时图像数据上的叠加；

图12示出了根据实施例的系统；

图13A示出了根据实施例的探针元件；

图13B示出了根据实施例的处于移位位置的图13A的探针元件；

图14A示出了根据实施例的当用于测量具有局部最小值的牙周袋时的牙周探针；

图14B示出了根据图14A的实施例的当用于测量具有局部最小值的牙周袋时的牙周探针；和

图15示出了确定附着丧失的方法。

具体实施方式

在下面的描述中，参考了附图，这些附图通过说明的方式示出了可以如何实践本发明。

图1示出了根据实施例的系统。系统100包括框架102、至少一个相机104和处理器106。框架被配置为由用户(202，图2)穿戴。至少一个相机104附接到框架102并且被配置为捕获口内目标区域的至少一个2D 图像(图3B或图6B)。至少一个2D图像包括牙齿(322，图3)的至少一部分、由与牙齿的至少一部分相邻的牙龈(310，图3)的一部分限定的牙龈边缘(316，图3)和当将探针尖端(312，图3)插入牙周袋(412，图4；512，图5)中时的探针尖端的表示。处理器106被配置为接收捕获的至少一个2D图像。处理器还被配置为通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术来确定与牙龈边缘相关的探针尖端在牙周袋中的插入长度(406，图4；512，图5)。所确定的插入长度表示牙周袋(412，图4)的深度。该实施例中公开的可以是数字牙科放大镜系统的系统被配置包括一个或多个公开的实施例。例如，该系统还可以包括其他元件，例如以下中的一个或多个：i)显示器110，该显示器 110被配置为显示至少一个2D图像或实时图像数据中的至少一个，有或没有虚拟内容，ii)至少一个被配置为照明患者的口内目标区域的光源112，iii) 扬声器模块108，其被配置为传送诸如音频消息之类的通知，iv)麦克风(1220，图12)，其被配置为接收来自用户的语音命令/口头指令，或v) 通信模块(1204，图12)，其将数字数据传输到其他设备和/或接收来自其他设备的数字数据，例如，存储记录的图像的数据库，远程处理单元(1230，图12)。该系统可以包括可以存储深度分布，数字轮廓的存储器(1214，图12)。替代地，通信模块可以从诸如远程数据库(1228，图12)(可以被认为是系统的一部分)的其他设备接收虚拟内容和/或数字轮廓，并且这样接收的虚拟内容和/或数字轮廓可以由处理器访问。

在不同的实施例中，至少一个相机被示为附接在框架的远端，但是使至少一个相机彼此更靠近，例如，空间上分开已知距离但更靠近且位于框架中心的两侧，也在本发明的范围内。

图2示出了根据实施例的安装在用户上的两部分系统。该实施例包括与图1的实施例中所示的元件相同的元件并且这些元件的功能也相同。然而，两个实施例在元件的布置上不同。图1示出了单部分系统，而图2示出了两部分系统200，其中两个部分可拆卸地可彼此连接。在这种情况下，框架包括可以是眼线安装单元206的第一部分，而另一部分包括比如带204 的头戴式单元。头戴式单元204可以包括至少一个相机208、光源210和眼线安装单元包括显示器212、处理器、扬声器214。框架202可由用户穿戴。可拆卸地连接是指例如通过无线链路两个部分至少通信地连接。但是，多个部分之间的通信连接性可以包括如图2所示的物理连接216。在图1的实施例的情况下，多部分系统可以进一步包括诸如麦克风、通信模块、存储器等的其他元件。本领域技术人员将认识到，只要保持如本文所公开的元件的功能和功能关系，就可以改变系统的不同元件的布置。例如，处理器可以从框架移除并且可以包括像带穿戴处理器一样穿戴的主体，该带穿戴处理器可以穿戴在用户的腰部周围。这导致产生重量轻的框架，这对于例如每天使用多个小时的定期使用该系统(例如牙科放大镜系统)的用户可能特别有用。

图3A示出了根据实施例的当用户穿戴时的系统，并且图3B示出了根据图3A的实施例的实时图像数据的放大图。系统300被配置为由用户302 穿戴。如图所示，至少一个相机324被布置在框架上，使得至少一个相机的光轴320低于参考线318。换言之，该至少一个相机324布置在框架上，使得参考线318和光轴320之间的成像角度322由角度322限定，当框架由用户穿戴时该角度322保持用户对显示器的观察与参考线318至少基本上直线对齐同时光轴320指向口内目标区域308。这允许用户在显示器326 上看到至少一个2D图像306和/或实时图像数据306，而不需要用户通过向前弯曲并向前拉动他的肩膀来弓起背以捕获至少一个2D图像和/或实时图像数据。至少一个2D图像和/或实时图像数据306包括探针304，探针尖端312，在离散点314处针对其测量至少牙周袋深度的牙齿322的至少一部分，由牙龈310和牙齿322的交界限定的牙龈边缘316的表示。该实施例公开了一种场景，其中至少一个2D图像和/或实时图像数据表示通常在至少一个相机的直接视场中可访问的牙齿的面侧(facial side)的至少一部分。

图4A示出了根据实施例的用于测量至少牙周袋深度时的牙周探针的前视图，并且图4B示出了根据图4A的实施例的牙周探针在使用时的侧视图。该实施例示出了牙龈402，其中与牙齿414的离散点相关的牙龈边缘 404没有退缩。因此，牙周袋412的牙周袋深度406表示附着丧失并且没有牙龈退缩。探针408的探针尖端410的插入长度表示牙周袋深度406。

图5A示出了根据实施例的用于测量至少牙周袋深度时的牙周探针的前视图，并且图5B示出了根据图5B的实施例的牙周探针在使用时的侧视图。该实施例示出了牙龈506，其中与牙齿508的离散点相关的牙龈边缘 502已经退缩，从而导致退缩的牙龈边缘504。因此，附着的丧失由组合的牙龈退缩510的长度和牙周袋深度512表示。在这种情况下，502还表示牙骨质釉质交界并且存在未退缩牙龈518的牙骨质釉质交界与退缩牙龈边缘504之间的距离表示与未退缩牙龈518相比的牙龈退缩510。探针514 的探针尖端516的插入长度表示牙周袋深度512。

图6A示出了根据实施例的当用户穿戴时的系统，并且图6B示出了根据图6A的实施例的实时图像数据的放大图。该实施例与图3A和图3B中公开的实施例基本相同，除了该实施例描述了这样的情况之外，其中至少一个相机608被配置为从来自口腔镜606对口内区域和探针604的探针尖端608的反射捕获与这些口内区域相关的至少一个2D图像和/(图6B)或实时图像数据(图6B)，该口内区域在至少一个相机608的直接视场中至少基本上不可访问或不方便访问。口腔镜606被配置为向至少一个相机提供间接视觉。这样的区域可包括以下中的一个或多个：i)舌侧或腭侧的表面，例如牙齿610表面，或ii)邻近牙齿表面的牙龈和当探针尖端插入舌侧或腭侧的牙周袋中时的探针尖端。系统600被配置为由用户602穿戴。捕获的至少一个2D图像和/或实时图像数据在显示器610上可见。在该实施例中，至少一个相机608被布置在框架上，使得至少一个相机的光轴在参考线下方。

图7A示出了根据实施例的牙周探针702。探针尖端704没有任何标记，例如没有深度标记或基准标记，即探针不包括从探针尖端的远侧点到沿着探针尖端的长度的点的任何长度指示。在捕获的至少一个2D图像中获得的关于探针尖端的信息包括关于具有或不具有探针的任何其他部分的探针尖端的几何信息。这样的几何信息从特定的视点/视角表示探针的表示。

图7B示出了根据实施例的牙周探针706。探针尖端708包括深度标记 710，深度标记710通常包括颜色编码标记、刻度标记或表示探针尖端的远侧点712和探针尖端的多个深度标记之间的长度的任何其他指示器。本领域技术人员可以设想多种不同的视觉标记，包括但不限于提供与深度标记相同功能的不同形状、宽度、颜色等，即在尖端708的远测点712到这些深度标记之间的指示。在捕获的至少一个2D图像中获得的关于探针尖端的信息包括探针尖端中包括的至少一个深度标记的数字表示。

图7C示出了根据实施例从第一视角观察的牙周探针714。图7D示出了根据图7C的实施例的牙周探针714，除了在该实施例中，从不同于第一视角的第二视角示出了探针。探针尖端716或任何其他探针部分可包括基准标记物720。基准标记物具有图案、大小、形状、颜色中的至少一个，优选地与口内目标区域中存在的颜色或其任何组合不同，更优选与之形成对比。基准标记的表示随探针尖端或包括这种基准标记的任何其他部分的透视图而变，即，从一个视角可见的基准标记不同于从不同视角可见的基准标记。这在使用中时确定牙周探针714的取向时特别有用。在牙周袋外部可见的基准标记的表示也可用于确定插入长度，因为基准标记的表示指示远侧尖端718与基准标记的可见表示之间的距离。类似地，与牙骨质釉质交界对齐的基准标记的表示也可用于确定牙龈退缩，因为基准标记的表示指示沿着探针尖端716的不同点之间的距离。

图8示出了根据实施例的牙周探针的不同取向。如在至少一个2D图像中所表示的，口内目标区域由牙齿802、牙龈804、牙龈边缘806和在不同取向之一的探针表示。如图所示，探针的不同取向808、808’、808”可分别包括第一取向810、第二取向810’和第三取向810”。处理器被配置为针对每个离散点，将这些不同取向视图(透视图)中的每一个与数字探针轮廓(例如，探针轮廓的不同投影视图)进行比较，并确定该取向对于正确测量袋深度是否最佳，如前所述。如果不是，则处理器还可以被配置为例如通过经由扬声器传递的音频消息来指示通知模块将差异通知给用户。用户可以改变取向以进行另一测量，直到获得进行测量的最佳取向。

图9示出了根据实施例的牙周探针的不同取向。如在至少一个2D图像中所表示的，口内目标区域由牙齿902、牙龈904、牙龈边缘906和处于不同取向之一的探针表示，探针包括基准标记。如图所示，探针的不同取向908、908’、908”可以分别包括第一取向910、第二取向910’和第三取向910”。处理器可以被配置为针对每个离散点，将这些不同取向视图(透视图)中的每一个与数字探针轮廓(例如探针轮廓的不同投影视图)进行比较，并确定该取向对于袋深度的正确测量是否最优，如前所述。附加地或替代地，因为探针包括对于探针的特定视角是唯一的基准标记912、912'、 912”，所以处理器被配置为通过针对离散点比较识别的基准标记和数字探针轮廓的不同基准标记来确定探针的取向对于袋深度测量是否最佳。如果不是，则处理器还可以被配置为例如通过经由扬声器传递的音频消息来指示通知模块将差异通知给用户。用户可以改变取向以进行另一测量，直到获得用于测量的最佳取向。在(退缩或未退缩的)牙周袋外部可见的基准标记912、912'、912”的表示也可用于确定插入长度，因为基准标记的表示指示远侧尖端与基准标记的可见表示之间的距离。类似地，在进行测量的离散点处与牙骨质釉质交界916对齐的基准标记的表示也可用于确定牙龈退缩，因为基准标记的表示指示沿着探针尖端的不同点之间的距离。

图10示出了根据实施例的虚拟内容在实时图像数据上的叠加。系统 1000包括至少一个光源1026，至少一个相机1024和显示器1002。该至少一个相机被配置为捕获口内目标区域的实时图像数据1004。处理器被配置为接收虚拟内容1006/1008，例如具有或不具有牙骨质釉质交界和牙龈边缘的至少牙齿的三维数字表示1006，并且将虚拟内容例如三维数字表示叠加在实时图像数据上，使得实时图像数据的至少一部分可以通过叠加的三维数字表示在显示单元1002上可实时查看。为了便于说明，实时图像数据1004和虚拟内容1006被分开表示，但是，两个数据1004和1006被显示在显示器上，其中，虚拟内容叠加在实时图像数据上。具有叠加的虚拟内容允许在实时图像数据(即物理世界)与可能与患者相关的任何数字信息之间容易地建立对应关系。实时图像数据1004可以包括牙齿1016、探针1028、当尖端在离散点1010’处插入到袋中时的探针尖端1030的表示。

在一个实施例中，叠加包括将非结构虚拟内容1008定位在显示器1002 的一部分上，使得非结构虚拟内容被定位为避免在显示器上与执行诸如牙周袋测量的牙科过程的口内目标区域的表示的至少一部分重叠或干扰。附加地或替代地，处理器被配置为在实时图像数据1004和虚拟内容1006(诸如患者口腔的三维数字表示)之间执行图像配准(在空间上并且还优选在时间上)。这样的配准允许生成视觉叠加，其中虚拟内容(例如三维数字表示)的对应点与真实世界图像数据的至少一部分对齐(例如，将实时图像数据的牙齿1016与三维数字表示的牙齿1018对齐)。处理器可以被配置为跟踪虚拟内容和实时图像数据之间的空间和/或时间变化，并自动保持虚拟内容和实时图像数据之间的配准。

虚拟内容1006还可以包括突出显示的离散点(与离散的实时图像数据离散点1010’、1020、1022相对应的1010)，在其处要进行口腔内的袋深度测量。虚拟内容1006中突出显示的离散点允许用户精确地识别沿着牙龈边缘的测量点。作为虚拟内容1006的一部分，处理器被配置为产生测量指南1012，优选地针对每个离散点，带有或不带有箭头1014的指示。例如，虚拟内容中的离散点1010的测量指南1012对应于在口内目标区域中的离散点1010’。在该实施例中，叠加的指南包括指示探针尖端沿着牙齿的期望插入方向的一条或多条线。因为测量指南提供了探针尖端如何需要成角度/定向以进行准确的深度测量的指示，所以该测量指南可以被视为用于执行袋深度的引导测量的叠加的虚拟指示器。

图11示出了根据实施例的虚拟内容在实时图像数据上的叠加。图11 示出了与图10的实施例基本相同的实施例，其中1100表示系统；1102表示实时图像数据，其包括牙齿1106、探针1122、口内目标区域中的离散点 1110’；1104表示虚拟内容，其包括患者牙齿的三维数字表示，包括牙齿 1108和需要进行测量的突出显示的离散点(与离散点1110’对应的1112、 1114、1110)。处理器被配置为在实时图像数据和虚拟内容(例如患者口腔的三维数字表示)之间执行图像配准(空间的并且优选也时间上的)并以与真实世界图像数据的至少一部分对齐的方式叠加虚拟内容的对应点。处理器可以被配置为跟踪虚拟内容和实时图像数据之间的空间和/或时间变化，并自动保持虚拟内容和实时图像数据之间的配准。处理器可以进一步被配置为生成测量指南，作为叠加的虚拟内容的一部分，其对应于离散点中的至少一个。但是，在该实施例中，这样的测量指南包括不同的区域1116、 1118、1120，例如永久或临时的彩色区域，例如，表示错误插入的红色区域1116，表示正确插入的绿色区域1120，以及表示错误插入与正确插入之间的过渡的橙色区域1118。1126表示至少一个相机并且1124表示至少一个光源。

图12示出了根据实施例的系统。系统1200包括至少一个显示器1222，至少一个相机1224，优选地至少一个光源1218，以及处理器1202，处理器1202可以包括图中所示的至少一个或多个元件。至少一个相机1224被配置为捕获口内目标区域的至少一个2D图像。处理器被配置为接收捕获的至少一个2D图像并处理接收的至少2D图像。这样的处理可以包括通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术来确定与牙龈边缘相关的探针尖端在牙周袋中的插入长度。所确定的插入长度表示牙周袋的深度。显示器1222被配置为显示至少一个2D图像和/或实时图像数据。显示器还可以被配置为显示叠加在至少一个2D图像和/或实时图像数据上的虚拟内容。

处理器可以进一步包括分析模块，该分析模块被配置为应用图像处理技术来处理捕获的至少一个2D图像和/或实时图像数据。图像处理技术可以利用特征检测技术，该技术允许检测至少一个2D图像和/或可以从中提取至少一个2D图像的实时图像数据的特征和优选地对象类型。

处理器可以进一步包括放大模块1210或稳定模块1206中的至少一个。放大模块1210被配置为将期望的数字放大和/或光学放大应用于由至少一个相机捕获的实时图像数据或至少一个2D图像。稳定模块1206被配置为应用数字稳定以补偿捕获的至少一个2D图像和/或实时图像数据期间/中的模糊，例如由于用户的头部移动和/或患者的颌移动而引入的模糊。

处理器可以进一步包括存储器1214，其被配置为存储数字数据，例如患者记录，并提供数字数据，例如提供数字探针轮廓和/或虚拟内容。配准模块1212被配置为接收虚拟内容并将虚拟内容叠加在实时图像数据上，使得实时图像数据的至少一部分可通过叠加的内容在显示单元上可实时查看。分析模块利用配准技术以获得和/或保持虚拟内容和实时图像数据之间的空间和/或时间配准。

处理器还可以包括诸如计算模块1232之类的附加元件，其被配置为执行一个或多个任务，诸如确定是否满足定时标准或局部最小值标准中的至少一项，更新指南，生成深度分布，生成具有深度分布的患者记录，确定探针是否处于最佳取向，在满足局部最小值标准时生成新的视觉指南，生成包括深度分布的患者记录，生成用于相机或灯等元件的控制命令，在传输到远程数据库或处理单元之前压缩数据或本文公开的任何其他任务。

处理器还可包括通信模块1204，通信模块1204被配置为至少在一个方向上与远程数据库1228或远程处理单元1230中的至少一个交换数据。远程数据库和/或远程处理单元可被认为是系统的一部分。通信单元可以从远程数据库接收诸如数字探针轮廓和/或虚拟内容的数据，并且将轮廓深度发送到远程数据库。通信模块还可以被配置为向远程处理单元传输实时图像数据(优选地预处理的实时图像数据)。远程处理单元1230可以被配置为对从通信模块接收的传输的预处理图像数据执行进一步处理。

处理器1202还可以包括通知模块1208，其被配置为在不同的使用场景中为用户生成通知。例如，通知模块将为用户生成通知。通知可以与特定的过程步骤或差异相关。例如，处理器可以通过经由扬声器模块1226 传递的音频消息通知用户“改变取向并进行新的测量”。该系统还可以包括麦克风1220以接收来自用户的语音命令，并且计算模块1232被配置为将接收的语音命令转换为表示语音命令的指令，该指令允许进行特定任务，例如将接收的语音命令存储在患者记录中、改变放大等。

图13A示出了根据实施例的探针元件。图13B示出了根据实施例的处于移位位置的图13A的探针元件。探针1302可以包括力敏感机构，例如弹簧机构，其与探针元件1306操作地接合。当将探针尖端1304推入袋深度内并且达到预定的插入力时，弹簧机构在探针元件上施加会移位/偏离 (图13B中为1306被移位)的力，从而表示探针元件的变化。处理器被配置为使用图像处理技术在捕获的至少一个2D图像和/或实时图像数据中确定这种变化，指示施加了用于进行袋深度测量的预定插入力。在处理器确定探针元件的这种位移(变化)的情况下捕获的至少一个2D图像通常用于确定牙周袋深度。处理器可以被配置为在施加预定插入力时访问包括探针元件的数字变化的探针轮廓；应用图像处理技术，包括从至少一个2D 图像评估与数字变化有关的探针元件的信息；和确定是否施加了预定的插入力。数字变化可以包括当变化发生时探针元件的几何信息，并且处理器可以被配置为基于几何比较来确定从至少一个2D图像识别出的探针元件与几何信息之间是否存在匹配。附加地或替代地，当发生变化时，数字变化可以包括位移的探针元件和探针的另一部分之间的角度信息，并且处理器可以被配置为确定在i)至少一个2D图像中表示的探针元件与探针1310 的另一部分形成的角度1308和ii)该角度信息之间是否存在匹配。

图14A示出了根据实施例的当用于测量具有局部最小值的牙周袋时的牙周探针。图14B示出了根据图14A的实施例的当用于测量具有局部最小值的牙周袋1404时的牙周探针。处理器被配置为确定包括牙齿1402的实时图像数据1400中的探针1406的探针尖端1408是否满足局部最小值标准，例如，在2D图像序列中的探针尖端满足局部最小值标准。虚线所示的探针尖端和牙周袋的一部分在至少一个2D图像和/或实时图像数据中不可见，因为这些部分是龈下特征，但在此仅出于说明目的而包括在内。局部最小值标准当与对于离散测量点的邻域中的测量点1418的插入长度 1414相比探针尖端1408表示对于离散测量点1420的最大插入长度1416。沿着牙龈边缘的相邻测量点的范围可以在系统中预先定义，或者可以由用户定义。这通常可以表示以下情况：在测量期间探针的远端所在的上皮附着(在1422处)具有相邻或近端区域1410，其中上皮附着更退缩，由上皮附着的局部最小值定义(相对于1410参见1422)。处理器可以应用图像处理技术来做出该确定，例如通过识别实时图像数据中的探针尖端并确定在2D图像序列(表示实时图像数据)中的哪一个中，探针尖端的长度在牙周袋外部最不可见，即表示最大插入长度。处理器还可以被配置为当探针尖端满足局部最小值标准时从实时图像数据提取至少一个2D图像和/或当探针尖端满足局部最小值标准时指示至少一个相机捕获至少一个2D图像。这种方法允许确保所确定的袋深度针对打算进行测量的离散点。

处理器可进一步被配置为识别满足局部最小值标准的离散测量点 1420，比较识别的离散测量点1420是否不同于需要袋深度测量的牙龈边缘上的一个或多个点，例如在虚拟内容(例如三维数字表示)上突出显示的一个或多个点，并用虚拟内容上与识别的离散测量点1420对应的点替换牙龈边缘上的一个或多个离散点(例如突出显示的点)中的至少一个。处理器还可以被配置为突出显示表示的虚拟内容中牙龈边缘上的离散测量点以用于任何将来的袋深度测量。

在一个实施例中，处理器被配置为生成新的测量指南1412’，作为虚拟内容的一部分，对应于离散测量点。处理器可以进一步被配置为接收新的测量指南1412’并且将新的测量指南叠加在实时图像数据上，使得实时图像数据的至少一部分可以通过叠加的新的测量指南在显示单元上可实时查看。因此，可以删除与包括牙齿1402的实时图像数据1400中的探针 1406的探针尖端1408不满足局部最小值标准的点相对应的指南1412。

图15示出了确定附着丧失的方法。方法1500在1502使用至少一个相机接收至少一个2D图像；对至少一个2D图像使用图像处理技术以确定：i)在1504，牙周袋深度，ii)在1506，是否发生牙龈退缩，iii)在1508，如果确定已经发生牙龈退缩，则牙龈退缩，以及iv)在1510，基于所确定的牙周袋深度和所确定的牙龈退缩的组合的附着丧失。牙龈退缩是否已经发生的确定可以针对沿着牙龈边缘进行测量的离散点并且基于牙骨质釉质交界和牙龈边缘之间的距离。如果在1506确定没有发生牙龈退缩，则牙龈退缩为零并且在1512处的附着丧失等于所确定的袋深度。该图示列举了一系列步骤，但技术人员会意识到可以在步骤1506和1508(如果牙龈退缩)已经发生之后确定袋深度。

尽管已经详细描述和示出了一些实施例，但是本公开不限于这些细节，而是还可以在所附权利要求书所限定的主题的范围内以其他方式来体现。特别地，应当理解，在不脱离本发明的范围的情况下，可以利用其他实施例并且可以进行结构和功能修改。

权利要求可以指前述权利要求中的任何一项，并且“任何”应理解为是指前述权利要求中的“任何一个或多个”。

应该强调的是，在本说明书中使用的术语“包含/含有/包括”用于指定所述特征、整数、操作、步骤或部件的存在，但不排除一个或多个其他特征、整数、步骤、部件或其组的存在或添加。

在列举若干装置的权利要求中，这些装置中的若干可以由一个且相同的硬件项目来体现。某些措施在相互不同的从属权利要求中陈述或在不同实施例中描述的仅仅事实并不表示这些措施的组合不能有利地使用。

Claims (23)

1.一种用于测量牙周袋的深度的系统，该系统包括：

包括显示器的眼镜框架；

被配置为由用户头戴并通信地连接到所述眼镜框架的头戴式框架；

至少一个相机，该至少一个相机附接到所述框架，被配置为捕获口内目标区域的至少一个2D图像，该至少一个2D图像包括至少以下的表示：

牙齿的一部分，

由与牙齿的至少一部分相邻的牙龈的一部分限定的牙龈边缘，

当探针尖端插入牙周袋时的探针尖端；和

处理器，其被配置为接收捕获的至少一个2D图像，并且通过对在捕获的至少一个2D图像中获得的关于探针尖端的信息应用图像处理技术来与牙龈边缘相关地确定探针尖端在牙周袋中的插入长度，其中，所确定的插入长度表示牙周袋的深度。

2.根据权利要求1所述的系统，其中，在捕获的至少一个2D图像中获得的关于探针尖端的信息包括以下至少之一的数字表示：

至少一个深度标记，包括在探针尖端中的基准标记，在牙周袋外部可见；和/或

关于在牙周袋外部可见的探针的几何信息。

3.根据前述权利要求中的任一项所述的系统，其中，所述处理器被配置为应用所述图像处理技术来识别以下至少之一：

与至少一个2D图像中的牙龈边缘的表示对齐或最接近的深度标记；或

在所述至少一个2D图像中可见的基准标记；或

由关于探针的几何信息表示的特定视点。

4.根据权利要求1或2所述的系统，其中，所述处理器被配置为进行以下相关之一：

使与所述至少一个2D图像中的牙龈边缘的表示对齐或最接近所述牙龈边缘的表示的识别的深度标记与深度测量相关，其中，相关包括将识别的深度标记与探针轮廓进行比较，所述探针轮廓指示探针尖端的远侧点与探针尖端的多个深度标记之间的长度；或

使所述至少一个2D图像中的识别的基准标记与深度测量相关，其中，相关包括将识别的基准标记与探针轮廓进行比较，所述探针轮廓表示对应于识别的基准标记的插入长度；或

使所述至少一个2D图像中的识别的几何信息与深度测量相关，其中，相关包括将识别的几何信息与探针轮廓进行比较，所述探针轮廓基于识别的几何形状与探针轮廓之间的非重叠部分表示对应于识别的几何信息的插入长度。

5.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

接收用户指令以手动指示所述至少一个2D图像中表示的牙齿或自动识别所述至少一个2D图像中表示的牙齿；和

生成用于自动记录所确定的插入长度的指令，该插入长度表示数字患者记录中识别的牙齿的袋深度。

6.根据权利要求1或2所述的系统，其中，所述处理器被配置为基于所确定的表示袋深度的插入长度来为牙齿创建深度分布，所述深度分布包括在沿着牙龈边缘或沿着牙龈边缘在牙齿的面侧和/或舌侧/腭侧的整个长度或一部分的一个或多个点处的袋深度的集合。

7.根据权利要求1或2所述的系统，还包括：

所述显示器；其中：

所述至少一个相机被配置为捕获口内目标区域的实时图像数据，该口内目标区域包括牙齿的至少一部分、由与牙齿的所述至少一部分相邻的牙龈的一部分限定的牙龈边缘和当探针尖端插入牙周袋时的探针尖端，并且

所述处理器被配置为接收牙齿的至少一部分和牙龈边缘的三维数字表示，并且将三维数字表示叠加在实时图像数据上，使得实时图像数据的至少一部分通过叠加的三维数字表示在显示单元上能够实时查看。

8.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

自动识别与正在测量袋深度的牙齿对应的三维数字表示中的牙齿；和

突出显示在三维数字表示的牙龈边缘上需要袋深度测量的一个或多个点。

9.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

自动识别与正在测量袋深度的牙齿对应的三维数字表示中的牙齿；和

在三维数字表示上数字地表示在一个或多个离散点处或沿着整个牙龈边缘或牙龈边缘的一部分的牙周袋的至少一个历史袋深度。

10.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

当施加预定的插入力时，访问包括探针元件的数字变化的探针轮廓；

应用图像处理技术，包括从至少一个2D图像评估与数字变化相关的关于探针元件的信息；和

确定是否施加了预定的插入力。

11.根据权利要求1或2所述的系统，其中，所述至少一个相机被配置为捕获实时图像数据，并且稳定模块被配置为对实时图像数据应用数字图像稳定。

12.根据权利要求11所述的系统，其中，应用数字图像稳定包括：

使用至少一个相机获取实时图像数据的第一图像；

使用至少一个相机获取实时图像数据的第二图像，第二图像在比第一图像晚的时间获取；

识别第一图像和第二图像之间对应特征点，该对应特征点限定在第一图像和第二图像之间被跟踪的点；和

使用识别的对应特征点变换第二图像。

13.根据权利要求1或2所述的系统，其中，所述至少一个相机包括一对相机，所述一对相机包括彼此在空间上分开的第一相机和第二相机；并且所述处理器被配置为在由所述一对相机单独获取的实时图像数据之间应用立体对齐。

14.根据权利要求13所述的系统，其中，应用立体对齐包括：

同步第一相机和第二相机以同时地单独捕获实时图像数据；

同时获取使用第一相机的第一当前图像和使用第二相机的第二当前图像，第一当前图像和第二当前图像分别对应于单独捕获的实时图像数据；

识别第一当前图像与第二当前图像之间的对应点，该对应点限定第一当前图像与第二当前图像之间被跟踪的点；和

使用识别的对应点变换第二当前图像或第一当前图像。

15.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

通过应用图像处理技术识别牙骨质釉质交界；

确定在袋外部可见的探针尖端部分，该探针尖端部分与识别的牙骨质釉质交界对齐；和

基于与牙骨质釉质交界对齐的探针尖端部分确定附着丧失。

16.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

通过应用图像处理技术识别牙骨质釉质交界；和

通过计算所确定的插入长度以及牙骨质釉质交界与退缩的牙龈边缘之间的距离的组合来确定附着的丧失。

17.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

确定识别的基准标记与数字探针轮廓的相关性，以确定探针的取向；和

通过将识别的基准标记与一个或多个不同的基准标记进行比较，确定探针的取向是否用于袋深度测量。

18.根据权利要求4所述的系统，其中：

所述探针轮廓包括数字规格；并且

所述处理器被配置为将探针的可见部分与不同的投影视图进行比较，并基于匹配的投影视图确定探针的取向。

19.根据权利要求1或2所述的系统，还包括：

通信模块，被配置为从集成图像源、远程数据库或扫描仪单元中的至少一个接收虚拟内容；并且

所述处理器配置为：

自动地将虚拟内容与实时图像数据对齐，以及

自动地将接收的虚拟内容叠加在目标区域的实时图像数据上，使得该区域的实时图像数据的至少一部分通过叠加的虚拟内容在显示单元上能够实时查看。

20.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

接收与所述至少一个相机的视场移动相关的信息；和

在移动期间和移动之后，自动地将虚拟内容相对于目标区域的实时图像帧对齐，使得包括虚拟内容和实时图像帧之间的对齐。

21.根据权利要求1或2所述的系统，其中，所述处理器被配置为：

生成测量指南，作为叠加的虚拟内容的一部分，对应于至少一个离散点；或

接收或生成测量指南并且将测量指南叠加在实时图像数据上，使得实时图像数据的至少一部分通过叠加的测量指南在显示单元上能够实时查看。

22.根据权利要求1或2所述的系统，其中，所述处理器被配置为对接收的实时图像数据的至少感兴趣的区域应用放大，所述放大是数字放大和光学放大的组合。

23.根据权利要求18所述的系统，其中，所述数字规格为关于探针的几何信息，包括从不同视角查看时探针的不同投影视图。

Images