CN116115366B - 一种基于图像的实时牙齿移动量测量方法 - Google Patents

Abstract

本发明公开一种基于图像的实时牙齿移动量测量方法。该方法包括：获取目标图像，所述目标图像包含牙托槽的正视图；将所述目标图像输入到经训练的YOLO模型，以检测出牙托槽边界框信息，所述牙托槽边界框信息包括牙托槽边界框左上和右下对角点的坐标信息以及边界框所包围牙托槽的置信度；筛选出大于设定置信度阈值的牙托槽边界框，并根据边界框的坐标信息进行排列，进而分类为上颌骨托槽和下颌骨托槽；将所筛选出的牙托槽边界框按从左到右的顺序排列，并以画面中央的牙托槽边框长度为参考测量牙齿之间的距离变化情况，进而得到牙齿的位移测量结果。本发明能够以非侵入方式实时、准确测量正畸过程中牙齿在力作用下的位移，且对患者不造成额外伤害。

Description

一种基于图像的实时牙齿移动量测量方法

技术领域

本发明涉及生物医学工程技术领域，更具体地，涉及一种基于图像的实时牙齿移动量测量方法。

背景技术

口腔正畸学是一门牙科专业，致力于诊断、预防、管理和矫正错位的牙齿、颌骨以及咬合方式。牙齿和颌骨排列错位是较常见的症状，可以通过长期施加矫正力进行治疗。为了调整托槽施加在牙齿上的矫正力，正畸医生需要对患者的齿间位移进行测量，以确保治疗按计划进行以及所施加的力对牙齿的目标位移是最适合的。然而，目前所使用的齿间位移方案通常是侵入性的或者对人体有危害的，容易导致较大的人为测量误差或无法实时检测。

目前，临床口腔正畸治疗是通过在错颌畸形患者口内安装矫治器械，从而使牙齿在力的作用下发生移动。牙齿位移测量需测量牙齿的初始位置和牙齿当前位置，然后计算二者差值并通过一系列转换，得到最终的位移量。为了检测和调整正畸治疗所需要施加的力，确定治疗情况并预测进一步治疗的效果，设计一种精确的实时牙齿位移测量算法尤为重要。

在现有技术中，不同类型的扫描图像已被用于实现牙齿位移测量。例如，专利申请CN201911000420.9A描述了一种测量正畸过程中牙齿三维移动的方法。该方案隔离单颗牙齿进行分析，构建目标牙齿的局部三维坐标系，分别在前后口内模型上牙冠托槽位置标记三个参考点，依据参考点坐标计算空间变换矩阵，进而计算牙齿的三维平移和旋转运动，得到三维牙齿移动。这种方案需要持续采集患者多次口内CT扫描模型，因而容易对患者造成额外伤害。又如，另一种方案使用微型发光二极管作为光源，用CCD芯片捕捉光斑变化并将数据通过采集卡进行数字化最终输出为牙齿位移数据。但该方案是侵入式的，会在测量过程中增加患者的不适感，且该设备实现的成本较高。总之，现有方案主要使用侵入式测量或基于X光、CT图像的测量方法，缺乏实时测量功能，需要多次测量，并且对患者造成额外的辐射伤害较大。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于图像的实时牙齿移动量测量方法。该方法包括以下步骤：

获取目标图像，所述目标图像包含牙托槽的正视图；

将所述目标图像输入到经训练的YOLO模型，以检测出牙托槽边界框信息，所述牙托槽边界框信息包括牙托槽边界框左上和右下对角点的坐标信息以及边界框所包围牙托槽的置信度；

筛选出大于设定置信度阈值的牙托槽边界框，并根据边界框的坐标信息进行排列，进而分类为上颌骨托槽和下颌骨托槽；

将所筛选出的牙托槽边界框按从左到右的顺序排列，并以画面中央的牙托槽边框尺寸为参考测量牙齿之间的距离变化情况，进而得到牙齿的位移测量结果。

与现有技术相比，本发明的优点在于，设计一种基于图像检测的牙齿移动量测量方法，能够以非侵入方式实时、准确地测量正畸过程中牙齿在力作用下的位移，并且对患者不造成额外伤害。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于图像的实时牙齿移动量测量方法的流程图；

图2是根据本发明一个实施例的从原始正畸图像数据到运动测量的过程示意图；

图3是根据本发明一个实施例的牙齿间距离的测量结果示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供实时牙齿位移测量方案，利用YOLO模型从摄像机拍摄的图像中检测牙齿上的牙托槽(或简称托槽)，并实时显示测量结果。总体而言，首先将YOLO模型输出的牙托槽边界框坐标进行排列，并将其分类为上颌骨托槽和下颌骨托槽，从而可以同时测量上颌骨和下颌骨托槽。然后，将托槽边界框按照从左到右的顺序排列。接下来，以画面中央的托槽边框尺寸为基准测量每颗牙齿之间的距离变化情况。最后，将测量结果转换成毫米为单位进行显示。

结合图1和图2所示，所提供的基于图像的实时牙齿移动量测量方法包括以下步骤：

步骤S110，构建训练集，其中每条样本反映图像数据和对应的牙托槽边界框。

首先，可以利用摄像机在不同距离拍摄患者牙齿图像，作为样本图像。然后，对样本图像进行清洗。筛选出托槽正视并且显示清晰的图像，用于训练集和测试集。例如，最终得到的图像需要满足：至少有一个托槽是正视视图；图片没有太亮或太暗；分辨率至少为640×640像素等。在一个实施例中，使用了一组125个满足这些要求的样本图像，并将样本集分为三组，分别为87、25和13，分别用于训练集、验证集和测试集。

随后，对训练集中的样本图像进行标注，并对样本进行扩充。本发明只需识别标注一个类别，即托槽。进而，可以得到一个图像列表以及每个图像对应的文本文件，其中包含所标注的边界框信息。进一步地，可利用多种基本图像变换技术来增加训练数据，以增加模型检测的准确性。例如，图像变换方式包括：垂直翻转、顺时针和逆时针旋转以及改变亮度(如在-35％和+35％之间)等。

在该步骤中，通过在不同距离拍摄样本图像以及对样本进行图像变换，能够获得不同清晰度、不同角度的样本图像，从而提升了后续模型训练的精度和鲁棒性。此外，在样本图像中，大多数患者可在上颌骨和下颌骨都安装托槽。

步骤S120，训练YOLO模型，以检测牙托槽边界。

YOLO模型将图像划分为一个网格系统，然后每个网格负责检测内部的物体。在本发明一个实施例中，选用YOLO v5模型作为目标检测模型，从而提升检测速度和检测准确性。YOLO v5模型根据输入图像创建特征，进而将这些特征送入预测系统，在物体周围绘制边界框并预测它们的类别。YOLO网络包含主干(Backbone)、颈部(Neck)和头部(Head)三个主部分。主干是一种卷积神经网络，用于聚合并形成不同粒度的图像特征。颈部用于混合和组合图像特征，并将特征传递给预测层。头部利用来自颈部的特征进行边界框和类别预测。

为了提升模型训练速度，在实际应用中，可将训练设置为从YOLOv5l.pt预训练模型开始，并仅用于一个类(即托槽)的标记。

在一个实施例中，使用预训练的YOLOv5l模型来最小化训练时的损失，并且在训练过程中，利用Nvidia GTX 1070GPU以提高训练速度，在2000次迭代训练之后，损失已经停止并显著减少。最后，经过模型训练得到了权重参数等，可用于检测托槽边框。应理解的是，为了保证模型训练的精度，在训练阶段，可以利用验证集和测试集来验证经训练的模型，以判断是否需要进一步更新模型的权重参数。

步骤S130，针对目标图像，利用经训练的YOLO模型获取牙托槽边界框信息。

在实际应用中，利用经训练的YOLO模型，可以从目标图像中检测托槽边界框。

例如，输入目标图像，利用经训练的YOLOv5模型得到的最终输出有五个元素，分别是托槽边界框左上和右下对角点的坐标，以及边界框所包围托槽的置信度，只有置信度超过设定阈值的边界框才会显示并用于测量，而得到的坐标值可以是相对整张图像长宽的百分比。

步骤S140，根据所获得的牙托槽边界框信息，将牙托槽分类为上颌骨托槽和下颌骨托槽。

利用所获得的牙托槽边界框信息，可以检测出目标图像中的上颌骨托槽和下颌骨托槽。此外，在同一张目标图像同时包含上颌骨和下颌骨托槽的情况下，需要区分上下颌骨的托槽，并分成两组分别进行相邻牙齿位移测量。

例如，利用设计的分类器模块将托槽分为上颌骨托槽和下颌骨托槽。分类器模块将YOLOv5输出的所有检测到的托槽边界框坐标数组作为输入，并输出两组托槽边界框，即上颌骨和下颌骨。首先，分类器循环遍历坐标数组。因YOLO算法中取向下为Y轴正方向，所以通过取Y值最小的边界框来得到最接近图像上界的边界框，这表示它是上颌骨托槽之一，并将该托槽的边界框上下界Y值作为参考界限。因此，分类器模块将根据后续每个包围框的坐标进行分类，如果Y坐标位于参考界限之间，则将其置于上颌骨托槽列中。任何不符合上颌骨托槽组的都被划分为下颌骨托槽组中。

步骤S150，根据实际中牙齿及托槽的相对位置，对牙托槽进行排序，并以画面中央的牙托槽边框尺寸为基准测量每颗牙齿之间的距离变化情况。

YOLOv5的输入图像是按照摄像头拍摄到托槽图像的顺序，并非按照实际中牙齿及托槽相对的位置顺序。因此，YOLOv5的输出是一个与真实相对位置无关的边界框信息数组，即当边界框按照输入顺序排列时，它们不是从左到右排列的。为了解决这个问题，在一个实施例中，创建了一个排序模型，将托槽按照它们所在的位置顺序进行排列。例如，该排序模型根据每个边界框信息数组中的X坐标将其从左到右进行排列。

对于边界框之间的距离测量，考虑到在图像中心以垂直角度面向相机的托槽受遮挡和旋转误差的影响最小，为了在相机位置不断变化的情况下也能利用图像准确测量距离，在一个实施例中，使用图像中心托槽的边界框尺寸作为测量的参考尺寸。

具体地，图像中心的托槽边界框大小的计算方法如下：

其中，B是图像中心的托槽边界框尺寸，W是托槽远边的X轴坐标，X是托槽近边的X轴坐标，n是在该图像中检测到的托槽的最大序号，n＝0,1,2…。

例如，如果图像内两个托槽边界框之间的距离是40像素，而参考边界框的宽度是20像素，可以得出两个托槽之间的距离等于两个参考托槽边界框的宽度。

在一个实施例中，为了确保测量不受相机与患者距离的影响，相邻托槽之间的距离可通过以下方式计算：

D(b_i，b_i+1)＝X_i+1-W_i (2)

其中，D表示相邻两个托槽之间的距离，表示第i个托槽，b_i+1表示第i+1个托槽，X_i+1表示第i+1个托槽近边的X轴坐标，W_i表示第i个托槽远边的X轴坐标。

优选地，将最终显示的测量距离转化成毫米为单位。因此，需要将以边界框数量为单位表示的距离转换为以毫米单位的值。例如，通过将相邻托槽间距离包含的边界框数量与托槽的实际宽度相乘来完成该转换。具体地，在实际中，测量到托槽的宽度为4.25mm的情况下，最终显示的测量结果通过下式计算：

上述公式(3)可通用地表示为：

其中，D_w表示测量到的托槽宽度。

在口腔正畸治疗施加力的过程中，通过实时显示牙齿间的距离的变化可以得到牙齿位移的测量结果。

图3是针对一个目标图像的牙齿间距离的测量结果，共检测出14个牙托槽，其中7个对应上颌骨，另外7个对应下颌骨。

为了进一步验证本发明的效果，在平均3年的时间内对6名患者的正畸牙齿图像进行了测试。实验结果表明，本发明具有较高的精度，包括连续运动的实时测量，分辨率优于30μm，并且以25FPS显示结果。在实际应用过程中，正畸医生可以在施加载荷时佩戴头戴式摄像头获取目标图像，成功实现了正畸治疗过程中基于图像的实时牙齿位移自动测量。

综上所述，相对于现有技术，本发明具有以下优势：

1)设计了一种基于检测到的托槽边框所在位置将其分为上颌骨和下颌骨的算法，可测量相机可视角度内所有牙齿的运动，实时检测、测量牙与牙之间距离并进行显示，以帮助测量加载过程前、后和期间的牙齿位移距离。并且，在检测托槽和测量每颗牙齿之间的距离后，可以实时获得以毫米为单位的测量结果。

2)在实际应用过程中，可使用非侵入式头戴摄像机检测托槽，基于YOLO模型实时准确测量牙齿在力的作用下位移，降低了测量过程中对患者的干扰。

3)提供了一种基于图像的全自动实时牙齿位移测量方法，通过利用非侵入式轻型头戴式相机所获得的图像来取代目前测量系统所使用的计算机断层扫描和X射线图像，在保持测量精度的同时，显著减少了所需的设置时间和健康风险。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种基于图像的实时牙齿移动量测量方法，包括以下步骤：

获取目标图像，所述目标图像包含牙托槽的正视图；

将所述目标图像输入到经训练的YOLO模型，以检测出牙托槽边界框信息，所述牙托槽边界框信息包括牙托槽边界框左上和右下对角点的坐标信息以及边界框所包围牙托槽的置信度；

筛选出大于设定置信度阈值的牙托槽边界框，并根据边界框的坐标信息进行排列，进而分类为上颌骨托槽和下颌骨托槽；

将所筛选出的牙托槽边界框按从左到右的顺序排列，并以画面中央的牙托槽边界框尺寸为参考测量牙齿之间的距离变化情况，进而得到牙齿的位移测量结果；

其中，采用以下公式计算相邻牙齿之间的距离变化情况：

其中，D_mm表示相邻牙齿之间的距离，单位是毫米，D(b_i，b_i+1)表示第i个牙托槽b_i和第i+1个牙托槽b_i+1之间的距离，B是图像中心牙托槽的边界框尺寸，D_w表示是牙托槽的宽度；

其中，所述图像中心牙托槽的边界框尺寸B表示为：

其中，W是牙托槽远边的X轴坐标，X是牙托槽近边的X轴坐标，n是图像中检测到的牙托槽的最大序号；

其中，采用以下公式计算D(b_i，b_i+1)：

D(b_i,b_i+1)＝X_i+1-W_i

其中，X_i+1表示第i+1个牙托槽近边的X轴坐标，W_i表示第i个牙托槽远边的X轴坐标。

2.根据权利要求1所述的方法，其特征在于，训练所述YOLO模型的训练集根据以下步骤获得：

从样本图像中筛选出符合清晰度要求的牙托槽图像，其中所筛选出的样本图像至少有一个托槽是正视视图，并且样本图像在不同距离拍摄；

对所筛选出的样本图像进行裁剪，其中，裁剪后的图像的分辨率至少为640×640像素；

对样本图像进行标注，所标注的类别是牙托槽，进而得到一个图像列表和每个样本图像对应的文本文件作为样本数据，其中包含标注的牙托槽边界框信息；

通过图像变换对所述样本数据进行增强后，构建训练集，其中图像变换包括垂直翻转、顺时针和逆时针旋转、改变亮度。

3.根据权利要求1所述的方法，其特征在于，所述YOLO模型是YOLOv5模型，包括主干、颈部和头部，其中主干用于聚合并形成不同粒度的图像特征；颈部用于混合和组合图像特征；头部利用颈部输出的图像特征进行边界框和类别预测。

4.根据权利要求1所述的方法，其特征在于，所述上颌骨托槽和所述下颌骨托槽采用以下步骤进行分类：

利用分类器将所述YOLO模型输出的所有牙托槽边界框坐标数组作为输入，通过取Y值最小的边界框来得到最接近图像上界的边界框，将其分类为上颌骨托槽，并将该上颌骨托槽的边界框上下界Y值作为参考界限；

对于剩余的牙托槽边界框，如果Y坐标位于所述参考界限范围内，则将其分类为上颌骨托槽，否则分类为下颌骨托槽。

5.根据权利要求1所述的方法，其特征在于，所述目标图像利用头戴式摄像机拍摄。

6.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至5中任一项所述的方法的步骤。

7.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。