CN103198501B - 一种牙齿全景图像自动重构方法 - Google Patents

Abstract

一种牙齿全景图像自动重构方法，包含以下步骤：采用口腔内窥镜连续扫描牙齿，获得原始第一图像组；检测并剔除第一图像组中的模糊图像帧，得到第二图像组；利用Canny边缘检测算法计算第二图像组，得到边缘图像组；将相位相关法应用于边缘图像组进行初步配准；利用基于仿射变换的非刚性配准方法对初步配准的图像进行进一步配准，得到相邻图像帧之间的变换矩阵；通过相邻图像之间的变换矩阵得到每帧图像对第一帧图的累积变换矩阵；根据累积变换矩阵和第二图像组进行拼接重构，得到拼接完成的全景图像；对拼接完成的全景图像进行融合，最终形成牙齿全景图像。

Description

一种牙齿全景图像自动重构方法

技术领域

本发明涉及医学图像处理领域，具体涉及一种基于对牙齿进行的扫描得到牙齿全景图像的牙齿全景图像自动重构方法。

背景技术

近年来，口腔内窥镜成像技术的研究已成为牙科成像技术的研究热点之一，而且在牙科临床医学中得到了迅速普及和广泛应用。与常见的牙科X光成像技术相比，口腔内窥镜成像有着一系列的优点，如：1）无放射性，可以连续、多次重复成像；2）实时性好；3）操作简单，价格便宜等。但是，为保证图像分辨率和图像质量，口腔内窥成像通常一幅图像仅对一两颗牙齿的某一牙面成像，所以，不能像X光成像那样对连续多颗牙齿如一排或一侧牙齿全景成像，从而不方便医生或病人了解牙齿的整体状况。为解决这个问题，一些口腔内窥镜中增加了视频功能。医生可以连续扫描多个牙齿如一排牙，并保存扫描的视频图像。通过回看视频图像，虽然可以了解整体牙齿状况，但由于不是通过全景图来观察，因此不是非常直观。

发明内容

为了解决上述问题，本发明提供了一种利用现有口腔内窥镜视频成像平台，进行牙齿全景图像自动重构方法。该方法利用对口腔内窥牙齿视频图像进行配准、拼接和融合等图像处理技术，最终重构得到牙齿全景图像。

为了达到上述目的，本发明采用了以下技术方案：

一种牙齿全景图像自动重构方法，具有这样的特征，包含以下步骤：

采用口腔内窥镜连续扫描所述牙齿，获得牙齿的原始第一图像组；

利用功率谱分析对第一图像组中的模糊图像帧进行检测并剔除，得到剔除了模糊图像帧的第二图像组；

利用Canny边缘检测算法对第二图像组进行计算，得到与第二图像组相对应的边缘图像组；

初步配准：将相位相关法应用于边缘图像组，得到其中任意一帧图像对任意一帧图像的相邻上一帧图像的二维平移量，根据二维平移量，基于任意一帧图像的相邻上一帧图像，将任意一帧图像变换为初步配准后的图像；

进一步配准：利用基于仿射变换的非刚性配准方法，确定初步配准后的图像相对任意一帧图像的相邻上一帧图像的第一变换矩阵，根据第一变换矩阵和二维平移量，得到任意一帧图像对任意一帧图像的相邻上一帧图像的第二变换矩阵；

以第二图像组中的某一帧图像为基准，根据第二变换矩阵，计算得到其余每帧图像相对于某一帧图像的累积变换矩阵；

拼接：根据累积变换矩阵和第二图像组的大小，确定重构图像大小、重构图像在第二组图像的同一坐标系中的区域以及重构图像中每一像素在每帧图像中的位置，得到拼接完成的全景图像；

融合：根据重构图像中每一像素在每帧图像中的位置，对拼接完成的全景图利用融合算法确定重构图像的灰度或颜色，最终形成牙齿全景图像。

另外，本发明的图像重构方法，还可以具有这样的特征：

其中，某一帧图像为第一帧图像。

发明的作用与效果

根据本发明涉及的一种牙齿全景图像自动重构方法，解决了现有技术无法提供内窥牙齿全景成像的技术问题。通过将口腔内窥镜扫描牙齿所得的原始视频图像中的模糊图像帧进行检测和剔除，而保留清晰的图像，保证了最终重构得到的全景图像的质量；其次，依次通过初步配准和进一步配准这种由粗到精的配准过程确定了视频图像所有两两相邻帧之间相对位置的变换矩阵；最后，通过在同一坐标系中的图像定位和融合，获得重构的全景图像。本发明提供的这种新的牙科图像模式，为牙科医生和牙病患者之间的交流提供了新的工具，以便医生或牙病患者更为直观地了解牙齿的整体状况，也便于医生和患者的交流。

附图说明

图1为本发明的牙齿全景图像自动重构的流程图；

图2为实施例中第一图像组的示意图；

图3 为实施例的第一图像组中模糊图像帧的示意图；

图4 为实施例的第一图像组中清晰图像帧的示意图；

图5为实施例中的模糊图像帧的对数功率谱；

图6为实施例中的清晰图像帧的对数功率谱；

图7 为实施例中的检测剔除模糊图像帧的流程图；

图8 为实施例中最终得到的牙齿全景图像。

具体实施方式

下面结合实施案例和附图对本发明作进一步说明。

图1为牙齿全景图像自动重构的流程图。图2为实施例中第一图像组的示意图。

口腔内窥镜通常不能一次扫描整个口腔的牙齿，一般来说，一次扫描仅对一排一侧（左上、右上、左下或右下）的牙齿的某一个面（颊面、舌面或颌面）成像。如图2所示，采用口腔内窥镜连续扫描牙齿，获得牙齿的原始视频图像。本实施例中称其为第一图像组，第一图像组也就是图像后处理的原始图像，其包含n帧RGB图像I_i，其中i=1，2，…,n。在本实施例的实际处理过程中，需要对第一图像组中包含的每一帧图像分别进行处理，又由于模糊检测和配准等处理过程仅需处理彩色图像的一个通道，所以，以下所有处理过程均针对每帧图像的G（绿色）通道。

图3是第一图像组中模糊图像帧的示意图；图4是第一图像组中清晰图像帧的示意图；图5是模糊图像帧的对数功率谱；图6是清晰图像帧的对数功率谱；图7 是检测剔除模糊图像帧的流程图；

在本实施例中，当口腔内窥连续扫描牙齿时，第一图像组中除了清晰图像帧（如图4所示），某些帧图像会由于镜头的运动而比较模糊（如图3所示），因此需要对第一图像组中的模糊图像帧进行检测并剔除。由于本实施例仅需检测出模糊的图像，而不需要分析具体产生模糊的原因和相应的参数；，因此本实施例采用一种基于功率谱分析的简单的模糊图像检测方法，最终得到将第一图像组中的模糊图像帧剔除了的第二图像组。如图7所示，其具体步骤如下：

a) 读取第一图像组中待检测的图像：Im；

b) 对待检测图像作二维Fourier变换；

c) 根据二维Fourier变换结果，确定每个待测图像的功率谱图像（低频在图像中心，高频在四周）；

d) 对所有功率谱图像中每个值取10为底的对数，获得对数功率谱图像，如图5、图6所示；

e) 在所有功率谱图像中取与中心相连的连通区域，其对应的对数功率大于最大对数功率的0.5倍；

f) 计算所取连通区域中对数功率谱的标准差，如果标准差大于一个给定的阈值（在本实施例中，该给定的阈值为8.1），则该图像为模糊图像，否则为清晰图像。

对于第一图像组而言，虽然相邻两帧图像之间的位移较小，在大多数情况下，直接利用非刚性配准方法也能得到不错的结果，但由于在实际操作中需要剔除模糊的图像帧，因此剔除了模糊图像帧的第二图像组中一些相邻帧之间的位移仍然可以达到影响非弹性配准结果的程度。所以，本发明利用相位相关法估计第二图像组中相邻两帧图像之间的位移。

从理论上讲，可以将相位相关法直接应用于原始图像即第二图像组，但由于通过口腔内窥镜扫描得到的图像受光照距离、角度影响较大，所以需要消除这些影响。本实施例利用Canny边缘检测算法对第二图像组进行计算，得到与第二图像组相对应的边缘图像组，然后将相位相关法应用于相应的边缘图像进行初步配准。

初步配准：将相位相关法应用于处理得到的边缘图像组，得到第i+1帧图像I_i+1对第i帧图像I_i的二维平移量为D_i+1，根据二维平移量D_i+1，基于第i帧图像I_i，将第i+1帧图像I_i+1变换为初步配准后的图像I^’ _i+1；

接下来利用基于仿射变换的非刚性配准方法对初步配准的图像进行进一步配准。

进一步配准：利用基于仿射变换的非刚性配准方法，确定初步配准后的图像I^’ _i+1相对第i帧图像I_i的变换矩阵T^’ _i+1，根据变换矩阵T^’ _i+1和二维平移量D_i+1，得到第i+1帧图像I_i+1对第i帧图像I_i的变换矩阵T_i+1；，如下：

设

$T_{i+1}^{\′}=\left[\begin{array}{ccc}{p}_1& p_2& p_5^{\′}\\ p_3& p_4& p_6^{\′}\\ 0& 0& 1\end{array}\right]$

$D_{i+1}=\left[\begin{array}{c}d1\\ d2\end{array}\right]$

则有

$T_{i+1}=\left[\begin{array}{ccc}{p}_1& p_2& p_5^{\′}+d1\\ p_3& p_4& p_6^{\′}+d2\\ 0& 0& 1\end{array}\right]$

在确定了所有T_i+1，i=1，2，3，…，n-1之后，以第二图像组中的第一帧图像I₁为基准，并以I₁的坐标作为其他每帧图像的同一坐标系，通过变换矩阵的累积，确定其余每帧图像在同一坐标系中相对第一帧图像的变换矩阵TACC_i+1，i=1，2，3，…，n-1，如下:

${\mathrm{TACC}}_{i+1}=T_{i+1}*T_i*...*T_2$

拼接：根据累积变换矩阵TACC_i+1，i=1，2，…，n-1和第二图像组中图像的大小，确定重构图像大小以及重构图像在第二组图像的同一坐标系中的区域；根据累积矩阵TACC_i+1， i=1，2，…，n-1，确定最终重构图像中每一像素在每帧图像中的位置，最终得到拼接完成的全景图像。

图8 为最终得到的牙齿全景图像。

融合：根据重构图像中每一像素在每帧图像中的位置，利用融合算法对拼接完成的全景图像在同一坐标系中进行融合，可以按照拼接完成的全景图中处于相同位置的像素的灰度最大值确定最终全景图像中相应像素的灰度值，也可以按清晰度或其它方式确定相应的像素值，从而形成一幅最终的牙齿全景图像。本实施例中最终全景图像是按照像素的灰度最大值来确定的，如图8所示。

实施例的作用与效果

根据本实施例涉及的一种牙齿全景图像自动重构方法，解决了现有技术无法提供内窥牙齿全景成像的技术问题。通过将口腔内窥镜扫描牙齿所得的原始视频图像中的模糊图像帧进行检测和剔除，而保留清晰的图像，保证了最终重构得到的全景图像的质量；其次，依次通过初步配准和进一步配准这种由粗到精的配准过程确定了视频图像所有两两相邻帧之间相对位置的变化矩阵；最后，通过在同一坐标系中的图像定位和融合，获得了重构的牙齿全景图像。

Claims (2)

1.一种基于对牙齿进行的扫描得到牙齿全景图像的牙齿全景图像自动重构方法，其特征在于，包含以下步骤：

采用口腔内窥镜连续扫描所述牙齿，获得所述牙齿的原始第一图像组；

利用功率谱分析对所述第一图像组中的模糊图像帧进行检测并剔除，得到剔除了模糊图像帧的第二图像组；

利用Canny边缘检测算法对所述第二图像组进行计算，得到与所述第二图像组相对应的边缘图像组；

初步配准：将相位相关法应用于所述边缘图像组，得到其中任意一帧图像对所述任意一帧图像的相邻上一帧图像的二维平移量，根据所述二维平移量，基于所述任意一帧图像的相邻上一帧图像，将所述任意一帧图像变换为初步配准后的图像；

进一步配准：利用基于仿射变换的非刚性配准方法，确定所述初步配准后的图像相对所述任意一帧图像的相邻上一帧图像的第一变换矩阵，根据所述第一变换矩阵和所述二维平移量，得到所述任意一帧图像对所述任意一帧图像的相邻上一帧图像的第二变换矩阵；

以所述第二图像组中的某一帧图像为基准，根据所述第二变换矩阵，计算得到其余每帧图像相对于所述某一帧图像的累积变换矩阵；

拼接：根据所述累积变换矩阵和所述第二图像组的大小，确定重构图像大小、所述重构图像在所述第二图像组的同一坐标系中的区域以及所述重构图像中每一像素在每帧图像中的位置，得到拼接完成的全景图像；

融合：根据所述重构图像中每一像素在每帧图像中的位置，对所述拼接完成的全景图利用融合算法确定所述重构图像的灰度或颜色，最终形成所述牙齿全景图像，

其中，利用功率谱分析对所述第一图像组中的模糊图像帧进行检测并剔除包括以下步骤：读取所述第一图像组中待检测的图像；对待检测图像作二维Fourier变换；根据二维Fourier变换结果，确定每个待测图像的功率谱图像；对所有功率谱图像中每个值取10为底的对数，获得对数功率谱图像；在所有功率谱图像中取与中心相连的连通区域，其对应的对数功率大于最大对数功率的0.5倍；计算所取连通区域中对数功率谱的标准差，如果标准差大于一个给定的阈值，则该图像为模糊图像，否则为清晰图像。

2.根据权利要求1所述的牙齿全景图像自动重构方法，其特征在于：

其中，所述某一帧图像为第一帧图像。