CN114299244A - 一种基于智能手机的口腔三维重建方法、系统和存储介质 - Google Patents

Abstract

本发明公开了一种基于智能手机的口腔三维重建方法、系统和存储介质，以智能手机镜头作为口腔扫描设备对口腔中的牙齿进行三维构建，通过改变手机镜头的偏移量的同时高速摄影获取患者口内一系列景深不同的图像，对采集到的图像进行处理后形成单视角深度图，将多个视角的深度图转化成点云数据后拼接并网格化后形成最终三维模型，实现将患者口腔内部牙齿的真实图像传入智能手机中还原成口腔模型，极大降低了口腔扫描业务的成本，提高效率。

Description

一种基于智能手机的口腔三维重建方法、系统和存储介质

技术领域

本发明属于三维建模技术领域，具体涉及一种基于智能手机的口腔三维重建方法、系统和存储介质。

背景技术

在临床口腔诊疗和修复过程中，通过三维扫描获得口腔内部的三维数字化模型的方法主要分为口外扫描和口内扫描两种。口外扫描方式需要医生先对口腔进行印模获取牙齿的石膏模型，再利用三维扫描设备对石膏牙模进行扫描得到其三维数字模型；口内扫描方式则是将口腔扫描器伸进口腔直接对牙齿进行扫描从而获得牙齿的三维数字模型，该方式操作简单、高效且测量速度快，因而节省了医生椅边操作的时间，又因无需手工印模，也避免了因制模和翻模引起的误差，测量精度较高。但是，现有的口腔扫描仪均有口腔扫描器和与口腔扫描器连接的庞大主机站组成。操作时医生手持扫描器放入患者口腔，扫描器摄像头不断拍摄并传入主机站，由主机站软件做即时3D建模。在进行操作时，口腔内有上下齿列和舌头，形状复杂且病人在张大口时，嘴巴和舌头均在不舒适且不断移动状态，需要医生随时观察调整及和病人沟通。同时为了让扫描器既可在需要的位置拍摄影像又不会太常撞到或顶到口腔其他部位，医生视线需不断在口腔及身边主机站荧幕之间移动，造成扫描效率降低，另外庞大的主机站又导致整个口扫仪系统占用了大量有限的诊疗空间且造价高昂。

发明内容

本发明的目的就在于为解决上述问题而公开了一种基于智能手机的口腔三维重建方法，包括如下步骤：

S1，对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；

S2，控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；

S3，依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片组成经过变换的第二图像组；

S4，将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；

S5，按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；

S6，重复上述步骤得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。

优选的，所述步骤S2具体包括：

S21，在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；

S22，控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。

优选的，所述步骤S3具体包括：

S31，对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；

S32，随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；

S33，对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；

S34，持续采用前述步骤S31至S33依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像，形成第二图像组。

优选的，所述步骤S6具体包括：

根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上；对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级1下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个；

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率1下，(k-1)次迭代中，使得

误差最小的变量i和j的值；

分别表示在分辨率等级l下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示在分辨率等级1下点云集合B中中序号为j的单个点云b；在上一步骤得到的变换矩阵的基础上计算两点云间新的变换矩阵，并更新

与

重复上述步骤直到误差精度达到分辨率l＝1。

本发明还公开了一种基于智能手机的口腔三维重建系统，包括：标定模块，用于对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；第一图像组获取模块，用于控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；第二图像组获取模块，用于依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片形成经过变换的第二图像组；深度获取模块，用于将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；单视角深度图模块，用于按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；模型生成模块，用于根据获得的多个单视角深度图得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。

优选的，第一图像组获取模块具体包括：焦段范围获取模块，用于在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；图像截取模块，用于控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。

优选的，第二图像组获取模块具体包括：特征点获取模块，用于对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；单应矩阵获取模块，用于随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；图像变换模块，用于对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；第二图像组生成模块，用于依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像形成第二图像组。

优选的，所述模型生成模块具体包括：根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上，对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级l下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个；

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率1下，(k-1)次迭代中，使得

误差最小的变量i和j的值。

分别表示在分辨率等级l下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示在分辨率等级l下点云集合B中中序号为j的单个点云b。在获得的变换矩阵基础上计算两点云间新的变换矩阵，并更新

与

直到误差精度达到分辨率l＝1。

本发明还公开了一种基于智能手机的口腔三维重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一所述方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述方法的步骤。

本发明公开的一种基于智能手机的口腔三维重建方法、系统和存储介质，以智能手机的镜头模组作为口腔扫描设备对口腔中的牙齿进行三维重建，通过改变手机镜头的偏移量即移动焦平面的位置，同时高速摄影获取患者口内一系列景深不同的图像。将采集到的数据用去模糊进行滤波并将一系列图像对齐，将末尾图像作为标定基准，将去模糊后的每一张图像与标定进行匹配，计算前后两张图像间的缩放率，随后根据该缩放率对图像进行缩放以消除近大远小效应。对这组图像进行拉普拉斯变换滤波后叠合在一起后形成单视角深度图。将多个视角的深度图形成点云，配准拼接并网格化后形成最终三维模型。从而将患者口腔内部环境中的真实图像传入智能手机中便还原其真实模型，极大降低了口腔扫描业务的成本，提高效率。解决了目前口腔扫描仪均有口腔扫描器和与口腔扫描器连接的庞大主机站组成，医生在操作时视线需不断在口腔及身边主机站荧幕之间移动，造成扫描效率降低，另外庞大的主机站又导致整个口扫仪系统占用了大量有限的诊疗空间且造价高昂。

附图说明

图1为本发明一实施例公开的基于智能手机的口腔三维重建方法的流程图；

图2为本发明一实施例公开的智能手机连接外接探头的示意图；

图3为本发明一实施例公开的步骤S2的具体流程示意图；

图4为本发明一实施例公开的特征匹配效果图；

图5为本发明一实施例公开的步骤S3的具体流程示意图；

图6为本发明一实施例公开的单一视角点云示意图；

图7为本发明一实施例公开的多视角拼接后的口腔数字模型。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

附图1为本发明实施例公开的一种基于智能手机的口腔三维重建方法，包括如下步骤：

步骤S1，对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值。通过在不同的距离下对标定板进行拍摄，标定对焦过程中的每两张图片焦平面的移动距离，其中标定板可以选用圆形阵列。该步骤具体如下：

步骤S11，使用Hough Circle Transform算法度量点扩散函数的半径。点扩散函数作用于图像上，会产生一个模糊半径，靠近圆心的部位更清晰，而半径边缘更模糊。对于每一个图案，其清晰度处于5％到95％间的部分定位有效区域，其它过于模糊的部分则丢弃，即可得到模糊所产生的的范围及模糊半径。在这个基础上，通过设定图像强度5％与95％的阈值，得到了圆形边界区域的模糊半径。

步骤S12，计算每个圆心间距离的变化，得到计算对焦过程中放大率的变化曲线。通过对相邻帧图像提取特征点，估算这些特征点的变化关系，用这些特征点之间的差异来估计图像所产生的变化，计算对焦过程中图像的变化曲线，并通过这个方法减轻了近大远小的问题。

步骤S2，控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段。具体的如图2所示，对口腔内部进行拍摄，拍摄时控制镜头模组进行变焦并记录当前焦段，同时记录相应口腔内部景深不同的图像。如附图3所示，所述步骤S2具体包括：

步骤S21，在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围。

步骤S22，控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为作为第一图像组。

对口腔内部进行拍摄时，首先需要将便携式光学透镜器件安装在手机前端，然后由口腔医师将该器件探入患者口中，按一定顺序连续扫过患者口腔牙齿。扫描的同时，手机相机进行高速拍照，尽可能避免因肌肉无规律抖动带来的前后连续帧之间无法匹配的现象。拍摄过程中改变镜头焦距，得到口腔内部一组连续图像。在本实施例中，首先打开相机，对准一颗牙齿，通过自动对焦找到使得当前牙齿最清晰的焦距。如图4所示，对该焦距进行缩放，找出可以覆盖当前牙齿表面的焦段范围。随后开始高速拍照，同时在该焦段中快速变焦，从而避免因肌肉无规律抖动带来的前后连续帧之间无法匹配的现象，从而得到口腔内部一组连续初始图像。例如，手机以120fps的速率进行拍摄，则可以在1秒内获取120张照片，随后根据自动对焦所计算出的焦段范围，截取这组图像中的一个子集用于后续处理。

步骤S3，依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片，形成经过变换的第二图像组。具体的，由于焦平面移动会使得这组图片呈现由清晰到模糊的过程，同时会产生近大远小效应，因此需要对该组图像进行对齐矫正。对齐校正时，首先将前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；随后使用RANSAC算法求解这两组特征点的变换关系，及求解相应单应矩阵；最后对第二张图像使用求解出的矩阵进行变换，以消除近大远小效应。使用中值滤波对该组图像进行平滑处理，消除抖动产生的噪声带来的干扰。

在本实施例中，如附图5所示，步骤S3还可具体包括如下内容。

步骤S31，对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点。由于手持拍摄方式的稳定性较差，因此需要消除画面抖动，也需要消除镜头移动时带来的近小远大效应，先对前后两帧图像使用SIFT算法进行搜索，得到各自的特征点。

步骤S32，随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵。具体的，使用RANSAC算法求解这两组特征点的变换关系，即求解相应单应矩阵。RANSAC的具体步骤为：首先选取4组匹配的特征点，并且计算他们的单应矩阵。然后计算其余匹配特征点对经过单应变换后的误差，并记录误差小于阈值的特征点对数目。最后迭代完成后，误差小于阈值的特征点对数目最多的单应矩阵即为所求。

在本实施例中，使用描述子间的汉明距离作为度量，并结合近似最近邻搜索两组特征点得到它们间的匹配关系，在随机选取四对匹配的特征点计算单应矩阵。汉明距离公式如下所示：

其中a，b表示各组特征点具有的二进制描述子。

在本实施例中，单应矩阵计算如下：

设有一对匹配的特征点(u1，v1)，(u2，v2)，他们间满足一个单应变换关系：

其中(u1，v1)，(u2，v2)分别表示两张图像上匹配的一堆特征点对各自的像素坐标(x，y)。h1-h9构成的矩阵即为一对点情况下的单应矩阵H。

扩展到四对匹配点的情况可以有：

这里的向量H即为所求的单应变换矩阵H。

步骤S33，对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像。具体的，对第二张图像I使用求解出的矩阵H进行变换，得到消除近大远小效应的图片I′，其中I′＝HI。

步骤S34，持续采用前述步骤S31至S33依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像，形成第二图像组。另外，使用中值滤波对该组图像进行平滑处理，消除抖动造成的噪声带来的干扰。其中通过中值滤波对该组图像进行平滑处理后输出的每一个像素点的像素值为滤波核大小的窗口内像素值的中值。

步骤S4，将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度。具体的，对图像进行拉普拉斯变换，找出每个像素对应的焦平面，同时测量焦距。根据相机拍摄原理，当像素位于焦平面上时，该像素处于清晰或锐度值较高的状态，反之模糊或锐度值较低。将该组照片叠合在一起，进行拉普拉斯变换，找出一个像素呈现锐度最大时刻所对应的焦段值，即可进行深度估计。首先对每张图片进行LoG滤波，提取出每张图中梯度变化较大的像素位置，即LoG滤波可以提取出每张照片拍摄时焦平面对应的像素坐标。对于同一个像素坐标每张图片会具有多个响应值的情况，我们选取响应值最大的那一张图像作为那个像素对应的焦平面。同时由于焦平面移动时具有时空连续性，焦平面具有相对深浅关系。前一帧照片拍摄时对应的焦平面会深(浅)于后一帧焦平面。根据获取到每一个像素拍摄时对应的焦平面，以及从前述步骤中获知的焦平面移动的运动模型即对焦过程中图像的变化曲线，就可以得到每个像素对应相机的距离，也就是深度。

步骤S5，按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息。

由焦距及原始图像即可得单一视角深度图，同时调用智能手机惯性器件模组，记录得到该组深度图时智能手机的位姿并保存。具体的，按从前到后顺序依次找到每个像素对比度最大时所处的像素坐标并记录下来，形成该视角的深度图，并可转换成点云数据如附图6所示。同时调用智能手机的惯性器件模组，记录得到采集该组深度图时手机的位姿信息并保存。

步骤S6，重复上述步骤得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型，如附图7所示。具体的，重复上述过程得到多视角图像，将多组视角所对应的图像转换成点云数据，与位姿变换矩阵一并送入内存中，然后对多视角点云进行拼接，对拼接后的点云进行网格化，形成完整口腔数字模型。

其中，将多组视角的图像使用改进的ICP算法进行配准，拼接时使用两帧间的位姿变化平移、旋转矩阵以及根据标定结果估计的尺度信息作为初始值进行迭代，使得两个点云的对齐误差最小，最终得到口腔牙齿三维模型。

在本实施例中，步骤S6具体包括：

根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上。具体的，对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级l下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个。

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率1下，(k-1)次迭代中，使得

误差最小的变量i和j的值。

分别表示在分辨率等级1下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示在分辨率等级1下点云集合B中中序号为j的单个点云b。

在上一步骤得到的变换矩阵H的基础上计算两点云间新的变换矩阵，并更新

与与

其中

与

分别表示在分辨率等级1下，k次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

重复上两个步骤直到误差精度达到分辨率l。

重复上一个步骤直到分辨率l＝1。

拼接完成后，即可形成整口牙齿的三维模型。牙医可方便地根据此模型进行备牙，进而开展后续一系列的诊疗方案。

上述实施例公开的基于智能手机的口腔三维重建方法，以智能手机的镜头模组作为口腔扫描设备对口腔中的牙齿进行三维重建，通过改变手机镜头的偏移量即移动焦平面的位置，同时高速摄影获取患者口内一系列景深不同的图像。将采集到的数据用去模糊进行滤波并将一系列图像对齐，将末尾图像作为标定基准，将去模糊后的每一张图像与标定进行匹配，计算前后两张图像间的缩放率，随后根据该缩放率对图像进行缩放以消除近大远小效应。对这组图像进行拉普拉斯变换滤波后叠合在一起后形成单视角深度图。将多个视角的深度图形成点云，配准拼接并网格化后形成最终三维模型。从而将患者口腔内部环境中的真实图像传入智能手机中便还原其真实模型，极大降低了口腔扫描业务的成本，提高效率。解决了目前口腔扫描仪均有口腔扫描器和与口腔扫描器连接的庞大主机站组成，医生在操作时视线需不断在口腔及身边主机站荧幕之间移动，造成扫描效率降低，另外庞大的主机站又导致整个口扫仪系统占用了大量有限的诊疗空间且造价高昂。

在另一些实施例中，还公开了一种基于智能手机的口腔三维重建系统，包括：标定模块，用于对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；第一图像组获取模块，用于控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；第二图像组获取模块，用于依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片形成经过变换的第二图像组；深度获取模块，用于将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；单视角深度图模块，用于按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；模型生成模块，用于根据获得的多个单视角深度图得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。

在本实施例中，第一图像组获取模块具体包括：焦段范围获取模块，用于在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；图像截取模块，用于控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。

优选的，第二图像组获取模块具体包括：特征点获取模块，用于对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；单应矩阵获取模块，用于随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；图像变换模块，用于对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；第二图像组生成模块，用于依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像形成第二图像组。

优选的，所述模型生成模块具体包括：根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上，对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级l下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级1下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个。

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率l下，(k-1)次迭代中，使得

误差最小的变量i和j的值。

分别表示在分辨率等级l下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

表示在分辨率等级l下点云集合A中中序号为i的单个点云a，

表示在分辨率等级l下点云集合B中中序号为j的单个点云b。

与

分别表示在分辨率等级1下，k次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。

在获得的变换矩阵基础上计算两点云间新的变换矩阵，并更新

与

直到误差精度达到分辨率l＝1。

上述基于智能手机的口腔三维重建系统的具体功能与前面实施例所公开的基于智能手机的口腔三维重建方法一一对应，故在此不再详细展开描述，具体可参考前面公开的基于智能手机的口腔三维重建方法各实施例。需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

在另一些实施例中，还提供了一种基于智能手机的口腔三维重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述各实施例中描述的用于基于智能手机的口腔三维重建方法的各个步骤。

其中基于智能手机的口腔三维重建装置可包括但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是基于智能手机的口腔三维重建装置的示例，并不构成对基于智能手机的口腔三维重建装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于智能手机的口腔三维重建装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于智能手机的口腔三维重建的装置设备的控制中心，利用各种接口和线路连接整个基于智能手机的口腔三维重建的装置设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于智能手机的口腔三维重建的装置设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述基于智能手机的口腔三维重建装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个用于基于智能手机的口腔三维重建方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (10)

1.一种基于智能手机的口腔三维重建方法，其特征在于，包括如下步骤：

S1，对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；

S2，控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；

S3，依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片组成经过变换的第二图像组；

S4，将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；

S5，按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；

S6，重复上述步骤得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。

2.根据权利要求1所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S2具体包括：

S21，在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；

S22，控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。

3.根据权利要求2所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S3具体包括：

S31，对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；

S32，随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；

S33，对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；

S34，持续采用前述步骤S31至S33依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像，形成第二图像组。

4.根据权利要求3所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S6具体包括：

根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上；对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级l下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级l下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个；

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率l下，(k-1)次迭代中，使得

误差最小的变量i和j的值；

分别表示在分辨率等级l下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵；

表示在分辨率等级l下点云集合A中中序号为i的单个点云a，

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，在上一步骤得到的变换矩阵的基础上计算两点云间新的变换矩阵，并更新

与

重复上述步骤直到误差精度达到分辨率l＝1。

5.一种基于智能手机的口腔三维重建系统，其特征在于，包括：

标定模块，用于对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；

第一图像组获取模块，用于控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；

第二图像组获取模块，用于依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片形成经过变换的第二图像组；

深度获取模块，用于将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；

单视角深度图模块，用于按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；

模型生成模块，用于根据获得的多个单视角深度图得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。

6.根据权利要求5所述的基于智能手机的口腔三维重建系统，其特征在于，第一图像组获取模块具体包括：

焦段范围获取模块，用于在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；

图像截取模块，用于控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。

7.根据权利要求6所述的基于智能手机的口腔三维重建系统，其特征在于，第二图像组获取模块具体包括：

特征点获取模块，用于对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；

单应矩阵获取模块，用于随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；

图像变换模块，用于对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；

第二图像组生成模块，用于依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像形成第二图像组。

8.根据权利要求7所述的基于智能手机的口腔三维重建系统，其特征在于，所述模型生成模块具体包括：

根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上，对前后两帧的点云集合A与B进行降采样，如下所示：

其中A^l，B^l分别表示在分辨率等级l下的点云集合A与B，f_sample↓表示降采样操作，L为设定的最大的分辨率等级，

表示在分辨率等级l下点云集合A中中序号为i的单个点云a，

表示点云集合A的点云个数为正整数，且共有n个；

表示在分辨率等级l下点云集合B中中序号为j的单个点云b，

表示点云集合B的点云个数为正整数，且共有m个；

使用最近邻搜索得到两个点云集合A^l与B^l在分辨率l下的双向变换关系(k-1)^th，如下所示：

其中K表示迭代次数，

分别表示在分辨率l下，(k-1)次迭代中，使得

误差最小的变量i和j的值，

分别表示在分辨率等级l下，(k-1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵，

表示在分辨率等级l下点云集合A中中序号为i的单个点云a，

表示在分辨率等级l下点云集合B中中序号为j的单个点云b；在获得的变换矩阵基础上计算两点云间新的变换矩阵，并更新

与

直到误差精度达到分辨率l＝1。

9.一种基于智能手机的口腔三维重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-4任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4任一所述方法的步骤。

Images