CN113140031B - 三维影像建模系统、方法及应用其的口腔扫描设备 - Google Patents
三维影像建模系统、方法及应用其的口腔扫描设备 Download PDFInfo
- Publication number
- CN113140031B CN113140031B CN202010066270.8A CN202010066270A CN113140031B CN 113140031 B CN113140031 B CN 113140031B CN 202010066270 A CN202010066270 A CN 202010066270A CN 113140031 B CN113140031 B CN 113140031B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- matching
- small
- range point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 210000000214 mouth Anatomy 0.000 title abstract description 8
- 238000012545 processing Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种三维影像建模系统、方法及应用其的口腔扫描设备。系统包括扫描装置和运算装置。运算装置的三维点云生成单元利用扫描装置获得的影像计算出点云数据，运算装置的三维匹配建模单元针对点云数据作特征匹配以拼接出完整的三维模型。在一般扫描模式时，得到小范围点云，使用局部匹配进行点云数据的顺序匹配拼接。在补扫模式时，检查当前的小范围点云的三维点云品质，并对品质不够的小范围点云不作三维定位运算；在补扫模式下将品质足够的小范围点云与现有的大范围点云作全局匹配，并评估出新的三维空间位置，且将上述小范围点云移动至上述三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
Description
技术领域
本发明涉及三维扫描建摸技术，特别是涉及一种三维影像建模系统、方法及应用其的口腔扫描设备。
背景技术
针对手持式口腔扫描仪(intraoral scanner)应用，由于前端取像机构必须配合口腔内有限空间，单一张撷取影像的可视范围(field of view)仅能涵盖一小角落，必须持续移动口腔扫描仪的镜头进行取像及影像拼接，才能合成大范围(例如多颗牙齿或者单颚)的三维(3D)影像模型。但在扫描过程，部分区域(例如牙缝区)受限于口腔扫描仪的扫描端的尺寸，以及扫描角度限制，造成拼接3D影像仍会有破洞，必须加上后续补扫动作才能得到较完整的3D影像，以便进行后续CAD/CAM应用程序。
三维扫描建模技术中获得的原始数据称为点云(point cloud)数据，这些点云数据都是直接从被测物体表面获取，经过一定的处理后即可使用。三维点云匹配是点云数据处理的关键，既可用于不同视角下的点云拼接，又可用于目标定位与姿态预估。目前最常见的点云匹配算法包括用于局部匹配(local registration)算法例如ICP(迭代最近点)算法；ICP算法在两组点云位姿偏差不大的情况下可以实现高精度匹配结果，但需要多次迭代搜索最近点，因此收敛速率通常较低；且ICP算法在两组点云位姿偏差较大时，容易产生局部收敛导致无法精确匹配，因此在姿态关系未知情况下对两组点云进行ICP匹配前，需要预先进行粗匹配，将模型点云自动粗调至与目标点云位姿相近。常见的点云匹配算法还包括全局匹配(global registration)算法，该类算法除改进ICP匹配之外，还通过点云的特征直方图定义多维特征向量来表示点云的局部几何特征；利用特征匹配达到点云匹配的方法，如增强直方图特征描述(EHFD)算法和快速点特征直方图(FPFH)算法，以及根据多元高斯混合模型，通过最大化相关系数找到数据点云的相对姿态的方法等。目前各类算法的缺点是，前者在匹配带有多个相似局部特征的点云时容易出现较大偏差，后者的收敛速度不高，而且难以做到任意位姿下的点云匹配。
现有的三维建模补扫技术中，必须沿着最后的拼接位置逐步移动扫描端，才能对局部数据作三维点云匹配，以移动至要补扫区域，所以使用上较不便捷。传统的ICP叠合方法虽然可以作两组3D点云数据匹配来拼接大范围3D牙齿模型，但这些方法仅能匹配邻近的3D点云数据，无法满足补扫所需要的大范围移动及快速3D定位功能。
发明内容
针对上述技术问题，本发明提供一种三维影像建模系统、方法及应用其的口腔扫描设备。
本发明的一种三维影像建模系统，包括扫描装置和运算装置，该运算装置与该扫描装置通信连接。运算装置包括三维点云生成单元和三维匹配建模单元，三维点云生成单元用于利用扫描装置获得的影像计算出点云数据，三维匹配建模单元用于针对点云数据作特征匹配以拼接出完整的三维模型。其中，三维影像建模系统在一般扫描模式时，三维点云生成单元得到小范围点云，三维匹配建模单元使用局部匹配进行点云数据的顺序匹配拼接。三维影像建模系统在补扫模式时，三维匹配建模单元检查当前的小范围点云的三维点云品质，并对品质不够的第一小范围点云不作三维定位运算；三维匹配建模单元在补扫模式下将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将第二小范围点云移动至可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
较佳地，三维影像建模系统在补扫模式时，三维匹配建模单元在取得当前已叠合的大范围点云所需全局匹配特征资料前，先评估大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。
较佳地，运算装置还包括图像处理显示单元，图像处理显示单元用于针对点云数据作图像处理并实时显示；三维匹配建模单元在取得当前的小范围点云所需全局匹配特征资料前，图像处理显示单元先进行点云数据预处理。
进一步地，所述预处理包含去噪声、移除主体数据的孤岛部分、平滑化中的一种或多种。
较佳地，三维匹配建模单元在验证全局匹配计算出来的三维定位结果时，采用原始的小范围点云数据，先移动至可能对应的三维空间位置，再使用局部匹配作匹配。
进一步地，所述原始的小范围点云数据包含主体数据的孤岛部分。
本发明还提供一种口腔扫描设备，包括如上任意一项所述的三维影像建模系统。
本发明还提供一种三维影像建模方法，包括以下步骤。在一般扫描模式时，得到小范围点云，并使用局部匹配进行点云数据的顺序匹配拼接。在补扫模式时，检查当前的小范围点云的三维品质，并对品质不够的第一小范围点云不作三维定位运算。在该补扫模式下，将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将该第二小范围点云移动至该可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
较佳地，本发明所述的三维影像建模方法包括如下步骤：
步骤1，执行扫描，获得二维影像或收集一维图像拼凑成二维影像，并据此计算得到一组最新的小范围点云；
步骤2，将计算得到的所述最新的小范围点云移动到前一组注册成功的小范围点云所在三维模型的空间坐标位置，并使用局部匹配确认所述最新的小范围点云与现有的大范围点云是否匹配；
若匹配，步骤3，将所述最新的小范围点云注册到所述三维模型，并记录注册成功的所述最新的小范围点云在所述三维模型的最新空间坐标位置，返回步骤1。
较佳地，本发明所述的三维影像建模方法还包括如下步骤：
若不匹配，步骤4，记录匹配失败的次数，并判断连续匹配失败的次数是否大于预设值；
当所述连续匹配失败的次数不大于所述预设值时，步骤5，放弃所述最新的小范围点云，返回步骤1。
较佳地，本发明所述的三维影像建模方法还包括如下步骤：当所述连续匹配失败的次数大于所述预设值时，步骤6，检查目前输入的所述最新的小范围点云本身的三维点云品质是否达标；若不达标，返回步骤5。
较佳地，本发明所述的三维影像建模方法还包括如下步骤：
步骤7，若品质达标，将所述最新的小范围点云直接与现有的大范围点云作全局匹配，评估出最有可能匹配的空间坐标位置；
步骤8，把所述最新的小范围点云移动至步骤7中计算出来的空间坐标位置，重新使用局部匹配确认所述最新的小范围点云与现有的大范围点云是否匹配；若不匹配，返回步骤5；若匹配，返回步骤3。
进一步地，在步骤7中包括：在取得当前已叠合的大范围点云所需全局匹配特征资料前，评估所述大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。
更进一步地，若所述大范围点云在三维模型空间的范围大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则重新计算获得特征资料；若所述大范围点云在三维模型空间的范围不大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则使用先前计算已得的特征资料。
进一步地，在步骤7中包括：在取得当前输入的所述最新的小范围点云所需全局匹配特征资料前，先进行点云数据预处理；所述预处理包含去噪声、移除主体数据的孤岛部分、平滑化中的一种或多种。
进一步地，在步骤3中还包括：验证全局匹配计算出来的三维定位结果，采用原始的所述最新的小范围点云先移动至所述最新空间坐标位置，再使用局部匹配作匹配。
与现有技术相比，本发明的三维建模装置、方法及应用其的口腔扫描系统结合全局匹配及局部匹配双重比对方式，进行连续3D点云数据的资料匹配和叠合处理；本发明通过这种新的3D点云数据比对方式来达成快速3D定位，从而可加速补扫3D影像中破洞的过程。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的三维影像建模系统的示意图。
图2为本发明一实施例的三维影像建模方法的流程图。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
请参见图1，图1为本发明一实施例的三维影像建模系统的示意图。本发明的三维影像建模系统10包括扫描装置1和运算装置2，运算装置2与扫描装置1通信连接。
运算装置2包括三维点云生成单元21和三维匹配建模单元22，三维点云生成单元21用于利用扫描装置1获得的影像计算出点云数据，三维匹配建模单元22用于针对点云数据作特征匹配以拼接出完整的三维模型。
其中，三维影像建模系统10在一般扫描模式时，三维点云生成单元21得到小范围点云，三维匹配建模单元22使用局部匹配进行点云数据的顺序匹配拼接。
三维影像建模系统10在补扫模式时，三维匹配建模单元22检查当前的小范围点云的三维点云品质，并对品质不够的第一小范围点云不作三维定位运算。三维匹配建模单元22在该补扫模式下将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将该第二小范围点云移动至该可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
在实际应用中，三维匹配建模单元22检查当前的小范围点云的3D点云品质，可包含检查落在清晰景深(DOF)深度范围3D点数目，以及3D点分布状态是否集中(排除偏向单侧)。
优选地，三维影像建模系统10在该补扫模式时，三维匹配建模单元22在取得当前已叠合的大范围点云所需全局匹配特征资料前，先评估该大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。
由于上述全局匹配的过程涉及大量数据计算，可先评估大范围点云在三维模型空间的范围是否大于先前占用空间一定比例，来决定是否需要重新计算或是使用先前计算特征值。若大于先前已计算出的全局匹配所需特征资料的占用空间一定比例(例如1颗牙齿以上)，重新计算特征。若小于先前已计算出的全局匹配所需特征资料的占用空间一定比例(例如1颗牙齿以下)，则采用先前计算特征。
优选地，运算装置2还包括图像处理显示单元23，图像处理显示单元23用于针对点云数据作图像处理并实时显示；三维匹配建模单元22在取得当前的小范围点云所需全局匹配特征资料前，图像处理显示单元23先进行点云数据预处理，用以提升小范围点云和大范围点云的三维定位准确度。在实际应用中，该预处理包含去噪声、移除主体数据的孤岛部分、平滑化中的一种或多种。
优选地，三维匹配建模单元22在验证全局匹配计算出来的三维定位结果时，采用原始的小范围点云数据，先移动至该可能对应的三维空间位置，再使用局部匹配(例如ICP算法)作匹配。在实际应用中，该原始的小范围点云数据包含主体数据的孤岛部分。
本发明还提供一种口腔扫描设备，包括如上述的三维影像建模系统10。本发明可应用于口腔扫描所使用的3D扫描建模软件，实际应用的口腔扫描设备可包含一口腔扫描仪(IOS)(作为扫描装置1)及另一可呈现用户界面(GUI)显示画面的运算装置(如电脑)(作为运算装置2)。口腔扫描仪用于扫描二维影像，或收集一维影像拼凑为二维图像，口腔扫描仪这一扫描装置1提供运算装置2进行数据处理。
口腔扫描仪这一扫描装置1内含图像传感器，如CMOS、CCD、CIS、红外传感器等。扫描装置1还包含图样投影器(pattern projector)，如DLP、3LCD、LCoS投影模组，或者是激光投影模组。扫描装置1还可包含惯性测量单元(IMU)，惯性测量单元(IMU)可包含(但不限定)如加速度计(accelerometer)、陀螺仪(gyroscope)及电子罗盘(E-compass)等。扫描装置1借由上述元件以获取口腔内的局部影像。
运算装置2可以是一般计算机(搭配显示器)、笔记本电脑、Tablet等运算装置。运算装置2内可安装有3D建模及数据库管理软件，通过USB、雷电接口(thunderbolt)等有线传输或Wi-Fi、WiGig、蓝牙等无线传输方式与口腔扫描仪这一扫描装置1互动，并取得扫描装置1回传影像数据进行3D运算。
运算装置2可包含：图样侦测及解码(Pattern detection&3D decoding)功能模组、三维匹配及建模(3D registration&modeling)功能模组以及三维图像处理及显示(3Dimage process&display)功能模组。其中，图样侦测及解码功能模组使用连续二维影像计算出小范围3D点云数据；图样侦测及解码(Pattern detection&3D decoding)功能模组使用连续二维影像计算出小范围3D点云数据；三维匹配及建模(3D registration&modeling)功能模组针对3D点云数据作特征匹配以拼接成为完整3D模型以及补扫所需3D定位；三维图像处理及显示(3D image process&display)功能模组针对3D数据作影像处理(如去噪声/平滑化/导出3D格式等)及实时显示3D数据。
本发明的三维影像建模方法包括以下步骤。在一般扫描模式时，得到小范围点云，并使用局部匹配进行点云数据的顺序匹配拼接。在补扫模式时，检查当前的小范围点云的三维品质，并对品质不够的第一小范围点云不作三维定位运算；在该补扫模式下，将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将该第二小范围点云移动至该可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
请参见图2，图2为本发明一实施例的三维影像建模方法的流程图。本发明的三维影像建模方法包括如下步骤。
步骤S1，执行扫描，获得二维影像或收集一维图像拼凑成二维影像，并据此计算得到一组最新的小范围点云。
步骤S2，将计算得到的所述最新的小范围点云移动到前一组注册成功的小范围点云所在三维模型的空间坐标位置，并使用局部匹配(例如ICP方法)确认所述最新的小范围点云与现有的大范围点云是否匹配。
若匹配，执行步骤S3，将所述最新的小范围点云注册到所述三维模型，并记录注册成功的所述最新的小范围点云在所述三维模型的最新空间坐标位置，返回步骤S1。上述步骤一般对应于一般扫描模式。
优选地，若不匹配，执行步骤S4，记录匹配失败的次数，并判断连续匹配失败的次数是否大于预设值。
当所述连续匹配失败的次数不大于所述预设值时，执行步骤S5，放弃所述最新的小范围点云，返回步骤S1。
当所述连续匹配失败的次数大于所述预设值时，执行步骤S6，检查目前输入的所述最新的小范围点云本身的三维点云品质是否达标；若不达标(即判断结果为“否”)，返回步骤S5。在实际应用中，步骤S6可包含检查落在清晰景深(DOF)深度范围3D点数目，以及3D点分布状态是否集中(排除偏向单侧)。
优选地，本发明的三维影像建模方法还包括如下步骤：
若品质达标(即判断结果为“是”)，执行步骤S7，将所述最新的小范围点云直接与现有的大范围点云作全局匹配，评估出最有可能匹配的空间坐标位置。所述全局匹配的方法可以为FGH、4PCS、RANSAC等。
步骤S8，把所述最新的小范围点云移动至步骤S7中评估出来的空间坐标位置，重新使用局部匹配确认所述最新的小范围点云与现有的大范围点云是否匹配；若不匹配，返回步骤S5；若匹配，返回步骤S3。上述步骤一般对应于补扫模式。
针对补扫模式下的三维定位过程，寻找现有已叠合在三维模型中的大范围点云所需全局匹配特征资料，检查现有已叠合在三维模型中的大范围点云的当前占用空间大小，并比较所述当前占用空间是否大于先前占用空间一定比例。由于上述全局匹配的过程涉及大量数据计算，可先评估再来决定是否需要重新计算或是使用先前计算特征值。若大于先前已计算出的全局匹配所需特征资料的占用空间一定比例(例如1颗牙齿以上)，重新计算特征。若小于先前已计算出的全局匹配所需特征资料的占用空间一定比例(例如1颗牙齿以下)，则采用先前计算特征。优选地，在步骤S7中包括：在取得当前已叠合的大范围点云所需全局匹配特征资料前，评估所述大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。具体地，若所述大范围点云在三维模型空间的范围大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则重新计算获得特征资料；若所述大范围点云在三维模型空间的范围不大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则使用先前计算已得的特征资料。
针对补扫模式下的三维定位过程，寻找最新的小范围点云所需全局匹配特征资料。优选地，在步骤7中包括：在取得当前输入的所述最新的小范围点云所需全局匹配特征资料前，先进行点云数据预处理，用以提升小范围点云和大范围点云的三维定位准确度；所述预处理包含去噪声、移除主体数据的孤岛部分(isolated parts)、平滑化中的一种或多种。
针对补扫模式下的三维定位过程，使用全局匹配去匹配最新的小范围点云和现有已叠合在三维模型中的大范围点云，并输出最新的小范围点云匹配到所有大范围点云上的最新位置。优选地，在步骤3中还包括：验证全局匹配计算出来的三维定位结果，采用原始的所述最新的小范围点云先移动至所述最新空间坐标位置，再使用局部匹配(如ICP)作匹配。原始的所述最新的小范围点云保留有主体数据的孤岛部分。
在3D点云匹配过程中，根据已经匹配到三维模型(3D volume)的点云数量及占用空间范围，确认是否重新计算“大范围点云数据”特征值，可节省运算时间；通过分析持续输入的“小范围点云”，若小范围影像的点云数量及深度不佳，则直接舍去，以进一步节省不必要的运算时间；通过分析持续输入的“小范围点云”，若小范围影像的点云数量及深度合乎预期，做预先图像处理去除中心外围孤岛，可改善全局匹配的粗部(rough)位置；在计算出小范围影像和大范围比对数据的全局匹配的粗部位置后，使用包含中心外围孤岛的原始小范围点云增加局部匹配的细部位置比对。
本发明的三维建模装置、方法及应用其的口腔扫描系统，结合全局匹配及局部匹配双重比对方式，进行连续3D点云数据的资料匹配和叠合处理。本发明通过这种新的3D点云数据比对方式来达成快速3D定位，从而可加速补扫3D影像中破洞的过程。
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。此外，上面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。
Claims (16)
1.一种三维影像建模系统，包括扫描装置和运算装置，该运算装置与该扫描装置通信连接，其特征在于，该运算装置包括三维点云生成单元和三维匹配建模单元，该三维点云生成单元用于利用该扫描装置获得的影像计算出点云数据，该三维匹配建模单元用于针对点云数据作特征匹配以拼接出完整的三维模型；
其中，该三维影像建模系统在一般扫描模式时，该三维点云生成单元得到小范围点云，该三维匹配建模单元使用局部匹配进行点云数据的顺序匹配拼接；
该三维影像建模系统在补扫模式时，该三维匹配建模单元检查当前的小范围点云的三维点云品质，并对品质不够的第一小范围点云不作三维定位运算；该三维匹配建模单元在该补扫模式下将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将该第二小范围点云移动至该可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
2.如权利要求1所述的三维影像建模系统，其特征在于，该三维影像建模系统在该补扫模式时，该三维匹配建模单元在取得当前已叠合的大范围点云所需全局匹配特征资料前，先评估该大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。
3.如权利要求1所述的三维影像建模系统，其特征在于，该运算装置还包括图像处理显示单元，该图像处理显示单元用于针对点云数据作图像处理并实时显示；该三维匹配建模单元在取得当前的小范围点云所需全局匹配特征资料前，该图像处理显示单元先进行点云数据预处理。
4.如权利要求3所述的三维影像建模系统，其特征在于，该预处理包含去噪声、移除主体数据的孤岛部分、平滑化中的一种或多种。
5.如权利要求1所述的三维影像建模系统，其特征在于，该三维匹配建模单元在验证全局匹配计算出来的三维定位结果时，采用原始的小范围点云数据，先移动至该可能对应的三维空间位置，再使用局部匹配作匹配。
6.如权利要求5所述的三维影像建模系统，其特征在于，该原始的小范围点云数据包含主体数据的孤岛部分。
7.一种口腔扫描设备，其特征在于包括如权利要求1-6中任意一项所述的三维影像建模系统。
8.一种三维影像建模方法，其特征在于包括：
在一般扫描模式时，得到小范围点云，并使用局部匹配进行点云数据的顺序匹配拼接；
在补扫模式时，检查当前的小范围点云的三维品质，并对品质不够的第一小范围点云不作三维定位运算；
在该补扫模式下，将品质足够的第二小范围点云与现有的大范围点云作全局匹配，并评估出可能对应的三维空间位置，且将该第二小范围点云移动至该可能对应的三维空间位置，并再次使用局部匹配确认当前的小范围点云与现有的大范围点云是否匹配。
9.如权利要求8所述的三维影像建模方法，其特征在于包括如下步骤：
步骤1，执行扫描，获得二维影像或收集一维图像拼凑成二维影像，并据此计算得到一组最新的小范围点云；
步骤2，将计算得到的所述最新的小范围点云移动到前一组注册成功的小范围点云所在三维模型的空间坐标位置，并使用局部匹配确认所述最新的小范围点云与现有的大范围点云是否匹配；
若匹配，步骤3，将所述最新的小范围点云注册到所述三维模型，并记录注册成功的所述最新的小范围点云在所述三维模型的最新空间坐标位置，返回步骤1。
10.如权利要求9所述的三维影像建模方法，其特征在于还包括如下步骤：
若不匹配，步骤4，记录匹配失败的次数，并判断连续匹配失败的次数是否大于预设值；
当所述连续匹配失败的次数不大于所述预设值时，步骤5，放弃所述最新的小范围点云，返回步骤1。
11.如权利要求10所述的三维影像建模方法，其特征在于还包括如下步骤：
当所述连续匹配失败的次数大于所述预设值时，步骤6，检查目前输入的所述最新的小范围点云本身的三维点云品质是否达标；若不达标，返回步骤5。
12.如权利要求11所述的三维影像建模方法，其特征在于还包括如下步骤：
步骤7，若品质达标，将所述最新的小范围点云直接与现有的大范围点云作全局匹配，评估出最有可能匹配的空间坐标位置；
步骤8，把所述最新的小范围点云移动至步骤7中计算出来的空间坐标位置，重新使用局部匹配确认所述最新的小范围点云与现有的大范围点云是否匹配；若不匹配，返回步骤5；若匹配，返回步骤3。
13.如权利要求12所述的三维影像建模方法，其特征在于，在步骤7中包括：在取得当前已叠合的大范围点云所需全局匹配特征资料前，评估所述大范围点云在三维模型空间的范围是否大于先前占用比例，以决定是需要重新计算获得特征资料还是使用先前计算已得的特征资料。
14.如权利要求13所述的三维影像建模方法，其特征在于，若所述大范围点云在三维模型空间的范围大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则重新计算获得特征资料；若所述大范围点云在三维模型空间的范围不大于先前已计算出的全局匹配所需特征资料的占用空间一预定比例，则使用先前计算已得的特征资料。
15.如权利要求12所述的三维影像建模方法，其特征在于，在步骤7中包括：在取得当前输入的所述最新的小范围点云所需全局匹配特征资料前，先进行点云数据预处理；所述预处理包含去噪声、移除主体数据的孤岛部分、平滑化中的一种或多种。
16.如权利要求12所述的三维影像建模方法，其特征在于，在步骤3中还包括：验证全局匹配计算出来的三维定位结果，采用原始的所述最新的小范围点云先移动至所述最新空间坐标位置，再使用局部匹配作匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066270.8A CN113140031B (zh) | 2020-01-20 | 2020-01-20 | 三维影像建模系统、方法及应用其的口腔扫描设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066270.8A CN113140031B (zh) | 2020-01-20 | 2020-01-20 | 三维影像建模系统、方法及应用其的口腔扫描设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113140031A CN113140031A (zh) | 2021-07-20 |
| CN113140031B true CN113140031B (zh) | 2024-04-19 |
Family
ID=76808897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010066270.8A Active CN113140031B (zh) | 2020-01-20 | 2020-01-20 | 三维影像建模系统、方法及应用其的口腔扫描设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113140031B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205470B (zh) * | 2022-09-06 | 2023-02-21 | 深圳市其域创新科技有限公司 | 续扫重定位方法、装置、设备、存储介质及三维续扫方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389221A (zh) * | 2018-01-30 | 2018-08-10 | 深圳市菲森科技有限公司 | 三维图像的扫描方法及系统 |
| CN108648167A (zh) * | 2018-03-06 | 2018-10-12 | 深圳市菲森科技有限公司 | 一种口内扫描的三维扫描方法 |
| CN109793482A (zh) * | 2019-01-07 | 2019-05-24 | 苏州佳世达光电有限公司 | 口腔扫描装置及其控制方法 |
-
2020
- 2020-01-20 CN CN202010066270.8A patent/CN113140031B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389221A (zh) * | 2018-01-30 | 2018-08-10 | 深圳市菲森科技有限公司 | 三维图像的扫描方法及系统 |
| CN108648167A (zh) * | 2018-03-06 | 2018-10-12 | 深圳市菲森科技有限公司 | 一种口内扫描的三维扫描方法 |
| CN109793482A (zh) * | 2019-01-07 | 2019-05-24 | 苏州佳世达光电有限公司 | 口腔扫描装置及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113140031A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6940047B2 (ja) | コンピュータによる鉄筋測定検査システム及び鉄筋測定検査方法 | |
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| US11468663B2 (en) | Method for generating a customized/personalized head related transfer function | |
| US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
| US10977857B2 (en) | Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images | |
| KR20160082931A (ko) | 깊이 카메라를 교정하는 방법 | |
| JP6836561B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20100128972A1 (en) | Stereo matching processing system, stereo matching processing method and recording medium | |
| JP2010145186A (ja) | 形状測定装置およびプログラム | |
| CN114494582B (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| JP5987584B2 (ja) | 画像処理装置、映像投影システムおよびプログラム | |
| CN113140031B (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 | |
| CN110363250A (zh) | 一种三维图像智能匹配的方法及其系统 | |
| JP7230722B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
| JP7240115B2 (ja) | 情報処理装置及びその方法及びコンピュータプログラム | |
| JP4550081B2 (ja) | 画像測定方法 | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP5030183B2 (ja) | ３次元物体位置姿勢計測方法 | |
| JP2003006618A (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム | |
| CN114877826B (zh) | 一种双目立体匹配三维测量方法、系统及存储介质 | |
| JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
| TWI637353B (zh) | 測量裝置及測量方法 | |
| JP4153323B2 (ja) | 写真測量における計測点の対応付け方法及び装置 | |
| CN115601438A (zh) | 外参标定方法、装置以及自主移动设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |