CN116782819A - 通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备 - Google Patents

通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备 Download PDF

Info

Publication number
CN116782819A
CN116782819A CN202280010664.9A CN202280010664A CN116782819A CN 116782819 A CN116782819 A CN 116782819A CN 202280010664 A CN202280010664 A CN 202280010664A CN 116782819 A CN116782819 A CN 116782819A
Authority
CN
China
Prior art keywords
image
scan
full
feature points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280010664.9A
Other languages
English (en)
Inventor
丁鸿
李星旻
宋宝贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hdx Future Co
Original Assignee
Hdx Future Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hdx Future Co filed Critical Hdx Future Co
Publication of CN116782819A publication Critical patent/CN116782819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

公开了一种三维口内扫描数据匹配设备，包括匹配单元、深度学习单元、扫描帧特征确定单元和扫描数据重新匹配单元。匹配单元匹配多个扫描帧以生成全口图像。深度学习单元执行深度学习以检测全口图像的特征。扫描帧特征确定单元利用全口图像的特征确定多个扫描帧的特征。扫描数据重新匹配单元根据多个扫描帧的特征对多个扫描帧进行重新匹配，以重建三维口内模型。

Description

通过基于深度学习的3D特征检测匹配三维口内扫描数据的方 法和设备
技术领域
本发明涉及一种用于通过基于深度学习的三维(3D)特征点检测来匹配3D口内扫描数据的方法和设备。
背景技术
为了从口内扫描仪生成三维(3D)口内扫描数据，需要一种利用扫描仪扫描患者口腔的过程，以及将针对每个帧生成的点云匹配(配准)成三维的一个帧。存在广泛用于点云匹配的迭代最近点(ICP)算法。在现有方法中，即使当一个帧对的帧之间的匹配误差小时，由于累积误差，在最终重建的3D口腔模型中也会发生几何失真。
[相关技术文件]
[专利文件]
(专利文件1)韩国专利登记号10-1911327
发明内容
[技术问题]
本发明旨在提供一种可以减少几何失真的用于匹配三维(3D)口内扫描数据的方法和设备。
[技术方案]
本发明的一个方面提供一种匹配三维(3D)口内扫描数据的方法，其包括：匹配多个扫描帧并且生成全口图像；通过执行深度学习来检测全口图像的特征点；使用全口图像的特征点来确定多个扫描帧的特征点；以及基于多个扫描帧的特征点来重新匹配多个扫描帧并且重建3D口腔模型。
使用所述全口图像的特征点确定所述多个扫描帧的特征点可包括：从所述全口图像生成虚拟帧，将所述全口图像的特征点投影到所述虚拟帧上并确定所述虚拟帧的特征点；以及使用所述虚拟帧的特征点确定所述多个扫描帧的特征点。
使用所述虚拟帧的特征点确定所述多个扫描帧的特征点可包括在所述虚拟帧的特征点周围生成具有预定尺寸的第一补丁图像；基于所述第一补丁图像在与所述虚拟帧相对应的扫描帧内选择第二补丁图像，以及将所述第二补丁图像的中心点确定为与所述虚拟帧相对应的扫描帧的特征点。
所述第一补丁图像与所述第二补丁图像之间的相似度可以大于阈值。
可以基于扫描帧的取向和尺寸从所述全口图像生成所述虚拟帧。
所述重建3D口腔模型可包含匹配所述多个扫描帧的特征点并确定匹配对，以及基于所述匹配对重新匹配所述多个扫描帧并重建所述3D口腔模型。
可以使用迭代最近点(ICP)算法来匹配所述多个扫描帧。
检测所述全口图像的特征点可以包括通过渲染所述全口图像来生成渲染的二维(2D)图像，以及通过对渲染的2D图像应用深度学习来检测所述全口图像的特征点。
通过将深度学习应用于渲染的2D图像来检测全口图像的特征点可以包括通过将深度学习应用于渲染的2D图像来生成牙齿相遇点的热图，以及从热图检测全口图像的特征点。
通过将深度学习应用于渲染的2D图像来检测全口图像的特征点还可以包括：当第一牙齿在第一特征点处与第二牙齿相遇并且第二牙齿在第二特征点处与第三牙齿相遇时，确定第一特征点与第二特征点之间的中心点，确定通过第一点、第二点和中心点并且与通过第一特征点和第二特征点的直线垂直的三条直线，以及确定在三条直线上的除了第一点和第二点之外的额外特征点。
本发明的另一个方面提供一种用于匹配3D口内扫描数据的设备，其包括：匹配单元，被配置成匹配多个扫描帧以生成全口图像；深度学习单元，被配置成通过执行深度学习来检测全口图像的特征点；扫描帧特征点确定单元，被配置成使用全口图像的特征点来确定多个扫描帧的特征点；以及扫描数据重新匹配单元，被配置成基于多个扫描帧的特征点来重新匹配多个扫描帧以重建3D口腔模型。
用于匹配3D口内扫描数据的设备还可包括：虚拟帧生成单元，被配置成从全口图像生成虚拟帧；以及虚拟帧特征点确定单元，被配置成将全口图像的特征点投影到虚拟帧上以确定虚拟帧的特征点，其中扫描帧特征点确定单元可使用虚拟帧的特征点确定多个扫描帧的特征点。
用于匹配3D口内扫描数据的设备还可包括特征点匹配单元，被配置成匹配多个扫描帧的特征点以确定匹配对，其中扫描数据重新匹配单元可基于匹配对重新匹配多个扫描帧以重建3D口腔模型。
[有益效果]
根据本发明的实施例，通过使用深度学习获得帧模型之间的匹配对并且基于该匹配对重新匹配扫描帧，可以减小重建扫描模型的总体匹配误差。
附图说明
图1是根据本发明实施例的用于匹配三维(3D)口内扫描数据的设备的框图。
图2示意性地示出了根据本发明实施例的用于匹配3D口内扫描数据的设备的操作方法。
图3是示出根据本发明实施例的用于匹配3D口内扫描数据的设备的操作方法的流程图。
图4示出了根据本发明实施例的口腔扫描和扫描图像匹配过程。
图5示出了根据本发明实施例的生成热图的过程。
图6示出了根据本发明实施例的确定全口图像的3D特征点的过程。
图7示出了根据本发明实施例的额外确定全口图像的3D特征点的过程。
图8示出了根据本发明实施例的确定虚拟帧的特征点的过程。
图9示出了根据本发明实施例的确定多个扫描帧的特征点的过程。
图10示出了根据本发明实施例的重建3D口腔模型的过程。
图11示出了根据本发明另一实施例的重建3D口腔模型的过程。
具体实施方式
在下文中，将参照附图详细描述本领域技术人员能够容易执行的本发明的实施例。此外，为了清楚地解释本发明，在附图中省略了与描述无关的部分。
图1是根据本发明实施例的用于匹配三维(3D)口内扫描数据的设备的框图。
如图1所示，根据本发明实施例的用于匹配3D口内扫描数据的设备100包括扫描单元110、匹配单元120、深度学习单元130、虚拟帧生成单元140、虚拟帧特征点确定单元150、扫描帧特征点确定单元160、特征点匹配单元170和扫描数据重新匹配单元180。下面将描述用于匹配3D口内扫描数据的设备100的每个部件的操作。
图2示意性地示出了根据本发明实施例的用于匹配3D口内扫描数据的设备的操作方法。
具体而言，图2示出了用于减少在重建口内扫描数据的过程中累积的匹配误差的3D口腔模型重建过程。
如图2所示，扫描单元110扫描口腔以生成多个扫描帧(S21)。
匹配单元120通过使用迭代最近点(ICP)算法匹配多个扫描帧来生成全口图像，深度学习单元130通过执行深度学习来确定全口图像中的3D特征点(S22)。
虚拟帧生成单元140基于扫描帧的取向和尺寸从全口图像生成虚拟帧，并且虚拟帧特征点确定单元150将全口图像的特征点投影到虚拟帧上以确定虚拟帧的特征点(S23)。
扫描帧特征点确定单元160使用虚拟帧的特征点来确定多个扫描帧的特征点(S24)。
特征点匹配单元170匹配多个扫描帧的特征点以确定匹配对，并且扫描数据重新匹配单元180基于匹配对重新匹配多个扫描帧以重建3D口腔模型(S25)。
图3是示出根据本发明实施例的用于匹配3D口内扫描数据的设备的操作方法的流程图。
扫描单元110扫描口腔以生成多个扫描帧(S101)。
匹配单元120使用例如ICP算法来匹配多个扫描帧，以生成全口图像(S103)。匹配方法包括通过迭代表面匹配获得刚体变换的任何方法，诸如ICP。
接下来，将参照图4描述口腔扫描和扫描图像匹配过程。
图4示出了根据本发明实施例的口腔扫描和扫描图像匹配过程。
如图4所示，扫描单元110可以扫描口腔401以生成多个扫描帧403，匹配单元120可以匹配多个扫描帧以生成全口图像405。
再次，将描述图3。
深度学习单元130通过执行深度学习来检测全口图像中的3D特征点(S105)。由于在深度学习过程中直接处理3D网格数据可能具有高计算成本的问题，因此深度学习单元130可通过渲染全口图像而不是3D扫描数据来生成渲染的二维(2D)图像，并将深度学习应用于2D图像。
对于数据学习，深度学习单元130可使用在全口图像的z方向上渲染的2D图像(其是全口扫描数据)作为深度学习的输入，并使用牙齿之间的相邻2D点作为深度学习的输出。考虑到患者具有不同数量的牙齿的事实，深度学习单元130不使用恒定数量的特征点的坐标向量作为深度学习的输出，而是可以生成显示特征点位置的热图图像，并使用热图图像作为深度学习的输出来训练深度学习网络。热图是一种数据可视化技术，以二维颜色显示现象的强度。因此，深度学习单元130可执行深度学习并输出将特征点的强度显示为颜色的热图。为了从2D热图获得3D特征点，深度学习单元130可检索热图中具有最大强度的点的2D坐标，并将这些点投影到3D全口图像上，以获得3D全口图像的3D特征点。
接下来，将参照图5和图6描述获得3D全口图像的特征点的过程。
图5示出了根据本发明实施例的生成热图的过程。
如图5所示，深度学习单元130通过渲染3D全口图像501来生成2D渲染图像503。深度学习单元130可确定牙齿在2D渲染图像503中相遇的点(505)，并通过对确定的点执行高斯映射来生成热图507。
图6示出了根据本发明实施例的确定全口图像的3D特征点的过程。
如图6所示，深度学习单元130通过渲染3D全口图像601来生成2D渲染图像603。深度学习单元130使用2D渲染图像603作为输入来执行深度学习605，以生成牙齿相遇点的热图607。深度学习单元130可基于热图607确定全口图像的3D特征点609。
由于每帧需要至少三个特征点来匹配多个扫描帧，所以除了牙齿之间的相邻点之外，还需要更多的点。将参照图7描述除了牙齿之间的相邻点之外获得额外特征点的过程。
图7示出了根据本发明实施例的额外确定全口图像的3D特征点的过程。
深度学习单元130可基于热图701确定全口图像的3D特征点703。
当假设第一牙齿在第一点处与第二牙齿相遇并且第二牙齿在第二点处与第三牙齿相遇时，深度学习单元130确定第一点和第二点之间的中心点，并且深度学习单元130确定通过第一点、第二点和中心点并且与通过第一特征点和第二特征点的直线垂直的三条直线(705)。深度学习单元130可在三条直线上确定除第一点和第二点之外的额外特征点(707)。
通过将上述过程应用于所有的牙齿，深度学习单元130可以为整个全口图像确定至少三倍于牙齿数量的特征点(709)。
再次，将描述图3。
虚拟帧生成单元140基于扫描帧的取向和尺寸从全口图像生成虚拟帧(S107)。虚拟帧生成单元140可通过以与扫描帧相同的取向和相同的尺寸渲染全口图像来生成虚拟帧。虚拟帧可以表示渲染图像、深度图或者渲染图像和深度图两者。
虚拟帧特征点确定单元150将全口图像的特征点投影到虚拟帧上，以确定虚拟帧的特征点(S109)。
图8示出了根据本发明实施例的确定虚拟帧的特征点的过程。
如图8所示，虚拟帧特征点确定单元150可以将全口图像801的特征点投影到虚拟帧803上，以确定虚拟帧803的特征点。
扫描帧特征点确定单元160使用虚拟帧的特征点来确定多个扫描帧的特征点(S111)。具体地，扫描帧特征点确定单元160可在虚拟帧的特征点周围生成具有预定尺寸的补丁图像。扫描帧特征点确定单元160可以从扫描帧中选择与补丁图像的相似度大于阈值的补丁图像。扫描帧特征点确定单元160可将从扫描帧中选择的补丁图像的中心点确定为扫描帧的特征点。
图9示出了根据本发明实施例的确定多个扫描帧的特征点的过程。
扫描帧特征点确定单元160可在虚拟帧901的特征点周围生成具有预定尺寸的补丁图像903。扫描帧特征点确定单元160可以从扫描帧907中选择与补丁图像903的相似度大于阈值的补丁图像905。然而，当在整个扫描帧907中搜索与补丁图像903相似的补丁图像时，可能如图9所示选择两个或更多个补丁图像905，或者可能选择具有大误差的不想要的补丁图像905。
为了解决上述问题，首先，扫描帧特征点确定单元160可以在虚拟帧911的特征点周围生成具有预定尺寸的补丁图像913。扫描帧特征点确定单元160可以从对应于虚拟帧911的特征点附近的扫描帧917的区域中选择与补丁图像913的相似度大于阈值的补丁图像915。此后，扫描帧特征点确定单元160可以将从扫描帧中选择的补丁图像的中心点确定为扫描帧的特征点，从而减少计算量和误差。
再次，将描述图3。
特征点匹配单元170通过匹配多个扫描帧的特征点来确定匹配对(S113)。
扫描数据重新匹配单元180通过基于匹配对重新匹配多个扫描帧来重建3D口腔模型(S115)。将参照图10和图11描述重建3D口腔模型的过程。
图10示出了根据本发明实施例的重建3D口腔模型的过程。
如图10所示，由于在匹配单元120的匹配过程中生成的误差导致虚拟帧和扫描帧之间存在差异，当根据第一虚拟帧1001和第二虚拟帧1003之间的特征点对匹配第一虚拟帧1001和第二虚拟帧1003时，在匹配的图像1005中可能出现空间失真。
然而，当第一虚拟帧1001和第二虚拟帧1003的特征点被转移到第一扫描帧1011和第二扫描帧1013，并且基于第一扫描帧1011和第二扫描帧1013之间的特征点对来匹配第一扫描帧1011和第二扫描帧1013时，匹配的图像1015可以具有减小的空间失真。
图11示出了根据本发明另一实施例的重建3D口腔模型的过程。
如图11所示，由匹配单元120生成的口腔图像1101具有空间失真。可以看出，由于扫描数据重新匹配单元180通过基于特征点匹配对重新匹配多个扫描帧1103和1105来生成匹配图像1107，所以减少了空间失真。结果，从具有小空间失真的图像1107生成的3D口腔模型1109也具有小空间失真。
虽然已经参照附图中示出的实施例描述了本发明，但是该实施例应该仅被认为是描述性的，并且本领域技术人员应该理解，可以做出各种改变和等同的其他实施例。因此，本发明的范围应该仅由权利要求来限定。

Claims (13)

1.一种匹配三维3D口内扫描数据的方法，包括：
匹配多个扫描帧并生成全口图像；
通过执行深度学习来检测所述全口图像的特征点；
使用所述全口图像的特征点确定多个扫描帧的特征点；和
基于多个扫描帧的特征点重新匹配多个扫描帧，并重建3D口腔模型。
2.根据权利要求1所述的方法，其中使用所述全口图像的特征点确定多个扫描帧的特征点包括：
从所述全口图像生成虚拟帧；
将所述全口图像的特征点投影到所述虚拟帧上，并确定所述虚拟帧的特征点；和
使用所述虚拟帧的特征点确定多个扫描帧的特征点。
3.根据权利要求2所述的方法，其中使用所述虚拟帧的特征点确定多个扫描帧的特征点包括：
在所述虚拟帧的特征点周围生成具有预定尺寸的第一补丁图像；
基于所述第一补丁图像，在对应于所述虚拟帧的扫描帧内选择第二补丁图像；和
将所述第二补丁图像的中心点确定为对应于所述虚拟帧的扫描帧的特征点。
4.根据权利要求3所述的方法，其中所述第一补丁图像和所述第二补丁图像之间的相似度大于阈值。
5.根据权利要求2所述的方法，其中基于所述扫描帧的取向和尺寸，从所述全口图像生成所述虚拟帧。
6.根据权利要求1所述的方法，其中所述3D口腔模型的重建包括：
匹配多个扫描帧的特征点并确定匹配对；和
基于匹配对重新匹配多个扫描帧，并重建3D口腔模型。
7.根据权利要求1所述的方法，其中使用迭代最近点ICP算法来匹配所述多个扫描帧。
8.根据权利要求1所述的方法，其中所述全口图像的特征点的检测包括：
通过渲染全口图像来生成渲染的二维2D图像；和
通过将深度学习应用于渲染的2D图像来检测所述全口图像的特征点。
9.根据权利要求8所述的方法，其中通过将所述深度学习应用于渲染的2D图像来检测所述全口图像的特征点包括：
通过对渲染的2D图像应用深度学习来生成牙齿相遇点的热图；和
从所述热图中检测所述全口图像的特征点。
10.根据权利要求8所述的方法，其中通过将深度学习应用于渲染的2D图像来检测所述全口图像的特征点还包括：
当第一牙齿在第一特征点处与第二牙齿相遇并且所述第二牙齿在第二特征点处与第三牙齿相遇时，确定所述第一特征点和所述第二特征点之间的中心点；
确定通过第一点、第二点和中心点并且与通过第一特征点和第二特征点的直线垂直的三条直线；和
在所述三条直线上确定除第一点和第二点之外的额外特征点。
11.一种用于匹配三维3D口内扫描数据的设备，包括：
匹配单元，被配置成匹配多个扫描帧以生成全口图像；
深度学习单元，被配置成通过执行深度学习来检测所述全口图像的特征点；
扫描帧特征点确定单元，被配置成使用所述全口图像的特征点来确定多个扫描帧的特征点；和
扫描数据重新匹配单元，被配置成基于所述多个扫描帧的特征点来重新匹配所述多个扫描帧，以重建3D口腔模型。
12.根据权利要求11所述的设备，还包括：
虚拟帧生成单元，被配置成从所述全口图像生成虚拟帧；和
虚拟帧特征点确定单元，被配置成将所述全口图像的特征点投影到所述虚拟帧上以确定所述虚拟帧的特征点，
其中所述扫描帧特征点确定单元使用所述虚拟帧的特征点来确定多个扫描帧的特征点。
13.根据权利要求11所述的设备，还包括特征点匹配单元，被配置成匹配多个扫描帧的特征点以确定匹配对，
其中所述扫描数据重新匹配单元基于所述匹配对来重新匹配所述多个扫描帧，以重建所述3D口腔模型。
CN202280010664.9A 2021-01-18 2022-01-13 通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备 Pending CN116782819A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0006549 2021-01-18
KR1020210006549A KR102310662B1 (ko) 2021-01-18 2021-01-18 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
PCT/KR2022/000653 WO2022154523A1 (ko) 2021-01-18 2022-01-13 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
CN116782819A true CN116782819A (zh) 2023-09-19

Family

ID=78078507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280010664.9A Pending CN116782819A (zh) 2021-01-18 2022-01-13 通过基于深度学习的3d特征检测匹配三维口内扫描数据的方法和设备

Country Status (5)

Country Link
US (1) US20240070882A1 (zh)
EP (1) EP4278954A1 (zh)
KR (1) KR102310662B1 (zh)
CN (1) CN116782819A (zh)
WO (1) WO2022154523A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310662B1 (ko) * 2021-01-18 2021-10-12 주식회사 에이치디엑스윌 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
KR102428941B1 (ko) 2022-02-28 2022-08-08 75미리스튜디오 주식회사 광대역 라이다 스캔 기반 이미지 정합을 통해 텍스처가 구현된 3d 스캔 데이터 생성 방법, 장치 및 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911327B1 (ko) 2017-06-23 2018-10-25 오스템임플란트 주식회사 누적 정합 오차를 줄이기 위한 구강 스캐닝 방법, 구강 스캐너 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
US11007040B2 (en) * 2018-03-19 2021-05-18 James R. Glidewell Dental Ceramics, Inc. Dental CAD automation using deep learning
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템
KR102215068B1 (ko) * 2019-02-18 2021-02-10 부산대학교 산학협력단 임플란트 진단용 영상 정합을 위한 장치 및 방법
KR102267488B1 (ko) * 2019-06-26 2021-06-21 주식회사 디오 치아 영상 정합 장치 및 방법
KR102310662B1 (ko) * 2021-01-18 2021-10-12 주식회사 에이치디엑스윌 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치

Also Published As

Publication number Publication date
WO2022154523A1 (ko) 2022-07-21
US20240070882A1 (en) 2024-02-29
EP4278954A1 (en) 2023-11-22
KR102310662B1 (ko) 2021-10-12

Similar Documents

Publication Publication Date Title
US11928832B2 (en) Intraoral scanning system that removes excessive materials from intraoral scans
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
EP0840253B1 (en) Methods and apparatus for digital subtraction angiography
JP5285619B2 (ja) カメラシステムのキャリブレーション
EP4287121A1 (en) Device and method for automatically matching oral scan data and computed tomography image by means of crown segmentation of oral scan data
US20240070882A1 (en) Method and device for matching three-dimensional oral scan data via deep-learning based 3d feature detection
JP4889182B2 (ja) ベイジアンフレームワークにおける仮説混合による深度マップの生成
KR102273437B1 (ko) 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
KR20190037241A (ko) 치열 메시 브레이스 제거를 위한 방법 및 시스템
JP2022516488A (ja) 歯の位置合わせを用いた歯のセグメンテーション
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP2007295375A (ja) 投影映像補正装置及び投影映像補正プログラム
KR100603602B1 (ko) 조밀하지 않은 비정렬 3차원 측정점들을 이용한 3차원메쉬 생성 방법
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
EP3910586A1 (en) Method and apparatus for optical coherence tomography angiography
KR100837776B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
JP2012128884A (ja) 仮想視点画像生成方法，仮想視点画像生成装置および仮想視点画像生成プログラム
CN107610070B (zh) 基于三摄像采集的自由立体匹配方法
Lin Resolution adjustable 3D scanner based on using stereo cameras
JP2006065472A (ja) ３次元モデル生成装置および方法
Lee et al. Real-time correction of wide-angle lens distortion for images with GPU computing
JP6984870B2 (ja) ３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination