CN112584793A - 将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统 - Google Patents

将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统 Download PDF

Info

Publication number
CN112584793A
CN112584793A CN201980054848.3A CN201980054848A CN112584793A CN 112584793 A CN112584793 A CN 112584793A CN 201980054848 A CN201980054848 A CN 201980054848A CN 112584793 A CN112584793 A CN 112584793A
Authority
CN
China
Prior art keywords
representation
images
image
tooth
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054848.3A
Other languages
English (en)
Inventor
A·R·杰林加德
C·瓦娜梅
迈克·范德普尔
卡尔-约瑟夫·霍伦贝克
A·加尔达
M·B·克里斯蒂安森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Shape AS filed Critical 3Shape AS
Publication of CN112584793A publication Critical patent/CN112584793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2035—Beam shaping or redirecting; Optical components therefor
    • A61B2018/20351—Scanning mechanisms
    • A61B2018/20353—Scanning in three dimensions [3D]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Abstract

本公开提供了一种用于在屏幕上将至少一个红外2D图像与手持扫描装置的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括如下步骤：获得牙齿的至少一部分的第一组2D图像；根据第一组2D图像形成牙齿的至少一部分的3D表示；在图形用户界面中显示3D表示；获得第二组2D图像，其中，第二组2D图像是在牙齿的至少一部分内获取的红外2D图像；在用户界面中显示第二组2D图像中的至少一个2D图像；在用户界面中显示配置为在第二组2D图像中的2D图像之间改变的操纵器。

Description

将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关 联的方法、装置和系统
技术领域
本发明总体上涉及用于将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关联的方法、装置和系统。更具体地，本发明涉及在3D表示内关联至少一个附加的2D图像，其中，在不同于用于形成3D表示的第一记录模式的第二记录模式下记录所述2D图像。甚至更具体地，本发明涉及用于牙科健康护理的手持装置，例如3D扫描仪。
背景技术
在牙科健康护理领域中已知使用不同的记录模式来记录图像。例如，已知3D扫描仪被配置用于使用例如来自白色LED的白光和例如来自红色激光二极管的不同颜色的光二者来照明牙齿。
因此，在一些3D扫描仪中，使用白光照明和红光照明来获取2D图像。
用红光照明获取的2D图像可用于形成牙齿的3D表示，而用白光获取的2D图像可用于获得牙齿的颜色。来自2D图像的颜色例如通过颜色映射算法与3D表示的表面相关联。
因此，在目前已知的用于牙科健康护理的3D扫描仪中，颜色映射涉及从2D图像到例如牙齿的3D表示的外表面的颜色映射。牙齿的外表面的颜色代表牙齿的实际颜色。通过了解牙齿的颜色，该颜色可与牙齿修复体例如牙冠、嵌体、高嵌体和/或牙桥的颜色相匹配。此外，通过了解颜色，可区分牙齿和牙龈。因此，例如牙齿的彩色图像不仅对于牙齿的可视化而且对于牙齿修复都是重要的。
如今，例如牙齿的外表面的成像和扫描已经很成熟，并且可利用各种成像技术来实现。
此外，细菌和龋齿可利用紫光或紫外(UV)光成像，从而使细菌和牙齿材料发出荧光。还已知用紫外光获取的2D图像与例如牙齿的外表面相关联。因此，本领域中已知在3D结构上叠加荧光信息。
甚至更进一步，牙齿的内部，即牙釉质中的邻面龋损，可利用红外(IR)光成像。更具体地，可通过在IR光照射期间获取一组2D图像来获得牙齿内部的3D表示。牙齿内部的3D-IR表示可通过各种技术与牙齿的外部相关联。例如，可通过匹配两个表示中的特征来实现3D-IR表示与利用白光或红光记录的3D表示的相关性。
因此，当今，通常已知在一种记录模式下获得的一个3D表示与在第二记录模式下获得的另一3D表示之间的相关性。
然而，获得第一3D表示并在第二3D表示内关联第一3D表示可能需要很长时间来记录和处理，这使得扫描口腔很麻烦。此外，进一步分析第二3D表示内的第一3D表示的信息可能很困难和/或耗时。
因此，需要一种更高效的记录和关联牙齿内的信息的方法。此外，需要提供牙齿内的信息，以便能够更容易地进一步分析该信息。
发明内容
本文公开了提供更高效地记录的方法和关联牙齿内的信息的方法。还公开了如何提供牙齿内的信息，以便能够更容易地进一步分析该信息。
本发明的以下方面解决了这些目的。
在第一方面，本公开提供一种用于将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；根据第一组2D图像形成牙齿的至少一部分的3D表示；在3D表示内定义单个2D表示表面；获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；以及将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中。以这种方式，该方法可获得组合的2D/3D表示。特别地，组合的2D/3D表示可包括仅在3D表示内的单个2D表示表面中与至少一个2D图像相关联的3D表示。在大多数实施例中，至少一个2D图像位于牙齿的3D表示内，但在其他实施例中，至少一个2D图像可位于牙齿的3D表示之上。不管至少2D图像的取向和位置如何，2D图像均在3D表示内。
在第二方面，本公开提供一种用于将至少一个附加的2D图像与至少一颗牙齿的3D表示相关联的处理单元，其中，所述处理单元被配置用于执行以下步骤：获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；根据第一组2D图像形成牙齿的至少一部分的3D表示；在3D表示内定义单个2D表示表面；获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；以及将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中。以这种方式，该方法可获得组合的2D/3D表示。特别地，组合的2D/3D表示可包括仅在3D表示内的单个2D表示表面中与至少一个2D图像相关联的3D表示。
在第三方面，本公开提供了一种用于将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关联的2D/3D扫描系统，该2D/3D扫描系统包括：手持装置，包括：至少第一光源，被配置用于发射第一光域中的光和第二光域中的光；检测器，其被配置用于记录2D图像，其中，手持装置被配置为在至少两种记录模式下操作：第一记录模式，其中，通过第一光域中的光的照射将第一组2D图像记录到检测器上，第二记录模式，其中，通过第二光域中的光的照射将至少一个附加的2D图像记录到检测器上；以及处理单元，其用于将至少一个附加的2D图像与至少一颗牙齿的3D表示相关联，其中，所述处理单元被配置用于执行以下步骤：获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；根据第一组2D图像形成牙齿的至少一部分的3D表示；在3D表示内定义单个2D表示表面；获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；以及将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中。以这种方式，该方法可获得组合的2D/3D表示。特别地，组合的2D/3D表示可包括仅在3D表示内的单个2D表示表面中与至少一个2D图像相关联的3D表示。
在第四方面，本公开提供一种用于将至少一个附加的2D图像与屏幕上的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；在图形用户界面中根据第一组2D图像形成牙齿的至少一部分的3D表示；使用图形用户界面中显示的操纵器在3D表示中定义单个2D表示表面；获得至少一个附加的2D图像，其中，使用手持装置在不同于所述第一记录模式的第二记录模式下记录至少一个附加的2D图像；以及基于操纵器提供的输入，将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中，从而获得组合的2D/3D表示，该组合的2D/3D表示包括仅与3D表示内的单个2D表示表面中的至少一个2D图像相关联的3D表示。
在第五方面，本公开提供一种用于将至少一个附加的2D图像与屏幕上的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；在图形用户界面中根据第一组2D图像形成牙齿的至少一部分的3D表示；在3D表示内定义单个2D表示表面；获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中，从而获得组合的2D/3D表示，该组合的2D/3D表示包括仅与3D表示内的单个2D表示表面中的至少一个2D图像相关联的3D表示；使用图形用户界面中显示的操纵器在3D表示中重新定义单个2D表示表面；以及基于操纵器提供的输入，将至少一个2D图像重新关联到3D表示。
类似于第五方面中描述的计算机实现的方法，本公开提供了一种用于在屏幕上将至少一个红外2D图像与手持扫描装置的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：获得牙齿的至少一部分的第一组2D图像；根据第一组2D图像形成牙齿的至少一部分的3D表示；在图形用户界面中显示3D表示；获得第二组2D图像，其中，第二组2D图像是在牙齿的至少一部分内获取的红外2D图像；在用户界面中显示第二组2D图像中的至少一个2D图像；在用户界面中显示配置为在第二组2D图像中的2D图像之间改变的操纵器；基于与操纵器相关联的输入，在第二组2D图像中的2D图像之间改变，直到显示期望的2D图像；以及将期望的2D图像与3D表示相关联。
本公开的所有方面涉及获得牙齿的至少一部分的组合的2D/3D表示。在优选实施例中，组合的2D/3D表示可包括仅在3D表示内的单个2D表示表面中与至少一个2D图像相关联的3D表示。通常，3D表示的一个平面或单个平面可指代由一个或多个三角形形成的平面，其中，一个或多个三角形被定义在点云中的点之间。通过仅在3D表示内的单个2D表示表面中获得至少一个2D图像，即，特别是在根据第一方面定义单个2D表示表面的情况下，本发明提供了一种计算机实现的方法，其中，可仅记录一个2D图像，以及仅在3D表示内关联一个2D图像。
因此，本文公开的方法可比在第二记录模式下记录多个2D图像更高效得多。此外，因此，本文公开的方法可比关联多个2D图像更高效。
仅记录一个2D图像以及仅在3D表示内的单个2D表示表面中关联仅一个2D图像是有利的，因为它允许对患者进行快速的口腔内扫描和/或检查，从而为患者提供更多的舒适性，至少因为患者不需要长时间张嘴。此外，仅记录一个2D图像以及仅在3D表示内关联一个2D图像是有利的，因为这允许牙科医生仅观察与牙齿的至少一部分的3D表示有关的一个2D图像。
例如，如果患者仅需要对一颗牙齿进行龋齿检查，则牙科医生可快速记录口腔中的一个2D图像，例如通过在手持装置上使用第二记录模式仅记录牙齿的一个2D图像，而不是记录每个牙齿的一系列的2D图像。此后，在3D表示内的单个2D表示表面中快速关联单个2D图像。以这种方式，可允许医生使用各种技术进一步分析组合的2D/3D表示。
在一些实施例中，组合的2D/3D表示可以是例如在诸如屏幕或触摸屏的显示器上出现的表示。因此，在一些实施例中，组合的2D/3D表示可指代作为通过相关性链接在一起的两个单独的数据集的表示，例如两个单独的文件。因此，组合的2D/3D表示也可以是例如在用户界面中单独显示的两个单独的表示，其中，两个单独的显示彼此相关联。例如，通过检查2D表示，相关性可允许用户界面的用户查看2D表示在3D表示上的何处。在其他实施例中，组合的2D/3D表示可指代作为单个数据集的表示，例如通过将两个单独的数据集相关联并将它们组合成单个数据文件而获得。
根据本公开，也可在3D表示内关联多于一个的2D图像。根据本发明，所有这些2D图像仅位于3D表示内的定义的单个2D表示表面中。
因此，当仅在3D表示内的单个2D表示表面中获得多于一个的2D图像时，即，特别是在根据第一方面定义单个2D表示表面的情况下，本发明提供了一种计算机实现的方法，其中，可记录多于一个的2D图像以及在3D表示内关联这些2D图像。
由于所有的2D图像均仅位于单个2D表示表面中，因此所有的2D图像在3D表示内仅形成一个2D图像。因此，本发明不提供组合的3D/3D表示，其中，例如第一3D表示与形成另一3D表示的多个2D图像相关联。
将多于一个的2D图像与单个2D表示表面相关联可比将多于一个的2D图像与多个2D表示表面相关联要快得多。
因此，本文公开的方法可比记录多个2D图像以及将它们关联到第一3D表示内的多个2D表示表面更高效。
记录多于一个的2D图像以及仅在3D表示内的单个2D表示表面中关联这些2D图像是进一步有利的，因为它允许对患者进行快速的口腔内扫描和/或检查，从而为患者提供更多的舒适性，至少因为患者不需要长时间张嘴。此外，记录多于一个的2D图像以及仅3D表示内的单个2D表示表面中关联这些2D图像是有利的，因为它允许牙科医生仅观察与牙齿的至少一部分的3D表示有关的一个表面中的2D图像。
例如，如果患者需要对所有牙齿进行龋齿检查，则牙科医生可快速记录口腔中的多于一个的2D图像，例如通过在手持装置上使用第二记录模式仅记录每个牙齿的一个2D图像，而不是记录每个牙齿的一系列的2D图像。此后，在3D表示内的单个2D表示表面中快速关联这些2D图像。以这种方式，可允许医生使用各种技术进一步分析组合的2D/3D表示。
下面描述本公开的进一步细节。
附图说明
将通过以下参考附图对本公开的实施例的说明性和非限制性的详细描述进一步描述本公开的以上和/或其他目的、特征和优点，其中：
图1示出了与一个3D表示相关联的多于一个的2D图像的一个示例。
图2示出了与一个3D表示相关联的多于一个的2D图像的另一示例。
图3示出了用户界面的示例。
具体实施方式
计算机实现的方法
定义单个2D表示表面
在计算机实现的方法的一个实施例中，在将至少一个附加的2D图像与3D表示相关联的步骤之前，执行定义单个2D表示表面的步骤。
在计算机实现的方法的另一实施例中，在将至少一个附加的2D图像与3D表示相关联的步骤之后，执行定义单个2D表示表面的步骤。例如，在一些实施例中，可在将至少一个附加的2D图像与3D表示相关联的步骤之前首先定义单个2D表示表面，之后可重新定义单个2D表示表面。这可允许用于至少一个2D图像在3D表示内的表示的各种选项。
在一个优选实施例中，单个2D表示表面是平坦表面。这样的表示表面可提供至少一个附加的2D图像与3D表示的快速相关联。此外，当从一视角观看时，平坦表面可示出所有从单个视角可见的细节。
在另一优选实施例中，单个2D表示表面是弯曲表面。例如，当至少一个附加的2D图像是一组2D图像时，可使用这样的表示表面，每个2D图像在不同的焦平面处获取。在这种情况下，不同的焦平面可不必形成单个焦平面，因此可不必位于3D表示中的对应的单个平面2D表示平面中。因此，如果不同的焦平面对应于单个2D表示表面，则最佳表面可以是弯曲的。
另一方面，如果不同的焦平面不对应于单个2D表示表面，则可定义与所有不同焦平面最佳匹配的如前所述的单个平坦的2D表示表面。同样，可将这组2D图像投影到单个平坦的2D表示表面。
在大多数实施例中，单个2D表示表面是通过牙齿的至少一部分的3D表示的相交表面。例如，如果牙齿或其一部分(即与物理世界有关)内的焦平面对应于3D表示内(即与表示世界有关)的单个2D表示表面，则该实施例对应于在牙齿内获取至少一个附加的2D图像的情形。这可利用例如红外或X射线成像技术来实现。
在一个实施例中，重新定义单个2D表示表面，例如，单个2D表示可基于来自用户界面的输入或来自手持装置的输入从其初始位置移动。例如，关于来自用户界面的输入，可在用户点击触摸屏之后提供输入。关于来自手持装置的输入，可在用户点击和/或移动手持装置之后提供输入。
在一个优选实施例中，定义单个2D表示表面的步骤基于相对于牙齿的至少一部分的3D表示、优选地相对于至少所述牙齿的3D表示的尖端跨越拟合表面。这种定义步骤优选是自动的。例如，可使用如下的方法自动地找到至少所述牙齿的3D表示的尖端：该方法依赖于基于扫描方向估计咬合方向，并且根据咬合方向，找到与牙齿的尖端对应的局部最大值。这样的方法可以是迭代过程。
如所描述的，上述实施例可取决于确定3D表示的特性，例如尖端(cusp)。然后，可例如通过与所确定的3D表示的特性有关的最小二乘算法来确定拟合表面。
在另一实施例中，定义单个2D表示表面的步骤基于在第一组2D图像内选择焦平面。例如，选择焦平面的步骤可基于来自用户选择的2D图像的输入。换句话说，可基于观看第一组2D图像来手动地选择焦平面。在另一示例中，选择焦平面的步骤可以是自动的，诸如基于选择算法例如第一组2D图像的聚焦度量或第一组2D图像的至少一部分，例如基于第一组2D图像内的一个图像的一部分来选择。
获得至少一个附加2D图像
在一个实施例中，获得至少一个附加的2D图像的步骤基于在第一记录模式下记录第一组2D图像中的至少一个2D图像之后和/或之前记录至少一个附加的2D图像。例如，可在第一记录模式下扫描口腔中的所有牙齿。此后，可在第二记录模式下例如通过为每个牙齿获取单个2D图像对所有牙齿进行2D成像。该过程也可反过来进行。在另一示例中，可在以下过程中对所有牙齿进行扫描和成像：其中，首先使用第一记录模式对每个牙齿进行部分地扫描，其次使用第二记录模式对每个牙齿进行2D成像，之后再次使用第一记录模式对每个牙齿进行部分地扫描。然后，可在例如如上所述记录模式在第一记录模式和第二记录模式之间交替的过程中，或者在多个步骤中，对每个牙齿进行扫描和2D成像，使得上述过程重复几次，从而在第二记录模式下为每个牙齿记录多于一个的2D图像。
在第二实施例中，至少一个附加的2D图像是第二组2D图像，例如垂直于与单个2D表示表面对应的单个2D物理表面记录的2D图像的焦点堆叠(focus-stack)，和/或诸如沿着与单个2D表示表面对应的单个2D物理表面记录的一系列2D图像。如上所述，可通过记录针对一个或多个牙齿的一组2D图像，例如在扫描期间在第一记录模式和第二记录模式下的记录之间交替，实现记录多于一个的2D图像，从而记录针对每个牙齿的焦点堆叠。也可通过使手持装置沿着口腔中的所有牙齿的路径移动来记录沿着单个2D物理表面的一系列2D图像。用户可通过使扫描仪在口腔中的所有牙齿上物理地移动(例如到牙齿的距离基本固定)来沿着单个2D物理表面记录一系列2D图像。可替代地，用户可通过使扫描仪在口腔中的所有牙齿上物理地移动(例如到牙齿的距离不固定)来沿着单个2D物理表面记录一系列2D图像，然后依靠投影算法，该投影算法随后将一系列2D图像投影到单个2D表示表面中。
在另一实施例中，优选地当该组2D图像沿着限定表面的路径记录时，将单个2D表示表面拟合到第二组2D图像中的图像的位置和取向。图像的位置和取向可例如利用位于手持装置内部的运动和/或位置传感器从手持装置导出。在该实施例中，拟合可通过算法来完成。
如上所述，根据本公开，可获得多于一个的2D图像。因此，在一个实施例中，获得至少一个附加的2D图像的步骤基于对第二组2D图像进行滤波。例如，选择算法可应用于该组2D图像以选择单个2D图像。在一些实施例中，滤波可以是各种滤波技术，例如噪声滤波和/或颜色滤波。
在另一实施例中，获得至少一个附加的2D图像的步骤基于在手持装置被聚焦在距与单个2D表示表面对应的单个2D物理表面的选定距离内时记录至少一个附加的2D图像。例如，可使用手持装置中的光学聚焦系统来确定选定距离。
在又一实施例中，获得至少一个附加的2D图像的步骤基于在手持装置被聚焦在与单个2D表示表面对应的单个2D物理表面处的选定的角位置内的牙齿的至少一部分上时记录至少一个附加的2D图像。例如，可使用手持装置中的陀螺仪系统来确定选定的角位置。
将至少一个附加2D图像与3D表示相关联
在一个优选实施例中，将至少一个附加的2D图像与3D表示相关联的步骤基于将至少一个附加的2D图像投影到3D表示内的单个2D表示表面。
在又一优选实施例中，将至少一个附加的2D图像与3D表示相关联的步骤还包括：在第二记录模式下获得第二组2D图像，以及使用图像融合算法将所述2D图像拼接在2D表示表面中。如前所述，可通过使手持装置沿着口腔中的所有牙齿移动，沿着单个2D物理表面记录一组2D图像或一系列2D图像。
第一记录模式和第二记录模式
在一个实施例中，第一记录模式基于用可见光域中的光照射牙齿，该可见光域中的光具有优选地在400nm至700nm之间的范围内、更优选地在400nm至600nm范围内的一个或多个波长。在一些实施例中，一个或多个波长在600nm至700nm之间的范围内。例如，工作在682nm附近的激光二极管可用于通过第一组2D图像提供用于牙齿的至少一部分的3D表示的3D信息，即，用于提供牙齿的至少一部分的几何形状。例如源自白色LED的另一波长范围可用于仅提供牙齿的至少一部分的颜色信息并且将该颜色信息叠加在3D表示的几何形状上。在一个优选实施例中，可见光域中例如550nm附近的一个或多个波长可用于根据第一组2D图像提供用于牙齿的至少一部分的3D表示的3D信息和颜色信息。
在第二实施例中，第一记录模式包括用紫外光(UV)域中的光照射牙齿的步骤，该UV域中的光优选地在400nm以下，例如在200nm至400nm之间，例如在约400nm附近或在约300nm附近。UV域中的光适合提供有关牙齿表面龋齿的信息。在一个优选实施例中，第一记录模式可以是在可见光域和UV域中记录之间的交替。可见光域中的光可主要用于形成3D表示，包括几何信息和/或颜色信息，而UV域中的光可主要用于形成3D表示的附加信息，例如表面龋齿或牙齿或牙龈的至少一部分的牙菌斑。在一些实施例中，UV域中的光可主要用于形成3D表示，特别是仅用于提供几何信息。在一些优选实施例中，UV域中的光可主要用于形成3D表示，特别是用于提供几何信息和附加信息二者，例如牙齿的至少一部分的表面龋齿。
在一个优选实施例中，第二记录模式基于用红外光(IR)域中的光照射牙齿，该IR域中的光具有优选地在700nm至2500nm之间的范围内、更优选地在800nm至1000nm之间的范围内、最优选地在850nm附近的一个或多个波长。IR域中的光适合提供有关牙齿内部龋齿的信息。在一个更优选的实施例中，第一记录模式和第二记录模式在牙齿的至少一部分的扫描操作中交替。在最优选的实施例中，第一记录模式可在可见光域中，而第二记录模式可在IR域中。由此，可提供与至少牙齿内部的颜色、几何形状和龋齿有关的信息。在另一最优选的实施例中，第一记录模式可在可见光域和UV域中，而第二记录模式可在IR域中。紫外光可提供与至少牙齿外部的颜色、几何形状和龋齿有关的信息。
在另一实施例中，第二记录模式基于用可见光域中的光照射牙齿，该可见光域中的光优选地具有在600nm至700nm之间的范围内的一个或多个波长。在某些情况下，该波长范围可提供牙齿内部的龋齿信息。因此，在一个可能的实施例中，在可见光域中例如400-600nm的范围记录第一组2D图像，并且还在可见光域中但例如600-700nm的范围记录第二组2D图像。在该实施例中，在一个实施例中可通过波长调谐诸如可调谐激光器的光源在第一记录模式和第二记录模式之间改变。
显示组合的2D/3D表示
在大多数实施例中，在屏幕上显示组合的2D/3D表示。这允许牙科医生观察通过使用手持装置提供的口腔内的2D/3D表示。根据本公开的组合的2D/3D表示被高效地获得。当在屏幕上显示时，本发明以视觉上可理解的全面方式提供至少关于牙齿的信息。
更重要的是，当提供组合的2D/3D表示时，可容易地得出至少关于牙齿的可测量信息。例如，基于在第一记录模式下记录的3D表示和在第二记录模式下记录的2D表示二者的至少牙齿的龋齿的基于图像的度量可比仅依赖于与3D信息无关的纯2D信息更精确。基于组合的2D/3D表示提供龋齿的基于图像的度量可以是一种分析组合的2D/3D表示的方法。通常，当提供组合的2D/3D表示时，牙齿的至少一部分的基于图像的度量能够以容易的方式实现，这允许牙科医生获得至少关于牙齿的信息。此类信息的具体示例可与龋齿和/或裂缝有关。
处理单元
在一个优选实施例中，处理单元被配置用于执行根据第一方面的计算机实现的方法。
如在本公开中描述的方法的特征可以以软件来实现并且可在由计算机可执行指令的执行而引起的数据处理系统或其他处理装置上执行。指令可以是从存储介质或经由计算机网络从另一计算机加载到诸如RAM的存储器中的程序代码方式。可选地，可通过硬接线电路而不是软件或与软件结合来实现所描述的特征。
2D/3D扫描系统
处理单元
在2D/3D扫描系统的一个实施例中，处理单元位于手持装置的外部，例如位于单独的计算机中。在2D/3D扫描系统的另一实施例中，处理单元位于手持装置的内部。在一些实施例中，处理单元在手持装置和外部装置之间共享。因此，在一些实施例中，处理单元可以是两个或更多个处理单元。因此，在另外的实施例中，在手持装置中以及在手持装置的外部均可存在处理单元。
第一光域和第二光域
在一个实施例中，第一光域在可见光域中，具有优选地在400nm至700nm之间的范围内、更优选地在400nm至600nm之间的范围内的一个或多个波长。发射在可见光域中的光的第一光源的示例从白色发光二极管(LED)到白色激光源。
在第二实施例中，第一光域在紫外光域或紫光域中。
在一个优选实施例中，第二光域在红外光域中，具有优选地在700nm至2500nm之间的范围内、更优选地在800nm至1000nm之间的范围内、最优选地在850nm附近的一个或多个波长。
在另一优选的实施例中，第二光域在可见光域中，优选地具有在600nm至700nm之间的范围内的一个或多个波长。
关于计算机实现的方法，可找到各种光域及其组合的进一步细节。
至少第一光源
在一个实施例中，至少第一光源是第一光源和第二光源。例如，第一光源可以是白色LED，而第二光源可以是IR光源。如关于第一实施例所描述的，在一些实施例中，至少第一光源可以是波长可调光源。
第一记录模式和第二记录模式
在一个优选实施例中，在第一记录模式下记录第一组2D图像中的至少一个2D图像之后和/或之前，记录至少一个附加2D图像。已经针对计算机实现的方法描述了记录处理的各种组合。
关于2D/3D扫描仪系统，并且如前所述，手持装置被配置用于在至少两种记录模式下操作：第一记录模式，其中，通过第一光域中的光的照射将第一组2D图像记录到检测器上，第二记录模式，其中，通过第二光域中的光的照射将至少一个附加的2D图像记录到检测器上。
在至少两种记录模式下操作手持装置可具有多个选项。
在一个实施例中，由手持装置提供第一记录模式，该手持装置还包括第一可移除尖端，该第一可移除尖端光学地连接到至少第一光源，从而将来自至少第一光源的光引导到牙齿的至少一部分。
在另一实施例中，第二记录模式由手持装置提供，该手持装置还包括第二可移除尖端，该第二可移除尖端代替第一可移除尖端，光学地连接到至少第一光源，从而将来自至少第一光源的光引导到牙齿的至少一部分。
在一个优选实施例中，至少第一光源与第一可移除尖端分开定位。如前所述，至少第一光源可以是第一光源和第二光源。
在一些实施例中，至少第一光源位于第一可移除尖端和/或第二可移除尖端中或之上。例如，第一可移除尖端可包括第一光源。可选地和/或另外，第二可移除尖端可包括第二光源。
在一个优选实施例中，第一可移除尖端不包括第一光源，并且第二可移除尖端包括第二光源。第一光源可例如位于手持装置内，使得来自第一光源的光仅经由第一可移除尖端例如通过位于第一可移除尖端中的反射镜被引导。第二光源可例如是放置在第二可移除尖端上/中的IR光源。
在一个更优选的实施例中，第一可移除尖端不包括第一光源，并且第二可移除尖端不包括第二光源。例如，第一光源和第二光源均可位于手持装置内，使得来自第一光源和第二光源的光二者仅分别经由第一可移除尖端和第二可移除尖端被引导。
在一些实施例中，第一可移除尖端包括第一光源，并且第二可移除尖端包括第二光源。第一光源和第二光源二者例如可分别位于第一可移除尖端和第二可移除尖端中或之上。
扩展的景深成像设置
在一个实施例中，手持装置还包括光学地连接到检测器的孔，该孔包括外环形盘，该外环形盘被配置用于阻挡第二光域中的光，使得与在第一记录模式下记录的第一组图像相比，以扩展的景深记录至少一个附加的2D图像。
该实施例将能够例如优选地在IR域中提供至少一个附加的2D图像，其将沿着获取方向示出例如牙齿内部的龋齿的更多细节。通过扩展景深，不需要在牙齿内的2D图像的焦点堆叠，因此不需要在这样的焦点堆叠内选择单个2D图像。因此，扩展景深将提供至少牙齿的组合的2D/3D表示的更快的记录和形成。
图形用户界面
操纵器(manipulator)和相关性
如之前针对用户界面所述，操纵器被配置为在第二组2D图像中的2D图像之间改变。此外，基于与操纵器相关联的输入，可在第二组2D图像中的2D图像之间改变，直到显示期望的2D图像。一旦实现这一点，则用户在用户界面中观察到期望的2D图像如何与同样显示的3D表示相关联。一旦操纵器被定位，则不需要计算期望的2D图像与3D表示本身的相关性。例如，在第二组2D图像中，一个或多个2D图像在它们被显示在用户界面中之前可能已经与3D表示相关联。具有操纵器的一个优点是查看选定的2D图像属于3D表示中或之上的哪个位置。操纵器的另一优点是，一旦在3D表示上定义了位置，则显示相关联的图像。
在一些实施例中，一旦操纵器被定位在例如3D表示上，则可计算期望的2D图像与3D表示的相关性。换句话说，仅当操纵器位于3D表示上的期望位置时，可计算相关性。为了将操纵器定位在3D表示上的期望位置，在一个实施例中，用户界面可被配置为使得操纵器可相对于固定的3D表示移动。在另一实施例中，为了将操纵器定位在3D表示上的期望位置，用户界面可被配置为使得3D表示相对于固定的操纵器移动。在一些实施例中，可使用手持扫描装置来完成操纵器或3D表示的移动。
在图形用户界面的优选实施例中，在图形用户界面中显示的操纵器是滚动条。
然而，操纵器也可以是单个2D表示表面本身。在这种情况下，用户可例如单击单个2D表示表面，然后例如通过移动光标、通过屏幕上的触摸输入或通过使用手持装置来移动单个2D表示表面。
由与操纵器相关联的上文可知，关于定位操纵器，即操纵器的位置，用户可指定用户希望在哪里查看期望的2D图像和3D表示之间的相关性，或者反过来进行。由于期望的2D图像是在牙齿的至少一部分内获取的红外2D图像，因此向用户提供了牙齿内部的图像信息和牙齿的表面几何信息之间的关系。这样做的优点是，如果牙齿内部的图像信息与龋齿有关，则用户可识别出该龋齿属于哪个牙齿，然后，用户还可识别出该龋齿在牙齿内部存在于哪个位置。
在一个实施例中，将期望的2D图像与3D表示相关联的步骤基于将第一组图像中的信息与第二组图像中的信息进行比较。例如，第一组图像中的信息，即用白色可见光记录的信息，可以是诸如边缘的图像的特征，，例如通过对图像应用边缘检测算法来提供。第二组图像中的信息，即用红外光记录的信息，也可以是诸如边缘的图像的类似特征。
在一个优选实施例中，该信息与图像的获取时间有关。这对于例如特征检测是有利的，因为总是存在获取时间，但对于诸如边缘的图像特征并不总是如此。为了比较不同组图像的获取时间，在一个实施例中，获取图像并与用户界面通信的扫描仪可被配置为在获取模式之间快速改变，例如在白光照明/获取模式和红外照明/获取模式之间改变。
在一个实施例中，期望的2D图像与3D表示相关联的步骤被表示在用户界面中，使得仅关于牙齿的至少一部分的3D表示来示出期望的2D图像。换句话说，当用户选择了期望的2D图像时，用户能够观察到期望的2D图像在何上或何中与3D表示有关。例如，当选择牙齿内部的期望的2D图像时，使用操纵器，同一牙齿可被表示为单独的3D表示，并且相关性指示器可例如示出期望的2D图像与3D表示有关和/或相关联的位置。如前所述，其优点在于，如果牙齿内部的图像信息与龋齿有关，则用户可识别龋齿属于哪个牙齿，然后，用户还可识别龋齿存在于牙齿内部的哪个位置。
在另一实施例中，将期望的2D图像与3D表示相关联的步骤在用户界面中被表示为组合的2D/3D表示。如刚刚描述的，组合的2D/3D表示可以是例如在用户界面中单独显示的两个单独的表示，其中，两个单独的显示彼此相关联。例如，通过检查2D表示，相关性可允许用户界面的用户查看2D表示在3D表示上的何处。
在又一实施例中，组合的2D/3D表示包括通过相关性链接在一起的两个单独的数据集，使得组合的2D/3D表示进一步包括两个单独的表示。
然而，在一些实施例中，组合的2D/3D表示可指代单个表示，其中，3D表示和2D图像二者被同时显示。这样做的优点是，用户不需要同时查看用户界面中的两个单独的表示。
在其他实施例中，组合的2D/3D表示包括通过将两个单独的数据集相关联而获得的单个数据集。第一数据集可源自第一组2D图像，而第二数据集可源自第二组2D图像，即红外2D图像。
在一个实施例中，形成3D表示的步骤使得3D表示中的每个牙齿或牙齿的至少一部分唯一地标识属于相应的牙齿或牙齿的至少一部分的第二组图像。以这种方式，当例如使用3D表示上的相关性指示器在用户界面中选择3D表示中的牙齿或牙齿的至少一部分时，在牙齿内或在牙齿的至少一部分内获取的第二组2D图像在用户界面中被显示为逐个图像。如之前针对相关性指示器所述，相关性指示器的作用是示出期望的2D图像与3D表示有关和/或相关联的位置(无论是从3D表示到2D图像还是反过来进行)。在该实施例中，用户可例如选择牙齿并且通过检查相应的2D红外图像来确定在牙齿内部还是在牙齿之间存在龋齿。
在一些实施例中，第二组2D图像是沿着相对于单个2D物理表面的垂直轴记录的2D图像的焦点堆叠。例如，这可允许用户在距牙尖的不同距离处检查牙齿内的龋齿。
在其他实施例中，第二组2D图像是沿单个2D物理表面记录的2D图像的焦点堆叠。优选地，第二组2D图像是沿着相对于单个2D物理表面的垂直轴并且沿着同一个2D物理表面的聚焦堆栈。以这种方式，向用户呈现了一组牙齿内的龋齿的大部分信息。
在一个优选实施例中，在图形用户界面中显示的操纵器是滚动条和/或位置指示器，以示出来自牙齿或其一部分内部的选定位置和/或取向的图像。
在另一实施例中，在图形用户界面中显示的操纵器基于对2D图像的点击，并且其中，通过移动光标、通过屏幕上的触摸输入或通过使用手持扫描装置来获得期望的图像。
在一些实施例中，获得第二组2D图像的步骤基于对第二组2D图像进行滤波。例如，如果一组红外2D图像被获取为焦点堆叠(focus stack)，则滤波器可被配置为仅选择其中一部分，例如基于位置的图像质量。以这种方式，相关形可不需要将所有的2D图像与3D表示相关联，因此可提供更高效的相关性。
在一个优选实施例中，通过在用户界面中选择手持扫描装置以在700nm至2500nm之间的范围内的一个或多个波长进行操作来获得红外图像。例如，当手持扫描仪位于感兴趣的特定牙齿上方时，这可允许用户手动地获取红外图像。
如前所述，在大多数实施例中，手持扫描装置与如上所述的图形用户界面通信。
示例1–多个2D图像与3D表示相关联
图1示出了使用本文公开的计算机实现的方法获得的单个2D表示表面1的一个示例，其中，一组附加的2D图像2与牙齿4的3D表示3相关联。单个2D表示表面1在下颌中存在的所有牙齿4的3D表示3内。在该示例中，单个2D表示表面1是平坦表面，特别是穿过牙齿4的大致中心的相交表面。如图1所示，这组2D图像2在该示例中为均位于单个2D表示表面中的六个2D图像。使用图像融合算法将六个2D图像拼接在一起。此外，在基于用红外光域中的光照射牙齿的第二记录模式下记录该组2D图像，在本例中红外光域中的光具有在850nm附近的波长。
示例2–多个2D图像与3D表示相关联
图2示出了使用本文公开的计算机实现的方法获得的单个2D表示表面1的一个示例，其中，一组附加的2D图像2与牙齿4的3D表示3相关联。单个2D表示表面1在下颌中存在的所有牙齿4的3D表示3内。在该示例中，单个2D表示表面1是平坦表面，特别是穿过牙齿4的大致中心的相交表面。如图2所示，这组2D图像2在该示例中为均位于单个2D表示表面中的六个2D图像。使用图像融合算法将六个2D图像拼接在一起。此外，在基于用可见光域中的光照射牙齿的第二记录模式下记录该组2D图像。
示例3–用户界面
图3示出了根据本发明的用户界面的示例。
用户界面(UI)，此处为图形用户界面，基于用于将至少一个红外2D图像与牙齿4的至少一部分的3D表示3相关联并显示的计算机实现的方法。换句话说，用户界面显示相关性。此外，用户界面与手持扫描装置通信，并且UI被显示在屏幕上。通过以下步骤获得UI中显示的相关性。
第一，UI或计算机实现的方法(即算法)(通过从手持装置接收)获得牙齿4的至少一部分的第一组2D图像。该第一组2D图像由手持扫描装置使用白光来获取。手持装置将图像数据传输到处理装置，在处理装置上算法读取图像数据。
第二，UI随后根据第一组2D图像形成牙齿4的至少一部分的3D表示3。然后，在UI中显示该3D表示形式。
第三，UI获得(通过从手持装置接收)牙齿4的至少一部分的第二组2D图像2。该第二组2D图像2由手持扫描装置使用红外光来获取。因此，第二组2D图像2是在牙齿4的至少一部分内获取的红外2D图像。手持装置将图像数据传输到处理装置，在处理装置上算法读取图像数据。在UI中显示来自第二组2D图像2的2D图像中的至少一个。在该示例中，在UI中显示四个红外2D图像2。
第四，UI显示操纵器5，该操纵器5被配置为在第二组2D图像2中的红外2D图像之间改变。用户能够在第二组2D图像2中的2D图像之间改变，直到显示期望的2D图像6。换句话说，用户可移动操纵器5。基于操纵器5的位置，并且由于UI接收与操纵器5相关联的输入(在此为操纵器5的位置)，因此根据操纵器5的位置改变红外2D图像。
最后，UI显示期望的2D图像6如何与3D表示3相关联。相关性本身是在获取第一组图像和第二组图像时通过在UI的后台运行的计算机实现的方法连续进行的。在图形用户界面中显示的操纵器5呈滚动条的形式。在该示例中，滚动条或滚动条的轨迹内的滚动框呈位置指示器的形式，以显示来自牙齿4内部的选定位置的图像。在该示例中，相关性指示器7示出了期望的2D图像6与3D表示3有关和/或相关联的位置。
如前所述，期望的2D图像6与3D表示3相关联的步骤被表示在用户界面中，使得仅关于牙齿4的至少一部分的3D表示3来示出期望的2D图像6。
在UI中，牙齿4内部的2D图像(期望的红外2图像6)和3D表示3均被显示为两个单独的表示。然而，两个单独的表示通过相关性被组合成组合的2D/3D表示，在此与操纵器5和相关性指示器7组合。通过移动操纵器5，相关性指示器7相应地移动。它也可反过来进行–通过移动相关性指示器7，操纵器5也相应地移动。因此，在该示例中，相关性指示器7被配置为类似于操纵器5。换句话说，相关性指示器7还被配置为在第二组2D图像2中的红外2D图像之间改变。相关性指示器7是另一操纵器5。
因此，组合的2D/3D表示包括与3D表示3内的单个2D表示表面1中的至少一个2D图像6相关联的3D表示3。
由于该相关性，3D表示3中的每个牙齿4或牙齿4的至少一部分唯一地标识属于相应的牙齿4或牙齿4的至少一部分的第二组图像2。当在用户界面中(使用相关性指示器7)选择3D表示3中的牙齿4或牙齿4的至少一部分时，在牙齿内或在牙齿的至少一部分内获取的第二组2D图像2在用户界面中被显示为逐个图像6。
在此处呈现的该示例中，第二组2D图像2是沿着单个2D物理表面记录的2D图像的焦点堆叠。
以下项描述了进一步的细节：
项：
1.一种用于将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：
·获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；
·根据第一组2D图像形成牙齿的至少一部分的3D表示；
·在3D表示内定义单个2D表示表面；
·获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；以及
·将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中，从而获得组合的2D/3D表示，组合的2D/3D表示包括仅在3D表示内的单个2D表示表面中与至少一个2D图像相关联的3D表示。
2.根据项1所述的方法，其中，在将至少一个附加的2D图像与3D表示相关联的步骤之前，执行定义单个2D表示表面的步骤。
3.根据项1所述的方法，其中，在将至少一个附加的2D图像与3D表示相关联的步骤之后，执行定义单个2D表示表面的步骤。
4.根据前述项中的任一项所述的方法，其中，单个2D表示表面是平坦表面。
5.根据项1-3中的任一项所述的方法，其中，单个2D表示表面是弯曲表面。
6.根据前述项中的任一项所述的方法，其中，单个2D表示表面是通过牙齿的至少一部分的3D表示的相交表面。
7.根据前述项中的任一项所述的方法，其中，基于来自用户界面的输入或来自手持装置的输入来重新定义单个2D表示表面。
8.根据前述项中的任一项所述的方法，其中，定义单个2D表示表面的步骤基于相对于牙齿的至少一部分的3D表示、优选地相对于所述牙齿的3D表示的尖端跨越拟合表面。
9.根据项8所述的方法，其中，通过最小二乘算法来确定拟合表面。
10.根据前述项中的任一项所述的方法，其中，定义单个2D表示表面的步骤基于在第一组2D图像内选择焦平面。
11.根据项10所述的方法，其中，选择焦平面的步骤基于来自用户选择的2D图像的输入。
12.根据前述项中的任一项所述的方法，其中，获得至少一个附加的2D图像的步骤基于在第一记录模式下记录第一组2D图像中的至少一个2D图像之后和/或之前记录至少一个附加的2D图像。
13.根据前述项中的任一项所述的方法，其中，至少一个附加的2D图像是第二2D图像或一组第二2D图像，例如垂直于与单个2D表示表面对应的单个2D物理表面记录的2D图像的焦点堆叠，和/或诸如沿着与单个2D表示表面对应的单个2D物理表面记录的一系列2D图像。
14.根据项13所述的方法，其中，将单个2D表示表面拟合到第二组2D图像中的图像的位置和取向。
15.根据项13所述的方法，其中，获得至少一个附加的2D图像的步骤基于对第二组2D图像进行滤波。
16.根据前述项中的任一项所述的方法，其中，获得至少一个附加的2D图像的步骤基于在手持装置被聚焦在距与单个2D表示表面对应的单个2D物理表面的选定距离内时记录至少一个附加的2D图像。
17.根据前述项中的任一项所述的方法，其中，获得至少一个附加的2D图像的步骤基于在手持装置被聚焦在与单个2D表示表面对应的单个2D物理表面的选定的角位置内时记录至少一个附加的2D图像。
18.根据前述项中的任一项所述的方法，其中，将至少一个附加的2D图像与3D表示相关联的步骤基于将至少一个2D图像投影到3D表示内的单个2D表示表面。
19.根据前述项中的任一项所述的方法，其中，将至少一个附加的2D图像与3D表示相关联的步骤还包括获得第二组2D图像以及使用图像融合算法将所述2D图像拼接在2D表示表面中。
20.根据前述项中的任一项所述的方法，其中，第一记录模式基于用可见光域中的光照射牙齿，所述可见光域中的光具有优选地在400nm至700nm之间的范围内、更优选地在400nm至600nm之间的范围内的一个或多个波长。
21.根据项1-19所述的方法，其中，第一记录模式包括用紫外光域中的光照射牙齿的步骤。
22.根据前述项中的任一项所述的方法，其中，第二记录模式基于用红外光域中的光照射牙齿，所述红外光域中的光具有优选地在700nm至2500nm之间的范围内、更优选地在800nm至1000nm之间的范围内、最优选地在850nm附近的一个或多个波长。
23.根据项1-21所述的方法，其中，第二记录模式基于用可见光域中的光照射牙齿，所述可见光域中的光优选地具有在600nm至700nm范围内的一个或多个波长。
24.根据前述项中的任一项所述的方法，还包括在屏幕上显示组合的2D/3D表示的步骤。
25.一种用于将至少一个附加的2D图像与至少一颗牙齿的3D表示相关联的处理单元，其中，处理单元被配置用于执行根据项1所述的计算机实现的方法。
26.根据项25所述的处理单元，其中，处理单元被配置为执行根据项2-24中的任一项所述的计算机实现的方法。
27.一种用于将至少一个附加的2D图像与牙齿的至少一部分的3D表示相关联的2D/3D扫描系统，包括：
·手持装置，包括：
-至少第一光源，其被配置用于发射第一光域中的光和第二光域中的光，
-检测器，其被配置用于记录2D图像，
其中，手持装置被配置为在至少两种记录模式下操作：
-第一记录模式，其中，通过第一光域中的光的照射将第一组2D图像记录到检测器上，
-第二记录模式，其中，通过第二光域中的光的照射将至少一个附加的2D图像记录到检测器上；以及
·根据项25-26中的任一项所述的处理单元。
28.根据项27所述的2D/3D扫描系统，其中，处理单元位于手持装置的外部，例如位于单独的计算机中。
29.根据项27-28中的任一项所述的2D/3D扫描系统，其中，第一光域在可见光域中，具有优选地在400nm至700nm之间的范围内、更优选地在400nm至600nm之间的范围内的一个或多个波长。
30.根据项27-28中的任一项所述的2D/3D扫描系统，其中，第一光域在350nm至430nm的域中。
31.根据项27-30中的任一项所述的2D/3D扫描系统，其中，第二光域在红外光域中，具有优选地在700nm至2500nm之间的范围内、更优选地在800nm至1000nm之间的范围内、最优选地在850nm附近的一个或多个波长。
32.根据项27-30中的任一项所述的2D/3D扫描系统，其中，第二光域在可见光域中，优选地具有在600nm至700nm范围内的一个或多个波长。
33.根据项27-32中的任一项所述的2D/3D扫描系统，其中，至少第一光源是第一光源和第二光源。
34.根据项27-33中的任一项所述的2D/3D扫描系统，其中，在第一记录模式下记录第一组2D图像中的至少一个2D图像之后和/或之前记录至少一个附加的2D图像。
35.根据项27-34中的任一项所述的2D/3D扫描系统，手持装置还包括光学地连接到检测器的孔，所述孔包括外环形盘，所述外环形盘被配置用于阻挡第二光域中的光，使得与在第一记录模式下记录的第一组图像相比，以扩展的景深记录至少一个附加的2D图像。
36.一种用于将至少一个附加的2D图像与屏幕上的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：
·获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；
·在图形用户界面中根据第一组2D图像形成牙齿的至少一部分的3D表示；
·使用图形用户界面中显示的操纵器在3D表示内定义单个2D表示表面；
·获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；以及
·基于操纵器提供的输入，将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中，从而获得组合的2D/3D表示，该组合的2D/3D表示包括仅与3D表示内的单个2D表示表面中的至少一个2D图像相关联的3D表示。
37.一种用于将至少一个附加的2D图像与屏幕上的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：
·获得第一组2D图像，其中，使用手持装置在第一记录模式下记录第一组2D图像；
·在图形用户界面中根据第一组2D图像形成牙齿的至少一部分的3D表示；
·在3D表示中定义单个2D表示表面；
·获得至少一个附加的2D图像，其中，使用手持装置在不同于第一记录模式的第二记录模式下记录至少一个2D图像；
·将至少一个2D图像与3D表示相关联，使得至少一个2D图像位于3D表示中的单个2D表示表面中，从而获得组合的2D/3D表示，该组合的2D/3D表示包括仅与3D表示内的单个2D表示表面中的至少一个2D图像相关联的3D表示；
·使用图形用户界面中显示的操纵器在3D表示内重新定义单个2D表示表面；以及
·基于操纵器提供的输入，将至少一个2D图像关联到3D表示。

Claims (15)

1.一种用于在屏幕上将至少一个红外2D图像与手持扫描装置的图形用户界面中显示的牙齿的至少一部分的3D表示相关联的计算机实现的方法，包括以下步骤：
·获得所述牙齿的至少一部分的第一组2D图像；
·根据所述第一组2D图像形成所述牙齿的至少一部分的3D表示；
·在所述图形用户界面中显示所述3D表示；
·获得第二组2D图像，其中，所述第二组2D图像是在所述牙齿的至少一部分内获取的红外2D图像；
·在所述用户界面中显示所述第二组2D图像中的至少一个2D图像；
·在所述用户界面中显示配置为在所述第二组2D图像中的2D图像之间改变的操纵器；
·基于与所述操纵器相关联的输入，在所述第二组2D图像中的2D图像之间改变，直到显示期望的2D图像；以及
·将所述期望的2D图像与所述3D表示相关联。
2.根据权利要求1所述的方法，其中，将所述期望的2D图像与所述3D表示相关联的步骤基于将第一组图像中的信息与第二组图像中的信息进行比较。
3.根据权利要求2所述的方法，其中，所述信息与所述图像的获取时间有关。
4.根据前述权利要求中的任一项所述的方法，其中，将所述期望的2D图像与所述3D表示相关联的步骤被表示在所述用户界面中，使得仅关于所述牙齿的至少一部分的所述3D表示来示出所述期望的2D图像。
5.根据前述权利要求中的任一项所述的方法，其中，将所述期望的2D图像与所述3D表示相关联的步骤在所述用户界面中被表示为组合的2D/3D表示。
6.根据权利要求5所述的方法，其中，所述组合的2D/3D表示包括通过相关性链接在一起的两个单独的数据集，使得所述组合的2D/3D表示进一步包括两个单独的表示。
7.根据权利要求5所述的方法，其中，所述组合的2D/3D表示包括通过将两个单独的数据集相关联而获得的单个数据集。
8.根据前述权利要求中的任一项所述的方法，其中，形成所述3D表示的步骤使得所述3D表示中的每个牙齿或所述牙齿的至少一部分唯一地标识属于相应的牙齿或所述牙齿的至少一部分的第二组图像。
9.根据前述权利要求中的任一项所述的方法，其中，所述第二组2D图像是沿着相对于单个2D物理表面的垂直轴记录的2D图像的焦点堆叠。
10.根据前述权利要求中的任一项所述的方法，其中，所述第二组2D图像是沿着单个2D物理表面记录的2D图像的焦点堆叠。
11.根据前述权利要求中的任一项所述的方法，其中，在所述图形用户界面中显示的所述操纵器是滚动条和/或位置指示器，以示出来自选定位置和/或取向的图像。
12.根据前述权利要求中的任一项所述的方法，其中，在所述图形用户界面中显示的所述操纵器基于对所述2D图像的点击，并且其中，通过移动光标、通过所述屏幕上的触摸输入或通过使用手持扫描装置来获得所述期望的图像。
13.根据前述权利要求中的任一项所述的方法，其中，获得第二组2D图像的步骤基于对所述第二组2D图像进行滤波。
14.根据前述权利要求中的任一项所述的方法，其中，通过在所述用户界面中选择所述手持扫描装置以在700nm至2500nm之间的范围内的一个或多个波长进行操作来获得所述红外图像。
15.一种手持扫描装置，其与根据权利要求1至14中的任一项所述的图形用户界面通信。
CN201980054848.3A 2018-06-21 2019-06-14 将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统 Pending CN112584793A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18179027.0 2018-06-21
EP18179027 2018-06-21
PCT/EP2019/065747 WO2019243202A1 (en) 2018-06-21 2019-06-14 Method, device and system for correlating at least one additional 2d-image to a 3d-representation of at least a part of tooth

Publications (1)

Publication Number Publication Date
CN112584793A true CN112584793A (zh) 2021-03-30

Family

ID=62873131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054848.3A Pending CN112584793A (zh) 2018-06-21 2019-06-14 将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统

Country Status (5)

Country Link
US (1) US20210264600A1 (zh)
EP (1) EP3810028A1 (zh)
KR (1) KR20210022691A (zh)
CN (1) CN112584793A (zh)
WO (1) WO2019243202A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039547A1 (en) * 2022-08-17 2024-02-22 Align Technology, Inc. Augmentation of 3d surface of dental site using 2d images

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985954A4 (en) * 2019-06-12 2023-01-25 LG Electronics Inc. MOBILE TERMINAL, AND ASSOCIATED 3D IMAGE CONVERSION METHOD
KR102583414B1 (ko) * 2021-05-31 2023-10-04 주식회사 메디트 3차원 스캐너의 스캔 이미지 처리 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169913A1 (en) * 1998-11-01 2003-09-11 Avi Kopelman Dental image processing method and system
CN103079494A (zh) * 2010-06-29 2013-05-01 3形状股份有限公司 2d图像布置
US20170049330A1 (en) * 2014-05-07 2017-02-23 Align Technology, Inc. Identification of areas of interest during intraoral scans
CN106537225A (zh) * 2014-05-27 2017-03-22 F·迪莱特 一种对患者口腔内部的可视化装置
WO2017093563A1 (en) * 2015-12-04 2017-06-08 3Shape A/S Deriving tooth condition information for populating digital dental charts
CN107661159A (zh) * 2016-07-27 2018-02-06 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7717708B2 (en) * 2001-04-13 2010-05-18 Orametrix, Inc. Method and system for integrated orthodontic treatment planning using unified workstation
DE602005009432D1 (de) * 2004-06-17 2008-10-16 Cadent Ltd Verfahren und Gerät zur Farbbildformung einer dreidimensionalen Struktur
US8442283B2 (en) * 2006-08-30 2013-05-14 Anatomage Inc. Patient-specific three-dimensional dentition model
US8503763B2 (en) * 2008-01-04 2013-08-06 3M Innovative Properties Company Image signatures for use in motion-based three-dimensional reconstruction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169913A1 (en) * 1998-11-01 2003-09-11 Avi Kopelman Dental image processing method and system
CN103079494A (zh) * 2010-06-29 2013-05-01 3形状股份有限公司 2d图像布置
US20170049330A1 (en) * 2014-05-07 2017-02-23 Align Technology, Inc. Identification of areas of interest during intraoral scans
CN106537225A (zh) * 2014-05-27 2017-03-22 F·迪莱特 一种对患者口腔内部的可视化装置
WO2017093563A1 (en) * 2015-12-04 2017-06-08 3Shape A/S Deriving tooth condition information for populating digital dental charts
CN107661159A (zh) * 2016-07-27 2018-02-06 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039547A1 (en) * 2022-08-17 2024-02-22 Align Technology, Inc. Augmentation of 3d surface of dental site using 2d images

Also Published As

Publication number Publication date
KR20210022691A (ko) 2021-03-03
US20210264600A1 (en) 2021-08-26
EP3810028A1 (en) 2021-04-28
WO2019243202A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US20230263397A1 (en) 3d intraoral scanner measuring fluorescence
US11628046B2 (en) Methods and apparatuses for forming a model of a subject's teeth
US10585958B2 (en) Intraoral scanner with dental diagnostics capabilities
KR20210138652A (ko) 디지털 3 차원 치과적 모델들을 생성하기 위한 시스템 및 방법
CN112584793A (zh) 将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination