CN107257992B - 用于牙科3d扫描仪的纹理映射的设备和方法 - Google Patents

用于牙科3d扫描仪的纹理映射的设备和方法 Download PDF

Info

Publication number
CN107257992B
CN107257992B CN201580074592.4A CN201580074592A CN107257992B CN 107257992 B CN107257992 B CN 107257992B CN 201580074592 A CN201580074592 A CN 201580074592A CN 107257992 B CN107257992 B CN 107257992B
Authority
CN
China
Prior art keywords
image
color
texture
teeth
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580074592.4A
Other languages
English (en)
Other versions
CN107257992A (zh
Inventor
吴颖谦
陈骎然
V.C.王
刘朝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dental Imaging Technologies Corp
Original Assignee
Carestream Dental Technology Topco Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carestream Dental Technology Topco Ltd filed Critical Carestream Dental Technology Topco Ltd
Publication of CN107257992A publication Critical patent/CN107257992A/zh
Application granted granted Critical
Publication of CN107257992B publication Critical patent/CN107257992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/08—Gnomonic or central projection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于利用单色传感器阵列对牙齿进行颜色纹理成像的方法根据来自所述牙齿的视图的图像数据来获得表示表面轮廓图像的3D网格。针对每个视图，记录图像数据生成具有至少三个单色明暗度图像的集合。组合每个组合的所述单色明暗度图像以生成2D颜色明暗度图像，所述2D颜色明暗度图像对应于所述视图中的一个。将所述网格中的每个多边形表面分配给所述视图的子集中的一个视图。将分配给同一视图的多边形表面分组成纹理片段。根据顶点到与每个纹理片段相关联的所述视图上的投射，确定所述纹理片段中的所述3D网格表面的图像坐标。利用对应于每个纹理片段的所述2D颜色明暗度图像中的纹理值呈现所述3D网格，以生成颜色纹理表面轮廓图像。

Description

用于牙科3D扫描仪的纹理映射的设备和方法
发明领域
本发明大体涉及表面形状成像领域，并且更具体地涉及在口内应用中的3D彩色图像的表面成像和显示。
背景
表面轮廓信息可以对牙齿状况的评估特别有用，并且有助于各种类型的牙科手术，诸如有助于修复牙科学。已经开发了用于在医疗、工业和其他应用中从各种类型的对象获得表面轮廓信息的许多技术。光学三维(3D)测量方法使用以各种方式引导到表面上的光来提供形状和深度信息。用于轮廓成像的各种类型的成像方法中包括：生成一系列光图案并且使用焦点或三角测量来检测照明区域上的表面形状变化的那些方法。
条纹投射成像使用图案化或结构化的光和三角测量来获得各种类型的结构的表面轮廓信息。在条纹投射成像中，从给定角度朝向对象表面投射线图案。然后从另一个角度将来自表面的投射图案看做轮廓图像，从而利用三角测量法以便基于轮廓线的外观分析表面信息。其中使投射图案在空间上递增地偏移以便在新位置处获得附加测量值的相移通常用作条纹投射成像的一部分，用来完成表面的轮廓映射并且增加轮廓图像中的总分辨率。
彩色传感器阵列比单色传感器阵列更昂贵并且更复杂。此外，直接生成RGB数据的传感器阵列固有地是效率较低的，并且对于低亮度级条件(诸如在口内成像中常见的那些条件)较不敏感。
尽管成本较高，但是可以理解，为了诊断和美学目的，提供彩色的3D表面轮廓图像将是有价值的。对这个成像问题的已知解决方法提供了使颜色与体积图像区域相关联的方式。然而，这些方法不能满足提供忠实再现颜色纹理的彩色体积图像所需要的要求。通常，表面纹理涉及详细表面结构，并且在成像情况下提供了光如何从表面反射的更准确表示。颜色纹理还包括图像中颜色的空间排列和强度。颜色纹理的属性可以基于反射光或透射光的定向分布，通常由例如有光泽的、闪亮对比暗淡的、无光泽的、清晰的、浑浊的、独特的、或与微表面结构相关(诸如粗糙度或光滑度、明暗度(shading)和其他属性)的属性描述。例如，颜色纹理表示与边缘的改进定义相关，并且允许更清楚地显现口内的特征和(更一般地)解剖学特征。
在已提出的用于提供对3D图像的颜色信息的测量的解决方案中包括：例如在Franetzki的题为“Process and Device for Computer-Assisted Restoration ofTeeth”的专利公开EP 0837659中描述的解决方案，这种解决方案使用颜色检测器以常规方式获得颜色数据，并且然后在显示3D体积图像时将2D红色(R)、绿色(G)和蓝色(B)或RGB彩色图像叠加到3D体积图像上。然而，这种类型的模拟彩色解决方案不提供真正的3D彩色图像数据。假设在被叠加到3D表面图像上时可被正确地缩放并与体积图像数据对齐，如EP0837659中所描述的同时显示和叠加的彩色内容将仅在单个视角上是准确的。3D表面的任何其他视图将不具有叠加的彩色图像内容。
因此，可以理解，需要一种图像处理方法，所述图像处理方法使用单个图像捕获设备(其采用单色传感器阵列)来提供示出颜色以及颜色纹理内容的牙齿3D图像数据。
概述
本申请的目的是，提高牙齿和相关口内结构的表面轮廓检测技术。
本申请的方法和/或设备实施方案可以解决对颜色纹理的改进表示的需要，所述颜色纹理与从患者获取的体积图像相关。
本申请的另一方面在于全部或部分地解决相关技术中的至少上述缺陷和其他缺陷。
本申请的另一方面在于全部或部分地提供至少本文所述的优点。
这些方面仅通过说明性示例的方式给出，并且这类目标可以是本发明的一个或多个方法和/或设备实施方案的示例。由本发明固有地实现的其他合意目标和优点可以被本领域技术人员想到或对他们显而易见。本发明由随附权利要求书来限定。
根据本发明的一个方面，提供了一种用于在具有单色传感器阵列的口内相机中形成映射到一个或多个牙齿的3D轮廓图像的颜色纹理的方法，所述方法可以包括：根据所记录的来自一个或多个牙齿的多个视图的图像数据，获得表示一个或多个牙齿的3D表面轮廓图像的3D网格，其中针对多个视图中的每一个，记录图像数据包括通过将至少三个不同光谱带的光投射到一个或多个牙齿上来生成具有至少三个单色明暗度图像的多个集合并且将对应图像数据记录在单色传感器阵列上；组合每个集合的至少三个单色明暗度图像以生成多个2D颜色明暗度图像，其中多个2D颜色明暗度图像中的每一个对应于多个视图中的一个；将表示一个或多个牙齿的3D表面轮廓图像的3D网格中的每个多边形表面分配给多个视图的子集中的一个视图；将分配给同一视图的3D网格多边形表面分组成纹理片段；根据每个纹理片段中的3D网格多边形表面的顶点到与纹理片段相关联的视图上的投射，确定所述顶点的图像坐标；以及根据所确定图像坐标，利用对应于每个纹理片段的2D颜色明暗度图像中的纹理值呈现3D网格，以生成一个或多个牙齿的颜色纹理3D表面轮廓图像。
附图简述
从以下如附图中示出的、对本发明实施方案的更具体描述，将明白本发明的前述和其他目标、特征以及优点。
附图的元件不一定相对于彼此按比例绘制。为了强调基本结构关系或操作原理，可能需要某种程度的夸张。例如，实现所描述的实施方案将需要的一些常规部件(诸如用于提供电力、用于包装、以及用于安装和保护系统光学元件的支撑部件)在附图中未示出以便简化描述。
图1是示出用于从患者牙齿获取彩色3D信息的成像设备的示意图。
图2是示出将结构化图案投射到牙齿表面上的示意图。
图3是示出用于口内成像的相机的部件的示意图，所述相机使用单色传感器阵列来获得牙齿的彩色表面轮廓图像。
图4A是示出如何使用图案化光如何来获得表面轮廓信息的示意图。
图4B是具有彼此间隔开的多条光线的一个结构化光图案的平面图。
图5是示出将结构化光图案投射到牙齿上的平面图。
图6A、6B和6C示出使用不同光谱带的光在单色图像传感器阵列上获得的牙齿图像。
图7A是示出在没有纹理映射的情况下呈现的网格的图。
图7B是示出在有纹理映射的情况下呈现的网格的图。
图8A是示出用于形成复合颜色明暗度图像的处理的逻辑流程图。
图8B是示出用于生成和使用网格信息的处理的逻辑流程图。
图8C是示出具有根据本申请的示例性实施方案生成的平面的网格的一部分的透视图。
图8D是示出用于生成全局纹理映射图的处理的逻辑流程图。
图9是示出面的视图分配的图。
图10A是示出顶点投射的图。
图10B是示出在2D处理之后的顶点投射的图。
图11是示出由纹理片段表示的网格的图。
图12A是示出没有颜色混合的纹理化网格的图。
图12B是示出在颜色混合之后的最终纹理化网格的图。
图13是示出全局纹理映射图的二进制图示的图。
示例性实施方案的描述
本申请要求以Yingqian Wu等人的名义、在2015年3月9日临时提交的、题为“ANAPPARATUS AND METHOD OF TEXTURE MAPPING FOR DENTAL 3D SCANNER”的美国临时申请(美国序列号62/130,110)的权益，所述专利申请以引用的方式整体并入本文。
下文是参照附图对本发明的示例性实施方案做出的详细描述，其中在若干图中的每个图中相同的元件符号标识相同的结构元件。
在本公开的情况下，术语“光谱带”或“波长带”指示用于照明和成像的已定义的连续波长范围，并且与术语“颜色”可互换地使用。例如，短语“红色光谱带”用于指示通常在从约620nm连续延伸至约700nm的红色波长范围内的可见光。在成像情况下，当光谱带之间没有视觉上可察觉的串扰时，两个光谱带的光被认为是基本上不重叠的。
在本公开的情况下，术语“颜色分量图像”(等同于单个色平面中的数据)是指使用通过单个光谱带的光捕获的图像所获取的图像数据。因此，例如，常规的全色RGB图像由红色、绿色和蓝色分量形成，其中每个单独的图像被称为颜色分量图像。
如本文所使用的，术语“集合”是指非空集合，因为在初等数学中广泛理解集合的元素或成员的聚集的概念。除非另有明确说明，否则术语“子集”在本文中用于指代具有一个或多个成员的非空真子集，即，指代较大集合的子集。对于集合S，子集可以包括完整的集合S。然而，集合S的“真子集”严格地包含在集合S中并且不包括集合S的至少一个成员。
例如，“有序集合”具有在集合理论中使用的其常规含义，涉及其元素具有非歧义排序的集合，诸如以例如升序排序的自然数的集合。
图1的示意图示出用于牙齿的组合式体积和彩色成像的成像设备70。对于体积成像，相机40根据本申请的示例性实施方案将结构化成像图案46投射到牙齿22的表面20上以获得轮廓图像48。控制逻辑处理器80或其他类型的计算机控制照明阵列10的操作，并且获取从单色成像传感器阵列30获得的数字图像数据。在体积成像期间，照明阵列10将图案化光投射到牙齿的区域54上，所述图案化光通常包括具有多条光线(例如，在线之间具有预定的间距)的结构化图案。从由成像传感器阵列30检测到的图案化光获得来自表面20的图像数据。控制逻辑处理器80处理接收到的图像数据并且将映射存储在存储器72中。然后，任选地在显示器74上显示来自存储器72的重建3D表面图像。存储器72还可以包括显示缓冲器。
图2的示意图在标为B的插图中示出从照明阵列10引导到表面20的区域54上的典型条纹图案46的一部分。所投射的结构化图案可以在每个偏移位置处于相同的功率等级。可选地，可以使用不同的功率等级来投射结构化图案。
根据彩色轮廓成像的一些示例性实施方案，在静止模式下使用相机40，将相机40保持在相同的固定位置，以便获得颜色分量图像来作为用于结构化光图案投射和成像的图像。在其他示例性实施方案中，对于彩色轮廓成像，相机40可以在获得颜色分量图像时移动，且/或可以在用于结构化光图案投射和成像时移动。
照明阵列10一次一个地投射不同颜色分量波长的光(通常为红色(R)、绿色(G)和蓝色(B))，并且在每个波长带中在单色传感器阵列30上捕获单独的图像。然而，可以使用其他颜色分量组合。所捕获的图像也由控制逻辑处理器80(图1)处理和存储。
图3的示意图示出了根据本申请的示例性实施方案的用于获得3D表面轮廓和颜色数据的相机40的内部部件。条纹图案生成器12可被供给能量，以便将来自照明阵列10的结构化光形成为一种类型的结构化照明或条纹图案照明，并且通过任选的偏振器14并通过投射透镜16投射由此形成为朝向牙齿22的入射光的结构化光。可以通过成像光学元件(例如，成像透镜17和任选的分析器28)向传感器阵列30提供从牙齿22反射和散射的光。传感器阵列30沿着检测路径88设置在成像透镜17的图像平面处。相机40中的处理器34从传感器阵列30接受图像内容和其他反馈信息，并且响应于此数据和其他数据，可执行来实现图案生成器12的操作，如随后更详细地描述。
用于条纹投射成像的处理器34的一个功能是递增地偏移条纹位置，并且触发传感器阵列30来获得随后用于计算牙齿表面的三维信息的图像。对于相移条纹投射方法，通常需要至少三个图像以便提供足够的信息用于计算对象的三维信息。在获得仅三个条纹图像的情况下，这三个投射图像中的每一个的条纹的相对位置通常偏移的量是条纹周期的三分之一或其他分数。处理器34可以是计算机、微处理器、或执行编程指令并且与控制逻辑处理器80通信的其他专用逻辑处理设备，所述控制逻辑处理器80提供如先前关于图1所描述的成像系统功能。
图3的口内相机40任选地使用偏振光以用于牙齿22的表面轮廓成像。偏振器14提供来自条纹图案生成器12的条纹图案照明作为线性偏振光。在一个实施方案中，分析器28的透射轴平行于偏振器14的透射轴。通过这种布置，仅向传感器阵列30提供具有与条纹图案相同的偏振的光。在另一个实施方案中，在反射光到传感器阵列30的路径中，可以通过执行器18使分析器28旋转成与偏振器14的偏振透射轴相匹配并且获得来自牙齿表面部分的镜面光的取向、或与偏振器14的偏振透射轴正交的取向，以用于减少镜面内容，从而获得更多的来自牙齿内部的散射光。在本文的某些示例性实施方案中，可以使用偏振光和非偏振光的组合。
图3中还示出了用于提供彩色光以便捕获三个灰度图像(也称为构建全色图像所需的单色明暗度图像)的红色光源32r、绿色光源32g和蓝色光源32b。这些光源中的每一个可以包括单个发光元件(诸如发光二极管(LED))或具有多个发光元件。在所示的实施方案中，来自条纹生成器的结构化图案光和RGB光的照明路径是相同的；朝向传感器阵列30的光的检测路径对于结构化图案和RGB图像内容两者也是相同的。相机40具有焦点或焦平面F。
图4A的示意图通过单条光线L的示例示出了如何使用来自图案生成器12的图案化光来获得表面轮廓信息。当照明阵列10将光图案引导到表面20上，并且在成像传感器阵列30上形成线L′的对应图像时，获得映射。根据表面20的调制，成像传感器阵列30上的投射图案的每个像素38映射到照明阵列10上的对应像素13。如图4A所表示的，像素位置的偏移产生有关表面20的轮廓的有用信息。可以理解，可以使用各种照明源和序列并且使用一种或多种不同类型的传感器阵列30以多种方式实现图4A所示的基本图案。
图4B的平面图示出了具有彼此间隔开的多条光线84的一个结构化光图案56。根据本申请的示例性实施方案，以投射图像序列或系列将图案56引导到牙齿表面，其中线84在投射系列的连续图像中向右、或者可选地向左递增地偏移。
照明阵列10(图3)可以利用用于光调制和光图案化的多种类型的阵列中的任一种，诸如液晶阵列或数字微镜阵列(诸如使用来自Texas Instruments，Dallas，TX的数字光处理器或DLP装置所提供的阵列)。在照明路径中使用这种类型的空间光调制器来改变映射序列所需的光图案。
图5的平面图示出在牙齿表面20上具有投射图案46的典型轮廓图像48。如图5所示，轮廓线在表面的各个部分上可能是不清楚的。为了帮助补偿这个问题并且减少图案检测中的模糊性和不确定性，条纹图案生成器12(图3)通常提供图案化图像序列，其中亮线和暗线如参考图4B所描述的偏移到不同的位置，并且可选地具有不同的线厚度或光线间距离。可以使用各种序列和图案。应当注意，在本公开的范围内，对于提供结构化光图案的有序集合来说，许多变化是可能的。根据示例性实施方案，所投射的有序集合中的结构化的图案化图像的数量超过20个图像，然而，使用超过20个图像或少于20个图像的序列也可以被使用。
为图像内容提供校准，从而调整所获得的图像数据以便为每个图像像素生成准确的颜色。图6A、6B和6C示出了分别使用来自光源32r、32g和32b(图3)的红光、绿光和蓝光在单色传感器阵列30上获得的牙齿的分量灰度或单色图像90r、90g和90b。可以通过组合用于红色、绿色和蓝色照明的校准图像数据内容来形成彩色图像的灰度表示。颜色校准数据(诸如使用线性校准矩阵或其他校准机制)在使用单色传感器来获得颜色数据的情况下可具有特殊的价值，并且有助于补偿传感器阵列对于不同波长的固有响应特性。
已经有许多用于捕获牙齿的3D模型的3D重建设备和方法，其中一些实际上从牙齿表面收集3D几何信息。还公开了许多用于捕获牙齿表面的照片(例如，彩色图像)的设备，其实际上反映针对给定照明源的牙齿表面的光谱性质。本文描述的本申请的方法和/或设备实施方案可以有助于改善用户体验，和/或在组合3D几何信息和彩色图像内容时提供表面细节和/或颜色纹理的增强。
本文的设备和/或方法实施方案可以捕获明暗度图像，和/或执行纹理映射以用于牙齿的3D建模。示例性设备实施方案可以仅使用单色传感器和一个或多个照明源来构成从单色明暗度图像组合而成的颜色明暗度图像。特征点匹配可以对齐所选择/所有的明暗度图像，并且采用纹理映射方法来使显示的3D牙齿模型对观察者来说是生动的和/或有助于辅助诊断和治疗过程。
目前，一些常规的3D牙科扫描仪使用颜色映射方案，这种方案向3D牙齿模型中的每个顶点分配一个颜色值。然而，这种类型的顶点/颜色分配可能是不良的折中，并且经常提供令人失望的颜色近似，从而使得难以观察到更复杂的表面细节信息和颜色纹理。在图7A中示出现有3D牙科扫描仪的结果的示例。与图7A相对照，图7B中示出根据本申请的示例性方法和/或设备实施方案的牙齿上的纹理映射结果的示例。如图7A和图7B所示的，并且当以彩色呈现时特别值得注意的是，本申请的示例性纹理映射方法和/或设备为牙齿结构提供了比顶点映射技术更精确且/或更逼真的表面外观表示。
处理序列概述
根据示例性设备和/或方法实施方案，可以捕获牙齿和周围结构的多个视图。这些视图可以包括用于每个视图的一组结构化光图案，所述结构化光图案是按顺序投射到牙齿表面上的，其中获得对应的条纹图像集。基于投射图案与捕获的条纹图像之间的对应性，执行三角测量以便使用轮廓成像技术领域的技术人员熟悉的技术来生成牙齿的3D点云。针对每个视图，使用具有指定波长或色谱带的LED或其他光源来按有序的序列通过光路照射牙齿。此外，单色传感器按顺序捕获单色分量明暗度图像的集合。从单色图像提取2D特征点。诸如使用所提取的特征点来计算明暗度图像之间的变换，通过所述变换使单色分量明暗度图像彼此对齐。在一个实施方案中，使用预先指定的颜色线性校准矩阵，从组合的、对齐的像素值恢复每个像素的颜色值，所述像素值是从明暗度图像获得的。因此，针对每个视图，也生成颜色明暗度图像。
在网格生成、匹配、合并和3D网格噪声抑制后，可以组合在所有视图中生成的3D点云以生成目标牙齿的最终3D网格表面。这种最终3D网格定义了多个面，每个面由其最近的3D顶点定义，使得每个面是平面的并且具有三角形构造，但是更一般地，每个面是平面的并且具有由三个或更多个边形成的多边形形状。表面的点云可以用于定义三角形网格，且任选地定义具有其他多边形形状的网格。三角形网格是几何学上最原始的网格，并且通常允许最直接地计算多边形形状。多个组合面延伸跨过牙齿和相关结构的表面，并且因此，逐个平面区段地定义表面轮廓。作为这个处理的一部分，确定网格中每个面的可见性，并且使每个面与在所有视图中的面上提供最佳观察的特定视图相匹配。网格中的所有面所匹配的视图的全集用作关键视图帧。术语“关键”涉及使用特定图像视图作为一种类型的“颜色关键”(用于颜色映射的资源)，因为这个术语由彩色成像领域的技术人员使用。如随后更详细地描述的，关键视图是在特定方位下拍摄并用于纹理映射的已存储图像。
使用网格后处理技术，将3D网格中的面分成称为“纹理片段”的组，其中特定纹理片段中的面全部几何地连接到同一片段中的其他面并且被分配给同一关键视图。根据本公开的示例性实施方案，后处理方法可用于增强每个纹理片段之间的边界的平滑度。可以逐个片段地(一次一个)执行这种处理。在处理每个片段时，使用标准投射例程、采用众所周知的用于将3D点映射到2D平面的技术，将定义片段的顶点投射到其视图(例如，其关键视图)上。这种投射也可以使用相机的固有参数，所述参数是作为相机校准的一部分所提取的。
将顶点的投射图像坐标用作其纹理坐标。在一个示例性实施方案中，纹理片段之间的所有边界也被投射到关键视图中的视图上。使用来自每个关键视图的对应颜色数据，可以在投射边界上执行颜色混合方法，以便减少色差和/或校正由于映射引起的在视图之间的任何色差。
根据这种映射和混合处理，对应于每个视图的投射纹理片段的颜色明暗度图像中的区可以被提取并包装成称为“全局纹理映射图”的单个纹理映射图像。在一个示例性实施方案中，可以使用包装策略来使已包装的纹理映射图像更紧凑且/或更有效。也可以调整所有顶点的纹理坐标，使得所述纹理坐标与全局纹理映射图的原点对准。
对于某些示例性实施方案，使用体积图像表示中领域的技术人员所熟悉的技术，可以将具有3D坐标和2D纹理坐标的所有顶点以及全局纹理映射图输出到3D呈现引擎以用于显示。结果也可存储在存储器中或在处理器之间传送。
在下面的示例性步骤中更详细地描述在某些示例性设备和/或方法实施方案中使用的序列。
第1部分.形成颜色明暗度图像
这个程序的这个第一部分获取分量单色图像(例如，使用相机40(图1))，并且可以组合它们来生成用于牙齿的特定视图的复合颜色明暗度图像。
图8A是示出用于形成复合颜色明暗度图像{Is1，Is2，...Isk}的示例性处理的逻辑流程图。可以对从反射成像获得的牙齿的K个视图中的每一个执行这种处理，所述反射成像获得轮廓图像和彩色图像内容两者。复合颜色明暗度图像集生成步骤S100的过程可以从视图集V开始：
V＝{V1，V2，...，Vk}，
每个视图处于不同的视图姿势，其中特定视图的姿势涉及其观看方位；短语“视图姿势”或“视图方位”涉及取向对准和位置特性，诸如对象相对于坐标系(其原点位于相机的焦点处)的滚动、横摆和俯仰的相对量，并且包括诸如视距和相机角度的特性。一种示例性方法然后执行一个序列，所述序列生成K个对应的分量颜色明暗度图像的集合：
{Is1，Is2，...Isk}。
针对每个视图执行的第1部分的子步骤可以如下：
1)在图像获取步骤S 110中，获取分量单色图像Ir、Ig、Ib中的每一个，从而分别使用不同的(例如，红色、绿色和蓝色)颜色照明来捕获它们。
2)在特征点提取步骤S120中，从所捕获的分量单色图像中提取特征点。例如，特征点提取步骤S120可以使用Harris&Stephens拐角检测、或图像特征检测领域的技术人员已知的其他特征检测技术。可以从分量单色图像Ir、Ig、Ib中的每一个提取特征点，以生成三个对应的特征点集：
Fr＝{Pr1，Pr2，...PrN}；
Fg＝{Pg1，Pg2，...，PgM}；以及
Fb＝{Pb1，Pb2，...，PbL}。
3)在匹配步骤S130中，可以使用所选择的搜索和匹配技术来匹配三个特征点集。例如，一种方法采用在分量单色图像Ir、Ig、Ib中每个所提取特征点周围的局部区的归一化互相关来首先使特征点集Fr与集合Fg匹配，并且然后使集合Fr与Fb匹配。根据一个实施方案，可以采用RANSAC(众所周知的随机抽样一致算法)来减少在步骤S130中引入的匹配中的异常值的影响。
4)在变换生成步骤S140中，使用同形估计或其他合适的工具来计算至少两个鲁棒线性变换：用于Ir-Ig映射的Hrb和用于Ir-Ib映射的Hrg。
5)使用来自步骤S140的计算出的变换Hrg和Hrb，在图像扭曲步骤S150中对单色图像Ig和Ib执行图像扭曲。图像扭曲步骤S150可以将分量图像对准，诸如将Ig和Ib对准到Ir。
6)在组合步骤S1 60中，组合Ir与对准的Ig和对准的Ib以便形成复合颜色明暗度图像。
决定步骤S170可以使用复合颜色明暗度图像集生成步骤S100的程序来确定是否已经处理了每个视图。针对每个视图重复处理。
组合一个集合的至少三个单色明暗度图像可以生成复合2D颜色明暗度图像，其中每个2D色彩着色图像具有颜色纹理信息或图像结构信息，包括颜色和附加的外观属性、以及相关联的视图姿势。
第2部分.网格生成和处理
网格处理程序可用于生成网格并且匹配、合并和提供噪声抑制，以便获取最终输出网格Mo。图8B是示出网格生成步骤S200中的用于生成和使用网格信息的示例性处理的逻辑流程图。
在图像获取步骤S210中，获得用于轮廓成像的结构化光图像。点云生成步骤S220然后从结构化光图像生成3D点云。组合网格信息，以便在网格生成步骤S230中生成最终输出网格Mo。图8C示出具有单独的平面Fc的网格M。在所示的示例中，每个面Fc是三角形的。图8C还示出相对于网格M的姿势。
使用三个顶点Vt来定义网格中的每个三角形面(平面)Fc。网格Mo具有总共J个平面Fc和I个顶点Vt：
Fc＝{Fc1，Fc2，...FcJ}
Vt＝{Vt1，Vt2，...VtI}。
针对V＝{V1，V2，...，Vk}中的每个视图，在变换矩阵生成步骤S240中，这种处理也生成其相对于Mo的变换矩阵M：
M＝{M1，M2，...，Mk}
使用来自这个集合的对应变换矩阵，可以将面Fc和顶点Vt中的每一个变换到每个视图V的坐标系中。
图8D是示出示例性全局纹理映射图生成步骤S300中的后续处理的逻辑流程图，所述全局纹理映射图生成步骤S300具有用于形成关键视图帧(第3部分)、面的视图分配(第4部分)、生成全局纹理映射图、轮廓平滑化(第5部分)和纹理片段建立(第6部分)的示例性程序。
第3部分.示例性关键视图帧建立
在处理中的这一点处，可以使用以下示例性序列来识别关键视图帧，所述序列在图8D的逻辑流程图中示出为形成可见视图步骤S310和关键帧建立步骤S320：
1)针对最终输出网格Mo中的每个面Fci，确定面Fci在哪些视图V中是可见的。在形成可见视图步骤S310中，形成Fci的可见视图集VS_i：
VS_i＝{Vn，Vm，...，Vl}。
这个确定可以使用诸如以下的可见性准则：
a)面Fci的法线必须比预定义的阈值Th_n更接近VS_i的观察方向；
b)面Fci必须位于可见视图集VS_i的视野(FOV)中；
c)Fci必须比预定义的阈值Th_f更靠近可见视图集VS_i的焦平面；
然而，可以应用可替代的可见性准则。
2)使用针对Fc的可见视图集VS_i，识别并移除过度重叠的视图。例如，如果两个视图包含过多数量的相同面，那么所述视图中的一个是冗余的并且可以被移除。在示例性关键帧建立步骤S320中，可以使用剩余视图V来将关键视图帧形成为以下集合：
Vk＝{Vk1，Vk2，...Vkp}；
这个集合可以包含彼此略有重叠的视图V Vkn。
3)如果一些视图V只包含某些面，那么可以优选地将这些视图添加到关键视图Vk。
4)修剪Vk集以优选地确保Vk中不存在冗余视图V。例如，检查Vk中的每个视图Vkn。如果在没有特定Vkn的情况下，所有面对于Vk中剩余视图仍然可见，那么删除所述Vkn。
第4部分.面的示例性视图分配
第4部分描述图8D程序的示例性视图分配步骤S330的部分。图9示出从本部分获得的面的所需/所选择视图分配的示例。
1)针对最终输出网格Mo中的每个面Fci，使用以下给出的准则来确定面Fci在哪些视图V中是可见的。这些视图形成Fci的可见视图集VS：
VS_i＝{Vn，Vm，...，Vl}。
用于确定可见性的示例性准则和参数可包括以下各项：
d)法线得分：Fci的法线必须比预定义的阈值Th_n1更接近VS_i的观察方向。
e)FOV：Fci必须位于VS_i的FOV中；
f)焦点得分：Fci必须比预定义的阈值Th_f2更靠近VS_i的焦平面。
可以理解，可以使用可替代的可见性准则。
2)将所有VS_i的法线得分和焦点得分组合为分配得分；
3)选择具有最佳分配得分的一个视图(例如，最佳视图)来作为Fci的分配视图。
例如，视图分配的结果如图9的示例所示。这里，相同颜色(或明暗度、灰度、纹理、标记或图案等)的网格表示分配给相同视图的面。
第5部分.对于最终输出网格Mo中的面的视图分配的示例性轮廓优化
下一个步骤序列在用于面的视图分配的示例性轮廓平滑化步骤S340(图8D)中执行轮廓和边界平滑化。
1)针对关键视图帧中的每个视图Vj，将分配给Vk的面的所有顶点投射到Vj的成像平面Isj上以获取二进制图像Isbj，其中2D投射顶点被标记为真值(亮)，并且背景像素被标记为假值(黑色)，如图10A所示。然后可以对图像Isbj执行数学形态学操作，以获取如图10B所示的二进制图像Imsbj。然后，针对每个顶点，检查Vj的可见性，如第3部分中所进行的。对于Vj可见的所有顶点被投射到图像Imsbj上。针对对于Vj可见的任何顶点Vto，其中所述顶点Vto在图像Imsbj中的投射2D点为真值，顶点Vto被分配给视图Vj。
在某些实施方案中，3D顶点到其对应2D坐标的投射是基于预先估计的固有参数和/或基于第2部分中建立的外部参数。
2)针对每个面Fci，处理可以检查其三个相邻面或邻近面(即，共享与Fci共有的边缘的每个面)的视图分配。如果三个相邻面都被分配给与Fci相同的视图，那么不采取行动。否则，识别位于三个相邻面的大部分中的视图分配Vk，并且将面Fci分配给关键视图帧中的视图Vk。
第6部分.示例性纹理片段建立
这个程序的下一部分作为图8D中的示例性纹理片段建立步骤S350的一部分来建立纹理片段，所述纹理片段将一组面分组到同一关键视图。
1)针对每个视图Vj，将分配给Vj的所有顶点投射到与Vj相关联的成像平面上，以获取如图10A所示的二进制图像Isbj。
2)如图10B所示，对Isbj使用诸如二进制图像扩张和二进制图像侵蚀的处理来获取连接的分量。扩张和侵蚀的参数(包括结构元素的尺寸、阈值以及影响扩张和侵蚀性能的其他参数)可能与第4部分中使用的参数不同。然后，使用图像连接的分量标签来提取图像Isbj中的所有分量。
例如，投射到同一分量中的面和顶点被布置成同一纹理片段。以这种方式，可以建立纹理片段，并且全网格Mo可以对应于纹理片段集Fg＝{Fg1，Fg2，...，Fgw}。图11示出由纹理片段表示的网格元素，其中每个颜色或灰度明暗度指示特定的纹理片段。
在一个实施方案中，每个纹理片段包含面Fci和顶点Vt，所述面Fci和顶点Vt被分配给关键视图帧中的同一视图并且共享颜色明暗度图像中的同一区。投射到视图上的每个顶点Vt的纹理坐标和投射的边界框也包含在纹理片段中。
第7部分.示例性顶点纹理坐标生成
针对集合Fg中的每个纹理片段Fgi，将其面和顶点投射到其所分配的视图上，从而记录投射图像坐标(例如，这与第5部分以类似的方式执行)。
第8部分.用于纹理片段的示例性颜色混合
在一个实施方案中，处理使用以下示例性策略来提取所有纹理片段的边界面：
1)针对所有纹理片段中的每个面Fci，检查其三个相邻面的视图分配，所述三个相邻面与面Fci共享共同的边缘。如果相邻面都被分配给与Fci相同的视图，那么不做任何操作。否则，将面Fci标为或标记为边界面。
2)识别将分配给不同纹理片段的两个面连结起来的边界面中的边缘。这定义了一组边缘：
Eg＝{Eg1，Eg2，...，EgN}。
每个边缘包含两个结束顶点。
3)在边缘两侧处的两个视图中识别顶点坐标UV：
Egk＝{Egidk，Vk1，UV1k1，UV2k1，Vk2，UV1k2，UV2k2}
其中：
Egidk是集合Eg中的边缘的索引；
Vk1和Vk2是通过关键视图帧中的Egk连结起来的两个视图的索引；
UV1k1和UV2k1是Egk的两个结束顶点的纹理坐标。
4)针对每个边缘和每个片段(如当前片段)，执行如下的示例性颜色混合：
4a)获取颜色明暗度图像Isk1中的坐标UV1k1和UV2k1的位置的颜色值C1k1和C2k1，以及颜色明暗度图像Isk2中的UV1k2和UV2k2处的颜色值C1K2和C2k2。假设当前片段被分配给Isk1。
4b)分别利用C1k1和C1k2；以及C2k1和C2k2的加权平均值来设置UV1k1和UV2k1处的目标颜色值。同时，还计算当前色彩值与目标色彩值之间的差异。
4c)针对将纹理坐标UV1k1和UV2k1连结起来的2d线上的所有像素，使用双线性内插以及在4b)中计算出的坐标UV1k1和UV2k1处的色差来计算色差。当前片段的所有投射边缘的线上的像素定义了图像上当前片段的封闭轮廓(被称为边缘轮廓)。像素值用作以下子步骤的边界条件。
4d)基于以上边界条件，可以执行内插以计算由边缘轮廓界定的所有像素的像素值。内插像素值是在边缘轮廓内界定的每个像素的平滑化色差。
4e)针对当前片段内的每个像素，将内插色差应用于颜色明暗度图像Isk1中的像素的原始颜色值，以生成颜色混合版本Isk_adj_1来作为当前片段的最终明暗度图像。颜色混合前后的结果如图12A和图12B的示例所示。
第9部分.在关键视图的混合颜色明暗度图像中的纹理片段区的示例性提取和包 装。
这里给出的程序可以完成图8D过程中的示例性全局纹理映射图建立步骤S360。
对于某些实施方案，可以使用双列表策略来包装所有纹理片段：
1)初始化空白图像来作为全局纹理映射图Itm，其宽度为Wtm并且高度为Htm；
2)根据如第6部分中所记录的纹理片段的边界框的相对尺寸，对所有纹理片段进行排序。
3)针对每个纹理片段，执行以下操作：
如果在Itm中的包括列坐标和行坐标的当前位置处，包含宽度和高度的空间可用于当前纹理片段的边界框，那么将纹理片段的混合颜色明暗度图像中由边界框指定的区复制到全局纹理映射图Itm中的当前位置。在下一个列表中记录复制区的正确列坐标和行坐标。否则，如果空间不可用，那么使用当前列表在当前扫描位置处找到新的行位置以防止重叠。
如果在当前扫描位置处，没有足够的宽度用于当前片段的边界框，那么前往全局纹理映射图Itm中的下一个扫描位置。切换下一个列表和当前列表。确定当前可用的位置。调整所有顶点的纹理坐标以用于对准到全局纹理映射图。
第9部分的示例性结果提供了如图13所示的映射。这个示例示出了全局纹理映射图Itm二进制图像，其示出所有纹理片段的碎片。
使用全局纹理映射图
一旦生成了全局纹理映射图，就可使用全局纹理映射图来帮助加快图像生成的速度，并且为牙齿和相关结构的给定视图提供纹理内容。根据用于在步骤S370(图8D)中显示牙齿图像的所需视图来指定全局纹理映射图。然后，为了用纹理内容填充视图中的每个可见面，全局纹理映射图可以提供对用于所述面的外观的适当关键视图的快速参考。
全局纹理映射图可以被认为是缩放的或缩小尺寸的表示，其将2D纹理明暗度图像的部分示出为与纹理片段相关。纹理映射图用于呈现牙齿的颜色纹理3D表面轮廓图像。
在处理中，全局纹理映射图可以有效地为给定视图中的可见面提供一种类型的二维查找表。以这种方式提供对图像内容的快速参考允许重新创建特定视图以便快速进行，而不需要在改变视角时如其他相关技术的纹理映射方案那样进行相当大量的重新计算。因此，在某些示例性实施方案中，图像的旋转或移动可以表现为实时地执行，而不需要大量的计算资源。
与本申请的所选示例性实施方案一致，计算机执行一个程序，所述程序具有对从电子存储器存取的图像数据执行的所存储指令。如图像处理领域的技术人员可以理解的，本申请的示例性实施方案的计算机程序可以由适合的通用计算机系统(诸如个人计算机或工作站)利用，并且由微处理器或其它专用处理器或可编程逻辑装置利用。然而，可以使用许多其他类型的计算机系统来执行本申请的计算机程序，其包括联网的处理器。用于执行本申请的方法的计算机程序可以存储在计算机可读存储介质中。这种介质可以包括例如：磁性存储介质，诸如磁盘(诸如硬盘驱动器)或磁带或其它便携型磁盘；光学存储介质，诸如光盘、光带或机器可读条形码；固态电子存储装置，诸如随机存取存储器(RAM)或只读存储器(ROM)；或用于存储计算机程序的任何其它物理装置或介质。用于执行本申请的示例性方法实施方案的计算机程序还可以存储在通过因特网或其它通信介质连接到图像处理器的计算机可读存储介质上。本领域的技术人员将容易认识到，这种计算机程序产品的等效物也可构建在硬件中。
将理解的是，本申请的计算机程序产品可以利用熟知的各种图像操作算法和过程。将进一步理解的是，本申请的示例性计算机程序产品实施方案可以体现适用于实施的本文未具体示出或描述的算法和过程。这类算法和过程可以包括在图像处理领域的普通技术内的常规实用程序。这类算法和系统的额外方面以及用于产生并以其他方式处理图像或与本申请的计算机程序产品协同操作的硬件和/或软件，并未在本文中具体示出或描述，并且可选自本领域中已知的这类算法、系统、硬件、部件以及元件。
在本公开的情况下，“记录”图像的动作意味着将图像数据存储在某种类型的存储器电路中以便将此图像数据用于后续处理。一旦不再需要进一步处理，所记录图像数据本身可以被永久地存储或丢弃。
应当注意的是，在本公开的情况下，术语“存储器”等同于“计算机可存取存储器”，可以指用于对图像数据进行存储和操作并且可由计算机系统存取的任何类型的临时或更持久的数据存储工作区。存储器可以是非易失性的，其使用例如长期存储介质，诸如磁性存储体或光学存储体。或者，存储器可以具有更易失的性质，其使用电子电路，诸如被微处理器或其它控制逻辑处理器装置用作临时缓冲器或工作区的随机存取存储器(RAM)。例如，显示数据典型地存储在临时存储缓冲器中，所述临时存储缓冲器与显示装置直接相关联并且根据需要定期刷新以便提供所显示的数据。当这个术语在本公开中使用时，所述临时存储缓冲器还可以被认为是存储器。存储器还用作用于执行和存储计算和其它处理的中间结果和最终结果的数据工作区。计算机可存取存储器可以是易失性的、非易失性的、或易失类型和非易失类型的混合组合。在整个系统内的不同部件上提供不同类型的计算机可存取存储器以用于存储、处理、传送以及显示数据，并且用于其它功能。
在本文件中，使用如专利文件中常见的术语“一个”或“一种”来包括一个或超过一个，而与“至少一个”或“一个或多个”的任何其他实例或用法无关。在本文件中，除非另外指示，否则术语“或”用于指代非排他性的或，以使得“A或B”包括“A但不是B”、“B但不是A”、以及“A和B”。在本文件中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。同样，在以下权利要求书中，术语“包括(including和comprising)”是开放式的，也就是说，包括除了在一项权利要求中列在这种术语之后的元素之外的多个元素的一个系统、装置、物品或过程仍被认为落在那项权利要求的范围内。
在以下权利要求书中，术语“第一”、“第二”、以及“第三”等仅用作标签，并且并不意图对它们的对象强加数值要求。
根据本申请的方法和/或设备实施方案可以在具有单色传感器的口内3D扫描仪中提供全色纹理映射。
虽然使用3D网格的三角形面描述了示例性实施方案，但是其他多边形形状可以用于平面。尽管基于用于形成3D网格的三角测量方法描述了3D IO扫描仪系统的示例性实施方案，但本申请并不意图限于此，例如，可以根据任何常规的3D扫描方法(例如，共焦成像方法或者多视图或立体成像方法)生成3D网格。根据本申请的示例性实施方案可包括本文所述的各种特征(单独地或组合地)。
在一个实施方案中，一种用于在具有单色传感器阵列的口内相机中形成映射到一个或多个牙齿的3D轮廓图像的颜色纹理的方法可包括：根据所记录的图像数据，获得表示一个或多个牙齿的3D表面轮廓图像的3D网格；通过将至少三个不同光谱带的光投射到一个或多个牙齿上来生成具有至少三个单色明暗度图像的多个集合并且将至少三个对应的颜色分量图像数据记录在单色传感器阵列上；组合所选集合的至少三个单色明暗度图像以生成多个对应的2D颜色明暗度图像，其中多个颜色明暗度图像中的每一个具有对一个或多个牙齿的视图；将表示一个或多个牙齿的3D表面轮廓图像的3D网格中的每个多边形表面分配给2D颜色明暗度图像的子集中的一个2D颜色明暗度图像；将分配给同一2D颜色纹理明暗度图像的3D网格多边形表面分组成3D网格片段表面；确定所分配2D颜色纹理明暗度图像中的3D网格片段表面中的每一个的代表性坐标；以及根据所分配2D颜色纹理明暗度图像中的所确定图像坐标，利用来自3D网格片段表面的颜色纹理值呈现3D网格多边形表面，以生成一个或多个牙齿的颜色纹理3D表面轮廓图像。在一个实施方案中，将形成一个或多个牙齿的3D表面轮廓图像的每个3D网格多边形表面分配给所述一个2D颜色纹理明暗度图像可以包括：识别形成一个或多个牙齿的3D表面轮廓图像的3D网格多边形(例如，三角形)表面；通过与3D网格多边形表面中的单个表面进行取向对准来匹配2D颜色纹理明暗度图像的第一子集；以及通过将3D网格多边形表面中的剩余表面分组到匹配的3D网格多边形表面中的单个表面来确定3D网格片段表面。在一个实施方案中，确定每个3D网格片段表面的代表性坐标可以包括：将3D网格片段表面坐标投射到所分配2D颜色纹理明暗度图像中。
虽然已关于一个或多个实施方式来示出本发明，但是在不背离随附权利要求书的精神和范围的情况下，可对所示出的示例进行变更和/或修改。另外，虽然可能已经关于几个实施方式中的一个来公开本发明的特定特征，但这种特征可与其他实施方式的一个或多个其他特征相组合，这对于任何给定的或具体的功能来说可能是所需的且有利的。术语“......中的至少一个”用来意指可选择所列举项目中的一个或多个。术语“大约”指示所列举的值可略作变更，只要所述变更不会导致过程或结构不符合所示出的实施方案。最后，“示例性”指示描述是用作示例，而不是暗示它是理想的。
在考虑本发明的说明书和实践的情况下，本发明的其他实施方案对于本领域技术人员将是显而易见的。旨在将说明书和实施例视为仅示例性的，其中本发明的真实范围和精神由以下权利要求书指示，并且在其等效物的含义和范围内的所有变化意图包含在其中。

Claims (20)

1.一种用于在具有单色传感器阵列的口内相机中将颜色纹理映射到一个或多个牙齿的3D轮廓图像的方法，其包括：
根据所记录的来自所述一个或多个牙齿的多个视图的图像数据，获得表示所述一个或多个牙齿的3D表面轮廓图像的3D网格，所述3D网格定义多个多边形表面，其中针对所述多个视图中的每一个，记录图像数据包括通过将至少三个不同光谱带的光投射到所述一个或多个牙齿上来生成多个具有至少三个单色明暗度图像的集合并且将所述对应图像数据记录在所述单色传感器阵列上；
组合多个集合中的每个集合的所述至少三个单色明暗度图像以生成多个2D颜色明暗度图像，其中所述多个2D颜色明暗度图像中的每一个对应于所述多个视图中的一个；
将表示所述一个或多个牙齿的所述3D表面轮廓图像的所述3D网格所定义的所述多个多边形表面中的每个多边形表面分配给所述多个视图中的一个视图；
将分配给同一视图的所述多边形表面分为一组，成为多个纹理片段中的一个纹理片段；
根据每个纹理片段对应的所述多边形表面的顶点到与所述纹理片段相关联的所述视图上的投射，确定所述顶点的图像坐标；以及
根据所确定图像坐标，利用对应于每个纹理片段的所述2D颜色明暗度图像中的纹理值呈现所述3D网格，以生成所述一个或多个牙齿的颜色纹理3D表面轮廓图像。
2.根据权利要求1所述的方法，其中将表示所述一个或多个牙齿的所述3D表面轮廓图像的所述3D网格所定义的所述多个多边形表面中的每个多边形表面分配给所述多个视图中的所述一个视图包括：
识别形成所述一个或多个牙齿的所述3D表面轮廓图像的所述3D网格所定义的所述多个多边形表面；以及
使每个所述多边形表面与具有最接近的取向对准的视图相匹配。
3.根据权利要求1所述的方法，其还包括存储、传送或显示所述一个或多个牙齿的所生成颜色纹理3D表面轮廓图像。
4.根据权利要求1所述的方法，其还包括：
基于对应于所述多个纹理片段中的每个纹理片段的所述2D颜色明暗度图像中的图像区域来生成全局纹理映射图；以及
存储、传送或显示以下各项中的任一项：
(i)表示所述一个或多个牙齿的所述3D表面轮廓图像的所述3D网格，
(ii)与每个所述纹理片段对应的所述多边形表面的顶点相关联的所述图像坐标，以及
(iii)所述全局纹理映射图。
5.根据权利要求4所述的方法，其中所述全局纹理映射图是与所述纹理片段相关的所述2D纹理明暗度图像的部分的缩小尺寸表示，并且用于呈现所述一个或多个牙齿的所述颜色纹理3D表面轮廓图像。
6.根据权利要求1所述的方法，其还包括：根据纹理值使相邻纹理片段表面之间的边界平滑。
7.根据权利要求1所述的方法，其中组合每个集合的所述至少三个单色明暗度图像包括：
使具有所述至少三个单色明暗度图像的所述每个集合中的单独图像彼此对齐；以及
组合每个集合中的来自具有已对齐的所述至少三个单色明暗度图像的数据，以生成具有所述一个或多个牙齿的单个视图的一个2D颜色明暗度图像。
8.根据权利要求7所述的方法，其中使所述至少三个单色明暗度图像彼此对齐包括对所述至少三个单色明暗度图像进行的2D特征提取以及其间的变换。
9.根据权利要求1所述的方法，其中获得表示所述一个或多个牙齿的所述3D表面轮廓图像的所述3D网格包括：
根据所记录的来自投射到所述一个或多个牙齿上的结构化图案的图像数据来生成所述3D网格。
10.根据权利要求9所述的方法，其中所述生成表面轮廓图像包括：针对多个结构化图案中的每一个，将所述结构化图案投射到所述一个或多个牙齿上并且将来自所述结构化图案的图像数据记录到单色传感器阵列上，其中所述投射所述结构化图案是在所述口内相机移动或静止时执行的，其中所述多个结构化图案包括具有多条光线的图案的偏移版本，其中投射所述结构化图案包括为数字微镜阵列供给能量或为液晶装置供给能量。
11.根据权利要求1所述的方法，其中生成至少三个单色明暗度图像包括：
将第一光谱带的光投射到所述一个或多个牙齿上并且将第一颜色分量图像数据记录在所述单色传感器阵列上；
将第二光谱带的光投射到所述一个或多个牙齿上并且将第二颜色分量图像数据记录在所述单色传感器阵列上；以及
将第三光谱带的光投射到所述一个或多个牙齿上并且将第三颜色分量图像数据记录在所述单色传感器阵列上，
其中所述投射所述光谱带的光并且记录颜色分量图像数据是在所述口内相机移动或静止时执行的。
12.根据权利要求11所述的方法，其中所述组合每个集合的所述至少三个单色明暗度图像包括组合每个图像像素的所记录的第一颜色分量图像数据、第二颜色分量图像数据和第三颜色分量图像数据与颜色校准数据，以生成所述像素的一组颜色值，其中所述颜色校准数据是规定的颜色线性校准矩阵。
13.根据权利要求12所述的方法，其还包括：以第一功率等级投射结构化图案并且以不同于所述第一功率等级的第二功率等级投射至少一个光谱带的光，其中所述结构化图案用于生成所述3D网格。
14.根据权利要求13所述的方法，其中投射所述结构化图案包括将所述第一光谱带的偏振光投射到所述一个或多个牙齿上，或其中将所述第一光谱带的光投射到所述一个或多个牙齿上并且记录第一颜色分量图像数据包括投射非偏振光。
15.根据权利要求1所述的方法，其中呈现包括显示所述一个或多个牙齿的所生成颜色纹理3D表面轮廓图像的至少一部分。
16.根据权利要求1所述的方法，其还包括：混合对应于每个纹理片段的所述2D颜色明暗度图像中的色彩值。
17.根据权利要求16所述的方法，其还包括：计算沿每个纹理片段的所有边缘的色差并将根据所述色差改变的像素值作为边界条件，并根据所述边界条件来计算每个纹理片段内的所有像素的内插色差，并且将所述内插色差应用于每个纹理片段内的像素以作为所述2D颜色明暗度图像的混合版本。
18.一种用于呈现牙齿的3D表面轮廓彩色图像的方法，所述方法至少部分地在计算机系统上执行并且包括：
根据所记录的来自所述牙齿的多个视图的图像数据，获得将所述牙齿的3D表面轮廓图像表示为多个多边形面的3D网格；
识别轮廓图像视图姿势，以用于使用所述3D网格来呈现所述3D表面轮廓图像；
获得具有多个2D颜色明暗度图像的一个集合，其中每个2D颜色明暗度图像具有对应的2D视图姿势，并且通过组合具有第一光谱带的照明的第一单色图像、具有第二光谱带的照明的第二单色图像以及具有第三光谱带的照明的第三单色图像来形成；
其中所述集合中的每个2D颜色明暗度图像的所述第一单色图像、所述第二单色图像和所述第三单色图像是在同一对应2D视图姿势下获取的，并且是在单色传感器阵列上获取的，并且是在所述第一光谱带、所述第二光谱带和所述第三光谱带基本上不重叠时获取的；以及
根据以下关联来呈现所述3D表面轮廓彩色图像，所述关联使所述轮廓图像视图姿势下的所述3D网格的所述多边形面中的每一个与所述2D颜色明暗度图像集合中的一个图像相关。
19.根据权利要求18所述的方法，其中呈现所述3D表面轮廓图像还包括：针对所述3D网格的每个多边形面，将所述2D颜色明暗度图像的一部分映射到对应的所述多边形面，所述对应的多边形面是通过将定义所述3D网格中的所述多边形面的特征点映射到所述相关联2D颜色明暗度图像中的对应像素来定义的。
20.根据权利要求18所述的方法，其中所述3D网格的相邻的第一多边形面和第二多边形面分别与所述2D颜色明暗度图像集合中的两个不同成员相关联。
CN201580074592.4A 2015-03-09 2015-09-11 用于牙科3d扫描仪的纹理映射的设备和方法 Active CN107257992B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562130110P 2015-03-09 2015-03-09
US62/130110 2015-03-09
PCT/US2015/049627 WO2016144382A1 (en) 2015-03-09 2015-09-11 Apparatus and method of texture mapping for dental 3d scanner

Publications (2)

Publication Number Publication Date
CN107257992A CN107257992A (zh) 2017-10-17
CN107257992B true CN107257992B (zh) 2021-02-02

Family

ID=54207756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580074592.4A Active CN107257992B (zh) 2015-03-09 2015-09-11 用于牙科3d扫描仪的纹理映射的设备和方法

Country Status (6)

Country Link
US (1) US10347031B2 (zh)
EP (1) EP3268935A1 (zh)
JP (1) JP2018514237A (zh)
KR (1) KR102508717B1 (zh)
CN (1) CN107257992B (zh)
WO (1) WO2016144382A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
WO2018175486A1 (en) * 2017-03-20 2018-09-27 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
US11648095B2 (en) 2017-08-10 2023-05-16 D4D Technologies, Llc Intra-oral scanning device
JP2020537550A (ja) * 2017-08-17 2020-12-24 トロフィー 口腔内表面走査用のステンシル
US10728445B2 (en) * 2017-10-05 2020-07-28 Hand Held Products Inc. Methods for constructing a color composite image
CN108261171B (zh) * 2017-10-30 2019-09-20 先临三维科技股份有限公司 口内三维扫描装置和方法
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11918439B2 (en) * 2018-02-12 2024-03-05 Medit Corp. Projected texture pattern for intra-oral 3D imaging
CN108478188B (zh) * 2018-02-12 2021-08-20 苏州佳世达电通有限公司 以结构光进行扫描的立体物件扫描装置
US11083552B2 (en) * 2018-02-20 2021-08-10 Ivoclar Vivadent Ag Rendering of dental models
EP3629337A1 (en) * 2018-09-28 2020-04-01 Ivoclar Vivadent AG Rendering of dental models
US10803675B2 (en) * 2018-02-20 2020-10-13 Ivoclar Vivadent Ag Dental model attributes transfer
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
CN108629826A (zh) * 2018-05-15 2018-10-09 天津流形科技有限责任公司 一种纹理映射方法、装置、计算机设备及介质
US11624655B2 (en) * 2018-05-18 2023-04-11 Dental Imaging Technologies Corporation Dental 3D scanner with angular-based shade matching
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
US10753734B2 (en) 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
US11553988B2 (en) 2018-06-29 2023-01-17 Align Technology, Inc. Photo of a patient with new simulated smile in an orthodontic treatment review software
WO2020037582A1 (en) * 2018-08-23 2020-02-27 Carestream Dental Technology Shanghai Co., Ltd. Graph-based key frame selection for 3-d scanning
KR20200084698A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 3차원 데이터를 압축하는 방법 및 장치 및 3차원 데이터를 재구성하는 방법 및 장치
KR20220005428A (ko) * 2019-02-05 2022-01-13 아르텍 유럽, 에스.에이.알.엘. 이동식 스캐너를 사용한 텍스처 모델 생성
KR102284623B1 (ko) * 2019-04-11 2021-08-02 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
EP3954297A4 (en) 2019-04-11 2023-04-12 DIO Corporation METHOD AND DEVICE FOR DETECTING DENTAL OBJECTS AND METHOD AND DEVICE FOR IMAGE COMPLIANCE WITH A DENTAL OBJECT
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11563929B2 (en) * 2019-06-24 2023-01-24 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
CN111189417B (zh) * 2020-01-15 2020-11-27 浙江大学 基于高频图案干涉的二进制光栅图像投影反光抑制方法
KR102352985B1 (ko) * 2020-07-07 2022-01-20 한국과학기술원 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치
DE112021004183T5 (de) 2020-08-05 2023-06-29 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Tiefen- und konturerfassung für anatomische ziele
US11741748B2 (en) 2020-10-14 2023-08-29 Shenzhen GOODIX Technology Co., Ltd. Passive image depth sensing for object verification based on chromatic differentiation
CN113223176B (zh) * 2021-05-12 2022-09-20 武汉中仪物联技术股份有限公司 多维度管道特征参数的获取方法和装置
US11191620B1 (en) * 2021-06-03 2021-12-07 Oxilio Ltd Systems and methods for generating an augmented 3D digital model of an anatomical structure of a subject
BR112023027068A2 (pt) * 2021-06-22 2024-03-12 Straumann Inst Ag Construção de modelos 3d texturados de estruturas dentárias
EP4202823A1 (en) * 2021-12-21 2023-06-28 Koninklijke Philips N.V. System and method for digital reconstruction structures of an object
KR102461343B1 (ko) * 2022-02-24 2022-10-31 서울대학교산학협력단 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203888A (zh) * 2005-10-07 2008-06-18 科乐美数码娱乐株式会社 图像处理装置、图像处理方法及信息存储介质
EP2407762A1 (en) * 2010-07-13 2012-01-18 Carestream Health, Inc. Dental shade mapping
CN103917160A (zh) * 2011-11-10 2014-07-09 卡尔斯特里姆保健公司 使用光学多线方法的3d口内测量
EP2786722A1 (en) * 2013-03-08 2014-10-08 Carestream Health, Inc. Color 3-D image capture with monochrome image sensor
WO2015006518A1 (en) * 2013-07-12 2015-01-15 Carestream Health, Inc. Video-based auto-capture for dental surface imaging apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19524855A1 (de) 1995-07-07 1997-01-09 Siemens Ag Verfahren und Vorrichtung zur rechnergestützten Restauration von Zähnen
DE602005004332T2 (de) 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
JP4464773B2 (ja) * 2004-09-03 2010-05-19 日本放送協会 ３次元モデル表示装置及び３次元モデル表示プログラム
JP4282587B2 (ja) * 2004-11-16 2009-06-24 株式会社東芝 テクスチャ・マッピング装置
CN103228228B (zh) * 2010-07-12 2016-04-13 3形状股份有限公司 使用纹理特征的3d对象建模
US9224238B2 (en) * 2013-12-06 2015-12-29 Google Inc. Seamless texturing of 3D meshes of objects from multiple views

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203888A (zh) * 2005-10-07 2008-06-18 科乐美数码娱乐株式会社 图像处理装置、图像处理方法及信息存储介质
EP2407762A1 (en) * 2010-07-13 2012-01-18 Carestream Health, Inc. Dental shade mapping
CN102327156A (zh) * 2010-07-13 2012-01-25 卡尔斯特里姆保健公司 牙齿色度映射
CN103917160A (zh) * 2011-11-10 2014-07-09 卡尔斯特里姆保健公司 使用光学多线方法的3d口内测量
EP2786722A1 (en) * 2013-03-08 2014-10-08 Carestream Health, Inc. Color 3-D image capture with monochrome image sensor
WO2015006518A1 (en) * 2013-07-12 2015-01-15 Carestream Health, Inc. Video-based auto-capture for dental surface imaging apparatus

Also Published As

Publication number Publication date
WO2016144382A1 (en) 2016-09-15
EP3268935A1 (en) 2018-01-17
KR102508717B1 (ko) 2023-03-09
US10347031B2 (en) 2019-07-09
JP2018514237A (ja) 2018-06-07
CN107257992A (zh) 2017-10-17
US20180025529A1 (en) 2018-01-25
KR20170126860A (ko) 2017-11-20

Similar Documents

Publication Publication Date Title
CN107257992B (zh) 用于牙科3d扫描仪的纹理映射的设备和方法
US9363501B2 (en) Combining depth-maps from different acquisition methods
JP4335588B2 (ja) ３ｄオブジェクトをモデル化する方法
US8532355B2 (en) Lighting compensated dynamic texture mapping of 3-D models
JP3962588B2 (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
US8432435B2 (en) Ray image modeling for fast catadioptric light field rendering
Lindner et al. Data-fusion of PMD-based distance-information and high-resolution RGB-images
CN102402799B (zh) 用于被测量的三维目标场景的目标分类
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20150302648A1 (en) Systems and methods for mapping an environment using structured light
US20090238449A1 (en) Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
RU2754721C2 (ru) Устройство и способ для генерирования изображения интенсивности светового излучения
Andrade et al. Digital preservation of Brazilian indigenous artworks: Generating high quality textures for 3D models
EP3195253B1 (en) 3- d intraoral measurements using optical multiline method
WO2020037582A1 (en) Graph-based key frame selection for 3-d scanning
CA3223424A1 (en) Constructing textured 3d models of dental structures
Soh et al. Texture mapping of 3D human face for virtual reality environments
Sitnik et al. Processing paths from integrating multimodal 3D measurement of shape, color and BRDF
Bode et al. Real-time multi-material reflectance reconstruction for large-scale scenes under uncontrolled illumination from rgb-d image sequences
Malesevic et al. Application of polynomial texture mapping in process of digitalization of cultural heritage
US20230138291A1 (en) Storage, rendering, and display of information of meshes through tessellation with serialized values
Heng et al. Keyframe-based texture mapping for rgbd human reconstruction
Ali et al. Teeth Model Reconstruction Based on Multiple View Image Capture
Killpack Visualization of three-dimensional models from multiple texel images created from fused ladar/digital imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191231

Address after: England Atsushi

Applicant after: CARESTREAM HEALTH, Inc.

Address before: New York State, USA

Applicant before: CARESTREAM HEALTH, Inc.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220728

Address after: State of Georgia, US

Patentee after: Ruike dental Co.,Ltd.

Address before: London

Patentee before: CARESTREAM HEALTH, Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220922

Address after: Pennsylvania, America

Patentee after: IMAGING SCIENCES INTERNATIONAL LLC

Address before: State of Georgia, US

Patentee before: Ruike dental Co.,Ltd.