CN103392191B - 混合拼接 - Google Patents

混合拼接 Download PDF

Info

Publication number
CN103392191B
CN103392191B CN201280009912.4A CN201280009912A CN103392191B CN 103392191 B CN103392191 B CN 103392191B CN 201280009912 A CN201280009912 A CN 201280009912A CN 103392191 B CN103392191 B CN 103392191B
Authority
CN
China
Prior art keywords
camera
data
dimensional
splicing
threedimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280009912.4A
Other languages
English (en)
Other versions
CN103392191A (zh
Inventor
I·A·克里维什科
B·弗朗茨戴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midmark Corp
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN103392191A publication Critical patent/CN103392191A/zh
Application granted granted Critical
Publication of CN103392191B publication Critical patent/CN103392191B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

在其中三维数据被采集作为沿着相机路径的数据帧序列的系统或方法中，不同序列通过多个几何拼接彼此相关，所述多个几何拼接是通过直接对准不同序列中的帧之间的三维数据来获得的。然后，使用这些几何拼接作为其它相机路径关系的补充或替代，用于形成组合模型的单个虚拟拼接图，可以对组合模型执行一体化的全局路径优化。

Description

混合拼接
技术领域
本发明总体上涉及三维成像并且更具体地讲涉及用于组合公共三维表面的不同扫描的技术。
背景技术
在一种用于三维图像重建的技术中，用沿着对象表面上方的路径行进的相机采集对象的多个图像或图像集合。然后，可以由对相机路径的描述和沿着相机路径采集的各个三维测量来获得对象的三维模型。在某些应用中，得自对象表面的数据在多个、不同的数据集中是可用的，比如，在扫描在完成之前被中断的情况下或者在执行额外的扫描来增强初始扫描的情况下。所得的多个模型可以被相互对准以获得组合模型。虽然传统的对准技术可以将两个这种所得的模型之间的对准误差最小化，但这种方法没有提供根据组合数据来精修各个模型的机会。
仍然需要改进的技术来组合不同的三维数据集，特别是基于三维扫描器的姿态路径的不同数据集。
发明内容
在其中三维数据被采集作为沿着相机路径的数据帧序列的系统或方法中，不同序列通过多个几何拼接彼此相关，所述多个几何拼接是通过直接对准不同序列中的帧之间的三维数据来获得的。然后，使用这些几何拼接作为其它相机路径关系的补充或替代，用于形成组合模型的单个虚拟拼接图，可以对组合模型执行一体的全局路径优化。
附图说明
参考下面的图，可理解本发明和下面本发明的某些实施方式的详细说明。
图1示出三维扫描系统。
图2示出用于三维扫描器的光学系统的示意图。
图3示出由视频扫描器获得三维数据的处理管道。
图4A和图4B示出针对三维扫描器的相机路径。
图5示出其中由软件工具请求额外数据的用户界面图像。
图6A和图6B示出相机路径中的累积误差。
图7是包括为提高精度而进行的全局路径优化的三维重建过程的流程图。
图8是使用数值优化的牙科对象重建过程的流程图。
图9是用于组合公共表面的不同三维扫描的混合拼接过程的流程图。
图10是用于产生虚拟拼接图的过程的流程图。
具体实施方式
在下文中，对单数形式的项的引用应该被理解为包括复数形式的项并且反之亦然，除非以其它方式清楚地陈述或者从上下文来看是清楚的。语法上的连词旨在表达并列从句、句子、词等的任何和全部转折和连接的组合，除非以其它方式陈述或者从上下文来看是清楚的。
在本文所述的系统和方法中，采用用于全局运动优化的多个技术来提高基于相机路径的三维重建的精度。
下面的说明详述了特定扫描技术并且重点放在三维成像的牙科应用；然而，应当理解，下面的方法和系统的变型、改型和组合对于本领域的普通技术人员将是显而易见的。例如，虽然描述的是基于图像的系统，但是使用图案化投影的不基于图像的扫描技术如红外飞行时间技术或结构化光技术可以类似地采用基于相机路径的重建，所述重建可能受益于本文描述的改进点。作为另一个例子，虽然数字化牙科是一种由本文所述的技术导致的具有改进精度的可用应用，但全局路径优化还可以有效地用于精修针对机器视觉应用或针对绘图应用的三维动画模型或三维扫描。所有这些变型、改型以及组合旨在落入本公开的范围内。
在下面的说明中，术语“图像”通常是指在图像平面内形成对象的二维视图的二维像素集合。术语“图像集”通常是指可分解成三维数据的相关二维图像集。术语“点云”通常是指形成由多个二维图像重新构建的对象的三维视图的三维点的集合。在三维图像采集系统中，多个这样的点云另外可以被对准并且组合成由移动摄像机采集到的图像构造的聚集点云。因此，应当理解，除非另一个含义被具体说明或从上下文来看是清楚的，否则像素通常是指二维数据，并且点通常是指三维数据。
本文使用的术语“三维模型”、“三维表面表示”、“数字表面表示”、“三维表面地图”等旨在指对象的任意三维表面地图，如表面数据的点云、二维多边形集合、或表示对象的所有或一些表面的任意其它数据，这可通过三维扫描数据的采集和/或处理来获得，除非明确地提供不同的含义或者以其它方式从上下文来看是清楚的。除非其明确表达不同含义或者可从上下文中清楚其意，“三维表示”可包括上述所述的任何三维表面表示，以及体积和其它表示法。
通常，术语“渲染”是指例如用于监视器上显示的三维对象的二维可视化。然而，应当理解，存在多种三维渲染技术，并且这些技术可以有效地用于本文所公开的系统和方法。例如，本文所述的系统和方法可以有效地采用全息显示、自动立体显示、补色立体显示、头戴式立体显示、或任何其它的二维显示和/或三维显示。由此，本文所述的“渲染”应该以广义的方式解释，除非明确提供较狭义的含义或以其它方式从上下文来看是清楚的。
如本文所用，术语“牙科对象”旨在广义地指与牙科有关的目标物。这可以包括口内结构体，如齿列，更通常是人类的齿列，如单颗牙齿、四分象限、全牙弓、成对的牙弓(可以是单独或闭合的多种类型)、软组织、等等，以及骨头和任何其它的支承或环绕结构体。如本文所用，术语“口内结构”指的是如上所述口内的天然结构和例如下面描述的可存在于口内的任何牙科对象的人工结构。牙科对象可以包括“修复件”，其通常可以被理解为包括修复现有齿列的结构或功能的组件(例如牙冠、牙桥、镶面、嵌体、高嵌体、汞合金、复合材料)、和多种结构体(例如顶盖等)、以及在制造永久修复件时所使用的暂时修复件。牙科对象也可以包括用可移除结构或永久结构(例如整副假牙、部分假牙、植入物、固位假牙、等等)替代齿列的“假体”。牙科对象也可以包括用于校正、对准、或以其它方式暂时或永久地调整齿列的“器具”，例如可移动正畸器具、手术支架、磨牙器具、阻鼾器、间接支架安置器具、等等。牙科对象也可以包括长时间固定到齿列的“硬件”，例如种植体定位器、种植体基牙、正畸托架和其它正畸组件。牙科对象也可以包括牙科制造中的“临时组件”，例如牙科模具(全部和/或部分的)、蜡形、包埋料模、等等，以及托盘、基座、模具、和修复件、假牙等制造中采用的其它组件。牙科对象另外可以被归类为天然牙科对象，例如牙齿、骨头、和上述其它口内结构体或人工牙科对象，例如修复件、假牙、器具、硬件、和上述牙科制造中的临时组件。
除非其明确表达不同含义或者可从上下文中清楚其意，术语例如“数字牙科模型”、“数字牙科印模”等旨在代表牙科对象的三维表示，这些牙科对象的三维表示可用于采集、分析、临床和制造等各方面。术语例如“牙科模型”或“牙科印模”旨在表示物理模型，例如浇注、印刷或者说是加工的牙科对象的物理模型。除非指明，当单独使用时，术语“模型”可以代表物理模型或数字模型的一者或两者。
还应当理解，例如“工具”或“控件”的术语当用于描述用户界面的方面时通常旨在是指：在图形用户界面或其它用户界面内可以采用多种技术来接收用户输入，该用户输入激发或控制处理，包括(但不限于)下拉列表、单选按钮、光标和/或鼠标操作(点选、区域选、拖放操作、等等)、复选框、命令行、文本输入字段、消息和警告、进度条等。工具或控件还可以包括任何与用户输入有关的实体硬件，如鼠标、键盘、显示器、小键盘、轨迹球和/或任何其它从用户接收物理输入并且将物理输入转换成用于计算机化系统的输入的装置。因此，在下面的描述中，除非更具体的含义被以其它方式明确规定或从上下文来看是清楚的，否则术语“工具”、“控件”等等应当被广义地理解。
图1示出可用于本文所述的系统和方法的三维扫描系统。通常，系统100可包括扫描器102，扫描器从对象104(如，牙科患者)的表面106采集图像，并将图像发送到计算机108，计算机108可包括显示器110和一个或多个用户输入装置112、114，如鼠标112或键盘114。扫描器102还可包括集成的输入或输出装置116，如控制输入器(例如，按钮、触摸板、指轮等)或显示器(例如，LCD或LED显示器)，用于提供状态信息。
扫描器102可包括适用于采集图像的任何相机或相机系统，可从所述图像中恢复三维点云或者其它三维数据。例如，扫描器102可以采用Rohály等人的美国专利No.7,372,642中公开的多孔系统。虽然Rohály公开了一种多孔系统，但应当理解，可以类似地采用适用于由多个二维图像重建三维点云的任何多孔系统。在一个多孔实施例中，扫描器102可以包括多个孔(包括沿着透镜的中心光学轴线设置的中心孔)，其与任何相关的成像硬件一道提供用于扫描器102的中心通道。在这类实施例中，中心通道可以提供经扫描目标物的传统视频图像，而多个轴向偏离通道产生包含视差信息的图像集，所述图像集可用于表面的三维重建。在其它实施例中，可以提供单独的摄像机和/或通道，以优选地从同一角度或者从与扫描器102的角度具有固定已知关系的角度来实现同一结果，也就是说，与对象的三维扫描在时间上对应的对象的视频。扫描器102还可以或者替代地包括立体的、三维的或其它多相机或其它构造，在所述其它构造中，将多个相机或光路彼此固定地保持，以从多个不同的角度获得对象的二维图像。扫描器102可包括用于从一个图像集或多个图像集衍生出三维点云的合适处理，或可将每个二维图像集传输到外部处理器，例如包含在下面所述的计算机108中的处理器。在其它实施例中，扫描器102可采用结构化的灯、激光扫描、直接测距或适用于采集三维数据或可转换为三维数据的二维数据的任何其它技术。虽然下述技术可以有效地采用通过基于视频的三维扫描系统采集的视频数据，但是应当理解，采集与三维数据采集同时期出现、或以其它方式同步出现的合适视频数据的视频采集系统可以补充任何其它三维扫描系统。
在一个实施例中，扫描器102是手持的、能自由定位的探针，具有至少一个用户输入装置116(如，按钮、控制杆、仪表盘、指轮、开关等)，用于用户控制图像采集系统100，如开始扫描以及停止扫描。在一个实施例中，扫描器102可成形并定制尺寸以适于牙科扫描。更具体地讲，扫描器的形状和尺寸可以适于口内扫描和数据采集，例如通过将扫描器插入到成像受试者的口腔并在口内表面106上通过合适的一段距离，以从牙齿、牙龈等中获得表面数据。通过这样连续的数据采集过程，扫描器102可以直接地或通过多种中间处理步骤，采集表面数据的点云，该点云对于由此制备例如假体、硬件、器具、等等的牙科对象具有足够的空间分辨率和精确度。在其它实施例中，可从例如假牙的牙科模型中获得表面数据，以确保使用对应牙列(例如用来制备假牙的牙齿表面)的先前扫描数据来正确贴合。
尽管未在图1中示出，但应当理解在成像采集过程中可有效采用多个辅助照明系统。例如，可以用照明对象104的一个或多个聚光灯来增强环境照明，以加快图像采集并且改进景深(或空间分辨率的深度)。扫描器102也可以或替代地包括频闪观测器、闪光灯或其它光源，以在图像采集期间补充对对象104的照明。
对象104可以是任何对象、对象集合、对象的一部分或其它目标物。更具体地讲，关于本文所讨论的牙科技术，对象104可以包括从牙科病人口的口内采集到的人类齿列。扫描可以根据扫描的特定目的采集齿列中的一部分或全部的三维表示。因此扫描可采集以下对象的数字模型：牙齿、牙齿四分象限、或包括两个相对牙弓的完整牙齿集合、以及软组织或任何其它相关的口内结构。扫描可以采集多个表示，例如在制备修复件之前或制备修复件之后的牙齿表面。如以下将说明的，可以采用此数据以用于随后的建模，例如设计修复件或确定修复件的边缘线以保持一致。在扫描期间，扫描器102的中心通道或者单独的视频系统可以从扫描器102的视点采集齿列的视频。在例如已完成的制品实际上是测试对预备表面贴合性的其它实施例中，扫描可包括假牙例如镶嵌物、牙冠、或任何其它假牙、牙科硬件、牙科器具等。对象104还可以或替代地包括牙科模型，例如石膏注体、蜡牙、印模或一个或多个牙齿、软组织的负像印模(negative impression)，或这些的某种组合。
计算机108可包括例如个人计算机或其它处理装置。在一个实施例中，计算机108包括带有双核2.8GHz Opteron中央处理器，2G随机存取存储器，TYAN Thunder K8WE主板和250G、10,000rpm硬盘的个人计算机。在一个当前实施例中，系统可进行操作，以使用本文所述的技术对每个图像实时采集五千点以上，并且存储几白万个点的集合点云。当然，还可以(例如)通过抽取点云数据或产生对应的表面数据网格，对这种点云进行进一步处理，以使其适应随后的数据处理。如本文所用，术语“实时”一般是指在处理和显示之间没有可观察到的延迟。在基于视频的扫描系统中，实时更具体地讲是指在视频数据帧之间的时间内处理，视频数据帧可根据具体视频技术在约15帧/秒和约30帧/秒之间变化。更一般地说，计算机108的处理能力可以根据对象104的尺寸、图像采集的速度、和所需的三维点的空间分辨率而有所不同。计算机108还可以包括用于与相机系统100进行用户交互的外围设备，如键盘114、显示器110和鼠标112。显示器110可以是能够通过与显示器110进行直接的物理交互而接收用户输入的触摸屏显示器。在另一个方面，显示器可以包括能够显示立体图像的自动立体显示器。
计算机108与扫描器102之间的通信可以使用任何合适的通信链路，包括(例如)有线连接或基于(例如)IEEE 802.11的无线连接(也被称为无线以太网)、蓝牙(BlueTooth)、或任何其它合适的使用(例如)射频、红外或其它无线通信介质的无线标准。在医疗成像或其它敏感性应用中，可固定从扫描器102到计算机108的无线图像传输。计算机108可向扫描器102生成控制信号，除了图像采集指令外，控制信号可包括传统的相机控制，例如调节焦距或缩放。
在三维图像采集系统100的一般操作实例中，扫描器102可在帧频率下采集二维图像组，同时扫描器102通过受试者的表面上方。可将二维图像组发送到计算机108，用于衍生三维点云。对于每个新采集的二维图像组可衍生出三维数据，并可使用多种不同技术，将三维数据贴合到或“拼接”到现有的三维数据。这种系统采用相机运动估计，以防需要对扫描器102的位置进行独立追踪。这种技术的一个可用例子在2005年11月9日提交的共有的美国专利申请No.11/270,135中有所描述。然而，应当理解，该实例不是限制性的，并且本文所述的原理可应用到宽范围的三维图像采集系统。
显示器110可包括适于以对应于采集的数据的细节层次的视频或其它频率渲染的任何显示器。合适的显示器包括阴极射线管显示器、液晶显示器、发光二极管显示器等。通常，显示器110可以可操作地连接到计算机108并且能够从计算机108接收显示信号。这个显示器可以包括CRT或平板监视器、三维显示器(如，补色立体显示器)、自动立体三维显示器或任何其它合适的二维或三维渲染硬件。在一些实施例中，显示器可包括触摸屏界面，使用例如电容、电阻或表面声波(还称为色散信号)触摸屏技术、或任何其它合适的技术用于感测与显示器110的物理交互。
系统100可以包括计算机可用介质或计算机可读介质。计算机可用介质118可以包括一个或多个存储器芯片(或包括存储器的其它芯片，如处理器)、光盘、磁盘或其它磁性介质等等。计算机可用介质118可以在各种实施例中包括可移除存储器(如，USB装置、磁带驱动器、外置硬盘驱动器等等)、远程存储器(如，网络附属存储器)、易失性或非易失性计算机存储器等等。计算机可用介质118可以包含计算机可读指令，由计算机108执行这些计算机可读指令来执行本文所述的处理，如参照图3详细描述的处理。计算机可用介质118还可以或者替代地存储从扫描器102接收的数据，存储对象104的三维模型，存储用于渲染和显示的计算机代码等等。
图2示出可用于本文所述的系统和方法的三维扫描器(如，用于以上参照图1描述的扫描器102)的光学系统200。
光学系统200可以包括主光学设施202，该主光学设施202可以用于任何种类的图像处理系统。通常，主光学设施在本文中指的是具有一个光学通道的光学系统。通常，这个光学通道共用至少一个透镜，并且具有光学系统内的共用图像平面，尽管在下面的说明中，它的变型可以被清楚地描述或者以其它方式从上下文来看是清楚的。光学系统200可以包括单个主透镜、透镜组、物镜、反射镜系统(包括传统的反射镜、数字反射镜系统、数字光处理器等)、共焦反射镜和适用于本文所述系统的任何其它光学设施。光学系统200可以(例如)用于立体或其它多图像相机系统。其它光学设施可以包括全息光学元件等。在各种构造中，主光学设施202可以包括一个或多个透镜，如，物镜(或透镜组)202b、场镜202d、中继透镜202f等等。物镜202b可以位于光学系统200的入瞳202a处或在其附近。场镜202d可以位于光学系统200的第一图像平面202c处或在其附近。中继透镜202f可以中继光学系统200内的光线束。光学系统200还可以包括组件如具有一个或多个孔212的孔元件208、具有一个或多个重聚焦元件204的重聚焦设施210、一个或多个采样设施218和/或多个传感器214a、214b、214c。
光学系统200可以被设计用于波前采样，这应该被理解为涵盖用于使用用于检测运动的光学数据，使用用于速度测量学或对象追踪的光学数据等，对来自对象220或多个对象的一系列光学数据或光学数据集合(包括用于帮助检测对象220的二维或三维特性的光学数据)进行采样的任何技术。在美国专利No.7,372,642中提供了可以被用作图2的光学系统200的光学系统的其他细节。更一般地说，应当理解，虽然图2示出光学系统200的一个实施例，但各种变型是可能的。与以下讨论有关的光学系统的一个突出特征是使用中心光学通道，该中心光学通道与用于采集三维测量的各种偏离数据(例如，214a和214c处)同时发生地在传感器214b之一处采集传统的视频或静止图像。这个中心通道图像可以呈现在用户界面中，以允许如下所述在用户会话期间由用户进行检测、标记和其它操纵。
图3示出采用高速管道和高精度管道的三维重建系统300。通常，高速处理管道330目的在于，例如以相关显示器使用的视频帧频实时地提供三维数据，而高精度处理管道350目的在于，由扫描器测量提供最高精度可能性，经受由系统硬件而强加的任何外部计算或时间约束或结果的预期使用。数据源310如上述的扫描器102向系统300提供图像数据等。数据源310可以例如包括硬件如LED环形灯、磁卡片信息传感器(wand sensor)、抓帧器、计算机、操作系统和任何其它合适的获得用于三维重建的数据的硬件和/或软件。来自数据源310的图像如包含传统视频图像的中心通道图像和包含用于恢复深度信息的视差数据的侧通道可以被传递到实时处理控制器316。实时处理控制器316还可以将相机控制信息或其它反馈提供到数据源310，以在后续的数据采集过程中使用或者用于指定实时处理控制器316所需的数据源310中已包含的数据。全分辨率图像和相关的图像数据可以被保留在全分辨率图像存储件322中。所存储的图像可以例如在处理期间被提供到高精度处理控制器324，或者在后续处理步骤期间由个人用户保留用于回看图像。
实时处理控制器316可以实时将图像或帧提供到高速(视频速率)处理管道330，以由二维源数据重建三维表面。在示例性实施例中，来自图像集的二维图像如侧通道图像可以被二维图像对准模块332对准。基于二维图像对准的结果，三维点云生成模块334可以产生三维点云或其它三维表示。来自各个图像集的三维点云可以由三维拼接模块336组合。最终，被拼接的测量可以由三维模型创建模块338组合成一体化的三维模型。所得的模型可以被存储作为高速三维模型340。
高精度处理控制器324可以将图像或帧提供到高精度处理管道350。单独的图像集可以具有由二维图像对准模块352执行的二维图像对准。基于二维图像对准的结果，可以由三维点云生成模块354生成三维点云或其它三维表示。可以使用三维拼接模块356连接得自各个图像集的三维点云。为了降低所得三维模型358中的误差，可以由全局运动优化模块357执行全局运动优化，全局运动优化在本文中还被称为全局路径优化或全局相机路径优化。通常，相机在其获得图像帧时的路径可以被计算为三维重建过程的部分。在后处理精修工序中，可以优化相机路径的计算--也就是说，可以用全局路径信息的一部分或全部通过互补帧-帧运动估计将沿着相机路径长度的误差累积最小化。基于全局信息，如图像存储件322中数据的各个帧、高速三维模型340和高精度处理管道350中的中间结果，高精度模型370可以经过处理以降低相机路径中的误差和重建模型中所得的人工痕迹。作为其它精修，网格可以由网格投影模块360投影到高速模型上。所得的图像可以由卷曲模块362卷曲或变形。比如，通过降低运动估计中的初始误差，可以利用卷曲图像来减缓图像之间的对准和拼接。卷曲图像可以被提供到二维图像对准模块352。可以重复将高精度三维模型370反馈到管道，直到获得某个尺度，如，拼接精度或最小误差阈值。
以下更详细地描述图3的系统300的各个方面。应当理解，这个图中示出的各种处理模块或这些模块暗示的步骤本质是示例性的，并且在不脱离本发明范围的情况下，可以修改、省略、重复、重排或补充处理的次序或处理序列的步骤。
图4A示出供成像的对象410连同在获得对象410的表面的三维扫描同时相机可遵循的路径415。总体上用箭头416指示路径415的方向。对象410可以是上牙科印模(如所示的)或者被寻求三维表面数据的任何其它对象。相机从起始点420开始，相机可以遵循弧430到达第二点422。相机随后可以遵循区段432到达第三点424。相机随后可以遵循第二弧434到达第四点426。相机随后可以遵循第二区段436，以大致返回到起始点420。应该指出的是，相机遵循的路径415可以是不规则的而不是平滑的，并且虽然示出了特定的路径415，但更一般地说，相机可以采取任何路径，包括自身对折、与相同区域交叉两次或更多次和/或完全跳过对象410的各个表面的路径。还应该指出的是，相机路径415可以有效地返回到起始点420，但是对于本文所述的三维重建这并不是严格要求的。在相机遍历这种牙科对象410周围的路径时，相机可以拍摄数百或数千张图像或更多图像。
图4B示出其中可能有效地采集额外扫描数据来提高三维重建精度的位置。例如，可以扫描(例如，相机路径可以遍历)弧440、442、444和446，从而获得相机路径的各个长度之间的横向连接。可以(例如)从可以提高三维重建的计算精度的任何区域有效地采集数据，所述任何区域比如是其中表面的两个测量(例如，图像集或图像数据)之间的相机路径的长度显著大于用于相机路径的世界坐标系中的两个对应表面位置之间的距离。应当理解，这可以是欧几里得距离(Euclidean distance)或任何合适的距离代理。例如，在欧几里得空间(Euclidean space)中的两个相机姿态之间，可以依据相机路径区段的数量或者从关键帧到关键帧的相机路径区段的数量，测量相机路径的长度。作为另一个例子，这可以包括其中重建的三维模型的总体区域的单独三维测量没有彼此对准的区域，或者可能存在全局相机路径中的累积误差的其它标记。
图5示出用户界面，该用户界面示出对额外扫描数据的图形请求。在相机遵循以上示出的路径415之后，可以利用软件工具识别其中可能有效地采集额外数据来降低全局相机路径中的累积误差的各种位置，如，使用(例如)上述技术中的任一种代表相对于彼此在相机路径中的累积误差的候选物的图像数据的两个帧。监视器510可以显示图像520如被扫描目标物的三维重建，并且可以在监视器510上显示箭头530来指示推荐进行额外扫描的地方。随后，用户可以继续使用扫描器，如图1中的扫描器102，用于扫描箭头530所指示的区域。更一般地说，可以在图形用户界面中为用户标识用于进行额外扫描的区域，该图形用户界面显示得自相机路径的重建三维模型连同示出所推荐的扫描路径的箭头或其它标识符或图形注解。在用户用额外扫描增强相机路径之后，可以采用所得数据来解决全局相机路径中的差异(也就是说，误差)，如在本发明中总体描述的。
图6A示出世界坐标系中的简单相机路径。在固定坐标系(如，任意选择的世界坐标系)中，相机开始于起始点610并且遵循如箭头625所指示的逆时针方向上的路径620，从而返回到与起始点610一致的终点。
图6B示出相机坐标系中的简单相机路径。当相机遍历世界坐标系中的路径620时，在计算出的相机路径635中可能累积误差，使得在相机坐标系中所测得的终点640的位置看上去远离所测得的起始点630，即便在世界坐标系中这些点是相同的。在一个方面，可以采用一个或多个横向连接如以上参照图4描述的横向连接来减轻计算出的相机路径635中的累积误差。
图7是包括为了提高精度而进行全局路径优化的三维重建过程的流程图。
过程700可以开始于如步骤710中所示的预处理。应当理解，如本文所述的预处理预先假定图像数据的多个帧的可用性，可以从所述图像数据重建相机路径和三维模型。可以用许多方式生成用于三维重建的信息，包括源自结构化光投影、基于阴影的三维重建或视差数据的方式。可以通过传统图像加上一个或多个其它通道或侧通道来产生视差数据。预处理可以包括确定可用帧的数量、拍摄所有帧的持续时间、相邻帧之间的重叠量、图像模糊或极其失真的帧的识别和消除、和任何其它合适的预处理步骤。可以初始地在预处理步骤期间确定对所需关键帧的数量的估计。
如步骤712中所示，可以在沿着相机路径，从扫描器采集的数据的所有帧之中选择关键帧。通常，可以通过存储某个数据并且仅仅参照关键帧执行某些计算和处理步骤来降低计算成本。原则上，这些关键帧应该按以下方式彼此相关：通常通过重叠各个关键帧中的三维数据的对准而允许相机路径的表征。在用于选择数据帧的子集作为关键帧的领域中，各种方法是已知的，包括基于图像重叠、相机路径距离、居间非关键帧的数量等等的技术。例如，可以基于从刚刚前一关键帧开始的持续时间选择关键帧。还可以或者替代地基于与前一关键帧的图像重叠量和/或后一关键帧(如果可用)的候选物来选择关键帧。重叠过小使得难以进行帧与帧的对准。重叠过大迫使要分析更大数量的关键帧并因此分析更大量的数据。可以基于空间位移来选择关键帧，这意味着，可以对一个关键帧与下一个关键帧的重叠量设置上限。还可以基于顺序位移来选择关键帧。这种类型的顺序位移可能意味着，例如，确定每第十帧是关键帧。在一个方面，可以在基于任何数量的合适标准采集数据时选择关键帧。在另一个方面，可以通过检验所有可能的候选关键帧，在事后确定关键帧对。可以检验所有可能的关键帧对并且例如可以在不足以重叠来形成拼接的地方去除候选物。进一步更一般地说，为了降低计算复杂度，可以有效地采用适用于选择数据集中的帧子集的任何技术来选择供处理的关键帧。
一旦已选择关键帧，就可以执行额外处理。例如，可以存储每个关键帧的全图像数据(例如，全分辨率中心和侧通道图像)，连同图像签名数据、点云质心计算和任何其它用于支持在如本文所述的三维重建过程中使用关键帧的测得的或计算出的数据。
如步骤714中所示，可以标识候选拼接。通常，拼接是得自两个不同相机位置的两个单独三维测量之间的关系。一旦建立拼接，可以针对两个不同相机位置之间的相机路径确定旋转和平移。以互补方式，得自两个不同相机位置的三维测量可以被组合成三维模型的一部分。可以在每个关键帧周围，如从关键帧到关键帧和相邻关键帧之间的数据帧的一部分或全部，分析候选拼接。拼接可以是基于初始成像的帧。为了提高每次拼接计算的精度和/或速度，还可以有效地在拼接过程中的对准和其它步骤期间将二维图像变形或卷曲。拼接还可以或者替代地基于其它观察到的源数据中的核线关系。
如步骤716中所示，可以针对得自候选拼接整体的完整相机路径来选择拼接。可以基于(例如)三维模型的所得部分中的计算出的最低误差，进行对拼接的选择。
如步骤718中所示，可以使用关键帧和相关拼接来执行图形分析，以计算用于获得三维模型的相机的全局路径。图形分析可以将每个关键帧视为节点或顶点并且将每个拼接视为一对节点之间的边缘。选择关键帧作为起始点。可以通过图形执行宽度或深度优先搜索，以标识可以将当前关键帧连接另一个关键帧的拼接。随着图形前进，标记每个关键帧。可以执行检查，看是否在图形内是否已经到达所有关键帧。如果在图形分析中通过遍历拼接还没有到达所有关键帧，则标识最大的子图。可以检验这个子图，看是否可以将整个三维图像建模。
可能不要求特定子图来完成三维成像。如果相机在对象表面的特定区域上方徘徊，或者如果相机在区域上多次做环形运动，则可能不需要相关的子图(一个或多个)。如果标识了单独子图(完成三维成像所需的)，则可以执行返回到步骤712的可选支路。例如，可能已选择没有从一个关键帧到下一个关键帧的足够拼接的一组关键帧。通过选择不同组的关键帧，可以获得足够拼接，以获得三维成像的全部所需方面的完整图形。太过稀少(意味着，有助于构建图形的拼接不够)的关键帧可以指示应该选择不同组的关键帧。基于图形分析，可以选择全局路径，然后可以分析图形以优化路径计算。
如步骤720中所示，可以执行数值优化，以基于完整相机路径的可用数据(如，例如，将在时间上远离的测量相关联的横向连接)来降低计算出的相机路径中的误差。通常，数值优化的目的在于，基于针对相机路径和/或重建三维模型的误差函数，将计算出的误差最小化。以下呈现了全局相机路径的误差最小化问题的有效构想。
可能存在被引用于世界坐标系的候选相机位置和方位的集合。相机位置和方位可以被统称为相机姿态。可能存在测得的帧-帧相机运动的集合。相机的平移和旋转可以被统称为相机运动。测得的相机运动可以被引用到一个相机姿态的坐标系中。三个关键帧的示例性集合可得自三个相机位置A、B和C，这三个位置中的每个可以被引用到三维空间中的世界坐标系的原点O。除了这些点的位置之外，这些点中的每个处的相机可以具有不同的方位。位置和方位的组合通常被称为相机姿态。这些点中的每个之间是运动参数，包括平移(位置变化)和旋转(方位变化)。点X(在世界坐标系中被表示为XO)和在A坐标系中表示的同一点XA之间的关系可以用等式(1)给出：
(1) XA＝ROAXO+TOA
ROA是取从世界坐标系到A坐标系的点的旋转度。TOA是如在A坐标系中表示的世界坐标系的平移。应当理解，符号X和T可以表示矢量而非标量，例如，其中X包括x、y和z坐标值。另外，应当理解，符号R可以表示矩阵。等式(2)和(3)可以分别类似地表示世界坐标系与B坐标系和C坐标系之间的变换：
(2) XB＝ROBXO+TOB
(3) XC＝RPCXO+TOC
通过重新整理，可以如等式(4)中所示地表示等式(1)和等式(2)：
( 4 ) - - - X O = R O A - 1 ( X A - T O A ) = R O B - 1 ( X B - T O B )
一个相机的坐标系中的点的表示可以与另一个坐标系中的同一点相关。例如，如等式1-3中一样，点X的坐标可以如下地被从A坐标系变换到B坐标系：
(5) XB＝RABXA+TAB
旋转RAB将点从A坐标系旋转到B坐标系并且TAB是A坐标系的原点在B坐标系中的位置平移。
在优化过程中，可以基于测得的相机姿态之间的变换，优化每个相机的姿态。也就是说，例如，可以执行多个相机-世界或世界-相机旋转和平移ROn和TOn。应当理解，世界坐标系是任意的，并且这些变换中的一个可以便利地是平移为零的同一性旋转，或者恒定的运动传递可以应用于所有的相机姿态，而没有改变基础优化。
可以针对许多对相机测量旋转和平移。对于第i个这种测得的帧-帧运动，让成对相机中的一个成为相机A并且让另一个成为相机B。这还可以被视为将A和B的相机姿态相关联的第i个拼接。让作为取A坐标系到B坐标系的点的测得的旋转并且让成为B坐标系中表达的A位置的坐标，如等式(5)中一样。
可以优化所有相机的旋转和平移ROn和TOn。应当理解，虽然这些表达式和下面的讨论是依据从各个相机坐标系到单个世界坐标系的旋转和平移预测的，但这个特征并不旨在限制本发明的大部分。可以使用这些变换的逆变换、或者任何其它变换或能够描述多个姿态下的相机路径的变换(通常，尽管不一定是刚性变换)的集合，执行类似或互补的分析。可以相对于世界坐标系将从一个姿态A到另一个姿态B的相机运动的限制(针对第i个拼接或关系)表达为旋转和及平移和还通过可以被如下表达为旋转和平移的从A到B的相机路径进一步限制这种关系：
( 6 ) - - - R C , A B i = R C , O B i ( R C , O A i ) - 1
( 7 ) - - - R C , A B i = T C , O B i - R C , A B i T C , O A i
注意的是，通过足够的拼接，这些关系可以形成运动限制公式的超定系统。通过使用这些公式作为起始点，可以基于测得的拼接，对每个相机姿态的旋转和平移分量执行数值优化。
在解耦优化过程中，可以独立地优化旋转分量和平移分量。在对不依赖于另一个分量的一个分量(例如，旋转)存在限制的情况下，通常可以使用这种方法。给定相机旋转的候选集合可以计算与测得的相机-相机旋转中的每个对应的对应候选相机-相机旋转对应的残余旋转(应该在无误差相机路径中是一致的)用给出。可以计算出取决于候选相机旋转：
其中
的纯量值旋转成本函数er。在等式(8)中，logSO(3)(R)返回轴线角矢量v，该矢量对应于旋转R。换句话讲，logSO(3)(R)返回矢量v，该矢量具有叉积矩阵[v]×，该叉积矩阵是R的矩阵对数。
接着，可以针对取决于候选旋转和候选平移的平移，计算类似的纯量值成本函数。
其中 r t i = T C , A B i - T A B i
在一个用于求解公式的这些联立系统的解耦方法中，旋转误差函数可以被转换成四元数表达式，以将数值问题转化成公式的线性系统来求解，如例如在Combining two-view constraints for motion estimation(结合两视图的限制进行运动估计)(GovinduV.,国际计算机视觉与模式识别研讨会(Proc.of Int.Conf.on Computer Vision andPattern Recognition)，第2卷，第218225页(2001年7月))中描述的。虽然这种方法在数值上可能是方便的，但它没有实施单位范数约束来进行四元数求解，这会导致不精确。因此，在一个方面，可以通过将用于旋转的公式(8)最小化为非线性优化并且将用于平移的等式(9)最小化为线性优化来提高路径优化技术。在另一个方面，可以使用公式的在计算上更有效的线性系统来生成初始估计，以进行使用非线性优化的迭代优化。
更一般地说，从最大似然方面来说，上述的解耦方法可能没有提供真实最佳的结果，其中在确定旋转的过程中它不可以使用来自拼接的平移部分的信息。但是，这个技术领域中的大量工作的目的在于，克服解耦优化的缺点，如例如在A solution for theregistration of multiple 3D point sets using unit quaternions(使用单位四元数对多个3D点集进行对准求解)(Benjemaa R.和F.Shmitt，ECCV’98研讨会，第3450页(1998年6月))；Global registration of multiple 3D point sets via optimization-on-a-manifold(通过流形上的优化进行多个3D点集的全局对准)(Krishnan S.、Lee P.Y.、MooreJ.B.、Venkatasubramanian S.，欧洲制图协会几何专题研讨(EurographicsSymp.Geometry Process ing)(2005))；和Simultaneous registration of multiplecorresponding point sets(多个对应点集的同时对准)(Williams J.、Bennamoun M.，Computer Vision and Image Understanding(《计算机视觉与图像理解》)，第81卷第1期第117-142页(2001))中描述的。
在本文所公开的一个方面，可以替代地使用用于优化的耦合方法将相机路径中的整体误差最小化。为了实现耦合优化，可以使用权重来平衡旋转分量和平移分量对组合成本函数的作用。
可以使用多种方法为平移和旋转的相对作用赋予权重。在一个实施例中，权重可以被表达为矩阵，其中基于多个因素中的任一个，不同拼接接收不同权重。例如，权重可以是基于拼接(例如，共用内容)中点的数量、特定三维测量的质量、和/或任何其它影响拼接已知可靠性的因素。在一种方法中，权重矩阵还可以说明所收集的各个点中的各向异性误差，比如由于从视差测量采集深度信息导致的误差，这导致测量精度随着与相机的距离而有所不同。
在一些情况下，公式(10)可以被重新表示，使得针对每个拼接解耦旋转和平移权重(也就是说，是块对角)。具体地讲，这可能出现在用各向同性点误差从三维点对应恢复运动拼接的情况下。在这种情况下，对于给定拼接i，在姿态A和B之间，最佳求解可能使从姿态A看到的点云与从姿态B看到的点云对应。如果和分别是A和B坐标系中的点云的中心位置，则在公式(10)中被基于候选相机姿态的点云中心之间的残余位移取代。后面的这个残余位移可以被表达为：
( 11 ) - - - r t , c t r i = X ‾ B i - ( R C , A B i , X ‾ A i + T C , A B i )
公式(10)接着可以被重新表示为：
通常，通过最小化公式(10)，可以同时将旋转误差和平移误差都最小化。例如，根据Leo Dorst的“First Order Error Propagat ion of the Procrustes Method for 3DAttitude Estimation”(用于3D姿态估计的Procrustes方法的一阶误差传播)((IEEETransactions on Pattern Analysis and Machine Intelligence(IEEE模式分析与机器智能汇刊)，第27卷第2期第221-229页(2005年2月))。一旦已生成更一致的运动参数集合，就可以更新三维模型。
当总误差或某部分误差已被最小化时，可以评价所得值。可以基于最小化的误差值，评价扫描器和相关设备的校正状态。如果最小化的误差超出某一阈值，则可以推荐进行扫描器和相关硬件的校正。可以基于特定扫描器硬件设备按经验确定阈值或者针对给定系统可以随时间推移凭经验得知阈值。当系统是新的或者已刚被对齐时，可以获得所期望的最小化误差值。当最小化的误差值偏离所期望的这些值时，可以设置校正状态评价标志，用于指示工具应该被校正。因此，在一个方面，可以采用耦合(或未耦合)的误差函数来验证校正并且判定何时重新校正装置是合适的。
如步骤722中所示，可以执行上采样，用来自非关键帧的数据增强三维模型。通常，上采样可以包括为结果添加数据的任何技术。例如，虽然上述全局优化通常是指在邻接的相机路径中在关键帧之间进行的优化，但通过以产生小的局部重建补丁的方式将非关键帧对准到一个或多个附近的关键帧，可以补充所得的最佳三维模型，这些补丁包括可得自非关键帧的额外三维细节。或者，可以通过根据针对关键帧的全局优化路径，校正针对非关键帧的对应相机路径来执行上采样。因此，在一个方面，更一般地说，上采样可以被理解为任意使用优化数据将相关的非优化数据合并到相机路径或三维模型中。
图8示出使用如上所述的数值优化进行的重建过程800。在一个方面，这种优化技术可以被有效地应用于将相机路径中的误差最小化，其中，非顺序相机姿态之间的空间连接(或用于恢复三维表面数据的对应数据集)可以被标识。例如，在扫描路径覆盖咬合面或舌面所遵循的颊面的情况下，在与每个表面相关的非邻接相机路径区段之间，可能标识许多空间连接。在这些状况下，全局优化可以通过将相机路径的运动估计参数中的误差最小化，显著地提高三维重建的精度。应当理解，所公开的方法还可以或者替代地用计算机程序、计算机程序产品或实施以上中的任一个的设备实现。
如步骤802中所示，过程可以开始于采集数据集，如沿着相机路径从一系列姿态中的每个姿态用手持扫描器得自牙科对象表面的数据集，从而获得多个数据集。手持扫描器可以(例如)是上述基于视频的扫描器。手持扫描器可以替代地包括适用于口内牙科扫描的任何其它类型的手持扫描器，如，飞行时间扫描器、结构化光扫描器等等。数据集可以是针对用于恢复三维数据的每个相机姿态而采集的任何对应数据。
应当理解，在这个上下文中，相机路径可以对应于描述扫描期间由扫描器实际获得的路径的物理相机路径，或者相机路径还可以或者替代地包括由多个不同的物理相机路径形成的虚拟相机路径或彼此相交的其它虚拟相机路径。在全局坐标系中来自两个或更多个物理路径的姿态可以相互关联的任何地方，可以产生这样的虚拟相机路径，如(例如)通过三维对准同一物理目标物的两个不同扫描来建立的。例如，在由两个或更多个不连续扫描过程期间采集的数据产生大扫描如全牙弓扫描的情况下，使用虚拟相机路径可能是尤其有效的。在这些状况下，可以使用虚拟相机路径的全局优化来提高全局坐标系中的组合数据的一致性。
如步骤804中所示，姿态序列中的姿态中的每个姿态可以通过空间连接(如运动估计参数或其它相机路径信息)与前一姿态和下一姿态相关。还应当理解，虽然系统可以从每个相机位置和方位的所得三维测量推导出相机路径，但相机路径还可以或者替代地基于(例如)加速计、地理定位系统、外部位置传感器、关节臂中的转导物或适用于以用于预期三维重建的足够精度检测相机位置和/或方位的传感器和技术的任何其它组合，使用基于硬件的定位系统来获得。
这个空间连接数据以采集数据的次序反映物理相机路径，从而获得在数据采集过程期间表征相机路径的多个空间连接。姿态序列可以例如由如以上总体描述的关键帧(或连续关键帧对)组成的，其中，从每个连续关键帧对之间的一个或多个额外姿态采集额外数据集。例如，可以有效地采用关键帧降低路径优化的计算复杂度，同时保持连续姿态的邻接相机路径。在完成路径优化之后，可以基于来自关键帧之间的一个或多个额外数据集和一个或多个额外姿态，增加额外三维数据。如上所述，可以使用用于评价所得三维重建的质量、所估计的姿态间的运动参数的质量、被扫描目标物的重叠程度、图形分析的度量或任何其它可用技术或度量，从更大的姿态集合中选择关键帧。
如步骤806中所示，可以基于姿态中的两个非连续姿态中的每个的数据集，标识姿态中的两个非连续姿态之间的至少一个非连续空间连接。因此，例如，基于相机位置、从各个数据集恢复的三维数据或扫描过程期间采集的任何其它数据，来自颊面和舌面扫描区段的两个数据集可以彼此相关。在一个方面，可以采用度量来标识非连续空间连接的候选物，如，两个数据集之间的空间距离与居间相机路径的长度之比。因此，非连续空间连接(一个或多个)可以将姿态序列中的两个姿态相关联，这两个姿态沿着相机路径比沿着牙科对象表面分离明显更大的距离。这可以是基于姿态中的两个非连续姿态中的每个的数据集，如，通过使用相机姿态来判定表面位置或者通过标识使用两个非连续姿态的数据集获得的重建三维数据的重叠。这还可以包括在用户界面中显示一个或多个候选连接的区域并且接收该区域的补充扫描，如以上(例如)参照图5描述的。
如步骤808中所示，可以对相机路径执行全局运动优化，以将多个空间连接和至少一个非连续空间连接之中的误差最小化，从而获得优化的相机路径。这可以采用(例如)上述优化技术中的任一种。更一般地说，这可以包括用于将运动估计参数中的误差最小化的任何技术，所述运动估计参数被表示为旋转、平移、耦合旋转和平移及解耦旋转和平移中的一个或多个的函数，和/或可以包括用于将由数据集重建的三维数据在全局坐标系中对准或者提高全局坐标系中沿着相机路径的姿态序列的一致性的任何技术。
如步骤810中所示，可以基于优化的相机路径和多个数据集，使用已知技术重建牙科对象的三维模型。
因此，通过观察口内牙科扫描典型的实际相机路径，申请人已经料想到当相机路径用于三维重建时进行误差最小化的改进技术。更具体地讲，通过观察到口内扫描常常采用多个相邻的、相对笔直的全局路径如用于舌面、咬合面和颊面的路径(如，由触及齿列相对大表面的相对受限口部通路所部分决定的)，并且通过观察到口内扫描常规地返回到之前的扫描位置，申请人已料想到利用某些非连续数据帧之间的空间关系的优化技术。上述方法通过使用误差最小化技术解决了局部测量的数据冲突问题，所述误差最小化技术全局寻找相机路径，包括非连续数据帧的相互关系。这(例如)对于覆盖牙龈、软组织、全牙弓、牙齿矫正分量等的扫描(其中，扫描大面积通常必须多次经过被扫描表面的各个区域)是特别有效的。
图9是用于组合公共表面的不同三维扫描的混合拼接过程的流程图。在使用相机路径进行重建的扫描技术中，对象的全扫描数据可以包括用空间上没有彼此相关的相机路径(或更一般地说，拼接图形)的任何数量的不同扫描。下面的过程900提供了通过一系列局部基于几何形状的对准来创建这类拼接图形之间的空间关系的技术。所得的组合模型随后可以经受上述优化技术中的任一种，好像已由单个连续扫描获得该模型一样。
如步骤902中所示，过程900可以开始于获得包括第一多个数据帧的第一三维模型，每个帧包括通过第一相机路径在空间上彼此相关的三维点集。应当理解，“相机路径”通常是指通过多个变换(从一个姿态变换到下一个姿态)连接的顺序的系列姿态。然而，更一般地说，模型的相机路径可以包括可以由其它空间信息(如，附随的三维点集中的对象表面的重叠区域)推导出的非顺序姿态之间的任何数量的相互关系或“拼接”。在上述说明中，术语如相机路径和拼接图形应该被广义地理解为包括任何刚性变换和/或其它描述数据，所述描述数据以允许基于路径对三维表面进行重建的方式表征相机运动(及其可靠性)。步骤902还可以包括获得包括第二多个数据帧的第二三维模型，每个帧包括通过第二相机路径在空间上彼此相关的三维点集。例如，要么由用户要么响应于如上预料的来自扫描系统的激励，在自动地或手动地中断第一扫描之后，或者在完成第一扫描并且需要或期望额外数据之后，获得第二模型。更一般地说，第二三维模型可以是通过单个扫描或相机路径与第一三维模型在空间上没有彼此直接相关的任何不同数据集。
如步骤904中所示，第一多个三维点集中的一个可以与第二多个三维点集中的一个对准。这个对准可以使用迭代最近点算法、基于图像的对准或任何用于进行点和/或表面的三维对准的合适技术。在一个方面，可以获得用于对准过程中的表面网格。因此，可以用网格生成算法产生第一和第二多个三维点集的表面网格，以获得每个模型(或其部分)的多边形表面表示。这可以通常包括生成整个第一模型和第二模型的表面网格、或第一数据集和第二数据集的已知重叠表面、或环绕已知公共表面的相邻物、或整个第一模型和第二模型中的每个。然后，可以使用任何合适技术将所得的第一表面网格和第二表面网格彼此对准，从而导致第一模型和第二模型之间(或得自第一模型的第一表面网格和得自第二模型的第二表面网格之间)的已知刚性变换。由于这种空间关系，导致第一三维模型和第二三维模型可以被设置在共用坐标系中，该共用坐标系允许使用来自这两个模型的数据作为组合表面进行后续处理。
如步骤906中所示，过程900可以包括使用数据集之间的虚拟拼接，产生在空间上将第一多个集和第二多个集中的各个集相关联的虚拟拼接图形，从而获得包括通过虚拟拼接图形都在空间上相关的第一多个集和第二多个集的组合模型。可以采用许多技术合成用于将这些模型相互关联的虚拟拼接图形。以下，参照图10提供一个特定方法的细节。应当理解，这个上下文中使用的术语“虚拟”旨在使用来自多个不同扫描的数据来区分模型。因此，虽然用于计算“虚拟拼接”和/或虚拟拼接图形的数据源(多个相机路径)可以不同于用于计算其它拼接和图形的数据(单个相机路径)，所得数据可以有利地以与从衍生自单个扫描的数据可互换或者不可区分使用的形式提供。如此，在优选实施例中，可能几乎将“虚拟”拼接或虚拟拼接图与并非虚拟的拼接或拼接图形区分开，除了有可能从它们所衍生自的两个或多个不同模型中得不到它们。
如步骤908中所示，过程900可以包括用虚拟拼接图形的全局运动优化精修组合模型。通过用将不同集(从不同扫描采集的)的每个中的所有数据相互关联的单个虚拟拼接图形，可以合适地采用上述全局运动优化技术中的任一个最小化组合数据集之间的基于一一拼接(stitch-by-stitch basis)的误差。在一个方面，这个优化包括可变形对准，其中，如与计算误差最小化的刚性变换区分开的，相机路径的每个拼接或步骤可以在空间上移动，以最小化全局误差。因此，在一个方面，过程900包括用可变形对准精修组合模型。
如步骤910中所示，可以存储和/或显示组合模型。这可以包括(例如)在诊疗椅边扫描位置或牙科实验室处显示组合模型。组合模型还可以被局部存储在扫描器部位，或者被发送到中央储藏室以进行项目管理，包括(但不限于)在牙科实验室处对牙科对象进行记账、质量保证和调度制造。得自不同扫描的初始源数据(例如，不同相机路径、图像数据帧等)可以被保持用于进一步处理或用于评价组合模型，或者一旦获得组合模型，就可以删除源数据。
图10是用于产生虚拟拼接图形的过程的流程图。在下面的说明中，假定提供了两个不同的三维模型，每个模型是如以上总体描述的通过相机路径在空间上相关的数据帧序列获得的，并且这两个模型已经被对准，以创建它们之间的初始刚性变换。应当理解，在采用其它三维扫描技术的情况下，或者在同时协调三个或更多个不同的数据集的情况下，以上的修改形式或改型可能是合适的，所有这些旨在落入本发明的范围内。
如步骤1002中所示，过程1000可以包括选择重叠的数据集。这可以(例如)包括在由以上参照图9描述的粗糙对准获得的组合表面上重叠的第一多个集中的第一选择集和第二多个集中的第二选择集。对第一或第二多个集中的一个集的初始选择可以例如是基于(例如)第一或第二网格内或毗邻组合或单独表面中所关注的质心或其它特征的位置进行的随机选择或参数化选择。
然后，还可以选择第一选择集周围的相邻物中的得自多个集(例如，第一模型)的数据帧或数据集的全部用作局部处理相邻物。这可以例如是某个数量的拼接内的所有数据集，如五个拼接内的所有集、或沿着相机路径的某个数量的步骤。为了减少冗余处理，在完成过程1000的局部混合拼接操作之后，这个局部处理相邻物内的集可以可选地被标记或者以其它方式被标识为不可用于今后的处理。通过使用表面网格的粗糙对准，可以选择接近(或最接近)局部处理相邻物的第二多个集中的一个(例如，得自第二模型的帧)。然后，例如，通过选择某个数量的拼接内的第二多个数据集中的数据帧或数据集或者来自第二选择集的连续相机姿态，以与选择局部处理相邻物的类似方式，可以标识第二多个集中的第二选择集周围的相邻物中的第二多个集的全部数据帧或数据集。在这个上下文中，应当理解，使用拼接图形(拼接，可以从单个相机姿态在许多方向上延伸)通过为覆盖对象表面的相关区域提供更多选择，可以提供优于相机路径(从一个相机姿态到下一个相机姿态的各个变换)的明显处理优点。
比如，通过限制或禁止使用两个相邻物公共的表面或区域外部的数据集，可以进一步精修从第一和第二多个数据集中选择帧的局部处理相邻物。
如步骤1004中所示，可以在局部处理相邻物中优化数据。例如，在用相机路径或拼接图形表示每个数据集的情况下，可以针对只包含来自局部处理相邻物内的数据(三维数据点的帧或集，连同拼接或相机路径信息)，选择相机路径或拼接图形的子图，所述相机路径或拼接图通过相机姿态序列等将三维点集相互关联。这种方法有利地消除了局部处理相邻物外部的数据的影响。此时，在处理过程中，数据仍然总体包括两个不同模型-在这种情况下，全数据集的子图-这两个不同模型通过由表面网格的粗糙对准获得的单个刚性变换相关联。通过(例如)对所提取的每个子图执行全局运动优化(如上所述)，在混合拼接之前，可以进一步优化这个数据。当子图被如此优化时，通过重复迭代最近点算法或针对优化子图所代表的两个点云的其它合适对准过程，可以精修两个子图之间的对准。虽然这种优化方法在基于相机路径进行的三维表面重建中是有效的，但应当理解，在三维重建领域中已知各种其它的优化，这些优化中的任一种可以适于优化本文料想到的局部处理相邻物。
如步骤1006中所示，可以产生用于虚拟拼接图形(也被称为“混合”或“虚拟”拼接)的连接。这可以包括找到最接近两个子图之间重叠区域的质心的两个子图中的每个的帧。然后，可以通过计算两个帧之间的刚性变换和平均误差来将这两个帧在空间上直接彼此相关，所述刚性变换可以是新计算的刚性变换或者在上述优化步骤中获得的刚性变换的精修形式。使用这种变换，来自两个子图的数据可以被调换到公共坐标系，如子图之一的初始坐标系。可以针对两个子图中的一个或多个其它数据帧重复这个过程，从而获得第一子图中的帧和第二子图中的帧之间的多个直接空间关系或“虚拟拼接”。这些关系可以被直接用作组合的、虚拟拼接图形中的拼接，或者被进一步处理成适于以与初始模型的拼接图形或相机路径中的现有拼接相同的形式表达这些新关系。
为了有利于同时处理初始模型中的实际拼接和针对组合模型的虚拟拼接图而产生的虚拟拼接，在每个虚拟连接中可以包括额外的特征数据。例如，可以提供根据多个自由度(例如，对于整个平移和旋转，存在六个自由度)为每个连接中的置信赋予权重的协方差矩阵。虽然这种协方差矩阵是由(例如)迭代最近点对准过程导致的，但对于对组合模型中的两个源的数据的无差异处理，使用特定形式明显少于实际拼接和虚拟拼接的表示之间的足够共性。
如步骤1008中所示，如果存在待被局部优化的重叠数据的额外相邻物，则过程可以返回到步骤1002，在步骤1002中，可以选择额外的重叠数据集来产生额外的虚拟连接。可根据需要或期望多次重复这个过程。如果没有待处理的其它局部相邻物，或者如果已经到达某个其它端接状况如虚拟连接的阈值数或组合模型的整个表面区域的覆盖百分比，则过程1000可以前进至步骤1010。
如步骤1010中所示，可以创建组合模型，如上所述，该组合模型将来自两个初始模型的实际拼接图和在这两个模型之间创建的虚拟拼接组合。另外，可以基于全局模型中的其它数据(与局部处理相邻物区分开)如第一模型和第二模型中的近乎相等和/或基本上处于同一位置的数据集，添加任意数量的额外虚拟拼接。另外，可以为了完整性并且为了识别用于创建数据集之间的额外拼接的其它机会，可以分析组合模型，这要么与数据集是否来自第一模型或第二模型相关要么与之无关。
如步骤1012中所示，可以使用(例如)如上所述的全局运动优化来优化组合模型，以最小化组合模型的相关相机姿态(与初始拼接图形或相机路径区分开)之间的变换中的误差。
如步骤1014中所示，可以针对组合模型生成点云，以将组合模型的所有三维点设置到单个公共坐标系中。
如步骤1016中所示，可以使用任何合适的表面网格技术针对点云生成表面网格。还可以如总体上通过以上说明料想到地，存储、显示、发送或者以其它方式处理或操纵模型。
应当理解，可以用硬件、软件或适于进行本文所述的数据采集和建模技术的硬件和软件的任何组合来实现以上系统和/或方法中的任一个。这包括在一个或多个微处理器、微控制器、嵌入式微控制器、可程控的数字信号处理器或其它可程控的设备，以及内部和/或外部存储器中实现。这也可以(或替代地)包括一个或多个具体集成电路、可编程门阵列、可编程阵列逻辑组件、或可以被构造用于处理电子信号的任何其它装置。还应当理解实现可包括使用结构化编程语言(例如C)、面向对象编程语言(例如C++)、或任何其它高级或低级编程语言(包括汇编语言、硬件描述语言、和数据库编程语言和技术)创建的计算机可执行代码，上述计算机可执行代码可在上述设备中的一个以及处理器、处理器架构的混合组合或不同硬件和软件的组合上存储、编译或解释执行。因此，在一个方面，本文中公开了一种包括计算机可执行代码的计算机程序产品，所述计算机可执行代码当在一个或多个计算装置上执行时执行上述步骤中的任一个和/或全部。
同时，可以以多种方式在整个装置(例如摄像机和/或计算机和/或制造设备和/或牙科实验室和/或服务器)上分布该处理，或所有的功能可以集成到专用的独立式装置中。
在另一个方面，本文公开的系统包括部件，如，上述用于执行流程图和以上说明的其它部分中所表达或隐含的功能的任何结构。
对于本领域的普通技术人员将显而易见的所有这类交换形式和组合形式旨在落入本发明的范围内，与此同时，权利要求书旨在以法律可容许的最广义含义来理解。

Claims (5)

1.一种用于混合拼接的方法，其包括：
获得第一三维模型，所述第一三维模型包括通过第一相机路径在空间上彼此相关的三维点的第一多个集合；
获得第二三维模型，所述第二三维模型包括通过第二相机路径在空间上彼此相关的三维点的第二多个集合；
将所述三维点的第一多个集合中的一个对准所述三维点的第二多个集合中的一个，以在共用坐标系中设置所述第一三维模型和所述第二三维模型；
创建在空间上将所述第一多个集合和所述第二多个集合相关联的虚拟拼接图，从而提供组合模型，所述组合模型包括全部都通过所述虚拟拼接图在空间上相关联的所述第一多个集合和所述第二多个集合；
用所述虚拟拼接图的全局运动优化精修所述组合模型；
生成所述第一三维模型的第一表面网格和所述第二三维模型的第二表面网格，其中所述对准包括将所述第一表面网格对准所述第二表面网格，从而提供组合表面；
选择在所述组合表面上重叠的所述第一多个集合中的第一选择集合和所述第二多个集合中的第二选择集合；
计算所述第一选择集合和所述第二选择集合之间的刚性变换和平均误差；
从所述第一多个集合中的一个集合周围选择所述第一多个集合中的第一相邻物并且从所述第二多个集合中的一个集合周围选择所述第二多个集合中的第二相邻物；
提取所述组合表面的子区域；
在所述子区域内将所述第一多个集合中的两个或更多个集合与所述第二多个集合中的两个或更多个集合在空间上相关，以提供虚拟拼接图；以及
将所述虚拟拼接图中的空间关系之中的误差最小化，从而提供针对所述子区域的组合数据集。
2.根据权利要求1所述的方法，其中所述对准包括与迭代最近点算法对准。
3.根据权利要求1所述的方法，其中所述第一选择集合和所述第二选择集合中的至少一个是与所述组合表面的质心最近的三维数据集合。
4.根据权利要求1所述的方法，还包括创建所述第一多个集合中的两个未拼接集合之间的至少一个虚拟拼接。
5.一种用于混合拼接的系统，其包括：
扫描器，被配置为获得第一三维模型和第二三维模型，其中所述第一三维模型包括通过第一相机路径在空间上彼此相关的第一多个三维点集，所述第二三维模型包括通过第二相机路径在空间上彼此相关的第二多个三维点集；以及
处理器，被配置为执行权利要求1至4中任一项中记载的方法以提供组合模型；以及
显示器，被配置为基于所述组合模型而显示。
CN201280009912.4A 2011-02-22 2012-02-17 混合拼接 Expired - Fee Related CN103392191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161445464P 2011-02-22 2011-02-22
US61/445,464 2011-02-22
PCT/US2012/025554 WO2012115863A2 (en) 2011-02-22 2012-02-17 Hybrid stitching

Publications (2)

Publication Number Publication Date
CN103392191A CN103392191A (zh) 2013-11-13
CN103392191B true CN103392191B (zh) 2016-09-28

Family

ID=46721399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280009912.4A Expired - Fee Related CN103392191B (zh) 2011-02-22 2012-02-17 混合拼接

Country Status (4)

Country Link
US (1) US9191648B2 (zh)
EP (2) EP3712857A1 (zh)
CN (1) CN103392191B (zh)
WO (1) WO2012115863A2 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2677938B1 (en) 2011-02-22 2019-09-18 Midmark Corporation Space carving in 3d data acquisition
DE102012201193B3 (de) * 2012-01-27 2013-06-13 Sirona Dental Systems Gmbh Verfahren und Referenzmodell zur Überprüfung eines Vermessungssystems
US20130293686A1 (en) * 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
EP2866638B1 (en) * 2012-06-28 2019-12-04 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
US9129435B2 (en) * 2012-12-04 2015-09-08 Fuji Xerox Co., Ltd. Method for creating 3-D models by stitching multiple partial 3-D models
US20140276105A1 (en) 2013-03-15 2014-09-18 Lantos Technologies Inc. Scanning techniques for probing and measuring anatomical cavities
US9544577B2 (en) * 2013-07-18 2017-01-10 A.Tron3D Gmbh Method of capturing three-dimensional (3D) information on a structure
US10292624B2 (en) 2014-01-21 2019-05-21 Vorum Research Corporation Method and system for generating a three-dimensional scan of an object
US10002640B2 (en) 2014-02-28 2018-06-19 Microsoft Technology Licensing, Llc Hyper-lapse video through time-lapse and stabilization
DE102014207667A1 (de) * 2014-04-23 2015-10-29 Sirona Dental Systems Gmbh Verfahren zur Durchführung einer optischen dreidimensionalen Aufnahme
FR3027205B1 (fr) * 2014-10-20 2020-07-17 Modjaw Procede et systeme de modelisation de la cinematique mandibulaire d'un patient
US9629698B2 (en) 2014-11-04 2017-04-25 James R. Glidewell Dental Ceramics, Inc. Method and apparatus for generation of 3D models with applications in dental restoration design
WO2016086005A1 (en) 2014-11-25 2016-06-02 Lantos Technologies Inc. Air removal and fluid transfer from a closed system
US10453269B2 (en) * 2014-12-08 2019-10-22 Align Technology, Inc. Intraoral scanning using ultrasound and optical scan data
KR102264591B1 (ko) 2015-02-27 2021-06-15 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN104715120B (zh) * 2015-03-30 2019-08-23 英华达（上海）科技有限公司 3d模型的扩充方法
CN106296801B (zh) * 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
EP3360339A4 (en) 2015-10-09 2019-06-19 Lantos Technologies, Inc. CUSTOM EARPHONES PATTERN AND MANUFACTURE
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
KR20180121494A (ko) 2015-12-31 2018-11-07 엠엘 네덜란드 씨.브이. 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템
US10163271B1 (en) * 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10186082B2 (en) * 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes
US20190201296A1 (en) 2016-05-27 2019-07-04 3M Innovative Properties Company Coating compositions having hydrophilic and hydrophobic particles for use in intraoral scanning methods
EP3463258A1 (en) 2016-05-27 2019-04-10 3M Innovative Properties Company Coating compositions having particles with differing refractive indices for use in intraoral scanning methods
US10136972B2 (en) * 2016-06-30 2018-11-27 Align Technology, Inc. Historical scan reference for intraoral scans
US11559378B2 (en) 2016-11-17 2023-01-24 James R. Glidewell Dental Ceramics, Inc. Scanning dental impressions
EP3554349A4 (en) 2016-12-19 2020-06-17 Lantos Technologies, Inc. MANUFACTURE OF INFLATABLE MEMBRANES
DE102017108193A1 (de) 2017-04-18 2018-10-18 Rowiak Gmbh OCT-Bilderfassungvorrichtung
JP7248680B2 (ja) 2017-08-10 2023-03-29 ディーフォーディー テクノロジーズ エルエルシー 口腔内走査装置
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
CN108364257B (zh) * 2018-02-06 2023-05-09 深圳市菲森科技有限公司 三维扫描点云数据的拼接方法及系统
CN108415428B (zh) * 2018-02-11 2021-04-30 弗徕威智能机器人科技（上海）有限公司 一种移动机器人的全局路径优化方法
CN109523633B (zh) * 2018-09-30 2023-06-02 先临三维科技股份有限公司 模型扫描方法、装置、设备、存储介质和处理器
AU2019381318B2 (en) 2018-11-15 2023-04-13 Solventum Intellectual Properties Company Removable dental appliance with interproximal reinforcement
WO2020099973A1 (en) 2018-11-15 2020-05-22 3M Innovative Properties Company Removable dental appliance with gingival ridges
KR102236360B1 (ko) * 2019-03-29 2021-04-05 오스템임플란트 주식회사 스캔 가이드 제공 방법 이를 위한 영상 처리장치
US11540906B2 (en) 2019-06-25 2023-01-03 James R. Glidewell Dental Ceramics, Inc. Processing digital dental impression
US11534271B2 (en) 2019-06-25 2022-12-27 James R. Glidewell Dental Ceramics, Inc. Processing CT scan of dental impression
US11622843B2 (en) 2019-06-25 2023-04-11 James R. Glidewell Dental Ceramics, Inc. Processing digital dental impression
CN111145091A (zh) * 2019-12-13 2020-05-12 北京大豪科技股份有限公司 图像拼接方法、装置、电子设备及存储介质
WO2021142787A1 (zh) * 2020-01-17 2021-07-22 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统
US11544846B2 (en) 2020-08-27 2023-01-03 James R. Glidewell Dental Ceramics, Inc. Out-of-view CT scan detection
CN116763474A (zh) * 2022-03-17 2023-09-19 3 形状股份有限公司 在用牙科成像设备扫描期间生成牙科对象的三维表示
CN114494668B (zh) * 2022-04-13 2022-07-15 腾讯科技（深圳）有限公司 三维模型的展开方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1066259C (zh) * 1994-08-24 2001-05-23 特里科达技术公开有限公司 扫描装置和方法
CN101799293A (zh) * 2010-03-05 2010-08-11 武汉大学 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410614A (en) 1993-10-22 1995-04-25 Industrial Technology Research Institute Run-based method for smoothing handwritten Chinese characters
US20030151604A1 (en) 2001-11-21 2003-08-14 Research Foundation Of State University Of New York Volume rendering with contouring texture hulls
US20040155975A1 (en) 2002-09-17 2004-08-12 Hart Douglas P. 3-D imaging system
US8081234B2 (en) 2004-12-29 2011-12-20 Intel Corporation Technique for increased exposure range in image sensors
US7605817B2 (en) 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US7840042B2 (en) 2006-01-20 2010-11-23 3M Innovative Properties Company Superposition for visualization of three-dimensional data acquisition
US8035637B2 (en) 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US7372642B2 (en) 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
EP3527167A1 (en) * 2007-06-29 2019-08-21 3M Innovative Properties Co. Video-assisted margin marking for dental models
DE112009000101T5 (de) * 2008-01-04 2010-11-11 3M Innovative Properties Co., St. Paul Globale Kamerawegoptimierung
DE102008047218B4 (de) 2008-09-15 2010-08-19 Siemens Aktiengesellschaft Verfahren zur Erstellung von MR-Bildern mittels einer Magnetresonanzanlage sowie entsprechend ausgestaltete Magnetresonanzanlage
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
WO2010140059A2 (en) * 2009-06-01 2010-12-09 Gerd Hausler Method and device for three-dimensional surface detection with a dynamic reference frame
EP2677938B1 (en) 2011-02-22 2019-09-18 Midmark Corporation Space carving in 3d data acquisition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1066259C (zh) * 1994-08-24 2001-05-23 特里科达技术公开有限公司 扫描装置和方法
CN101799293A (zh) * 2010-03-05 2010-08-11 武汉大学 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法

Also Published As

Publication number Publication date
EP3712857A1 (en) 2020-09-23
EP2678830A4 (en) 2017-05-10
EP2678830A2 (en) 2014-01-01
WO2012115863A2 (en) 2012-08-30
US9191648B2 (en) 2015-11-17
CN103392191A (zh) 2013-11-13
EP2678830B1 (en) 2020-04-08
WO2012115863A3 (en) 2012-11-22
US20130329020A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
CN103392191B (zh) 混合拼接
US8803958B2 (en) Global camera path optimization
US8332186B2 (en) Method and apparatus for generating a model of an object
CN101686853B (zh) 用于牙科模型的视频辅助边缘标记
CN105096372A (zh) 视频数据和三维模型数据的同步视图
CN110087577A (zh) 用于从牙列网格去除牙箍的方法和系统
CN113483695B (zh) 三维扫描系统、辅助件、处理方法、装置、设备及介质
AU2017229154B2 (en) Model generation for dental simulation
CN101706971A (zh) 一种牙齿模型中牙冠的自动分割方法
US20220008175A1 (en) Method for generating dental models based on an objective function
WO2010077380A2 (en) Global camera path optimization
WO2022203941A1 (en) Single frame control view
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images
CN118236182A (zh) 三维扫描系统、扫描数据处理方法、装置、设备及介质
WO2024039547A1 (en) Augmentation of 3d surface of dental site using 2d images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190702

Address after: ohio

Patentee after: Midmark Company

Address before: American Minnesota

Patentee before: 3M Innovation Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160928

Termination date: 20200217

CF01 Termination of patent right due to non-payment of annual fee