CN115485726A - 扫描系统及其校准 - Google Patents

扫描系统及其校准 Download PDF

Info

Publication number
CN115485726A
CN115485726A CN202180031899.1A CN202180031899A CN115485726A CN 115485726 A CN115485726 A CN 115485726A CN 202180031899 A CN202180031899 A CN 202180031899A CN 115485726 A CN115485726 A CN 115485726A
Authority
CN
China
Prior art keywords
scanning
uncalibrated
calibration
transformation
calibration object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031899.1A
Other languages
English (en)
Inventor
A·加尔达
J·T·邦多夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Shape AS filed Critical 3Shape AS
Publication of CN115485726A publication Critical patent/CN115485726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

公开了一种基于生成三维校准对象的三维表示而将修改为校准的扫描系统的未校准的扫描系统。

Description

扫描系统及其校准
技术领域
本公开涉及扫描系统。更具体地，本公开的扫描系统将被修改为校准的扫描系统。
背景技术
扫描系统的校准在扫描领域是众所周知的，其中，扫描通常涉及使用诸如图像相机之类的相机来获取2D图像。
此外，相机校准是3D计算机视觉中的必要步骤，以便从2D图像中提取度量信息。
随着时间的推移，校准领域中已经出版了几本书籍和期刊文章，例如由GérardMedioni和Sing Bing Kang编辑的2003年出版的“计算机视觉中的新兴主题(EmergingTopics in Computer vision)”一书，其中第2章专门讨论相机校准。本章由校准领域知名的Zhengyou Zhang撰写，他在IEEE模式分析与机器智能汇刊(Transactions on PatternAnalysis and Machine Intelligence，2000年12月，第22卷：1330-1334页)中因其论文“相机校准的灵活新技术(A Flexible New Technique for Camera Calibration)”为人所知。其中公开的用于相机校准的技术，称为Zhang的方法，已广泛用于扫描系统的校准。Zhang文章的摘要很好地揭示了该技术，如下所述：
“我们提出了一种灵活的新技术来方便地校准相机。它非常适合在没有3D几何或计算机视觉专业知识的情况下使用。该技术只需要相机观察在几个(至少两个)不同取向上显示的平面图案。可以自由移动相机或平面图案。不需要知道运动。径向透镜畸变被建模。所提出的过程包括封闭形式的解决方案，然后是基于最大似然准则的非线性细化。使用了计算机模拟和真实数据测试所提出的技术，并获得了很好的结果。与使用昂贵设备(例如两个或三个正交平面)的经典技术相比，所提出的技术易于使用且灵活。它将3D计算机视觉从实验室环境推进到真实世界使用一步。”
因此，Zhang的方法被广泛用于相机校准的原因是因为它只需要移动平面图案，因此执行起来很简单，特别是因为它不需要使用3D对象，例如具有两个或三个正交平面。更重要的是，正如刚才所描述的，不需要知道运动。因此，Zhang的方法也是对另一种称为Tsai的方法的改进，该方法由R.Y.Tsai在IEEE机器人与自动化杂志(Journal of Robotics andAutomation)中的文章“使用现成的tv相机和镜头的高准确性3D机器视觉计量的通用相机校准技术(A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the-shelf tv cameras and lenses)”(3(4):323–344，1987年8月)中提出。
Tsai的方法是文献中引用最多的校准方法之一，至今仍在使用，并且可能是第一个在相机模型参数中包括失真的方法：它考虑了径向失真，其由单个系数建模。Tsai的方法使用了具有棋盘格图案的平面，但与Zhang的方法不同，该平面需要以已知的运动被位移至少一次。
从上面已经可以推断，校准可以基于2D对象或3D对象。在“计算机视觉中的新兴主题”一书的第2章中，Zhang描述了使用3D参考对象、2D平面和1D线的校准技术，以及自校准技术。关于使用3D参考，Zhang解释说，相机校准是通过观察校准对象来执行的，该校准对象在3-D空间中的几何形状以非常好的精度已知。
事实上，使用3D参考而不是2D参考是或曾经是校准相机的传统方法。例如，正如Zhang在“计算机视觉中的新兴主题”一书的第2章中所描述的，通过使用由两个正交平面组成的3D参考，在其上印刷棋盘格图案，并附加3D坐标系(使得在这个坐标系中棋盘格角的坐标非常准确地获知)，可以通过执行四个校准步骤来进行校准。
这四个一般的校准步骤是：
(a)检测每个图像中棋盘格图案的角；
(b)使用线性最小二乘估计相机投影矩阵P；
(c)从P恢复内部和外部参数A、R和t；和
(d)通过非线性优化细化A、R和t。
内部参数(有时称为外部参数)是相机的取向(旋转)和位置(平移)，即(R,t)，其将世界坐标系与相机坐标系关联。
外部参数(有时称为内部参数)是相机的特性，来自A(矩阵)，通常具有元素(α,β,γ,u0,v0)，其中，(u0,v0)是主点的坐标，并且α和β是图像u和v轴中的缩放因子，并且γ是描述两个图像轴的偏斜的参数。
关于四个校准步骤(a-d)，正如Zhang所指出的，也可以先通过非线性优化来细化P，然后从细化的P确定A、R和t。此外，还已知可以通过直接在图像中操作来避免角检测。例如，图像中的特征检测是一种选择。
对于校准，Zhang建议通过使用3D参考通常可以获得最高准确性，因此应当在准确性必不可少且可以负担得起制作和使用3D参考的情况下使用。
然而，Zhang指出，在大多数情况下，使用2D参考进行校准似乎是最佳选择，因为易于使用且准确性高。
然而，如果目的是提供高准确性的扫描系统，则在扫描领域已知需要使用3D参考(具有特征和/或边缘)，并且建议执行上述四个校准步骤(a-d)。在L.Huang等人的“基于三维校准对象的多相机校准和点云校正方法的研究(Research on multi-cameracalibration and point-cloud correction method based on three-dimensionalcalibration object)”一文(工程中的光学和激光(Optics and Lasers inEngineering)，115(2019)32–41)中公开了依赖于立方体上具有四个棋盘(即带有边缘)的3D参考的校准方法的示例。其中公开的方法校正了点云中的错误，而不是2D图像中的错误。然而，刚刚描述的校准对象仍然对校准对象(至少在设计上是这样)和扫描装置提出了要求，因为边缘检测是执行校准的先决条件。
因此，在校准领域，需要一种提供两全其美的校准方法——通过使用3D参考获得的准确性，以及通过使用2D参考获得的易用性。此外，在校准领域，需要比3D参考(具有特征和/或边缘)更便宜且制造更简单的3D参考。再另外并根据先前的需要，在校准领域，需要一种不需要校准步骤的第一步骤(即检测角或特征)的方法，因为其需要特定的3D参考，并且扫描仪被配置为执行3D参考的角/特征检测。总而言之，在校准领域，需要和/或期望进行一些改进。
发明内容
本公开的一个目的是提供一种扫描系统及其校准方法，从而获得校准的扫描系统。本发明的另一目的在于提供一种高准确性的校准的扫描系统。再另外，本公开的目的是提供一种扫描系统及其校准，其符合如在本发明的背景技术中所解释的期望。
本公开在第一方面提供了一种扫描系统，该扫描系统被配置为使用3D参考进行校准，从而与依赖于2D参考的扫描系统相比准确性得到提高。此外，本公开提供了一种扫描系统和对其进行校准的方法，其中该方法不需要具有特定预定特征和/或角/边缘的3D参考。因此，本公开提供了一种对3D参考没有特定特征要求的校准方法。总而言之，本公开提供了一种用于扫描系统的改进的校准方法，其与使用2D参考一样简单，并且仍然提供如使用3D参考获得的准确性。
本公开首先提供一种扫描系统。具体地，公开了一种基于生成三维校准对象的三维表示而将被修改为校准的扫描系统的未校准的扫描系统。
该扫描系统包括扫描装置，包括：光源，被配置为发射光，其中，扫描装置被配置为将光传输到对象上；和包括多个传感器元件的图像传感器，其中，图像传感器被配置为形成对象和传输到对象上的光的图像序列，其中，每个图像包括多个像素；以及处理器。
处理器被配置用于通过执行如下面将解释的步骤来执行校准。在一个实施例中，当处理器处于校准模式时，即当处理器执行校准时，处理器被通知正在被扫描的对象是校准对象。
本公开的第一步骤是导入校准对象在真实世界坐标系中的参考三维表示。在如本发明背景技术中所解释的一般的校准步骤(a-d)中没有公开这样的步骤。
本公开的第二步骤是将图像序列配准成配准的图像序列。至少图像序列从一般的校准步骤(a-d)中是已知的，因为通常在每个图像中检测棋盘格图案的角，参见步骤(b)。然而，对图像进行配准不是一般的校准步骤(a-d)的必需步骤，但在本公开中，需要序列图像的配准以基于图像序列形成3D表示。这将在接下来的两个步骤(即第三步骤和第四步骤)中进行解释。
本公开的第三步骤是使用第一变换将配准的图像序列和来自每个所述图像的像素的至少子集变换为校准对象在扫描装置坐标系中的坐标数据集。例如，在一个实施例中，像素可以具有由在扫描装置的图像传感器的参考中的坐标集限定的位置，因此例如是(u0,v0)。与(u0,v0)坐标集相关的扫描装置坐标系中的第三坐标可以例如是聚焦透镜的位置d1，从而校准对象的坐标数据集可以是(u0,v0,d1)。替代地，与(u0,v0)坐标集相关的扫描装置坐标系中的第三坐标可以例如是坐标(u0,v0)集相对于预期坐标集的位移d2，从而校准对象的坐标数据集可以是(u0,v0,d2)。一般的校准步骤(a-d)涉及对不一定配准的图像的进行第一变换到参考在图像传感器的中的至少空间坐标集，从而提供(u0,v0)。
本公开的第四步骤是使用第二变换将校准对象在扫描装置坐标系中的坐标数据集变换为校准对象在真实世界坐标系中的点云。在优选实施例中，第二变换将三角点云变换为三角点云。使用这样的第二变换的效果是消除离散化误差。一旦至少粗略地获得了内部和外部参数，就可以获得点云，因为点云基于3D空间中的对象与相机从视觉信息(图像)观察到的2D图像之间的变换。换句话说，通过粗略地从矩阵A知道外部参数，具有(u0,v0)和参数(α,β,γ)，以及内部参数(R,t)，可以进行(u0,v0)到点云的变换。因此，根据本公开的第四步骤依赖于原则上至少具有对内部和外部参数的估计的第二变换。然而，这些参数可以是估计值，例如基于来自先前扫描装置的变换。此外，这些参数不必与Zhang或Tsai的文章中已知的内部和外部参数相同。有很多参数可以用来描述变换——甚至Zhang和Tsai描述了不同的参数。此外，在某些情况下，变换可以基于显式方法(其中获得所有参数，如在Tsai的方法中)，而在其他情况下，变换可以基于隐式方法(其中并非所有参数都被确定，如在Zhang的方法中)，参见例如Teresa Cristina de Sousa Azevedo从2012年撰写的博士论文“使用计算机视觉的3D对象重建：外部人体解剖结构的重建和表征应用(3D ObjectReconstruction using Computer Vision:Reconstruction and CharacterizationApplications for External Human Anatomical Structures)”，其描述了不同的校准方法。限定第二变换的参数不需要进行精细校准或细化。因此，这就是将当前公开的未校准的扫描系统限定为基于生成三维校准对象的三维表示而将修改为校准的扫描系统的内容。
与一般的校准步骤(a-d)相比，本公开的扫描系统不需要(b)使用线性最小二乘估计相机投影矩阵P；其不需要(c)从P恢复内部和外部参数A、R和t；并且其不需要(d)通过非线性优化来细化A、R和t。当前公开的扫描系统仅需要被配置为生成点云的第二变换。所生成的点云，如使用当前公开的扫描系统所生成的所生成的点云，可以与导入的校准对象在真实世界坐标系中的三维表示非常不同。这实际上是将被预期的，因为根据本公开的扫描系统直到该第四步骤都未被校准。然而，在一些实施例中，可以使用如前所述的前三个一般校准步骤(a-c)中的一个或多个来建立内部和外部参数。一般校准步骤的第四步骤，即(d)通过非线性优化细化A、R和t，可以很容易地省略，因此当前公开的扫描系统直到这一步骤仍要被定义为基于生成三维校准对象的三维表示而将修改为校准的扫描系统的未校准的扫描系统。当前公开的扫描系统和用于对其校准的方法因此到目前为止(因为校准尚未开始)比由四个步骤(a-d)限定的一般校准简单得多。但是，在接下来要披露的步骤中，将发起并完成校准。
在本公开的第五步骤中，使用对准过程将校准对象在真实世界坐标系中的点云对准到校准对象在真实世界坐标系中的参考三维表示。该第五步骤不是具有四个一般步骤(a-d)的一般校准的一部分，特别是因为在使用四个一般步骤(a-d)的一般校准方法中不导入校准对象在真实世界坐标系中的参考三维表示。此外，在本公开的第五步骤中，对准过程基于最小化参考三维表示和点云之间的第一差。该第五步与一般校准的步骤(b)根本不同，即使在使用三维参考对象的情况下，因为在当前公开的扫描系统中，最小化发生在3D世界坐标空间中，而不在一般的二维图像空间中。为了详细说明这一点，一般的校准基于(a)检测每个图像中棋盘格图案的角，并从这些图像(b)使用线性最小二乘估计相机投影矩阵P。当前公开的方法在3D空间而不是2D空间中应用最小化。本发明的发明人已经意识到，当在3D空间中执行最小化时，则最终点云(如将被校准的)的精度比基于2D空间中的最小化的校准大大提高。
如前所述，L.Huang等人的公开依赖于立方体上具有四个棋盘的边缘的3D参考对象，但没有公开对准步骤(因为立方体的坐标是直接从边缘的特征检测获得的)。因此，L.Huang等人都没有公开如当前公开的方法所限定的最小化步骤。然而，L.Huang等人确实公开了立方体上的特征点与生成的点云之间的比较，从而获得并细化了旋转和平移矩阵。细化基于最小化立方体上的特征点与生成的点云之间的差。在此细化中，在标准特征的平面和重建特征的平面之间进行比较。只能进行该最小化/细化，因为具有已知特征的平面表面是参考3D对象的一部分。即使将比较视为对准过程，则也必须强调，L.Huang中的对准过程是为了细化而不是为了生成三维表示。因而，当前公开的扫描系统因此不同于L.Huang的公开。总而言之，L.Huang等人在生成3D表示时避开对准过程，而是对3D对象提出了要求。
本公开避开对3D对象的要求，因此对对准过程提出了要求。将要求转移到软件而不是物理世界的好处很多。第一，不需要按照L.Huang等人的要求设计特殊的3D校准对象。第二，软件只需编程一次。第三，软件编程的成本远低于专门设计的校准对象的制造成本。最后，对参考3D参考对象使用对准过程(如在软件中编程)而不是使用专门设计的3D校准对象的准确性和易用性都得到了显著提高。
一旦使用本公开的上述第五步骤(即对准步骤)发起校准，就可以开始并完成实际校准。这将在接下来的两个步骤中进行描述。
本公开的第六步骤是在使用对准过程之后，导出点云和校准对象在真实世界坐标系中的参考三维表示之间的第二差。该第二差可以表示生成的点云中的各个点与校准对象在真实世界坐标系中的参考三维表示上的对应点不同的程度。
本公开的第七步骤是基于第二差将第二变换修改为校准的变换，从而在三维中调整校准对象在真实世界坐标系中的点云中的点的位置，从而将未校准的扫描装置修改为校准的扫描装置。
在将未校准的扫描装置修改为校准的扫描装置之后，校准的扫描装置能够基于校准的变换生成校准对象在真实坐标系中的校准的三维表示，从而减小校准对象在真实世界坐标系中的校准的三维表示与校准对象在真实世界坐标系中的参考三维表示之间的差。
本公开第二方面提供了一种用于获得校准的扫描系统的系统，包括：根据第一方面的未校准的扫描系统；和三维校准对象。
在本公开的第三方面，提供了一种用于生成口内对象的三维表示的校准的扫描系统，其中，通过修改根据第一方面的未校准的扫描系统来提供校准的扫描系统，从而校准的扫描系统包括：扫描装置，包括：光源，该光源被配置为发射光，其中，扫描装置被配置将光传输到对象上；和包括多个传感器元件的图像传感器，其中，图像传感器被配置为形成对象和传输到对象上的光的图像序列，其中，每个图像包括多个像素；和被配置为执行以下步骤处理器：配准图像序列；使用第一变换，将配准的图像序列和像素的至少一个集合变换为对象在扫描装置坐标系中的坐标数据集；使用校准的变换，将对象在扫描装置坐标系中的坐标数据集变换为对象在真实世界坐标系中的点云，以及基于校准的变换生成对象在真实世界坐标系中的校准的三维表示。
在本公开的第四方面，提供了一种通过执行以下步骤来校准未校准的扫描系统的方法：提供根据第二方面的系统，从而提供未校准的扫描系统和三维校准对象；和使用未校准的扫描系统扫描三维校准对象，从而通过使用扫描装置扫描三维校准对象，并且从而使用未校准的扫描系统中的处理器执行校准，获得根据第三方面的校准的扫描装置。
在本公开的第五方面，提供了一种用于校准扫描仪装置的计算机实现的方法，其显示在屏幕上的图形用户界面中，包括以下步骤：获得三维校准对象的参考3D表示的参考数据；在图形用户界面中并基于参考数据形成三维校准对象的参考3D表示；基于用户正在使用的手持式装置扫描三维校准对象，并从三维校准对象的2D图像的一个或多个装置到真实世界坐标变换获得测量数据。
此外，该计算机实现的方法包括以下步骤：使用对准过程将测量数据对准到参考数据以获得对准数据；基于对准数据更新所述一个或多个变换，从而校准扫描仪装置。
再另外，该计算机实现的方法包括以下步骤：在图形用户界面中给用户显示指示符，从该指示符引导用户继续扫描三维校准对象；和在图形用户界面中显示指示扫描仪装置的校准完成的通知。
给用户显示从其引导用户继续扫描的指示符的步骤可以在对准步骤之前、期间和之后执行。特别地，步骤的顺序可以互换，并且一个或多个步骤可以重复数次。通过引导用户继续扫描，从而公开了一种用于校准扫描仪装置的最优方法。
附图说明
本发明的上述和/或附加的目的、特征和优点将通过以下对本发明实施例的说明性和非限制性的详细描述并参考附图得到进一步描述，其中：
图1a示出了根据本公开的被配置为将使用3D参考被校准的未校准的扫描系统的第一示例。
图1b示出了根据本公开的校准方法的示例。
图1c示出了根据本公开的校准方法的细节的示例。
图2示出了根据本公开的被配置为将使用3D参考被校准的未校准的扫描系统的第二示例。
图3示出了用户界面的示例，显示了用于执行与校准本公开的扫描装置相关的扫描的引导。
具体实施方式
扫描仪装置
在一个实施例中，扫描装置是手持式扫描装置。例如，扫描装置可以是口内扫描仪。因此，未校准的扫描装置可以是口内扫描装置。
在优选实施例中，扫描仪装置的图像传感器位于扫描装置坐标系中与z方向垂直的平面中，并且光学元件被配置为相对于图像传感器并沿着z方向移动，从而在移动光学元件时形成对象的图像序列。
在更优选的实施例中，并且与上述优选实施例相关，处理器还被配置为：沿着扫描装置坐标系中的z方向堆叠配准的图像序列以形成体积，其中，配准的图像序列中的每个图像包括体积中的层，从而体积包括多个像素的序列；对于以下计算聚焦度量(focus-measure)：体积内的多个像素中的每一个或体积内的多个像素组中的每一组，其中，多个像素组中的每一组由多个像素的子集形成；对于以下基于聚焦度量计算最大聚焦度量zm：体积内的多个像素中的每一个，从而多个像素的子集与zm相关联，或
体积内的多个像素组中的每一组，从而多个像素的子集与zm相关联，从而，使用第一变换，已经与zm相关联的多个像素的子集是被变换到对象在扫描装置坐标系中的坐标数据集的像素的至少一个集合。
参考三维表示
在一个实施例中，导入校准对象在真实世界坐标系中的参考三维表示的步骤基于从不同于未校准的扫描系统的扫描系统导入校准对象的高精度三维表示。例如，如上所述，未校准的扫描系统可以包括手持式扫描仪装置，例如口内扫描仪，然后可以从扫描仪装置(例如固定的实验室扫描仪或GOM扫描仪)获得高精度三维表示。
对准过程和变换
在一个实施例中，对准过程基于通过点对平面配准或点对点配准将点云对准到参考三维表示。
在另一实施例中，通过单独调整点云中的每个点来执行将第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。这样的方法比调整依赖于各种参数时更灵活。由于本实施例中描述的更灵活的解决方案，在执行了校准之后，扫描装置的精度得到显著提高。
在又一个实施例中，通过对点云中的每个点同时在三个方向上调整三维位置来执行将第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。这样的方法比逐步进行调整(即非同时)更准确。因此，通过这种方法，在执行了校准之后，扫描装置的精度得到显著提高。
在优选实施例中，通过向点云中的每个点添加包括三个方向分量的校正向量来执行将第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。这种方法意味着简化了调整，从而使校准方法更快且更高效。
在一些实施例中，并且在扫描仪装置包括在扫描期间移动的光学元件的情况下，由于校准对象的图像序列在移动光学元件时形成，因此将第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤与沿着光学元件的z方向的位置相关联。
在其他实施例中，并且在扫描仪装置包括在扫描期间移动的光学元件的情况下，与沿着光学元件的z方向的位置相关联的在三维中的调整由沿着z方向的每个所述位置的高阶多项式限定。该实施例确保可以高效地应用调整，因此其提供了一种快速扫描装置。
在最优选的实施例中，将第二变换修改为校准的变换的步骤由查找表限定。该实施例确保可以高效地应用调整，因此其提供了一种快速扫描装置。
校准系统
在最优选的实施例中，特别是在扫描装置是口内扫描仪的实施例中，三维校准对象是包括多个牙科口腔对象的牙列的形状。3D校准对象则与校准之后待被扫描对象相似，并且通过与此相似，发现校准非常精确。
用户界面
在一个实施例中，计算机实现的方法还包括在图形用户界面中并基于对准数据和/或所述更新的变换，形成三维校准对象的至少一部分的3D表示的步骤，使得与显示的参考3D表示相比可以看到所述至少一部分。这既可以向用户显示在参考3D表示上对准成功的位置，也可以向用户显示用户还可以扫描从其远离的位置。通过远离对准成功的区域进行扫描，可以进一步改进校准。这的原因是校准随后依赖于校准对象的不同3D结构，并因此调整对这些结构的变换。
在第二实施例中，计算机实现的方法包括多次重复所述步骤中的一个或多个，直到满足预定义标准。例如，可以多次执行以下步骤，以提高校准的准确性：
-基于用户正在使用的手持式装置扫描三维校准对象，并从三维校准对象的2D图像的一个或多个装置到真实世界坐标变换获得测量数据；
-使用对准过程将测量数据对准到参考数据以获得对准数据；
-基于对准数据更新所述一个或多个变换，从而校准扫描仪装置；
-在图形用户界面中给用户显示指示符，从该指示符引导用户继续扫描三维校准对象。
显然，通过迭代地更新所述一个或多个变换，所述变换可以不断变得越来越好。在某个时间点，所述变换的变化可能很小，以至于它不会为校准增加任何重要的价值。因此，当达到这样的点时，停止校准是有意义的。
因此，在一些实施例中，显示通知(指示扫描仪装置的校准完成)的步骤基于刚才描述的预定义标准。
在优选实施例中，对准的步骤通过用户在用户界面中接收三维校准对象的参考3D表示上的点的步骤发起，以辅助对准的步骤。例如，用户可以点击参考3D表示，从而计算机实现的方法配准并接收该点。通过配准该点，在用户的辅助下执行对准的步骤。例如，该点可以通知对准过程当用户开始扫描时，该点将用作起点。可以通过选择的点通知对准过程来自扫描的测量数据将在参考3D表示上被对准的位置。该实施例可以使得对准更高效，并且总体效果可以是可以使校准更可靠，因为在校准中可以考虑校准对象上的不同区域。此外，该实施例可以使得以时间高效的方式完成扫描仪装置的校准。换言之，校准过程可以在准确性上提高并且由于在用户界面中与用户的交互而减少。
在更优选的实施例中，从其引导用户继续扫描三维校准对象的给用户的指示符还指示三维校准对象上用户应继续扫描的位置。例如，可以通过参考3D表示上的指示符(pointer)或颜色来引导用户扫描三维校准对象上的特定区域。该实施例可以使得校准更可靠，因为可以在校准中考虑校准对象上的不同区域。此外，该实施例可以使得以时间高效的方式完成扫描仪装置的校准。换言之，校准过程可以在准确性上提高并且由于在用户界面中与用户的交互而减少。
在最优选的实施例中，指示符是对准数据的绝对和/或相对度量，从而向手持式装置的用户指示用户需要继续扫描三维校准对象的程度。
例如，在最优选的实施例中，指示符可以显示扫描体积内的数据覆盖(datacoverage)。数据覆盖可以向用户指示在扫描仪装置的扫描体积中，测量数据已经对准到参考模型的位置。指示符因此可以引导用户相对于校准对象不同地定位扫描仪，以在扫描仪装置的整个扫描体积中获得充分对准的测量数据。因此，通过确保获得足够的数据覆盖，可以实现准确的校准。
通过向用户显示如上所述的指示符，用户可以被通知预期时间和/或预期表现。因此，用户可以提高他对扫描仪的表现，从而减少校准期间的扫描时间。因此，该指示符可以是一种减少总校准时间的方法。
示例1-口内扫描系统的校准
在第一示例中，图1a中示出了具有口内3D扫描仪1和连接的计算机2的未校准的扫描系统。扫描系统被配置为记录多个图像并基于这些图像构造真实世界3D坐标。基于真实世界坐标，扫描系统还被配置为形成被扫描对象的3D表示。
未校准的扫描仪系统包括适于将光投射到待扫描对象上的光源4、用于获取2D图像的图像传感器3(如CMOS传感器)、用于将一组2D图像处理为3D信息的FPGA处理器5(现场可编程门阵列)以及用于将3D信息缓冲、压缩和排序为数据包的处理器6(例如ARM处理器)。数据包被传递到WI-FI模块，该WI-FI模块被配置为通过无线连接7将数据包传输到计算机2上运行的远程数据处理服务。
通过执行其中扫描3D校准对象8的校准方法来校准未校准的扫描系统。为了执行本文公开的校准方法，校准对象8的3D数字参考表示9首先被加载到计算机2上运行的数据处理服务中。
校准方法的更多细节如图1b所示。扫描装置1在扫描期间从对象8获取深度信息，其中，扫描是由扫描装置通过在获取2D图像序列时调整聚焦透镜来执行的。聚焦透镜位置在对象所在的对象空间中的扫描体积内移动焦点平面。扫描体积由聚焦透镜移动的跨越长度以及聚焦透镜的视场限定。
2D图像序列被转换成配准的2D图像序列10。通过执行第一变换12，该序列10被转换成具有传感器坐标(u，v，d)中的深度信息的数据集11。连接的计算机2包括用于通过执行第二变换14将来自扫描仪装置1的输入数据11处理成点云13的处理器6。此外，处理器6被配置用于通过对准各个点云13并将它们融合在一起来控制被扫描对象8的准确重建。
第二变换14将来自扫描仪坐标(即图像传感器上的聚焦像素位置(u，v)和描述聚焦透镜的位置的编码器位置d)的深度信息变换为真实世界的3D坐标，表示为(x，y，z)。第二变换14旨在提供从扫描仪坐标(u，v，d)到真实世界坐标(x，y，z)的装置特定映射。然而，从开始到现在，第二变换14不是装置特定的。
在组装未校准的扫描装置时，将标称几何表示加载到扫描仪装置1中以用作第二变换14的初始状态，即从扫描仪坐标到真实世界坐标的映射。当扫描仪第一次连接到计算机时，映射变换14的初始状态从扫描装置传递到数据处理服务。
初始的第二变换14可以基于使用光学参数来描述扫描仪的设置的标称光学设置，即透镜如何倾斜和定位，和/或立方体如何相对于传感器倾斜等。通用光学装置可用于通过光学装置进行光线追踪，以将所有扫描仪坐标变换为3D世界坐标。因此，由于初始第二变换14的其通用性质，坐标可能不在彼此等距离处的完美网格中并且可能较不规则。如这里所描述的第二变换14限定扫描仪是未校准的扫描仪装置1，这意味着没有装置特定的校正被应用于标称几何表示。
在下文中，将特定扫描体积校准应用于未校准的扫描仪装置1，从而将初始第二变换替换为从扫描仪坐标到真实世界坐标的高度准确的装置特定第二变换14。
在一个实施例中，扫描体积校准不依赖于扫描仪装置1的光学设置，而是可以基于扫描已知校准对象8的迭代经验方法。已知校准对象8可以是如图1a所示石膏颌模型。此外，校准对象8可以已经用另一扫描装置扫描以获得高分辨率的参考表示9。
如前所述，点云13是使用初始第二变换操作14形成的。单个点云13称为子扫描，因为它表示校准对象8的完整几何形状的子集。在扫描体积校准期间在，未校准的扫描仪装置1在参考表示8的扫描期间获得多个子扫描。每个子扫描，即每个点云15，通过例如使用迭代最近点(ICP)点到平面配准对准到参考表示9。这个对准步骤可以在图1b中看到。
一旦所有子扫描15正确对准到参考表示9，计算机实现的方法就迭代通过所有子扫描15的扫描体积的子部分17的所有顶点18。对于每个顶点18，在找到参考网格上的最近点，并计算在该特定子扫描中从扫描仪看到的差向量16。结果是x、y和z方向上的误差。因此，对于每个像素坐标(u,v)和线性位置d，将有一组差向量vn 16。这些差用于校正初始第二变换。
如上所述，扫描体积被划分为子部分，特别是超矩形，其由扫描仪坐标(u,v,d)的离散化限定，即图像传感器坐标和线性位置被划分为多个固定区间，并且这些区间的笛卡尔积限定了扫描体积17的子部分。
扫描体积的详细信息如下所述。使用初始几何形状将这些子部分18的角点pijk＝(ui,vj,dk),i＝0..N1,j＝0..N2,k＝0..N3变换为真实世界坐标。这导致集合qijk＝(xi,yj,zk),i＝0..N1,j＝0..N2,k＝0..N3，其跨越扫描体积。
每个qijk 18通过在该点的一个小邻域内查看并查找哪些差向量vn 16位于该邻域内而被校正。然后基于它们到正被校正的点的距离对这些向量进行加权平均；该加权平均值变成校正向量cijk，然后将其相加给出新的坐标映射q’ijk＝qijk+cijk。这种新的映射确定了新的几何校准，即确定了新的第二变换14。任何点(u,v,d)的真实世界坐标是通过以下来确定的：用(u,v,d)找到上述离散化的超矩形，对于超矩形的8个角中每一个查找q’ijk，并对角执行三维线性插值，找到与(u,v,d)对应的(x,y,z)。因此，当初始第二变换14被新的第二变换14替换时，生成的3D表示被校正。这样的过程可以重复多次以优化校准。图1c中的流程图说明了更新第二变换14的迭代过程。
示例2-实验室扫描仪系统
在第二示例中，图2中示出了具有固定桌面3D扫描仪1和连接的计算机2的未校准的扫描系统。扫描系统被配置为记录多个图像并基于这些图像构造真实世界3D坐标。基于真实世界坐标，扫描系统还被配置为形成被扫描对象的3D表示。
未校准的扫描仪系统包括适于将光投射到待扫描对象上的光源4、用于获取2D图像的图像传感器3(例如一个或多个CMOS传感器，在该示例中有四个图像传感器3)、用于将一组2D图像处理成3D信息的FPGA处理器5(现场可编程门阵列)以及处理器6(例如ARM处理器)，用于将3D信息缓冲、压缩和排序为数据包。数据包被传递到物理层(Phy，USB/以太网)，以通过有线连接7将数据包传输到计算机2上运行的数据处理服务。
通过执行其中扫描3D校准对象8的校准方法来校准未校准的扫描系统。为了执行这里公开的校准方法，校准对象的3D数字参考表示9首先被加载到计算机2上运行的数据处理服务中。校准方法的进一步细节在图1b中示出。扫描装置1在扫描期间从对象8获取深度信息，其中，由扫描装置通过将参考对象8放置在旋转板19上并在图像传感器3前面将其移动到不同的视角来执行扫描。对象8在两个独立的旋转轴(旋转轴和摆动轴)上旋转。
扫描装置1通过将线图案投影到对象8上同时从位于来自投影仪单元4的固定位置的四个单独的相机3记录对象的多个图像来从被扫描对象获取深度信息。线图案可以是编码图案或线束。在一个示例中，总共有30条单独的线被投影到对象上。当对象8相对于相机单元3保持在固定位置时，通过在记录2D图像序列的同时枢转投影仪单元和四个相机3，线条平滑地扫过对象8。
FPGA处理器5还控制校准对象8的不同位置、投射到对象上的线的运动以及四个单独的相机3的操作。
当线图案扫过对象8时，图像信息数据被传输到处理单元6。这里，该信息用于通过最初在不同投影仪平面中通过第一变换12执行不同相机图像和线之间的对应计算来对深度数据进行三角测量。
通过执行第二变换14，获得对象坐标。用于获得第二变换的方法可以类似于实施例1中描述的过程。
示例3–执行校准的用户界面
图3示出了用于引导未校准的扫描仪系统1的操作员收集扫描数据以执行校准的用户界面。
本文所公开的该用户界面在校准手持式扫描仪的情况下会是有利的，因为它可以为操作员如何相对于物理校准对象8定位扫描仪提供引导，例如以收集用于执行校准的数据。
在该示例中，用户界面可以如下。
图3示出了用于校准扫描仪装置2的计算机实现的方法，该方法显示在屏幕上的图形用户界面中，包括获得3D参考对象8的参考3D表示的参考数据的第一步骤。参考3D表示的参考数据可以是文件，例如通过使用高精度3D扫描仪(例如实验室扫描仪或工业级扫描仪)扫描3D参考对象8而获得，例如图2所示。
该计算机实现的方法中的第二步骤如这里所例示的那样，在图形用户界面中并基于参考数据，形成3D参考对象8的参考3D表示9。当发起校准时，用户界面可以提示用户从对应于要进行校准的3D参考对象8的库中选择参考3D表示9。
此处例示的计算机实现的方法的第三步骤是基于用户正使用的手持式装置2扫描参考3D校准对象8，并从3D参考对象的2D图像的一个或多个装置到真实世界坐标变换，获得测量数据。
此处例示的计算机实现的方法的第四步骤是使用对准过程将测量数据对准到参考数据以获得对准数据。因此，这里描述的校准例程可以通过将所获取的校准对象的测量数据配准到校准对象的参考数据(特别是通过对准)来工作。配准已知是找到对准两个点云的空间变换(例如，缩放、旋转和平移)的过程。找到这样的变换的目的包括将多个数据集合并到全局一致的模型(或坐标系)中，并将新的测量映射到已知数据集以识别特征或估计其姿态。因此，在一些实施例中，第四步骤可以执行这样的基于对准的配准。
在第一实施例中，可以通过以下来执行配准：首先通过扫描参考3D校准对象来生成参考3D校准对象的3D表示，然后其次将扫描的3D数据配准到参考表示，然后再次将每个单独的子扫描配准到参考表示上。
在第二实施例中，可以通过在扫描期间将每个子扫描配准到参考表示上来执行配准。该实施例是有利的，因为它允许对参考表示上的测量数据进行实时可视化。此外，直接在参考表示上的配准可以提高数据质量，因为校准例程可以避免记录用于校准的错误数据。如果在扫描时校准对象捕获到轻微的异物/缺陷——该数据将立即从校准例程数据池中去除，因为在参考表示上不存在对应关系。这增加了该方法的鲁棒性。
为了直接在参考表示上执行配准，可以将第一次获取的子扫描配准到参考表示上。随后的子扫描然后可以依赖于来自先前子扫描的对准信息，使得随后的子扫描可以被配准到参考表示上。为了配准第一次获取的子扫描，用户可以在用户界面中在参考表示9上手动标记点20(参考表示在图3中以蓝色显示)，扫描应当在此处开始。然后每个子扫描可以使用点20的标记位置作为对准的开始猜测，然后可以尝试将子扫描配准到表示上。在成功配准之后，可以将子扫描对准到表示。
在一个实施例中，如上所述的配准过程可以是被称为迭代最近点(ICP)的过程。在最优选的实施例中，如上所述的配准过程可以由一个或多个收敛标准来限定。一个或多个收敛标准限定了配准速度和避免失准的性能。
收敛标准的参数可以是子扫描和参考之间的最小匹配点数。匹配可以由具有指向大致相同方向的表面法线的在子扫描点的一定距离内的参考上的点来限定，即子扫描点的法线向量与其在参考上的对应关系的法线向量之间的点积需要大于零以使其被视为匹配。
此处例示的计算机实现的方法的第五步骤是基于对准数据更新所述一个或多个变换，从而校准扫描仪装置。例如，所述一个或多个变换可以是关于本公开的第一和第二方面所描述的第一和/或第二变换。
如这里所例示的计算机实现的方法的第六步骤是在图形用户界面中并基于对准数据和/或所述更新的变换形成参考3D对象的至少一部分21，使得与显示的参考3D表示9相比可以看到所述至少一部分21，以向用户显示在参考3D表示9上对准成功的位置。参考3D对象的该至少一部分21在图3中以灰色显示。该至少一部分21是来自一个或多个子扫描的一个或多个点云。在该示例中，该至少一部分21来自多个子扫描。
此处例示的计算机实现的方法的第七步骤是在图形用户界面中给用户显示指示符22，从该指示符22引导用户继续扫描参考3D校准对象。在该示例中，指示符22是对准数据的相对度量，从而向手持式装置的用户指示用户需要继续扫描参考3D校准对象的程度。从图3可以看出，指示符22包括三个指示符，其中，这些指示符中的每一个都指示在扫描体积中存在已经获取足够数据(由白色表示)的区域(底部、中部和顶部)和/或获取的数据不足(用黑色表示)的区域。
更具体地，如图3中例示的指示符22示出了扫描体积的数据密度，显示为从扫描体积的顶部到底部的几个2D切片。当在特定切片的特定区域中获取足够的数据时，特定区域会从黑色变为白色。
指示符22指示扫描体积中用户已收集数据的位置以及用户需要进一步扫描的位置。其被用作引导工具，以确保在整个扫描体积中获得足够的数据覆盖。本例中的整个扫描体积由聚焦扫描装置限定，其具有前后移动的透镜。因此，本示例中的整个扫描体积包括以在聚焦透镜位置区间内的视场采集的多个二维图像。
此处例示的指示符22被限定为使得最顶部的图像表示扫描体积的顶部，而最底部的图像表示扫描体积的底部。中间的图像按时间顺序表示中间区域。当用户扫描时，图像中的区域从黑色变为白色，并收集来自扫描体积对应区域的子扫描中的数据。只有子扫描中的数据点在参考表示上有对应关系时，该点才有效并显示在图像中，从而限定覆盖图像。
指示符22的覆盖框(coverage frame)向用户提供关于如何相对于校准对象定位扫描仪的视觉信息，以便通过倾斜扫描仪装置2或使扫描仪装置2成角度来获得每个单独的2切片以及所有不同2D切片上的良好数据覆盖。当一个切片包含足够的数据覆盖(切片表示从扫描仪到校准对象的一定距离)时，该切片可以变为绿色，从而指示用户专注于通过将扫描仪稍微拉离对象或靠近对象来获取扫描体积的不同区域中的数据。
用户界面可以附加向操作员提供关于如何通过重新定位扫描仪来获得期望数据覆盖的指示。这可以以动画的形式，显示扫描仪相对于对象8的推荐移动。
最后，此处例示的计算机实现方法的最后步骤是在图形用户界面中显示指示扫描仪装置校准完成的通知。例如当所有切片都变成绿色时，这可以例如由指示符22指示。

Claims (24)

1.一种未校准的扫描系统，所述未校准的扫描系统将基于生成三维校准对象的三维表示而被修改为校准的扫描系统，所述未校准的扫描系统包括：
-扫描装置，所述扫描装置包括：
o光源，所述光源被配置为发射光，其中，所述扫描装置被配置为将光传输到对象上；和
o包括多个传感器元件的图像传感器，其中，所述图像传感器被配置为形成所述对象和传输到所述对象上的光的图像序列，其中，每个图像包括多个像素；以及
-处理器，所述处理器被配置用于通过执行以下步骤来执行校准：
o导入所述校准对象在真实世界坐标系中的参考三维表示；
o将所述图像序列配准成配准的图像序列；
o使用第一变换将所述配准的图像序列和来自每个所述图像的像素的至少一个集合变换为所述校准对象在扫描装置坐标系中的坐标数据集；
o使用第二变换，将所述校准对象在扫描装置坐标系中的所述坐标数据集变换为所述校准对象在真实世界坐标系中的点云，
其中，使用对准过程将所述校准对象在真实世界坐标系中的点云对准到所述校准对象在真实世界坐标系中的所述参考三维表示，其中，所述对准过程基于最小化所述参考三维表示和所述点云之间的第一差；
o在使用所述对准过程之后，导出所述点云与所述校准对象在真实世界坐标系中的所述参考三维表示之间的第二差；
o基于所述第二差，将所述第二变换修改为校准的变换，
从而在三维中调整所述校准对象在真实世界坐标系中的点云中的点的位置，
从而将所述未校准的扫描装置修改为校准的扫描装置。
2.根据权利要求1所述的未校准的扫描系统，其中，所述扫描装置是手持式扫描装置。
3.根据前述权利要求中任一项所述的未校准的扫描系统，其中，所述对准过程基于通过点对面配准或点对点配准将所述点云对准到所述参考三维表示。
4.根据前述权利要求中任一项所述的未校准的扫描系统，其中：
-所述图像传感器位于扫描装置坐标系中垂直于z方向的平面中，并且
-光学元件被配置为相对于所述图像传感器并沿着z方向移动，从而在移动所述光学元时形成对象的所述图像序列。
5.根据权利要求4所述的未校准的扫描系统，其中，所述处理器还被配置为：
o在扫描装置坐标系中沿着z方向堆叠所述配准的图像序列以形成体积，
其中，所述配准的图像序列中的每个图像包括所述体积中的层，从而所述体积包括多个像素的序列；
o对于以下计算聚焦度量：
o所述体积内的所述多个像素中的每一个，或
o所述体积内的多个像素组中的每一组，其中，所述多个像素组中的每一组由所述多个像素的子集形成；
o基于所述聚焦度量，对于以下计算最大聚焦度量zm：
o所述体积内的所述多个像素中的每一个，从而所述多个像素的子集与zm相关联，或
o所述体积内的所述多个像素组中的每一组，从而所述多个像素的子集与zm相关联，
从而，使用所述第一变换，已经与zm相关联的多个像素的子集是被变换到对象在扫描装置坐标系中的坐标数据集的像素的至少一个集合。
6.根据前述权利要求中任一项所述的未校准的扫描系统，其中，通过单独调整所述点云中的每个点来执行将所述第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。
7.根据前述权利要求中任一项所述的未校准的扫描系统，其中，通过对所述点云中的每个点同时在三个方向上调整三维位置，来执行将所述第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。
8.根据前述权利要求中任一项所述的未校准的扫描系统，其中，通过向所述点云中的每个点添加包括三个方向分量的校正向量，来执行将所述第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤。
9.根据权利要求4所述的未校准的扫描系统，其中，由于所述校准对象的所述图像序列在移动所述光学元件时形成，因此将所述第二变换修改为校准的变换从而在三维中调整对象在真实世界坐标系中的点云中的点的位置的步骤与沿着所述光学元件的z方向的位置相关联。
10.根据权利要求9所述的未校准的扫描系统，其中，与沿着所述光学元件的z方向的位置相关联的、在三维中的所述调整由沿着z方向的每个所述位置的高阶多项式限定。
11.根据前述权利要求中任一项所述的未校准的扫描系统，其中，将所述第二变换修改为校准的变换的步骤由查找表限定。
12.根据前述权利要求中任一项所述的未校准的扫描系统，其中，所述未校准的扫描装置是口内扫描装置。
13.根据前述权利要求中任一项所述的未校准的扫描系统，其中，导入所述校准对象在真实世界坐标系中的参考三维表示的步骤基于从不同于所述未校准的扫描系统的扫描系统导入所述校准对象的高精度三维表示。
14.一种用于获得校准的扫描系统的系统，包括：
-根据权利要求1-13中任一项所述的未校准的扫描系统；和
-三维校准对象。
15.根据权利要求14所述的系统，其中，所述三维校准对象是包括多个牙科口腔对象的牙列的形状。
16.一种用于生成口内对象的三维表示的校准的扫描系统，其中，所述校准的扫描系统是通过修改根据权利要求1-13中任一项所述的未校准的扫描系统来提供的，从而所述校准的扫描系统包括：
-扫描装置，包括：
o光源，所述光源被配置为发射光，其中，所述扫描装置被配置为将光传输到对象上；和
o包括多个传感器元件的图像传感器，其中，所述图像传感器被配置为形成所述对象和传输到所述对象上的光的图像序列，其中，每个图像包括多个像素；以及
-被配置用于执行以下步骤的处理器：
o配准所述图像序列；
o使用第一变换将配准的图像序列和所述像素的至少一个集合变换为对象在扫描装置坐标系中的坐标数据集；
o使用校准的变换，将对象在扫描装置坐标系中的所述坐标数据集变换为对象在真实世界坐标系中的点云，和
o基于所述校准的变换，生成对象在真实世界坐标系中的校准的三维表示。
17.一种通过执行以下步骤来校准未校准的扫描系统的方法：
-提供根据权利要求14所述的系统，从而提供所述未校准的扫描系统和所述三维校准对象；和
-使用所述未校准的扫描系统扫描所述三维校准对象，从而通过使用所述扫描装置扫描所述三维校准对象，并且从而使用所述未校准的扫描系统中的所述处理器执行校准，
-获得根据权利要求16所述的校准的扫描装置。
18.一种用于校准扫描仪装置的计算机实现方法，显示在屏幕上的图形用户界面中，包括以下步骤：
-获得三维校准对象的参考3D表示的参考数据；
-在所述图形用户界面中并基于所述参考数据形成所述三维校准对象的参考3D表示；
-基于用户正在使用的手持式装置扫描所述三维校准对象，并从所述三维校准对象的2D图像的一个或多个装置到真实世界坐标变换获得测量数据；
-使用对准过程将所述测量数据对准到参考数据以获得对准数据；
-基于所述对准数据更新所述一个或多个变换，从而校准所述扫描仪装置；
-在所述图形用户界面中给用户显示指示符，从所述指示符引导用户继续扫描所述三维校准对象；和
在所述图形用户界面中显示指示所述扫描仪装置的校准完成的通知。
19.根据权利要求18所述的计算机实现的方法，其中，所述方法还包括在所述图形用户界面中并基于所述对准数据和/或更新的所述变换，形成所述三维校准对象的至少一部分的3D表示的步骤，使得与显示的参考3D表示相比能够看到所述至少一部分。
20.根据权利要求18-19中任一项所述的计算机实现的方法，其中，所述方法包括多次重复所述步骤中的一个或多个，直到满足预定义标准。
21.根据权利要求20所述的计算机实现的方法，其中，显示所述通知的步骤基于所述预定义标准。
22.根据权利要求18-21中任一项所述的计算机实现的方法，其中，对准的步骤通过用户在用户界面中接收所述三维校准对象的参考3D表示上的点的步骤发起，以辅助对准的步骤。
23.根据权利要求18-22中任一项所述的计算机实现的方法，其中，从其引导用户继续扫描所述三维校准对象的给用户的指示符还指示三维校准对象上用户应继续扫描的位置。
24.根据权利要求18-23中任一项所述的计算机实现的方法，其中，所述指示符是对准数据的绝对和/或相对度量，从而向手持式装置的用户指示用户需要继续扫描三维校准对象的程度。
CN202180031899.1A 2020-04-07 2021-04-07 扫描系统及其校准 Pending CN115485726A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20168498.2 2020-04-07
EP20168498 2020-04-07
PCT/EP2021/059045 WO2021204865A1 (en) 2020-04-07 2021-04-07 Scanning system and calibration thereof

Publications (1)

Publication Number Publication Date
CN115485726A true CN115485726A (zh) 2022-12-16

Family

ID=70227868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031899.1A Pending CN115485726A (zh) 2020-04-07 2021-04-07 扫描系统及其校准

Country Status (7)

Country Link
US (1) US20230083150A1 (zh)
EP (1) EP4133451A1 (zh)
JP (1) JP2023520902A (zh)
KR (1) KR20220164771A (zh)
CN (1) CN115485726A (zh)
BR (1) BR112022019080A2 (zh)
WO (1) WO2021204865A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115137505A (zh) * 2022-07-01 2022-10-04 四川大学 基于数字化技术的标准牙颌固位导板的制作工艺

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11967111B2 (en) * 2020-12-15 2024-04-23 Kwangwoon University Industry-Academic Collaboration Foundation Multi-view camera-based iterative calibration method for generation of 3D volume model
CN117906499A (zh) * 2024-03-15 2024-04-19 江苏省计量科学研究院(江苏省能源计量数据中心) 一种光学三维扫描仪校准系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7013191B2 (en) * 1999-11-30 2006-03-14 Orametrix, Inc. Interactive orthodontic care system based on intra-oral scanning of teeth
DE102012201193B3 (de) * 2012-01-27 2013-06-13 Sirona Dental Systems Gmbh Verfahren und Referenzmodell zur Überprüfung eines Vermessungssystems
US10154246B2 (en) * 2014-11-20 2018-12-11 Cappasity Inc. Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
WO2017070928A1 (en) * 2015-10-30 2017-05-04 Carestream Health, Inc. Target with features for 3-d scanner calibration
US10507087B2 (en) * 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
US11346950B2 (en) * 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115137505A (zh) * 2022-07-01 2022-10-04 四川大学 基于数字化技术的标准牙颌固位导板的制作工艺

Also Published As

Publication number Publication date
BR112022019080A2 (pt) 2022-11-08
US20230083150A1 (en) 2023-03-16
KR20220164771A (ko) 2022-12-13
EP4133451A1 (en) 2023-02-15
JP2023520902A (ja) 2023-05-22
WO2021204865A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
CN115485726A (zh) 扫描系统及其校准
JP4111166B2 (ja) ３次元形状入力装置
US9563954B2 (en) Method for capturing the three-dimensional surface geometry of objects
JP5891280B2 (ja) 環境を光学的に走査および測定する方法ならびにデバイス
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6881188B2 (ja) 位置検出装置およびプログラム
CN113298886B (zh) 一种投影仪的标定方法
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
RU2479828C2 (ru) Стереоскопическая измерительная система и способ
JP2007508557A (ja) 三次元物体を走査するための装置
JP2009222568A (ja) ３次元形状データの生成方法および装置ならびにコンピュータプログラム
JP2012002564A (ja) 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法、およびロボット装置
JP2012013592A (ja) ３次元形状測定機の校正方法及び３次元形状測定機
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
JP6921036B2 (ja) レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置
JP2020159774A (ja) 校正パラメータ算出方法
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
JP2012013593A (ja) ３次元形状測定機の校正方法及び３次元形状測定機
JP2006113001A (ja) 写真測量による３次元計測方法及び装置
JP2004170277A (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
JP4159373B2 (ja) 写真測量における計測点の対応付け方法及び装置
Stepanyants et al. PC-Based Digital Close-Range Photogrammetric System for Rapid 3D Data Input in CAD Systems
JP4766839B2 (ja) 計測方法、計測システム及びプログラム
JP2021092588A (ja) 位置検出装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination